Rubrikk for ytelsesvurdering: hvordan vurdere dømmekraft og problemløsning i opplæring

To instruktører ser det samme opptaket av en ny teamleder som bestemmer seg for om de skal eskalere en kundeklage. Den første gir henne toppkarakter: hun forble rolig og valgte et fornuftig alternativ. Den andre gir henne en middels poengsum: hun sa aldri hvorfor hun valgte det eller hva hun ikke visste. Begge instruktørene er erfarne. Begge brukte samme skjema. Ingen av dem tar feil, og det er problemet. Skjemaet fortalte dem ikke hva de skulle se etter.

Dette er et illustrerende scenario, ikke et dokumentert kundecase. Det viser hvorfor det er vanskelig å vurdere dømmekraft og problemløsning: bevisene ligger i resonnementet, og det er lett å gi forskjellig poengsum for resonnement.

Denne veiledningen er for instruksjonsdesignere, opplæringsledere og ledere for læring og utvikling som trenger en vurderingsrubrikk for ytelse de kan forsvare. Den dekker fem trinn: definere bevisene, skrive observerbare kriterier, beskrive ytelsesankere, kalibrere vurderere og teste ut rubrikken. Den avsluttes med et utarbeidet eksempel og de begrensningene som gjenstår.

Hva er en vurderingsrubrikk for ytelse?

En vurderingsrubrikk for ytelse er en poengsumguide for en oppgave der eleven gjør noe i stedet for å huske noe. Den lister opp kriteriene som er viktige, beskriver hvordan hvert poengsumnivå ser ut og gir vurdererne et felles grunnlag for å bestemme seg. For vurdering og problemløsning er oppgaven vanligvis en case: eleven bestemmer seg for hva de skal gjøre, forklarer beslutningen og sier hva annet de trenger å vite.

En rubrikk er ikke en kunnskapstest. En quiz med gjentakelse kan bekrefte at noen kjenner reglene. En rubrikk viser om de kan anvende disse reglene når situasjonen er rotete.

Kjappe fakta

1. Definer bevisene for ytelse

Start med oppgaven, ikke formen. Skriv ned situasjonen eleven vil stå overfor, avgjørelsen de må ta og hva en kompetent prestasjon ville synliggjøre. Vær spesifikk om kontekst og grenser: hvilken autoritet har eleven, hvilken informasjon får de og hva mangler bevisst?

En nyttig test er å spørre hva en observatør kan peke på. «Viser god dømmekraft» kan ikke pekes på. «Oppgir hvilken prosedyre som gjelder, nevner ett faktum som mangler og sier hvem de ville spurt» kan.

Hvis du ikke kan beskrive bevisene i enkle setninger, er ikke oppgaven klar for poengsum. Fiks oppgaven først. En vag oppgave produserer en vag rubrikk, uansett hvor polert den ser ut.

2. Skriv observerbare kriterier

Velg et lite antall kriterier som samsvarer med læringsmålet. For vurdering og problemløsning fungerer tre godt i mange roller:

• Oppgaveutførelse. Eleven tar en avgjørelse innenfor sin myndighet og registrerer valget og bevisene bak det.
• Argumentasjon. Eleven forklarer begrensningene, alternativene og hva som fortsatt er usikkert.
• Grenser. Eleven bruker godkjente prosedyrer og ber om hjelp når informasjon eller autoritet mangler.

Skriv hvert kriterium som noe man ser i en avgjørelse, en forklaring eller et resultat. Unngå ord som nevner en egenskap, som «god», «moden» eller «bra». To vurderere leser disse ordene forskjellig.

Hold antallet lavt. Hvert ekstra kriterium gir vurdererne rom for å være uenige, og en grunn for at elevene skal jage etter karakterer i stedet for å tenke. Hvis et kriterium ikke endrer hva du ville gjort med resultatet, dropp det.

3. Beskriv ytelsesankere

Et anker er en kort beskrivelse av hvordan et poengnivå ser ut. Uten ankere betyr en poengsum på 1 eller 2 hva enn vurdereren ønsker at den skal bety.

En enkel trenivåskala er ofte nok for en førsteversjon:

For hvert kriterium, legg til et kort eksempel på hvordan 0, 1 og 2 høres ut for oppgaven din. Bruk ekte ordlyd fra øvingsforsøk der du kan. Ankere skrevet i abstrakt har en tendens til å gli tilbake til vage adjektiver.

Behandle kritiske feil separat. Enkelte feil bør ikke beregnes som gjennomsnitt. Å handle utenfor din myndighet, ignorere et sikkerhetstrinn eller bryte en samsvarsgrense er eksempler. List dem opp separat fra de poengbestemte kriteriene og angi konsekvensen: en kritisk feil registreres og følges opp uansett hva totalen angir. Ellers kan en elev score godt på resonnement og grenser mens han/hun utfører en handling som ville være uakseptabel på jobb.

4. Kalibrer vurderere ved hjelp av eksempler

En rubrikk gir ikke poeng av seg selv. Vurderere tolker den fortsatt, så kalibrer før du gir poeng for en kohort.

1. Velg to eller tre eksempelsvar som varierer i kvalitet. Ekte forsøk fra en pilot er best.
2. La hver vurderer vurdere dem uavhengig, før noen diskusjon.
3. Sammenlign poengsummer og, enda viktigere, bevisene hver person siterte.
4. Der poengsummene avviker, finn ordlyden som forårsaket det og endre kriteriet eller ankeret.
5. Gjenta med et nytt eksempel inntil vurdererne gir samme poengsum av samme grunner.

Målet er en felles lesning av kriteriene, ikke enighet i seg selv. Hvis to vurderere gir samme poengsum av forskjellige grunner, er rubrikken fortsatt tvetydig.

Hva sier forskningen? Bevisene er blandede, så beregn uenighet og mål den. I en studie fra 2022 av videoopptak av kliniske undersøkelser i Fujita Medical Journal, scoret to vurderere førti videoer. For de ti første scoret de uten moderering, og for resten diskuterte de poengsummen sin mot rubrikkkriteriene hver gang. Enighet, målt med en vektet kappakoeffisient, økte fra 0.49 på de ti første videoene til 0.82 på de siste ti (Watari og kolleger, 2022). Det var en liten studie av én eksamensoppgave, så se på det som et tegn på at moderering kan hjelpe, ikke et løfte.

Opplæring alene er heller ingen garanti. En randomisert studie fra 2014 med 21 vurderere som vurderte 242 medisinstudenter, fant at en kort referanserammeopplæring ikke målbart forbedret nøyaktigheten til individuelle vurderere, selv om trente vurderere scoret strengere og nærmere et referansepanel. Forfatterne konkluderte med at vurdering av ytelse er svært individuelt (Weitz og kolleger, 2014Den praktiske lesningen er å fortsette kalibreringen på reelle eksempler, sjekke samsvar mens du scorer, og ikke anta at én enkelt briefingøkt er nok.

5. Test og revider rubrikken

Før du bruker rubrikken til viktige avgjørelser, bør du teste den.

• Kjør det med en liten gruppe elever og to eller flere vurderere.
• Registrer hvor vurdererne er uenige, og be hver enkelt om å forklare poengsummen sin.
• Sjekk at kriteriene skiller sterke og svake svar. Hvis alle elevene får 2 poeng, er oppgaven eller ankerpunktene for enkle.
• Spør elevene hva rubrikken gjorde klart og hva som forvirret dem.
• Revider, og test deretter på nytt med et nytt tilfelle.

Vær ærlig om hva piloten viser. En uvalidert rubrikk er et fungerende utkast. Det er ikke en universell sertifiseringsstandard, og den bør ikke brukes til å ta viktige beslutninger om mennesker før en praktiker i rollen har gjennomgått den, og du har bevis for at den fungerer for din befolkning.

Et praktisert eksempel: en eskaleringsbeslutning

Illustrativt. En utøver som utfører dette arbeidet bør validere casen og svarkriteriene før bruk.

Saken. En kunde rapporterer en forsinket bestilling og ber om full refusjon. Agenten kan tilby en kreditt på opptil et fastsatt beløp uten godkjenning. Refusjonen er over dette beløpet. Lederen er ikke tilgjengelig i to timer. Notatene viser fire bestillinger i år.

Hva den lærende gjør. Velg et svar, forklar avgjørelsen, siter bevisene og si hvilken ytterligere informasjon eller støtte de trenger.

Et svar fikk poengsum 1 på resonnement. «Jeg ville tilbudt refusjonen fordi kunden er opprørt.» Avgjørelsen er oppgitt, men det finnes ingen bevis, ingen omtale av grensen og ingen tegn til hva som mangler.

Et svar fikk poengsum 2 på resonnement. «Jeg ville ikke refundert utover grensen min uten godkjenning. Notatene viser fire bestillinger i år, så denne kunden er viktig, men jeg har ikke bekreftet hvor pakken er. Jeg ville tilbudt en kreditt innenfor grensen min nå, fortalt kunden når sjefen vil svare og bedt transportøren om en sporingsoppdatering slik at godkjenningen kan skje raskt.»

En kritisk feil. Å utstede refusjonen uten godkjenning registreres som en kritisk feil uansett hva de andre poengsummene er, fordi det går utover agentens myndighet.

Legg merke til hva ankerne gjorde. De to vurdererne fra åpningen ville nå se etter de samme tingene: avgjørelsen, de siterte bevisene, den angitte usikkerheten og grensen.

Der interaktiv levering hjelper

Interaktive formater hjelper med øving og kalibrering fordi hver person forplikter seg til et svar før de ser gruppens. I en live-økt kan en tilrettelegger vise et eksempelsvar, be hver vurderer om å gi det en personlig vurdering og deretter avsløre spredningen før diskusjonen. De samme sakene kan brukes i eget tempo for forberedelser. AhaSlides støtter interaktiv læring og veksling mellom live og selvstyrt levering. Sjekk eventuelle spesifikke redigerings-, tilbakemeldings- eller rapporteringsfunksjoner du planlegger å stole på mot din egen arbeidsflyt, og behandle AI-, simulerings- og integrasjonsfunksjoner som eksterne eller ubekreftede inntil du har sett dem fungere. For veiledning om valg mellom formater, se når man skal bruke adaptiv, interaktiv og live læringFor å matche aktivitetene til tankenivået du ønsker å vurdere, se vår veiledning til matche læringsaktiviteter med Blooms taksonomi.

Mål hva som endret seg

Bestem på forhånd hvilke bevis som viser at elevene kan utføre oppgaven. Sammenlign ytelsen på et nytt, usett tilfelle mot en grunnlinje, og se på kvaliteten på resonnementet så vel som avgjørelsen. Definer hvem som er inkludert, nevneren og timingen. Hvis poengsummene forbedres, sjekk hva annet som har endret seg i samme periode, for eksempel et nytt verktøy eller en annen blanding av arbeid, før du gir godskrivning for opplæringen.

Begrensninger som kan gjenstå

Selv en godt utformet rubrikk løser ikke alt:

• Taksatorens tid. Kalibrering og pilotering tar tid som må planlegges.
• Autoritet i den virkelige jobben. En elev kan resonnere godt i øvelsen, men likevel mangle autoriteten til å handle på den måten på jobb.
• Saksdekning. Én sak viser én avgjørelse. En enkelt poengsum beskriver ikke noens vurdering generelt.
• Overføre. Ytelse i trygge omgivelser er ikke det samme som ytelse på jobb. Sjekk overføringen etter passende eksponering.

Planlegg separate løsninger for disse og si det til sponsorene. En vurderingsmatrise gjør vurderingen tydeligere og mer rettferdig. Den gjør ikke en poengsum om til en garanti.

Ofte stilte spørsmål

Hva er forskjellen mellom en rubrikk og en sjekkliste?

En sjekkliste registrerer om noe ble gjort. En rubrikk beskriver hvor godt det ble gjort, på flere nivåer, slik at den passer til oppgaver som krever vurdering og forklaring.

Hvor mange kriterier bør en rubrikk ha?

Få, vanligvis tre til fem. Velg de som samsvarer med læringsmålet, og fjern alle som ikke endrer hva du gjør med resultatet.

Kan en rubrikk fjerne uenighet mellom vurderere?

Nei. Det kan redusere det, spesielt med ankere og kalibrering på virkelige eksempler, men du bør fortsatt sjekke samsvar når du scorer og reviderer uklar formulering.

Bør jeg bruke en rubrikk for avgjørelser med høy innsats?

Kun etter en pilotundersøkelse og gjennomgang av en praktiker i rollen. Behandle en ny rubrikk som et utkast inntil du har bevis på at den fungerer for elevene og oppgaven.

Hvor skal jeg starte

Velg én avgjørelse elevene dine må ta bra. Skriv ned bevisene en kompetent prestasjon ville vist, velg tre kriterier, utarbeid et anker fra 0 til 2 for hvert kriterium og list opp de kritiske feilene. La deretter to vurderere vurdere det samme eksemplet uavhengig av hverandre, sammenligne bevisene sine og korrigere formuleringen før du vurderer noen.

For å se hvordan en sak kan kjøres live med ditt eget team, og brukes igjen i ditt eget tempo etterpå, kan du utforske AhaSlides.