Rubrica de evaluare a performanței: cum se evaluează judecata și rezolvarea problemelor în instruire

Doi instructori urmăresc aceeași înregistrare a unui nou lider de echipă care decide dacă să escaladeze o reclamație a unui client. Primul îi acordă note maxime: a rămas calmă și a ales o opțiune rezonabilă. Al doilea îi acordă un scor mediu: nu a spus niciodată de ce a ales-o sau ce nu știa. Ambii instructori sunt experimentați. Amândoi au folosit același formular. Niciunul nu greșește, și aceasta este problema. Formularul nu le-a spus la ce să fie atenți.

Acesta este un scenariu ilustrativ, nu un caz documentat al unui client. Arată de ce judecata și rezolvarea problemelor sunt greu de evaluat: dovezile stau în raționament, iar raționamentul poate fi ușor evaluat diferit.

Acest ghid este destinat designerilor instrucționali, managerilor de training și șefilor departamentelor de L&D care au nevoie de o rubrică de evaluare a performanței pe care o pot susține. Acesta acoperă cinci etape: definirea dovezilor, scrierea criteriilor observabile, descrierea ancorelor de performanță, calibrarea evaluatorilor și testarea rubricii. Se încheie cu un exemplu practic și limitele care rămân.

Ce este o rubrică de evaluare a performanței?

O rubrică de evaluare a performanței este un ghid de notare pentru o sarcină în care elevul face ceva în loc să își amintească ceva. Aceasta enumeră criteriile care contează, descrie cum arată fiecare nivel de scor și oferă evaluatorilor o bază comună pentru luarea deciziilor. Pentru judecată și rezolvarea problemelor, sarcina este de obicei un caz: elevul decide ce să facă, explică decizia și spune ce altceva ar trebui să știe.

O rubrică nu este un test de cunoștințe. Un test de reamintire poate confirma că cineva cunoaște regulile. O rubrică arată dacă persoana respectivă poate aplica acele reguli atunci când situația este dezordonată.

Scurte

1. Definiți dovezile performanței

Începeți cu sarcina, nu cu formularul. Notați situația cu care se va confrunta elevul, decizia pe care trebuie să o ia și ce ar face vizibil o performanță competentă. Fiți specifici în ceea ce privește contextul și limitele: ce autoritate are elevul, ce informații i se oferă și ce lipsește în mod deliberat?

Un test util este să întrebi ce ar putea indica un observator. Nu se poate indica „Dă dovadă de bună judecată”. Se poate face referire la „Indică ce procedură se aplică, numește un fapt care lipsește și spune pe cine ar întreba”.

Dacă nu poți descrie dovezile în propoziții simple, sarcina nu este gata de notare. Corectează mai întâi sarcina. O sarcină vagă produce o rubrică vagă, oricât de rafinată ar părea.

2. Scrieți criterii observabile

Alegeți un număr mic de criterii care corespund obiectivului de învățare. Pentru judecată și rezolvarea problemelor, trei funcționează bine în multe roluri:

• Executarea sarcinii. Cursantul ia o decizie în limitele autorității sale și înregistrează alegerea și dovezile care o susțin.
• Raţionament. Cursantul explică constrângerile, alternativele și ce este încă incert.
• Granițele. Cursantul folosește proceduri aprobate și cere ajutor atunci când lipsesc informații sau autoritate.

Scrieți fiecare criteriu ca pe ceva observat într-o decizie, o explicație sau un rezultat. Evitați cuvintele care denumesc o trăsătură, cum ar fi „sănătos”, „matur” sau „bun”. Doi evaluatori interpretează aceste cuvinte diferit.

Păstrați numărul redus. Fiecare criteriu suplimentar oferă un motiv pentru ca evaluatorii să nu fie de acord și un motiv pentru ca elevii să caute note în loc să gândească. Dacă un criteriu nu schimbă ceea ce ați face cu rezultatul, renunțați la el.

3. Descrieți ancorele de performanță

O ancoră este o scurtă descriere a aspectului unui nivel de scor. Fără ancore, un scor de 1 sau 2 înseamnă orice dorește evaluatorul.

O scală simplă cu trei niveluri este adesea suficientă pentru o primă versiune:

Pentru fiecare criteriu, adăugați un scurt exemplu despre cum sună un 0, 1 și 2 pentru sarcina dvs. Folosiți cuvinte reale din încercări de practică, acolo unde este posibil. Ancorele scrise în abstract tind să se întoarcă la adjective vagi.

Tratați erorile critice separat. Unele eșecuri nu ar trebui să fie calculate ca medie. Acționarea peste limitele autorității, ignorarea unei măsuri de siguranță sau încălcarea unei limite de conformitate sunt exemple. Enumerați-le separat de criteriile de punctaj și precizați consecința: o eroare critică este înregistrată și monitorizată indiferent de total. În caz contrar, o persoană care învață poate obține un punctaj bun la raționament și limite, în timp ce întreprinde o acțiune care ar fi inacceptabilă la locul de muncă.

4. Calibrați evaluatorii folosind exemple

O rubrică nu se evaluează singură. Evaluatorii o interpretează în continuare, așa că calibrați înainte de a evalua o cohortă.

1. Alegeți două sau trei exemple de răspunsuri care diferă ca și calitate. Încercările reale ale unui pilot sunt cele mai bune.
2. Rugați fiecare evaluator să le noteze independent, înainte de orice discuție.
3. Comparați scorurile și, mai important, dovezile citate de fiecare persoană.
4. În cazul în care scorurile diferă, găsiți formularea care a cauzat diferența și schimbați criteriul sau ancora.
5. Repetați cu un exemplu nou până când evaluatorii acordă același scor din aceleași motive.

Scopul este o interpretare comună a criteriilor, nu un acord în sine. Dacă doi evaluatori acordă același scor din motive diferite, rubrica este tot ambiguă.

Ce spune studiul? Dovezile sunt mixte, așa că trebuie să vă asigurați că există și unele dezacorduri și să le măsurați. Într-un studiu din 2022 privind examenele clinice înregistrate video în Fujita Medical Journal, doi evaluatori au punctat patruzeci de videoclipuri. Pentru primele zece au punctat fără moderare, iar pentru restul au discutat de fiecare dată despre scorul lor în funcție de criteriile rubricii. Acordul, măsurat cu un coeficient kappa ponderat, a crescut de la 0.49 pentru primele zece videoclipuri la 0.82 pentru ultimele zece (Watari și colegii săi, 2022A fost un studiu restrâns al unei singure teme de examen, așa că trebuie tratat ca pe un semn că moderarea poate ajuta, nu ca pe o promisiune.

Nici instruirea în sine nu este o garanție. Un studiu randomizat din 2014, realizat pe 21 de evaluatori care au analizat 242 de studenți la medicină, a constatat că o scurtă sesiune de instruire bazată pe cadru de referință nu a îmbunătățit în mod măsurabil acuratețea evaluatorilor individuali, deși evaluatorii instruiți au obținut scoruri mai riguroase și mai apropiate de un grup de referință. Autorii au concluzionat că evaluarea performanței este extrem de individuală (Weitz și colegii, 2014). Lectura practică constă în continuarea calibrării pe exemple reale, verificarea concordanței pe măsură ce se acordă scoruri și nu presupunerea că o singură sesiune de informare este suficientă.

5. Testați și revizuiți rubrica

Înainte de a utiliza rubrica pentru decizii importante, testați-o.

• Desfășoară-l cu un grup mic de cursanți și doi sau mai mulți evaluatori.
• Înregistrați punctele unde evaluatorii nu sunt de acord și rugați fiecare să își explice scorul.
• Verificați dacă criteriile separă răspunsurile puternice de cele slabe. Dacă fiecare elev obține un scor de 2, sarcina sau ancorele sunt prea ușoare.
• Întrebați elevii ce a clarificat rubrica și ce i-a derutat.
• Revizuiți, apoi pilotați din nou cu un caz nou.

Fii sincer cu privire la ceea ce arată proiectul pilot. O rubrică nevalidată este o schiță de lucru. Nu este un standard universal de certificare și nu ar trebui utilizată pentru a lua decizii importante cu privire la persoane până când un specialist în acest rol nu a revizuit-o și ai dovezi că funcționează pentru populația ta.

Un exemplu practic: o decizie de escaladare

Ilustrativ. Un practician care efectuează această activitate ar trebui să valideze cazul și criteriile de răspuns înainte de utilizare.

Cazul. Un client raportează o comandă întârziată și solicită o rambursare integrală. Agentul poate oferi un credit de până la o sumă stabilită fără aprobare. Rambursarea este mai mare decât aceasta. Managerul nu este disponibil timp de două ore. Notele arată patru comenzi anul acesta.

Ceea ce face elevul. Alegeți un răspuns, explicați decizia, citați dovezile și spuneți de ce informații sau sprijin suplimentar ar avea nevoie.

Un răspuns a primit un scor de 1 la raționament. „Aș oferi rambursarea pentru că clientul este supărat.” Decizia este comunicată, dar nu există nicio dovadă, nicio mențiune a limitei și niciun semn despre ce lipsește.

Un răspuns a primit un scor de 2 la raționament. „Nu aș rambursa o sumă care depășește limita mea fără aprobare. Notele arată patru comenzi din acest an, deci acest client contează, dar nu am confirmat unde se află coletul. Aș oferi un credit în limita mea acum, aș spune clientului când va răspunde managerul și aș solicita curierului o actualizare a urmăririi, astfel încât aprobarea să poată fi rapidă.”

O eroare critică. Emiterea rambursării fără aprobare este înregistrată ca o eroare critică, indiferent de celelalte scoruri, deoarece depășește autoritatea agentului.

Observați ce au făcut ancorele. Cei doi evaluatori de la început ar căuta acum aceleași lucruri: decizia, dovezile citate, incertitudinea declarată și limita.

Unde ajută livrarea interactivă

Formatele interactive ajută la exersare și calibrare, deoarece fiecare persoană se angajează să răspundă înainte de a vedea răspunsul grupului. Într-o sesiune live, un facilitator poate arăta un exemplu de răspuns, poate ruga fiecare evaluator să îl noteze în privat și apoi poate dezvălui distribuția înainte de discuție. Aceleași cazuri pot fi folosite în ritmul propriu pentru pregătire. AhaSlides acceptă învățarea interactivă și trecerea de la livrarea live la cea în ritmul propriu. Verificați orice funcție specifică de creare, feedback sau raportare pe care intenționați să o utilizați în raport cu propriul flux de lucru și tratați funcțiile de inteligență artificială, simulare și integrare ca fiind externe sau neconfirmate până când le-ați văzut funcționând. Pentru îndrumări privind alegerea între formate, consultați când să folosim învățarea adaptivă, interactivă și livePentru a potrivi activitățile cu nivelul de gândire pe care doriți să îl evaluați, consultați ghidul nostru pentru potrivirea activităților de învățare cu taxonomia lui Bloom.

Măsoară ce s-a schimbat

Decideți în avans ce dovezi ar demonstra că elevii pot îndeplini sarcina. Comparați performanța pe un caz nou, nevăzut, cu o valoare de referință și analizați calitatea raționamentului, precum și a deciziei. Definiți cine este inclus, numitorul și momentul. Dacă scorurile se îmbunătățesc, verificați ce s-a mai schimbat în aceeași perioadă, cum ar fi un instrument nou sau o combinație diferită de activități, înainte de a acorda credit instruirii.

Constrângeri care pot rămâne

Chiar și o rubrică bine construită nu rezolvă totul:

• Timpul evaluatorului. Calibrarea și pilotarea necesită timp care trebuie planificat.
• Autoritate în meseria reală. Un cursant poate raționa bine în cadrul exercițiului și totuși să nu aibă autoritatea de a acționa în acest fel la locul de muncă.
• Acoperirea cazului. Un caz ilustrează o singură decizie. Un singur scor nu descrie judecata cuiva în general.
• Transfer. Performanța într-un mediu sigur nu este aceeași cu performanța la locul de muncă. Verificați transferul după o expunere adecvată.

Planificați soluții separate pentru acestea și anunțați sponsorii în acest sens. O rubrică face evaluarea mai clară și mai corectă. Nu transformă un scor într-o garanție.

Întrebări frecvente

Care este diferența dintre o rubrică și o listă de verificare?

O listă de verificare înregistrează dacă ceva a fost realizat. O rubrică descrie cât de bine a fost realizat, la mai multe niveluri, astfel încât să se potrivească sarcinilor care necesită judecată și explicații.

Câte criterii ar trebui să aibă o rubrică?

Puține, de obicei trei până la cinci. Alegeți-le pe cele care corespund obiectivului de învățare și renunțați la cele care nu ar schimba ceea ce faceți cu rezultatul.

Poate o rubrică să elimine dezacordurile dintre evaluatori?

Nu. Poate reduce nivelul, în special cu ancore și calibrare pe exemple reale, dar ar trebui să verificați în continuare acordul pe măsură ce notați și revizuiți formulările neclare.

Ar trebui să folosesc o rubrică pentru deciziile cu miză mare?

Numai după un proiect pilot și o revizuire de către un practician în domeniu. Tratați o nouă rubrică ca pe o schiță până când aveți dovezi că funcționează pentru cursanții și sarcina dumneavoastră.

Unde să încep

Alegeți o decizie pe care elevii dumneavoastră trebuie să o ia bine. Scrieți dovezile pe care le-ar demonstra o performanță competentă, alegeți trei criterii, formulați o ancoră de la 0 la 2 pentru fiecare și enumerați erorile critice. Apoi, rugați doi evaluatori să noteze același exemplu independent, să compare dovezile lor și să corecteze formularea înainte de a nota pe cineva.

Pentru a vedea cum un caz ar putea rula live cu propria echipă și cum ar putea fi folosit din nou în ritmul propriu ulterior, explorează AhaSlides.