Rubrika hodnotenia výkonnosti: ako posúdiť úsudok a riešenie problémov v rámci školenia

Dvaja školitelia sledujú tú istú nahrávku novej vedúcej tímu, ktorá sa rozhoduje, či má eskalovať sťažnosť zákazníka. Prvý jej dáva najvyššie hodnotenie: zachovala pokoj a zvolila si rozumnú možnosť. Druhý jej dáva priemerné hodnotenie: nikdy nepovedala, prečo si ju zvolila alebo čo nevie. Obaja školitelia sú skúsení. Obaja použili rovnaký formulár. Ani jeden nie je nesprávny a to je problém. Formulár im nepovedal, na čo si dať pozor.

Toto je ilustratívny scenár, nie zdokumentovaný prípad zákazníka. Ukazuje, prečo je ťažké posúdiť úsudok a riešenie problémov: dôkazy sú v uvažovaní a uvažovanie sa ľahko hodnotí odlišne.

Táto príručka je určená pre dizajnérov vzdelávania, manažérov vzdelávania a vedúcich oddelení vzdelávania a rozvoja, ktorí potrebujú hodnotiacu rubriku pre hodnotenie výkonnosti, ktorú môžu obhájiť. Zahŕňa päť krokov: definovanie dôkazov, stanovenie pozorovateľných kritérií, opis výkonnostných kotiev, kalibrácia hodnotiteľov a pilotné overenie rubriky. Končí sa praktickým príkladom a zostávajúcimi obmedzeniami.

Čo je to rubrika hodnotenia výkonu?

Rubrika hodnotenia výkonu je bodovacím sprievodcom pre úlohu, v ktorej študent niečo urobí, a nie si niečo spomenie. Uvádza zoznam dôležitých kritérií, opisuje, ako vyzerá každá úroveň skóre, a poskytuje hodnotiteľom spoločný základ pre rozhodovanie. Pre posudzovanie a riešenie problémov je úlohou zvyčajne prípad: študent sa rozhodne, čo bude robiť, vysvetlí svoje rozhodnutie a povie, čo by ešte potreboval vedieť.

Rubrika nie je testom vedomostí. Kvíz na opakovanie vedomostí môže potvrdiť, že niekto pravidlá pozná. Rubrika ukazuje, či vie tieto pravidlá uplatniť, keď je situácia neuprataná.

Rýchle fakty

1. Definujte dôkazy o výkonnosti

Začnite úlohou, nie formou. Zapíšte si situáciu, ktorej bude študent čeliť, rozhodnutie, ktoré musí urobiť, a čo by zviditeľnilo kompetentné vykonanie. Buďte konkrétni, pokiaľ ide o kontext a obmedzenia: akú má študent právomoc, aké informácie dostáva a čo zámerne chýba?

Užitočným testom je opýtať sa, na čo by pozorovateľ mohol poukázať. „Prejavuje dobrý úsudok“ sa nedá poukázať. „Uvádza, aký postup sa uplatňuje, pomenuje jednu chýbajúcu skutočnosť a povie, koho by sa opýtal“ áno.

Ak nedokážete opísať dôkazy v jednoduchých vetách, úloha nie je pripravená na bodovanie. Najprv úlohu opravte. Nejasná úloha vytvára vágnu rubriku, nech vyzerá akokoľvek prepracovane.

2. Napíšte pozorovateľné kritériá

Vyberte si malý počet kritérií, ktoré zodpovedajú cieľu učenia. Pre posudzovanie a riešenie problémov sa v mnohých rolách osvedčia tri:

• Vykonanie úlohy. Študent sa rozhodne v rámci svojich právomocí a zaznamená si túto voľbu a dôkazy, ktoré ju podporujú.
• Zdôvodnenie. Študent vysvetľuje obmedzenia, alternatívy a to, čo je stále neisté.
• Hranice. Študent používa schválené postupy a požiada o pomoc, keď chýbajú informácie alebo autorita.

Každé kritérium napíšte ako niečo, čo sa prejavuje v rozhodnutí, vysvetlení alebo výstupe. Vyhnite sa slovám, ktoré pomenúvajú vlastnosť, ako napríklad „zdravý“, „zrelý“ alebo „dobrý“. Dvaja hodnotitelia si tieto slová prečítajú odlišne.

Udržujte počet nízky. Každé ďalšie kritérium pridáva priestor pre nesúhlas hodnotiteľov a dôvod pre študentov, aby sa naháňali za známkami, namiesto toho, aby o nich premýšľali. Ak kritérium nemení to, čo by ste s výsledkom urobili, zrušte ho.

3. Popíšte výkonnostné kotvy

Kotva je krátky popis toho, ako vyzerá úroveň skóre. Bez kotiev znamená skóre 1 alebo 2 to, čo hodnotiteľ chce, aby znamenalo.

Pre prvú verziu často postačuje jednoduchá trojúrovňová stupnica:

Pre každé kritérium pridajte krátky príklad, ako znejú 0, 1 a 2 pre vašu úlohu. Všade, kde je to možné, použite skutočné znenie z praxe. Abstraktné kotvy majú tendenciu skĺznuť späť k vágnym prídavným menám.

Kritické chyby riešte samostatne. Niektoré zlyhania by sa nemali odpisovať. Príkladmi sú konanie nad rámec vašich právomocí, ignorovanie bezpečnostného kroku alebo porušenie limitu dodržiavania predpisov. Uveďte ich oddelene od hodnotených kritérií a uveďte dôsledok: kritická chyba sa zaznamená a bude sa s ňou ďalej zaobchádzať bez ohľadu na celkový výsledok. V opačnom prípade môže študent dosiahnuť dobré skóre v oblasti uvažovania a hraníc, pričom vykoná krok, ktorý by bol v práci neprijateľný.

4. Kalibrujte hodnotiteľov pomocou príkladov

Rubrika sa sama o sebe neboduje. Hodnotitelia ju stále interpretujú, preto si ju pred hodnotením kohorty premyslite.

1. Vyberte si dve alebo tri vzorové odpovede, ktoré sa líšia kvalitou. Najlepšie sú skutočné pokusy z pilotného projektu.
2. Nech ich každý hodnotiteľ ohodnotí samostatne pred akoukoľvek diskusiou.
3. Porovnajte skóre a, čo je dôležitejšie, dôkazy, ktoré každá osoba uviedla.
4. Ak sa skóre líši, nájdite znenie, ktoré to spôsobilo, a zmeňte kritérium alebo kotvu.
5. Opakujte s novým príkladom, kým hodnotitelia neudelia rovnaké skóre z rovnakých dôvodov.

Cieľom je spoločné čítanie kritérií, nie zhoda sama o sebe. Ak dvaja hodnotitelia udelia rovnaké skóre z rôznych dôvodov, rubrika je stále nejednoznačná.

Čo hovorí výskum? Dôkazy sú zmiešané, preto počítajte s určitými nezhodami a zmerajte ich. V štúdii z roku 2022, ktorá sa zaoberala klinickými vyšetreniami nahranými na videozáznamy a v ostatných prípadoch dvaja hodnotitelia hodnotili štyridsať videí. Prvých desať hodnotili bez moderovania a zvyšok porovnávali s kritériami rubriky. Zhoda meraná váženým kappa koeficientom sa zvýšila z 0.49 pri prvých desiatich videách na 0.82 pri posledných desiatich (Watari a kolegovia, 2022). Bola to malá štúdia jednej skúškovej úlohy, takže to berte ako znamenie, že moderovanie môže pomôcť, nie ako sľub.

Samotné školenie tiež nie je zárukou. Randomizovaná štúdia z roku 2014 s 21 hodnotiteľmi, ktorí hodnotili 242 študentov medicíny, zistila, že krátke školenie zamerané na referenčný rámec merateľne nezlepšilo presnosť jednotlivých hodnotiteľov, hoci vyškolení hodnotitelia hodnotili prísnejšie a bližšie k referenčnému panelu. Autori dospeli k záveru, že hodnotenie výkonu je vysoko individuálne (Weitz a kolegovia, 2014). Praktické čítanie spočíva v tom, že kalibráciu treba neustále vykonávať na reálnych príkladoch, kontrolovať zhodu počas hodnotenia a nepredpokladať, že jedno brífingové stretnutie stačí.

5. Pilotné testovanie a revízia rubriky

Predtým, ako použijete rubriku na dôležité rozhodnutia, vyskúšajte si ju.

• Vykonajte to s malou skupinou študentov a dvoma alebo viacerými hodnotiteľmi.
• Zaznamenajte, v čom sa hodnotitelia nezhodujú, a požiadajte každého, aby vysvetlil svoje hodnotenie.
• Skontrolujte, či kritériá oddeľujú silné a slabé odpovede. Ak každý študent dosiahne 2 body, úloha alebo kotvy sú príliš jednoduché.
• Opýtajte sa študentov, čo im rubrika objasnila a čo ich zmiatlo.
• Prehodnoťte a potom znova vyskúšajte nový prípad.

Buďte úprimní o tom, čo pilotný projekt ukazuje. Nevalidovaná rubrika je pracovný návrh. Nie je to univerzálny certifikačný štandard a nemala by sa používať na prijímanie závažných rozhodnutí o ľuďoch, kým ju nepreskúma odborník v danej úlohe a kým nebudete mať dôkazy o tom, že funguje pre vašu populáciu.

Praktický príklad: rozhodnutie o eskalácii

Ilustrácia. Odborník, ktorý vykonáva túto prácu, by mal pred použitím overiť prípad a kritériá odpovede.

Púzdro. Zákazník nahlási oneskorenú objednávku a požiada o vrátenie peňazí v plnej výške. Agent môže ponúknuť kredit až do stanovenej sumy bez schválenia. Vrátená suma je vyššia. Manažér je nedostupný dve hodiny. Poznámky ukazujú štyri objednávky tento rok.

Čo robí študent. Vyberte odpoveď, vysvetlite rozhodnutie, uveďte dôkazy a uveďte, aké ďalšie informácie alebo podporu by potrebovali.

Odpoveď získala 1 bod za zdôvodnenie. „Ponúkol by som zákazníkovi vrátenie peňazí, pretože je to rozrušené.“ Rozhodnutie je oznámené, ale nie sú k dispozícii žiadne dôkazy, žiadna zmienka o limite a žiadny náznak toho, čo chýba.

Odpoveď získala 2 bod za zdôvodnenie. „Bez schválenia by som nevrátil peniaze nad rámec limitu. V poznámkach sú uvedené štyri objednávky tento rok, takže tento zákazník je dôležitý, ale nepotvrdil som, kde sa balík nachádza. Teraz by som ponúkol kredit v rámci môjho limitu, povedal by som zákazníkovi, kedy manažér odpovie, a požiadal by som dopravcu o aktualizáciu sledovania, aby schválenie mohlo byť rýchle.“

Kritická chyba. Vydanie vrátenia peňazí bez schválenia sa zaznamenáva ako kritická chyba bez ohľadu na ostatné skóre, pretože prekračuje právomoci agenta.

Všimnite si, čo urobili kotvy. Dvaja hodnotitelia z úvodu by teraz hľadali to isté: rozhodnutie, citované dôkazy, uvedenú neistotu a hranicu.

Kde pomáha interaktívne doručovanie

Interaktívne formáty pomáhajú s precvičovaním a kalibráciou, pretože každá osoba sa zaviaže k odpovedi predtým, ako uvidí odpoveď skupiny. V živom stretnutí môže facilitátor ukázať vzorovú odpoveď, požiadať každého hodnotiteľa, aby ju súkromne ohodnotil, a potom odhaliť rozloženie pred diskusiou. Rovnaké prípady je možné použiť na prípravu vlastným tempom. AhaSlides podporuje interaktívne učenie a prechod medzi živým a vlastným tempom. Skontrolujte všetky konkrétne funkcie tvorby, spätnej väzby alebo reportovania, na ktoré sa plánujete spoľahnúť, oproti svojmu vlastnému pracovnému postupu a považujte funkcie umelej inteligencie, simulácie a integrácie za externé alebo nepotvrdené, kým ich neuvidíte fungovať. Pokyny na výber medzi formátmi nájdete v časti kedy použiť adaptívne, interaktívne a živé učenieAk chcete priradiť aktivity k úrovni myslenia, ktorú chcete posúdiť, pozrite si nášho sprievodcu priraďovanie vzdelávacích aktivít k Bloomovej taxonómii.

Zmerajte, čo sa zmenilo

Vopred sa rozhodnite, aké dôkazy by preukázali, že študenti dokážu úlohu zvládnuť. Porovnajte výkon na novom, doposiaľ neznámom prípade s východiskovým stavom a pozrite sa na kvalitu zdôvodnenia, ako aj na rozhodnutie. Definujte, kto je zahrnutý, menovateľa a načasovanie. Ak sa skóre zlepší, pred priznaním kreditu za školenie skontrolujte, čo sa ešte zmenilo v rovnakom období, napríklad nový nástroj alebo iná kombinácia práce.

Obmedzenia, ktoré môžu pretrvávať

Ani dobre zostavená rubrika nevyrieši všetko:

• Čas hodnotiteľa. Kalibrácia a pilotné testovanie si vyžadujú čas, ktorý je potrebné naplánovať.
• Autorita v skutočnej práci. Študent môže v cvičení dobre uvažovať a napriek tomu mu chýba autorita konať týmto spôsobom v práci.
• Krytie prípadu. Jeden prípad ukazuje jedno rozhodnutie. Jedno skóre neopisuje niečí úsudok vo všeobecnosti.
• Transfer. Výkon v bezpečnom prostredí nie je to isté ako výkon v práci. Po vhodnej expozícii skontrolujte prenos.

Naplánujte si pre ne samostatné riešenia a oznámte to sponzorom. Rubrika robí hodnotenie jasnejším a spravodlivejším. Nerobí zo skóre záruku.

Často kladené otázky

Aký je rozdiel medzi rubrikou a kontrolným zoznamom?

Kontrolný zoznam zaznamenáva, či bola daná vec vykonaná. Rubrika opisuje, ako dobre bola daná vec vykonaná, na viacerých úrovniach, takže je vhodná pre úlohy, ktoré vyžadujú posúdenie a vysvetlenie.

Koľko kritérií by mala mať rubrika?

Málo, zvyčajne tri až päť. Vyberte tie, ktoré zodpovedajú cieľu učenia, a vynechajte tie, ktoré by nezmenili to, čo urobíte s výsledkom.

Môže rubrika odstrániť nezhody medzi hodnotiteľmi?

Nie. Môže to znížiť, najmä pri kotvách a kalibrácii na reálnych príkladoch, ale stále by ste mali pri hodnotení kontrolovať zhodu a opravovať nejasné znenie.

Mal by som použiť rubriku pre rozhodnutia s vysokými stávkami?

Až po pilotnom projekte a kontrole odborníkom v danej úlohe. S novou rubrikou zaobchádzajte ako s návrhom, kým nebudete mať dôkazy o tom, že funguje pre vašich študentov a úlohu.

Kde začať

Vyberte si jedno rozhodnutie, ktoré musia vaši študenti urobiť dobre. Napíšte dôkazy, ktoré by preukázal kompetentný výkon, vyberte tri kritériá, pre každé z nich navrhnite kotvu od 0 do 2 a uveďte kritické chyby. Potom nechajte dvoch hodnotiteľov nezávisle ohodnotiť ten istý príklad, porovnajte ich dôkazy a opravte znenie skôr, ako niekoho ohodnotíte.

Ak chcete vidieť, ako by sa prípad mohol spustiť naživo s vaším vlastným tímom a následne ho znova použiť vlastným tempom, preskúmajte AhaSlides.