Rubrika pro hodnocení výkonu: jak posoudit úsudek a řešení problémů ve výcviku

Dva školitelé sledují stejnou nahrávku, na které se nová vedoucí týmu rozhoduje, zda má eskalovat stížnost zákazníka. První jí dává nejvyšší hodnocení: zachovala klid a zvolila rozumnou možnost. Druhý jí dává průměrné hodnocení: nikdy neřekla, proč si ji zvolila, ani co neví. Oba školitelé jsou zkušení. Oba použili stejný formulář. Ani jeden není špatný, a to je ten problém. Formulář jim neřekl, na co se mají zaměřit.

Toto je ilustrativní scénář, nikoli zdokumentovaný případ zákazníka. Ukazuje, proč je těžké posoudit úsudek a řešení problémů: důkazy jsou v uvažování a uvažování lze snadno hodnotit odlišně.

Tato příručka je určena pro návrháře vzdělávacích programů, manažery vzdělávání a vedoucí oddělení vzdělávání a rozvoje, kteří potřebují hodnotící rubriku pro hodnocení výkonu, kterou mohou obhájit. Zahrnuje pět kroků: definování důkazů, stanovení pozorovatelných kritérií, popis výkonnostních kotev, kalibrace hodnotitelů a pilotní testování rubriky. Končí praktickým příkladem a zbývajícími omezeními.

Co je to rubrika pro hodnocení výkonu?

Rubrika pro hodnocení výkonu je bodovacím průvodcem pro úkol, kde student něco udělá, spíše než aby si něco pamatoval. Uvádí důležitá kritéria, popisuje, jak vypadá každá úroveň skóre, a poskytuje hodnotitelům společný základ pro rozhodování. Pro posuzování a řešení problémů je úkol obvykle případ: student se rozhodne, co bude dělat, vysvětlí své rozhodnutí a řekne, co by ještě potřeboval vědět.

Rubrika není testem znalostí. Kvíz na opakování může potvrdit, že někdo zná pravidla. Rubrika ukazuje, zda je daný člověk schopen tato pravidla aplikovat, když je situace neuspořádaná.

Rychlá fakta

1. Definujte důkazy o výkonu

Začněte úkolem, ne formou. Zapište si situaci, které bude student čelit, rozhodnutí, které musí učinit, a co by kompetentní výkon zviditelnil. Buďte konkrétní ohledně kontextu a omezení: jakou má student pravomoc, jaké informace mu jsou sděleny a co záměrně chybí?

Užitečným testem je zeptat se, na co by pozorovatel mohl poukázat. „Projevuje dobrý úsudek“ nelze ukázat. „Uvádí, který postup se použije, jmenuje jednu chybějící skutečnost a říká, koho by se zeptal“ ano.

Pokud nedokážete popsat důkazy v jednoduchých větách, úkol není připraven k bodování. Nejprve úkol opravte. Nejasný úkol vytváří vágní rubriku, ať už vypadá jakkoli uhlazeně.

2. Zapište pozorovatelná kritéria

Vyberte malý počet kritérií, která odpovídají cíli učení. Pro posuzování a řešení problémů se v mnoha rolích osvědčují tři:

• Provedení úkolu. Student se v rámci svých pravomocí rozhodne a zaznamená si toto rozhodnutí a důkazy, které ho podporují.
• Uvažování. Student vysvětluje omezení, alternativy a to, co je stále nejisté.
• Hranice. Student používá schválené postupy a žádá o pomoc, když chybí informace nebo autorita.

Každé kritérium zapište jako něco, co je patrné z rozhodnutí, vysvětlení nebo výstupu. Vyhněte se slovům, která pojmenovávají vlastnost, jako například „dobrý“, „zralý“ nebo „dobrý“. Dva hodnotitelé čtou tato slova odlišně.

Udržujte nízké číslo. Každé další kritérium přidává prostor pro nesouhlas hodnotitelů a důvod pro studenty, aby se honili za známkami, místo aby o nich přemýšleli. Pokud kritérium nemění to, co byste s výsledkem udělali, zrušte ho.

3. Popište výkonnostní kotvy

Kotva je stručný popis toho, jak vypadá úroveň skóre. Bez kotev znamená skóre 1 nebo 2 to, co hodnotitel chce, aby znamenalo.

Pro první verzi často postačí jednoduchá třístupňová stupnice:

Pro každé kritérium přidejte krátký příklad, jak zní 0, 1 a 2 pro váš úkol. Pokud je to možné, použijte reálné formulace z cvičných pokusů. Anotace psané abstraktně mají tendenci se vracet k vágním přídavným jménům.

Kritické chyby zacházejte odděleně. Některá selhání by se neměla ignorovat. Příkladem je jednání nad rámec vašich pravomocí, ignorování bezpečnostního kroku nebo porušení limitu shody. Uveďte je odděleně od bodovaných kritérií a uveďte důsledek: kritická chyba je zaznamenána a řešena bez ohledu na celkový výsledek. V opačném případě může student dosáhnout dobrého skóre v oblasti uvažování a hranic, ale zároveň provést akci, která by byla v práci nepřijatelná.

4. Kalibrace hodnotitelů pomocí příkladů

Rubrika se sama o sobě nehodnotí. Hodnotitelé ji stále interpretují, proto ji před hodnocením kohorty proveďte kalibraci.

1. Vyberte dvě nebo tři ukázkové odpovědi, které se liší kvalitou. Nejlepší jsou skutečné pokusy z pilotního projektu.
2. Nechte každého hodnotitele, aby je ohodnotil samostatně, před jakoukoli diskusí.
3. Porovnejte skóre a, co je důležitější, důkazy, které každá osoba uvedla.
4. Pokud se skóre liší, najděte formulaci, která ji způsobila, a změňte kritérium nebo kotvu.
5. Opakujte s novým příkladem, dokud hodnotitelé neudělí stejné skóre ze stejných důvodů.

Cílem je sdílený výklad kritérií, nikoli shoda sama o sobě. Pokud dva hodnotitelé udělí stejné skóre z různých důvodů, rubrika je stále nejednoznačná.

Co říká výzkum? Důkazy jsou smíšené, proto počítejte s určitými neshodami a změřte je. Ve studii z roku 2022, která se zabývala videozáznamy klinických vyšetření v časopise Fujita Medical Journal, dva hodnotitelé ohodnotili čtyřicet videí. Prvních deset hodnotili bez moderace a u zbytku pokaždé diskutovali o svém hodnocení podle kritérií rubriky. Shoda, měřená váženým kappa koeficientem, vzrostla z 0.49 u prvních deseti videí na 0.82 u posledních deseti (Watari a kolegové, 2022). Jednalo se o malou studii jednoho úkolu ze zkoušky, takže to berte jako znamení, že moderování může pomoci, ne jako slib.

Samotné školení také není zárukou. Randomizovaná studie z roku 2014, v níž 21 hodnotitelů hodnotilo 242 studentů medicíny, zjistila, že krátké školení založené na referenčním rámci měřitelně nezlepšilo přesnost jednotlivých hodnotitelů, ačkoli proškolení hodnotitelé hodnotili přísněji a blíže referenčnímu panelu. Autoři dospěli k závěru, že hodnocení výkonu je vysoce individuální (Weitz a kolegové, 2014). Praktické čtení spočívá v tom, že kalibraci je třeba provádět na reálných příkladech, kontrolovat shodu během hodnocení a nepředpokládat, že jednorázová instruktážní schůzka stačí.

5. Otestujte a upravte rubriku

Než rubriku použijete pro důležitá rozhodnutí, vyzkoušejte si ji.

• Proveďte to s malou skupinou studentů a dvěma nebo více hodnotiteli.
• Zaznamenejte, v čem se hodnotitelé neshodují, a požádejte každého, aby své hodnocení vysvětlil.
• Zkontrolujte, zda kritéria oddělují silné a slabé odpovědi. Pokud každý student dosáhne 2 bodů, je úkol nebo kotvy příliš snadné.
• Zeptejte se studentů, co jim rubrika objasnila a co je zmátlo.
• Zrevidujte a poté znovu vyzkoušejte nový případ.

Buďte upřímní ohledně toho, co pilotní projekt ukazuje. Nevalidovaná rubrika je pracovní návrh. Nejedná se o univerzální certifikační standard a neměla by být používána k přijímání závažných rozhodnutí o lidech, dokud ji nezkontroluje odborník v dané roli a vy nebudete mít důkazy o tom, že pro vaši populaci funguje.

Praktický příklad: rozhodnutí o eskalaci

Ilustrativní příklad. Odborník, který tuto práci provádí, by měl před použitím ověřit případ a kritéria odpovědi.

Pouzdro. Zákazník nahlásí zpožděnou objednávku a požádá o plnou náhradu. Agent může nabídnout dobropis až do stanovené výše bez schválení. Vrácená částka je vyšší než tato částka. Manažer není k dispozici dvě hodiny. Poznámky ukazují čtyři objednávky v tomto roce.

Co dělá student. Vyberte odpověď, vysvětlete rozhodnutí, uveďte důkazy a uveďte, jaké další informace nebo podporu by potřebovali.

Odpověď získala 1 bod za zdůvodnění. „Nabídl bych zákazníkovi vrácení peněz, protože je to naštvané.“ Rozhodnutí je oznámeno, ale neexistují žádné důkazy, žádná zmínka o limitu a žádná známka toho, co chybí.

Odpověď získala 2 bod za zdůvodnění. „Bez schválení bych nevrátil peníze nad rámec mého limitu. V poznámkách jsou uvedeny čtyři objednávky v tomto roce, takže na tomto zákazníkovi záleží, ale nepotvrdil jsem, kde se balík nachází. Nyní bych nabídl kredit v rámci mého limitu, řekl zákazníkovi, kdy manažer odpoví, a požádal dopravce o aktualizaci sledování zásilky, aby schválení mohlo být rychlé.“

Kritická chyba. Vydání vrácení peněz bez schválení se zaznamená jako kritická chyba bez ohledu na ostatní skóre, protože překračuje pravomoci agenta.

Všimněte si, co udělali kotvy. Dva hodnotitelé z úvodu by nyní hledali stejné věci: rozhodnutí, citované důkazy, uvedenou nejistotu a hranici.

Kde pomáhá interaktivní výuka

Interaktivní formáty pomáhají s procvičováním a kalibrací, protože každý člověk se zaváže k odpovědi předtím, než uvidí odpověď skupiny. V živém setkání může facilitátor ukázat vzorovou odpověď, požádat každého hodnotitele, aby ji soukromě ohodnotil, a poté odhalit rozložení před diskusí. Stejné případy lze použít k přípravě vlastním tempem. AhaSlides podporuje interaktivní učení a přepínání mezi živým a vlastním tempem. Zkontrolujte všechny konkrétní funkce pro tvorbu, zpětnou vazbu nebo reporting, na které se chcete spolehnout, oproti svému vlastnímu pracovnímu postupu a zacházejte s funkcemi umělé inteligence, simulace a integrace jako s externími nebo nepotvrzenými, dokud je neuvidíte fungovat. Pokyny k výběru mezi formáty naleznete v Kdy použít adaptivní, interaktivní a živé učeníChcete-li přizpůsobit aktivity úrovni myšlení, kterou chcete posoudit, podívejte se na našeho průvodce přiřazování vzdělávacích aktivit k Bloomově taxonomii.

Změřte, co se změnilo

Předem si rozhodněte, jaké důkazy by prokázaly, že studenti jsou schopni daný úkol zvládnout. Porovnejte výkon na novém, dosud neznámém případu s výchozím stavem a podívejte se na kvalitu uvažování i rozhodnutí. Definujte, kdo je zahrnut, jmenovatele a načasování. Pokud se skóre zlepší, zkontrolujte, co se dalšího ve stejném období změnilo, například nový nástroj nebo jiná kombinace práce, než školení uznáte za úspěšné.

Omezení, která mohou přetrvávat

Ani dobře sestavená rubrika nevyřeší všechno:

• Čas posuzovatele. Kalibrace a pilotní testování zaberou čas, který je třeba naplánovat.
• Autorita v reálné práci. Student může v cvičení dobře uvažovat a přesto mu chybí autorita k tomu, aby se v práci takto choval.
• Krytí případu. Jeden případ ukazuje jedno rozhodnutí. Jedno skóre obecně nepopisuje něčí úsudek.
• Převod. Výkon v bezpečném prostředí není stejný jako výkon v práci. Po vhodné expozici zkontrolujte přenos.

Naplánujte pro ně samostatná řešení a sdělte to sponzorům. Rubrika činí hodnocení jasnějším a spravedlivějším. Nemění skóre na záruku.

Často kladené otázky

Jaký je rozdíl mezi rubrikou a kontrolním seznamem?

Kontrolní seznam zaznamenává, zda bylo něco provedeno. Rubrika popisuje, jak dobře bylo něco provedeno, a to na několika úrovních, takže je vhodná pro úkoly, které vyžadují posouzení a vysvětlení.

Kolik kritérií by měla rubrika obsahovat?

Málo, obvykle tři až pět. Vyberte ty, které odpovídají cíli učení, a vynechte ty, které by nezměnily to, co s výsledkem uděláte.

Může rubrika odstranit neshody mezi hodnotiteli?

Ne. Může to snížit, zejména u kotev a kalibrace na reálných příkladech, ale i tak byste měli při hodnocení kontrolovat shodu a opravovat nejasná znění.

Mám používat rubriku pro důležitá rozhodnutí?

Teprve po pilotním projektu a posouzení odborníkem v dané roli. S novou rubrikou zacházejte jako s návrhem, dokud nebudete mít důkazy o tom, že funguje pro vaše studenty a úkol.

Kde začít

Vyberte si jedno rozhodnutí, které musí vaši studenti udělat správně. Napište důkazy, které by prokázal kompetentní výkon, vyberte tři kritéria, pro každé z nich navrhněte kotvu od 0 do 2 a uveďte kritické chyby. Poté nechte dva hodnotitele nezávisle ohodnotit stejný příklad, porovnejte jejich důkazy a opravte formulaci, než někoho ohodnotíte.

Chcete-li vidět, jak by případ mohl běžet živě s vaším vlastním týmem a poté být znovu použit vlastním tempem, prozkoumejte AhaSlides.