Teljesítményértékelési rubrika: hogyan értékeljük az ítélőképességet és a problémamegoldást a képzés során

Két tréner ugyanazt a felvételt nézi, amint egy új csapatvezető eldönti, hogy továbbítsa-e az ügyfélpanaszt. Az első a legjobb pontszámot adja neki: nyugodt maradt és egy ésszerű lehetőséget választott. A második közepes pontszámot ad neki: soha nem mondta, hogy miért választotta ezt, vagy mit nem tud. Mindkét tréner tapasztalt. Mindketten ugyanazt az űrlapot használták. Egyik sem rossz, és ez a probléma. Az űrlap nem mondta meg nekik, hogy mire kell figyelniük.

Ez egy szemléltető forgatókönyv, nem pedig egy dokumentált ügyféleset. Megmutatja, miért nehéz felmérni az ítélőképességet és a problémamegoldást: a bizonyíték az érvelésben rejlik, és az érvelést könnyű eltérő pontozással értékelni.

Ez az útmutató oktatástervezők, képzésvezetők és képzés-fejlesztési vezetők számára készült, akiknek meg tudják védeni a teljesítményértékelési rubrikát. Öt lépést ölel fel: a bizonyítékok meghatározása, megfigyelhető kritériumok felírása, teljesítményhorgonyok leírása, az értékelők kalibrálása és a rubrika kipróbálása. Végül egy kidolgozott példával és a fennmaradó korlátokkal zárul.

Mi az a teljesítményértékelési rubrika?

A teljesítményértékelési rubrika egy pontozási útmutató egy olyan feladathoz, ahol a tanuló valamit csinál, ahelyett, hogy felidézne valamit. Felsorolja a fontos kritériumokat, leírja, hogy hogyan néznek ki az egyes pontszámszintek, és közös alapot ad az értékelőknek a döntéshez. Az ítélkezés és a problémamegoldás esetében a feladat általában egy esettanulmány: a tanuló eldönti, mit kell tennie, elmagyarázza a döntését, és elmondja, hogy mit kellene még tudnia.

A rubrika nem tudásteszt. Egy felidéző ​​kvíz megerősítheti, hogy valaki ismeri a szabályokat. A rubrika megmutatja, hogy képes-e alkalmazni ezeket a szabályokat rendezetlen helyzetben.

Gyors tények

1. Határozza meg a teljesítmény bizonyítékait

Kezdd a feladattal, ne a formával. Írd le a tanuló előtt álló helyzetet, a döntést, amit meg kell hoznia, és azt, hogy mit tenne láthatóvá egy hozzáértő teljesítmény. Légy pontos a kontextussal és a korlátokkal kapcsolatban: milyen hatáskörrel rendelkezik a tanuló, milyen információkat kap, és mit hagy ki szándékosan?

Hasznos teszt lehet megkérdezni, hogy mire tudna rámutatni egy megfigyelő. A „jó ítélőképességet mutat” nem mutatható ki. A „megmondja, hogy melyik eljárás alkalmazható, megnevez egy hiányzó tényt, és megmondja, hogy kit kérdezne meg” igen.

Ha nem tudod egyszerű mondatokban leírni a bizonyítékokat, a feladat még nem pontozható. Először a feladatot javítsd ki. Egy homályos feladat homályos értékelési kritériumokat eredményez, bármennyire is kifinomultnak tűnik.

2. Írj fel megfigyelhető kritériumokat

Válasszon ki néhány kritériumot, amelyek megfelelnek a tanulási célnak. Az ítélőképesség és a problémamegoldás terén három jól működik számos szerepben:

• Feladat végrehajtása. A tanuló a saját hatáskörében döntést hoz, és feljegyzi a választását, valamint az azt alátámasztó bizonyítékokat.
• Érvelés. A tanuló elmagyarázza a korlátokat, az alternatívákat és azt, hogy mi a bizonytalan.
• Határok. A tanuló jóváhagyott eljárásokat alkalmaz, és segítséget kér, ha hiányzik az információ vagy a hatáskör.

Minden kritériumot úgy írj le, mint valami, ami egy döntésben, magyarázatban vagy kimenetben látható. Kerüld az olyan szavakat, amelyek egy tulajdonságot neveznek meg, például a „megfelelő”, „érett” vagy „jó”. Két értékelő másképp olvassa ezeket a szavakat.

Tartsd alacsonyan a számot. Minden további kritérium teret ad az értékelőknek az egyet nem értésre, és okot ad a tanulóknak arra, hogy inkább a jegyeket hajszolják, mintsem gondolkodjanak. Ha egy kritérium nem változtat azon, amit az eredménnyel tennél, akkor hagyd el.

3. Teljesítményhorgonyok leírása

A horgonypont egy rövid leírás arról, hogy hogyan néz ki egy pontszámszint. Horgonypontok nélkül az 1-es vagy 2-es pontszám azt jelenti, amit az értékelő szeretne.

Egy egyszerű háromszintű skála gyakran elegendő az első verzióhoz:

Minden kritériumhoz adj egy rövid példát arra vonatkozóan, hogy hogyan hangzik a 0, 1 és 2 a feladatodban. Használj valós szavakat a gyakorló próbálkozásokból, ahol lehetséges. Az absztraktban írt horgonyszavak hajlamosak visszatérni a homályos melléknevekbe.

A kritikus hibákat külön kell kezelni. Bizonyos hibákat nem szabad átlagolni. Ilyen például a hatáskörön túllépés, a biztonsági intézkedések figyelmen kívül hagyása vagy a megfelelőségi határértékek megszegése. Sorolja fel ezeket a pontozott kritériumoktól elkülönítve, és ismertesse a következményét: a kritikus hibát rögzítik, és az összegzéstől függetlenül kivizsgálják. Ellenkező esetben a tanuló jó pontszámot érhet el az érvelés és a határok tekintetében, miközben olyan cselekedetet hajt végre, amely a munkahelyén elfogadhatatlan lenne.

4. Kalibrálja az értékelőket példák segítségével

Egy rubrika nem pontozza önmagát. Az értékelők továbbra is értelmezik, ezért kalibrálja, mielőtt pontozna egy kohorsz elemet.

1. Válasszon ki két vagy három, minőségben eltérő válaszlehetőséget. A legjobb, ha egy pilot projekt valós példáival próbálkozik.
2. Minden értékelő külön pontozza őket, mielőtt bármilyen megbeszélést megbeszélnénk.
3. Hasonlítsd össze az eredményeket, és ami még fontosabb, az egyes személyek által idézett bizonyítékokat.
4. Ahol az eredmények eltérnek, keresd meg az eltérést okozó megfogalmazást, és változtasd meg a kritériumot vagy a horgonypontot.
5. Ismételd meg egy friss példával, amíg az értékelők ugyanazon okok miatt ugyanazt a pontszámot nem adják.

A cél a kritériumok közös értelmezése, nem pedig az öncélú megegyezés. Ha két értékelő ugyanazt a pontszámot adja különböző okokból, a rubrika továbbra is kétértelmű marad.

Mit mond a kutatás? A bizonyítékok vegyesek, ezért számoljunk némi nézeteltéréssel, és mérjük fel azokat. A Fujita Medical Journalban 2022-ben megjelent, videóra rögzített klinikai vizsgálatokról szóló tanulmányban két értékelő negyven videót pontozott. Az első tíz videót moderálás nélkül pontozták, a többi esetében pedig minden alkalommal megvitatták az értékelésüket a rubrika kritériumai alapján. Az egyezés, amelyet súlyozott kappa-együtthatóval mértek, az első tíz videó esetében 0.49-ről az utolsó tíz esetében 0.82-re emelkedett (Watari és kollégái, 2022). Ez egyetlen vizsgafeladat rövid tanulmányozása volt, ezért tekintsd úgy, mint egy jelet arra, hogy a moderálás segíthet, ne pedig ígéretnek.

A képzés önmagában sem garancia. Egy 2014-es, 21 értékelő bevonásával végzett randomizált tanulmány, amelyben 242 orvostanhallgatót értékeltek, megállapította, hogy egy rövid, referenciakereten alapuló képzés nem javította mérhetően az egyes értékelők pontosságát, bár a képzett értékelők szigorúbb pontozást végeztek, és közelebb álltak a referenciapanelhez. A szerzők arra a következtetésre jutottak, hogy a teljesítményértékelés nagymértékben egyéni (Weitz és munkatársai, 2014). A gyakorlati olvasat az, hogy a kalibrálást valós példákon folytassuk, a pontozás során ellenőrizzük az egyezést, és ne feltételezzük, hogy egyetlen tájékoztató ülés elegendő.

5. A rubrika kipróbálása és felülvizsgálata

Mielőtt a rubrikát fontos döntésekhez használnád, próbáld ki.

• Futtasd le egy kis tanulói csoporttal és két vagy több értékelővel.
• Jegyezd fel, hogy az értékelők hol nem értenek egyet, és kérd meg mindegyiküket, hogy indokolja meg az értékelését.
• Ellenőrizd, hogy a kritériumok elkülönítik-e az erős és gyenge válaszokat. Ha minden tanuló 2 pontot ér el, a feladat vagy a horgonypontok túl könnyűek.
• Kérdezd meg a tanulókat, hogy mit tett egyértelművé a rubrika, és mi zavarta őket.
• Módosítsd, majd próbáld ki újra egy új esettel.

Légy őszinte azzal kapcsolatban, hogy mit mutat a kísérleti projekt. A nem validált rubrika egy működő tervezet. Nem egyetemes tanúsítási szabvány, és nem szabad magas téttel bíró döntések meghozatalára használni, amíg egy adott pozícióban lévő szakember át nem vizsgálta, és nincs bizonyítékod arra, hogy működik a populációd számára.

Egy kidolgozott példa: eszkalációs döntés

Szemléltető példa. Az ilyen munkát végző gyakorló szakembernek használat előtt validálnia kell az esetet és a válaszkritériumokat.

Az eset. Egy ügyfél késedelmes rendelést jelent, és teljes visszatérítést kér. Az ügynök jóváhagyás nélkül jóváírhat egy meghatározott összegig. A visszatérítés e felett van. A vezető két órán át nem érhető el. A jegyzetek négy rendelést mutatnak idén.

Amit a tanuló tesz. Válasszon egy választ, indokolja meg a döntését, idézze a bizonyítékokat, és mondja el, milyen további információkra vagy alátámasztásra lenne szüksége.

Egy válasz 1 pontot ért az indokláson. „Felajánlanám a visszatérítést, mert az ügyfél fel van háborodva.” A döntés kimondásra kerül, de nincs bizonyíték, nincs említés a limitről, és semmi jel arra vonatkozóan, hogy mi hiányzik.

Egy válasz 2 pontot ért az indokláson. „Jóváhagyás nélkül nem téríteném vissza a limitem feletti összeget. A jegyzetek szerint idén négy rendelés érkezett, tehát ez az ügyfél számít, de még nem erősítettem meg, hogy hol van a csomag. Most a limitemen belül jóváírnám a pénzt, szólnék az ügyfélnek, hogy mikor válaszol a vezető, és kérnék a szállítótól követési információkat, hogy a jóváhagyás gyorsabb legyen.”

Kritikus hiba. A jóváhagyás nélküli visszatérítést kritikus hibának kell könyvelni, függetlenül a többi pontszámtól, mivel ez meghaladja az ügynök hatáskörét.

Figyeljük meg, mit tettek a horgonyok. A nyitó mondat két értékelője most ugyanazokat a dolgokat kereste: a döntést, a hivatkozott bizonyítékot, a megállapított bizonytalanságot és a határt.

Ahol az interaktív közvetítés segít

Az interaktív formátumok segítik a gyakorlást és a kalibrálást, mivel mindenki elkötelezi magát egy válasz mellett, mielőtt látná a csoport válaszait. Egy élő ülésen a facilitátor megmutathat egy mintaválaszt, megkérheti az összes értékelőt, hogy négyszemközt pontozza azt, majd a megbeszélés előtt felfedheti a terjedelmet. Ugyanezek az esetek felhasználhatók önálló tempóban történő felkészüléshez. Az AhaSlides támogatja az interaktív tanulást és az élő és az önálló tempójú előadás közötti váltást. Ellenőrizze az összes olyan konkrét szerzői, visszajelzési vagy jelentéskészítési funkciót, amelyre a saját munkafolyamatával kapcsolatban támaszkodni kíván, és kezelje a mesterséges intelligenciát, a szimulációt és az integrációs funkciókat külsőként vagy nem megerősítettként, amíg nem látta, hogy működnek. A formátumok közötti választással kapcsolatos útmutatásért lásd: Mikor alkalmazzunk adaptív, interaktív és élő tanulást?A tevékenységek mérni kívánt gondolkodási szinthez való illesztéséhez tekintse meg útmutatónkat a következő témában: tanulási tevékenységek Bloom taxonómiájához való illesztése.

Mérd meg, mi változott

Előre döntsd el, milyen bizonyítékok mutatják, hogy a tanulók képesek elvégezni a feladatot. Hasonlítsd össze egy új, korábban nem látott eset teljesítményét egy alapállapottal, és vizsgáld meg az érvelés és a döntés minőségét is. Határozd meg, hogy kik tartoznak a csoportba, a nevezőt és az időzítést. Ha a pontszámok javulnak, ellenőrizd, hogy mi változott még ugyanebben az időszakban, például egy új eszköz vagy a munka más összetétele, mielőtt jóváírnád a képzést.

Maradhatnak korlátok

Még egy jól felépített rubrika sem old meg mindent:

• Értékelői idő. A kalibrálás és a tesztelés időt vesz igénybe, amit meg kell tervezni.
• Hatalom a valódi munkában. Egy tanuló jól érvelhet a gyakorlat során, mégis hiányzik belőle a tekintély ahhoz, hogy a munkahelyén így cselekedjen.
• Eseti lefedettség. Egyetlen eset egyetlen döntést mutat be. Egyetlen pontszám nem írja le általánosságban valakinek az ítéletét.
• Átadása. A biztonságos környezetben nyújtott teljesítmény nem ugyanaz, mint a munkahelyen nyújtott teljesítmény. Megfelelő expozíció után ellenőrizze az áthelyezést.

Tervezzen külön megoldásokat ezekre, és ezt jelezze a szponzoroknak. A rubrika egyértelműbbé és igazságosabbá teszi az értékelést. Nem teszi a pontszámot garanciává.

Gyakran Ismételt Kérdések

Mi a különbség a rubrika és az ellenőrzőlista között?

Egy ellenőrzőlista rögzíti, hogy valami megtörtént-e. Egy értékelőlista több szinten leírja, hogy mennyire volt jól elvégezve, így alkalmas azokhoz a feladatokhoz, amelyek megítélést és magyarázatot igényelnek.

Hány kritériumnak kell lennie egy rubrikának?

Kevés, általában három-öt. Válaszd ki azokat, amelyek megfelelnek a tanulási célnak, és hagyd el azokat, amelyek nem változtatnának az eredménnyel kapcsolatos tevékenységeden.

Kiküszöbölheti-e egy értékelői értékelés a nézeteltéréseket?

Nem. Csökkentheti, különösen horgonypontok és valós példákon végzett kalibráció esetén, de a pontozás során továbbra is ellenőrizni kell az egyezést, és javítani kell a nem egyértelmű megfogalmazásokat.

Használjak-e rubrikát a nagy téttel járó döntésekhez?

Csak egy kísérleti projekt és egy, a szerepben jártas szakember általi felülvizsgálat után. Tekints az új rubrikára úgy, mint egy vázlatra, amíg nincs bizonyítékod arra, hogy működik a tanulóid és a feladatod számára.

Hol kezdjem

Válassz ki egy döntést, amelyet a tanulóidnak jól kell meghozniuk. Írd le a bizonyítékokat, amelyeket egy hozzáértő teljesítmény mutatna, válassz ki három kritériumot, mindegyikhez készíts egy 0-tól 2-ig terjedő horgonypontot, és sorold fel a kritikus hibákat. Ezután kérj meg két értékelőt, hogy pontozzák ugyanazt a példát függetlenül, hasonlítsátok össze a bizonyítékaikat, és javítsátok ki a megfogalmazást, mielőtt bárkit is pontoznál.

Ha szeretné megtudni, hogyan futtatható egy eset élőben a saját csapatával, és hogyan használható utána újra önálló tempóban, fedezze fel az AhaSlides oldalt.