Rubrika za procjenu učinka: kako procijeniti prosudbu i rješavanje problema u obuci

Dva trenera gledaju istu snimku novog voditelja tima koji odlučuje hoće li eskalirati pritužbu kupca. Prvi joj daje najviše ocjene: ostala je mirna i odabrala razumnu opciju. Drugi joj daje osrednju ocjenu: nikada nije rekla zašto ju je odabrala ili što ne zna. Oba trenera su iskusna. Oboje su koristili isti obrazac. Nijedan nije pogrešan, i to je problem. Obrazac im nije rekao što da traže.

Ovo je ilustrativan scenarij, a ne dokumentirani slučaj kupca. Pokazuje zašto je teško procijeniti prosudbu i rješavanje problema: dokazi su u obrazloženju, a obrazloženje je lako ocijeniti drugačije.

Ovaj je vodič namijenjen dizajnerima instrukcija, voditeljima obuke i voditeljima obrazovanja i razvoja kojima je potrebna rubrika za procjenu uspješnosti koju mogu braniti. Obuhvaća pet koraka: definiranje dokaza, pisanje uočljivih kriterija, opisivanje sidrišta uspješnosti, kalibriranje procjenitelja i pilotno testiranje rubrike. Završava s razrađenim primjerom i preostalim ograničenjima.

Što je rubrika za ocjenjivanje učinka?

Rubrika za ocjenjivanje uspješnosti je vodič za bodovanje zadatka u kojem učenik nešto radi umjesto da se nečega prisjeća. Navodi kriterije koji su važni, opisuje kako izgleda svaka razina bodovanja i daje ocjenjivačima zajedničku osnovu za odlučivanje. Za prosuđivanje i rješavanje problema, zadatak je obično slučaj: učenik odlučuje što će učiniti, objašnjava odluku i kaže što bi još trebao znati.

Rubrika nije test znanja. Kviz za ponavljanje može potvrditi da netko zna pravila. Rubrika pokazuje može li primijeniti ta pravila kada je situacija neuredna.

Brze činjenice

1. Definirajte dokaze o izvedbi

Započnite sa zadatkom, a ne s formom. Zapišite situaciju s kojom će se učenik suočiti, odluku koju mora donijeti i što bi kompetentna izvedba učinila vidljivim. Budite precizni u vezi s kontekstom i ograničenjima: koje ovlasti učenik ima, koje informacije dobiva, a što namjerno izostavlja?

Koristan test je pitati na što bi promatrač mogao pokazati. „Pokazuje dobru prosudbu“ ne može se pokazati. „Navodi koji se postupak primjenjuje, imenuje jednu činjenicu koja nedostaje i kaže koga bi pitali“ može.

Ako ne možete opisati dokaze jednostavnim rečenicama, zadatak nije spreman za bodovanje. Prvo ispravite zadatak. Nejasan zadatak stvara nejasnu rubriku, koliko god uglađeno izgledala.

2. Napišite kriterije koje je moguće uočiti

Odaberite mali broj kriterija koji odgovaraju cilju učenja. Za prosuđivanje i rješavanje problema, tri dobro funkcioniraju u mnogim ulogama:

• Izvršenje zadatka. Učenik donosi odluku unutar svojih ovlasti te bilježi izbor i dokaze koji stoje iza njega.
• Rasuđivanje. Učenik objašnjava ograničenja, alternative i ono što je još uvijek neizvjesno.
• Granice. Učenik koristi odobrene postupke i traži pomoć kada nedostaju informacije ili autoritet.

Svaki kriterij napišite kao nešto što se vidi u odluci, objašnjenju ili rezultatu. Izbjegavajte riječi koje opisuju osobinu, poput „zdrav“, „zreo“ ili „dobar“. Dva procjenitelja čitaju te riječi različito.

Neka broj bude nizak. Svaki dodatni kriterij dodaje prostor za neslaganje ocjenjivača i razlog učenicima da jure za ocjenama umjesto da razmišljaju. Ako kriterij ne mijenja što biste učinili s rezultatom, odustanite od njega.

3. Opišite sidra performansi

Sidro je kratak opis kako izgleda razina ocjene. Bez sidra, ocjena 1 ili 2 znači ono što procjenitelj želi da znači.

Za prvu verziju često je dovoljna jednostavna troslojna skala:

Za svaki kriterij dodajte kratak primjer kako zvuče ocjene 0, 1 i 2 za vaš zadatak. Koristite stvarne riječi iz vježbi gdje god je to moguće. Sidra napisana u sažetku obično se vraćaju nejasnim pridjevima.

Kritične pogreške tretirajte odvojeno. Neke neuspjehe ne treba zanemariti. Primjeri su djelovanje preko svojih ovlasti, ignoriranje sigurnosnog koraka ili kršenje ograničenja usklađenosti. Navedite ih odvojeno od bodovnih kriterija i navedite posljedicu: kritična pogreška se bilježi i prati se bez obzira na ukupni rezultat. U suprotnom, učenik može postići dobar rezultat na logičkom razmišljanju i granicama, a istovremeno poduzeti radnju koja bi bila neprihvatljiva na poslu.

4. Kalibrirajte procjenitelje pomoću primjera

Rubrika se ne boduje sama. Procjenitelji je i dalje interpretiraju, stoga je kalibrirajte prije nego što ocijenite kohortu.

1. Odaberite dva ili tri primjera odgovora koji se razlikuju po kvaliteti. Najbolji su stvarni pokušaji iz pilotnog projekta.
2. Neka ih svaki ocjenjivač ocjenjuje neovisno, prije bilo kakve rasprave.
3. Usporedite rezultate i, što je još važnije, dokaze koje je svaka osoba navela.
4. Tamo gdje se rezultati razlikuju, pronađite formulaciju koja je to uzrokovala i promijenite kriterij ili sidro.
5. Ponovite s novim primjerom dok ocjenjivači ne daju istu ocjenu iz istih razloga.

Cilj je zajedničko tumačenje kriterija, a ne slaganje samo po sebi. Ako dva ocjenjivača daju istu ocjenu iz različitih razloga, rubrika je i dalje dvosmislena.

Što kaže istraživanje? Dokazi su mješoviti, stoga planirajte određena neslaganja i izmjerite ih. U studiji snimljenih kliničkih pregleda u Fujita Medical Journalu iz 2022. godine, dva ocjenjivača su ocijenila četrdeset videozapisa. Prvih deset su ocijenili bez moderiranja, a za ostale su svaki put raspravljali o bodovanju prema kriterijima rubrike. Slaganje, mjereno ponderiranim kappa koeficijentom, poraslo je s 0.49 na prvih deset videozapisa na 0.82 na posljednjih deset (Watari i kolege, 2022.). Bila je to mala studija jednog ispitnog zadatka, stoga je shvatite kao znak da umjerenost može pomoći, a ne kao obećanje.

Sama obuka također nije jamstvo. Randomizirana studija iz 2014. godine, provedena na 21 ocjenjivaču koji su procijenili 242 studenta medicine, otkrila je da kratka sesija obuke o referentnom okviru nije mjerljivo poboljšala točnost pojedinačnih ocjenjivača, iako su obučeni ocjenjivači postigli strožije ocjene i bliže referentnom panelu. Autori su zaključili da je procjena uspješnosti vrlo individualna (Weitz i kolege, 2014.). Praktično štivo je da kalibraciju provodite na stvarnim primjerima, provjeravate slaganje tijekom bodovanja i ne pretpostavljate da je jedna sesija s uputama dovoljna.

5. Isprobajte i revidirajte rubriku

Prije nego što upotrijebite rubriku za važne odluke, isprobajte je.

• Provedite ga s malom grupom učenika i dva ili više ocjenjivača.
• Zabilježite gdje se ocjenjivači ne slažu i zamolite svakog da objasni svoju ocjenu.
• Provjerite jesu li kriteriji odvojeni jakim i slabim odgovorima. Ako svaki učenik postigne 2 boda, zadatak ili sidra su prelaki.
• Pitajte učenike što je rubrika pojasnila, a što ih je zbunilo.
• Revidirajte, a zatim ponovno provedite pilotni test s novim slučajem.

Budite iskreni o tome što pilot-projekt pokazuje. Nevalidirana rubrika je radni nacrt. Nije univerzalni standard certifikacije i ne bi se trebala koristiti za donošenje važnih odluka o ljudima dok je praktičar u toj ulozi ne pregleda i dok ne dobijete dokaze da funkcionira za vašu populaciju.

Razrađen primjer: odluka o eskalaciji

Ilustrativno. Praktičar koji obavlja ovaj posao trebao bi provjeriti slučaj i kriterije odgovora prije upotrebe.

Slučaj. Kupac prijavljuje kašnjenje narudžbe i traži puni povrat novca. Agent može ponuditi kredit do određenog iznosa bez odobrenja. Povrat je veći od toga. Voditelj nije dostupan dva sata. Bilješke pokazuju četiri narudžbe ove godine.

Što učenik radi. Odaberite odgovor, objasnite odluku, navedite dokaze i navedite koje bi im dodatne informacije ili podrška bile potrebne.

Odgovor je dobio 1 bod za obrazloženje. „Ponudio bih povrat novca jer je kupac uzrujan.“ Odluka je izrečena, ali nema dokaza, nema spomena o ograničenju i nema naznake što nedostaje.

Odgovor je dobio 2 bod za obrazloženje. „Ne bih vratio novac iznad limita bez odobrenja. U bilješkama su navedene četiri narudžbe ove godine, tako da je ovaj kupac važan, ali nisam potvrdio gdje se paket nalazi. Ponudio bih kredit unutar limita sada, rekao kupcu kada će voditelj odgovoriti i zatražio od prijevoznika ažuriranje praćenja kako bi odobrenje bilo brzo.“

Kritična greška. Izdavanje povrata novca bez odobrenja bilježi se kao kritična pogreška bez obzira na ostale ocjene, jer nadilazi ovlasti agenta.

Primijetite što su sidra učinila. Dva procjenitelja iz uvoda sada bi tražila iste stvari: odluku, navedene dokaze, navedenu nesigurnost i granicu.

Gdje interaktivna dostava pomaže

Interaktivni formati pomažu u vježbanju i kalibraciji jer se svaka osoba obvezuje na odgovor prije nego što vidi odgovor grupe. U sesiji uživo, voditelj može pokazati primjer odgovora, zamoliti svakog ocjenjivača da ga privatno ocjeni, a zatim otkriti raspon prije rasprave. Isti slučajevi mogu se koristiti vlastitim tempom za pripremu. AhaSlides podržava interaktivno učenje i prelazak između izvođenja uživo i vlastitog tempa. Provjerite sve specifične funkcije autorstva, povratnih informacija ili izvještavanja na koje se planirate osloniti u odnosu na vlastiti tijek rada i tretirajte značajke umjetne inteligencije, simulacije i integracije kao vanjske ili nepotvrđene dok ih ne vidite kako rade. Za smjernice o odabiru između formata pogledajte kada koristiti adaptivno, interaktivno i učenje uživoKako biste uskladili aktivnosti s razinom razmišljanja koju želite procijeniti, pogledajte naš vodič za usklađivanje aktivnosti učenja s Bloomovom taksonomijom.

Mjeri što se promijenilo

Unaprijed odlučite koji bi dokazi pokazali da polaznici mogu izvršiti zadatak. Usporedite uspješnost na novom, neviđenom slučaju s početnom vrijednosti i proučite kvalitetu obrazloženja kao i odluke. Definirajte tko je uključen, nazivnik i vrijeme. Ako se rezultati poboljšaju, provjerite što se još promijenilo u istom razdoblju, poput novog alata ili drugačije kombinacije rada, prije nego što priznate bodove za obuku.

Ograničenja koja mogu ostati

Čak ni dobro osmišljena rubrika ne rješava sve:

• Vrijeme procjenitelja. Kalibracija i pilotno testiranje zahtijevaju vrijeme koje se mora isplanirati.
• Autoritet u stvarnom poslu. Učenik može dobro razmišljati u vježbi, a ipak mu nedostaje autoritet da se tako ponaša na poslu.
• Pokrivenost slučaja. Jedan slučaj pokazuje jednu odluku. Jedan rezultat ne opisuje nečiju prosudbu općenito.
• Prijenos. Učinkovitost u sigurnom okruženju nije ista kao i učinak na radu. Provjerite prijenos nakon odgovarajuće izloženosti.

Planirajte odvojena rješenja za ovo i obavijestite sponzore o tome. Rubrika čini ocjenjivanje jasnijim i pravednijim. Ne pretvara rezultat u jamstvo.

Često postavljana pitanja

Koja je razlika između rubrike i kontrolne liste?

Kontrolna lista bilježi je li nešto učinjeno. Rubrika opisuje koliko je dobro nešto učinjeno, na nekoliko razina, pa je prikladna zadacima koji zahtijevaju procjenu i objašnjenje.

Koliko kriterija treba imati rubrika?

Malo, obično tri do pet. Odaberite one koje odgovaraju cilju učenja i odbacite one koje ne bi promijenile ono što radite s rezultatom.

Može li rubrika ukloniti neslaganje među ocjenjivačima?

Ne. Može ga smanjiti, posebno s sidrima i kalibracijom na stvarnim primjerima, ali i dalje biste trebali provjeravati slaganje dok ocjenjujete i ispravljati nejasne riječi.

Trebam li koristiti rubriku za odluke s visokim ulozima?

Tek nakon pilot projekta i pregleda od strane praktičara u ulozi. Tretirajte novu rubriku kao nacrt dok ne dobijete dokaze da odgovara vašim učenicima i zadatku.

Gdje započeti

Odaberite jednu odluku koju vaši učenici moraju dobro donijeti. Napišite dokaze koje bi pokazala kompetentna izvedba, odaberite tri kriterija, za svaki odredite sidro od 0 do 2 i navedite kritične pogreške. Zatim neka dva ocjenjivača neovisno ocjene isti primjer, usporedite njihove dokaze i ispravite formulaciju prije nego što ikoga ocijenite.

Da biste vidjeli kako bi se slučaj mogao pokrenuti uživo s vašim timom i ponovno koristiti vlastitim tempom nakon toga, istražite AhaSlides.