Divi treneri skatās vienu un to pašu ierakstu, kurā jauna komandas vadītāja lemj par klienta sūdzības eskalēšanu. Pirmais piešķir viņai augstāko atzīmi: viņa saglabāja mieru un izvēlējās saprātīgu risinājumu. Otrais piešķir viņai viduvēju vērtējumu: viņa nekad nepaskaidroja, kāpēc to izvēlējās vai ko nezināja. Abi treneri ir pieredzējuši. Abi izmantoja vienu un to pašu veidlapu. Neviena no tām nav nepareiza, un tā ir problēma. Veidlapā nebija pateikts, ko meklēt.
Šis ir ilustratīvs scenārijs, nevis dokumentēts klienta gadījums. Tas parāda, kāpēc spriestspēju un problēmu risināšanu ir grūti novērtēt: pierādījumi ir atrodami pamatojumā, un pamatojumu ir viegli novērtēt atšķirīgi.
Šī rokasgrāmata ir paredzēta mācību programmu izstrādātājiem, apmācību vadītājiem un mācību un attīstības vadītājiem, kuriem nepieciešama aizstāvējama snieguma novērtēšanas rubrika. Tajā ir aplūkoti pieci soļi: pierādījumu definēšana, novērojamo kritēriju izstrāde, snieguma pamatprincipu aprakstīšana, vērtētāju kalibrēšana un rubrikas izmēģinājuma versija. Tā noslēdzas ar praktiski izstrādātu piemēru un atlikušo ierobežojumu apzināšanu.
Kas ir snieguma novērtēšanas rubrika?
Veiktspējas novērtēšanas rubrika ir vērtēšanas vadlīnijas uzdevumam, kurā skolēns kaut ko dara, nevis kaut ko atceras. Tajā ir uzskaitīti svarīgie kritēriji, aprakstīts, kā izskatās katrs vērtēšanas līmenis, un sniegts vērtētājiem kopīgs pamats lēmumu pieņemšanai. Sprieduma un problēmu risināšanas gadījumā uzdevums parasti ir gadījums: skolēns izlemj, ko darīt, paskaidro lēmumu un pasaka, kas vēl viņam būtu jāzina.
Rubrika nav zināšanu pārbaude. Atmiņas tests var apstiprināt, ka kāds zina noteikumus. Rubrika parāda, vai viņi var pielietot šos noteikumus nekārtīgā situācijā.
Īsi fakti
| jautājums | Īsā atbilde |
|---|---|
| Kādu rezultātu tu iegūsti? | Lēmumi, skaidrojumi un rezultāti, ko vērtētājs var novērot. |
| Cik kritēriju? | Neliels skaitlis, parasti trīs līdz pieci, kas saistīts ar mērķi. |
| Kas padara enkuru noderīgu? | Aprakstīts piemērs tam, kā katrs vērtējuma līmenis izskatās šajā uzdevumā. |
| Kāpēc atdalīt kritiskās kļūdas? | Tātad vidējais rezultāts nevar noslēpt nedrošu darbību. |
| Kā mazināt domstarpības? | Neatkarīgi novērtējiet vienu un to pašu piemēru, salīdziniet pierādījumus un izlabojiet neskaidros formulējumus. |
| Kad ir gatava rubrika? | Pēc pilotprojekta un tikai tam uzdevumam un populācijai, ar kuru to pilotējāt. |
1. Definējiet snieguma pierādījumus
Sāciet ar uzdevumu, nevis formu. Pierakstiet situāciju, ar kuru skolēns saskarsies, lēmumu, kas viņam jāpieņem, un ko padarītu redzamu kompetenta snieguma nodrošināšana. Esiet konkrēts attiecībā uz kontekstu un ierobežojumiem: kādas ir skolēna pilnvaras, kāda informācija viņam tiek sniegta un kas apzināti tiek izlaists?
Noderīgs tests ir pajautāt, uz ko novērotājs varētu norādīt. “Parāda labu spriestspēju” nevar norādīt. “Norāda, kura procedūra ir piemērojama, nosauc vienu trūkstošo faktu un pasaka, kam viņš jautātu” var.
Ja pierādījumus nevar aprakstīt vienkāršos teikumos, uzdevums vēl nav gatavs vērtēšanai. Vispirms izlabojiet uzdevumu. Neskaidrs uzdevums rada neskaidru vērtēšanas kritēriju kopumu, lai cik izsmalcināti tas izskatītos.
2. Uzrakstiet novērojamus kritērijus
Izvēlieties nelielu skaitu kritēriju, kas atbilst mācību mērķim. Sprieduma veidošanai un problēmu risināšanai trīs labi darbojas daudzās lomās:
- Uzdevuma izpilde. Mācību dalībnieks pieņem lēmumu savu pilnvaru robežās un pieraksta savu izvēli un tās pamatojumu.
- Argumentācija. Skolēns izskaidro ierobežojumus, alternatīvas un to, kas joprojām ir neskaidrs.
- Robežas. Mācību dalībnieks izmanto apstiprinātas procedūras un lūdz palīdzību, ja trūkst informācijas vai pilnvaru.
Katru kritēriju pierakstiet kā kaut ko redzamu lēmumā, skaidrojumā vai rezultātā. Izvairieties no vārdiem, kas apzīmē īpašību, piemēram, “labs”, “nobriedis” vai “labs”. Divi vērtētāji šos vārdus lasa atšķirīgi.
Saglabājiet skaitli zemu. Katrs papildu kritērijs rada vietu vērtētājiem, kur nepiekrist, un iemeslu, lai studenti dzenātos pakaļ atzīmēm, nevis domātu. Ja kritērijs nemaina to, ko jūs darītu ar rezultātu, atmetiet to.
3. Aprakstiet veiktspējas pamatprincipus
Enkurs ir īss apraksts par to, kā izskatās vērtējuma līmenis. Bez enkuriem vērtējums 1 vai 2 nozīmē to, ko vērtētājs vēlas.
Pirmajai versijai bieži vien pietiek ar vienkāršu trīs līmeņu skalu:
| Rezultāts | Nozīme |
|---|---|
| 0 | Nav pieejams vai nav atbalstīts. |
| 1 | Daļēji, ar būtiskiem izlaidumiem. |
| 2 | Pilnīgs un pamatots atbilstoši saskaņotajiem kritērijiem. |
Katram kritērijam pievienojiet īsu piemēru, kā jūsu uzdevumā izklausās 0, 1 un 2. Cik vien iespējams, izmantojiet reālus formulējumus no praktiskiem mēģinājumiem. Kopsavilkumā rakstīti enkuri mēdz atgriezties pie neskaidriem īpašības vārdiem.
Kritiskas kļūdas jāapstrādā atsevišķi. Dažas kļūmes nevajadzētu aprēķināt kā vidējo vērtību. Piemēri ir rīcība, kas pārsniedz jūsu pilnvaras, drošības pasākumu ignorēšana vai atbilstības ierobežojumu pārkāpšana. Uzskaitiet tās atsevišķi no vērtētajiem kritērijiem un norādiet sekas: kritiska kļūda tiek reģistrēta un tai seko līdzi neatkarīgi no kopsummas. Pretējā gadījumā students var iegūt labu vērtējumu par spriešanu un robežām, vienlaikus veicot darbību, kas darbā nebūtu pieņemama.
4. Kalibrējiet vērtētājus, izmantojot piemērus
Rubrika pati par sevi nevērtē. Vērtētāji to joprojām interpretē, tāpēc pirms kohortas vērtēšanas veiciet kalibrēšanu.
- Izvēlieties divus vai trīs atbilžu piemērus, kas atšķiras pēc kvalitātes. Vislabāk ir izmantot reālus pilotprojekta mēģinājumus.
- Pirms jebkādas diskusijas lieciet katram vērtētājam tos novērtēt atsevišķi.
- Salīdziniet rezultātus un, vēl svarīgāk, katras personas minētos pierādījumus.
- Ja rezultāti atšķiras, atrodiet formulējumu, kas to izraisīja, un nomainiet kritēriju vai enkuru.
- Atkārtojiet ar jaunu piemēru, līdz vērtētāji piešķir vienādu vērtējumu to pašu iemeslu dēļ.
Mērķis ir kopīga kritēriju lasīšana, nevis vienošanās pašu par sevi. Ja divi vērtētāji piešķir vienādu vērtējumu dažādu iemeslu dēļ, vērtēšanas skala joprojām ir neskaidra.
Ko saka pētījums? Pierādījumi ir dažādi, tāpēc ņemiet vērā, ka iespējamas domstarpības, un izvērtējiet tās. 2022. gadā žurnālā Fujita Medical Journal publicētā videoierakstītu klīnisko pārbaužu pētījumā divi vērtētāji novērtēja četrdesmit video. Pirmos desmit viņi vērtēja bez moderācijas, bet pārējos katru reizi apsprieda savu vērtēšanu, salīdzinot ar rubrikas kritērijiem. Saskaņotība, mērot ar svērto kappa koeficientu, pieauga no 0.49 pirmajos desmit video līdz 0.82 pēdējos desmit (Vatari un kolēģi, 2022. gads). Tas bija neliels viena eksāmena uzdevuma pētījums, tāpēc uztveriet to kā zīmi, ka mērenība var palīdzēt, nevis solījumu.
Arī apmācība vien negarantē rezultātu. 2014. gadā veiktā randomizētā pētījumā, kurā piedalījās 21 vērtētājs un kurā tika novērtēti 242 medicīnas studenti, tika atklāts, ka īsa atskaites sistēmas apmācības sesija būtiski neuzlaboja atsevišķu vērtētāju precizitāti, lai gan apmācīti vērtētāji vērtēja stingrāk un precīzāk nekā references panelis. Autori secināja, ka snieguma novērtēšana ir ļoti individuāla (Veitss un kolēģi, 2014. gads). Praktiskais lasījums ir turpināt kalibrēšanu, izmantojot reālus piemērus, pārbaudīt atbilstību vērtēšanas laikā un nepieņemt, ka pietiek ar vienu instruktāžas sesiju.
5. Izmēģināt un pārskatīt rubriku
Pirms rubrikas izmantošanas svarīgiem lēmumiem, izmēģiniet to.
- Veiciet to ar nelielu studentu grupu un diviem vai vairākiem vērtētājiem.
- Pierakstiet, kur vērtētāju viedokļi atšķiras, un palūdziet katram paskaidrot savu vērtējumu.
- Pārbaudiet, vai kritēriji nošķir spēcīgās un vājās atbildes. Ja katrs skolēns iegūst 2 punktus, uzdevums vai pamatprincipi ir pārāk viegli.
- Pajautājiet skolēniem, ko rubrika paskaidroja un kas viņus mulsināja.
- Pārskatīt un pēc tam vēlreiz izmēģināt ar jaunu gadījumu.
Esiet godīgi par to, ko parāda pilotprojekts. Nevalidēta rubrika ir darba melnraksts. Tas nav universāls sertifikācijas standarts, un to nevajadzētu izmantot, lai pieņemtu svarīgus lēmumus par cilvēkiem, kamēr to nav pārskatījis attiecīgās lomas praktiķis un jums nav pierādījumu, ka tā darbojas jūsu populācijā.
Praktisks piemērs: eskalācijas lēmums
Ilustratīvi. Praktizētājam, kurš veic šo darbu, pirms lietošanas ir jāapstiprina gadījums un atbildes kritēriji.
Lieta. Klients ziņo par aizkavētu pasūtījumu un pieprasa pilnu atmaksu. Aģents var piedāvāt kredītu līdz noteiktai summai bez apstiprinājuma. Atmaksa pārsniedz šo summu. Vadītājs nav sasniedzams divas stundas. Piezīmēs ir norādīti četri pasūtījumi šogad.
Ko dara izglītojamais. Izvēlieties atbildi, paskaidrojiet lēmumu, citējiet pierādījumus un norādiet, kāda papildu informācija vai atbalsts viņiem būtu nepieciešams.
Atbilde argumentācijas ziņā ieguva 1 punktu. “Es piedāvātu atmaksu, jo klients ir sarūgtināts.” Lēmums ir paziņots, taču nav nekādu pierādījumu, nav minēta limita un nav nekādu pazīmju par to, kas trūkst.
Atbilde argumentācijas ziņā ieguva 2 punktu. “Es neatmaksātu summu, kas pārsniedz manu limitu, bez apstiprinājuma. Piezīmēs ir norādīti četri pasūtījumi šogad, tāpēc šis klients ir svarīgs, bet es neesmu apstiprinājis, kur atrodas sūtījums. Es piedāvātu kredītu sava limita ietvaros tagad, pateiktu klientam, kad vadītājs atbildēs, un lūgtu pārvadātājam izsekot sūtījumu, lai apstiprinājums būtu ātrs.”
Kritiska kļūda. Atmaksas izsniegšana bez apstiprinājuma tiek reģistrēta kā kritiska kļūda neatkarīgi no pārējiem vērtējumiem, jo tā pārsniedz aģenta pilnvaras.
Ievērojiet, ko darīja enkuri. Abi vērtētāji no sākuma tagad meklētu vienu un to pašu: lēmumu, izmantotos pierādījumus, norādīto nenoteiktību un robežu.
Kur palīdz interaktīva piegāde
Interaktīvie formāti palīdz praksē un kalibrēšanā, jo katra persona apņemas sniegt atbildi, pirms redz grupas atbildi. Tiešraides sesijā vadītājs var parādīt atbildes paraugu, lūgt katram vērtētājam to novērtēt privāti un pēc tam atklāt izkliedi pirms diskusijas. Tos pašus gadījumus var izmantot patstāvīgai sagatavošanās tempam. AhaSlides atbalsta interaktīvu mācīšanos un pāreju starp tiešraides un patstāvīgu mācīšanos. Pārbaudiet jebkuru konkrētu autorēšanas, atsauksmju vai ziņošanas funkciju, uz kuru plānojat paļauties, salīdzinot to ar savu darbplūsmu, un izturieties pret mākslīgā intelekta, simulācijas un integrācijas funkcijām kā ārējām vai neapstiprinātām, līdz esat redzējis tās darbojamies. Lai iegūtu norādījumus par formātu izvēli, skatiet Kad izmantot adaptīvo, interaktīvo un tiešo mācīšanosLai saskaņotu aktivitātes ar domāšanas līmeni, kuru vēlaties novērtēt, skatiet mūsu ceļvedi par mācību aktivitāšu saskaņošana ar Blūma taksonomiju.
Izmēriet izmaiņas
Iepriekš izlemiet, kādi pierādījumi liecinātu, ka apmācāmie var veikt uzdevumu. Salīdziniet sniegumu jaunā, neredzētā gadījumā ar sākotnējo līmeni un novērtējiet gan spriešanas, gan lēmuma kvalitāti. Definējiet, kas ir iekļauts, saucēju un laiku. Ja rezultāti uzlabojas, pirms apmācības ieskaitīšanas pārbaudiet, kas vēl ir mainījies tajā pašā laika posmā, piemēram, jauns rīks vai cita darba kombinācija.
Ierobežojumi, kas var palikt
Pat labi izstrādāta rubrika neatrisina visu:
- Vērtētāja laiks. Kalibrēšana un pilotēšana prasa laiku, kas ir jāplāno.
- Autoritāte reālajā darbā. Skolēns var labi spriest vingrinājuma laikā, bet viņam joprojām trūkst pilnvaru rīkoties tāpat darbā.
- Lietas pārklājums. Viens gadījums parāda vienu lēmumu. Viens vērtējums neraksturo kāda cilvēka spriedumu kopumā.
- Pārskaitījums. Veiktspēja drošā vidē nav tas pats, kas veiktspēja darbā. Pēc atbilstošas iedarbības pārbaudiet pārvietošanu.
Plānojiet atsevišķus labojumus šīm situācijām un informējiet sponsorus. Rubrika padara vērtēšanu skaidrāku un taisnīgāku. Tā nepārvērš rezultātu par garantiju.
Biežāk uzdotie jautājumi
Kāda ir atšķirība starp rubriku un kontrolsarakstu?
Kontrolsarakstā tiek reģistrēts, vai kaut kas ir paveikts. Rubrika vairākos līmeņos apraksta, cik labi tas tika paveikts, tāpēc tā ir piemērota uzdevumiem, kuriem nepieciešams vērtējums un skaidrojums.
Cik kritērijiem jābūt rubrikai?
Daži, parasti trīs līdz pieci. Izvēlieties tos, kas atbilst mācību mērķim, un atmetiet tos, kas nemainītu jūsu rīcību ar rezultātu.
Vai rubrika var novērst domstarpības starp vērtētājiem?
Nē. Tas var to samazināt, īpaši ar enkuriem un kalibrēšanu reālos piemēros, taču, vērtējot, joprojām jāpārbauda atbilstība un jāpārskata neskaidrais formulējums.
Vai man vajadzētu izmantot rubriku lēmumiem ar augstām likmēm?
Tikai pēc pilotprojekta un attiecīgās lomas speciālista veiktas pārskatīšanas. Uztveriet jaunu rubriku kā melnrakstu, līdz iegūstat pierādījumus, ka tā darbojas jūsu izglītojamajiem un uzdevumam.
Kur sākt
Izvēlieties vienu lēmumu, kas jūsu skolēniem jāpieņem labi. Uzrakstiet pierādījumus, ko parādītu kompetenta snieguma gadījumā, izvēlieties trīs kritērijus, katram no tiem izveidojiet vērtēšanas kritēriju no 0 līdz 2 un uzskaitiet kritiskās kļūdas. Pēc tam lieciet diviem vērtētājiem neatkarīgi novērtēt vienu un to pašu piemēru, salīdzināt savus pierādījumus un izlabot formulējumus, pirms jūs vērtējat kādu.
Lai redzētu, kā lieta varētu tikt īstenota tiešraidē kopā ar jūsu komandu un pēc tam atkal izmantota patstāvīgi, izpētiet AhaSlides.
