Kaks koolitajat vaatavad sama salvestust, kus uus meeskonnajuht otsustab, kas kliendikaebus edasi anda. Esimene annab talle parimad hinded: ta jäi rahulikuks ja valis mõistliku variandi. Teine annab talle keskmise hinde: ta ei öelnud kunagi, miks ta selle valis või mida ta ei teadnud. Mõlemad koolitajad on kogenud. Mõlemad kasutasid sama vormi. Kumbki pole vale ja see ongi probleem. Vorm ei öelnud neile, mida otsida.
See on illustreeriv stsenaarium, mitte dokumenteeritud kliendijuhtum. See näitab, miks otsustusvõimet ja probleemide lahendamist on raske hinnata: tõendid peituvad arutluskäigus ja arutluskäiku on lihtne erinevalt hinnata.
See juhend on mõeldud õppedisaineritele, koolitusjuhtidele ning õppe- ja arendusosakondade juhtidele, kes vajavad kaitsmiseks sobivat tulemuslikkuse hindamise rubriiki. See hõlmab viit sammu: tõendite määratlemine, vaadeldavate kriteeriumide sõnastamine, tulemuslikkuse alusaluste kirjeldamine, hindajate kalibreerimine ja rubriigi katsetamine. See lõpeb töönäite ja allesjäänud piirangutega.
Mis on tulemuslikkuse hindamise rubriik?
Tulemuslikkuse hindamise rubriik on hindamisjuhend ülesande jaoks, kus õppija teeb midagi, mitte ei meenuta midagi. See loetleb olulised kriteeriumid, kirjeldab iga punktitaseme välimust ja annab hindajatele ühise aluse otsuste tegemiseks. Hinnangu andmiseks ja probleemide lahendamiseks on ülesanne tavaliselt juhtum: õppija otsustab, mida teha, selgitab otsust ja ütleb, mida ta veel peaks teadma.
Rubriik ei ole teadmiste test. Meenutusviktoriin saab kinnitada, et keegi teab reegleid. Rubriik näitab, kas nad suudavad neid reegleid rakendada kaootilises olukorras.
Quick faktid
| Küsimus | Lühike vastus |
|---|---|
| Mis punktisumma sa saad? | Otsused, selgitused ja väljundid, mida hindaja saab jälgida. |
| Mitu kriteeriumi? | Väike arv, tavaliselt kolm kuni viis, mis on seotud eesmärgiga. |
| Mis teeb ankru kasulikuks? | Kirjeldatud näide sellest, kuidas iga punktisumma selles ülesandes välja näeb. |
| Miks kriitilised vead eraldi eraldada? | Seega ei saa keskmine tulemus varjata ohtlikku tegevust. |
| Kuidas vähendada lahkarvamusi? | Hinnake sama näidet iseseisvalt, võrrelge tõendeid ja parandage ebaselge sõnastus. |
| Millal on rubriik valmis? | Pärast pilootprojekti ja ainult selle ülesande ja populatsiooni jaoks, kellega sa seda piloteerisid. |
1. Määrake tulemuslikkuse tõendid
Alusta ülesandest, mitte vormist. Kirjuta üles olukord, millega õppija silmitsi seisab, otsus, mille ta peab tegema, ja mida pädev sooritus nähtavaks teeks. Ole konteksti ja piiride osas täpne: milline on õppija autoriteet, millist teavet talle antakse ja mis on tahtlikult välja jäetud.
Kasulik test on küsida, millele vaatleja osutada oskaks. Väljendiga „Näitab üles head otsustusvõimet“ ei saa osutada. Väljendiga „Märgib, milline protseduur kehtib, nimetab ühe puuduva fakti ja ütleb, kellelt ta küsiks“ saab.
Kui te ei suuda tõendeid lihtsate lausetega kirjeldada, ei ole ülesanne veel hindamiseks valmis. Parandage esmalt ülesanne. Ebamäärane ülesanne annab ebamäärase rubriigi, olgu see kui tahes viimistletud tahes.
2. Kirjutage jälgitavad kriteeriumid
Valige väike arv kriteeriume, mis vastavad õpieesmärgile. Hinnangu ja probleemide lahendamise puhul toimivad paljudes rollides hästi kolm:
- Ülesande täitmine. Õppija teeb oma pädevuse piires otsuse ning paneb oma valiku ja selle aluseks olevad tõendid kirja.
- Arutluskäik. Õppija selgitab piiranguid, alternatiive ja seda, mis on veel ebakindel.
- Piirid. Õppija kasutab heakskiidetud protseduure ja küsib abi, kui teave või volitused puuduvad.
Kirjuta iga kriteerium millegi sellisena, mida nähtub otsusest, selgitusest või väljundist. Väldi sõnu, mis nimetavad omadust, näiteks „terve“, „küps“ või „hea“. Kaks hindajat loevad neid sõnu erinevalt.
Hoidke arv väike. Iga lisakriteerium annab hindajatele võimaluse eriarvamusele jõuda ja õppijatele põhjuse punktide tagaajamiseks, mitte mõtlemiseks. Kui kriteerium ei muuda seda, mida te tulemusega teeksite, siis loobuge sellest.
3. Kirjeldage tulemuslikkuse aluspõhimõtteid
Ankur on lühike kirjeldus sellest, milline punktisumma välja näeb. Ilma ankruteta tähendab 1 või 2 seda, mida hindaja soovib.
Esimese versiooni jaoks piisab sageli lihtsast kolmetasemelisest skaalast:
| Punktisumma | Tähendus |
|---|---|
| 0 | Puudub või ei ole toetatud. |
| 1 | Osaline, asjakohaste väljajätmistega. |
| 2 | Täielik ja kokkulepitud kriteeriumide alusel põhjendatud. |
Iga kriteeriumi kohta lisa lühike näide sellest, kuidas kõlavad sinu ülesandes arvud 0, 1 ja 2. Kasuta võimaluse korral harjutustest ammutatud reaalset sõnastust. Abstraktselt kirjutatud ankrud kipuvad tagasi nihkuma ebamäärasteks omadussõnadeks.
Kriitilisi vigu käsitle eraldi. Mõningaid ebaõnnestumisi ei tohiks keskmistada. Näideteks on oma volituste ületamine, ohutusnõuete eiramine või vastavuspiirangu rikkumine. Loetlege need eraldi punktiarvestuse kriteeriumidest ja märkige tagajärg: kriitiline viga registreeritakse ja sellele reageeritakse olenemata summast. Vastasel juhul võib õppija saada hea hinde arutluskäigu ja piiride eest, sooritades samal ajal tegevuse, mis oleks tööl vastuvõetamatu.
4. Kalibreerige hindajaid näidete abil
Rubriik ei hinda ennast ise. Hindajad tõlgendavad seda ikkagi, seega kalibreerige see enne kohordi hindamist.
- Vali kaks või kolm erineva kvaliteediga näidisvastust. Parimad on pilootprojekti päris katsed.
- Laske igal hindajal enne arutelu neid iseseisvalt hinnata.
- Võrdle tulemusi ja mis veelgi olulisem, tõendeid, millele iga inimene viitas.
- Kui hinded erinevad, leidke erinevuse põhjustanud sõnastus ja muutke kriteeriumi või ankrut.
- Korda uue näitega, kuni hindajad annavad samadel põhjustel sama hinde.
Eesmärk on kriteeriumide ühine lugemine, mitte kokkulepe iseenesest. Kui kaks hindajat annavad sama hinde erinevatel põhjustel, on rubriik ikkagi mitmetähenduslik.
Mida uuring ütleb? Tõendid on erinevad, seega arvestage mõningate lahkarvamustega ja mõõtke neid. Fujita Medical Journalis 2022. aastal läbi viidud videosalvestatud kliiniliste uuringute uuringus hindasid kaks hindajat nelikümmend videot. Esimese kümne puhul hindasid nad ilma modereerimiseta ja ülejäänud puhul arutasid nad iga kord oma hindamistulemusi rubriigi kriteeriumide alusel. Kaalutud kappa koefitsiendiga mõõdetud nõusolek tõusis esimese kümne video puhul 0.49-lt viimase kümne puhul 0.82-le (Watari ja kolleegid, 2022). See oli ühe eksamiülesande väike uurimus, seega käsitle seda kui märki, et modereerimine võib aidata, mitte lubadust.
Ka ainuüksi koolitus ei ole garantii. 2014. aastal läbi viidud randomiseeritud uuring, milles 21 hindajat hindasid 242 meditsiinitudengit, leidis, et lühike tugiraamistiku koolitus ei parandanud mõõdetavalt üksikute hindajate täpsust, kuigi koolitatud hindajad andsid hindeid rangemalt ja paremini tugipaneelile. Autorid jõudsid järeldusele, et tulemuslikkuse hindamine on väga individuaalne (Weitz ja kolleegid, 2014). Praktiline lugemine on jätkata kalibreerimist reaalsete näidete põhjal, kontrollida kokkulangevust hindamise ajal ja mitte eeldada, et ühest infotundist piisab.
5. Rubriigi katsetamine ja muutmine
Enne kui rubriiki oluliste otsuste tegemiseks kasutate, katsetage seda.
- Vii see läbi väikese õppijate rühma ja kahe või enama hindajaga.
- Pane kirja, kus hindajad eriarvamusel on, ja palu igaühel oma punktisummat selgitada.
- Kontrollige, et kriteeriumid eristaksid tugevaid ja nõrku vastuseid. Kui iga õppija saab 2 punkti, on ülesanne või ankrud liiga lihtsad.
- Küsige õppijatelt, mida rubriik selgeks tegi ja mis neid segadusse ajas.
- Vaadake üle ja seejärel katsetage uuesti uue juhtumiga.
Ole aus selle suhtes, mida pilootprojekt näitab. Valideerimata rubriik on tööversioon. See ei ole universaalne sertifitseerimisstandard ja seda ei tohiks kasutada inimeste kohta oluliste otsuste tegemiseks enne, kui vastava rolli spetsialist on selle üle vaadanud ja sul on tõendeid, et see toimib sinu populatsiooni puhul.
Töötatud näide: eskalatsiooniotsus
Illustreeriv. Selle töö tegija peaks enne kasutamist juhtumi ja vastusekriteeriumid valideerima.
Juhul. Klient teatab hilinenud tellimusest ja küsib täielikku tagasimakset. Agent võib pakkuda krediiti kuni kindlaksmääratud summani ilma kinnituseta. Tagasimakse on sellest summast suurem. Juhataja pole kaks tundi kättesaadav. Märkmetes on sel aastal neli tellimust.
Mida õppija teeb. Valige vastus, selgitage otsust, viidake tõenditele ja öelge, millist lisateavet või tuge nad vajaksid.
Vastus sai põhjenduse eest 1 punkti. „Pakun raha tagasi, sest klient on ärritunud.“ Otsus on küll välja öeldud, kuid puuduvad tõendid, limiiti ei mainita ega märkigi, mis puudu on.
Vastus sai põhjenduse eest 2 punkti. „Ma ei tagastaks ilma kinnituseta summasid, mis ületavad minu limiiti. Märkused näitavad sel aastal nelja tellimust, seega on see klient oluline, aga ma pole veel kinnitanud, kus pakk on. Pakuksin praegu oma limiidi piires krediiti, ütleksin kliendile, millal juhataja vastab, ja küsiksin kullerilt jälgimisteavet, et kinnitus saaks kiire.“
Kriitiline viga. Tagasimakse tegemine ilma kinnituseta registreeritakse kriitilise veana olenemata muudest skooridest, kuna see ületab agendi volitusi.
Pane tähele, mida tegid ankruotsad. Kaks alguses mainitud hindajat otsiksid nüüd samu asju: otsust, viidatud tõendeid, esitatud ebakindlust ja piiri.
Kus interaktiivne edastamine aitab
Interaktiivsed vormingud aitavad harjutada ja kalibreerida, sest iga inimene pühendub vastusele enne grupi oma nägemist. Otseülekande sessioonil saab juhendaja näidata näidisvastust, paluda igal hindajal seda privaatselt hinnata ja seejärel enne arutelu tulemuste jaotust avaldada. Samu juhtumeid saab ettevalmistuseks kasutada ka iseseisvalt. AhaSlides toetab interaktiivset õppimist ja liikumist reaalajas õppimise ja iseseisvalt õppimise vahel. Kontrollige kõiki konkreetseid autori-, tagasiside- või aruandlusfunktsioone, millele kavatsete oma töövoo suhtes toetuda, ja käsitlege tehisintellekti, simulatsiooni ja integratsiooni funktsioone väliste või kinnitamata funktsioonidena, kuni olete näinud neid töötamas. Vormingute vahel valimise juhised leiate jaotisest Millal kasutada adaptiivset, interaktiivset ja reaalajas õppimistTegevuste sobitamiseks mõtlemistasemega, mida soovite hinnata, vaadake meie juhendit õppetegevuste sobitamine Bloomi taksonoomiaga.
Mõõda, mis muutus
Otsusta eelnevalt, millised tõendid näitaksid, et õppijad suudavad ülesandega toime tulla. Võrdle uue, seni nägemata juhtumi tulemusi algtasemega ning vaata nii arutluskäigu kui ka otsuse kvaliteeti. Määratle, kes on kaasatud, nimetaja ja ajastus. Kui tulemused paranevad, kontrolli enne koolituse arvestamist, mis samal perioodil veel muutus, näiteks uus tööriist või erinev töökombinatsioon.
Piirangud, mis võivad jääda
Isegi hästi üles ehitatud rubriik ei lahenda kõike:
- Hindaja aeg. Kalibreerimine ja katsetamine võtavad aega, mida tuleb planeerida.
- Autoriteet päris töös. Õppija võib harjutuse käigus hästi arutleda, kuid tal võib ikkagi puududa autoriteet tööl samamoodi tegutseda.
- Juhtumi katvus. Üks juhtum näitab ühte otsust. Üks punktisumma ei kirjelda kellegi hinnangut üldiselt.
- Ülekanne. Töö ohutus keskkonnas ei ole sama, mis tööl. Pärast sobivat kokkupuudet kontrollige üleviimist.
Planeeri nende jaoks eraldi parandused ja anna sellest sponsoritele teada. Hindamisrubriik muudab hindamise selgemaks ja õiglasemaks. See ei muuda skoori garantiiks.
Korduma kippuvad küsimused
Mis vahe on rubriigil ja kontrollnimekirjal?
Kontroll-leht märgib, kas midagi tehti. Rubriik kirjeldab mitmel tasandil, kui hästi midagi tehti, seega sobib see ülesannete jaoks, mis vajavad hindamist ja selgitamist.
Mitu kriteeriumi peaks rubriigil olema?
Vähe, tavaliselt kolm kuni viis. Vali need, mis vastavad õpieesmärgile, ja jäta välja kõik, mis ei muudaks tulemuse muutmist.
Kas rubriik saab hindajate vahelised lahkarvamused kõrvaldada?
Ei. See võib seda vähendada, eriti ankrute ja kalibreerimise puhul reaalsete näidete põhjal, aga sa peaksid ikkagi hindamise käigus kokkulangevust kontrollima ja ebaselget sõnastust parandama.
Kas peaksin oluliste otsuste puhul kasutama rubriiki?
Alles pärast pilootprojekti ja vastava rolli praktiseeriva isiku ülevaatamist. Käsitle uut rubriiki mustandina, kuni sul on tõendeid, et see toimib sinu õppijate ja ülesande puhul.
Kust alustada
Vali üks otsus, mida su õppijad peavad hästi tegema. Kirjuta üles tõendid, mida pädev sooritus näitaks, vali kolm kriteeriumi, koosta igaühe jaoks 0-st 2-ni skaalal põhinev kriteerium ja loetle kriitilised vead. Seejärel palu kahel hindajal sama näidet iseseisvalt hinnata, võrrelda oma tõendeid ja parandada sõnastust enne, kui kedagi hindad.
Et näha, kuidas juhtumit saaks teie enda meeskonnaga reaalajas läbi viia ja kuidas seda hiljem uuesti omas tempos kasutada, uurige AhaSlides'i.
