Kaksi kouluttajaa katsoo samaa nauhoitusta, jossa uusi tiiminvetäjä päättää, viekö hän asiakasvalituksen eteenpäin. Ensimmäinen antaa hänelle parhaat arvosanat: hän pysyi rauhallisena ja valitsi järkevän vaihtoehdon. Toinen antaa hänelle keskinkertaiset arvosanat: hän ei koskaan kertonut, miksi hän valitsi sen tai mitä hän ei tiennyt. Molemmat kouluttajat ovat kokeneita. Molemmat käyttivät samaa lomaketta. Kumpikaan ei ole väärä, ja siinä on ongelma. Lomakkeessa ei kerrottu, mitä etsiä.
Tämä on havainnollistava skenaario, ei dokumentoitu asiakastapaus. Se osoittaa, miksi harkintaa ja ongelmanratkaisua on vaikea arvioida: todisteet löytyvät päättelystä, ja päättelyä on helppo pisteyttää eri tavoilla.
Tämä opas on tarkoitettu opetussuunnittelijoille, koulutuspäälliköille ja oppimis- ja kehittämistoiminnan johtajille, jotka tarvitsevat puolustamaansa suoritusarviointirubriikkia. Se kattaa viisi vaihetta: todistusaineiston määritteleminen, havaittavien kriteerien kirjoittaminen, suoritusankkureiden kuvaaminen, arvioijien kalibrointi ja rubriikin pilotointi. Se päättyy käytännön esimerkkiin ja jäljellä oleviin rajoituksiin.
Mikä on suoritusarviointirubriikki?
Suoritusarviointirubriikki on pisteytysohje tehtävälle, jossa oppija tekee jotakin itse sen sijaan, että muistaisi jotakin. Se listaa tärkeät kriteerit, kuvaa, miltä kukin pisteytystaso näyttää, ja antaa arvioijille yhteisen päätöksentekoperusteen. Arvioinnin ja ongelmanratkaisun osalta tehtävä on yleensä tapaus: oppija päättää, mitä tehdä, selittää päätöksen ja kertoo, mitä muuta hänen olisi hyvä tietää.
Rubriikki ei ole tiedon koe. Kertaustesti voi vahvistaa, että joku tuntee säännöt. Rubriikki osoittaa, osaako hän soveltaa näitä sääntöjä epäsiistissä tilanteessa.
Nopeita faktoja
| Kysymys | Lyhyt vastaus |
|---|---|
| Mitä pisteitä saat? | Päätökset, selitykset ja tuotokset, joita arvioija voi havaita. |
| Kuinka monta kriteeriä? | Pieni määrä, yleensä kolmesta viiteen, sidottu tavoitteeseen. |
| Mikä tekee ankkurista hyödyllisen? | Kuvattu esimerkki siitä, miltä kukin pistetaso näyttää tässä tehtävässä. |
| Miksi kriittiset virheet erotellaan toisistaan? | Keskimääräinen pistemäärä ei siis voi peittää vaarallista toimintaa. |
| Miten vähennät erimielisyyttä? | Pisteytä sama esimerkki itsenäisesti, vertaile todisteita ja korjaa epäselvät sanamuodot. |
| Milloin rubrikka on valmis? | Pilottikokeen jälkeen ja vain sille tehtävälle ja populaatiolle, jolla sitä kokeiltiin. |
1. Määrittele suoritustason näyttö
Aloita tehtävästä, älä lomakkeesta. Kirjoita ylös tilanne, jonka oppija kohtaa, päätös, jonka hänen on tehtävä, ja mitä pätevä suoritus tekisi näkyväksi. Ole tarkka kontekstista ja rajoista: mitä valtaa oppijalla on, mitä tietoa hänelle annetaan ja mitä jätetään tarkoituksella pois?
Hyödyllinen testi on kysyä, mihin havainnoija voisi osoittaa. ”Osoittaa hyvää harkintakykyä” ei voi osoittaa. ”Ilmoittaa, mitä menettelyä sovelletaan, nimeää yhden puuttuvan seikan ja sanoo, keneltä hän kysyisi” voi.
Jos et pysty kuvailemaan todisteita selkokielisillä lauseilla, tehtävä ei ole vielä pisteytysvalmis. Korjaa tehtävä ensin. Epämääräinen tehtävä tuottaa epämääräisen arviointiperusteen, olipa se kuinka siisti tahansa.
2. Kirjoita havaittavat kriteerit
Valitse pieni määrä kriteerejä, jotka vastaavat oppimistavoitetta. Harkintakyvyn ja ongelmanratkaisun osalta kolme toimii hyvin monissa rooleissa:
- Tehtävän suorittaminen. Oppija tekee päätöksen oman toimivaltansa rajoissa ja kirjaa ylös valinnan ja sen taustalla olevat todisteet.
- Päättely. Oppija selittää rajoitukset, vaihtoehdot ja mikä on vielä epävarmaa.
- Rajat. Oppija käyttää hyväksyttyjä menettelytapoja ja pyytää apua, kun tietoa tai auktoriteettia puuttuu.
Kirjoita jokainen kriteeri päätöksessä, selityksessä tai tuotoksessa näkyväksi. Vältä sanoja, jotka nimeävät ominaisuutta, kuten ”terve”, ”kypsä” tai ”hyvä”. Kaksi arvioijaa lukevat nämä sanat eri tavalla.
Pidä luku alhaisena. Jokainen lisäkriteeri lisää arvioijille mahdollisuuden olla eri mieltä ja syyn oppijoille jahdata arvosanoja sen sijaan, että miettisi niitä. Jos kriteeri ei muuta sitä, mitä tekisit tuloksella, hylkää se.
3. Kuvaile suorituskyvyn ankkureita
Ankkuri on lyhyt kuvaus siitä, miltä pisteytystaso näyttää. Ilman ankkureita pistemäärä 1 tai 2 tarkoittaa sitä, mitä arvioija haluaa sen tarkoittavan.
Yksinkertainen kolmitasoinen asteikko riittää usein ensimmäiseen versioon:
| Pisteet | Merkitys |
|---|---|
| 0 | Puuttuu tai ei ole tuettu. |
| 1 | Osittainen, asiaankuuluvine puutteineen. |
| 2 | Täydellinen ja perusteltu sovittujen kriteerien perusteella. |
Lisää jokaiselle kriteerille lyhyt esimerkki siitä, miltä luvut 0, 1 ja 2 kuulostavat tehtävässäsi. Käytä mahdollisuuksien mukaan aitoja sanamuotoja harjoituskokeista. Tiivistelmätekstissä kirjoitetut ankkurit palautuvat usein epämääräisiksi adjektiiveiksi.
Käsittele kriittisiä virheitä erikseen. Joitakin epäonnistumisia ei pitäisi keskiarvoistaa. Esimerkkejä ovat toimiminen yli valtuutuksen, turvallisuustoimenpiteiden laiminlyönti tai vaatimustenmukaisuusrajojen rikkominen. Listaa ne erillään pisteytetyistä kriteereistä ja ilmoita seuraus: kriittinen virhe kirjataan ja sitä seurataan riippumatta kokonaissummasta. Muuten oppija voi saada hyvän pistemäärän päättelystä ja rajoista, mutta tehdä samalla toiminnan, joka olisi työssä mahdotonta hyväksyä.
4. Kalibroi arvioijia esimerkkien avulla
Rubriikki ei pisteytä itseään. Arvioijat tulkitsevat sen edelleen, joten kalibroi se ennen kohortin pisteyttämistä.
- Valitse kaksi tai kolme esimerkkivastausta, jotka eroavat toisistaan laadultaan. Pilottiprojektin aidot yritykset ovat parhaita.
- Pyydä jokaista arvioijaa pisteyttämään ne itsenäisesti ennen keskustelua.
- Vertaile pisteitä ja, mikä tärkeämpää, kunkin henkilön mainitsemia todisteita.
- Jos pisteet eroavat toisistaan, etsi eron aiheuttanut sanamuoto ja muuta kriteeriä tai ankkuripistettä.
- Toista uudella esimerkillä, kunnes arvioijat antavat saman pistemäärän samoista syistä.
Tavoitteena on kriteerien yhteinen tulkinta, ei sovittelu sinänsä. Jos kaksi arvioijaa antaa saman pistemäärän eri syistä, arviointiperusteet ovat silti epäselvät.
Mitä tutkimus sanoo? Todisteet ovat ristiriitaisia, joten varaudu mahdollisiin erimielisyyksiin ja mittaa niitä. Vuonna 2022 Fujita Medical Journalissa julkaistussa videotallenteiden kliinisten tutkimusten tutkimuksessa kaksi arvioijaa arvioi neljäkymmentä videota. Kymmenen ensimmäistä he pisteyttivät ilman moderointia, ja lopuista he keskustelivat pisteytyksestään arviointimatriisin kriteerejä vasten joka kerta. Yhtäpitävyys, mitattuna painotetulla kappa-kertoimella, nousi kymmenen ensimmäisen videon 0.49:stä kymmenen viimeisen videon 0.82:een (Watari ja kollegat, 2022). Se oli pieni tutkimus yhdestä koetehtävästä, joten pidä sitä merkkinä siitä, että kohtuus voi auttaa, älä lupauksena.
Pelkkä koulutus ei myöskään takaa tuloksia. Vuonna 2014 tehdyssä satunnaistetussa tutkimuksessa, jossa 21 arvioijaa arvioi 242 lääketieteen opiskelijaa, havaittiin, että lyhyt viitekehykseen perustuva koulutus ei parantanut mitattavasti yksittäisten arvioijien tarkkuutta, vaikka koulutetut arvioijat pisteyttivät tiukemmin ja lähempänä viitepaneelia. Kirjoittajat totesivat, että suorituksen arviointi on hyvin yksilöllistä (Weitz ja kollegat, 2014Käytännön tulkinta on jatkaa kalibrointia todellisten esimerkkien avulla, tarkistaa yhtäpitävyys pisteytyksen aikana eikä olettaa, että yksittäinen infotilaisuus riittää.
5. Testaa ja tarkista arviointimatriisia
Ennen kuin käytät arviointimatriisia tärkeisiin päätöksiin, kokeile sitä.
- Suorita se pienen oppijaryhmän ja kahden tai useamman arvioijan kanssa.
- Kirjaa ylös, mistä kohdasta arvioijat ovat eri mieltä, ja pyydä jokaista selittämään pistemääränsä.
- Tarkista, että kriteerit erottavat vahvat ja heikot vastaukset. Jos jokainen oppija saa 2 pistettä, tehtävä tai ankkurit ovat liian helppoja.
- Kysy oppijoilta, mitä arviointiperusteet selvensivät ja mikä heitä hämmensi.
- Tarkista ja kokeile sitten uudelleen uudella tapauksella.
Ole rehellinen pilottitutkimuksen tulosten suhteen. Vahvistamaton arviointimatriisi on työluonnos. Se ei ole yleismaailmallinen sertifiointistandardi, eikä sitä tule käyttää merkittävien päätösten tekemiseen ihmisistä, ennen kuin tehtävässä työskentelevä ammattilainen on tarkistanut sen ja sinulla on näyttöä siitä, että se toimii väestöllesi.
Käytännön esimerkki: eskalointipäätös
Havainnollistava. Tätä työtä tekevän ammattilaisen tulee validoida tapaus ja vastauskriteerit ennen käyttöä.
Tapaus. Asiakas ilmoittaa viivästyneestä tilauksesta ja pyytää täyttä hyvitystä. Myyjä voi tarjota hyvitystä tiettyyn summaan asti ilman hyväksyntää. Hyvitys on tätä summaa suurempi. Esimies on tavoitettavissa kaksi tuntia. Muistiinpanoissa näkyy neljä tilausta tänä vuonna.
Mitä oppija tekee. Valitse vastaus, perustele päätös, mainitse todisteet ja kerro, mitä lisätietoja tai tukea he tarvitsisivat.
Vastaus sai perusteluissa 1 pisteen. "Tarjoaisin hyvitystä, koska asiakas on järkyttynyt." Päätös ilmoitetaan, mutta todisteita ei ole, ei mainintaa rajasta eikä mitään merkkiä siitä, mitä puuttuu.
Vastaus sai perusteluissa 2 pisteen. "En hyvittäisi yli rajani ilman hyväksyntää. Laskuissa näkyy neljä tilausta tänä vuonna, joten tällä asiakkaalla on merkitystä, mutta en ole vahvistanut paketin sijaintia. Tarjoisin hyvitystä rajani rajoissa nyt, kertoisin asiakkaalle, milloin esimies vastaa, ja pyytäisin kuljetusyhtiöltä seurantapäivitystä, jotta hyväksyntä voidaan tehdä nopeasti."
Kriittinen virhe. Hyvityksen myöntäminen ilman hyväksyntää kirjataan kriittiseksi virheeksi muista pisteistä riippumatta, koska se ylittää asiamiehen toimivallan.
Huomaa, mitä ankkurit tekivät. Kaksi alustavaa arvioijaa etsisivät nyt samoja asioita: päätöstä, käytettyä todistusaineistoa, ilmoitettua epävarmuutta ja rajoja.
Missä interaktiivinen toimitus auttaa
Vuorovaikutteiset formaatit auttavat harjoittelussa ja kalibroinnissa, koska jokainen sitoutuu vastaukseen ennen ryhmän näkemistä. Live-istunnossa fasilitaattori voi näyttää esimerkkivastauksen, pyytää jokaista arvioijaa pisteyttämään sen yksityisesti ja sitten paljastaa eron ennen keskustelua. Samoja tapauksia voidaan käyttää omaan tahtiin valmistautumiseen. AhaSlides tukee vuorovaikutteista oppimista ja siirtymistä live- ja omaan tahtiin tapahtuvan toimituksen välillä. Tarkista kaikki tietyt kirjoitus-, palaute- tai raportointitoiminnot, joihin aiot luottaa omaa työnkulkuasi vasten, ja käsittele tekoäly-, simulointi- ja integrointiominaisuuksia ulkoisina tai vahvistamattomina, kunnes olet nähnyt niiden toimivan. Ohjeita formaattien valintaan on osoitteessa milloin käyttää adaptiivista, interaktiivista ja reaaliaikaista oppimistaYhdistä aktiviteetit arvioitavaan ajattelun tasoon oppaastamme. oppimistoimintojen yhdistäminen Bloomin taksonomiaan.
Mittaa, mikä muuttui
Päätä etukäteen, mitkä todisteet osoittaisivat oppijoiden kyvyn suoriutua tehtävästä. Vertaa suoritusta uudessa, aiemmin tuntemattomassa tapauksessa lähtötilanteeseen ja tarkastele sekä päättelyn että päätöksen laatua. Määrittele, ketkä ovat mukana, nimittäjä ja ajoitus. Jos pisteet paranevat, tarkista, mitä muuta on muuttunut samalla ajanjaksolla, kuten uusi työkalu tai erilainen työtehtävien yhdistelmä, ennen koulutuksen hyväksilukemista.
Rajoitukset, jotka saattavat jäädä
Hyvinkään rakennettu arviointiperuste ei ratkaise kaikkea:
- Arvioijan aika. Kalibrointi ja pilotointi vievät aikaa, joka on suunniteltava.
- Auktoriteetti oikeassa työssä. Oppija saattaa harjoituksessa päätellä hyvin, mutta häneltä saattaa silti puuttua auktoriteetti toimia samalla tavalla työssä.
- Tapauksen kattavuus. Yksi tapaus osoittaa yhden päätöksen. Yksi pistemäärä ei kuvaa yleisesti jonkun harkintakykyä.
- Siirto. Suoritus turvallisessa ympäristössä ei ole sama asia kuin suoritus työssä. Tarkista siirto sopivan altistuksen jälkeen.
Suunnittele näille erilliset korjaukset ja kerro niistä sponsoreille. Arviointipisteytys selkeyttää ja tekee arvioinnista oikeudenmukaisempaa. Se ei tee pisteistä takuuta.
Usein kysyttyjä kysymyksiä
Mitä eroa on arviointimatriisilla ja tarkistuslistalla?
Tarkistuslista kirjaa, tehtiinkö jokin asia. Rubriikki kuvaa, kuinka hyvin jokin tehtiin, useilla tasoilla, joten se sopii tehtäviin, jotka vaativat harkintaa ja selitystä.
Kuinka monta kriteeriä rubriikilla tulisi olla?
Muutama, yleensä kolmesta viiteen. Valitse ne, jotka vastaavat oppimistavoitetta, ja jätä pois kaikki, jotka eivät muuttaisi sitä, mitä teet tuloksella.
Voiko arviointimatriisi poistaa arvioijien väliset erimielisyydet?
Ei. Se voi vähentää sitä, erityisesti ankkureiden ja kalibroinnin avulla oikeissa esimerkeissä, mutta sinun tulisi silti tarkistaa yhtäpitävyys pisteytyksen aikana ja korjata epäselviä sanamuotoja.
Pitäisikö minun käyttää arviointimatriisia tärkeiden päätösten tekemisessä?
Vasta pilottivaiheen ja roolin ammattilaisen tekemän tarkastuksen jälkeen. Käsittele uutta arviointimatriisia luonnoksena, kunnes sinulla on näyttöä siitä, että se toimii oppijoidesi ja tehtäväsi kannalta.
Mistä aloittaa
Valitse yksi päätös, jonka oppilaidesi on tehtävä hyvin. Kirjoita todisteet pätevästä suorituksesta, valitse kolme kriteeriä, laadi kullekin asteikolla 0–2 oleva ankkuripiste ja listaa kriittiset virheet. Pyydä sitten kahta arvioijaa pisteyttämään sama esimerkki itsenäisesti, vertaamaan todisteitaan ja korjaamaan sanamuodot ennen kuin pisteytät ketään.
Jos haluat nähdä, kuinka tapaus voitaisiin käsitellä livenä oman tiimisi kanssa ja käyttää sitä uudelleen omaan tahtiin jälkeenpäin, tutustu AhaSlides-sivustoon.
