Du instruktoriai žiūri tą patį įrašą, kuriame naujas komandos vadovas sprendžia, ar perduoti kliento skundą tolesniam procesui. Pirmasis jai skiria aukščiausius balus: ji išliko rami ir pasirinko protingą variantą. Antrasis jai skiria vidutinišką įvertinimą: ji niekada nepasakė, kodėl jį pasirinko ar ko nežinojo. Abu instruktoriai yra patyrę. Abu naudojo tą pačią formą. Nei vienas iš jų nėra neteisingas, ir tai yra problema. Formoje nebuvo nurodyta, ko ieškoti.
Tai iliustracinis scenarijus, o ne dokumentuotas kliento atvejis. Jis parodo, kodėl sunku įvertinti sprendimų priėmimą ir problemų sprendimą: įrodymai slypi samprotavimuose, o samprotavimus lengva įvertinti skirtingai.
Šis vadovas skirtas mokymo programų kūrėjams, mokymų vadovams ir mokymosi bei tobulėjimo skyrių vadovams, kuriems reikia parengti veiklos vertinimo rubriką, kurią galėtų apginti. Jame pateikiami penki etapai: įrodymų apibrėžimas, stebimų kriterijų suformulavimas, veiklos pagrindinių kriterijų aprašymas, vertintojų kalibravimas ir rubrikos išbandymas. Jame pateikiamas praktinis pavyzdys ir nurodyti likę apribojimai.
Kas yra veiklos vertinimo rubrika?
Veiklos vertinimo rubrika yra vertinimo vadovas užduočiai, kai mokinys kažką atlieka, o ne ką nors prisimena. Joje išvardijami svarbūs kriterijai, aprašoma, kaip atrodo kiekvienas vertinimo lygis, ir suteikiamas vertintojams bendras sprendimo pagrindas. Vertinant ir sprendžiant problemas, užduotis paprastai yra atvejis: mokinys nusprendžia, ką daryti, paaiškina sprendimą ir nurodo, ką dar jam reikėtų žinoti.
Rubrika nėra žinių patikrinimo testas. Prisiminimo testas gali patvirtinti, kad asmuo žino taisykles. Rubrika parodo, ar asmuo gali taikyti tas taisykles netvarkingoje situacijoje.
Greiti faktai
| klausimas | Trumpas atsakymas |
|---|---|
| Ką skaičiuoji? | Sprendimai, paaiškinimai ir rezultatai, kuriuos vertintojas gali stebėti. |
| Kiek kriterijų? | Mažas skaičius, paprastai nuo trijų iki penkių, susietas su tikslu. |
| Kuo inkaras naudingas? | Aprašytas pavyzdys, kaip atrodo kiekvienas balų lygis šioje užduotyje. |
| Kodėl reikia atskirti kritines klaidas? | Taigi vidutinis balas negali nuslėpti nesaugaus veiksmo. |
| Kaip sumažinti nesutarimus? | Įvertinkite tą patį pavyzdį atskirai, palyginkite įrodymus ir ištaisykite neaiškias formuluotes. |
| Kada rubrika yra paruošta? | Po bandomojo projekto ir tik tai užduočiai bei populiacijai, su kuria jį išbandėte. |
1. Apibrėžkite veiklos įrodymus
Pradėkite nuo užduoties, o ne nuo formos. Užsirašykite situaciją, su kuria susidurs mokinys, sprendimą, kurį jis turi priimti, ir ką parodytų kompetentingas atlikimas. Būkite konkretūs dėl konteksto ir ribų: kokius įgaliojimus turi mokinys, kokia informacija jam pateikiama ir ko sąmoningai trūksta?
Naudingas testas – paklausti, į ką stebėtojas galėtų atkreipti dėmesį. „Rodo gerą nuovoką“ – negalima nurodyti. „Nurodo, kuri procedūra taikoma, įvardija vieną trūkstamą faktą ir pasako, ko klaustų“ – galima.
Jei negalite apibūdinti įrodymų paprastais sakiniais, užduotis dar nebaigta vertinti. Pirmiausia pataisykite užduotį. Neaiški užduotis sukuria neaiškią vertinimo skalę, kad ir kokia dailiai ji atrodytų.
2. Užrašykite stebimus kriterijus
Pasirinkite nedidelį skaičių kriterijų, atitinkančių mokymosi tikslą. Vertinimo ir problemų sprendimo srityje trys gerai veikia daugelyje vaidmenų:
- Užduoties vykdymas. Besimokantysis priima sprendimą neviršydamas savo įgaliojimų ir užfiksuoja savo pasirinkimą bei jį pagrindžiančius įrodymus.
- Samprotavimas. Besimokantysis paaiškina apribojimus, alternatyvas ir tai, kas vis dar neaišku.
- Ribos. Besimokantysis vadovaujasi patvirtintomis procedūromis ir prašo pagalbos, kai trūksta informacijos ar įgaliojimų.
Kiekvieną kriterijų užrašykite kaip kažką, kas matoma sprendime, paaiškinime ar rezultate. Venkite žodžių, įvardijančių savybę, pavyzdžiui, „geras“, „brandus“ ar „geras“. Du vertintojai šiuos žodžius skaito skirtingai.
Skaičių rinkitės mažai. Kiekvienas papildomas kriterijus suteikia vertintojams priežasčių nesutikti ir priežastį besimokantiesiems siekti pažymių, o ne mąstyti. Jei kriterijus nepakeičia jūsų veiksmų su rezultatu, jo atsisakykite.
3. Apibūdinkite veiklos pagrindus
Inkaras yra trumpas aprašymas, kaip atrodo balų lygis. Be inkarų, 1 arba 2 balas reiškia tai, ką nori vertintojas.
Pirmajai versijai dažnai pakanka paprastos trijų lygių skalės:
| Balai | Tai reiškia, |
|---|---|
| 0 | Nėra arba nepalaikoma. |
| 1 | Dalinis, su atitinkamais praleidimais. |
| 2 | Užpildytas ir pagrįstas pagal sutartus kriterijus. |
Kiekvienam kriterijui pateikite trumpą pavyzdį, kaip jūsų užduotyje skamba 0, 1 ir 2. Kur įmanoma, naudokite tikrus žodžius iš praktikos bandymų. Santraukoje parašyti inkariniai žodžiai linkę grįžti prie neaiškių būdvardžių.
Kritines klaidas traktuokite atskirai. Kai kurių nesėkmių nereikėtų suvidurkinti. Pavyzdžiui, veiksmai, viršijantys savo įgaliojimus, saugos priemonių ignoravimas arba atitikties ribos pažeidimas. Išvardykite jas atskirai nuo vertinamų kriterijų ir nurodykite pasekmę: kritinė klaida užregistruojama ir imamasi tolesnių veiksmų, kad ir koks būtų bendras rezultatas. Priešingu atveju besimokantysis gali gerai įvertinti samprotavimus ir ribas, tačiau imtis veiksmų, kurie darbe būtų nepriimtini.
4. Kalibruokite vertintojus naudodami pavyzdžius
Rubrika pati savaime nevertinama. Vertintojai ją vis tiek interpretuoja, todėl prieš vertindami kohortą, ją pakoreguokite.
- Pasirinkite du ar tris skirtingos kokybės atsakymų pavyzdžius. Geriausia būtų pateikti tikrus bandomojo projekto bandymus.
- Prieš bet kokią diskusiją paprašykite kiekvieno vertintojo įvertinti juos atskirai.
- Palyginkite balus ir, dar svarbiau, kiekvieno asmens cituotus įrodymus.
- Jei balai skiriasi, raskite tai lėmusią formuluotę ir pakeiskite kriterijų arba pagrindinį kriterijų.
- Kartokite su nauju pavyzdžiu, kol vertintojai dėl tų pačių priežasčių skirs tą patį balą.
Tikslas – bendras kriterijų skaitymas, o ne susitarimas dėl paties susitarimo. Jei du vertintojai skiria tą patį balą dėl skirtingų priežasčių, vertinimo kriterijai vis tiek lieka dviprasmiški.
Ką sako tyrimas? Įrodymai yra prieštaringi, todėl numatykite galimus nesutarimus ir juos įvertinkite. 2022 m. žurnale „Fujita Medical Journal“ atliktame vaizdo įrašais įrašytų klinikinių tyrimų tyrime du vertintojai įvertino keturiasdešimt vaizdo įrašų. Pirmuosius dešimt jie vertino be moderavimo, o likusius – kiekvieną kartą aptarė savo vertinimą pagal vertinimo kriterijus. Sutarimas, matuojamas svertiniu kapa koeficientu, padidėjo nuo 0.49 pirmuosiuose dešimtyje vaizdo įrašų iki 0.82 paskutiniuose dešimtyje (Watari ir kolegos, 2022 m.). Tai buvo nedidelė vienos egzamino užduoties studija, todėl traktuokite tai kaip ženklą, kad moderavimas gali padėti, o ne pažadą.
Vien mokymai taip pat negarantuoja rezultatų. 2014 m. atliktas atsitiktinių imčių tyrimas, kuriame dalyvavo 21 vertintojas ir vertino 242 medicinos studentus, parodė, kad trumpi atskaitos sistemos mokymai išmatuojamai nepagerino individualių vertintojų tikslumo, nors apmokyti vertintojai vertino griežčiau ir artimiau, nei referencinė grupė. Autoriai padarė išvadą, kad veiklos vertinimas yra labai individualus (Weitz ir kolegos, 2014 m.Praktinis aiškinimas yra tęsti kalibravimą realiais pavyzdžiais, tikrinti sutapimą vertinant rezultatus ir nemanyti, kad pakanka vieno instruktažo.
5. Išbandykite ir peržiūrėkite vertinimo kriterijus
Prieš naudodami vertinimo kriterijus svarbiems sprendimams, išbandykite juos.
- Atlikite jį su nedidele besimokančiųjų grupe ir dviem ar daugiau vertintojų.
- Užrašykite, dėl kurių vertintojų nuomonės nesutampa, ir paprašykite kiekvieno paaiškinti savo įvertinimą.
- Patikrinkite, ar kriterijai atskiria stiprius ir silpnus atsakymus. Jei kiekvienas mokinys surenka 2 balus, užduotis arba pagrindiniai elementai yra per lengvi.
- Paklauskite mokinių, ką vertinimo kriterijai paaiškino ir kas juos suglumino.
- Pataisykite, tada vėl išbandykite su nauju atveju.
Būkite sąžiningi dėl to, ką rodo bandomasis projektas. Nepatvirtinta vertinimo skalė yra darbinis juodraštis. Tai nėra universalus sertifikavimo standartas ir neturėtų būti naudojama priimant svarbius sprendimus dėl žmonių, kol jos neperžiūrės atitinkamos srities specialistas ir neturėsite įrodymų, kad ji veikia jūsų populiacijai.
Praktinis pavyzdys: sprendimas dėl eskalavimo
Iliustracinis pavyzdys. Šį darbą atliekantis specialistas prieš naudodamas turėtų patvirtinti atvejį ir atsakymo kriterijus.
Byla. Klientas praneša apie atidėtą užsakymą ir prašo grąžinti visus pinigus. Agentas gali pasiūlyti kreditą iki nustatytos sumos be patvirtinimo. Grąžinama suma viršija šią sumą. Vadovas nepasiekiamas dvi valandas. Užrašuose nurodyti keturi užsakymai šiais metais.
Ką daro besimokantysis. Pasirinkite atsakymą, paaiškinkite sprendimą, pateikite įrodymus ir nurodykite, kokios papildomos informacijos ar palaikymo jiems reikėtų.
Atsakymas, pagrįstas samprotavimais, buvo įvertintas 1 balu. „Pasiūlyčiau grąžinti pinigus, nes klientas nusiminęs.“ Sprendimas konstatuojamas, tačiau nėra jokių įrodymų, neminima riba ir nėra jokių ženklų, ko trūksta.
Atsakymas, pagrįstas samprotavimais, buvo įvertintas 2 balu. „Negrąžinčiau sumos, viršijančios mano limitą, be patvirtinimo. Sąskaitose nurodyti keturi užsakymai šiais metais, todėl šis klientas svarbus, bet nepatvirtinau, kur yra siuntinys. Dabar pasiūlyčiau kreditą neviršijant savo limito, praneščiau klientui, kada vadovas atsakys, ir paprašyčiau vežėjo sekti siuntą, kad patvirtinimas būtų greitas.“
Kritinė klaida. Grąžinimas be patvirtinimo registruojamas kaip kritinė klaida, neatsižvelgiant į kitus balus, nes tai viršija agento įgaliojimus.
Atkreipkite dėmesį, ką darė inkarai. Du vertintojai iš pradžių dabar ieškotų tų pačių dalykų: sprendimo, cituotų įrodymų, nurodyto neapibrėžtumo ir ribos.
Kur padeda interaktyvus pristatymas
Interaktyvūs formatai padeda praktikuotis ir kalibruoti, nes kiekvienas asmuo įsipareigoja atsakyti prieš pamatydamas grupės atsakymą. Tiesioginės sesijos metu moderatorius gali parodyti atsakymo pavyzdį, paprašyti kiekvieno vertintojo jį įvertinti privačiai ir tada atskleisti skirtumą prieš diskusiją. Tie patys atvejai gali būti naudojami savarankiškam pasiruošimui. „AhaSlides“ palaiko interaktyvų mokymąsi ir perėjimą tarp tiesioginio ir savarankiško pristatymo. Patikrinkite visas konkrečias kūrimo, atsiliepimų ar ataskaitų teikimo funkcijas, kuriomis planuojate remtis, atsižvelgdami į savo darbo eigą, ir DI, modeliavimo ir integravimo funkcijas traktuokite kaip išorines arba nepatvirtintas, kol nepamatysite jų veikiančių. Norėdami gauti nurodymų, kaip pasirinkti formatus, žr. Kada naudoti adaptyvų, interaktyvų ir tiesioginį mokymąsiNorėdami susieti veiklas su mąstymo lygiu, kurį norite įvertinti, žr. mūsų vadovą mokymosi veiklų derinimas su Bloomo taksonomija.
Išmatuokite, kas pasikeitė
Iš anksto nuspręskite, kokie įrodymai parodytų, kad besimokantieji gali atlikti užduotį. Palyginkite naujo, nematyto atvejo rezultatus su pradiniais rodikliais ir atkreipkite dėmesį į samprotavimo bei sprendimo kokybę. Apibrėžkite, kas įtraukiamas, vardiklį ir laiką. Jei balai pagerėja, prieš įskaitydami mokymus, patikrinkite, kas dar pasikeitė per tą patį laikotarpį, pavyzdžiui, nauja priemonė ar kitoks darbo derinys.
Apribojimai, kurie gali likti
Net gerai parengta vertinimo skalė neišsprendžia visko:
- Vertintojo laikas. Kalibravimas ir bandymas užima laiko, kurį reikia planuoti.
- Autoritetas realiame darbe. Besimokantysis gali gerai samprotauti pratimo metu, bet vis tiek neturėti įgaliojimų taip elgtis darbe.
- Bylos aprėptis. Vienas atvejis rodo vieną sprendimą. Vienas balas neapibūdina kažkieno sprendimo apskritai.
- Perdavimo. Veiksmingumas saugioje aplinkoje nėra tas pats, kas darbas darbe. Patikrinkite perkėlimą po tinkamo poveikio.
Planuokite atskirus šių problemų sprendimus ir apie tai praneškite rėmėjams. Vertinimo kriterijai padaro vertinimą aiškesnį ir teisingesnį. Jie nepaverčia balo garantija.
Dažnai užduodami klausimai
Kuo skiriasi vertinimo kriterijai ir kontroliniai sąrašai?
Kontroliniame sąraše fiksuojama, ar kažkas buvo padaryta. Rubrika keliais lygmenimis aprašo, kaip gerai tai buvo padaryta, todėl ji tinka užduotims, kurioms reikia vertinimo ir paaiškinimo.
Kiek kriterijų turėtų turėti rubrika?
Nedaug, dažniausiai nuo trijų iki penkių. Pasirinkite tuos, kurie atitinka mokymosi tikslą, ir atmeskite tuos, kurie nepakeistų jūsų veiksmų su rezultatu.
Ar vertinimo kriterijai gali pašalinti vertintojų nesutarimus?
Ne. Tai gali sumažinti, ypač naudojant priekines frazes ir kalibravimą realiais pavyzdžiais, tačiau vis tiek turėtumėte patikrinti sutapimą vertindami ir taisydami neaiškias formuluotes.
Ar turėčiau naudoti vertinimo kriterijus svarbiems sprendimams?
Tik po bandomojo projekto ir atitinkamo vaidmens specialisto peržiūros. Naują vertinimo kriterijų laikykite juodraščiu, kol neįrodysite, kad jis tinka jūsų besimokantiesiems ir užduočiai.
Kur pradėti
Pasirinkite vieną sprendimą, kurį jūsų mokiniai turi priimti gerai. Parašykite įrodymus, kuriuos parodytų kompetentingas pasirodymas, pasirinkite tris kriterijus, kiekvienam nubraižykite nuo 0 iki 2 balų įvertintą pagrindą ir išvardykite kritines klaidas. Tada paprašykite dviejų vertintojų atskirai įvertinti tą patį pavyzdį, palyginti savo įrodymus ir pataisyti formuluotes prieš vertinant ką nors.
Norėdami sužinoti, kaip byla galėtų būti sprendžiama tiesiogiai su jūsų komanda ir vėliau vėl naudojama savarankiškai, peržiūrėkite „AhaSlides“.
