Pirmadienį mokymų vadovas atidaro mokymosi suvestinę. Kursų baigimo rodiklis – 96 procentai. Vidutinis pasitenkinimo balas – 4.5 iš 5. Tada komandos vadovas užduoda nepatogų klausimą: „Ar žmonės kitaip tvarkosi su šiais klientų užklausimais?“ Valdymo skydas negali atsakyti. Joje užfiksuota, kad kursai baigti, o ne kad kas nors pasikeitė darbe.
Tai yra spraga, kurią dauguma mokymo metrikų palieka atvirą. Baigimo rodiklis parodo, kas pasiekė pabaigą. Jis nepasako, kas išmoko įgūdžio, kas jį panaudojo ar ar verslas perkėlė veiklą. Šiame vadove pateikiama įrodymų hierarchija ir vieno puslapio matavimo planas, kurį galite užpildyti bet kuriai programai, neapsimesdami, kad kiekvienam kursui reikalingas išsamus priežastinis investicijų grąžos tyrimas.
Aukščiau pateiktas pradinis scenarijus yra iliustracinis, o ne dokumentuotas kliento atvejis.
Greiti faktai
| klausimas | Trumpas atsakymas |
|---|---|
| Kas negerai su baigimo rodikliais? | Jie matuoja dalyvavimą, o ne mokymąsi ar pokyčius darbo vietoje |
| Ką reikėtų išmatuoti vietoj to? | Mokymasis pagal tikslus, perkėlimas į darbą, tada veiklos rezultatai atsižvelgiant į kontekstą |
| Ar kiekvienam kursui reikalinga investicijų grąžos analizė? | Ne. Įrodymų gausą derinkite su priimamu sprendimu. |
| Kas įtraukiama į matavimo planą? | Rezultatas, matas, šaltinis, vardiklis, laikas ir savininkas |
1. Apibrėžkite sprendimą, kurį turėtų paremti duomenys
Prieš pasirinkdami rodiklį, įvardykite sprendimą, kuriam jis bus naudingas. Trims dažniausiai pasitaikantiems rodikliams reikalingi skirtingi įrodymai:
- Patobulinti programą. Reikia žinoti, kur besimokantiesiems kilo sunkumų, todėl užduočių ir elementų lygmens rezultatai yra svarbesni nei teigiamas balas.
- Patvirtinkite pasirengimą. Jums reikia įrodymų, kad asmuo gali atlikti apibrėžtą užduotį pagal sutartą standartą, paprastai stebint arba vertinant užduotį.
- Įvertinkite diegimą. Reikia palyginti grupes arba laikotarpius, todėl svarbiausia yra nuoseklūs matavimai, vardikliai ir laikas.
Jei negalite pasakyti, kurį sprendimą patvirtina duomenys, surinksite viską ir darysite mažai išvadų. Trumpas testas: jei rezultatas būtų prastas, ką darytumėte kitaip? Jei atsakymas yra „nieko“, rodiklis nenusipelno savo vietos.
2. Mokymosi vertinimas pagal tikslus
Pradėkite nuo darbo užduoties, o ne nuo kurso turinio. Užduotį suformuluokite kaip tai, ką žmogus daro („rūšiuokite eskaluotą skundą pagal sutartus kriterijus“), tada sukurkite atitinkamą vertinimą. Carnegie Mellon Eberly centras aiškiai išdėsto pagrindinę mintį: vertinimai, tikslai ir mokymo veikla turėtų vienas kitą sustiprinti, o analitinių įgūdžių mokymas vertinant tik faktų prisiminimą palieka besimokančiuosius praktikuoti netinkamus dalykus (Eberly centro gairės dėl vertinimų, tikslų ir mokymo strategijų derinimo).
Praktiškai tai suteikia tris dizaino variantus:
- Nustatykite pradinę liniją. Prieš mokymą įvertinkite užduotį arba naudokite trumpą diagnostiką, kad žinotumėte, nuo ko pradeda kiekvienas besimokantysis. Neturint pradinio lygio, geras balas po mokymų gali tiesiog atspindėti ankstesnius įgūdžius.
- Naudokite suderintą tolesnį veiksmą. Vėlesnis vertinimas turėtų patikrinti tą pačią užduotį ir standartą, naudojant naują atvejį, o ne tą, kurį praktikavo. Identiškų klausimų kartojimas pagerina atsakymų įsiminimą.
- Laikykite pasitenkinimą atskirai. Mokinių reakcijos padeda pagerinti patirtį, tačiau JAV Ligų kontrolės ir prevencijos centrai (CDC) savo mokymų vertinimo gairėse aiškiai nurodo, kad besimokančiųjų pasitenkinimas nenulemia, ar mokymai yra veiksmingi (CDC, vertinkite mokymus: matuokite efektyvumą). Praneškite apie tai, bet niekada nekaip mokymosi pakaitalą.
Čia padeda paprasta trijų punktų vertinimo priemonė. Kiekvieną kriterijų įvertinkite 0 (nėra arba nepagrįsta), 1 (dalinis, su atitinkamais praleidimais) arba 2 (užbaigtas ir pagrįstas) ir atskirai apibrėžkite kritines klaidas, kad bendras balas negalėtų paslėpti rimto nepasiekiamumo. Pritaikykite kriterijus su dalyko specialistu; jūsų pačių parašyta vertinimo priemonė yra atspirties taškas, o ne patvirtintas standartas.
3. Įvertinkite perkėlimą po darbo poveikio
Mokymasis kurse ir tai, ką darote darbe, yra skirtingi įvykiai. CDC gairėse mokymosi vertinimas yra atskirtas nuo mokymosi perkėlimo vertinimo, kuris klausia, kaip sėkmingai besimokantysis pritaiko tai, ko išmoko, grįžęs į darbo vietą.
Įrodymams perduoti reikia laiko. Suplanuokite tolesnį susitikimą po to, kai besimokantysis turės realią galimybę panaudoti įgūdį, kuris gali trukti dvi savaites kasdienei užduočiai ir kelis mėnesius retai atliekamai užduočiai. Tada surinkite įrodymus vienu ar keliais iš šių būdų:
- Stebėjimas arba darbo imties peržiūra pagal tą pačią vertinimo skalę, naudojamą mokymuose.
- Vadovo arba kolegų indėlis naudojant konkrečius, elgesiu pagrįstus klausimus, o ne „ar jie pagerėjo?“.
- Sistemos įrodymai kur užduotis palieka pėdsaką, pavyzdžiui, užpildyta forma arba užregistruotas atvejis.
Kliūtis užrašykite taip pat kruopščiai, kaip ir rezultatus. Besimokantysis, kuris gali atlikti užduotį mokymo metu, bet neatlieka jos darbe, gali trūkti įrankių, įgaliojimų, laiko ar vadovo palaikymo. Šie apribojimai gali išlikti net ir pagerėjus užduočių atlikimui klasėje, ir būtent šie rezultatai greičiausiai pakeis jūsų kitą sprendimą. Paklauskite savęs: „kas jus sustabdė tai taikyti?“ ir suskirstykite atsakymus į kategorijas.
4. Veiklos rezultatus interpretuokite atsižvelgdami į kontekstą
Operaciniai rodikliai, tokie kaip klaidų dažnis, tvarkymo laikas ar išsprendimo dažnis, yra svarbūs, nes organizacijai jie rūpi. Juos taip pat lengviausia perskaityti.
Trys įpročiai padeda išlikti sąžiningiems:
- Naudokite palyginamąjį tarifą. Skaičiai klaidina, kai pasikeičia kiekiai. Lyginkite rodiklius su nurodytu vardikliu: klaidų skaičiumi šimtui atvejų, o ne bendru klaidų skaičiumi.
- Išvardykite alternatyvius paaiškinimus. Sezoniškumas, naujas įrankis, personalo pokyčiai ar politikos atnaujinimas – visa tai gali pakeisti tą patį skaičių per tą patį ketvirtį. Užsirašykite juos prieš peržiūrėdami rezultatą.
- Nurodykite, kokio pobūdžio tai teiginys. Jei apmokyti darbuotojai rodo geresnį rodiklį nei neapmokyti darbuotojai, tai yra stebimas ryšys. Priežastiniam teiginiui reikalingas modelis, kuris atmeta alternatyvas, pavyzdžiui, palyginamoji grupė arba laipsniškas diegimas. Daugumai programų nereikia tokio griežtumo lygio, ir galima tai pasakyti tiesiai šviesiai: „rezultatai pasikeitė ta linkme, kurios tikėjomės; štai kas dar pasikeitė“.
Venkite žadėti investicijų grąžą vien iš mokymų. Praneškite apie tai, ką pastebėjote, kontekstą ir apribojimus.
5. Sukurkite praktišką matavimo planą
Sudėkite elementus į vieną lentelę kiekvienai programai. Kiekviena eilutė yra klausimas, į kurį duomenys turi atsakyti.
| Laukas | Ką rašyti | Kodėl tai svarbu |
|---|---|---|
| Rezultatas | Jūsų laukiamas pokytis, pastebimai išreikštas | Sustabdo neaiškius tikslus |
| Priemonė | Konkretus metrikos arba rubrikos balas | Padaro jį testuojamą |
| Šaltinis | Iš kur gaunami duomenys | Parodo, ar egzistuoja ir yra patikimas |
| Vardiklis | Iš ko arba iš ko matuojama? | Apsaugo nuo klaidinančių neapdorotų skaičių |
| Laikas | Kai jis surenkamas | Atskiria mokymąsi nuo perdavimo |
| savininkas | Atsakingas asmuo, nurodytas | Priverčia tai įvykti |
Praktinis pavyzdys (iliustracinis, rezultatų nerodoma)
Įsivaizduokite programą, skirtą padėti klientų aptarnavimo darbuotojams tvarkyti eskaluotus skundus. Sprendimas: patvirtinti pasirengimą prieš agentams pradedant eskaluoti skundus be draugo.
| Rezultatas | Priemonė | Šaltinis | Vardiklis | Laikas | savininkas |
|---|---|---|---|---|---|
| Agentai triažuoja eskalaciją pagal sutartus kriterijus | Naujo atvejo vertinimo kriterijaus balas (nuo 0 iki 2 kiekvienam kriterijui, be kritinių klaidų) | Įvertinta bylų praktika | Programą baigiantys agentai | Programos pabaiga, palyginti su prieš mokymą buvusiu pradiniu lygiu | Mokymų vedėjas |
| Agentai taiko triažo veiksmus gyviems atvejams | Rubrikos balas pagal imties pagrindu sudarytus realius eskalavimus | Kokybės peržiūros pavyzdys | Imčių eskalavimas pagal agentą | Keturios–šešios savaitės po pirmųjų tiesioginių eskalacijų | Komandos vadovas |
| Kliūtys taikant veiksmus yra žinomos | Kategorijos priežastys iš trumpo tolesnio tyrimo | Agento tolesnė patikra | Agentai, kurie tvarkė eskalaciją | Tas pats tolesnių veiksmų laikotarpis | Mokymų vedėjas |
| Eskalacijos rezultatai stebimi atsižvelgiant į kontekstą | Pakartotinai atidarytų bylų dažnis, nurodant tuo pačiu metu vykstančius pokyčius | Bylų sistema | Per laikotarpį užbaigtos eskalacijos | Ketvirtį, palyginti su ankstesniu laikotarpiu | Operacijų analitikas |
Atkreipkite dėmesį, ko trūksta: nežadamas procentinis pagerėjimas ir neteigiama, kad vien mokymai lemia galutinę eilę. Planas įpareigoja jus rinkti sąžiningus įrodymus, o ne pateikti konkretų atsakymą.
Kur dera interaktyvus ir adaptyvus pateikimas
Matuoti lengviau, kai pats mokymasis sukuria įrodymus. Interaktyvios veiklos, tokios kaip vertinami atvejo klausimai, scenarijų apklausos ir trumpi žinių patikrinimai, mokymo metu suteikia duomenų apie kiekvieną besimokantįjį ir užduotį, o adaptyvus mokymasis gali nukreipti žmones pagal jų rezultatus. Mišrūs modeliai, kurie pereina nuo tiesioginių sesijų prie savarankiško mokymosi, leidžia atlikti diagnostiką savo laiku, praktikuotis su atveju gyvai gaunant atsiliepimus ir asinchroniškai atlikti tolesnę peržiūrą.
Šios galimybės patvirtina jūsų plano pirmoje ir antroje eilutėse pateiktus įrodymus. Jos nepakeičia perkėlimo ir rezultatų eilučių, kurios priklauso nuo to, kas vyksta darbe. Prieš įsipareigodami kurti dizainą, patikrinkite, kokių konkrečių ataskaitų teikimo ir kūrimo funkcijų jums reikia, ir bet kokį išorinį įrankį ar integraciją laikykite atskiru nuo pagrindinės darbo eigos, kol nepamatysite, kad ji veikia.
Išbandykite tai su savo programa
Užpildykite šešių laukų planą vienai programai, kurią vykdote dabar, pradėdami nuo sprendimo, kurį jis turėtų paremti.
Norėdami sužinoti, kaip jūsų plane pateikti mokymosi įrodymai galėtų būti užfiksuoti tiesioginėje arba savarankiško mokymosi sesijoje, peržiūrėkite „AhaSlides“.
Dažnai užduodami klausimai
Kas yra mokymo efektyvumo rodikliai?
Tai yra priemonės, kurias naudojate vertindami, ar mokymai pasiekė savo tikslą. Naudingas rinkinys apima mokymąsi pagal tikslus, perkėlimą į darbą ir veiklos rezultatus, skaitomus kontekste, o ne vien tik baigimą ir pasitenkinimą.
Ar užbaigimo rodiklis yra naudingas rodiklis?
Tai naudinga stebint dalyvavimą ir nustatant prieigos problemas. Tai negali parodyti, kad kas nors išmoko ar pritaikė įgūdį, todėl derinkite jį su vertinimu ir tolesniais veiksmais.
Kiek laiko po treniruotės turėčiau išmatuoti perdavimą?
Pakankamai ilgas, kad besimokantieji turėtų realią galimybę pritaikyti įgūdį. Kasdienei užduočiai gali prireikti poros savaičių, o retai užduočiai – daugiau. Numatykite šį laikotarpį savo plane prieš prasidedant mokymams.
Ar man reikia įrodyti kiekvieno kurso investicijų grąžą?
Ne. Priskirkite įrodymus sprendimui. Daugeliui programų puikiai tinka mokymosi ir perdavimo įrodymai bei veiklos rezultatai, pateikti atsižvelgiant į kontekstą. Priežasčių analizę atlikite tik didelės rizikos arba didelės sąnaudos programoms, kurių struktūra tai leidžia.
