Voditelj obuke otvara nadzornu ploču za učenje u ponedjeljak. Završetak je 96 posto. Prosječno zadovoljstvo je 4.5 od 5. Zatim voditelj tima postavlja neugodno pitanje: "Rješavaju li ljudi ove eskalacije kupaca drugačije?" Nadzorna ploča ne može odgovoriti. Bilježi da je tečaj završen, a ne da se išta promijenilo na poslu.
Ovo je praznina koju većina metrika obuke ostavlja otvorenom. Završetak vam govori tko je stigao do kraja. Ne govori vam tko je naučio vještinu, tko ju je koristio ili je li se posao promijenio. Ovaj vodič vam daje hijerarhiju dokaza i plan mjerenja od jedne stranice koji možete ispuniti za bilo koji program, bez pretvaranja da svaki tečaj treba potpunu studiju uzročno-posljedičnog povrata ulaganja.
Gornji početni scenarij je ilustrativan, a ne dokumentirani slučaj kupca.
Brze činjenice
| Pitanje | Kratak odgovor |
|---|---|
| Što nije u redu sa stopama završetka? | Mjere sudjelovanje, a ne učenje ili promjene na radnom mjestu |
| Što biste umjesto toga trebali mjeriti? | Učenje u odnosu na ciljeve, prijenos na posao, zatim operativni rezultati s kontekstom |
| Treba li svaki tečaj analizu povrata ulaganja? | Ne. Uskladite dubinu dokaza s donesenom odlukom |
| Što se nalazi u planu mjerenja? | Ishod, mjera, izvor, nazivnik, vrijeme i vlasnik |
1. Definirajte odluku koju podaci trebaju podržati
Prije odabira metrike, navedite odluku koju će ona informirati. Tri uobičajene metrike zahtijevaju različite dokaze:
- Poboljšajte program. Morate znati gdje su učenici imali poteškoća, tako da su rezultati na razini stavki i zadataka važniji od prolazne ocjene.
- Potvrdite spremnost. Trebate dokaze da osoba može izvršiti definirani zadatak prema dogovorenom standardu, obično promatranjem ili bodovanjem zadatka.
- Procijenite uvođenje. Morate uspoređivati grupe ili razdoblja, stoga su dosljedne mjere, nazivnici i vrijeme najvažniji.
Ako ne možete reći koju odluku podaci podržavaju, prikupit ćete sve i malo toga zaključiti. Kratki test: ako je rezultat loš, što biste učinili drugačije? Ako je odgovor "ništa", metrika ne zaslužuje svoje mjesto.
2. Mjerenje učenja u odnosu na ciljeve
Počnite od radnog zadatka, a ne od sadržaja tečaja. Napišite cilj kao nešto što osoba radi ("trijažirajte eskaliranu pritužbu koristeći dogovorene kriterije"), a zatim osmislite procjenu koja će se podudarati. Carnegie Mellon Eberly Center jasno iznosi temeljnu poantu: procjene, ciljevi i nastavne aktivnosti trebaju se međusobno pojačavati, a poučavanje analitičkih vještina uz procjenu samo činjeničnog prisjećanja ostavlja učenike da vježbaju pogrešnu stvar (Smjernice Eberly Centra o usklađivanju procjena, ciljeva i nastavnih strategija).
U praksi, to vam daje tri mogućnosti dizajna:
- Postavite osnovnu liniju. Procijenite zadatak prije obuke ili upotrijebite kratku dijagnostiku kako biste znali gdje svaki učenik počinje. Bez početne vrijednosti, dobar rezultat nakon obuke mogao bi jednostavno odražavati prethodnu vještinu.
- Koristite usklađeno praćenje. Kasnija procjena trebala bi testirati isti zadatak i standard, koristeći novi slučaj umjesto onog koji se uvježbava. Ponavljanje identičnih zadataka nagrađuje pamćenje odgovora.
- Zadovoljstvo držite odvojeno. Reakcije učenika pomažu vam poboljšati iskustvo, ali američki Centri za kontrolu i prevenciju bolesti (CDC) u svojim smjernicama za evaluaciju obuke eksplicitno navode da zadovoljstvo učenika ne određuje je li obuka učinkovita (CDC, evaluacija obuke: mjerenje učinkovitosti). Prijavite to, ali nikada kao zamjenu za učenje.
Ovdje pomaže jednostavna rubrika s tri točke. Svaki kriterij ocijenite s 0 (odsutan ili nepotkrijepljen), 1 (djelomičan, s relevantnim izostavljanjima) ili 2 (potpun i opravdan) i zasebno definirajte kritične pogreške kako ukupna ocjena ne bi mogla sakriti ozbiljan neuspjeh. Prilagodite kriterije sa stručnjakom za predmet; rubrika koju ste sami napisali je početna točka, a ne validirani standard.
3. Procijenite prijenos nakon izloženosti radu
Učenje nečega na tečaju i prakticiranje toga na poslu su različiti događaji. Smjernice CDC-a odvajaju procjenu učenja od evaluacije prijenosa učenja, koja pita koliko uspješno učenik primjenjuje ono što je naučio nakon povratka na radno mjesto.
Prijenos dokaza zahtijeva vrijeme. Zakažite praćenje nakon što je učenik imao stvarnu priliku koristiti vještinu, što može biti dva tjedna za svakodnevni zadatak i nekoliko mjeseci za rijedak. Zatim prikupite dokaze na jedan ili više ovih načina:
- Promatranje ili pregled uzorka rada prema istoj rubrici koja se koristi u treningu.
- Ulaz menadžera ili kolega korištenjem specifičnih pitanja temeljenih na ponašanju, umjesto pitanja "jesu li se poboljšali?".
- Sistemski dokazi gdje zadatak ostavlja trag, kao što je ispunjeni obrazac ili zabilježeni slučaj.
Zabilježite prepreke jednako pažljivo kao i rezultate. Učenik koji može izvršiti zadatak tijekom obuke, ali ga ne izvršava na poslu, možda nema alate, autoritet, vrijeme ili podršku menadžera. Ta ograničenja mogu ostati čak i nakon što se izvedba zadataka poboljša u učionici, a to su nalazi koji će najvjerojatnije promijeniti vašu sljedeću odluku. Zapitajte se „što vas je spriječilo da ovo primijenite?“ i kategorizirajte odgovore.
4. Interpretirajte operativne rezultate u kontekstu
Operativne mjere poput stope pogrešaka, vremena obrade ili stope rješavanja problema važne su jer su ono što je organizaciji važno. Također ih je najlakše precijeniti.
Tri navike vas održavaju iskrenima:
- Koristite usporedivu stopu. Brojevi zavaravaju kada se volumeni mijenjaju. Usporedite stope s navedenim nazivnikom: pogreške po stotinu slučajeva, a ne pogreške ukupno.
- Navedite alternativna objašnjenja. Sezonalnost, novi alat, promjena osoblja ili ažuriranje pravila mogu utjecati na isti broj u istom tromjesečju. Zapišite ih prije nego što pogledate rezultat.
- Reci o kakvoj se tvrdnji radi. Ako obučeno osoblje pokazuje bolju stopu od neobučenog osoblja, to je uočena povezanost. Kauzalna tvrdnja zahtijeva dizajn koji isključuje alternative, poput usporedne skupine ili postupnog uvođenja. Većini programa nije potrebna ta razina strogosti i u redu je to jasno reći: "ishodi su se kretali u smjeru kojem smo se nadali; evo što se još promijenilo."
Izbjegavajte obećavati povrat ulaganja samo iz obuke. Izvijestite o onome što ste primijetili, kontekstu i ograničenjima.
5. Izradite praktičan plan mjerenja
Stavite dijelove u jednu tablicu po programu. Svaki redak je pitanje na koje podaci moraju odgovoriti.
| Polje | Što napisati | Zašto je važno |
|---|---|---|
| Ishod | Promjena koju očekujete, u vidljivim terminima | Zaustavlja nejasne ciljeve |
| Mjera | Specifični metrički ili rubrični rezultat | Omogućuje testiranje |
| izvor | Odakle dolaze podaci | Pokazuje postoji li i je li pouzdano |
| Nazivnik | Od koga ili od čega je mjera | Sprječava zavaravajuće sirove brojke |
| Termin | Kada se sakuplja | Odvaja učenje od transfera |
| Vlasnik | Imenovana odgovorna osoba | Omogućuje to |
Obrađeni primjer (ilustrativni, nisu prikazani rezultati)
Zamislite program koji pomaže osoblju korisničke podrške u rješavanju eskaliranih pritužbi. Odluka: potvrditi spremnost prije nego što agenti preuzmu eskalacije bez suradnika.
| Ishod | Mjera | izvor | Nazivnik | Termin | Vlasnik |
|---|---|---|---|---|---|
| Agenti trijažiraju eskalaciju koristeći dogovorene kriterije | Rezultat rubrike (0 do 2 po kriteriju, bez kritičnih pogrešaka) za novi slučaj | Bodovana praksa slučajeva | Agenti koji završavaju program | Kraj programa, u odnosu na početne vrijednosti prije obuke | Voditelj obuke |
| Agenti primjenjuju korake trijaže na živim slučajevima | Rezultat rubrike na uzorkovanim stvarnim eskalacijama | Primjer pregleda kvalitete | Uzorkovane eskalacije po agentu | Četiri do šest tjedana nakon prvih eskalacija uživo | Voditelj tima |
| Prepreke za primjenu koraka su poznate | Kategorizirani razlozi iz kratkog praćenja | Provjera agenta nakon kontakta | Agenti koji su rješavali eskalaciju | Isti vremenski okvir za praćenje | Voditelj obuke |
| Ishodi eskalacije prate se u kontekstu | Stopa ponovno otvorenih slučajeva, s zabilježenim istodobnim promjenama | Padežni sustav | Eskalacije zatvorene u tom razdoblju | Tromjesečno, u usporedbi s prethodnim razdobljem | Operativni analitičar |
Primijetite što nedostaje: nema obećanog postotka poboljšanja i nema tvrdnje da sama obuka određuje konačni red. Plan vas obvezuje na prikupljanje iskrenih dokaza, a ne na određeni odgovor.
Gdje se uklapa interaktivna i prilagodljiva isporuka
Mjerenje je lakše kada samo učenje generira dokaze. Interaktivne aktivnosti, poput bodovnih pitanja iz studije slučaja, anketa scenarija i kratkih provjera znanja, daju vam podatke po učeniku i po stavci tijekom obuke, a adaptivno učenje može usmjeravati ljude prema tome kako postižu rezultate. Kombinirani dizajni koji se kreću između sesija uživo i učenja vlastitim tempom omogućuju vam da napravite dijagnostiku u svoje slobodno vrijeme, vježbate slučaj uživo s povratnim informacijama i asinkrono dovršite naknadni pregled.
Ove mogućnosti podupiru dokaze u retku jedan i dva vašeg plana. One ne zamjenjuju retke prijenosa i ishoda, koji ovise o tome što se događa na poslu. Provjerite koje specifične značajke izvještavanja i stvaranja trebate u odnosu na demonstraciju prije nego što se odlučite za dizajn i tretirajte svaki vanjski alat ili integraciju odvojeno od osnovnog tijeka rada dok ne vidite da radi.
Isprobajte s vlastitim programom
Ispunite plan od šest polja za jedan program koji trenutno provodite, počevši od odluke koju bi trebao podržati.
Da biste vidjeli kako se dokazi učenja u vašem planu mogu prikupiti u sesiji uživo ili vlastitim tempom, istražite AhaSlides.
Često postavljana pitanja
Što su metrike učinkovitosti treninga?
To su mjere koje koristite za procjenu je li obuka postigla svoju svrhu. Koristan skup obuhvaća učenje u odnosu na ciljeve, prijenos na posao i operativne ishode čitane u kontekstu, a ne samo dovršetak i zadovoljstvo.
Je li stopa dovršetka korisna metrika?
Korisno je za praćenje sudjelovanja i uočavanje problema s pristupom. Ne može pokazati da je itko naučio ili primijenio vještinu, stoga ga uparite s procjenom i praćenjem.
Koliko dugo nakon treninga trebam mjeriti transfer?
Dovoljno dugo da polaznici imaju stvarnu priliku iskoristiti vještinu. Za svakodnevni zadatak može biti potrebno nekoliko tjedana, dok je za rijedak zadatak potrebno dulje. Postavite vremenski okvir u svom planu prije početka obuke.
Trebam li dokazati povrat ulaganja za svaki tečaj?
Ne. Uskladite dokaze s odlukom. Mnogim programima dobro služe dokazi o učenju i prijenosu te operativni rezultati prikazani u kontekstu. Uzročnu analizu rezervirajte za programe s visokim ulozima ili visokim troškovima tamo gdje je to dizajnom dopušteno.
