Manažer školení v pondělí otevře výukový panel. Úspěšnost kurzu je 96 procent. Průměrná spokojenost je 4.5 z 5. Pak vedoucí týmu položí nepříjemnou otázku: „Řeší lidé tyto eskalace zákazníků nějakým způsobem?“ Panel nedokáže odpovědět. Zaznamenává, že kurz byl dokončen, ne že se v práci něco změnilo.
Toto je mezera, kterou většina metrik školení nechává otevřenou. Dokončení vám řekne, kdo dosáhl konce. Neříká vám, kdo se dovednost naučil, kdo ji použil nebo zda se firma posunula. Tato příručka vám poskytne hierarchii důkazů a jednostránkový plán měření, který můžete vyplnit pro jakýkoli program, aniž byste předstírali, že každý kurz potřebuje kompletní studii kauzální návratnosti investic.
Výše uvedený úvodní scénář je ilustrativní, nikoli zdokumentovaný případ zákazníka.
Rychlá fakta
| Otázka | Stručná odpověď |
|---|---|
| Co je špatného na míře dokončení? | Měří účast, nikoli učení nebo změny na pracovišti. |
| Co byste místo toho měli měřit? | Učení se na základě cílů, přenos do práce a následně provozní výsledky s kontextem |
| Potřebuje každý kurz analýzu návratnosti investic? | Ne. Přizpůsobte hloubku důkazů učiněnému rozhodnutí. |
| Co je součástí plánu měření? | Výsledek, míra, zdroj, jmenovatel, načasování a vlastník |
1. Definujte rozhodnutí, které by data měla podpořit
Než si vyberete metriku, pojmenujte rozhodnutí, které bude informovat. Tři běžné metriky vyžadují různé důkazy:
- Vylepšete program. Musíte vědět, kde měli studenti potíže, takže výsledky na úrovni položek a úkolů jsou důležitější než průměrná známka.
- Potvrďte připravenost. Potřebujete důkazy o tom, že daná osoba dokáže vykonat definovaný úkol podle dohodnutého standardu, obvykle prostřednictvím pozorování nebo hodnoceného úkolu.
- Posouzení zavedení. Potřebujete porovnávat skupiny nebo období, takže nejdůležitější jsou konzistentní míry, jmenovatelé a načasování.
Pokud nemůžete říci, které rozhodnutí data podporují, shromáždíte vše a vyvodíte jen málo závěrů. Krátký test: pokud by byl výsledek špatný, co byste udělali jinak? Pokud je odpověď „nic“, metrika si své místo nezaslouží.
2. Měření učení v porovnání s cíli
Začněte s pracovním úkolem, nikoli s obsahem kurzu. Specifikujte cíl jako něco, co člověk dělá („třídět eskalovanou stížnost podle dohodnutých kritérií“) a poté navrhněte hodnocení tak, aby tomu odpovídalo. Carnegie Mellon Eberly Center jasně uvádí základní myšlenku: hodnocení, cíle a výukové aktivity by se měly vzájemně posilovat a výuka analytických dovedností při hodnocení pouze faktického zapamatování vede studenty k procvičování nesprávné věci (Pokyny Eberlyho centra k propojení hodnocení, cílů a výukových strategií).
V praxi to nabízí tři možnosti designu:
- Stanovte si základní linii. Před školením úkol vyhodnoťte nebo použijte stručnou diagnostiku, abyste věděli, kde každý student začíná. Bez výchozího bodu by dobré skóre po školení mohlo jednoduše odrážet předchozí dovednosti.
- Použijte odpovídající následnou akci. Pozdější hodnocení by mělo testovat stejný úkol a standard, s použitím nového případu, nikoli procvičovaného. Opakování stejných položek odměňuje zapamatování si odpovědí.
- Udržujte spokojenost odděleně. Reakce studentů vám pomohou zlepšit zážitek, ale Centra pro kontrolu a prevenci nemocí (CDC) v USA ve svých pokynech pro hodnocení školení výslovně uvádějí, že spokojenost studentů neurčuje, zda je školení efektivní (CDC, hodnocení školení: měření efektivity). Nahlaste to, ale nikdy to nepředstavujte jako náhradu za učení.
Zde pomůže jednoduchá tříbodová rubrika. Každé kritérium ohodnoťte 0 (chybí nebo není podloženo), 1 (částečné, s relevantními opomenutími) nebo 2 (úplné a odůvodněné) a kritické chyby definujte samostatně, aby celkové skóre nemohlo skrýt závažné selhání. Kritéria upravte s odborníkem na daný obor; rubrika, kterou jste si sami napsali, je výchozím bodem, nikoli validovaným standardem.
3. Posouzení přenosu po pracovní expozici
Učení se něčeho v kurzu a praktikování této praxe jsou dvě různé události. Pokyny CDC oddělují hodnocení učení od hodnocení přenosu znalostí, které se ptá, jak úspěšně student aplikuje to, co se naučil, po návratu na pracovišti.
Přenos důkazů vyžaduje čas. Naplánujte následnou práci poté, co bude mít student skutečnou příležitost dovednost využít, což může být dva týdny u každodenního úkolu a několik měsíců u výjimečného. Poté shromážděte důkazy jedním nebo více z těchto způsobů:
- Pozorování nebo přezkoumání vzorku práce podle stejné rubriky použité při školení.
- vstup manažera nebo kolegy používání konkrétních otázek založených na chování spíše než „zlepšily se?“.
- Systémové důkazy kde úkol zanechává stopu, například vyplněný formulář nebo zaznamenaný případ.
Zaznamenávejte překážky stejně pečlivě jako výsledky. Student, který dokáže úkol splnit během školení, ale nedělá ho v práci, může postrádat nástroje, autoritu, čas nebo podporu manažera. Tato omezení mohou přetrvávat i poté, co se plnění úkolů ve třídě zlepší, a jsou to zjištění, která s největší pravděpodobností změní vaše další rozhodnutí. Zeptejte se: „Co vám zabránilo v aplikaci tohoto postupu?“ a odpovědi seřaďte do kategorií.
4. Interpretujte operační výsledky v kontextu
Provozní ukazatele, jako je míra chyb, doba zpracování nebo míra řešení, jsou důležité, protože jsou to, na čem organizaci záleží. Jsou také nejsnadněji přeceňovatelné.
Tři návyky vám pomohou udržet si poctivost:
- Použijte srovnatelnou sazbu. Počty zavádějí, když se objemy mění. Porovnejte míry s uvedeným jmenovatelem: chyby na sto případů, nikoli chyby celkem.
- Uveďte alternativní vysvětlení. Sezónnost, nový nástroj, změna personálního obsazení nebo aktualizace zásad – to vše může v jednom čtvrtletí ovlivnit stejný počet. Než se podíváte na výsledek, zapište si je.
- Řekněte, o jaký druh nároku se jedná. Pokud vyškolení zaměstnanci vykazují lepší výsledky než neškolení zaměstnanci, jedná se o pozorovanou souvislost. Tvrzení o kauzalitě vyžaduje návrh, který vylučuje alternativy, jako je srovnávací skupina nebo postupné zavádění. Většina programů tuto úroveň důslednosti nevyžaduje a je v pořádku to jasně říci: „výsledky se posunuly směrem, v který jsme doufali; zde je to, co se ještě změnilo.“
Neslibujte návratnost investice pouze z tréninku. Podejte zprávu o tom, co jste pozorovali, o kontextu a o omezeních.
5. Vytvořte praktický plán měření
Vložte jednotlivé části do jedné tabulky pro každý program. Každý řádek představuje otázku, na kterou musí data odpovědět.
| Pole | Co napsat | Proč je to důležité |
|---|---|---|
| Výsledek | Změna, kterou očekáváte, v pozorovatelných termínech | Zastavuje vágní cíle |
| Opatření | Specifické skóre metriky nebo rubriky | Umožňuje testování |
| Zdroj | Odkud data pocházejí | Ukazuje, zda existuje a je důvěryhodné |
| Jmenovatel | Z čeho nebo od koho je toto opatření | Zabraňuje zavádějícím počtům |
| Načasování | Kdy je sbíráno | Odděluje učení od transferu |
| Majitel | Jmenovaná odpovědná osoba | Umožňuje to |
Zpracovaný příklad (ilustrativní, nejsou zobrazeny žádné výsledky)
Představte si program, který by pomohl pracovníkům zákaznické podpory řešit eskalované stížnosti. Rozhodnutí: potvrdit připravenost dříve, než agenti přistoupí k eskalaci bez doprovodu.
| Výsledek | Opatření | Zdroj | Jmenovatel | Načasování | Majitel |
|---|---|---|---|---|---|
| Agenti třídí eskalaci podle dohodnutých kritérií | Skóre rubriky (0 až 2 za kritérium, žádné kritické chyby) u nového případu | Bodovaná praxe v případových studiích | Agenti dokončující program | Konec programu, oproti výchozímu stavu před školením | Vedoucí školení |
| Agenti aplikují kroky triáže u živých případů | Skóre rubriky na vzorkovaných reálných eskalacích | Ukázka kontroly kvality | Vzorkované eskalace na agenta | Čtyři až šest týdnů po prvních aktivních eskalacích | Vedoucí týmu |
| Překážky bránící uplatňování kroků jsou známy | Kategorizované důvody z krátkého následného sledování | Následná kontrola agenta | Agenti, kteří řešili eskalaci | Stejné okno pro následnou kontrolu | Vedoucí školení |
| Výsledky eskalace jsou sledovány v kontextu | Míra znovuotevřených případů s zaznamenanými souběžnými změnami | Systém případu | Eskalace uzavřené v daném období | Čtvrtletně, ve srovnání s předchozím obdobím | Provozní analytik |
Všimněte si, co chybí: žádné slibované procentuální zlepšení a žádné tvrzení, že samotný trénink rozhoduje o konečném výsledku. Plán vás zavazuje ke shromažďování poctivých důkazů, nikoli ke konkrétní odpovědi.
Kam se hodí interaktivní a adaptivní poskytování
Měření je snazší, když samotné učení generuje důkazy. Interaktivní aktivity, jako jsou hodnocené případové otázky, scénářové ankety a krátké testy znalostí, vám během školení poskytují data o jednotlivých studentech a položkách a adaptivní učení může směrovat lidi podle toho, jak si vedou. Kombinované designy, které se pohybují mezi živými lekcemi a studiem vlastním tempem, vám umožňují provést diagnostiku ve vlastním čase, procvičit si případovou studii naživo se zpětnou vazbou a asynchronně dokončit následnou kontrolu.
Tyto funkce podporují důkazy v řádcích jedna a dva vašeho plánu. Nenahrazují řádky přenosu a výsledku, které závisí na tom, co se děje v práci. Před zahájením návrhu si ověřte, které konkrétní funkce pro tvorbu sestav a tvorbu obsahu potřebujete, v demonstraci a s jakýmkoli externím nástrojem nebo integrací zacházejte odděleně od základního pracovního postupu, dokud si je neověříte v praxi.
Vyzkoušejte si to s vlastním programem
Vyplňte šestibodový plán pro jeden program, který právě provozujete, počínaje rozhodnutím, které by měl podpořit.
Chcete-li vidět, jak by se daly zachytit důkazy o učení ve vašem plánu v živé nebo vlastní výuce, prozkoumejte AhaSlides.
Často kladené otázky
Co jsou metriky efektivity školení?
Jsou to měřítka, která používáte k posouzení, zda školení splnilo svůj účel. Užitečná sada zahrnuje učení na základě cílů, přenos do práce a provozní výsledky chápané v kontextu, spíše než pouhé dokončení a spokojenost.
Je míra dokončení užitečnou metrikou?
Je to užitečné pro sledování účasti a odhalování problémů s přístupem. Nemůže to prokázat, že se někdo dovednost naučil nebo ji aplikoval, proto je vhodné to kombinovat s hodnocením a následnou kontrolou.
Jak dlouho po tréninku bych měl měřit přenos?
Dostatečně dlouho na to, aby si studenti mohli danou dovednost skutečně vyzkoušet. Každodenní úkol může trvat několik týdnů, zatímco vzácný úkol vyžaduje více času. Stanovte si v plánu časové okno před zahájením školení.
Musím prokazovat návratnost investic u každého kurzu?
Ne. Přiřaďte důkazy k rozhodnutí. Mnoho programů je dobře vybaveno důkazy o učení a přenosu a provozními výsledky uvedenými v kontextu. Kauzální analýzu vyhraďte pro programy s vysokými sázkami nebo vysokými náklady, pokud to jejich design umožňuje.
