Manažér školení otvorí v pondelok vzdelávací panel. Úspešnosť kurzu je 96 percent. Priemerná spokojnosť je 4.5 z 5. Potom vedúci tímu položí nepríjemnú otázku: „Riešia ľudia tieto eskalácie zákazníkov nejako inak?“ Panel nedokáže odpovedať. Zaznamenáva, že kurz bol ukončený, nie že sa v práci niečo zmenilo.
Toto je medzera, ktorú väčšina tréningových metrík necháva otvorenú. Dokončenie vám povie, kto sa dostal do konca. Nehovorí vám, kto sa zručnosť naučil, kto ju použil alebo či sa podnikanie posunulo ďalej. Táto príručka vám poskytuje hierarchiu dôkazov a jednostránkový plán merania, ktorý môžete vyplniť pre akýkoľvek program bez toho, aby ste predstierali, že každý kurz potrebuje kompletnú štúdiu kauzálnej návratnosti investícií.
Úvodný scenár uvedený vyššie je ilustratívny, nie zdokumentovaný prípad zákazníka.
Rýchle fakty
| Otázka | Stručná odpoveď |
|---|---|
| Čo je zlé na miere dokončenia? | Merajú účasť, nie učenie sa alebo zmenu na pracovisku |
| Čo by ste mali namiesto toho merať? | Učenie sa na základe cieľov, prenos do práce a následne prevádzkové výsledky s kontextom |
| Vyžaduje si každý kurz analýzu návratnosti investícií? | Nie. Prispôsobte hĺbku dôkazov prijímanému rozhodnutiu. |
| Čo zahŕňa plán merania? | Výsledok, miera, zdroj, menovateľ, načasovanie a vlastník |
1. Definujte rozhodnutie, ktoré by mali údaje podporovať
Pred výberom metriky pomenujte rozhodnutie, ktoré bude informovať. Tri bežné metriky vyžadujú rôzne dôkazy:
- Vylepšite program. Musíte vedieť, kde mali študenti problémy, takže výsledky na úrovni položiek a úloh sú dôležitejšie ako úspešné absolvovanie.
- Potvrďte pripravenosť. Potrebujete dôkaz, že osoba dokáže vykonať definovanú úlohu podľa dohodnutého štandardu, zvyčajne prostredníctvom pozorovania alebo bodovanej úlohy.
- Posúďte zavedenie. Musíte porovnávať skupiny alebo obdobia, takže najdôležitejšie sú konzistentné miery, menovatelia a načasovanie.
Ak neviete povedať, ktoré rozhodnutie údaje podporujú, zhromaždíte všetko a vyvodíte len málo záverov. Krátky test: ak by bol výsledok slabý, čo by ste urobili inak? Ak je odpoveď „nič“, metrika si nezaslúži svoje miesto.
2. Meranie učenia sa v porovnaní s cieľmi
Začnite s pracovnou úlohou, nie s obsahom kurzu. Napíšte cieľ ako niečo, čo osoba robí („triediť eskalovanú sťažnosť pomocou dohodnutých kritérií“) a potom navrhnite hodnotenie tak, aby mu zodpovedalo. Carnegie Mellon Eberly Center jasne uvádza základný bod: hodnotenia, ciele a inštruktážne aktivity by sa mali navzájom posilňovať a výučba analytických zručností pri hodnotení iba faktického spomienok na vec necháva študentov praktizovať nesprávnu vec (Pokyny Eberlyho centra k zosúladeniu hodnotení, cieľov a vzdelávacích stratégií).
V praxi to ponúka tri možnosti dizajnu:
- Stanovte si základnú čiaru. Pred tréningom zhodnoťte úlohu alebo použite stručnú diagnostiku, aby ste vedeli, kde každý študent začína. Bez východiskovej hodnoty by dobré skóre po tréningu mohlo jednoducho odrážať predchádzajúce zručnosti.
- Použite zodpovedajúce následné kroky. Neskoršie hodnotenie by malo testovať rovnakú úlohu a štandard, s použitím nového prípadu, a nie toho, ktorý sa už precvičoval. Opakovanie rovnakých položiek odmeňuje zapamätanie si odpovedí.
- Udržujte spokojnosť oddelene. Reakcie študentov vám pomôžu zlepšiť zážitok, ale americké Centrá pre kontrolu a prevenciu chorôb (CDC) vo svojich pokynoch pre hodnotenie školení výslovne uvádzajú, že spokojnosť študentov neurčuje, či je školenie efektívne (CDC, hodnotenie školení: meranie efektívnosti). Nahláste to, ale nikdy nie ako náhradu za učenie.
V tomto prípade vám pomôže jednoduchá trojbodová rubrika. Každé kritérium ohodnoťte hodnotením 0 (chýbajúce alebo nepodložené), 1 (čiastočné, s relevantnými opomenutiami) alebo 2 (úplné a odôvodnené) a kritické chyby definujte samostatne, aby celkové skóre nemohlo skryť vážne zlyhanie. Kritériá upravte spolu s odborníkom na danú oblasť; rubrika, ktorú ste si sami napísali, je východiskovým bodom, nie validovaným štandardom.
3. Posúďte prenos po pracovnej expozícii
Učenie sa niečoho v kurze a praktizovanie toho v práci sú rôzne udalosti. Usmernenia CDC oddeľujú hodnotenie učenia od hodnotenia prenosu učenia, ktoré sa pýta, ako úspešne študent aplikuje to, čo sa naučil, po návrate na pracovisko.
Prenos dôkazov si vyžaduje čas. Naplánujte si následnú kontrolu po tom, čo bude mať študent skutočnú príležitosť využiť danú zručnosť, čo môže byť dva týždne pre každodennú úlohu a niekoľko mesiacov pre zriedkavú. Potom zhromaždite dôkazy jedným alebo viacerými z týchto spôsobov:
- Pozorovanie alebo prehľad pracovnej vzorky podľa rovnakej rubriky použitej pri tréningu.
- vstup manažéra alebo kolegu používanie špecifických otázok založených na správaní namiesto otázky typu „zlepšili sa?“.
- Systémové dôkazy kde úloha zanecháva stopu, napríklad vyplnený formulár alebo zaznamenaný prípad.
Zaznamenávajte prekážky rovnako starostlivo ako výsledky. Študent, ktorý dokáže úlohu splniť počas školenia, ale v práci ju nerobí, môže mať nedostatok nástrojov, autority, času alebo podpory manažéra. Tieto obmedzenia môžu pretrvávať aj po zlepšení výkonu úlohy v triede a sú to zistenia, ktoré s najväčšou pravdepodobnosťou zmenia vaše ďalšie rozhodnutie. Opýtajte sa „čo vás zastavilo v uplatnení tejto metódy?“ a odpovede kategorizujte.
4. Interpretujte operačné výsledky v kontexte
Prevádzkové ukazovatele, ako sú miera chybovosti, časy spracovania alebo miera riešenia problémov, sú dôležité, pretože sú to to, na čom organizáciu záleží. Sú tiež najľahšie preceňované.
Tri návyky vám pomôžu byť čestní:
- Použite porovnateľnú sadzbu. Počty zavádzajú, keď sa objemy menia. Porovnajte miery s uvedeným menovateľom: chyby na sto prípadov, nie chyby ako celok.
- Uveďte alternatívne vysvetlenia. Sezónnosť, nový nástroj, zmena personálneho obsadenia alebo aktualizácia politík môžu v tom istom štvrťroku ovplyvniť rovnaké číslo. Zapíšte si ich predtým, ako sa pozriete na výsledok.
- Povedz, o aký druh nároku ide. Ak vyškolení zamestnanci vykazujú lepšiu mieru ako neškolení zamestnanci, ide o pozorovanú súvislosť. Kauzálne tvrdenie si vyžaduje návrh, ktorý vylučuje alternatívy, ako napríklad porovnávaciu skupinu alebo postupné zavádzanie. Väčšina programov si nevyžaduje takúto úroveň prísnosti a je v poriadku to povedať priamo: „výsledky sa pohli smerom, v ktorý sme dúfali; toto sa ešte zmenilo.“
Nesľubujte návratnosť investícií len zo školenia. Popíšte, čo ste pozorovali, kontext a obmedzenia.
5. Vytvorte praktický plán merania
Vložte časti do jednej tabuľky na program. Každý riadok predstavuje otázku, na ktorú musia dáta odpovedať.
| Pole | Čo napísať | Prečo je to dôležité |
|---|---|---|
| Výsledok | Zmena, ktorú očakávate, z hľadiska pozorovateľných hodnôt | Zastavuje vágne ciele |
| opatrenia | Konkrétne skóre metriky alebo rubriky | Umožňuje testovanie |
| zdroj | Odkiaľ pochádzajú údaje | Ukazuje, či existuje a je dôveryhodný |
| Menovateľ | Z koho alebo z čoho toto opatrenie pochádza | Zabraňuje zavádzajúcim nespracovaným počtom |
| Načasovanie | Keď sa zbiera | Oddeľuje učenie od prenosu |
| majiteľ | Menovaná zodpovedná osoba | Umožňuje to |
Vypracovaný príklad (ilustračný, nezobrazené žiadne výsledky)
Predstavte si program, ktorý by pomohol personálu zákazníckej podpory riešiť eskalované sťažnosti. Rozhodnutie: potvrdiť pripravenosť skôr, ako agenti prijmú eskaláciu bez kamaráta.
| Výsledok | opatrenia | zdroj | Menovateľ | Načasovanie | majiteľ |
|---|---|---|---|---|---|
| Agenti triedia eskaláciu podľa dohodnutých kritérií | Skóre rubriky (0 až 2 za kritérium, žiadne kritické chyby) v novom prípade | Bodovaná prax v oblasti prípadov | Agenti absolvujúci program | Koniec programu, oproti východiskovej hodnote pred tréningom | Vedúci tréningu |
| Agenti aplikujú kroky triedenia na živé prípady | Skóre rubriky na vzorkovaných reálnych eskaláciách | Vzorka kontroly kvality | Vzorky eskalácií na agenta | Štyri až šesť týždňov po prvých živých eskaláciách | Vedúci tímu |
| Prekážky pri uplatňovaní krokov sú známe | Kategorizované dôvody z krátkeho následného sledovania | Následná kontrola agenta | Agenti, ktorí riešili eskaláciu | Rovnaké okno pre následné kroky | Vedúci tréningu |
| Výsledky eskalácie sa sledujú v kontexte | Miera opätovne otvorených prípadov so zaznamenanými súbežnými zmenami | Systém puzdier | Eskalácie ukončené v danom období | Štvrťročne v porovnaní s predchádzajúcim obdobím | Prevádzkový analytik |
Všimnite si, čo chýba: žiadne sľubované percentuálne zlepšenie a žiadne tvrdenie, že samotný tréning rozhoduje o poslednom bode. Plán vás zaväzuje k zhromažďovaniu úprimných dôkazov, nie ku konkrétnej odpovedi.
Kde sa hodí interaktívne a adaptívne doručovanie
Meranie je jednoduchšie, keď samotné učenie generuje dôkazy. Interaktívne aktivity, ako sú napríklad bodované prípadové otázky, prieskumy scenárov a krátke kontroly vedomostí, vám počas školenia poskytujú údaje o jednotlivých študentoch a položkách a adaptívne učenie dokáže smerovať ľudí podľa toho, ako si počínajú. Kombinované dizajny, ktoré sa pohybujú medzi živými stretnutiami a štúdiom vlastným tempom, vám umožňujú vykonať diagnostiku vo vašom vlastnom čase, precvičiť si prípad naživo so spätnou väzbou a asynchrónne dokončiť následnú kontrolu.
Tieto funkcie podporujú dôkazy v riadkoch jedna a dva vášho plánu. Nenahrádzajú riadky prenosu a výsledku, ktoré závisia od toho, čo sa deje v práci. Predtým, ako sa zaviažete k návrhu, si overte, ktoré konkrétne funkcie na tvorbu prehľadov a tvorbu obsahu potrebujete, a s každým externým nástrojom alebo integráciou zaobchádzajte oddelene od základného pracovného postupu, kým ich neuvidíte fungovať.
Vyskúšajte to s vlastným programom
Vyplňte šesťpolový plán pre jeden program, ktorý práve prevádzkujete, začnite rozhodnutím, ktoré by mal podporiť.
Ak chcete vidieť, ako by sa dôkazy o učení vo vašom pláne dali zachytiť v živom alebo vlastnom tempe, preskúmajte AhaSlides.
Často kladené otázky
Aké sú metriky efektívnosti tréningu?
Sú to miery, ktoré používate na posúdenie, či školenie dosiahlo svoj účel. Užitočný súbor zahŕňa učenie sa na základe cieľov, prenos do práce a prevádzkové výsledky chápané v kontexte, a nie len samotné dokončenie a spokojnosť.
Je miera dokončenia užitočnou metrikou?
Je to užitočné na sledovanie účasti a odhaľovanie problémov s prístupom. Nedokáže to preukázať, že sa niekto naučil alebo uplatnil zručnosť, preto to spojte s hodnotením a následnou kontrolou.
Ako dlho po tréningu by som mal merať prenos?
Dosť dlho na to, aby mali študenti reálnu šancu využiť danú zručnosť. Každodenná úloha môže trvať niekoľko týždňov, zatiaľ čo zriedkavá úloha si vyžaduje viac času. Stanovte si časové okno vo svojom pláne pred začiatkom tréningu.
Musím preukázať návratnosť investícií pre každý kurz?
Nie. Priraďte dôkazy k rozhodnutiu. Mnohým programom dobre poslúžia dôkazy o učení a prenose vedomostí spolu s prevádzkovými výsledkami uvedenými v kontexte. Kauzálnu analýzu si vyhraďte pre programy s vysokými vkladmi alebo vysokými nákladmi, ak to umožňuje ich návrh.
