Egy képzési menedzser hétfőn megnyitja a tanulási irányítópultot. A teljesítési arány 96 százalék. Az átlagos elégedettség 4.5 az 5-ből. Ezután egy csapatvezető felteszi a kínos kérdést: „Másképp kezelik az emberek ezeket az ügyfél-eszkalációkat?” Az irányítópult nem tud válaszolni. Azt rögzíti, hogy a tanfolyam befejeződött, nem azt, hogy bármi is változott a munkahelyen.
Ez az a hiányosság, amelyet a legtöbb képzési mérőszám nyitva hagy. A befejezés megmutatja, hogy ki ért el a végére. Nem árulja el, hogy ki sajátította el a készséget, ki használta azt, vagy hogy a vállalkozás áthelyezte-e magát. Ez az útmutató egy bizonyítékhierarchiát és egy egyoldalas mérési tervet tartalmaz, amelyet bármely programhoz kitölthet anélkül, hogy úgy tenne, mintha minden kurzushoz teljes körű ok-okozati megtérülési vizsgálatra lenne szükség.
A fenti nyitó forgatókönyv illusztráció, nem pedig dokumentált ügyféleset.
Gyors tények
| Kérdés | Rövid válasz |
|---|---|
| Mi a baj a befejezési arányokkal? | A részvételt mérik, nem a tanulást vagy a munkahelyi változást. |
| Mit kellene mérned helyette? | Tanulás a célok tükrében, áthelyezés a munkába, majd operatív eredmények kontextusban |
| Minden kurzushoz szükséges ROI elemzés? | Nem. A bizonyítékok mélységét a meghozandó döntéshez kell igazítani. |
| Mi kerüljön bele egy mérési tervbe? | Eredmény, mérés, forrás, nevező, időzítés és tulajdonos |
1. Határozza meg azt a döntést, amelyet az adatoknak kell alátámasztaniuk
Mielőtt kiválasztanál egy mutatót, nevezd meg a döntést, amelyre az épülni fog. Három gyakori mutatóhoz eltérő bizonyíték szükséges:
- Javítsa a programot. Tudnod kell, hogy a tanulók hol küzdöttek nehézségekkel, ezért az elem- és feladatszintű eredmények fontosabbak, mint egy elégséges pontszám.
- Erősítse meg a felkészültséget. Bizonyítékra van szükséged arra vonatkozóan, hogy egy személy egy meghatározott feladatot egy elfogadott szabványnak megfelelően tud elvégezni, általában megfigyelés vagy pontozott feladat révén.
- Értékeljen egy bevezetést. Csoportokat vagy időszakokat kell összehasonlítani, ezért a következetes mértékek, nevezők és időzítések számítanak a legjobban.
Ha nem tudod megmondani, hogy az adatok melyik döntést támasztják alá, akkor mindent összegyűjtesz, és kevés következtetésre jutsz. Egy rövid teszt: ha az eredmény gyenge lenne, mit tennél másképp? Ha a válasz „semmi”, a mutató nem érdemli meg a helyét.
2. A tanulás mérése a célokhoz képest
Kezdd a munkafeladattal, ne a kurzus tartalmával. A célkitűzést úgy fogalmazd meg, mint amit egy személy tesz ("a felmerült panaszok triázsa a megállapodott kritériumok alapján"), majd ennek megfelelően tervezd meg az értékelést. A Carnegie Mellon Eberly Központ világosan megfogalmazza a lényeget: az értékeléseknek, a céloknak és az oktatási tevékenységeknek meg kell erősíteniük egymást, és az analitikus készségek tanítása, miközben csak a tényszerű felidézést értékelik, a tanulókat a rossz dolgok gyakorlására készteti.Eberly Központ útmutatása az értékelések, a célok és az oktatási stratégiák összehangolásához).
A gyakorlatban ez három tervezési lehetőséget kínál:
- Állítson be egy alapértéket. Értékelje a feladatot a képzés előtt, vagy használjon egy rövid diagnosztikát, hogy tudja, hol kezdi az egyes tanulók munkáját. Alapvonal nélkül egy jó képzés utáni pontszám egyszerűen tükrözheti a korábbi készségeket.
- Használjon egyező nyomon követést. A későbbi értékelésnek ugyanazt a feladatot és követelményt kell tesztelnie, de egy új esetet használva a begyakorolt helyett. Az azonos elemek ismétlése a válaszok megjegyzését jutalmazza.
- A megelégedettséget külön kell tartani. A tanulók reakciói segítenek a tapasztalat javításában, de az Egyesült Államok Betegségmegelőzési és Járványvédelmi Központja (CDC) a képzési értékelési útmutatójában egyértelműen kimondja, hogy a tanulók elégedettsége nem határozza meg a képzés hatékonyságát (CDC, a képzés értékelése: a hatékonyság mérése). Jelentsd, de soha ne a tanulás helyettesítőjeként.
Egy egyszerű, hárompontos értékelőlap segít ebben. Minden kritériumot 0-val (hiányzik vagy nem támasztott alá), 1-gyel (részleges, releváns hiányosságokkal) vagy 2-vel (teljes és indokolt) pontozzon, és külön határozza meg a kritikus hibákat, hogy az összesített pontszám ne rejthessen el egy súlyos hiányosságot. Adja át a kritériumokat egy szakterületi szakemberrel; az Ön által írt értékelőlap egy kiindulópont, nem pedig egy validált szabvány.
3. A munkahelyi expozíció utáni áthelyezés értékelése
A tanfolyamon tanulni és a munkahelyen elvégezni két különböző esemény. A CDC irányelvei elkülönítik a tanulási értékelést a tanulási transzfer értékelésétől, amely azt kérdezi, hogy a tanuló mennyire sikeresen alkalmazza a tanultakat, miután visszatért a munkahelyére.
A bizonyítékok átadása időt igényel. Ütemezzen be egy nyomon követést, miután a tanulónak valódi lehetősége volt a készség használatára, ami lehet két hét egy napi feladat esetén, és több hónap egy ritka feladat esetén. Ezután gyűjtsön bizonyítékokat az alábbi módok egyikével vagy többjével:
- Megfigyelés vagy munkaminta-áttekintés ugyanazon rubrika alapján, amelyet a képzésben használnak.
- Vezetői vagy kollégai visszajelzés konkrét, viselkedésalapú kérdések használata a „javultak-e?” kérdés helyett.
- Rendszer bizonyíték ahol a feladat nyomot hagy, például egy kitöltött űrlapot vagy egy naplózott esetet.
Az akadályokat ugyanolyan gondosan jegyezd fel, mint az eredményeket. Egy tanuló, aki el tudja végezni a feladatot a képzésen, de a munkahelyén nem, valószínűleg nem rendelkezik a szükséges eszközökkel, tekintéllyel, idővel vagy a vezető támogatásával. Ezek a korlátok akkor is fennállhatnak, ha a feladatteljesítmény javul az osztályteremben, és ezek azok a megállapítások, amelyek valószínűleg megváltoztatják a következő döntésedet. Kérdezd meg magadtól: "mi akadályozta meg ennek az alkalmazásában?", és kategorizáld a válaszokat.
4. A működési eredmények kontextusban történő értelmezése
Az olyan működési mutatók, mint a hibaszázalék, a kezelési idők vagy a megoldási arányok, azért fontosak, mert ezek azok, amelyek érdeklik a szervezetet. Ezeket a legkönnyebb átlátni is.
Három szokás segít őszintének maradni:
- Használjon összehasonlítható árfolyamot. A számok félrevezetőek, ha a mennyiségek változnak. Hasonlítsa össze az arányokat egy megadott nevezővel: a száz esetre jutó hibák számával, nem az összesített hibák számával.
- Soroljon fel alternatív magyarázatokat. A szezonalitás, egy új eszköz, egy személyzeti változás vagy egy szabályzatfrissítés mind ugyanazt a számot befolyásolhatja ugyanabban a negyedévben. Írja le ezeket a változásokat, mielőtt megnézi az eredményt.
- Mondd, milyen állításról van szó. Ha a képzett személyzet jobb arányt mutat, mint a képzetlen személyzet, az egy megfigyelt összefüggés. Az oksági állításhoz olyan tervre van szükség, amely kizárja az alternatívákat, például egy összehasonlító csoportra vagy egy fokozatos bevezetésre. A legtöbb programnak nincs szüksége ilyen szintű szigorúságra, és nyugodtan kijelenthetjük ezt egyszerűen: „az eredmények a remélt irányba mozdultak el; íme, mi változott még.”
Kerüld a befektetés megtérülésének ígéretét pusztán a képzésből. Írd le a megfigyeléseidet, a kontextust és a korlátokat.
5. Készítsen egy gyakorlatias mérési tervet
Helyezd el a darabokat egy táblázatban programonként. Minden sor egy kérdés, amire az adatoknak választ kell adniuk.
| Mező | Mit kell írni | Miért számít |
|---|---|---|
| Eredmény | A várt változás, megfigyelhető módon | Megállítja a homályos célokat |
| Mérték | Az adott mutató vagy rubrika pontszáma | Tesztelhetővé teszi |
| Forrás | Honnan származnak az adatok | Megmutatja, hogy létezik-e és megbízható-e |
| Névadó | Kitől vagy mitől függ a mérték? | Megakadályozza a félrevezető nyers adatokat |
| Időzítés | Amikor összegyűjtik | Különválasztja a tanulást az átviteltől |
| Tulajdonos | A megnevezett felelős személy | Megvalósítja |
Működő példa (szemléltető, eredmények nem láthatók)
Képzeljen el egy programot, amely segíti az ügyfélszolgálati személyzetet az eszkalált panaszok kezelésében. A döntés: ellenőrizze a készenlétet, mielőtt az ügynökök társa nélkül eszkalálnák a panaszokat.
| Eredmény | Mérték | Forrás | Névadó | Időzítés | Tulajdonos |
|---|---|---|---|---|---|
| Az ügynökök a megállapodott kritériumok alapján triázzák az eszkalációt | Rubrika pontszám (kritériumonként 0-tól 2-ig, kritikus hibák nélkül) egy új eseten | Pontozott esettanulmány | A programot befejező ügynökök | A program vége, a képzés előtti alapértékhez képest | Képzési vezető |
| Az ügynökök a triázs lépéseit alkalmazzák élő esetekre | Rubrika pontszám a mintavételezett valós eszkalációk alapján | Minőségellenőrzési minta | Minta szerinti eszkalációk ügynökönként | Négy-hat héttel az első élő eszkalációk után | Csapatvezető |
| A lépések alkalmazásának akadályai ismertek | Kategorizált okok egy rövid követésből | Ügynök utólagos ellenőrzése | Az eszkalációt kezelő ügynökök | Ugyanaz a nyomon követési időszak | Képzési vezető |
| Az eszkaláció eredményeit kontextusban követik nyomon | Újranyitott esetek aránya, az egyidejű változásokkal együtt | Esetrendszer | Az adott időszakban lezárt eszkalációk | Negyedéves, az előző időszakhoz képest | Műveleti elemző |
Figyeld meg, mi hiányzik: nincs ígért százalékos javulás, és nincs állítás sem, hogy a képzés önmagában a végső döntés kulcsa. A terv a őszinte bizonyítékok gyűjtésére kötelez, nem pedig egy adott válaszra.
Ahol az interaktív és az adaptív kézbesítés illeszkedik egymáshoz
A mérés könnyebb, ha maga a tanulás generál bizonyítékot. Az interaktív tevékenységek, mint például a pontozott esetkérdések, a forgatókönyv-felmérések és a rövid tudásfelmérések, tanulónként és elemenkénti adatokat szolgáltatnak a képzés során, az adaptív tanulás pedig a teljesítményük alapján irányíthatja az embereket. A kevert tervek, amelyek az élő foglalkozások és az önálló ütemű tanulás között váltanak, lehetővé teszik, hogy saját időbeosztásodban diagnosztizálj, élőben gyakorolj egy esetet visszajelzéssel, és aszinkron módon végezz el egy utólagos áttekintést.
Ezek a képességek alátámasztják a terv első és második sorában szereplő bizonyítékokat. Nem helyettesítik az átviteli és eredménysorokat, amelyek a munkahelyi eseményektől függenek. Mielőtt elkötelezné magát egy terv mellett, ellenőrizze egy bemutató segítségével, hogy mely konkrét jelentéskészítési és szerzői funkciókra van szüksége, és kezeljen minden külső eszközt vagy integrációt az alapvető munkafolyamattól elkülönítetten, amíg nem látta, hogy működik.
Próbáld ki a saját programoddal
Töltsd ki az egyik, jelenleg futó programod hatmezős tervét, azzal a döntéssel kezdve, amelyet támogatnia kellene.
Ha szeretné megtudni, hogyan lehet a tervében szereplő tanulási bizonyítékokat rögzíteni egy élő vagy önálló tempójú foglalkozáson, fedezze fel az AhaSlides-t.
Gyakran Ismételt Kérdések
Mik a képzési hatékonysági mutatók?
Ezek azok a mérőszámok, amelyekkel megítélhető, hogy a képzés elérte-e a célját. Egy hasznos készlet magában foglalja a tanulást a célok tükrében, a munkába való áthelyezést és a kontextusban értelmezett működési eredményeket, nem pedig csak a befejezést és az elégedettséget.
Hasznos mérőszám a befejezési arány?
Hasznos a részvétel nyomon követésére és a hozzáférési problémák észlelésére. Nem tudja kimutatni, hogy bárki is elsajátította vagy alkalmazta a készségeket, ezért párosítsuk egy értékeléssel és egy nyomon követéssel.
Mennyi idővel az edzés után kell mérnem az áteresztőképességet?
Elég hosszú ahhoz, hogy a tanulóknak valódi lehetőségük legyen a készség használatára. Egy napi feladathoz néhány hétre lehet szükség, míg egy ritka feladathoz több időre. A képzés megkezdése előtt állítsd be a tervedet az időablakra.
Minden kurzus megtérülését kell bizonyítanom?
Nem. Párosítsa a bizonyítékokat a döntéssel. Sok programot jól szolgálnak a tanulási és átadási bizonyítékok, valamint a kontextussal együtt közölt operatív eredmények. Tartozék az ok-okozati elemzés a nagy téttel járó vagy magas költségű programok számára, ahol a program felépítése ezt lehetővé teszi.
