Egy kísérleti projekt véget ér. Tizenkét ember vett részt rajta, szinte mindannyian hasznosnak találták, és a vezető elégedett volt vele. Ezután az operatív vezető jogos kérdést tesz fel: „Volt-e valaki másképp a munkáját?” A kísérleti projekt előtt senki sem mérte fel, hogyan dolgoztak az emberek, senki sem hasonlította össze őket senkivel, és a csapat még ugyanabban a hónapban megváltoztatta a folyamatát. A kísérleti projekt jóakaratot, nem bizonyítékot eredményezett.
Ez egy szemléltető forgatókönyv, nem pedig egy dokumentált ügyféleset. Egy gyakori hibát mutat be a képzési programok értékelése során: a kísérleti projektet lefuttatják, de soha nem arra tervezték, hogy egy kérdésre válaszoljon.
Ez az útmutató L&D vezetők, oktatástervezők és képzésmenedzserek számára készült. Öt lépést ölel fel: a kísérleti kérdés meghatározása, a résztvevők és az alapértékek kiválasztása, a tanulási folyamat rögzítése, az új feladatok teljesítményének és átadásának értékelése, valamint annak megállapodása, hogy az eredmények hogyan befolyásolják a bevezetést. Végül egy adaptálható sablonnal és a fennmaradó korlátokkal zárul.
Mi az a kiképzőpilóta?
A képzési kísérlet egy kis, időkorlátos tanulási terv kipróbálása, mielőtt nagy léptékben elköteleznéd magad amellett, hogy megvalósítsd. Feladata annak megállapítása, hogy a terv megvalósítható-e, és mit érdemes folytatni, nem pedig annak bizonyítása, hogy mindenhol működik.
Ez a különbségtétel fontos. Az Egyesült Államok Nemzeti Kiegészítő és Integratív Egészségügyi Központja a kísérleti tanulmányt a módszerek és eljárások kis léptékű, nagyobb léptékben történő teszteléseként írja le, és figyelmeztet, hogy a kísérleti tanulmányok nem képesek megválaszolni a hatékonysággal kapcsolatos kérdéseket, így minden olyan hatás, amelyet mutatnak, instabil (NCCIH, Kísérleti tanulmányok: Gyakori felhasználások és helytelen használatok). Ez az útmutató egészségügyi kutatásokra íródott, de a logika továbbra is érvényes. Egy tizenkét fős kísérleti projekt megmondhatja, hogy képes-e toborozni, megvalósítani, mérni és nyomon követni a projektet. Azt azonban nem tudja magabiztosan megmondani, hogy mekkora lesz a hatás egy egész szervezetre nézve.
Gyors tények
| Kérdés | Rövid válasz |
|---|---|
| Mire való egy pilóta? | A tanulási és megvalósítási feltételezések tesztelése a méretezés előtt. |
| Mire van szükséged, mielőtt elkezdődik? | Egy tesztelhető kérdés, egy feladat, egy alapvonal és egy döntési kritérium. |
| Mi számít átruházási bizonyítéknak? | Teljesítmény egy új feladaton a munkatapasztalat után, nem elégedettség. |
| Szükséged van egy kontrollcsoportra? | Nem mindig. Egy összehasonlító csoport vagy a fokozatos bevezetés akkor segít, ha megvalósítható és igazságos. |
| Mikor határozod meg a döntési kritériumokat? | Mielőtt bármilyen eredményt megnéznél. |
| Mit nem mondhat el a pilóta? | Milyen mértékű lesz a hatás nagy léptékben. |
1. Határozza meg a pilot kérdést
Kezdj egy olyan kérdéssel, amelyre igennel, nemmel vagy egy számmal lehet válaszolni, és nevezd meg a döntést, amelyre ez a kérdés épül.
Egy gyenge kérdés: „Működik az új bevezető program?” Egy tesztelhető kérdés: „Az újratervezett bevezető program után az új belépők képesek-e segítség nélkül kezelni egy standard ügyfél-eszkalációt, és a kísérleti program megvalósítható-e a rendelkezésre álló coaching idő alatt?”
Írj le három dolgot:
- A feladat. Mire lesznek képesek az emberek, amit korábban nem tudtak, vagy nem csináltak jól?
- A döntés. Felülvizsgálják a dizájnt, futtatnak egy újabb kísérleti programot, vagy szélesebb körben bevezetik?
- A tanulási és megvalósítási feltételezések. Milyen előfeltételekre, időre, coaching kapacitásra és eszközökre számítasz, amelyeket a pilot projektnek tesztelnie kell?
Ha nem tudod megnevezni a döntést, akkor nem állsz készen a kísérleti projekt lefuttatására. Az eredmény úgy fog megérkezni, hogy senki sem vár arra, hogy cselekedjen.
2. Válassza ki a résztvevőket és az alapértékeket
Az alapvonal annak bizonyítéka, hogy az emberek hogyan hajtották végre a feladatot a képzés előtt. Enélkül a „fejlett” állapot semmihez sem hasonlítható.
A résztvevőket tudatosan válaszd ki. Olyan embereket válassz, akik a valódi feladatot végzik, és hasonlítanak arra a csoportra, amelynek a programot elindítod. Egy olyan kísérleti projekt, amelyben csak a leglelkesebb önkénteseid vesznek részt, jobban fog tetszeni a terv.
Rögzítse az alapvonalat. Használd ugyanazt a mérőeszközt, amit később fogsz, hogy a kettő összehasonlítható legyen. A lehetőségek közé tartozik egy rövid munkaminta, egy strukturált megfigyelés, a legutóbbi eredmények áttekintése vagy egy pontozott esettanulmány. Jegyezd fel, hogy kik vettek részt a felmérésben, hányan voltak jogosultak, és mikor végezted a mérést.
Gondolj egy összehasonlításra. A legerősebb terv a kísérleti projektben részt vevő embereket hasonlítja össze hasonló, de nem részt vevő emberekkel. Ez nem mindig lehetséges vagy igazságos, különösen akkor, ha a képzés biztonsági vagy megfelelőségi okokból szükséges. A szakaszos bevezetés egy praktikus alternatíva: egy csoport most kezd, egy hasonló csoport később, és a későbbi csoport összehasonlítási alapként szolgál az elsővel. Bármelyiket is választod, a tervben írd le, hogy miért igazságos ez az érintettekkel szemben.
3. A tanulási folyamat lebonyolítása és rögzítése
A bizonyítékok csak akkor hasznosak, ha tudjuk, mit szállítottak. Vezessünk naplót a történtekről, mert a szállítás költsége és erőfeszítése is része annak, amit a kísérleti tesztek tesztelnek.
Rekord:
- Készítmény. Mit csináltak az emberek a foglalkozások előtt, és mennyi ideig tartott?
- Gyakorlat. Milyen eseteket vagy gyakorlatokat dolgoztak fel, és milyen visszajelzéseket kaptak?
- Edzés. Ki edzett, mennyi ideig, és élőben vagy aszinkron módon?
- Működési változások. Bármi más, ami a kísérleti időszak alatt változott, például egy új eszköz, egy szabályzatváltozás, egy szezonális roham vagy egy vezetőváltás.
- Termékkonfiguráció és költségek. A ténylegesen használt beállítás, valamint a szállításhoz szükséges idő és pénz.
Az utolsó kettő a legfontosabb a bevezetésről szóló döntés szempontjából. Egy olyan dizájn, ami csak olyan szintű coachinggal működik, amit nagy léptékben nem engedhetsz meg magadnak, megtanított valami értékesre, és a napló az, ami ezt mutatja.
4. Új feladatok teljesítményének és átruházásának értékelése
A képzésértékelést gyakran a Kirkpatrick-modell négy szintjével írják le: reakció, tanulás, viselkedés és eredmények (Kirkpatrick Partners). Egy pilótának az első szinten túl kell jutnia. A reakciók, hogy az emberek hasznosnak találták-e, gyorsan összegyűlnek, de keveset mondanak arról, hogy másképp fognak-e teljesíteni.
Tesztelje a tanultakat egy új feladaton. Adj a résztvevőknek egy olyan esetet, amit még nem gyakoroltak, és pontozd ugyanazokkal a kritériumokkal, amelyeket az alapszinten használtál. Egy új feladat azt mutatja meg, hogy az emberek tudják-e alkalmazni a tanultakat, nem pedig azt, hogy emlékeznek-e egy példára.
Munkavégzés utáni nyomon követés. Az átadás azt jelenti, hogy a tanultakat a munkahelyen alkalmazzák, és idővel fenntartják. Baldwin és Ford gyakran idézett 1988-as áttekintése az átadás alatt a tanultak munkára való általánosítását és időbeli fenntartását érti, és azt vizsgálja, hogy a képzés felépítése, a gyakornokok jellemzői és a munkakörnyezet hogyan befolyásolja ezt (Baldwin és Ford, 1988). Tehát tervezz egy utólagos megbeszélést, miután az embereknek már volt valódi munkájuk, például néhány héttel később, és mérd fel újra ugyanazt a feladatot.
Rekord akadályok. Ha valaki nem alkalmazza az új megközelítést a munkahelyén, kérdezze meg, hogy miért. A válasz lehet egy hiányzó eszköz, egy vezető, aki a régi módszert várja el, vagy túl kevés idő. Ezek a munkakörnyezetre vonatkozó megállapítások, nem a tanuló hibái.
Ne következtess az elégedettségből az áthelyezésre. Egy jó visszajelzési pontszámot érdemes rögzíteni. Ez nem azt mutatja, hogy a viselkedés megváltozott.
5. Döntse el, hogy az eredmények hogyan befolyásolják a bevezetés
Írd le a döntési kritériumokat, mielőtt megnézed az eredményeket. Különben könnyű okot találni arra, hogy a látottakkal folytasd.
Egy egyszerű szerkezet:
| Ha a pilot bemutatja | Majd |
|---|---|
| A feladatteljesítmény javult, az átadás megtörtént, a kézbesítés megvalósítható volt | Tervezzen szélesebb körű bevezetést, és folytassa a méréseket. |
| A feladatteljesítmény javult, de a munkakörnyezet akadályozta az áthelyezést | Javítsd meg a sorompót, majd indíts egy második pilot támadást. |
| Kis változás az új feladatban | A további futtatások előtt vizsgáld felül a tervet. |
| A szállítási költség vagy a coaching idő nem volt kivitelezhető | Tervezze újra a megvalósítás módját, majd ismételje meg a kísérleti programot. |
Légy őszinte azzal kapcsolatban, hogy mit tud támogatni egy kis csoport. A számokat indikatívnak tekintsd, add meg a csoportlétszámot és a nevezőt, és kerüld a hatásméreteket vagy a garanciákat. A képzés elismerése előtt említsd meg, hogy milyen egyéb változások történtek ugyanabban az időben.
Kísérleti mérési sablon
Szemléltető. Egy ilyen munkát végző szakembernek használat előtt át kell tekintenie azt.
| Rész | Mit kell leírni |
|---|---|
| Pilóta kérdés | A tesztelhető kérdés és a döntés, amire választ ad. |
| Feladat | Az új feladat, amit az embereknek el kell végezniük, és annak pontozása. |
| A résztvevő | Kik szerepelnek, hányan voltak jogosultak, és van-e összehasonlítási csoport. |
| kiindulási | Az edzés előtti mérés, a dátum és az eredmények. |
| Tanulási út | Felkészülés, gyakorlás, edzés, idő és költség. |
| Egyidejű változások | Bármi más, ami változott a pilot alatt. |
| Új feladat eredménye | Pontok egy olyan feladatra, amelyet a kísérleti projekt során nem gyakoroltak. |
| Követés | Az időzítés, a megszólított személyek és a munkahelyi expozíció utáni pontszámok. |
| Akadályok | Mi akadályozta meg az embereket a tanultak alkalmazásában? |
| Döntési kritériumok | Az eredmények áttekintése előtt beállított küszöbértékek. |
| Eredmény | Felülvizsgálják, újra kipróbálják vagy bevezetik, és miért. |
Ahol az interaktív közvetítés segít
Az interaktív formátumok a kísérleti projektek gyakorlati szakaszához illenek, mivel minden személy elkötelezi magát egy válasz mellett, mielőtt látná a csoport válaszait, ami a részvétel helyett az érvelésről is feljegyzést ad. A facilitátor élőben is lebonyolíthat egy esetet, és ugyanaz az eset felhasználható önálló tempóban a felkészüléshez vagy a nyomon követéshez. Az AhaSlides támogatja az interaktív tanulást és az élő és az önálló tempójú megvalósítás közötti váltást. Ellenőrizze az összes olyan konkrét szerzői, visszajelzési vagy jelentéskészítési funkciót, amelyre a saját munkafolyamatában támaszkodni kíván, és kezelje a mesterséges intelligenciát, a szimulációt és az integrációs funkciókat külsőként vagy nem megerősítettként, amíg nem látta, hogy működnek. A formátumok közötti választáshoz lásd: Mikor alkalmazzunk adaptív, interaktív és élő tanulást?A tevékenységek mérni kívánt gondolkodásmódhoz való illesztéséhez tekintse meg útmutatónkat a következő témában: tanulási tevékenységek Bloom taxonómiájához való illesztése.
Maradhatnak korlátok
Még egy jól megtervezett kísérleti program is hagy néhány dolgot megoldatlanul:
- Kis számok. A kísérleti projekt a megvalósíthatóságot és az irányt mutatja, nem pedig azt, hogy mekkora lesz a hatás nagy léptékben.
- Munkakörnyezet. Az emberek jól teljesíthetnek az új feladatban, és mégsem használhatják azt a munkahelyükön, ha a vezetőjük, az eszközeik vagy az ösztönzőik az ellenkezőjét mutatják.
- Időzítés. A néhány héttel későbbi követés nem mutatja meg, hogy mi marad meg hat hónap után.
- Egyidejű változás. Ugyanezen időszak más változásai is magyarázhatják a javulás egy részét.
- Kiválasztás. Az önkéntesként jelentkezők eltérhetnek azoktól, akiket te megcélzol.
Tervezzen külön javításokat ezekre, és tájékoztassa a szponzorokat arról, hogy a pilot mely kérdéseket nem oldotta meg.
Gyakran Ismételt Kérdések
Mekkora méretűnek kell lennie egy kiképzőpilótának?
Elég nagy ahhoz, hogy tesztelni lehessen, a terv megvalósítható-e és mérhető-e, és elég kicsi ahhoz, hogy olcsón módosítható legyen. Nincs egyetlen helyes szám. Add meg a csoportlétszámot, és az eredményt indikatívnak tekintsd.
Szükségem van kontrollcsoportra egy képzési program értékeléséhez?
Egy összehasonlító csoport erősebb bizonyítékot szolgáltat, de nem mindig megvalósítható vagy igazságos. Egy alapforgatókönyv plusz egy fokozatos bevezetés, ahol egy hasonló csoport később indul, egy gyakorlati alternatíva.
Mikor kell mérnem az átvitelt?
Miután az embereknek volt idejük és lehetőségük alkalmazni a tanultakat a munkahelyükön, adj nekik legalább néhány hetet. Mérd fel újra ugyanazt a feladatot, és kérdezd meg, milyen akadályok akadályozták meg a használatát.
Hasznos mérőszám-e az elégedettség?
Hasznos a felhasználói élmény javítása szempontjából, de nem bizonyítja az átadás tényét. Párosítsd egy új feladatban elért teljesítménnyel.
Hol kezdjem
Válassz ki egy fontos feladatot, és írd le, hogy milyen döntést fog eredményezni a pilotprojekt. Rögzítsd, hogyan hajtja végre ma egy maroknyi ember egy rövid munkaminta vagy pontozott esettanulmány segítségével. Ezután írd le a döntési kritériumaidat a pilotprojekt kezdete előtt, és jegyezd fel a naptárba a követés dátumát.
Ha szeretné megtudni, hogyan futtatható egy gyakorlati eset élőben a saját csapatával, és hogyan használható fel utána újra önálló tempóban, fedezze fel az AhaSlides oldalt.
