Pilotný projekt sa končí. Zúčastnilo sa ho dvanásť ľudí, takmer všetci uviedli, že to bolo užitočné a facilitátor je spokojný. Potom vedúci prevádzky položí primeranú otázku: „Robil niekto svoju prácu inak?“ Pred pilotným projektom nikto nemeral, ako ľudia pracovali, nikto ich s nikým neporovnával a tím zmenil svoj proces v tom istom mesiaci. Pilotný projekt priniesol dobrú vôľu, nie dôkazy.
Toto je ilustratívny scenár, nie zdokumentovaný prípad zákazníka. Ukazuje bežný spôsob, akým sa hodnotenie školiacich programov pokazí: pilotný projekt sa síce spustí, ale nikdy nebol navrhnutý tak, aby odpovedal na otázku.
Táto príručka je určená pre vedúcich oddelení vzdelávania a rozvoja, dizajnérov inštrukcií a manažérov vzdelávania. Zahŕňa päť krokov: definovanie pilotnej otázky, výber účastníkov a základných ukazovateľov, zaznamenanie procesu vzdelávania, posúdenie plnenia nových úloh a ich prenosu a dohoda o tom, ako výsledky ovplyvnia zavádzanie. Končí šablónou, ktorú si môžete prispôsobiť, a obmedzeniami, ktoré zostávajú.
Čo je to výcvikový pilot?
Pilotný tréningový projekt je krátky, časovo obmedzený cyklus vzdelávacieho návrhu predtým, ako sa k nemu zaviažete vo veľkom meradle. Jeho úlohou je zistiť, či je návrh uskutočniteľný a čo sa oplatí sledovať, nie dokázať, že funguje všade.
Toto rozlíšenie je dôležité. Americké Národné centrum pre doplnkové a integrované zdravie opisuje pilotnú štúdiu ako test metód a postupov v malom rozsahu, ktoré sa majú použiť vo väčšom meradle, a varuje, že pilotná štúdia nie je dostatočne schopná odpovedať na otázky o účinnosti, takže akýkoľvek účinok, ktorý sa zdá byť nestabilný (NCCIH, Pilotné štúdie: Bežné použitie a zneužitie). Toto usmernenie je napísané pre výskum v oblasti zdravia, ale logika je stále aktuálna. Pilotný projekt s dvanástimi ľuďmi vám môže povedať, či dokážete získať zamestnancov, realizovať ich, merať a sledovať výsledky. Nemôže vám však s istotou povedať, aký veľký bude účinok v celej organizácii.
Rýchle fakty
| Otázka | Stručná odpoveď |
|---|---|
| Na čo je pilot? | Testovanie predpokladov učenia a doručenia pred škálovaním. |
| Čo potrebujete pred začiatkom? | Testovateľná otázka, úloha, východiskový bod a rozhodovacie kritériá. |
| Čo sa považuje za dôkaz o prevode? | Výkon pri novej úlohe po pracovnej skúsenosti, nie spokojnosť. |
| Potrebujete kontrolnú skupinu? | Nie vždy. Porovnávacia skupina alebo postupné zavádzanie pomáha, keď je to uskutočniteľné a spravodlivé. |
| Kedy stanovíte rozhodovacie kritériá? | Predtým, ako sa pozriete na akékoľvek výsledky. |
| Čo vám pilot nemôže povedať? | Aký veľký bude efekt v danom meradle. |
1. Definujte pilotnú otázku
Začnite otázkou, na ktorú sa dá odpovedať áno alebo nie, alebo číslom, a pomenujte rozhodnutie, ktoré bude informovať.
Slabá otázka: „Funguje nový onboardingový program?“ Testovateľná otázka: „Zvládnu noví zamestnanci po prepracovanom onboardingu štandardnú eskaláciu zákazníkov bez pomoci a je pilotný projekt praktický s časom na koučovanie, ktorý máme k dispozícii?“
Napíšte tri veci:
- Úloha. Čo budú ľudia schopní robiť, čo predtým nedokázali alebo nerobili dobre?
- Rozhodnutie. Prepracujete návrh, spustíte ďalší pilotný projekt alebo ho rozšírite?
- Predpoklady učenia a realizácie. Aké sú vaše predpoklady týkajúce sa predpokladov, času, koučovacích schopností a nástrojov, ktoré by mal pilotný projekt otestovať?
Ak neviete pomenovať rozhodnutie, nie ste pripravení spustiť pilotný projekt. Výsledok sa dostaví bez toho, aby nikto čakal, kým naň bude reagovať.
2. Výber účastníkov a východiskových opatrení
Východiskový bod je dôkazom toho, ako ľudia vykonávajú úlohu pred školením. Bez neho sa „vylepšené“ nemá s čím porovnávať.
Účastníkov si vyberajte zámerne. Vyberte si ľudí, ktorí vykonávajú skutočnú úlohu a podobajú sa skupine, ktorej plánujete projekt venovať. Pilotný projekt, v ktorom budú pôsobiť len vaši najnadšení dobrovoľníci, bude dizajnu lichotiť.
Zachyťte základnú líniu. Použite rovnaký druh merania, aké použijete neskôr, aby sa dali oba porovnať. Možnosti zahŕňajú krátku pracovnú vzorku, štruktúrované pozorovanie, prehľad nedávnych výstupov alebo hodnotený prípad. Zaznamenajte si, kto bol zahrnutý, koľko z nich bolo oprávnených a kedy ste merali.
Zamyslite sa nad porovnaním. Najsilnejší návrh porovnáva ľudí, ktorí sa zúčastnili pilotného projektu, s podobnými ľuďmi, ktorí sa ho nezúčastnili. To nie je vždy možné alebo spravodlivé, najmä ak je školenie potrebné z hľadiska bezpečnosti alebo dodržiavania predpisov. Praktickou alternatívou je postupné zavádzanie: jedna skupina začína teraz, podobná skupina začína neskôr a neskoršia skupina slúži ako porovnanie pre prvú. Nech už si vyberiete čokoľvek, v pláne uveďte, prečo je to spravodlivé pre zúčastnených.
3. Zrealizujte a zaznamenajte vzdelávaciu cestu
Dôkazy sú užitočné iba vtedy, ak viete, čo bolo dodané. Veďte si prehľadný záznam o tom, čo sa stalo, pretože náklady a úsilie spojené s dodaním sú súčasťou toho, čo pilotný projekt testuje.
record:
- Príprava. Čo robili ľudia pred sedeniami a ako dlho to trvalo?
- Praxou. Ktoré prípady alebo cvičenia riešili a akú spätnú väzbu dostali?
- Koučovanie. Kto koučoval, ako dlho a bolo to naživo alebo asynchrónne?
- Prevádzkové zmeny. Čokoľvek iné, čo sa zmenilo počas pilotného projektu, ako napríklad nový nástroj, zmena politiky, sezónny zhon alebo zmena manažéra.
- Konfigurácia produktu a náklady. Skutočné nastavenie, ktoré ste použili, a čas a peniaze potrebné na jeho dodanie.
Posledné dva faktory sú pre rozhodnutie o zavedení najdôležitejšie. Návrh, ktorý funguje iba s úrovňou koučingu, ktorú si nemôžete dovoliť vo veľkom meradle, vás naučil niečo cenné a záznam je to, čo to dokazuje.
4. Posúďte výkon novej úlohy a jej preloženie
Hodnotenie tréningu sa často opisuje pomocou štyroch úrovní Kirkpatrickovho modelu: reakcia, učenie, správanie a výsledky (Kirkpatrick Partners). Pilotný projekt by mal presiahnuť prvú úroveň. Reakcie, či ľudia projekt považovali za užitočný, sa rýchlo zhromažďujú, ale málo hovoria o tom, či sa projekt bude správať inak.
Otestujte si učenie na novej úlohe. Dajte účastníkom prípad, ktorý ešte nepraktizovali, a ohodnoťte ho podľa rovnakých kritérií, aké ste použili na začiatku. Nová úloha ukazuje, či ľudia dokážu aplikovať to, čo sa naučili, nie či si príklad pamätajú.
Následné opatrenia po expozícii na pracovisku. Transfer znamená uplatňovať to, čo sa naučilo v práci, a udržiavať si to v priebehu času. Často citovaná štúdia Baldwina a Forda z roku 1988 definuje transfer ako zovšeobecnenie naučeného materiálu na pracovisko a jeho udržiavanie v priebehu času a skúma, ako ho ovplyvňuje dizajn školenia, charakteristika účastníka školenia a pracovné prostredie.Baldwin a Ford, 1988). Naplánujte si následnú kontrolu po tom, čo ľudia odvedú skutočnú prácu, napríklad o niekoľko týždňov neskôr, a znova zmerajte tú istú úlohu.
Rekordné bariéry. Ak niekto v práci nepoužíva nový prístup, opýtajte sa prečo. Odpoveďou môže byť chýbajúci nástroj, manažér, ktorý očakáva starý spôsob, alebo príliš málo času. Ide o zistenia o pracovnom prostredí, nie o zlyhania študenta.
Neodvodzujte prenos zo spokojnosti. Dobré skóre spätnej väzby sa oplatí zaznamenať. Neukazuje, že sa správanie zmenilo.
5. Rozhodnite sa, ako výsledky ovplyvnia zavedenie
Predtým, ako sa pozriete na výsledky, si napíšte kritériá rozhodovania. Inak je ľahké nájsť dôvod na pokračovanie s čímkoľvek, čo vidíte.
Jednoduchá štruktúra:
| Ak pilot ukáže | Potom sa treba |
|---|---|
| Zlepšil sa výkon úloh, prevod bol zadržaný, dodanie bolo uskutočniteľné | Naplánujte širšie zavedenie a priebežne merajte. |
| Výkon úloh sa zlepšil, ale prenos bol blokovaný pracovným prostredím | Opravte bariéru a potom spustite druhý pilotný projekt. |
| Malá zmena v novej úlohe | Pred ďalším spustením prepracujte návrh. |
| Cena doručenia alebo čas koučingu neboli funkčné | Prepracujte spôsob, akým sa to bude doručovať, a potom to znova pilotne spustite. |
Buďte úprimní o tom, čo dokáže malá skupina podporiť. Čísla berte ako orientačné, uveďte veľkosť skupiny a menovateľa a vyhnite sa veľkosti efektu alebo zárukám. Predtým, ako školenie zapíšete ako zápočet, uveďte, ktoré ďalšie zmeny nastali súčasne.
Šablóna pilotného merania
Ilustrácia. Odborník, ktorý túto prácu vykonáva, by si ju mal pred použitím skontrolovať.
| Časť | Čo si zapísať |
|---|---|
| Pilotná otázka | Testovateľná otázka a rozhodnutie, ktoré informuje. |
| úloha | Nová úloha, ktorú by mali ľudia vykonávať, a ako bude hodnotená. |
| účastníci | Kto je zahrnutý, koľko ľudí bolo oprávnených a aká je porovnávacia skupina. |
| Baseline | Miera, dátum a skóre pred tréningom. |
| Cesta učenia | Príprava, tréning, koučing, čas a náklady. |
| Súbežné zmeny | Čokoľvek iné, čo sa zmenilo počas pilotného projektu. |
| Výsledok novej úlohy | Skóre za úlohu, ktorá nebola precvičovaná počas pilotného projektu. |
| Nasleduj | Načasovanie, kto bol oslovený a skóre po vystavení sa práci. |
| prekážky | Čo bránilo ľuďom v uplatňovaní získaných vedomostí. |
| rozhodovacie kritériá | Prahové hodnoty, ktoré ste nastavili pred kontrolou výsledkov. |
| Výsledok | Prehodnotiť, znova spustiť pilotný projekt alebo ho spustiť a prečo. |
Kde pomáha interaktívne doručovanie
Interaktívne formáty sú vhodné pre fázu nácviku pilotného projektu, pretože každá osoba sa zaviaže k odpovedi predtým, ako uvidí odpoveď skupiny, čo vám poskytne záznam o zdôvodnení, nielen o účasti. Facilitátor môže spustiť prípad naživo a ten istý prípad sa môže použiť vlastným tempom na prípravu alebo následné kroky. AhaSlides podporuje interaktívne učenie a prechod medzi živým a vlastným tempom. Skontrolujte všetky konkrétne funkcie tvorby, spätnej väzby alebo reportovania, na ktoré sa plánujete spoľahnúť, oproti svojmu vlastnému pracovnému postupu a považujte funkcie umelej inteligencie, simulácie a integrácie za externé alebo nepotvrdené, kým ich neuvidíte fungovať. Ak si chcete vybrať medzi formátmi, pozrite si kedy použiť adaptívne, interaktívne a živé učenieAk chcete zosúladiť aktivity s myslením, ktoré chcete merať, pozrite si nášho sprievodcu priraďovanie vzdelávacích aktivít k Bloomovej taxonómii.
Obmedzenia, ktoré môžu pretrvávať
Aj dobre navrhnutý pilotný projekt necháva niektoré veci nevyriešené:
- Malé čísla. Pilotný projekt ukazuje uskutočniteľnosť a smerovanie, nie to, aký veľký bude efekt v reálnom meradle.
- Pracovné prostredie. Ľudia môžu v novej úlohe dobre pracovať a stále ju nevyužívať, ak im ich manažér, nástroje alebo stimuly naznačujú opak.
- Načasovanie. Následné vyšetrenie po niekoľkých týždňoch neukazuje, čo zostane po šiestich mesiacoch.
- Súbežná zmena. Časť zlepšenia môžu vysvetliť aj iné zmeny v rovnakom období.
- Výber. Ľudia, ktorí sa prihlásili ako dobrovoľníci, sa môžu líšiť od ľudí, ktorým ponuku poskytujete.
Naplánujte pre ne samostatné opravy a informujte sponzorov, ktoré otázky pilotný projekt nevyriešil.
Často kladené otázky
Aký veľký by mal byť výcvikový pilot?
Dostatočne veľká na overenie, či je návrh praktické dodať a zmerať, a dostatočne malá na lacnú zmenu. Neexistuje jedno správne číslo. Nahláste veľkosť skupiny a akýkoľvek výsledok považujte za orientačný.
Potrebujem kontrolnú skupinu na vyhodnotenie tréningového programu?
Porovnávacia skupina posilňuje dôkazy, ale nie je to vždy uskutočniteľné alebo spravodlivé. Praktickou alternatívou je východisková hodnota plus postupné zavádzanie, kde podobná skupina začína neskôr.
Kedy by som mal merať prenos?
Keď ľudia budú mať čas a príležitosť uplatniť získané vedomosti v práci, dajte tomu aspoň niekoľko týždňov. Znovu zmerajte tú istú úlohu a opýtajte sa na prekážky, ktoré niekomu bránili v jej použití.
Je spokojnosť užitočným meradlom?
Je to užitočné na zlepšenie zážitku, ale nie je to dôkaz prenosu. Spojte to s výkonom pri novej úlohe.
Kde začať
Vyberte si jednu úlohu, na ktorej záleží, a napíšte rozhodnutie, ktoré bude podkladom pre pilotný projekt. Zaznamenajte, ako ju dnes vykonáva hŕstka ľudí, pomocou krátkej pracovnej ukážky alebo hodnoteného prípadu. Potom si pred začiatkom pilotného projektu napíšte kritériá rozhodovania a do diára si zarezervujte dátum následnej kontroly.
Ak chcete vidieť, ako by sa dala praktická štúdia spustiť naživo s vaším vlastným tímom a následne ju opätovne použiť vlastným tempom, preskúmajte AhaSlides.
