Pilotní projekt končí. Zúčastnilo se ho dvanáct lidí, téměř všichni uvedli, že projekt byl užitečný, a facilitátor je spokojený. Pak vedoucí provozu položí oprávněnou otázku: „Dělal někdo svou práci jinak?“ Nikdo před pilotním projektem neměřil, jak lidé pracovali, nikdo je s nikým neporovnával a tým ve stejném měsíci změnil svůj postup. Pilotní projekt vyvolal pozitivní reakci, nikoli důkazy.
Toto je ilustrativní scénář, nikoli zdokumentovaný případ zákazníka. Ukazuje běžný způsob, jakým se hodnocení školicích programů pokazí: pilotní projekt je spuštěn, ale nikdy nebyl navržen tak, aby odpověděl na otázku.
Tato příručka je určena pro vedoucí vzdělávání a rozvoje, instruktážní designéry a manažery školení. Zahrnuje pět kroků: definování pilotní otázky, výběr účastníků a základních měřítek, zaznamenání průběhu učení, posouzení výkonu nových úkolů a jejich přenosu a dohoda o tom, jak výsledky ovlivní zavádění. Na konci je šablona, kterou si můžete upravit, a zbývající omezení.
Co je to cvičný pilot?
Pilotní trénink je krátký, časově omezený běh výukového návrhu, než se k němu zavážete ve velkém měřítku. Jeho úkolem je zjistit, zda je návrh proveditelný a co stojí za to sledovat, ne dokázat, že funguje všude.
Toto rozlišení je důležité. Americké Národní centrum pro doplňkovou a integrativní zdravotní péči popisuje pilotní studii jako testování metod a postupů v malém měřítku, které se mají použít ve větším měřítku, a varuje, že pilotní studie není dostatečně schopna odpovědět na otázky týkající se účinnosti, takže jakýkoli účinek, který se zdá být prokázán, je nestabilní (NCCIH, Pilotní studie: Běžné použití a zneužití). Tyto pokyny jsou určeny pro výzkum v oblasti zdraví, ale logika je stále stejná. Pilotní projekt dvanácti lidí vám může říct, zda dokážete provést nábor, realizaci, měření a následnou kontrolu. Nemůže vám však s jistotou říct, jak velký bude dopad v celé organizaci.
Rychlá fakta
| Otázka | Stručná odpověď |
|---|---|
| K čemu je pilot? | Testování předpokladů učení a dodání před škálováním. |
| Co potřebujete, než to začne? | Testovatelná otázka, úkol, výchozí stav a rozhodovací kritéria. |
| Co se považuje za důkaz o převodu? | Výkon v novém úkolu po pracovní zkušenosti, nikoli spokojenost. |
| Potřebujete kontrolní skupinu? | Ne vždy. Srovnávací skupina nebo postupné zavádění pomáhá, pokud je to proveditelné a spravedlivé. |
| Kdy stanovíte kritéria pro rozhodování? | Než se podíváte na jakékoli výsledky. |
| Co vám pilot nemůže říct? | Jak velký bude efekt v daném měřítku. |
1. Definujte pilotní otázku
Začněte otázkou, na kterou lze odpovědět ano nebo ne, případně číslem, a pojmenujte rozhodnutí, k němuž bude vést.
Slabá otázka: „Funguje nový onboardingový program?“ Testovatelná otázka: „Zvládnou noví zaměstnanci po přepracovaném onboardingu standardní eskalaci zákazníka bez pomoci a je pilotní program praktický s ohledem na čas na koučování, který máme k dispozici?“
Napište si tři věci:
- Úkol. Co budou lidé schopni dělat, co dříve nedokázali nebo nedělali dobře?
- Rozhodnutí. Přepracujete návrh, spustíte další pilotní projekt, nebo jej rozšíříte?
- Předpoklady učení a realizace. Co předpokládáte ohledně předpokladů, času, koučovacích kapacit a nástrojů, které by měl pilotní projekt otestovat?
Pokud nedokážete pojmenovat rozhodnutí, nejste připraveni spustit pilotní projekt. Výsledek se dostaví, aniž by na něj někdo čekal.
2. Výběr účastníků a základních opatření
Výchozí hodnota je důkazem toho, jak lidé plní úkol před školením. Bez ní se „vylepšení“ nemá s čím srovnávat.
Účastníky vybírejte záměrně. Vyberte si lidi, kteří plní skutečný úkol a podobají se skupině, pro kterou plánujete projekt spustit. Pilotní projekt, v němž budou působit pouze vaši nejnadšenější dobrovolníci, bude návrhu lichotit.
Zachyťte základní linii. Použijte stejný druh měření, jaký použijete později, aby bylo možné oba porovnat. Možnosti zahrnují krátký pracovní vzorek, strukturované pozorování, přehled nedávných výstupů nebo skórovaný případ. Zaznamenejte, kdo byl zahrnut, kolik z nich splňovalo podmínky a kdy jste měření provedli.
Zamyslete se nad srovnáním. Nejsilnější návrh porovnává lidi, kteří se pilotního projektu zúčastnili, s podobnými lidmi, kteří se ho neúčastnili. To není vždy možné nebo spravedlivé, zvláště pokud je školení nutné z důvodu bezpečnosti nebo dodržování předpisů. Praktickou alternativou je postupné zavádění: jedna skupina začne nyní, podobná skupina začne později a pozdější skupina slouží jako srovnání s první. Ať už si vyberete cokoli, v plánu uveďte, proč je to spravedlivé pro zúčastněné.
3. Předejte a zaznamenejte proces učení
Důkazy jsou užitečné pouze tehdy, pokud víte, co bylo dodáno. Veďte si přehledný záznam o tom, co se stalo, protože náklady a úsilí spojené s dodáním jsou součástí toho, co pilotní projekt testuje.
Záznam:
- Příprava. Co lidé dělali před sezeními a jak dlouho to trvalo?
- Praxe. Které případy nebo cvičení řešili a jakou zpětnou vazbu dostali?
- Koučování. Kdo koučoval, jak dlouho a bylo to živé nebo asynchronní?
- Provozní změny. Cokoli jiného, co se během pilotního projektu změnilo, například nový nástroj, změna zásad, sezónní shon nebo změna manažera.
- Konfigurace produktu a náklady. Skutečné nastavení, které jste použili, a čas a peníze vynaložené na jeho dodání.
Poslední dva faktory jsou pro rozhodnutí o zavedení nejdůležitější. Návrh, který funguje pouze s úrovní koučování, kterou si ve velkém měřítku nemůžete dovolit, vás naučil něco cenného a záznam je to, co to ukazuje.
4. Posouzení výkonu nových úkolů a jejich převedení
Hodnocení školení je často popisováno pomocí čtyř úrovní Kirkpatrickova modelu: reakce, učení, chování a výsledky (Kirkpatrick Partners). Pilotní projekt by měl dosáhnout i za hranice první úrovně. Reakce, zda lidé projekt považovali za užitečný, se shromažďují rychle, ale málo vypovídají o tom, zda si projekt povede jinak.
Otestujte si učení na novém úkolu. Zadejte účastníkům případ, který si neprocvičovali, a ohodnoťte ho podle stejných kritérií, jaká jste použili na začátku. Nový úkol ukazuje, zda lidé dokáží aplikovat to, co se naučili, nikoli zda si příklad pamatují.
Následná opatření po expozici na pracovišti. Přenos znamená aplikaci toho, co se člověk naučil, v práci a jeho udržování v průběhu času. Často citovaná studie Baldwina a Forda z roku 1988 definuje přenos jako zobecnění naučeného materiálu na danou práci a jeho udržování v průběhu času a zabývá se tím, jak jej ovlivňuje design školení, charakteristiky účastníků školení a pracovní prostředí.Baldwin a Ford, 1988). Naplánujte si tedy následnou kontrolu poté, co lidé odvedou skutečnou práci, například za několik týdnů, a znovu změřte stejný úkol.
Rekordní bariéry. Pokud někdo v práci nepoužívá nový přístup, zeptejte se proč. Odpovědí může být chybějící nástroj, manažer, který očekává starý způsob, nebo příliš málo času. Jde o zjištění o pracovním prostředí, nikoli o selhání studenta.
Neodvozujte přenos ze spokojenosti. Dobré skóre zpětné vazby stojí za zaznamenání. Neukazuje, že se chování změnilo.
5. Rozhodněte, jak výsledky ovlivní zavedení
Než se podíváte na výsledky, zapište si kritéria pro rozhodování. Jinak je snadné najít důvod, proč pokračovat s čímkoli, co vidíte.
Jednoduchá struktura:
| Pokud se pilot ukáže | Pak |
|---|---|
| Plnění úkolů se zlepšilo, převod byl zajištěn, dodání bylo proveditelné | Naplánujte širší zavedení a průběžně měřte. |
| Výkon úkolů se zlepšil, ale přenos byl blokován pracovním prostředím. | Opravte bariéru a pak spusťte druhý pilotní projekt. |
| Malá změna v novém úkolu | Před dalším spuštěním návrh zkontrolujte. |
| Cena doručení nebo doba koučinku nebyly funkční | Přepracujte způsob doručování a pak znovu pilotní test. |
Buďte upřímní ohledně toho, co může malá skupina zvládnout. Čísla berte jako orientační, uveďte velikost skupiny a jmenovatele a vyhněte se velikostem efektu nebo zárukám. Než školení připíšete k zápočtu, uveďte, které další změny proběhly současně.
Šablona pilotního měření
Ilustrativní příklad. Odborník, který tuto práci provádí, by si ji měl před použitím prohlédnout.
| Sekce | Co si zapsat |
|---|---|
| Pilotní otázka | Testovatelná otázka a rozhodnutí, které informuje. |
| Úkol | Nový úkol, který by lidé měli plnit, a jak bude hodnocen. |
| Účastníci | Kdo je zahrnut, kolik lidí bylo způsobilých a jaká je srovnávací skupina. |
| Výchozí stav | Míra, datum a skóre před tréninkem. |
| Cesta učení | Příprava, trénink, koučování, čas a náklady. |
| Souběžné změny | Cokoli dalšího, co se změnilo během pilotního dílu. |
| Výsledek nového úkolu | Skóre za úkol, který nebyl během pilotního projektu procvičován. |
| Následovat | Načasování, koho se dotkla práce, a skóre po pracovní expozici. |
| Bariéry | Co lidem bránilo v uplatňování získaných znalostí. |
| Rozhodovací kritéria | Prahové hodnoty, které jste nastavili před kontrolou výsledků. |
| Výsledek | Revidovat, znovu pilotně spustit nebo spustit a proč. |
Kde pomáhá interaktivní výuka
Interaktivní formáty se hodí pro nácvik pilotního projektu, protože každý člověk se zaváže k odpovědi předtím, než se setká s odpovědí skupiny, což vám poskytne záznam o zdůvodnění, nikoli pouze o účasti. Facilitátor může spustit případ živě a stejný případ lze použít vlastním tempem pro přípravu nebo následnou práci. AhaSlides podporuje interaktivní učení a přepínání mezi živým a vlastním tempem. Zkontrolujte všechny konkrétní funkce pro tvorbu, zpětnou vazbu nebo reporting, na které se chcete spolehnout, oproti svému vlastnímu pracovnímu postupu a zacházejte s funkcemi umělé inteligence, simulace a integrace jako s externími nebo nepotvrzenými, dokud je neuvidíte fungovat. Chcete-li si vybrat mezi formáty, podívejte se na Kdy použít adaptivní, interaktivní a živé učeníChcete-li přizpůsobit aktivity myšlení, které chcete měřit, podívejte se na našeho průvodce přiřazování vzdělávacích aktivit k Bloomově taxonomii.
Omezení, která mohou přetrvávat
I dobře navržený pilotní projekt nechává některé věci nevyřešené:
- Malá čísla. Pilotní projekt ukazuje proveditelnost a směr, nikoliv to, jak velký bude efekt v reálném měřítku.
- Pracovní prostředí. Lidé mohou v novém úkolu odvádět dobré výkony a přesto jej v práci nevyužívat, pokud jim jejich manažer, nástroje nebo pobídky sdělují opak.
- Načasování. Následné vyšetření po několika týdnech neukáže, co zbývá po šesti měsících.
- Souběžná změna. Část zlepšení mohou vysvětlit i další změny ve stejném období.
- Výběr. Lidé, kteří se přihlásili jako dobrovolníci, se mohou lišit od lidí, kterým svěřujete své služby.
Naplánujte pro ně samostatné opravy a sdělte sponzorům, které otázky pilotní projekt nevyřešil.
Často kladené otázky
Jak velký by měl být cvičný pilot?
Dostatečně velká, aby se otestovalo, zda je návrh praktické dodat a změřit, a dostatečně malá, aby se dala levně změnit. Neexistuje jediné správné číslo. Uveďte velikost skupiny a jakýkoli výsledek považujte za orientační.
Potřebuji kontrolní skupinu k vyhodnocení školicího programu?
Srovnávací skupina sice důkazy posiluje, ale ne vždy je to proveditelné nebo spravedlivé. Praktickou alternativou je základní situace a postupné zavádění, kdy podobná skupina začíná později.
Kdy mám měřit transfer?
Poté, co lidé budou mít čas a příležitost aplikovat získané znalosti v práci, dejte tomu alespoň několik týdnů. Změřte stejný úkol znovu a zeptejte se na překážky, které někomu bránily v jeho použití.
Je spokojenost užitečným měřítkem?
Je to užitečné pro zlepšení zkušenosti, ale není to důkaz přenosu. Spojte to s výkonem u nového úkolu.
Kde začít
Vyberte si jeden úkol, na kterém záleží, a zapište si rozhodnutí, které pilotní projekt podpoří. Zaznamenejte, jak ho dnes plní hrstka lidí, pomocí krátkého pracovního vzorku nebo hodnoceného případu. Poté si před zahájením pilotního projektu zapište kritéria pro rozhodování a do diáře si zarezervujte datum následné kontroly.
Chcete-li vidět, jak by se dala cvičná případová studie spustit živě s vaším vlastním týmem a následně znovu použít vlastním tempem, prozkoumejte AhaSlides.
