Ett pilotprojekt avslutas. Tolv personer deltog, nästan alla sa att det var användbart och handledaren är nöjd. Sedan ställer verksamhetschefen en rimlig fråga: "Gjorde någon sitt jobb annorlunda?" Ingen mätte hur folk arbetade före pilotprojektet, ingen jämförde dem med någon, och teamet ändrade sin process under samma månad. Pilotprojektet gav goodwill, inte bevis.
Detta är ett illustrativt scenario, inte ett dokumenterat kundfall. Det visar ett vanligt sätt som utvärdering av utbildningsprogram går fel på: pilotprojektet körs, men det utformades aldrig för att besvara en fråga.
Den här guiden riktar sig till chefer för utbildning och utveckling, pedagogiska designers och utbildningschefer. Den omfattar fem steg: definiera pilotfrågan, välja deltagare och baslinjemått, dokumentera lärresan, bedöma nya uppgifters prestationer och överföring, och komma överens om hur resultaten kommer att påverka utrullningen. Den avslutas med en mall som du kan anpassa och de begränsningar som kvarstår.
Vad är en utbildningspilot?
Ett pilotutbildningsprogram är en liten, tidsbegränsad omgång av en lärandedesign innan man genomför den i stor skala. Dess uppgift är att ta reda på om designen är genomförbar och vad den är värd att sträva efter, inte att bevisa att den fungerar överallt.
Den distinktionen är viktig. Det amerikanska National Center for Complementary and Integrative Health beskriver en pilotstudie som ett småskaligt test av metoder och procedurer som ska användas i större skala, och varnar för att en pilotstudie inte har befogenheter att besvara frågor om effekt, så vilken effekt som helst som verkar visa är instabil (NCCIH, Pilotstudier: Vanliga användningsområden och missbruk). Den vägledningen är skriven för hälsoforskning, men logiken fortsätter. Ett pilotprojekt med tolv personer kan avgöra om du kan rekrytera, leverera, mäta och följa upp. Det kan inte med säkerhet säga hur stor effekten kommer att bli över en hel organisation.
Snabb fakta
| Fråga | Kort svar |
|---|---|
| Vad är en pilot till för? | Testa lärande- och leveransantaganden före skalning. |
| Vad behöver du innan det börjar? | En testbar fråga, en uppgift, en baslinje och beslutskriterier. |
| Vad räknas som bevis för överföring? | Prestation på en ny uppgift efter arbetserfarenhet, inte tillfredsställelse. |
| Behöver du en kontrollgrupp? | Inte alltid. En jämförelsegrupp eller en stegvis utrullning hjälper när det är genomförbart och rättvist. |
| När sätter ni beslutskriterierna? | Innan du tittar på några resultat. |
| Vad kan piloten inte berätta för dig? | Hur stor effekten kommer att bli i stor skala. |
1. Definiera pilotfrågan
Börja med en fråga som kan besvaras med ja eller nej, eller med en siffra, och namnge det beslut den kommer att påverka.
En svag fråga: "Fungerar det nya onboardingprogrammet?" En testbar fråga: "Kan nya medarbetare hantera en vanlig kundeskalering utan hjälp efter den omgjorda onboardingen, och är pilotprojektet praktiskt genomförbart med den coachningstid vi har?"
Skriv ner tre saker:
- Uppgiften. Vad kommer människor att kunna göra som de inte kunde göra, eller inte gjorde bra, tidigare?
- Beslutet. Kommer ni att revidera designen, köra ytterligare ett pilotprojekt eller lansera den i större utsträckning?
- Antagandena om lärande och leverans. Vad antar du om förutsättningar, tid, coachningskapacitet och verktyg som piloten bör testa?
Om du inte kan namnge beslutet är du inte redo att genomföra pilotprojektet. Resultatet kommer utan att någon väntar på att agera på det.
2. Välj deltagare och baslinjemått
En baslinje är ett bevis på hur människor utför uppgiften före träningen. Utan den har "förbättrad" ingenting att jämföra med.
Välj deltagare medvetet. Välj personer som gör den verkliga uppgiften och liknar den grupp du planerar att lansera för. Ett pilotprojekt med endast dina mest entusiastiska volontärer kommer att smickra designen.
Fånga baslinjen. Använd samma typ av mått som du kommer att använda efteråt, så att de två kan jämföras. Alternativen inkluderar ett kort arbetsprov, en strukturerad observation, en granskning av aktuella resultat eller ett poängsatt fall. Registrera vilka som inkluderades, hur många som var berättigade och när du mätte.
Tänk på en jämförelse. Den starkaste designen jämför personer som genomförde pilotprojektet med liknande personer som inte gjorde det. Det är inte alltid möjligt eller rättvist, särskilt när utbildningen behövs för säkerhet eller efterlevnad. En etappvis utrullning är ett praktiskt alternativ: en grupp börjar nu, en liknande grupp börjar senare, och den senare gruppen fungerar som en jämförelse för den första. Oavsett vad du väljer, ange i planen varför det är rättvist för de inblandade.
3. Leverera och dokumentera lärresan
Bevis är bara användbara om du vet vad som levererades. För en tydlig logg över vad som hände, eftersom kostnaden och ansträngningen för leveransen är en del av det som pilottestet gör.
Spela in:
- Förberedelse. Vad gjorde folk innan sessionerna, och hur lång tid tog det?
- Öva. Vilka fall eller övningar arbetade de igenom, och vilken feedback fick de?
- Coachning. Vem coachade, hur länge, och var det live eller asynkront?
- Operativa förändringar. Allt annat som förändrats under pilotprojektet, såsom ett nytt verktyg, en policyändring, en säsongsbetonad rusning eller ett byte av chef.
- Produktkonfiguration och kostnader. Den faktiska installationen du använde, och den tid och de pengar det tog att leverera.
De två sista är viktigast för beslutet om utrullning. En design som bara fungerar med en nivå av coachning som du inte har råd med i stor skala har lärt dig något värdefullt, och det är loggen som visar det.
4. Bedöm den nya uppgiftens prestanda och överföring
Utbildningsutvärdering beskrivs ofta med Kirkpatrick-modellens fyra nivåer: reaktion, lärande, beteende och resultat (Kirkpatrick Partners). En pilot bör nå bortom den första nivån. Reaktion, huruvida folk tyckte att den var användbar, är snabb att samla in men säger lite om huruvida de kommer att prestera annorlunda.
Testa inlärningen på en ny uppgift. Ge deltagarna ett fall som de inte har övat på och poängsätt det med samma kriterier som du använde vid början. En ny uppgift visar om deltagarna kan tillämpa det de lärt sig, inte om de kommer ihåg ett exempel.
Uppföljning efter arbetsplatsexponering. Transfer innebär att tillämpa det som lärts in på jobbet och att bibehålla det över tid. Baldwin och Fords ofta citerade översikt från 1988 definierar transfer som både generalisering av lärt material till jobbet och dess bibehållande över tid, och tittar på hur utbildningsdesign, praktikantens egenskaper och arbetsmiljön påverkar det (Baldwin och Ford, 1988Planera därför en uppföljning efter att folk har haft riktigt arbete att göra, till exempel några veckor senare, och mät samma uppgift igen.
Rekordhinder. Om någon inte använder det nya tillvägagångssättet på jobbet, fråga varför. Svaret kan vara ett saknat verktyg, en chef som förväntar sig det gamla sättet eller för lite tid. Det här handlar om resultat om arbetsmiljön, inte om elevens misslyckanden.
Slut inte överföring från tillfredsställelse. En bra feedbackpoäng är värd att dokumentera. Den visar inte att beteendet förändrats.
5. Bestäm hur resultaten påverkar utrullningen
Skriv ner beslutskriterierna innan du tittar på resultaten. Annars är det lätt att hitta en anledning att fortsätta med det du ser.
En enkel struktur:
| Om piloten visar | Sedan |
|---|---|
| Uppgiftsprestanda förbättrades, överföringen hölls, leveransen var genomförbar | Planera en bredare utrullning och fortsätt mäta. |
| Uppgiftsprestanda förbättrades, men överföringen blockerades av arbetsmiljön | Fixa barriären och kör sedan ett andra pilotprojekt. |
| Lite förändring på den nya uppgiften | Revidera designen innan ytterligare körning. |
| Leveranskostnaden eller coachningstiden var inte rimlig | Omdesigna hur det levereras, och genomför sedan ett nytt pilotprojekt. |
Var ärlig om vad en liten grupp kan stödja. Behandla siffrorna som vägledande, rapportera gruppstorlek och nämnare och undvik effektstorlekar eller garantier. Ange vilka andra förändringar som inträffade samtidigt innan du tillgodoräknar utbildningen.
En pilotmätningsmall
Illustrativt. En yrkesverksam person som utför detta arbete bör granska det före användning.
| § | Vad man ska skriva ner |
|---|---|
| Pilotfråga | Den testbara frågan och det beslut den leder till. |
| uppgift | Den nya uppgiften som folk ska utföra, och hur den kommer att poängsättas. |
| Deltagare | Vilka ingår, hur många var berättigade och eventuell jämförelsegrupp. |
| Baslinje | Måttet, datumet och poängen före träning. |
| Lärande resa | Förberedelse, övning, coachning, tid och kostnad. |
| Samtidiga förändringar | Något annat som ändrades under pilotprojektet. |
| Resultat av nytt uppdrag | Poäng på en uppgift som inte övades under pilotprojektet. |
| Uppföljning | Tidpunkt, vem som nåddes och poäng efter arbetsexponering. |
| Hinder | Vad hindrade folk från att tillämpa lärdomen. |
| Beslutskriterium | De tröskelvärden du sätter innan du granskar resultaten. |
| Resultat | Revidera, pilotera igen eller lansera, och varför. |
Där interaktiv leverans hjälper
Interaktiva format passar övningsfasen av ett pilotprojekt eftersom varje person förbinder sig till ett svar innan de ser gruppens, vilket ger dig en registrering av resonemang snarare än bara närvaro. En handledare kan driva ett fall live, och samma fall kan användas i egen takt för förberedelser eller uppföljning. AhaSlides stöder interaktivt lärande och växling mellan live och självstudier. Kontrollera eventuella specifika författar-, feedback- eller rapporteringsfunktioner som du planerar att förlita dig på mot ditt eget arbetsflöde och behandla AI-, simulerings- och integrationsfunktioner som externa eller obekräftade tills du har sett dem fungera. För att välja mellan format, se när man ska använda adaptiv, interaktiv och liveinlärningFör att matcha aktiviteter med det tänkande du vill mäta, se vår guide till matcha läraktiviteter med Blooms taxonomi.
Begränsningar som kan finnas kvar
Även en väl utformad pilot lämnar vissa saker olösta:
- Små siffror. Ett pilotprojekt visar genomförbarhet och riktning, inte hur stor effekten kommer att bli i stor skala.
- Arbetsmiljö. Människor kan prestera bra på den nya uppgiften och ändå inte använda den på jobbet om deras chef, verktyg eller incitament pekar åt andra hållet.
- Timing. En uppföljning efter några veckor visar inte vad som återstår efter sex månader.
- Samtidig förändring. Andra förändringar under samma period kan förklara en del av förbättringen.
- Urval. Personer som volontärarbetat kan skilja sig från de personer du distribuerar till.
Planera separata åtgärder för dessa och berätta för sponsorerna vilka frågor pilotprojektet inte löste.
Vanliga frågor och svar
Hur stor bör en utbildningspilot vara?
Tillräckligt stor för att testa om designen är praktisk att leverera och mäta, och tillräckligt liten för att kunna ändras billigt. Det finns inget enda korrekt tal. Rapportera gruppstorleken och behandla eventuella resultat som vägledande.
Behöver jag en kontrollgrupp för att utvärdera ett träningsprogram?
En jämförelsegrupp stärker bevisen, men det är inte alltid genomförbart eller rättvist. En baslinje plus en etappvis utrullning, där en liknande grupp startar senare, är ett praktiskt alternativ.
När ska jag mäta överföring?
Efter att folk har haft tid och möjlighet att tillämpa lärdomarna i arbetet, ge det minst några veckor. Mät samma uppgift igen och fråga om hindren som hindrade någon från att använda den.
Är tillfredsställelse ett användbart mått?
Det är användbart för att förbättra upplevelsen, men det är inte ett bevis på överföring. Kombinera det med prestanda i en ny uppgift.
Var ska man börja
Välj en uppgift som är viktig och skriv ner det beslut som pilotprojektet kommer att ge underlag för. Registrera hur en handfull personer utför den idag med hjälp av ett kort arbetsprov eller ett poängsatt fall. Skriv sedan ner dina beslutskriterier innan pilotprojektet börjar och boka in uppföljningsdatumet i kalendern.
För att se hur ett övningsfall kan köras live med ditt eget team och återanvändas i din egen takt efteråt, utforska AhaSlides.
