Et pilotprojekt slutter. Tolv personer deltog, næsten alle sagde, at det var nyttigt, og facilitatoren var tilfreds. Så stiller driftslederen et fair spørgsmål: "Var der nogen, der udførte deres arbejde anderledes?" Ingen målte, hvordan folk arbejdede før pilotprojektet, ingen sammenlignede dem med nogen, og teamet ændrede sin proces i samme måned. Pilotprojektet producerede goodwill, ikke beviser.
Dette er et illustrativt scenarie, ikke en dokumenteret kundecase. Det viser en almindelig måde, hvorpå evaluering af træningsprogrammer går galt: pilotprojektet køres, men det blev aldrig designet til at besvare et spørgsmål.
Denne vejledning er til ledere af L&D, undervisningsdesignere og træningsledere. Den dækker fem trin: definer pilotspørgsmålet, vælg deltagere og baseline-mål, registrering af læringsrejsen, vurder den nye opgaveudførelse og overførsel, og aftal, hvordan resultaterne vil påvirke udrulningen. Den afsluttes med en skabelon, du kan tilpasse, og de resterende begrænsninger.
Hvad er en træningspilot?
Et træningspilotprojekt er en lille, tidsbegrænset kørsel af et læringsdesign, før man forpligter sig til det i stor skala. Dets opgave er at finde ud af, om designet er gennemførligt, og hvad det er værd at forfølge, ikke at bevise, at det virker overalt.
Den sondring er vigtig. Det amerikanske National Center for Complementary and Integrative Health beskriver et pilotstudie som en mindre test af de metoder og procedurer, der skal bruges i større skala, og advarer om, at et pilotstudie ikke har tilstrækkelig kompetence til at besvare spørgsmål om effekt, så enhver effekt, det tilsyneladende viser, er ustabil (NCCIH, Pilotstudier: Almindelige anvendelser og misbrug). Den vejledning er skrevet til sundhedsforskning, men logikken fortsætter. Et pilotprojekt med tolv personer kan fortælle dig, om du kan rekruttere, levere, måle og følge op. Det kan ikke med sikkerhed fortælle dig, hvor stor effekten vil være på tværs af en hel organisation.
hurtige fakta
| Spørgsmål | Kort svar |
|---|---|
| Hvad er en pilot til for? | Test af lærings- og leveringsantagelser før skalering. |
| Hvad har du brug for, før det starter? | Et testbart spørgsmål, en opgave, en basislinje og beslutningskriterier. |
| Hvad tæller som bevis for overførsel? | Præstation på en ny opgave efter arbejdserfaring, ikke tilfredshed. |
| Har du brug for en kontrolgruppe? | Ikke altid. En sammenligningsgruppe eller en gradvis udrulning hjælper, når det er muligt og retfærdigt. |
| Hvornår fastsætter du beslutningskriterierne? | Før du ser på nogen resultater. |
| Hvad kan piloten ikke fortælle dig? | Hvor stor effekten vil være i stor skala. |
1. Definer pilotspørgsmålet
Start med et spørgsmål, der kan besvares med ja eller nej, eller med et tal, og navngiv den beslutning, det vil informere om.
Et svagt spørgsmål: "Virker det nye onboardingprogram?" Et testbart spørgsmål: "Kan nye medarbejdere efter den redesignede onboarding håndtere en standard kundeeskalering uden hjælp, og er pilotprojektet praktisk muligt at gennemføre med den coachingtid, vi har?"
Skriv tre ting ned:
- Opgaven. Hvad vil folk være i stand til at gøre, som de ikke kunne gøre, eller ikke gjorde godt, før?
- Beslutningen. Vil I revidere designet, køre endnu et pilotprojekt eller udrulle det mere bredt?
- Lærings- og leveringsforudsætningerne. Hvad antager du om forudsætninger, tid, coachingkapacitet og værktøjer, som piloten skal teste?
Hvis du ikke kan navngive beslutningen, er du ikke klar til at køre pilotprojektet. Resultatet vil komme uden at nogen venter på at handle på det.
2. Udvælg deltagere og baseline-målinger
En baseline er et bevis på, hvordan folk udfører opgaven før træningen. Uden den har "forbedret" intet at sammenligne med.
Vælg deltagere bevidst. Vælg folk, der udfører den rigtige opgave og ligner den gruppe, du planlægger at udrulle til. Et pilotprojekt med kun dine mest entusiastiske frivillige vil være et godt valg.
Indfang basislinjen. Brug den samme type måleenhed, som du vil bruge bagefter, så de to kan sammenlignes. Mulighederne omfatter en kort arbejdsprøve, en struktureret observation, en gennemgang af nylige output eller en scoret case. Registrer, hvem der blev inkluderet, hvor mange der var berettigede, og hvornår du målte.
Tænk over en sammenligning. Det stærkeste design sammenligner personer, der tog pilotprojektet, med lignende personer, der ikke gjorde det. Det er ikke altid muligt eller retfærdigt, især når træningen er nødvendig af sikkerhedsmæssige årsager eller af hensyn til overholdelse af reglerne. En gradvis udrulning er et praktisk alternativ: én gruppe starter nu, en lignende gruppe starter senere, og den senere gruppe fungerer som sammenligning for den første. Uanset hvad du vælger, skal du angive i planen, hvorfor det er retfærdigt for de involverede.
3. Lever og registrer læringsrejsen
Beviser er kun nyttige, hvis du ved, hvad der blev leveret. Hold styr på, hvad der skete, fordi omkostningerne og indsatsen ved leveringen er en del af det, pilotprojektet tester.
Optage:
- Forberedelse. Hvad gjorde folk før sessionerne, og hvor lang tid tog det?
- Øve sig. Hvilke cases eller øvelser arbejdede de igennem, og hvilken feedback fik de?
- Coaching. Hvem coachede, hvor længe, og var det live eller asynkront?
- Driftsmæssige ændringer. Alt andet, der ændrede sig under pilotprojektet, såsom et nyt værktøj, en ændring af politik, en sæsonbestemt travlhed eller et lederskifte.
- Produktkonfiguration og omkostninger. Den faktiske opsætning du brugte, og den tid og de penge det tog at levere.
De sidste to er vigtigst for beslutningen om udrulning. Et design, der kun fungerer med et niveau af coaching, som du ikke har råd til i stor skala, har lært dig noget værdifuldt, og det er loggen, der viser det.
4. Vurder den nye opgaves udførelse og overførsel
Træningsevaluering beskrives ofte med Kirkpatrick-modellens fire niveauer: reaktion, læring, adfærd og resultater (Kirkpatrick PartnersEn pilot bør nå ud over det første niveau. Reaktion, om folk fandt det nyttigt, er hurtig at indsamle, men siger ikke meget om, hvorvidt de vil præstere anderledes.
Test læring på en ny opgave. Giv deltagerne en case, de ikke har øvet sig på, og bedøm den med de samme kriterier, som du brugte ved udgangspunktet. En ny opgave viser, om deltagerne kan anvende det, de har lært, ikke om de husker et eksempel.
Opfølgning efter arbejdseksponering. Transfer betyder at anvende det lærte på jobbet og at fastholde det over tid. Baldwin og Fords ofte citerede anmeldelse fra 1988 definerer transfer som både generalisering af det lærte materiale til jobbet og dets vedligeholdelse over tid, og ser på, hvordan træningsdesign, praktikantens karakteristika og arbejdsmiljøet påvirker det (Baldwin og Ford, 1988Så planlæg en opfølgning, når folk har haft rigtigt arbejde at udføre, for eksempel et par uger senere, og mål den samme opgave igen.
Optag barrierer. Hvis nogen ikke bruger den nye tilgang på arbejdet, så spørg hvorfor. Svaret kan være et manglende værktøj, en leder, der forventer den gamle metode, eller for lidt tid. Dette er resultater om arbejdsmiljøet, ikke den lærendes fejl.
Udled ikke overførsel fra tilfredshed. En god feedbackscore er værd at registrere. Den viser ikke, at adfærd har ændret sig.
5. Beslut, hvordan resultaterne påvirker udrulningen
Skriv beslutningskriterierne ned, før du ser på resultaterne. Ellers er det nemt at finde en grund til at fortsætte med det, du ser.
En simpel struktur:
| Hvis piloten viser | Derefter |
|---|---|
| Opgaveudførelsen forbedredes, overførsel holdt, levering var mulig | Planlæg en bredere udrulning og fortsæt med at måle. |
| Opgaveudførelsen blev forbedret, men overførslen blev blokeret af arbejdsmiljøet | Reparer barrieren, og kør derefter et andet pilotprojekt. |
| Lille ændring i den nye opgave | Revider designet før yderligere kørsel. |
| Leveringsomkostninger eller coachingtid var ikke overkommelig | Redesign, hvordan det leveres, og afprøv derefter igen. |
Vær ærlig omkring, hvad en lille gruppe kan understøtte. Betragt tallene som vejledende, angiv gruppestørrelse og nævner, og undgå effektstørrelser eller garantier. Angiv, hvilke andre ændringer der skete samtidig, før du krediterer træningen.
En skabelon til pilotmåling
Illustrativt. En praktiserende læge, der udfører dette arbejde, bør gennemgå det før brug.
| Sektion | Hvad skal man skrive ned |
|---|---|
| Pilotspørgsmål | Det testbare spørgsmål og den beslutning, det informerer om. |
| Opgaver | Den nye opgave, folk skal udføre, og hvordan den vil blive scoret. |
| Deltagere | Hvem er inkluderet, hvor mange var berettigede, og eventuelle sammenligningsgrupper. |
| Baseline | Målingen, datoen og scorerne før træning. |
| Læringsrejse | Forberedelse, øvelse, coaching, tid og omkostninger. |
| Samtidige ændringer | Alt andet, der ændrede sig under pilotprojektet. |
| Resultat af nyt opgave | Point på en opgave, der ikke blev øvet under pilotprojektet. |
| Opfølgning | Timing, hvem der blev kontaktet, og scorer efter arbejdseksponering. |
| Barrierer | Hvad forhindrede folk i at anvende læringen. |
| Beslutningskriterier | De tærskler, du sætter, før du gennemgår resultaterne. |
| Resultat | Revider, afprøv igen eller udrul, og hvorfor. |
Hvor interaktiv levering hjælper
Interaktive formater passer til øvelsesfasen af et pilotprojekt, fordi hver person forpligter sig til et svar, før de ser gruppens svar, hvilket giver dig en registrering af ræsonnementet i stedet for kun fremmøde. En facilitator kan køre en case live, og den samme case kan bruges i eget tempo til forberedelse eller opfølgning. AhaSlides understøtter interaktiv læring og skift mellem live og selvstændig levering. Tjek enhver specifik forfatter-, feedback- eller rapporteringsfunktion, du planlægger at stole på, i forhold til din egen arbejdsgang, og behandl AI-, simulerings- og integrationsfunktioner som eksterne eller ubekræftede, indtil du har set dem fungere. For at vælge mellem formater, se Hvornår skal man bruge adaptiv, interaktiv og live læringFor at matche aktiviteter med den tænkning, du vil måle, kan du se vores guide til Matching af læringsaktiviteter til Blooms taksonomi.
Begrænsninger, der kan forblive
Selv en veldesignet pilot lader nogle ting være uafklarede:
- Små tal. Et pilotprojekt viser gennemførlighed og retning, ikke hvor stor effekten vil være i stor skala.
- Arbejdsmiljø. Folk kan klare sig godt på den nye opgave og stadig ikke bruge den på arbejdet, hvis deres leder, værktøjer eller incitamenter peger i den anden retning.
- Timing. En opfølgning efter et par uger viser ikke, hvad der er tilbage efter seks måneder.
- Samtidig ændring. Andre ændringer i samme periode kan forklare noget af forbedringen.
- Udvælgelse. Folk, der har meldt sig frivilligt, kan være forskellige fra dem, du udveksler opgaver med.
Planlæg separate løsninger til disse, og fortæl sponsorerne, hvilke spørgsmål pilotprojektet ikke afklarede.
Ofte stillede spørgsmål
Hvor stor skal en træningspilot være?
Stor nok til at teste, om designet er praktisk muligt at levere og måle, og lille nok til at ændre det billigt. Der findes ikke et enkelt korrekt tal. Rapporter gruppestørrelsen, og behandl ethvert resultat som vejledende.
Har jeg brug for en kontrolgruppe for at evaluere et træningsprogram?
En sammenligningsgruppe styrker evidensen, men det er ikke altid muligt eller retfærdigt. En baseline plus en faset udrulning, hvor en lignende gruppe starter senere, er et praktisk alternativ.
Hvornår skal jeg måle overførsel?
Når folk har haft tid og mulighed for at anvende læringen i arbejdet, så giv det mindst et par uger. Mål den samme opgave igen, og spørg om de barrierer, der forhindrede nogen i at bruge den.
Er tilfredshed et brugbart målepunkt?
Det er nyttigt til at forbedre oplevelsen, men det er ikke bevis på overførsel. Kombiner det med præstation på en ny opgave.
Hvor skal man begynde
Vælg én opgave, der er vigtig, og skriv den beslutning ned, som pilotprojektet vil informere om. Registrer, hvordan en håndfuld mennesker udfører opgaven i dag, ved hjælp af en kort arbejdsprøve eller en scoret case. Skriv derefter dine beslutningskriterier ned, inden pilotprojektet begynder, og book opfølgningsdatoen i kalenderen.
For at se, hvordan en øvelsescase kan køre live med dit eget team og genbruges i dit eget tempo bagefter, kan du udforske AhaSlides.
