Et pilotprosjekt avsluttes. Tolv personer deltok, nesten alle sa at det var nyttig, og tilretteleggeren er fornøyd. Så stiller driftslederen et rimelig spørsmål: «Var det noen som gjorde jobben sin annerledes?» Ingen målte hvordan folk jobbet før pilotprosjektet, ingen sammenlignet dem med noen, og teamet endret prosessen sin i samme måned. Pilotprosjektet produserte velvilje, ikke bevis.
Dette er et illustrerende scenario, ikke et dokumentert kundetilfelle. Det viser en vanlig måte evaluering av opplæringsprogrammer går galt på: pilotprosjektet kjøres, men det ble aldri utformet for å svare på et spørsmål.
Denne veiledningen er for ledere for læring og utvikling, instruksjonsdesignere og opplæringsansvarlige. Den dekker fem trinn: definere pilotspørsmålet, velge deltakere og baseline-mål, registrere læringsreisen, vurdere ny oppgaveutførelse og overføring, og bli enige om hvordan resultatene vil påvirke utrullingen. Den avsluttes med en mal du kan tilpasse og de begrensningene som gjenstår.
Hva er en treningspilot?
Et opplæringspilotprosjekt er en liten, tidsbegrenset kjøring av et læringsdesign før man forplikter seg til det i stor skala. Jobben er å finne ut om designet er gjennomførbart og hva det er verdt å forfølge, ikke å bevise at det fungerer overalt.
Dette skillet er viktig. Det amerikanske National Center for Complementary and Integrative Health beskriver en pilotstudie som en liten test av metodene og prosedyrene som skal brukes i større skala, og advarer om at en pilotstudie ikke har myndighet til å svare på spørsmål om effekt, så enhver effekt den ser ut til å vise er ustabil (NCCIH, pilotstudier: Vanlige bruksområder og misbruk). Denne veiledningen er skrevet for helseforskning, men logikken er fortsatt like viktig. Et pilotprosjekt med tolv personer kan fortelle deg om du kan rekruttere, levere, måle og følge opp. Det kan ikke med sikkerhet fortelle deg hvor stor effekten vil være på tvers av en hel organisasjon.
Kjappe fakta
| Spørsmål | Kort svar |
|---|---|
| Hva er en pilot til for? | Testing av lærings- og leveringsforutsetninger før skalering. |
| Hva trenger du før det starter? | Et testbart spørsmål, en oppgave, en grunnlinje og beslutningskriterier. |
| Hva teller som overføringsbevis? | Ytelse på en ny oppgave etter arbeidseksponering, ikke tilfredshet. |
| Trenger du en kontrollgruppe? | Ikke alltid. En sammenligningsgruppe eller en gradvis utrulling hjelper når det er gjennomførbart og rettferdig. |
| Når setter du beslutningskriteriene? | Før du ser på noen resultater. |
| Hva kan piloten ikke fortelle deg? | Hvor stor effekten vil være i stor skala. |
1. Definer pilotspørsmålet
Start med et spørsmål som kan besvares med ja eller nei, eller med et tall, og nevn hvilken avgjørelse det vil informere om.
Et svakt spørsmål: «Fungerer det nye onboarding-programmet?» Et testbart spørsmål: «Kan nyansatte håndtere en standard kundeeskalering uten hjelp etter den redesignede onboarding-prosessen, og er pilotprosjektet praktisk mulig å gjennomføre med den veiledningstiden vi har?»
Skriv ned tre ting:
- Oppgaven. Hva vil folk kunne gjøre som de ikke kunne gjøre, eller ikke gjorde bra, før?
- Avgjørelsen. Vil dere revidere designet, kjøre en ny pilot eller rulle ut den i større skala?
- Lærings- og leveringsforutsetningene. Hva antar du om forutsetninger, tid, veiledningskapasitet og verktøy som piloten bør teste?
Hvis du ikke kan navngi avgjørelsen, er du ikke klar til å kjøre pilotprosjektet. Resultatet vil komme uten at noen venter på å handle på det.
2. Velg deltakere og grunnlinjemål
En grunnlinje er bevis på hvordan folk utfører oppgaven før opplæringen. Uten den har «forbedret» ingenting å sammenlignes med.
Velg deltakere bevisst. Velg folk som gjør den virkelige oppgaven og ligner på gruppen du planlegger å rulle ut til. En pilot med kun dine mest entusiastiske frivillige vil passe godt til designet.
Fang opp grunnlinjen. Bruk samme type måleenhet som du vil bruke etterpå, slik at de to kan sammenlignes. Alternativer inkluderer et kort arbeidseksempel, en strukturert observasjon, en gjennomgang av nylige resultater eller en scoret case. Registrer hvem som ble inkludert, hvor mange som var kvalifiserte og når du målte.
Tenk på en sammenligning. Det sterkeste designet sammenligner personer som tok pilotprosjektet med lignende personer som ikke gjorde det. Det er ikke alltid mulig eller rettferdig, spesielt når opplæringen er nødvendig for sikkerhet eller samsvar. En faset utrulling er et praktisk alternativ: én gruppe starter nå, en lignende gruppe starter senere, og den senere gruppen fungerer som en sammenligning for den første. Uansett hva du velger, si i planen hvorfor det er rettferdig for de involverte.
3. Lever og registrer læringsreisen
Bevis er bare nyttig hvis du vet hva som ble levert. Hold en tydelig logg over hva som skjedde, fordi kostnaden og innsatsen ved levering er en del av det pilottesten gjør.
Ta opp:
- Forberedelse. Hva gjorde folk før øktene, og hvor lang tid tok det?
- Øve på. Hvilke caser eller øvelser jobbet de seg gjennom, og hvilken tilbakemelding fikk de?
- Coaching. Hvem trente, hvor lenge, og var det live eller asynkront?
- Driftsmessige endringer. Alt annet som endret seg i løpet av pilotperioden, for eksempel et nytt verktøy, en endring i policy, en sesongmessig rush eller et bytte av leder.
- Produktkonfigurasjon og kostnader. Det faktiske oppsettet du brukte, og tiden og pengene det tok å levere.
De to siste er viktigst for utrullingsbeslutningen. Et design som bare fungerer med et nivå av veiledning du ikke har råd til i stor skala, har lært deg noe verdifullt, og det er loggen som viser det.
4. Vurder ny oppgaveutførelse og overføring
Treningsevaluering beskrives ofte med de fire nivåene i Kirkpatrick-modellen: reaksjon, læring, atferd og resultater (Kirkpatrick Partners). En pilot bør nå utover det første nivået. Reaksjoner, om folk syntes det var nyttig, er raske å samle inn, men sier lite om hvorvidt de vil prestere annerledes.
Test læring på en ny oppgave. Gi deltakerne et case de ikke har øvd på, og gi det poeng med de samme kriteriene som du brukte ved oppstart. En ny oppgave viser om folk kan anvende det de lærte, ikke om de husker et eksempel.
Oppfølging etter arbeidseksponering. Overføring betyr å anvende det som er lært på jobben, og å opprettholde det over tid. Baldwin og Fords ofte siterte gjennomgang fra 1988 definerer overføring som både generalisering av lært materiale til jobben og vedlikehold av det over tid, og ser på hvordan opplæringsdesign, trainee-karakteristikker og arbeidsmiljøet påvirker det (Baldwin og Ford, 1988Så planlegg en oppfølging etter at folk har hatt ordentlig arbeid å gjøre, for eksempel noen uker senere, og mål den samme oppgaven på nytt.
Rekordbarrierer. Hvis noen ikke bruker den nye tilnærmingen på jobben, spør hvorfor. Svaret kan være et manglende verktøy, en leder som forventer den gamle måten, eller for lite tid. Dette er funn om arbeidsmiljøet, ikke elevens feil.
Ikke utled overføring fra tilfredshet. En god tilbakemeldingsscore er verdt å registrere. Den viser ikke at atferden har endret seg.
5. Bestem hvordan resultatene påvirker utrullingen
Skriv ned beslutningskriteriene før du ser på resultatene. Ellers er det lett å finne en grunn til å fortsette med det du ser.
En enkel struktur:
| Hvis piloten viser | Deretter |
|---|---|
| Oppgaveutførelsen forbedret, overføringen holdt, levering var gjennomførbar | Planlegg en bredere utrulling og fortsett å måle. |
| Oppgaveytelsen ble bedre, men overføringen ble blokkert av arbeidsmiljøet | Reparer barrieren, og kjør deretter en ny pilot. |
| Lite endringer i den nye oppgaven | Revider designet før videre kjøring. |
| Leveringskostnaden eller veiledningstiden var ikke gjennomførbar | Redesign hvordan det leveres, og test deretter på nytt. |
Vær ærlig om hva en liten gruppe kan støtte. Behandle tallene som veiledende, rapporter gruppestørrelse og nevner, og unngå effektstørrelser eller garantier. Oppgi hvilke andre endringer som skjedde samtidig før du gir godskrivning for opplæringen.
En mal for pilotmålinger
Illustrativt. En utøver som utfører dette arbeidet bør gjennomgå det før bruk.
| Seksjon | Hva man skal skrive ned |
|---|---|
| Pilotspørsmål | Det testbare spørsmålet og avgjørelsen det informerer om. |
| Oppgave | Den nye oppgaven folk skal utføre, og hvordan den vil bli poengberegnet. |
| Deltakere | Hvem er inkludert, hvor mange som var kvalifiserte og eventuell sammenligningsgruppe. |
| Baseline | Målet, datoen og resultatene før trening. |
| Læringsreise | Forberedelse, øvelse, veiledning, tid og kostnad. |
| Samtidige endringer | Alt annet som endret seg under pilotperioden. |
| Resultat av nytt oppgave | Poengsummer på en oppgave som ikke ble øvd på under pilotprosjektet. |
| Følge opp | Timing, hvem som ble nådd og poengsummer etter arbeidseksponering. |
| Barrierer | Hva hindret folk i å bruke lærdommen. |
| Beslutningskriterier | Terskelverdiene du setter før du gjennomgår resultatene. |
| Utfallet | Revider, piloter på nytt eller ruller ut, og hvorfor. |
Der interaktiv levering hjelper
Interaktive formater passer til øvingsfasen i en pilot fordi hver person forplikter seg til et svar før de ser gruppens, noe som gir deg en oversikt over resonnement i stedet for bare oppmøte. En tilrettelegger kan kjøre en case live, og den samme casen kan brukes i eget tempo til forberedelse eller oppfølging. AhaSlides støtter interaktiv læring og veksling mellom live og selvstendig levering. Sjekk eventuelle spesifikke redigerings-, tilbakemeldings- eller rapporteringsfunksjoner du planlegger å stole på mot din egen arbeidsflyt, og behandle AI-, simulerings- og integrasjonsfunksjoner som eksterne eller ubekreftede inntil du har sett dem fungere. For å velge mellom formater, se når man skal bruke adaptiv, interaktiv og live læringFor å matche aktiviteter med tankegangen du ønsker å måle, se vår veiledning til matche læringsaktiviteter med Blooms taksonomi.
Begrensninger som kan gjenstå
Selv en godt designet pilot lar noen ting være uløste:
- Små tall. En pilot viser gjennomførbarhet og retning, ikke hvor stor effekten vil være i stor skala.
- Arbeidsmiljø. Folk kan prestere bra på den nye oppgaven og fortsatt ikke bruke den på jobb hvis lederen, verktøyene eller insentiver peker i motsatt retning.
- Timing. En oppfølging etter noen uker viser ikke hva som gjenstår etter seks måneder.
- Samtidig endring. Andre endringer i samme periode kan forklare noe av forbedringen.
- Utvalg. Folk som har meldt seg frivillig kan være forskjellige fra de du stiller opp til.
Planlegg separate løsninger for disse, og fortell sponsorene hvilke spørsmål piloten ikke avklarte.
Ofte stilte spørsmål
Hvor stor bør en treningspilot være?
Stor nok til å teste om designet er praktisk å levere og måle, og liten nok til å endres billig. Det finnes ikke et enkelt riktig tall. Rapporter gruppestørrelsen og betrakt ethvert resultat som veiledende.
Trenger jeg en kontrollgruppe for å evaluere et treningsprogram?
En sammenligningsgruppe gjør bevisene sterkere, men det er ikke alltid gjennomførbart eller rettferdig. En baseline pluss en faset utrulling, der en lignende gruppe starter senere, er et praktisk alternativ.
Når bør jeg måle overføring?
Etter at folk har hatt tid og mulighet til å anvende læringen på jobb, så gi det minst noen uker. Mål den samme oppgaven på nytt, og spør om hindringene som hindret noen i å bruke den.
Er tilfredshet et nyttig mål?
Det er nyttig for å forbedre opplevelsen, men det er ikke bevis på overføring. Kombiner det med ytelse på en ny oppgave.
Hvor skal jeg starte
Velg én oppgave som er viktig, og skriv ned beslutningen piloten vil informere om. Registrer hvordan en håndfull personer utfører den i dag, ved hjelp av et kort arbeidseksempel eller en scoret case. Skriv deretter beslutningskriteriene dine før piloten starter, og book oppfølgingsdatoen i kalenderen.
For å se hvordan en øvingscase kan kjøres live med ditt eget team, og brukes om igjen i ditt eget tempo etterpå, kan du utforske AhaSlides.
