Een pilot is afgerond. Twaalf mensen hebben eraan deelgenomen, bijna allemaal gaven ze aan dat het nuttig was en de begeleider is tevreden. Dan stelt het hoofd van de operationele afdeling een terechte vraag: "Heeft iemand zijn werk anders gedaan?" Niemand heeft gemeten hoe mensen vóór de pilot werkten, niemand heeft ze met anderen vergeleken, en het team heeft zijn werkwijze binnen dezelfde maand aangepast. De pilot heeft goodwill opgeleverd, geen bewijs.
Dit is een illustratief scenario, geen gedocumenteerd klantgeval. Het laat een veelvoorkomende valkuil zien bij de evaluatie van trainingsprogramma's: de pilot wordt uitgevoerd, maar was nooit ontworpen om een vraag te beantwoorden.
Deze handleiding is bedoeld voor leidinggevenden op het gebied van leren en ontwikkeling, instructieontwerpers en trainingsmanagers. De handleiding beschrijft vijf stappen: het definiëren van de pilotvraag, het selecteren van deelnemers en het vaststellen van de beginsituatie, het vastleggen van het leerproces, het beoordelen van de prestaties en de transfer van nieuwe taken, en het bepalen van de wijze waarop de resultaten de uitrol zullen beïnvloeden. De handleiding sluit af met een sjabloon dat u kunt aanpassen en een overzicht van de resterende beperkingen.
Wat is een piloot in opleiding?
Een pilotproject is een kleinschalige, tijdelijke test van een leerontwerp voordat je het op grote schaal implementeert. Het doel is om te bepalen of het ontwerp haalbaar is en of het de moeite waard is om verder te ontwikkelen, niet om te bewijzen dat het overal werkt.
Dat onderscheid is belangrijk. Het Amerikaanse National Center for Complementary and Integrative Health omschrijft een pilotstudie als een kleinschalige test van de methoden en procedures die op grotere schaal zullen worden gebruikt, en waarschuwt dat een pilotstudie niet voldoende statistische power heeft om vragen over de effectiviteit te beantwoorden, waardoor elk effect dat het lijkt aan te tonen onstabiel is.NCCIH, Pilotstudies: Algemeen gebruik en misbruikDie richtlijn is weliswaar geschreven voor gezondheidsonderzoek, maar de logica is ook hier van toepassing. Een pilot met twaalf personen kan je vertellen of je deelnemers kunt werven, het project kunt uitvoeren, de resultaten kunt meten en de follow-up kunt verzorgen. Het kan je echter niet met zekerheid vertellen hoe groot het effect zal zijn binnen een hele organisatie.
Faktenüberblick
| Vraag | Kort antwoord |
|---|---|
| Waar dient een piloot voor? | Het testen van leer- en leveringsaannames vóór opschaling. |
| Wat heb je nodig voordat het begint? | Een toetsbare vraag, een taak, een basislijn en beslissingscriteria. |
| Wat geldt als bewijs van overdracht? | Prestaties bij een nieuwe taak na blootstelling aan de werksituatie, niet tevredenheid. |
| Heeft u een controlegroep nodig? | Niet altijd. Een vergelijkingsgroep of gefaseerde uitrol is nuttig wanneer dit haalbaar en eerlijk is. |
| Wanneer stel je de beslissingscriteria vast? | Voordat je de resultaten bekijkt. |
| Wat kan de piloot je niet vertellen? | Hoe groot het effect op grote schaal zal zijn. |
1. Definieer de pilotvraag
Begin met een vraag die met ja of nee, of met een getal, beantwoord kan worden, en benoem de beslissing die erdoor beïnvloed wordt.
Een zwakke vraag: "Werkt het nieuwe onboardingprogramma?" Een toetsbare vraag: "Kunnen nieuwe medewerkers na het herziene onboardingprogramma een standaard klantescalatie zelfstandig afhandelen, en is de pilot haalbaar binnen de beschikbare coachingstijd?"
Schrijf drie dingen op:
- De taak. Wat zullen mensen nu kunnen doen wat ze voorheen niet konden, of niet goed konden?
- De beslissing. Gaat u het ontwerp herzien, een nieuwe pilot uitvoeren of het product op grotere schaal uitrollen?
- De aannames met betrekking tot leren en levering. Welke aannames heb je met betrekking tot de randvoorwaarden, de beschikbare tijd, de coachingcapaciteit en de instrumenten die de piloot moet testen?
Als je de beslissing niet kunt benoemen, ben je niet klaar om de pilot uit te voeren. Het resultaat zal zich aandienen zonder dat iemand erop zit te wachten om ernaar te handelen.
2. Deelnemers en basismetingen selecteren
Een basislijn geeft aan hoe mensen de taak uitvoeren vóór de training. Zonder een basislijn kan "verbeterd" met niets vergeleken worden.
Kies de deelnemers weloverwogen uit. Kies mensen die de daadwerkelijke taak uitvoeren en die representatief zijn voor de groep waarvoor je het project wilt uitrollen. Een pilot met alleen je meest enthousiaste vrijwilligers zal het ontwerp ten goede komen.
Leg de basislijn vast. Gebruik dezelfde meetmethode die u later zult gebruiken, zodat de twee vergeleken kunnen worden. Mogelijkheden zijn onder andere een kort werkvoorbeeld, een gestructureerde observatie, een beoordeling van recente resultaten of een gescoorde casus. Noteer wie er betrokken was, hoeveel mensen in aanmerking kwamen en wanneer u de meting hebt uitgevoerd.
Denk eens aan een vergelijking. Het meest robuuste ontwerp vergelijkt mensen die aan de pilot hebben deelgenomen met vergelijkbare mensen die dat niet hebben gedaan. Dat is echter niet altijd mogelijk of eerlijk, vooral niet wanneer de training nodig is voor de veiligheid of om aan regelgeving te voldoen. Een gefaseerde uitrol is een praktisch alternatief: de ene groep begint nu, een vergelijkbare groep volgt later, en die latere groep dient als referentiegroep voor de eerste. Wat je ook kiest, leg in het plan uit waarom het eerlijk is voor alle betrokkenen.
3. Het leertraject uitvoeren en vastleggen
Bewijsmateriaal is alleen bruikbaar als je weet wat er is geleverd. Houd een duidelijk logboek bij van wat er is gebeurd, want de kosten en inspanningen van de levering maken deel uit van wat de pilot test.
Record:
- Voorbereiding. Wat deden de mensen voorafgaand aan de sessies, en hoe lang duurden die?
- Praktijk. Aan welke casussen of oefeningen hebben ze gewerkt en welke feedback hebben ze gekregen?
- Coaching. Wie gaf de coaching, hoe lang duurde deze en was het live of asynchroon?
- Operationele wijzigingen. Alles wat er verder tijdens de pilot is veranderd, zoals een nieuw hulpmiddel, een beleidswijziging, een seizoensdrukte of een wisseling van manager.
- Productconfiguratie en kosten. De daadwerkelijke configuratie die u hebt gebruikt, en de tijd en kosten die het kostte om deze te realiseren.
De laatste twee zijn het belangrijkst voor de beslissing over de uitrol. Een ontwerp dat alleen werkt met een niveau van begeleiding dat je je op grote schaal niet kunt veroorloven, heeft je iets waardevols geleerd, en het logboek laat dat zien.
4. Beoordeel de prestaties bij de nieuwe taak en de overdracht ervan.
De evaluatie van trainingen wordt vaak beschreven aan de hand van de vier niveaus van het Kirkpatrick-model: reactie, leren, gedrag en resultaten (Kirkpatrick PartnersEen pilot moet verder kijken dan het eerste niveau. Reacties, of mensen het nuttig vonden, zijn snel te verzamelen, maar zeggen weinig over de vraag of ze hun gedrag zullen veranderen.
Test je leerproces met een nieuwe taak. Geef de deelnemers een casus die ze niet eerder hebben geoefend en beoordeel deze met dezelfde criteria als bij de nulmeting. Een nieuwe taak laat zien of mensen kunnen toepassen wat ze hebben geleerd, niet of ze zich een voorbeeld herinneren.
Vervolgonderzoek na blootstelling op de werkplek. Transfer betekent het toepassen van wat is geleerd op de werkplek en het behouden ervan in de loop van de tijd. Het vaak geciteerde onderzoek van Baldwin en Ford uit 1988 definieert transfer als zowel de generalisatie van geleerd materiaal naar de werkplek als het behoud ervan in de loop van de tijd, en bekijkt hoe het trainingsontwerp, de kenmerken van de cursist en de werkomgeving hierop van invloed zijn.Baldwin en Ford, 1988Plan daarom een vervolgmeting nadat de mensen daadwerkelijk aan het werk zijn geweest, bijvoorbeeld een paar weken later, en meet dezelfde taak opnieuw.
Recordbarrières. Als iemand de nieuwe aanpak niet op het werk gebruikt, vraag dan waarom. Het antwoord kan zijn dat er een hulpmiddel ontbreekt, dat de manager vasthoudt aan de oude werkwijze of dat er te weinig tijd is. Dit zijn bevindingen over de werkomgeving, geen tekortkomingen van de medewerker.
Leid geen overdracht af uit tevredenheid. Een goede feedbackscore is het waard om te noteren. Het bewijst echter niet dat het gedrag is veranderd.
5. Bepaal hoe de resultaten de uitrol beïnvloeden.
Formuleer de beslissingscriteria voordat je naar de resultaten kijkt. Anders is het makkelijk om een reden te vinden om door te gaan met wat je ziet.
Een eenvoudige structuur:
| Als de piloot laat zien | Neem dan |
|---|---|
| De taakuitvoering verbeterde, de overdracht verliep soepel en de bevalling was haalbaar. | Plan een bredere uitrol en blijf de resultaten meten. |
| De taakuitvoering verbeterde, maar de overdracht van kennis werd belemmerd door de werkomgeving. | Repareer de barrière en laat vervolgens een tweede piloot vliegen. |
| Er is weinig veranderd aan de nieuwe taak. | Herzie het ontwerp voordat u verdergaat met de test. |
| De bezorgkosten of de coachingstijd waren niet haalbaar. | Herzie de manier waarop het wordt aangeboden en voer vervolgens opnieuw een pilot uit. |
Wees eerlijk over wat een kleine groep kan bereiken. Beschouw de aantallen als indicatief, vermeld de groepsgrootte en de noemer, en vermijd effectgroottes of garanties. Vermeld welke andere veranderingen zich tegelijkertijd hebben voorgedaan voordat u de training als resultaat toeschrijft.
Een sjabloon voor proefmetingen
Ter illustratie. Een behandelaar die dit werk uitvoert, dient dit vóór gebruik te controleren.
| sectie | Wat moet ik opschrijven? |
|---|---|
| Pilotvraag | De toetsbare vraag en de beslissing die daaruit voortvloeit. |
| Taak | De nieuwe taak die mensen moeten uitvoeren, en hoe deze beoordeeld zal worden. |
| Deelnemers | Wie is er opgenomen, hoeveel mensen kwamen in aanmerking en is er een vergelijkingsgroep? |
| Baseline | De meting, de datum en de scores vóór de training. |
| Leerreis | Voorbereiding, oefening, coaching, tijd en kosten. |
| Gelijktijdige veranderingen | Zijn er nog andere wijzigingen die tijdens de pilotaflevering zijn doorgevoerd? |
| Nieuw taakresultaat | Scores behaald op een taak die niet geoefend is tijdens de pilot. |
| Follow-up | Het tijdstip, wie er bereikt werd en de scores na blootstelling op de werkplek. |
| Barrières | Wat weerhield mensen ervan om de opgedane kennis toe te passen? |
| Beslissingscriteria | De drempelwaarden die u instelt voordat u de resultaten bekijkt. |
| Resultaat | Herzien, opnieuw testen of uitrollen, en waarom. |
Waar interactieve levering helpt
Interactieve formats zijn geschikt voor de oefenfase van een pilotproject, omdat elke deelnemer zich vastlegt op een antwoord voordat hij of zij de antwoorden van de groep ziet. Dit levert een verslag op van de redenering in plaats van alleen de aanwezigheid. Een facilitator kan een casus live behandelen, en dezelfde casus kan ook in eigen tempo worden gebruikt ter voorbereiding of als nabespreking. AhaSlides ondersteunt interactief leren en de overgang tussen live en zelfstudie. Controleer of specifieke auteurs-, feedback- of rapportagefuncties die u wilt gebruiken, aansluiten op uw eigen workflow. Beschouw AI-, simulatie- en integratiefuncties als extern of onbevestigd totdat u ze in de praktijk hebt gezien. Zie voor meer informatie over de verschillende formats. Wanneer moet je adaptief, interactief en live leren inzetten?Om activiteiten af te stemmen op het denkproces dat u wilt meten, raadpleegt u onze handleiding. Leeractiviteiten afstemmen op de taxonomie van Bloom..
Mogelijke beperkingen die kunnen blijven bestaan
Zelfs een goed ontworpen pilot laat sommige zaken onopgelost:
- Kleine aantallen. Een pilotproject toont de haalbaarheid en de richting aan, niet hoe groot het effect op grotere schaal zal zijn.
- Werkomgeving. Mensen kunnen een nieuwe taak goed uitvoeren en deze toch niet op hun werk gebruiken als hun manager, hulpmiddelen of stimulansen anders uitwijzen.
- Timing. Een vervolgonderzoek na een paar weken laat niet zien wat er na zes maanden overblijft.
- Gelijktijdige verandering. Andere veranderingen in dezelfde periode kunnen een deel van de verbetering verklaren.
- Selectie. De mensen die zich als vrijwilliger hebben aangemeld, kunnen verschillen van de mensen aan wie je de service verleent.
Plan afzonderlijke oplossingen voor deze punten en laat de sponsors weten welke vragen tijdens de pilot niet beantwoord zijn.
Veelgestelde vragen
Hoe groot moet een lespiloot zijn?
Groot genoeg om te testen of het ontwerp praktisch uitvoerbaar en meetbaar is, en klein genoeg om goedkoop aan te passen. Er is geen eenduidig juist getal. Rapporteer de groepsgrootte en beschouw elk resultaat als indicatief.
Heb ik een controlegroep nodig om een trainingsprogramma te evalueren?
Een controlegroep versterkt het bewijs, maar is niet altijd haalbaar of eerlijk. Een nulmeting in combinatie met een gefaseerde uitrol, waarbij een vergelijkbare groep later start, is een praktisch alternatief.
Wanneer moet ik de overdracht meten?
Nadat mensen de tijd en gelegenheid hebben gehad om het geleerde in de praktijk toe te passen, geef het dan minstens een paar weken de tijd. Meet dezelfde taak opnieuw en vraag naar de belemmeringen die mensen ervan weerhielden om het te gebruiken.
Is tevredenheid een bruikbare maatstaf?
Het is nuttig om de ervaring te verbeteren, maar het is geen bewijs van transfer. Combineer het met prestaties op een nieuwe taak.
Waar te beginnen
Kies één belangrijke taak en beschrijf de beslissing die de pilot zal onderbouwen. Leg vast hoe een handvol mensen deze taak momenteel uitvoert, aan de hand van een kort werkvoorbeeld of een beoordeelde casus. Stel vervolgens de beslissingscriteria vast voordat de pilot begint en noteer de datum voor de vervolgevaluatie in de agenda.
Om te zien hoe een praktijkcase live met je eigen team kan worden uitgevoerd en daarna in eigen tempo opnieuw kan worden gebruikt, kun je AhaSlides bekijken.
