Un proiect pilot se încheie. Doisprezece persoane au participat, aproape toate au spus că a fost util, iar facilitatorul este mulțumit. Apoi, șeful operațiunilor pune o întrebare pertinentă: „Și-a făcut cineva treaba diferit?” Nimeni nu a măsurat modul în care lucrau oamenii înainte de proiectul pilot, nimeni nu i-a comparat cu nimeni altcineva, iar echipa și-a schimbat procesul în aceeași lună. Proiectul pilot a generat bunăvoință, nu dovezi.
Acesta este un scenariu ilustrativ, nu un caz documentat al unui client. Arată o modalitate frecventă prin care evaluarea programelor de instruire eșuează: proiectul pilot este derulat, dar nu a fost niciodată conceput pentru a răspunde la o întrebare.
Acest ghid este destinat șefilor departamentelor de formare și dezvoltare, designerilor instrucționali și managerilor de formare. Acesta acoperă cinci etape: definirea întrebării pilot, alegerea participanților și a indicatorilor de referință, înregistrarea parcursului de învățare, evaluarea performanței și transferului sarcinilor noi și stabilirea modului în care rezultatele vor afecta implementarea. Se încheie cu un șablon pe care îl puteți adapta și constrângerile care rămân.
Ce este un pilot de antrenament?
Un proiect pilot de instruire este o perioadă mică, limitată în timp, de testare a unui design de învățare înainte de a te angaja la scară largă. Sarcina sa este de a afla dacă designul este fezabil și ce merită urmărit, nu de a demonstra că funcționează peste tot.
Această distincție contează. Centrul Național pentru Sănătate Complementară și Integrativă din SUA descrie un studiu pilot ca fiind un test la scară mică al metodelor și procedurilor care urmează să fie utilizate la scară mai mare și avertizează că un studiu pilot nu are puterea de a răspunde la întrebări despre eficacitate, astfel încât orice efect pe care pare să-l arate este instabil (NCCIH, Studii pilot: Utilizări comune și utilizări greșite). Aceste îndrumări sunt scrise pentru cercetarea în domeniul sănătății, dar logica se menține. Un proiect pilot format din doisprezece persoane vă poate spune dacă puteți recruta, livra, măsura și monitoriza. Nu vă poate spune cu încredere cât de mare va fi efectul la nivelul întregii organizații.
Scurte
| Întrebare | Răspuns scurt |
|---|---|
| La ce este folosit un pilot? | Testarea ipotezelor de învățare și livrare înainte de scalare. |
| De ce ai nevoie înainte să înceapă? | O întrebare testabilă, o sarcină, o bază și criterii de decizie. |
| Ce se consideră dovadă de transfer? | Performanța la o sarcină nouă după expunerea la muncă, nu satisfacția. |
| Ai nevoie de un grup de control? | Nu întotdeauna. Un grup de comparație sau o implementare etapizată ajută atunci când este fezabilă și echitabilă. |
| Când stabiliți criteriile de decizie? | Înainte de a te uita la vreun rezultat. |
| Ce nu-ți poate spune pilotul? | Cât de mare va fi efectul la scară largă. |
1. Definiți întrebarea pilot
Începeți cu o întrebare la care se poate răspunde cu da sau nu, sau printr-un număr, și numiți decizia pe care o va lua aceasta.
O întrebare slabă: „Funcționează noul program de onboarding?” Una testabilă: „După reproiectarea programului de onboarding, pot noii angajați să gestioneze o escaladare standard a clienților fără ajutor și este proiectul pilot practic de implementat cu timpul de coaching pe care îl avem?”
Scrieți trei lucruri:
- Sarcina. Ce vor putea oamenii să facă ce nu puteau face sau nu făceau bine înainte?
- Decizia. Veți revizui designul, veți derula un alt proiect pilot sau veți implementa un proiect pe o scară mai largă?
- Presupunerile de învățare și livrare. Ce presupuneți despre condițiile preliminare, timpul, capacitatea de coaching și instrumentele pe care pilotul ar trebui să le testeze?
Dacă nu poți numi decizia, înseamnă că nu ești pregătit să derulezi proiectul pilot. Rezultatul va apărea fără ca nimeni să aștepte să acționeze în consecință.
2. Selectarea participanților și a măsurilor de referință
O linie de bază este o dovadă a modului în care oamenii îndeplinesc sarcina înainte de instruire. Fără ea, „îmbunătățirea” nu are cu ce să se compare.
Alegeți participanții în mod deliberat. Alegeți oameni care îndeplinesc sarcina reală și seamănă cu grupul căruia intenționați să-i lansați proiectul. Un proiect pilot cu doar cei mai entuziaști voluntari ai dumneavoastră va flata designul.
Capturați linia de bază. Folosește același tip de măsură pe care îl vei folosi ulterior, astfel încât cele două să poată fi comparate. Opțiunile includ un scurt eșantion de lucru, o observație structurată, o analiză a rezultatelor recente sau un caz evaluat. Înregistrează cine a fost inclus, câți au fost eligibili și când ai măsurat.
Gândește-te la o comparație. Cel mai puternic design compară persoanele care au participat la proiectul pilot cu persoane similare care nu au participat. Acest lucru nu este întotdeauna posibil sau corect, mai ales atunci când instruirea este necesară pentru siguranță sau conformitate. O implementare etapizată este o alternativă practică: un grup începe acum, un grup similar începe mai târziu, iar grupul ulterior servește drept comparație pentru primul. Oricare ar fi alegerea dvs., specificați în plan de ce este corect pentru cei implicați.
3. Prezentați și înregistrați parcursul de învățare
Dovezile sunt utile doar dacă știi ce s-a livrat. Păstrează o evidență clară a ceea ce s-a întâmplat, deoarece costul și efortul de livrare fac parte din ceea ce testează proiectul pilot.
Record:
- Pregătirea. Ce au făcut oamenii înainte de sesiuni și cât a durat?
- Practică. Ce cazuri sau exerciții au rezolvat și ce feedback au primit?
- Antrenor. Cine a antrenat, pentru cât timp și a fost în direct sau asincron?
- Schimbări operaționale. Orice altceva care s-a schimbat în timpul pilotului, cum ar fi un instrument nou, o schimbare de politică, o creștere a producției sezoniere sau o schimbare de manager.
- Configurația și costurile produsului. Configurația propriu-zisă pe care ai folosit-o, precum și timpul și banii necesari pentru livrare.
Ultimele două contează cel mai mult pentru decizia de implementare. Un design care funcționează doar cu un nivel de îndrumare pe care nu ți-l poți permite la scară largă te-a învățat ceva valoros, iar jurnalul este cel care demonstrează acest lucru.
4. Evaluarea performanței noii sarcini și a transferului
Evaluarea instruirii este adesea descrisă prin cele patru niveluri ale modelului Kirkpatrick: reacție, învățare, comportament și rezultate (Kirkpatrick Partners). Un pilot ar trebui să depășească primul nivel. Reacția, dacă oamenii au considerat-o utilă, se adună rapid, dar spune puțin despre dacă vor performa diferit.
Testează învățarea pe o sarcină nouă. Dați participanților un caz pe care nu l-au exersat și acordați-i un scor conform acelorași criterii pe care le-ați folosit la momentul inițial. O sarcină nouă arată dacă oamenii pot aplica ceea ce au învățat, nu dacă își amintesc un exemplu.
Urmărire după expunerea la locul de muncă. Transferul înseamnă aplicarea a ceea ce a fost învățat la locul de muncă și menținerea acestuia în timp. Recenzia adesea citată a lui Baldwin și Ford din 1988 definește transferul atât ca generalizarea materialului învățat la locul de muncă, cât și ca menținerea acestuia în timp și analizează modul în care designul instruirii, caracteristicile cursanților și mediul de lucru îl afectează.Baldwin și Ford, 1988Așadar, planificați o urmărire după ce oamenii au avut de lucru real, de exemplu câteva săptămâni mai târziu, și măsurați din nou aceeași sarcină.
Bariere record. Dacă cineva nu folosește noua abordare la locul de muncă, întrebați de ce. Răspunsul ar putea fi lipsa unui instrument, un manager care se așteaptă la metoda veche sau prea puțin timp. Acestea sunt constatări despre mediul de lucru, nu eșecuri ale cursantului.
Nu deduceți transferul din satisfacție. Un scor bun de feedback merită înregistrat. Nu arată că comportamentul s-a schimbat.
5. Decideți cum afectează rezultatele implementarea
Scrieți criteriile de decizie înainte de a analiza rezultatele. Altfel, este ușor să găsiți un motiv pentru a continua cu ceea ce vedeți.
O structură simplă:
| Dacă pilotul arată | "Atunci |
|---|---|
| Performanța sarcinii s-a îmbunătățit, transferul a fost reținut, livrarea a fost fezabilă | Planificați o implementare mai amplă și continuați să măsurați. |
| Performanța în sarcini s-a îmbunătățit, dar transferul a fost blocat de mediul de lucru | Repară bariera, apoi pornește un al doilea pilot. |
| Mici schimbări la noua sarcină | Revizuiți designul înainte de orice altă rulare. |
| Costul livrării sau timpul de pregătire nu au fost fezabile | Reproiectează modul în care este implementat, apoi pilotează din nou. |
Fii sincer cu privire la ceea ce poate susține un grup mic. Tratează numerele ca fiind indicative, raportează dimensiunea grupului și numitorul și evită dimensiunile efectelor sau garanțiile. Menționează ce alte schimbări au avut loc în același timp înainte de a acorda credit instruirii.
Un șablon de măsurare pilot
Ilustrativ. Un practician care efectuează această lucrare ar trebui să o revizuiască înainte de utilizare.
| Secțiune | Ce să notezi |
|---|---|
| Întrebare pilot | Întrebarea testabilă și decizia pe care o informează. |
| Sarcină | Noua sarcină pe care oamenii ar trebui să o îndeplinească și modul în care va fi punctată. |
| Participanții | Cine este inclus, câți au fost eligibili și orice grup de comparație. |
| De bază | Măsura, data și scorurile înainte de antrenament. |
| Călătoria de învățare | Pregătire, practică, coaching, timp și cost. |
| Modificări concomitente | Orice altceva s-a schimbat în timpul episodului pilot. |
| Rezultat al sarcinii noi | Scoruri la o sarcină neexersată în timpul pilotului. |
| Urmare | Momentul, cine a fost contactat și scorurile după expunerea la locul de muncă. |
| Bariere | Ce i-a împiedicat pe oameni să aplice ceea ce au învățat. |
| Criterii de decizie | Pragurile pe care le setați înainte de a analiza rezultatele. |
| Rezultat | Revizuire, reluare pilot sau implementare, și motive. |
Unde ajută livrarea interactivă
Formatele interactive se potrivesc etapei de practică a unui proiect pilot, deoarece fiecare persoană se angajează să dea un răspuns înainte de a-l vedea pe cel al grupului, ceea ce vă oferă o evidență a raționamentului, nu doar a prezenței. Un facilitator poate derula un caz în timp real, iar același caz poate fi utilizat în ritmul propriu pentru pregătire sau urmărire. AhaSlides acceptă învățarea interactivă și trecerea de la livrarea în timp real la cea în ritm propriu. Verificați orice funcție specifică de creare, feedback sau raportare pe care intenționați să o utilizați în raport cu propriul flux de lucru și tratați funcțiile de inteligență artificială, simulare și integrare ca fiind externe sau neconfirmate până când le-ați văzut funcționând. Pentru a alege între formate, consultați când să folosim învățarea adaptivă, interactivă și livePentru a potrivi activitățile cu gândirea pe care doriți să o măsurați, consultați ghidul nostru pentru potrivirea activităților de învățare cu taxonomia lui Bloom.
Constrângeri care pot rămâne
Chiar și un episod pilot bine conceput lasă unele lucruri nerezolvate:
- Numere mici. Un proiect pilot arată fezabilitatea și direcția, nu cât de mare va fi efectul la scară largă.
- Mediu de lucru. Oamenii pot avea performanțe bune la noua sarcină și totuși să nu o folosească la locul de muncă dacă managerul, instrumentele sau stimulentele lor indică contrariul.
- Sincronizare. O urmărire după câteva săptămâni nu arată ce rămâne după șase luni.
- Schimbare concomitentă. Alte schimbări din aceeași perioadă pot explica o parte din îmbunătățire.
- Selecţie. Persoanele care s-au oferit voluntari pot fi diferite de persoanele cărora le oferiți serviciile tale.
Planificați soluții separate pentru acestea și spuneți sponsorilor ce întrebări nu a răspuns pilotul.
Întrebări frecvente
Cât de mare ar trebui să fie un pilot de antrenament?
Suficient de mare pentru a testa dacă designul este practic de livrat și măsurat și suficient de mic pentru a fi modificat ieftin. Nu există un singur număr corect. Raportați dimensiunea grupului și tratați orice rezultat ca fiind orientativ.
Am nevoie de un grup de control pentru a evalua un program de instruire?
Un grup de comparație consolidează dovezile, dar nu este întotdeauna fezabil sau echitabil. O bază de referință plus o implementare etapizată, în care un grup similar începe ulterior, reprezintă o alternativă practică.
Când ar trebui să măsor transferul?
După ce oamenii au avut timp și oportunitatea să aplice la locul de muncă ceea ce au învățat, acordați-le cel puțin câteva săptămâni. Măsurați aceeași sarcină din nou și întrebați despre barierele care au împiedicat pe cineva să o folosească.
Este satisfacția o măsură utilă?
Este util pentru îmbunătățirea experienței, dar nu este o dovadă a transferului. Asociați-l cu performanța într-o sarcină nouă.
Unde să încep
Alegeți o sarcină importantă și notați decizia pe care o va lua în considerare proiectul pilot. Notați cum o îndeplinesc astăzi câțiva oameni, folosind un scurt exemplu de lucru sau un caz evaluat. Apoi, notați criteriile de decizie înainte de începerea proiectului pilot și programați data ulterioară în jurnal.
Pentru a vedea cum un caz practic ar putea fi desfășurat live cu propria echipă și reutilizat ulterior în ritmul propriu, explorează AhaSlides.
