Pilot projekt završava. Sudjelovalo je dvanaest ljudi, gotovo svi su rekli da je bio koristan i da je voditelj zadovoljan. Zatim voditelj operacija postavlja opravdano pitanje: "Je li itko radio svoj posao drugačije?" Nitko nije mjerio kako su ljudi radili prije pilot projekta, nitko ih nije ni s kim uspoređivao, a tim je promijenio svoj proces u istom mjesecu. Pilot projekt je pokazao dobru volju, a ne dokaze.
Ovo je ilustrativan scenarij, a ne dokumentirani slučaj korisnika. Pokazuje uobičajen način na koji evaluacija programa obuke krene po zlu: pilot-projekt se provodi, ali nikada nije osmišljen da odgovori na pitanje.
Ovaj vodič namijenjen je voditeljima obrazovanja i razvoja, dizajnerima instrukcija i voditeljima obuke. Obuhvaća pet koraka: definiranje pilotnog pitanja, odabir sudionika i osnovnih mjera, bilježenje puta učenja, procjenu izvedbe novih zadataka i prijenosa te dogovor o tome kako će rezultati utjecati na implementaciju. Završava predloškom koji možete prilagoditi i ograničenjima koja preostaju.
Što je pilot za obuku?
Pilot program za obuku je malo, vremenski ograničeno provođenje dizajna učenja prije nego što se odlučite za njegovu primjenu u većem opsegu. Njegov je zadatak utvrditi je li dizajn izvediv i što se isplati slijediti, a ne dokazati da funkcionira svugdje.
Ta je razlika važna. Američki Nacionalni centar za komplementarnu i integrativnu zdravstvenu zaštitu opisuje pilot studiju kao testiranje metoda i postupaka u malom opsegu koji će se koristiti u većem opsegu i upozorava da pilot studija nije osposobljena za odgovaranje na pitanja o učinkovitosti, pa je svaki učinak koji se čini da pokazuje nestabilan (NCCIH, Pilotne studije: Uobičajene upotrebe i zloupotrebe). Te su smjernice napisane za zdravstvena istraživanja, ali logika se prenosi. Pilot-projekt od dvanaest ljudi može vam reći možete li regrutirati, provesti, mjeriti i pratiti. Ne može vam s pouzdanjem reći koliki će biti učinak na cijelu organizaciju.
Brze činjenice
| Pitanje | Kratak odgovor |
|---|---|
| Čemu služi pilot? | Testiranje pretpostavki o učenju i isporuci prije skaliranja. |
| Što vam je potrebno prije nego što počne? | Pitanje koje se može provjeriti, zadatak, početna vrijednost i kriteriji odlučivanja. |
| Što se smatra dokazom o prijenosu? | Učinkovitost na novom zadatku nakon izloženosti radu, a ne zadovoljstvo. |
| Trebate li kontrolnu skupinu? | Ne uvijek. Usporedna skupina ili postupno uvođenje pomažu kada je to izvedivo i pravedno. |
| Kada postavljate kriterije za odlučivanje? | Prije nego što pogledate bilo kakve rezultate. |
| Što vam pilot ne smije reći? | Koliki će biti učinak u određenoj mjeri. |
1. Definirajte pilot pitanje
Započnite s pitanjem na koje se može odgovoriti s da ili ne, ili brojem, i navedite odluku koju će ono donijeti.
Slabo pitanje: "Funkcionira li novi program uvođenja u posao?" Pitanje koje se može testirati: "Mogu li novi zaposlenici nakon redizajniranog programa uvođenja u posao sami riješiti standardnu eskalaciju klijenata i je li pilotni program praktičan za provedbu s obzirom na vrijeme koje imamo na raspolaganju za coaching?"
Zapišite tri stvari:
- Zadatak. Što će ljudi moći učiniti što prije nisu mogli ili nisu dobro radili?
- Odluka. Hoćete li revidirati dizajn, pokrenuti još jedan pilot-projekt ili ga proširiti?
- Pretpostavke učenja i izvedbe. Što pretpostavljate o preduvjetima, vremenu, trenerskim kapacitetima i alatima koje bi pilot trebao testirati?
Ako ne možete imenovati odluku, niste spremni za provođenje pilot-projekta. Rezultat će stići, a nitko neće čekati da djeluje na temelju njega.
2. Odaberite sudionike i osnovne mjere
Osnovna vrijednost je dokaz o tome kako ljudi izvršavaju zadatak prije obuke. Bez nje se "poboljšano" nema s čime usporediti.
Namjerno birajte sudionike. Odaberite ljude koji obavljaju pravi zadatak i nalikuju skupini kojoj planirate pristupiti. Pilot projekt samo s vašim najentuzijastičnijim volonterima laskat će dizajnu.
Zabilježite osnovnu liniju. Koristite istu vrstu mjere koju ćete koristiti kasnije, kako bi se te dvije mjere mogle usporediti. Mogućnosti uključuju kratki uzorak rada, strukturirano promatranje, pregled nedavnih rezultata ili bodovani slučaj. Zabilježite tko je bio uključen, koliko ih je ispunjavalo uvjete i kada ste mjerili.
Razmislite o usporedbi. Najjači dizajn uspoređuje ljude koji su sudjelovali u pilot-projektu sa sličnim ljudima koji nisu. To nije uvijek moguće ili pošteno, posebno kada je obuka potrebna radi sigurnosti ili usklađenosti. Postupno uvođenje je praktična alternativa: jedna grupa počinje sada, slična grupa počinje kasnije, a kasnija grupa služi kao usporedba za prvu. Što god odaberete, u planu navedite zašto je to pošteno za uključene.
3. Izvršite i zabilježite proces učenja
Dokazi su korisni samo ako znate što je isporučeno. Vodite jednostavan zapisnik o tome što se dogodilo, jer su troškovi i trud isporuke dio onoga što pilot testira.
Snimiti:
- Priprema. Što su ljudi radili prije sesija i koliko je to trajalo?
- Praksa. Koje su slučajeve ili vježbe obradili i kakve su povratne informacije dobili?
- Treniranje. Tko je trenirao, koliko dugo i je li to bilo uživo ili asinkrono?
- Operativne promjene. Bilo što drugo što se promijenilo tijekom pilot-projekta, poput novog alata, promjene pravila, sezonske gužve ili promjene menadžera.
- Konfiguracija i troškovi proizvoda. Stvarna postavka koju ste koristili te vrijeme i novac potrebni za isporuku.
Posljednja dva su najvažnija za odluku o implementaciji. Dizajn koji funkcionira samo s razinom podučavanja koju si ne možete priuštiti u velikom opsegu naučio vas je nešto vrijedno, a zapisnik je ono što to pokazuje.
4. Procijenite uspješnost novog zadatka i prijenos
Evaluacija obuke često se opisuje s četiri razine Kirkpatrickovog modela: reakcija, učenje, ponašanje i rezultati (Kirkpatrick Partners). Pilot projekt trebao bi dosegnuti dalje od prve razine. Reakcije, jesu li ljudi smatrali projekt korisnim, brzo se prikupljaju, ali malo govore o tome hoće li se rezultati razlikovati.
Testirajte učenje na novom zadatku. Dajte sudionicima slučaj koji nisu vježbali i ocjenite ga istim kriterijima koje ste koristili na početku. Novi zadatak pokazuje mogu li ljudi primijeniti ono što su naučili, a ne sjećaju li se primjera.
Praćenje nakon izloženosti na radu. Transfer znači primjenu onoga što je naučeno na poslu i održavanje toga tijekom vremena. Često citirani pregled Baldwina i Forda iz 1988. definira transfer kao generalizaciju naučenog gradiva na posao i njegovo održavanje tijekom vremena te promatra kako na to utječu dizajn obuke, karakteristike polaznika i radno okruženje.Baldwin i Ford, 1988.). Stoga planirajte praćenje nakon što ljudi odrade pravi posao, na primjer nekoliko tjedana kasnije, i ponovno izmjerite isti zadatak.
Rekordne barijere. Ako netko ne koristi novi pristup na poslu, pitajte zašto. Odgovor bi mogao biti alat koji nedostaje, menadžer koji očekuje stari način ili premalo vremena. To su nalazi o radnom okruženju, a ne neuspjesi učenika.
Ne zaključujte prijenos iz zadovoljstva. Vrijedi zabilježiti dobru ocjenu povratne informacije. Ona ne pokazuje da se ponašanje promijenilo.
5. Odlučite kako rezultati utječu na implementaciju
Zapišite kriterije odlučivanja prije nego što pogledate rezultate. Inače je lako pronaći razlog za nastavak s onim što vidite.
Jednostavna struktura:
| Ako pilot pokaže | Tada |
|---|---|
| Izvedba zadataka poboljšana, prijenos zadržan, isporuka izvediva | Planirajte šire uvođenje i nastavite mjeriti. |
| Izvedba zadataka se poboljšala, ali je prijenos bio blokiran radnim okruženjem | Popravi barijeru, a zatim pokreni drugi pilot. |
| Mala promjena na novom zadatku | Prije daljnjeg pokretanja, pregledajte dizajn. |
| Trošak dostave ili vrijeme treniranja nije bilo isplativo | Preoblikujte način isporuke, a zatim ponovno provedite pilot-projekt. |
Budite iskreni o tome što mala grupa može podržati. Brojke tretirajte kao indikativne, navedite veličinu grupe i nazivnik te izbjegavajte veličine učinka ili jamstva. Navedite koje su se druge promjene dogodile u isto vrijeme prije nego što pripišete zasluge za obuku.
Predložak pilotnog mjerenja
Ilustrativno. Praktičar koji obavlja ovaj rad trebao bi ga pregledati prije upotrebe.
| Dio | Što zapisati |
|---|---|
| Pilot pitanje | Pitanje koje se može provjeriti i odluka koju ono donosi. |
| Zadatak | Novi zadatak koji ljudi trebaju obaviti i kako će se ocjenjivati. |
| Sudionici | Tko je uključen, koliko ih je ispunjavalo uvjete i postoje li usporedne skupine. |
| Osnovni | Mjera, datum i rezultati prije treninga. |
| Putovanje učenjem | Priprema, vježba, treniranje, vrijeme i trošak. |
| Istodobne promjene | Sve ostalo što se promijenilo tijekom pilota. |
| Rezultat novog zadatka | Bodovi za zadatak koji nije uvježban tijekom pilot-projekta. |
| Nastavak | Vrijeme, tko je dosegnut i rezultati nakon izloženosti radu. |
| Prepreke | Što je spriječilo ljude da primjenjuju naučeno. |
| Kriteriji za odlučivanje | Pragovi koje ste postavili prije pregleda rezultata. |
| Ishod | Revidirati, ponovno provesti pilot-projekt ili ga uvesti, te zašto. |
Gdje interaktivna dostava pomaže
Interaktivni formati prikladni su za fazu vježbe pilot projekta jer se svaka osoba obvezuje na odgovor prije nego što vidi odgovor grupe, što vam daje evidenciju obrazloženja, a ne samo prisutnosti. Facilitator može voditi slučaj uživo, a isti slučaj može se koristiti vlastitim tempom za pripremu ili praćenje. AhaSlides podržava interaktivno učenje i prelazak između isporuke uživo i vlastitog tempa. Provjerite bilo koju specifičnu funkciju autorstva, povratnih informacija ili izvještavanja na koju se planirate osloniti u odnosu na vlastiti tijek rada i tretirajte značajke umjetne inteligencije, simulacije i integracije kao vanjske ili nepotvrđene dok ih ne vidite kako rade. Za odabir između formata pogledajte kada koristiti adaptivno, interaktivno i učenje uživoZa usklađivanje aktivnosti s razmišljanjem koje želite mjeriti, pogledajte naš vodič za usklađivanje aktivnosti učenja s Bloomovom taksonomijom.
Ograničenja koja mogu ostati
Čak i dobro osmišljen pilot ostavlja neke stvari neriješenim:
- Mali brojevi. Pilot projekt pokazuje izvedivost i smjer, a ne koliki će biti učinak u stvarnim razmjerima.
- Radno okruženje. Ljudi mogu dobro obavljati novi zadatak, a ipak ga ne koristiti na poslu ako im menadžer, alati ili poticaji ukazuju na suprotno.
- Vrijeme. Praćenje nakon nekoliko tjedana ne pokazuje što ostaje nakon šest mjeseci.
- Istovremena promjena. Druge promjene u istom razdoblju mogu objasniti dio poboljšanja.
- Izbor. Ljudi koji su se dobrovoljno javili mogu se razlikovati od ljudi kojima pružate usluge.
Planirajte odvojene ispravke za ove probleme i obavijestite sponzore koja pitanja pilot projekt nije riješio.
Često postavljana pitanja
Koliko velik treba biti pilot za obuku?
Dovoljno velika da se testira je li dizajn praktičan za isporuku i mjerenje, a dovoljno mala da se jeftino mijenja. Ne postoji jedan točan broj. Prijavite veličinu grupe i svaki rezultat tretirajte kao indikativan.
Trebam li kontrolnu skupinu za procjenu programa obuke?
Usporedna skupina jača dokaze, ali nije uvijek izvediva ili poštena. Osnovna vrijednost plus postupno uvođenje, gdje slična skupina počinje kasnije, praktična je alternativa.
Kada trebam mjeriti transfer?
Nakon što su ljudi imali vremena i priliku primijeniti naučeno na poslu, dajte im barem nekoliko tjedana. Ponovno izmjerite isti zadatak i pitajte o preprekama koje su spriječile bilo koga da ga koristi.
Je li zadovoljstvo korisna mjera?
Korisno je za poboljšanje iskustva, ali nije dokaz prijenosa. Spojite to s izvedbom na novom zadatku.
Gdje započeti
Odaberite jedan važan zadatak i zapišite odluku koju će pilot-projekt donijeti. Zabilježite kako ga nekolicina ljudi danas izvršava, koristeći kratki uzorak rada ili bodovni slučaj. Zatim zapišite kriterije odlučivanja prije početka pilot-projekta i rezervirajte datum praćenja u dnevniku.
Da biste vidjeli kako bi se praktični slučaj mogao izvoditi uživo s vašim timom i ponovno koristiti vlastitim tempom nakon toga, istražite AhaSlides.
