Pilootprojekt lõpeb. Osales kaksteist inimest, kellest peaaegu kõik ütlesid, et see oli kasulik ja juhendaja on rahul. Seejärel esitab tegevjuht õiglase küsimuse: "Kas keegi tegi oma tööd teisiti?" Enne pilootprojekti ei mõõtnud keegi inimeste töötamist, keegi ei võrrelnud neid kellegagi ja meeskond muutis oma protsessi samal kuul. Pilootprojekt tekitas head tahet, mitte tõendeid.
See on illustreeriv stsenaarium, mitte dokumenteeritud kliendijuhtum. See näitab koolitusprogrammide hindamise tavalist ebaõnnestumist: pilootprojekt küll läbi viiakse, kuid seda ei ole kunagi kavandatud küsimusele vastamiseks.
See juhend on mõeldud õppe- ja arendusosakondade juhtidele, õppedisaineritele ja koolitusjuhtidele. See hõlmab viit sammu: pilootküsimuse määratlemine, osalejate ja baasmõõdikute valimine, õpiteekonna dokumenteerimine, uute ülesannete tulemuslikkuse ja ülekandmise hindamine ning tulemuste mõju juurutamisele kokkuleppimine. See lõpeb kohandatava malli ja allesjäänud piirangutega.
Mis on õppepiloot?
Koolituspiloot on väike, ajaliselt piiratud õppedisaini katseprojekt, enne kui sellele laiemalt pühendutakse. Selle ülesanne on välja selgitada, kas disain on teostatav ja mida tasub edasi arendada, mitte tõestada, et see toimib kõikjal.
See eristus on oluline. USA Täiendava ja Integratiivse Tervise Riiklik Keskus kirjeldab pilootuuringut kui väikesemahulist meetodite ja protseduuride testi, mida kasutatakse laiemas ulatuses, ning hoiatab, et pilootuuringul ei ole võimsust vastata küsimustele efektiivsuse kohta, seega on igasugune selle ilmnev mõju ebastabiilne (NCCIH, pilootuuringud: levinud kasutusalad ja väärkasutus). See juhend on kirjutatud terviseuuringute jaoks, kuid loogika on oluline. Kaheteistkümnest inimesest koosnev pilootprojekt annab teile teada, kas suudate värvata, tulemusi ellu viia, mõõta ja järelmeetmeid võtta. See ei saa teile kindlalt öelda, kui suur on mõju kogu organisatsioonis.
Quick faktid
| Küsimus | Lühike vastus |
|---|---|
| Milleks piloot on mõeldud? | Õppimis- ja edastuseelduste testimine enne ulatuse loomist. |
| Mida on vaja enne alustamist? | Testitav küsimus, ülesanne, lähtetase ja otsustuskriteeriumid. |
| Mis loetakse ülekande tõendiks? | Uue ülesande täitmine pärast töökogemust, mitte rahulolu. |
| Kas vajate kontrollgruppi? | Mitte alati. Võrdlusgrupp või etapiviisiline kasutuselevõtt on abiks siis, kui see on teostatav ja õiglane. |
| Millal te otsustuskriteeriumid määrate? | Enne kui mingeid tulemusi vaatad. |
| Mida piloot sulle öelda ei saa? | Kui suur on mõju mastaabis. |
1. Määrake pilootküsimus
Alusta küsimusega, millele saab vastata jah või ei või numbriga, ja nimeta otsus, mille langetamist see mõjutab.
Nõrk küsimus: „Kas uus sisseelamisprogramm toimib?“ Testitav küsimus: „Kas pärast ümberkujundatud sisseelamisprogrammi saavad uued töötajad ilma abita hakkama tavapärase kliendieskalatsiooniga ja kas pilootprojekt on meie juhendamisaja jooksul praktiline ellu viia?“
Kirjuta üles kolm asja:
- Ülesanne. Mida inimesed suudavad teha, mida nad varem ei osanud või ei teinud hästi?
- Otsus. Kas te muudate disaini, korraldate uue pilootprojekti või tutvustate seda laiemalt?
- Õppimise ja edastamise eeldused. Mida te eeldate pilootprojektis testitavate eeltingimuste, aja, juhendamisvõimekuse ja tööriistade kohta?
Kui te ei oska otsust nimetada, ei ole te pilootprojekti käivitamiseks valmis. Tulemus saabub ilma, et keegi selle alusel tegutsema hakkaks.
2. Valige osalejad ja lähtetaseme mõõtmised
Baastase on tõend selle kohta, kuidas inimesed ülesannet enne koolitust sooritavad. Ilma selleta pole "täiustatud" millegagi võrreldav.
Valige osalejad teadlikult. Vali inimesed, kes teevad tegelikku ülesannet ja on sarnased grupiga, kellele plaanid projekti ellu viia. Ainult kõige entusiastlikumate vabatahtlikega pilootprojekt sobib paremini.
Jäädvusta baasjoon. Kasutage sama tüüpi mõõdikut, mida te hiljem kasutate, et neid kahte saaks võrrelda. Valikute hulka kuuluvad lühike töövalim, struktureeritud vaatlus, hiljutiste tulemuste ülevaade või hinnatud juhtum. Pange kirja, kes kaasati, kui paljud olid abikõlblikud ja millal te mõõtmise tegite.
Mõtle võrdlusele. Tugevaim disain võrdleb pilootprojektis osalenud inimesi sarnaste inimestega, kes seda ei teinud. See pole alati võimalik ega õiglane, eriti kui koolitus on vajalik ohutuse või vastavuse tagamiseks. Järkjärguline juurutamine on praktiline alternatiiv: üks grupp alustab nüüd, sarnane grupp alustab hiljem ja hilisem grupp toimib võrdlusgrupina esimesele. Olenemata sellest, mida te valite, märkige plaanis, miks see on asjaosaliste suhtes õiglane.
3. Õppeteekonna läbiviimine ja dokumenteerimine
Tõenditest on kasu ainult siis, kui tead, mis kohale toimetati. Pea toimunu kohta lihtsat logi, sest kohaletoimetamise maksumus ja pingutus on osa sellest, mida pilootprojektis testitakse.
Salvestus:
- Ettevalmistus. Mida inimesed enne seansse tegid ja kui kaua see aega võttis?
- Praktika. Milliseid juhtumeid või harjutusi nad läbi töötasid ja millist tagasisidet nad said?
- Juhendamine. Kes juhendas, kui kaua ja kas see oli otse-eetris või asünkroonselt?
- Operatiivsed muudatused. Kõik muu, mis pilootprojekti käigus muutus, näiteks uus tööriist, poliitikamuudatus, hooajaline kiireloomulisus või juhi vahetus.
- Toote konfiguratsioon ja kulud. Teie kasutatud seadistus ning kohaletoimetamiseks kulunud aeg ja raha.
Kaks viimast on juurutamise otsuse puhul kõige olulisemad. Disain, mis toimib ainult sellise juhendamistasemega, mida te endale sellises mahus lubada ei saa, on teile midagi väärtuslikku õpetanud ja logi näitab seda.
4. Hinnake uute ülesannete täitmist ja üleandmist
Koolituse hindamist kirjeldatakse sageli Kirkpatricki mudeli nelja taseme abil: reaktsioon, õppimine, käitumine ja tulemused (Kirkpatricki partnerid). Pilootprojekt peaks jõudma esimesest tasemest kaugemale. Reaktsioon, kas inimesed pidasid seda kasulikuks, koguneb kiiresti, kuid see ei ütle kuigi palju selle kohta, kas nad toimivad teisiti.
Testi õpitut uue ülesandega. Anna osalejatele juhtum, mida nad pole harjutanud, ja hinda seda samade kriteeriumide alusel, mida kasutasid algtasemel. Uus ülesanne näitab, kas inimesed suudavad õpitut rakendada, mitte seda, kas nad mäletavad näidet.
Järelkontroll pärast tööga kokkupuudet. Ülekanne tähendab õpitu rakendamist töökohal ja selle aja jooksul järgimist. Baldwini ja Fordi sageli tsiteeritud 1988. aasta ülevaates defineeritakse ülekandmist kui nii õpitud materjali üldistamist töökohale kui ka selle säilitamist aja jooksul ning vaadeldakse, kuidas koolituse ülesehitus, praktikandi omadused ja töökeskkond seda mõjutavad (Baldwin ja Ford, 1988Seega planeerige järelkontroll pärast seda, kui inimestel on olnud päris tööd teha, näiteks mõne nädala pärast, ja mõõtke sama ülesannet uuesti.
Rekordilised tõkked. Kui keegi uut lähenemist tööl ei kasuta, küsi, miks. Vastuseks võib olla puuduv tööriist, juht, kes ootab vana meetodit, või liiga vähe aega. Need on leiud töökeskkonna kohta, mitte õppija enda ebaõnnestumised.
Ära järelda ülekannet rahulolu põhjal. Hea tagasiside tulemus tasub üles märkida. See ei näita käitumise muutumist.
5. Otsustage, kuidas tulemused mõjutavad kasutuselevõttu
Kirjuta otsustuskriteeriumid enne tulemuste vaatamist. Vastasel juhul on lihtne leida põhjust jätkata sellega, mida näed.
Lihtne struktuur:
| Kui piloot näitab | Siis |
|---|---|
| Ülesannete täitmine paranes, ülekanne toimus, kohaletoimetamine oli teostatav | Planeeri laiemat kasutuselevõttu ja jälgi mõõtmist. |
| Ülesannete täitmine paranes, kuid töökeskkond takistas ülekandmist | Paranda tõke ja seejärel käivita teine piloot. |
| Uues ülesandes väike muudatus | Enne edasist käivitamist vaadake kujundus üle. |
| Tarnekulu või juhendamisaeg ei olnud teostatav | Kujunda ümber selle edastamise viis ja seejärel katseta uuesti. |
Ole aus selle suhtes, mida väike grupp suudab toetada. Käsitle numbreid soovituslikena, esita grupi suurus ja nimetaja ning väldi efekti suurust või garantiisid. Enne koolituse tunnustamist maini, millised muud muutused samal ajal toimusid.
Pilootmõõtmise mall
Illustreeriv. Selle töö tegija peaks selle enne kasutamist üle vaatama.
| Osa | Mida üles kirjutada |
|---|---|
| Pilootküsimus | Testitav küsimus ja otsus, milleni see tugineb. |
| Ülesanne | Uus ülesanne, mida inimesed peaksid täitma, ja kuidas seda hinnatakse. |
| Osalejad | Kes on kaasatud, kui paljud olid abikõlblikud ja kas on olemas võrdlusrühm. |
| Baseline | Mõõt, kuupäev ja tulemused enne treeningut. |
| Õppeteekond | Ettevalmistus, harjutamine, juhendamine, aeg ja kulu. |
| Samaaegsed muutused | Kõik muu, mis piloodi ajal muutus. |
| Uue ülesande tulemus | Punktid ülesande eest, mida pilootprojekti ajal ei harjutatud. |
| Järelkontroll | Aeg, kellega ühendust võeti ja tulemused pärast töökogemust. |
| Piirded | Mis takistas inimestel õpitut rakendamast. |
| Otsuse kriteeriumid | Enne tulemuste ülevaatamist seatud läviväärtused. |
| Tulemus | Kas muuta, uuesti katsetada või kasutusele võtta ja miks. |
Kus interaktiivne edastamine aitab
Interaktiivsed vormingud sobivad pilootprojekti praktikaetapiga, sest iga inimene pühendub vastusele enne grupi oma nägemist, mis annab teile ülevaate arutluskäigust, mitte ainult kohalolekust. Juhendaja saab juhtumit reaalajas läbi viia ja sama juhtumit saab kasutada iseseisvalt ettevalmistamiseks või järeltegevuseks. AhaSlides toetab interaktiivset õppimist ja liikumist reaalajas ja iseseisvalt toimuva edastamise vahel. Kontrollige kõiki konkreetseid autori-, tagasiside- või aruandlusfunktsioone, millele kavatsete oma töövoo suhtes toetuda, ja käsitlege tehisintellekti, simulatsiooni ja integratsiooni funktsioone väliste või kinnitamata funktsioonidena, kuni olete näinud neid töötamas. Vormingute vahel valimiseks vaadake Millal kasutada adaptiivset, interaktiivset ja reaalajas õppimistTegevuste sobitamiseks mõtlemisega, mida soovite mõõta, vaadake meie juhendit õppetegevuste sobitamine Bloomi taksonoomiaga.
Piirangud, mis võivad jääda
Isegi hästi kavandatud pilootprojekt jätab mõned asjad lahendamata:
- Väikesed arvud. Pilootprojekt näitab teostatavust ja suunda, mitte seda, kui suur on mõju laiemalt.
- Töökeskkond. Inimesed võivad uue ülesandega hästi hakkama saada ja ikkagi mitte seda tööl kasutada, kui nende juht, tööriistad või stiimulid osutavad vastupidisele.
- Ajastus. Mõne nädala pärast tehtud järelkontroll ei näita, mis on alles kuue kuu pärast.
- Samaaegne muutus. Teised samal perioodil toimunud muutused võivad osaliselt selgitada paranemist.
- Valik. Vabatahtlikuks registreerunud inimesed võivad erineda inimestest, kellele te vabatahtlikuna tööle asute.
Planeerige nende jaoks eraldi parandused ja öelge sponsoritele, milliseid küsimusi pilootprojekt ei lahendanud.
Korduma kippuvad küsimused
Kui suur peaks treeningpiloot olema?
Piisavalt suur, et testida, kas disaini on otstarbekas ellu viia ja mõõta, ning piisavalt väike, et seda odavalt muuta. Ühte ja õiget numbrit pole. Esitage grupi suurus ja käsitlege mis tahes tulemust soovituslikuna.
Kas mul on vaja kontrollrühma koolitusprogrammi hindamiseks?
Võrdlusrühm muudab tõendid tugevamaks, kuid see pole alati teostatav ega õiglane. Praktiline alternatiiv on baasstsenaarium koos etapiviisilise kasutuselevõtuga, kus sarnane rühm alustab hiljem.
Millal peaksin ülekannet mõõtma?
Kui inimestel on olnud aega ja võimalust õpitut tööl rakendada, andke sellele vähemalt paar nädalat aega. Mõõtke sama ülesannet uuesti ja küsige takistuste kohta, mis takistasid kedagi seda kasutamast.
Kas rahulolu on kasulik mõõdupuu?
See on kasulik kogemuse parandamiseks, aga see ei ole tõend ülekandumisest. Seo see uue ülesande tulemuslikkusega.
Kust alustada
Vali üks oluline ülesanne ja kirjuta üles otsus, mille langetamist pilootprojekt mõjutab. Jäädvusta lühikese töönäidise või hinnatud juhtumi abil, kuidas käputäis inimesi seda täna teeb. Seejärel kirjuta enne pilootprojekti algust oma otsustuskriteeriumid ja broneeri järeltegevuse kuupäev päevikusse.
Et näha, kuidas praktikajuhtumit saaks teie enda meeskonnaga otseülekandes läbi viia ja hiljem iseseisvalt uuesti kasutada, uurige AhaSlides'i.
