Pilotprojekts beidzas. Piedalījās divpadsmit cilvēki, gandrīz visi teica, ka tas bija noderīgi, un vadītājs ir apmierināts. Tad operāciju vadītājs uzdod taisnīgu jautājumu: "Vai kāds savu darbu veica citādi?" Pirms pilotprojekta neviens nemērīja, kā cilvēki strādāja, neviens viņus nesalīdzināja ar nevienu citu, un komanda mainīja savu procesu tajā pašā mēnesī. Pilotprojekts radīja labu gribu, nevis pierādījumus.
Šis ir ilustratīvs scenārijs, nevis dokumentēts klienta gadījums. Tas parāda bieži sastopamu veidu, kā apmācību programmu novērtēšana noiet greizi: pilotprojekts tiek veikts, bet tas nekad nav bijis paredzēts, lai atbildētu uz jautājumu.
Šī rokasgrāmata ir paredzēta mācību un attīstības vadītājiem, mācību programmu izstrādātājiem un apmācību vadītājiem. Tajā ir aplūkoti pieci soļi: pilotjautājuma definēšana, dalībnieku un sākotnējo rādītāju izvēle, mācību procesa dokumentēšana, jauno uzdevumu izpildes un pārneses novērtēšana, kā arī vienošanās par to, kā rezultāti ietekmēs ieviešanu. Tā noslēdzas ar veidni, ko varat pielāgot, un atlikušajiem ierobežojumiem.
Kas ir apmācības pilots?
Apmācības pilotprojekts ir neliels, laika ziņā ierobežots mācību dizaina izmēģinājums, pirms jūs apņematies to īstenot plašā mērogā. Tā uzdevums ir noskaidrot, vai dizains ir realizējams un ko ir vērts īstenot, nevis pierādīt, ka tas darbojas visur.
Šī atšķirība ir svarīga. ASV Nacionālais komplementārās un integratīvās veselības centrs pilotpētījumu raksturo kā neliela mēroga metožu un procedūru pārbaudi, lai tās izmantotu plašākā mērogā, un brīdina, ka pilotpētījums nav pietiekami spēcīgs, lai atbildētu uz jautājumiem par efektivitāti, tāpēc jebkura tā uzrādītā ietekme ir nestabila (NCCIH, pilotpētījumi: izplatīti lietošanas veidi un ļaunprātīga izmantošana). Šīs vadlīnijas ir rakstītas veselības pētījumiem, taču loģika ir spēkā. Divpadsmit cilvēku izmēģinājuma projekts var pateikt, vai varat piesaistīt, īstenot, novērtēt un veikt turpmākus pasākumus. Tas nevar pārliecinoši pateikt, cik liela būs ietekme visā organizācijā.
Īsi fakti
| jautājums | Īsā atbilde |
|---|---|
| Kam paredzēts pilots? | Mācīšanās un piegādes pieņēmumu pārbaude pirms ieviešanas. |
| Kas jums ir nepieciešams, pirms tas sākas? | Pārbaudāms jautājums, uzdevums, bāzes līnija un lēmuma kritēriji. |
| Kas tiek uzskatīts par nodošanas pierādījumu? | Veiktspēja jaunā uzdevumā pēc darba pieredzes, nevis gandarījums. |
| Vai jums ir nepieciešama kontroles grupa? | Ne vienmēr. Salīdzināšanas grupa vai pakāpeniska ieviešana palīdz, ja tas ir iespējams un taisnīgi. |
| Kad jūs nosakāt lēmumu pieņemšanas kritērijus? | Pirms aplūkojat jebkādus rezultātus. |
| Ko pilots tev nevar pateikt? | Cik liels būs efekts mērogā. |
1. Definējiet pilotjautājumu
Sāciet ar jautājumu, uz kuru var atbildēt ar “jā” vai “nē”, vai ar skaitli, un nosauciet lēmumu, uz kuru tas ietekmēs.
Vājš jautājums: "Vai jaunā adaptācijas programma darbojas?" Pārbaudāms jautājums: "Vai pēc pārveidotās adaptācijas programmas jaunie darbinieki var tikt galā ar standarta klientu eskalāciju bez palīdzības, un vai pilotprojektu ir praktiski īstenot, ņemot vērā mums pieejamo koučinga laiku?"
Uzrakstiet trīs lietas:
- Uzdevums. Ko cilvēki varēs darīt tādu, ko viņi iepriekš nevarēja vai nedarīja labi?
- Lēmums. Vai jūs pārskatīsiet dizainu, veiksiet vēl vienu pilotprojektu vai ieviesīsiet to plašāk?
- Mācīšanās un sniegšanas pieņēmumi. Kādi ir jūsu pieņēmumi par priekšnosacījumiem, laiku, koučinga spējām un rīkiem, kas pilotprojektam būtu jāpārbauda?
Ja nevarat nosaukt lēmumu, jūs neesat gatavs veikt izmēģinājuma projektu. Rezultāts tiks sasniegts, un neviens negaidīs, lai uz to reaģētu.
2. Atlasiet dalībniekus un sākotnējos rādītājus
Bāzes līmenis ir pierādījums tam, kā cilvēki veic uzdevumu pirms apmācības. Bez tā "uzlabojums" nav ar ko salīdzināms.
Apzināti izvēlieties dalībniekus. Izvēlieties cilvēkus, kuri veiks īsto uzdevumu un būs līdzīgi grupai, kurai plānojat to ieviest. Izmēģinājuma projekts, kurā piedalās tikai jūsu entuziastiskākie brīvprātīgie, būs pievilcīgāks dizainam.
Uztveriet bāzes līniju. Izmantojiet tāda paša veida mērījumu, kādu izmantosiet vēlāk, lai abus varētu salīdzināt. Iespējas ietver īsu darba paraugu, strukturētu novērojumu, jaunāko rezultātu pārskatu vai vērtētu gadījumu. Pierakstiet, kas tika iekļauts, cik daudz bija tiesīgi piedalīties un kad veicat mērījumus.
Padomājiet par salīdzinājumu. Spēcīgākais dizains salīdzina cilvēkus, kuri piedalījās pilotprojektā, ar līdzīgiem cilvēkiem, kuri to nedarīja. Tas ne vienmēr ir iespējams vai taisnīgi, jo īpaši, ja apmācība ir nepieciešama drošības vai atbilstības nodrošināšanai. Pakāpeniska ieviešana ir praktiska alternatīva: viena grupa sāk tagad, līdzīga grupa sāk vēlāk, un jaunākā grupa kalpo kā salīdzinājums pirmajai. Neatkarīgi no jūsu izvēles, plānā norādiet, kāpēc tas ir taisnīgi iesaistītajām personām.
3. Mācību procesa īstenošana un dokumentēšana
Pierādījumi ir noderīgi tikai tad, ja zināt, kas tika piegādāts. Veiciet skaidru reģistru par notikušo, jo piegādes izmaksas un piepūle ir daļa no tā, ko pilotprojektā testē.
Ieraksts:
- Sagatavošana. Ko cilvēki darīja pirms sesijām, un cik ilgi tas ilga?
- Prakse. Kādus gadījumus vai vingrinājumus viņi risināja, un kādu atgriezenisko saiti viņi saņēma?
- Koučings. Kas trenēja, cik ilgi un vai tas bija tiešraidē vai asinhroni?
- Operacionālās izmaiņas. Jebkas cits, kas mainījās izmēģinājuma projekta laikā, piemēram, jauns rīks, politikas maiņa, sezonāls steigas efekts vai vadītāja maiņa.
- Produkta konfigurācija un izmaksas. Faktiskā izmantotā iestatīšana, kā arī piegādes laiks un nauda.
Pēdējie divi ir vissvarīgākie ieviešanas lēmuma pieņemšanā. Dizains, kas darbojas tikai ar tāda līmeņa apmācību, kādu nevarat atļauties lielā mērogā, ir iemācījis jums kaut ko vērtīgu, un žurnāls to parāda.
4. Novērtējiet jauno uzdevumu izpildi un nodošanu
Apmācības novērtēšanu bieži apraksta ar Kirkpatrika modeļa četriem līmeņiem: reakcija, mācīšanās, uzvedība un rezultāti (Kirkpatrick partneri). Pilotam vajadzētu sasniegt vairāk nekā pirmo līmeni. Reakcija, vai cilvēki uzskatīja to par noderīgu, uzkrājas ātri, bet maz ko pasaka par to, vai viņu sniegums mainīsies.
Pārbaudiet apgūtās zināšanas jaunā uzdevumā. Dodiet dalībniekiem piemēru, ko viņi vēl nav praktizējuši, un novērtējiet to, izmantojot tos pašus kritērijus, ko izmantojāt sākotnējā situācijā. Jauns uzdevums parāda, vai cilvēki var pielietot apgūto, nevis vai viņi atceras piemēru.
Pēc darba vides iedarbības kontroles pasākumi. Pārnese nozīmē apgūtā pielietošanu darbā un tā saglabāšanu laika gaitā. Boldvina un Forda bieži citētajā 1988. gada pārskatā pārnešana tiek definēta gan kā apgūtā materiāla vispārināšana darbam, gan tā uzturēšana laika gaitā, un tajā tiek aplūkots, kā apmācību dizains, apmācāmo īpašības un darba vide to ietekmē (Boldvins un Fords, 1988. gadsTāpēc ieplānojiet atkārtotu pasākumu pēc tam, kad cilvēkiem būs reāls darbs, piemēram, pēc dažām nedēļām, un vēlreiz izmēriet to pašu uzdevumu.
Ierakstu barjeras. Ja kāds darbā neizmanto jauno pieeju, pajautājiet, kāpēc. Atbilde varētu būt trūkstošs rīks, vadītājs, kurš sagaida veco metodi, vai pārāk maz laika. Tie ir atklājumi par darba vidi, nevis apmācāmā neveiksmes.
Neizdariet secinājumu par pārskaitījumu no apmierinātības. Labs atsauksmju rezultāts ir pierfiksēšanas vērts. Tas neparāda, ka uzvedība ir mainījusies.
5. Izlemiet, kā rezultāti ietekmē ieviešanu
Pirms rezultātu apskatīšanas pierakstiet lēmuma kritērijus. Pretējā gadījumā ir viegli atrast iemeslu turpināt ar to, ko redzat.
Vienkārša struktūra:
| Ja pilots rāda | Tad |
|---|---|
| Uzdevumu izpilde uzlabojās, pārsūtīšana notika, piegāde bija iespējama | Plānojiet plašāku ieviešanu un turpiniet mērīt. |
| Uzdevumu izpilde uzlabojās, bet darba vide bloķēja pārsūtīšanu | Salabojiet barjeru un pēc tam palaidiet otru pilotu. |
| Nelielas izmaiņas jaunajā uzdevumā | Pirms jebkādas turpmākas palaišanas pārskatiet dizainu. |
| Piegādes izmaksas vai apmācības laiks nebija pieņemams | Pārveidojiet piegādes veidu un pēc tam vēlreiz izmēģiniet. |
Esiet godīgi attiecībā uz to, ko neliela grupa var atbalstīt. Uztveriet skaitļus kā indikatīvus, norādiet grupas lielumu un saucēju un izvairieties no efektu apmēriem vai garantijām. Pirms apmācību novērtēšanas norādiet, kādas citas izmaiņas notika vienlaikus.
Pilota mērījumu veidne
Ilustratīvi. Praktizētājam, kurš veic šo darbu, tas pirms lietošanas jāpārskata.
| sekcija | Ko pierakstīt |
|---|---|
| Pilota jautājums | Pārbaudāmais jautājums un lēmums, ko tas ietekmē. |
| Uzdevums | Jaunais uzdevums, kas cilvēkiem jāveic, un kā tas tiks vērtēts. |
| Dalībnieki | Kas ir iekļauts, cik cilvēku bija tiesīgi piedalīties, un kāda bija salīdzināšanas grupa. |
| Baseline | Mērījums, datums un rezultāti pirms treniņa. |
| Mācību ceļojums | Sagatavošanās, prakse, koučings, laiks un izmaksas. |
| Vienlaicīgas izmaiņas | Jebkas cits, kas mainījās pilotprojekta laikā. |
| Jauna uzdevuma rezultāts | Rezultāti par uzdevumu, kas netika praktizēts pilotprojekta laikā. |
| Follow-up | Laiks, ar ko sazinājās, un rezultāti pēc darba pieredzes. |
| Barjeras | Kas atturēja cilvēkus pielietot apgūtās zināšanas. |
| Lēmuma kritēriji | Sliekšņi, ko iestatāt pirms rezultātu pārskatīšanas. |
| Iznākums | Pārskatīt, atkārtoti izmēģināt vai ieviest, un kāpēc. |
Kur palīdz interaktīva piegāde
Interaktīvie formāti ir piemēroti pilotprojekta prakses posmam, jo katra persona apņemas sniegt atbildi, pirms redz grupas atbildes, kas sniedz jums argumentācijas, nevis tikai klātbūtnes ierakstu. Koordinators var vadīt lietu tiešraidē, un to pašu lietu var izmantot patstāvīgi sagatavošanās vai turpmāko darbību veikšanai. AhaSlides atbalsta interaktīvu mācīšanos un pāreju starp tiešraides un patstāvīgu piegādi. Pārbaudiet jebkuru konkrētu autorēšanas, atsauksmju vai ziņošanas funkciju, uz kuru plānojat paļauties savā darbplūsmā, un izturieties pret AI, simulācijas un integrācijas funkcijām kā ārējām vai neapstiprinātām, līdz esat redzējis tās darbojamies. Lai izvēlētos starp formātiem, skatiet sadaļu Kad izmantot adaptīvo, interaktīvo un tiešo mācīšanosLai saskaņotu aktivitātes ar domāšanu, ko vēlaties izmērīt, skatiet mūsu ceļvedi par mācību aktivitāšu saskaņošana ar Blūma taksonomiju.
Ierobežojumi, kas var palikt
Pat labi izstrādāts pilotprojekts atstāj dažas neatrisinātas lietas:
- Mazi skaitļi. Pilotprojekts parāda iespējamību un virzienu, nevis to, cik liels būs efekts plašākā mērogā.
- Darba vide. Cilvēki var labi veikt jauno uzdevumu un joprojām neizmantot to darbā, ja viņu vadītājs, rīki vai stimuli norāda pretējo.
- Laiks Pēc dažām nedēļām veiktais novērojums neuzrāda, kas paliek pēc sešiem mēnešiem.
- Vienlaicīgas izmaiņas. Citas izmaiņas tajā pašā laika posmā var izskaidrot daļu no uzlabojumiem.
- Atlase. Cilvēki, kas pieteicās brīvprātīgi, var atšķirties no cilvēkiem, kuriem jūs uzaicinājāt piedalīties.
Plānojiet atsevišķus labojumus šiem jautājumiem un informējiet sponsorus, uz kuriem jautājumiem pilots neatbildēja.
Biežāk uzdotie jautājumi
Cik lielam jābūt apmācības pilotam?
Pietiekami liels, lai pārbaudītu, vai dizainu ir praktiski īstenot un izmērīt, un pietiekami mazs, lai to varētu lēti mainīt. Nav viena pareiza skaitļa. Ziņojiet grupas lielumu un jebkuru rezultātu uztveriet kā indikatīvu.
Vai man ir nepieciešama kontroles grupa, lai novērtētu apmācību programmu?
Salīdzinošā grupa padara pierādījumus spēcīgākus, taču tas ne vienmēr ir iespējams vai taisnīgi. Praktiska alternatīva ir bāzes scenārijs kopā ar pakāpenisku ieviešanu, kur līdzīga grupa sāk darboties vēlāk.
Kad man vajadzētu izmērīt pārnesi?
Pēc tam, kad cilvēkiem ir bijis laiks un iespēja pielietot apgūtās zināšanas darbā, dodiet tam vismaz dažas nedēļas. Vēlreiz novērtējiet to pašu uzdevumu un pajautājiet par šķēršļiem, kas kādu atturēja to izmantot.
Vai apmierinātība ir noderīgs rādītājs?
Tas ir noderīgi pieredzes uzlabošanai, taču tas nav pierādījums par pārnesi. Savienojiet to ar sniegumu jaunā uzdevumā.
Kur sākt
Izvēlieties vienu svarīgu uzdevumu un pierakstiet lēmumu, uz kuru pilotprojekts iegūs informāciju. Izmantojot īsu darba paraugu vai vērtētu gadījumu, aprakstiet, kā to šodien veic daži cilvēki. Pēc tam pirms pilotprojekta sākuma pierakstiet savus lēmuma kritērijus un dienasgrāmatā atzīmējiet turpmāko pasākumu datumu.
Lai redzētu, kā prakses gadījums varētu noritēt tiešraidē ar jūsu komandu un pēc tam tikt atkārtoti izmantots patstāvīgi, izpētiet AhaSlides.
