Pirmdien apmācību vadītājs atver mācību paneli. Pabeigšanas līmenis ir 96 procenti. Vidējais apmierinātības līmenis ir 4.5 no 5. Tad komandas vadītājs uzdod neveiklo jautājumu: "Vai cilvēki rīkojas ar šīm klientu eskalācijām citādi?" Informācijas panelis nevar atbildēt. Tajā ir ierakstīts, ka kurss ir pabeigts, nevis tas, ka darbā kaut kas ir mainījies.
Šī ir robs, ko lielākā daļa apmācību rādītāju atstāj neatklātu. Pabeigšanas rādītājs norāda, kurš ir sasniedzis beigas. Tas nepasaka, kurš apguva prasmi, kurš to izmantoja vai vai uzņēmums ir mainījies. Šī rokasgrāmata sniedz pierādījumu hierarhiju un vienas lapas mērījumu plānu, ko varat aizpildīt jebkurai programmai, neizliekoties, ka katram kursam ir nepieciešams pilnīgs cēloņsakarības un ieguldījumu atdeves pētījums.
Iepriekš minētais ievadscenārijs ir ilustratīvs, nevis dokumentēts klienta gadījums.
Īsi fakti
| jautājums | Īsā atbilde |
|---|---|
| Kas vainas pabeigšanas rādītājiem? | Tie mēra dalību, nevis mācīšanos vai pārmaiņas darba vietā. |
| Ko jums vajadzētu izmērīt tā vietā? | Mācīšanās atbilstoši mērķiem, pāreja uz darbu un pēc tam operatīvie rezultāti ar kontekstu |
| Vai katram kursam ir nepieciešama ROI analīze? | Nē. Pierādījumu dziļumam jābūt atbilstošam pieņemamajam lēmumam. |
| Kas ietilpst mērījumu plānā? | Rezultāts, mērs, avots, saucējs, laiks un īpašnieks |
1. Definējiet lēmumu, kuram datiem vajadzētu būt pamatotiem
Pirms metrikas izvēles nosauciet lēmumu, uz kuru tā balstīsies. Trijiem izplatītākajiem rādītājiem ir nepieciešami atšķirīgi pierādījumi:
- Uzlabot programmu. Jums jāzina, kurās jomās skolēniem radās grūtības, tāpēc rezultāti uzdevumu līmenī ir svarīgāki par sekmīgu nokārtošanu.
- Apstipriniet gatavību. Jums ir nepieciešami pierādījumi, ka persona var veikt noteiktu uzdevumu atbilstoši saskaņotam standartam, parasti ar novērošanas vai vērtēta uzdevuma palīdzību.
- Novērtējiet ieviešanu. Jums ir jāsalīdzina grupas vai periodi, tāpēc vissvarīgākie ir konsekventi mērījumi, saucēji un laika grafiks.
Ja nevarat pateikt, kuru lēmumu dati apstiprina, jūs apkoposiet visu nepieciešamo un secināsiet maz. Īss tests: ja rezultāts būtu slikts, ko jūs darītu citādi? Ja atbilde ir "nekas", rādītājs nav pelnījis savu vietu.
2. Mācību novērtēšana atbilstoši mērķiem
Sāciet ar darba uzdevumu, nevis kursa saturu. Uzrakstiet mērķi kā kaut ko tādu, ko persona dara ("izvērtējiet eskalēto sūdzību, izmantojot saskaņotos kritērijus"), pēc tam izstrādājiet atbilstošu novērtējumu. Kārnegija Melona Eberlija centrs skaidri norāda uz pamatdomu: novērtējumiem, mērķiem un mācību aktivitātēm vajadzētu vienam otru pastiprināt, un analītisko prasmju mācīšana, vienlaikus vērtējot tikai faktu atcerēšanos, liek skolēniem praktizēt nepareizas lietas (Eberlija centra vadlīnijas par novērtējumu, mērķu un mācību stratēģiju saskaņošanu).
Praksē tas dod jums trīs dizaina iespējas:
- Iestatiet bāzes līniju. Novērtējiet uzdevumu pirms apmācības vai izmantojiet īsu diagnostiku, lai zinātu, kur katrs apmācāmais sāk. Bez sākotnējā līmeņa labs rezultāts pēc apmācības varētu vienkārši atspoguļot iepriekšējās prasmes.
- Izmantojiet saskaņotu turpmāko rīcību. Vēlākajā novērtējumā jāpārbauda tas pats uzdevums un standarts, izmantojot jaunu gadījumu, nevis praktizēto. Identisku jautājumu atkārtošana atalgo atbilžu iegaumēšanu.
- Turiet apmierinātību atsevišķi. Mācību dalībnieku reakcijas palīdz uzlabot pieredzi, taču ASV Slimību kontroles un profilakses centri (CDC) savās apmācību novērtēšanas vadlīnijās skaidri norāda, ka mācību dalībnieku apmierinātība nenosaka, vai apmācība ir efektīva (CDC, apmācību novērtēšana: efektivitātes mērīšana). Ziņojiet par to, bet nekad neaizstājiet to ar mācīšanos.
Šeit palīdz vienkārša trīs punktu rubrika. Katram kritērijam piešķiriet 0 (nav vai nav pamatots), 1 (daļējs, ar būtiskiem izlaidumiem) vai 2 (pilnīgs un pamatots) un atsevišķi definējiet kritiskās kļūdas, lai kopējais vērtējums nevarētu slēpt nopietnu neizdošanos. Pielāgojiet kritērijus kopā ar priekšmeta speciālistu; jūsu pašu rakstīta rubrika ir sākumpunkts, nevis apstiprināts standarts.
3. Novērtējiet pāreju pēc darba vides iedarbības
Mācīšanās kursā un tās īstenošana darbā ir dažādi notikumi. CDC vadlīnijas nodala mācību novērtējumu no mācību pārneses novērtējuma, kurā tiek jautāts, cik veiksmīgi students pielieto apgūto, atgriežoties darba vietā.
Pierādījumu pārnešanai nepieciešams laiks. Ieplānojiet turpmāku tikšanos pēc tam, kad apmācāmajam ir bijusi reāla iespēja izmantot prasmi, kas varētu būt divas nedēļas ikdienas uzdevumam un vairāki mēneši retam uzdevumam. Pēc tam apkopojiet pierādījumus vienā vai vairākos no šiem veidiem:
- Novērojums vai darba parauga pārskatīšana pret to pašu rubriku, kas tiek izmantota apmācībā.
- Vadītāja vai līdzinieku ievade izmantojot konkrētus, uz uzvedību balstītus jautājumus, nevis "vai viņi uzlabojās?".
- Sistēmas pierādījumi kur uzdevums atstāj pēdas, piemēram, aizpildīta veidlapa vai reģistrēta lieta.
Šķēršļus pierakstiet tikpat rūpīgi kā rezultātus. Studentam, kurš var veikt uzdevumu apmācībā, bet neveic to darbā, var trūkt rīku, pilnvaru, laika vai vadītāja atbalsta. Šie ierobežojumi var saglabāties pat pēc tam, kad uzdevumu izpilde klasē uzlabojas, un tieši šie atklājumi, visticamāk, mainīs jūsu nākamo lēmumu. Pajautājiet: "Kas jūs atturēja to pielietot?", un kategorizējiet atbildes.
4. Interpretēt darbības rezultātus kontekstā
Operatīvie rādītāji, piemēram, kļūdu līmenis, apstrādes laiks vai atrisināšanas rādītāji, ir svarīgi, jo tie ir tie, kas rūpējas par organizāciju. Tos ir arī visvieglāk pārlasīt.
Trīs ieradumi palīdz tev būt godīgam:
- Izmantojiet salīdzināmu likmi. Skaitīšanas rezultāti maldina, ja mainās apjomi. Salīdziniet rādītājus ar norādīto saucēju: kļūdas uz simts gadījumiem, nevis kļūdas kopā.
- Uzskaitiet alternatīvus skaidrojumus. Sezonalitāte, jauns rīks, personāla izmaiņas vai politikas atjauninājums var ietekmēt vienu un to pašu skaitli viena ceturkšņa laikā. Pierakstiet šos faktorus, pirms aplūkojat rezultātu.
- Pastāstiet, kāda veida apgalvojums tas ir. Ja apmācīts personāls uzrāda labāku rezultātu nekā neapmācīts personāls, tā ir novērota saistība. Cēloņsakarības apgalvojumam ir nepieciešams dizains, kas izslēdz alternatīvas, piemēram, salīdzināšanas grupa vai pakāpeniska ieviešana. Lielākajai daļai programmu nav nepieciešams šāds stingrības līmenis, un ir pilnīgi pareizi to pateikt tieši: "rezultāti mainījās cerētajā virzienā; lūk, kas vēl mainījās".
Izvairieties solīt atdevi no ieguldījumiem tikai no apmācības. Ziņojiet par novērotajiem, kontekstu un ierobežojumiem.
5. Izveidojiet praktisku mērījumu plānu
Ievietojiet daļas atsevišķā tabulā katrai programmai. Katra rinda ir jautājums, uz kuru datiem ir jāatbild.
| Lauks | Ko rakstīt | Kāpēc tas ir svarīgi |
|---|---|---|
| Iznākums | Jūsu gaidītās pārmaiņas novērojamā izteiksmē | Aptur neskaidrus mērķus |
| Pasākums | Konkrētā metrika vai rubrikas rezultāts | Padara to pārbaudāmu |
| avots | No kurienes nāk dati | Parāda, vai tas pastāv un ir uzticams |
| Saucējs | No kā vai kura ir šī mēraukla? | Novērš maldinošus neapstrādātus skaitļus |
| laika noteikšana | Kad tas tiek savākts | Atdala mācīšanos no pārneses |
| īpašnieks | Nosauktā atbildīgā persona | Liec tam notikt |
Praktisks piemērs (ilustratīvi, rezultāti nav parādīti)
Iedomājieties programmu, kas palīdzētu klientu atbalsta personālam apstrādāt eskalētās sūdzības. Lēmums: pārliecināties par gatavību, pirms aģenti veic eskalāciju bez drauga.
| Iznākums | Pasākums | avots | Saucējs | laika noteikšana | īpašnieks |
|---|---|---|---|---|---|
| Aģenti veic eskalācijas triāžu, izmantojot saskaņotos kritērijus. | Rubrikas vērtējums (no 0 līdz 2 katram kritērijam, bez kritiskām kļūdām) jaunā lietā | Vērtēta lietu prakse | Aģenti, kas pabeidz programmu | Programmas beigas, salīdzinot ar pirmsapmācības sākotnējo līmeni | Apmācības vadītājs |
| Aģenti piemēro triāžas darbības tiešajiem gadījumiem | Rubrikas vērtējums par izlasē iekļautajām reālajām eskalācijām | Kvalitātes pārskata paraugs | Eskalāciju paraugi katram aģentam | Četras līdz sešas nedēļas pēc pirmajām tiešraides eskalācijām | Komandas vadītājs |
| Ir zināmi šķēršļi darbību piemērošanai | Kategorizēti iemesli no īsa turpmākā ziņojuma | Aģenta turpmākā pārbaude | Aģenti, kas risināja eskalāciju | Tas pats turpmākās darbības periods | Apmācības vadītājs |
| Eskalācijas rezultāti tiek izsekoti kontekstā | Atkārtoti atvērto lietu skaits ar vienlaicīgām izmaiņām | Lietu sistēma | Šajā periodā slēgtās eskalācijas | Ceturkšņa laikā, salīdzinot ar iepriekšējo periodu | Operāciju analītiķis |
Ievērojiet, kā trūkst: nav solīta procentuāla uzlabojuma un nav apgalvojuma, ka apmācība vien ir galvenais izšķirošais faktors pēdējā rindā. Plāns liek jums vākt godīgus pierādījumus, nevis sniegt konkrētu atbildi.
Kur sader interaktīva un adaptīva piegāde
Mērīšana ir vienkāršāka, ja pati mācīšanās rada pierādījumus. Interaktīvas aktivitātes, piemēram, vērtēti gadījumu jautājumi, scenāriju aptaujas un īsas zināšanu pārbaudes, apmācības laikā sniedz datus par katru apmācāmo un katru vienību, un adaptīvā mācīšanās var novirzīt cilvēkus atbilstoši viņu sniegumam. Jaukti modeļi, kas pāriet starp tiešraides sesijām un patstāvīgu mācīšanos, ļauj veikt diagnostiku savā laikā, praktizēt gadījumu tiešraidē ar atgriezenisko saiti un asinhroni veikt turpmāku pārskatu.
Šīs iespējas apstiprina jūsu plāna pirmajā un otrajā rindā sniegtos pierādījumus. Tās neaizstāj pārsūtīšanas un rezultātu rindas, kas ir atkarīgas no tā, kas notiek darbā. Pirms apņematies izstrādāt dizainu, pārbaudiet, kuras konkrētās atskaišu veidošanas un autorēšanas funkcijas jums ir nepieciešamas, izmantojot demonstrāciju, un apstrādājiet jebkuru ārēju rīku vai integrāciju kā atsevišķu no galvenās darbplūsmas, līdz esat pārliecinājies, ka tā darbojas.
Izmēģiniet to ar savu programmu
Aizpildiet sešu lauku plānu vienai programmai, kuru pašlaik vadāt, sākot ar lēmumu, kuru tam vajadzētu atbalstīt.
Lai redzētu, kā jūsu plānā ietvertos mācību pierādījumus varētu apkopot tiešraides vai patstāvīgā sesijā, izpētiet AhaSlides.
Biežāk uzdotie jautājumi
Kādi ir apmācību efektivitātes rādītāji?
Tie ir mērījumi, ko izmanto, lai spriestu, vai apmācība ir sasniegusi savu mērķi. Noderīgs kopums aptver mācīšanos atbilstoši mērķiem, pāreju uz darbu un darbības rezultātus, lasot tos kontekstā, nevis tikai pabeigšanu un apmierinātību.
Vai pabeigšanas līmenis ir noderīgs rādītājs?
Tas ir noderīgi dalības izsekošanai un piekļuves problēmu noteikšanai. Tas nevar parādīt, ka kāds ir apguvis vai pielietojis prasmi, tāpēc apvienojiet to ar novērtējumu un turpmāko rīcību.
Cik ilgi pēc treniņa man vajadzētu izmērīt pārnesi?
Pietiekami ilgi, lai apmācāmajiem būtu reāla iespēja izmantot šo prasmi. Ikdienas uzdevumam var būt nepieciešamas pāris nedēļas, savukārt retāk sastopamam uzdevumam nepieciešams ilgāks laiks. Pirms apmācību sākuma savā plānā iestatiet laika periodu.
Vai man ir jāpierāda katra kursa ieguldījumu atdeve?
Nē. Saskaņojiet pierādījumus ar lēmumu. Daudzām programmām labi kalpo mācību un pārneses pierādījumi, kā arī operacionālie rezultāti, kas ziņoti ar kontekstu. Cēloņsakarību analīzi veiciet tikai programmās ar augstām likmēm vai augstām izmaksām, ja to atļauj to plānojums.
