Koolitusjuht avab esmaspäeval õppe töölaua. Läbitud on 96 protsenti. Keskmine rahulolu on 4.5 viiest. Seejärel esitab meeskonnajuht ebamugava küsimuse: „Kas inimesed käsitlevad neid klientide eskaleerumisi kuidagi teistmoodi?“ Töölaud ei oska vastata. See registreerib, et kursus on läbitud, mitte et tööl midagi muutus.
See on lünk, mille enamik koolitusmõõdikuid lahti jätab. Lõpetamine näitab, kes lõppu jõudis. See ei ütle, kes oskuse omandas, kes seda kasutas või kas ettevõte kolis. See juhend annab teile tõendite hierarhia ja üheleheküljelise mõõtmisplaani, mida saate täita mis tahes programmi jaoks, teeselmata, et iga kursus vajab täielikku põhjusliku investeeringutasuvuse uuringut.
Ülaltoodud avamisstsenaarium on illustratiivne, mitte dokumenteeritud kliendijuhtum.
Quick faktid
| Küsimus | Lühike vastus |
|---|---|
| Mis on lõpetamise määradega valesti? | Nad mõõdavad osalemist, mitte õppimist ega töökohal toimuvaid muutusi |
| Mida peaksite selle asemel mõõtma? | Eesmärkidest lähtuv õppimine, tööle üleminek ja seejärel konteksti arvestavad operatiivsed tulemused |
| Kas iga kursus vajab investeeringutasuvuse analüüsi? | Ei. Tõendite sügavus peab vastama tehtavale otsusele. |
| Mis läheb mõõtmisplaani? | Tulemus, mõõt, allikas, nimetaja, ajastus ja omanik |
1. Määratle otsus, mida andmed peaksid toetama
Enne mõõdiku valimist nimetage otsus, mille langetamist see mõjutab. Kolm levinud mõõdikut vajavad erinevaid tõendeid:
- Täiustage programmi. Sa pead teadma, kus õppijatel raskusi oli, seega on ülesande ja ülesande tasandil tulemused olulisemad kui sooritus.
- Kinnitage valmisolek. Teil on vaja tõendeid selle kohta, et inimene suudab määratletud ülesannet täita kokkulepitud standardite kohaselt, tavaliselt vaatluse või punktiarvestuse kaudu.
- Hinnake kasutuselevõttu. Peate võrdlema gruppe või perioode, seega on kõige olulisemad järjepidevad mõõdikud, nimetajad ja ajastus.
Kui te ei suuda öelda, millist otsust andmed toetavad, kogute kõik kokku ja teete vähe järeldusi. Lühike test: kui tulemus oleks halb, mida teeksite teisiti? Kui vastus on "mitte midagi", siis see mõõdik ei ole oma kohta ära teeninud.
2. Õppimise mõõtmine eesmärkide suhtes
Alusta tööülesandest, mitte kursuse sisust. Kirjuta eesmärk kui midagi, mida inimene teeb ("eskaleeritud kaebuse triaaž kokkulepitud kriteeriumide alusel") ja seejärel kujunda hindamine vastavalt. Carnegie Melloni Eberly keskus toob põhipunkti selgelt välja: hindamised, eesmärgid ja õppetegevused peaksid üksteist tugevdama ning analüütiliste oskuste õpetamine, hinnates samal ajal ainult faktide meenutamist, jätab õppijad valesid asju harjutama (Eberly keskuse juhised hindamiste, eesmärkide ja õppestrateegiate ühtlustamiseks).
Praktikas annab see teile kolm disainivalikut:
- Määrake baasjoon. Hinnake ülesannet enne koolitust või kasutage lühikest diagnostikat, et teaksite, kust iga õppija alustab. Ilma baastasemeta võib hea koolitusjärgne tulemus kajastada lihtsalt eelnevaid oskusi.
- Kasutage sobivat järeltegevust. Hilisem hindamine peaks testima sama ülesannet ja standardit, kasutades uut juhtumit, mitte harjutatud juhtumit. Identsete ülesannete kordamine premeerib vastuste meeldejätmist.
- Hoidke rahulolu eraldi. Õppijate reaktsioonid aitavad teil kogemust parandada, kuid USA haiguste tõrje ja ennetamise keskused (CDC) on oma koolituse hindamise suunistes selgesõnaliselt öelnud, et õppija rahulolu ei määra koolituse tõhusust.CDC hindab koolitust: efektiivsuse mõõtmine). Teata sellest, aga mitte kunagi õppimise asendajana.
Siin aitab lihtne kolmepunktiline rubriik. Hinnake iga kriteeriumi 0-ga (puudub või ei ole põhjendatud), 1-ga (osaline, oluliste puudujääkidega) või 2-ga (täielik ja põhjendatud) ning defineerige kriitilised vead eraldi, et üldskoor ei varjaks tõsist ebaõnnestumist. Kohandage kriteeriume koos aine spetsialistiga; enda koostatud rubriik on lähtepunkt, mitte valideeritud standard.
3. Hinnake ülekandumist pärast tööga kokkupuudet
Kursusel millegi õppimine ja selle tegemine tööl on erinevad sündmused. CDC juhised eristavad õppimise hindamist õppimise ülekandmise hindamisest, mis küsib, kui edukalt õppija õpitut töökohal rakendab.
Tõendite ülekandmine võtab aega. Planeerige järeltegevus pärast seda, kui õppijal on olnud reaalne võimalus oskust kasutada, mis võib olla kaks nädalat igapäevase ülesande puhul ja mitu kuud haruldase ülesande puhul. Seejärel koguge tõendeid ühel või mitmel järgmisel viisil:
- Vaatlus või töövalimi ülevaade sama rubriigi alusel, mida kasutatakse koolitusel.
- Juhi või kolleegi sisend kasutades pigem konkreetseid, käitumispõhiseid küsimusi kui "kas nad paranesid?".
- Süsteemi tõendid kus ülesanne jätab jälje, näiteks täidetud vorm või logitud juhtum.
Pane takistused kirja sama hoolikalt kui tulemused. Õppijal, kes saab ülesandega koolitusel hakkama, aga ei tee seda tööl, võivad puududa tööriistad, autoriteet, aeg või juhi toetus. Need piirangud võivad püsida ka pärast seda, kui ülesannete täitmine klassis paraneb, ja just need leiud muudavad kõige tõenäolisemalt teie järgmist otsust. Küsige endalt: "Mis takistas teil seda rakendamast?" ja kategoriseerige vastused.
4. Tõlgendada operatiivseid tulemusi konteksti arvestades
Operatiivsed näitajad, nagu veamäärad, menetlemisajad või lahendusmäärad, on olulised, sest need on organisatsiooni jaoks olulised. Neid on ka kõige lihtsam üle lugeda.
Kolm harjumust hoiavad sind ausana:
- Kasutage võrreldavat määra. Loendused eksitavad, kui mahud muutuvad. Võrrelge määrasid antud nimetajaga: vead saja juhtumi kohta, mitte vead kokku.
- Loetlege alternatiivsed selgitused. Hooajalisus, uus tööriist, personalimuudatused või poliitika uuendused võivad kõik sama kvartali jooksul sama arvu muuta. Kirjutage need enne tulemuse vaatamist üles.
- Ütle, mis tüüpi väide see on. Kui koolitatud personal näitab paremat tulemust kui koolitamata personal, on see vaadeldav seos. Põhjuslik väide vajab ülesehitust, mis välistab alternatiivid, näiteks võrdlusrühma või järkjärgulise käivitamise. Enamik programme ei vaja sellist rangust ja on täiesti okei seda otse öelda: "tulemused liikusid lootnud suunas; siin on see, mis veel muutus."
Väldi investeeringutasuvuse lubamist ainuüksi koolitusest. Anna teada, mida sa täheldasid, kontekstist ja piirangutest.
5. Koostage praktiline mõõtmisplaan
Pane iga programmi osad ühte tabelisse. Iga rida on küsimus, millele andmed peavad vastuse andma.
| Väli | Mida kirjutada | Miks see on oluline |
|---|---|---|
| Tulemus | Muutus, mida te ootate, vaadeldaval kujul | Peatab ebamäärased eesmärgid |
| Meede | Konkreetse mõõdiku või rubriigi skoor | Teeb selle testitavaks |
| allikas | Kust andmed pärinevad | Näitab, kas see on olemas ja usaldusväärne |
| Nimetaja | Kellest või millest see mõõt välja tuleb | Hoiab ära eksitavate algandmete esitamise |
| Ajastamine | Kui see kogutakse | Eraldab õppimise ülekandest |
| omanik | Nimetatud vastutav isik | Teeb selle teoks |
Töötatud näide (illustreeriv, tulemusi pole näidatud)
Kujutage ette programmi, mis aitab klienditoe töötajatel eskaleeritud kaebustega tegeleda. Otsus: veenduda valmisolekus enne, kui agendid ilma sõbrata eskaleeruvad.
| Tulemus | Meede | allikas | Nimetaja | Ajastamine | omanik |
|---|---|---|---|---|---|
| Agendid hindavad eskalatsiooni kokkulepitud kriteeriumide alusel | Uue juhtumi rubriigi skoor (0 kuni 2 kriteeriumi kohta, kriitilisi vigu ei ole) | Hinnatud kohtuasja praktika | Programmi lõpetavad agendid | Programmi lõpp, võrreldes koolituseelse baastasemega | Koolitusjuht |
| Agendid rakendavad triaaži samme reaalajas juhtumite puhul | Reaalsete eskalatsioonide valimi põhjal arvutatud rubriigi skoor | Kvaliteedikontrolli valim | Eskalatsioonide valim agentide kaupa | Neli kuni kuus nädalat pärast esimesi reaalajas eskalatsioone | Meeskonna juht |
| Sammude rakendamise takistused on teada | Liigitatud põhjused lühikese järelkontrolli põhjal | Agendi järelkontroll | Eskalatsiooniga tegelenud agendid | Sama järelkontrolli aken | Koolitusjuht |
| Eskalatsiooni tulemusi jälgitakse kontekstis | Taasavatud juhtumite määr koos samaaegsete muutustega | Juhtumite süsteem | Perioodil lõpetatud eskalatsioonid | Kvartaalselt, võrreldes eelmise perioodiga | Operatsioonide analüütik |
Pane tähele, mis puudub: lubatud protsentuaalset paranemist pole ja väidet, et ainuüksi treening viib viimase tüli. Plaan kohustab sind koguma ausaid tõendeid, mitte andma konkreetset vastust.
Kus interaktiivne ja adaptiivne edastamine sobivad kokku
Mõõtmine on lihtsam, kui õppimine ise tekitab tõendeid. Interaktiivsed tegevused, näiteks punktiarvestusega juhtumiküsimused, stsenaariumiküsitlused ja lühikesed teadmiste kontrollid, annavad koolituse ajal andmeid õppija ja üksuse kohta ning adaptiivne õpe saab inimesi suunata vastavalt nende sooritusele. Segatud kujundused, mis liiguvad reaalajas sessioonide ja iseseisva õppe vahel, võimaldavad teil diagnostikat teha omal ajal, juhtumit reaalajas tagasiside abil harjutada ja järelkontrolli asünkroonselt läbi viia.
Need võimalused toetavad teie plaani esimeses ja teises reas esitatud tõendeid. Need ei asenda ülekande ja tulemuste ridu, mis sõltuvad tööl toimuvast. Enne disaini kallale asumist kontrollige demonstratsiooni abil, milliseid konkreetseid aruandlus- ja autorifunktsioone vajate, ja käsitlege kõiki väliseid tööriistu või integratsioone põhitöövoost eraldi, kuni olete näinud, et need töötavad.
Proovi seda oma programmiga
Täida ühe praegu juhitava programmi kuueväljaline plaan, alustades otsusest, mida see peaks toetama.
Et näha, kuidas teie plaanis olevaid õpitulemusi saaks reaalajas või iseseisvalt sessioonil jäädvustada, uurige AhaSlides'i.
Korduma kippuvad küsimused
Mis on koolituse efektiivsuse mõõdikud?
Need on mõõdikud, mille abil hinnatakse, kas koolitus saavutas oma eesmärgi. Kasulik komplekt hõlmab õppimist eesmärkide, tööle ülekandmise ja kontekstis loetavate operatiivsete tulemuste suhtes, mitte ainult läbimist ja rahulolu.
Kas lõpetamise määr on kasulik mõõdik?
See on kasulik osalemise jälgimiseks ja ligipääsuga seotud probleemide märkamiseks. See ei näita, et keegi on oskust õppinud või rakendanud, seega tuleks sellega siduda hindamine ja järeltegevus.
Kui kaua pärast treeningut peaksin ülekannet mõõtma?
Piisavalt kaua, et õppijatel oleks reaalne võimalus oskust kasutada. Igapäevane ülesanne võib vajada paar nädalat, samas kui haruldane ülesanne vajab kauem aega. Määrake oma plaanis ajavahemik enne koolituse algust.
Kas ma pean iga kursuse puhul tõestama investeeringutasuvust?
Ei. Ühenda tõendid otsusega. Paljusid programme teenivad hästi õppe- ja ülekandematerjalid ning kontekstis esitatud operatiivsed tulemused. Jäta põhjus-seose analüüs kõrge riskiga või kulukate programmide jaoks, kus see on ülesehituselt võimalik.
