Un manager de training deschide tabloul de bord pentru învățare luni. Rata de finalizare este de 96%. Satisfacția medie este de 4.5 din 5. Apoi, un șef de echipă pune întrebarea incomodă: „Gestionează oamenii aceste escaladări ale clienților în mod diferit?” Tabloul de bord nu poate răspunde. Acesta înregistrează faptul că cursul a fost finalizat, nu că s-a schimbat ceva la locul de muncă.
Aceasta este lacuna pe care majoritatea indicatorilor de instruire o lasă deschisă. Finalizarea vă spune cine a ajuns la final. Nu vă spune cine a învățat abilitatea, cine a folosit-o sau dacă afacerea a evoluat. Acest ghid vă oferă o ierarhie a dovezilor și un plan de măsurare de o pagină pe care îl puteți completa pentru orice program, fără a pretinde că fiecare curs are nevoie de un studiu complet al rentabilității investiției cauzale.
Scenariul inițial de mai sus este ilustrativ, nu un caz documentat al unui client.
Scurte
| Întrebare | Răspuns scurt |
|---|---|
| Ce este în neregulă cu ratele de finalizare? | Acestea măsoară participarea, nu învățarea sau schimbarea la locul de muncă |
| Ce ar trebui să măsori în schimb? | Învățare în funcție de obiective, transfer la locul de muncă, apoi rezultate operaționale în context |
| Are nevoie fiecare curs de analiză a rentabilității investiției (ROI)? | Nu. Corelați profunzimea dovezilor cu decizia luată. |
| Ce include un plan de măsurare? | Rezultat, măsură, sursă, numitor, moment și proprietar |
1. Definiți decizia pe care datele ar trebui să o susțină
Înainte de a alege o metrică, denumiți decizia pe care o va fundamenta. Trei dintre cele mai comune necesită dovezi diferite:
- Îmbunătățiți programul. Trebuie să știi unde au întâmpinat dificultăți elevii, așa că rezultatele la nivel de item și la nivel de sarcină contează mai mult decât o notă de trecere.
- Confirmați disponibilitatea. Ai nevoie de dovezi că o persoană poate îndeplini o sarcină definită conform unui standard convenit, de obicei prin observare sau printr-o sarcină punctată.
- Evaluează o implementare. Trebuie să comparați grupuri sau perioade, așadar contează cel mai mult măsurile, numitorii și momentul consecvenți.
Dacă nu poți spune ce decizie susțin datele, vei colecta totul și vei trage concluzii puține. Un scurt test: dacă rezultatul ar fi slab, ce ai face diferit? Dacă răspunsul este „nimic”, indicatorul nu își merită locul.
2. Măsurați învățarea în raport cu obiectivele
Începeți de la sarcina postului, nu de la conținutul cursului. Scrieți obiectivul ca pe ceva ce face o persoană („triați o reclamație escaladată folosind criteriile convenite”), apoi proiectați evaluarea pentru a se potrivi. Centrul Carnegie Mellon Eberly subliniază clar ideea de bază: evaluările, obiectivele și activitățile instructive ar trebui să se consolideze reciproc, iar predarea abilităților analitice în timp ce se evaluează doar amintirea faptelor îi lasă pe cursanți să exerseze lucrul greșit.Îndrumări ale Centrului Eberly privind alinierea evaluărilor, obiectivelor și strategiilor de instruire).
În practică, asta îți oferă trei opțiuni de design:
- Stabiliți o linie de bază. Evaluează sarcina înainte de instruire sau folosește un diagnostic scurt, astfel încât să știi de unde începe fiecare cursant. Fără o valoare de referință, un scor bun post-instruire ar putea pur și simplu să reflecte abilitățile anterioare.
- Folosește o urmărire potrivită. Evaluarea ulterioară ar trebui să testeze aceeași sarcină și același standard, utilizând un caz nou, în loc de cel exersat. Repetarea itemilor identici recompensează memoria răspunsurilor.
- Păstrează satisfacția separat. Reacțiile cursanților vă ajută să îmbunătățiți experiența, însă Centrele pentru Controlul și Prevenirea Bolilor (CDC) din SUA spun explicit în ghidul lor de evaluare a instruirii că satisfacția cursanților nu determină dacă o instruire este eficientă (CDC, evaluarea instruirii: măsurarea eficacității). Raportați-o, dar niciodată ca un înlocuitor al învățării.
O rubrică simplă în trei puncte ajută în acest caz. Acordați fiecărui criteriu un scor de 0 (absent sau nejustificat), 1 (parțial, cu omisiuni relevante) sau 2 (complet și justificat) și definiți erorile critice separat, astfel încât un scor general să nu poată ascunde o deficiență gravă. Adaptați criteriile cu un specialist în domeniu; o rubrică pe care ați scris-o singuri este un punct de plecare, nu un standard validat.
3. Evaluarea transferului după expunerea la locul de muncă
A învăța ceva într-un curs și a-l practica la locul de muncă sunt evenimente diferite. Ghidul CDC separă evaluarea învățării de evaluarea transferului învățării, care întreabă cât de bine aplică un cursant ceea ce a învățat odată ce se întoarce la locul de muncă.
Transferul dovezilor necesită timp. Programați o urmărire după ce cursantul a avut o oportunitate reală de a folosi abilitatea, ceea ce ar putea dura două săptămâni pentru o sarcină zilnică și câteva luni pentru una rară. Apoi, adunați dovezi într-unul sau mai multe dintre aceste moduri:
- Observație sau revizuire a eșantionului de lucru în funcție de aceeași rubrică utilizată în instruire.
- Contribuția managerului sau a colegilor folosind întrebări specifice, bazate pe comportament, în loc de întrebarea „s-au îmbunătățit?”.
- Dovezi ale sistemului unde sarcina lasă o urmă, cum ar fi un formular completat sau un caz înregistrat.
Înregistrați barierele la fel de atent ca rezultatele. Un cursant care poate îndeplini sarcina în timpul instruirii, dar nu o face la locul de muncă, poate să nu aibă instrumentele, autoritatea, timpul sau sprijinul managerial. Aceste constrângeri pot rămâne chiar și după ce performanța sarcinii se îmbunătățește în sala de clasă și sunt constatările care vă vor schimba cel mai probabil următoarea decizie. Întrebați-vă „ce v-a împiedicat să aplicați acest lucru?” și clasificați răspunsurile.
4. Interpretarea rezultatelor operaționale în context
Măsurile operaționale, cum ar fi ratele de eroare, timpii de procesare sau ratele de rezolvare, contează deoarece sunt ceea ce contează pentru organizație. De asemenea, sunt cele mai ușor de suprainterpretat.
Trei obiceiuri te mențin onest:
- Folosește o rată comparabilă. Numărările induc în eroare atunci când volumele se modifică. Comparați ratele cu un numitor specificat: erori la o sută de cazuri, nu erori în total.
- Enumerați explicații alternative. Sezonalitatea, un instrument nou, o schimbare de personal sau o actualizare a politicilor pot duce la aceeași creștere în același trimestru. Notați-le înainte de a analiza rezultatul.
- Spune ce fel de afirmație este. Dacă personalul instruit prezintă o rată mai bună decât personalul neinstruit, aceasta este o asociere observată. O afirmație cauzală necesită un design care exclude alternativele, cum ar fi un grup de comparație sau o implementare eșalonată. Majoritatea programelor nu au nevoie de acest nivel de rigoare și este în regulă să spunem acest lucru clar: „rezultatele s-au mișcat în direcția sperată; iată ce s-a mai schimbat”.
Evitați să promiteți un randament al investiției doar din instruire. Raportați ce ați observat, contextul și limitele.
5. Elaborați un plan de măsurare practic
Puneți piesele într-un tabel pentru fiecare program. Fiecare rând este o întrebare la care datele trebuie să răspundă.
| Câmp | Ce să scriu | De ce contează |
|---|---|---|
| Rezultat | Schimbarea la care te aștepți, în termeni observabili | Oprește obiectivele vagi |
| Măsura | Scorul specific al metricii sau rubricii | Îl face testabil |
| Sursa | De unde provin datele | Arată dacă există și este de încredere |
| Numitor | Cine sau ce este măsura în afara domeniului | Previne numărarea înșelătoare a datelor brute |
| Sincronizare | Când este colectat | Separă învățarea de transfer |
| Proprietar | Persoana numită responsabilă | Face să se întâmple |
Exemplu realizat (ilustrativ, nu sunt afișate rezultate)
Imaginați-vă un program care să ajute personalul de asistență clienți să gestioneze reclamațiile escaladate. Decizia: confirmarea disponibilității înainte ca agenții să preia escaladările fără un partener.
| Rezultat | Măsura | Sursa | Numitor | Sincronizare | Proprietar |
|---|---|---|---|---|---|
| Agenții triază o escaladare folosind criteriile convenite | Scorul rubricii (0 până la 2 per criteriu, fără erori critice) pentru un caz nou | Practică de caz evaluată | Agenții care finalizează programul | Sfârșitul programului, în raport cu o valoare de referință pre-formare | Conducător de antrenament |
| Agenții aplică pașii de triaj pe cazurile reale | Scorul rubricii pe escaladările reale eșantionate | Eșantion de evaluare a calității | Escalări eșantionate per agent | Patru până la șase săptămâni după primele escaladări live | Lider de echipă |
| Barierele în aplicarea etapelor sunt cunoscute | Motive clasificate dintr-o scurtă analiză ulterioară | Verificare de urmărire a agentului | Agenții care au gestionat o escaladare | Aceeași fereastră de urmărire | Conducător de antrenament |
| Rezultatele escaladării sunt urmărite în context | Rata cazurilor redeschise, cu modificări concomitente observate | Sistem de caz | Escalările au fost închise în perioada respectivă | Trimestrial, comparativ cu perioada anterioară | Analist operațional |
Observați ce lipsește: nicio promisiune de îmbunătățire procentuală și nicio afirmație că antrenamentul în sine determină dezbaterea finală. Planul vă angajează să colectați dovezi sincere, nu să obțineți un anumit răspuns.
Unde se potrivesc livrarea interactivă și cea adaptivă
Măsurarea este mai ușoară atunci când învățarea în sine generează dovezi. Activitățile interactive, cum ar fi întrebările de caz evaluate, sondajele pe scenarii și scurtele verificări ale cunoștințelor, vă oferă date per cursant și per element în timpul instruirii, iar învățarea adaptivă poate direcționa oamenii în funcție de performanța lor. Design-urile mixte care trec de la sesiuni live la studiu în ritm propriu vă permit să faceți un diagnostic în timpul propriu, să exersați un caz live cu feedback și să finalizați o evaluare ulterioară în mod asincron.
Aceste capabilități susțin dovezile din rândurile unu și doi ale planului dvs. Nu înlocuiesc rândurile de transfer și rezultate, care depind de ceea ce se întâmplă la locul de muncă. Verificați de ce funcții specifice de raportare și creare aveți nevoie în raport cu o demonstrație înainte de a vă dedica unui design și tratați orice instrument extern sau integrare ca fiind separat de fluxul de lucru principal până când îl vedeți funcțional.
Încearcă cu propriul tău program
Completați planul cu șase domenii pentru un program pe care îl derulați acum, începând cu decizia pe care ar trebui să o susțină.
Pentru a vedea cum dovezile învățării din planul tău ar putea fi surprinse într-o sesiune live sau în ritm propriu, explorează AhaSlides.
Întrebări frecvente
Ce sunt indicatorii de eficacitate ai instruirii?
Acestea sunt măsurile pe care le utilizați pentru a evalua dacă instruirea și-a atins scopul. Un set util acoperă învățarea în raport cu obiectivele, transferul la locul de muncă și rezultatele operaționale interpretate în context, mai degrabă decât doar finalizarea și satisfacția.
Este rata de finalizare o metrică utilă?
Este util pentru urmărirea participării și identificarea problemelor de acces. Nu poate demonstra că cineva a învățat sau a aplicat o competență, așa că este recomandat să fie asociat cu o evaluare și o monitorizare.
La cât timp după antrenament ar trebui să măsor transferul?
Suficient de mult timp pentru ca elevii să aibă o șansă reală de a folosi abilitatea. O sarcină zilnică ar putea necesita câteva săptămâni, în timp ce o sarcină rară are nevoie de mai mult timp. Setați fereastra în planul dvs. înainte de începerea instruirii.
Trebuie să dovedesc rentabilitatea investiției pentru fiecare curs?
Nu. Corelați dovezile cu decizia. Multe programe sunt bine servite de dovezi bazate pe învățare și transfer, plus rezultate operaționale raportate în context. Rezervați analiza cauzală pentru programele cu miză mare sau costuri ridicate, acolo unde designul o permite.
