En opplæringsansvarlig åpner læringsdashbordet på mandag. Fullføringsgraden er 96 prosent. Gjennomsnittlig tilfredshet er 4.5 av 5. Så stiller en teamleder det vanskelige spørsmålet: «Håndterer folk disse kundeeskaleringene annerledes?» Dashbordet kan ikke svare. Det registrerer at kurset var fullført, ikke at noe endret seg på jobben.
Dette er gapet de fleste opplæringsmålingene etterlater åpne. Fullføring forteller deg hvem som nådde slutten. Den forteller deg ikke hvem som lærte ferdigheten, hvem som brukte den, eller om virksomheten flyttet seg. Denne veiledningen gir deg et hierarki av bevis og en måleplan på én side du kan fylle ut for ethvert program, uten å late som om hvert kurs trenger en fullstendig kausal ROI-studie.
Åpningsscenarioet ovenfor er illustrerende, ikke et dokumentert kundecase.
Kjappe fakta
| Spørsmål | Kort svar |
|---|---|
| Hva er galt med fullføringsratene? | De måler deltakelse, ikke læring eller endring på jobben. |
| Hva bør du måle i stedet? | Læring mot mål, overføring til jobben, deretter operative resultater med kontekst |
| Trenger alle kurs ROI-analyse? | Nei. Tilpass bevisdybden til avgjørelsen som tas |
| Hva skal inn i en måleplan? | Resultat, mål, kilde, nevner, tidspunkt og eier |
1. Definer beslutningen dataene skal støtte
Før du velger en måleenhet, navngi hvilken beslutning den vil informere. Tre vanlige trenger ulik dokumentasjon:
- Forbedre programmet. Du må vite hvor elevene strevde, så resultater på element- og oppgavenivå er viktigere enn beståttkarakter.
- Bekreft beredskap. Du trenger bevis på at en person kan utføre en definert oppgave til en avtalt standard, vanligvis gjennom observasjon eller en poengsatt oppgave.
- Vurder en utrulling. Du må sammenligne grupper eller perioder, så konsistente målinger, nevnere og tidspunkt er viktigst.
Hvis du ikke kan si hvilken avgjørelse dataene støtter, samler du alt og konkluderer lite. En kort test: hvis resultatet var dårlig, hva ville du gjort annerledes? Hvis svaret er «ingenting», fortjener ikke målestokken sin plass.
2. Mål læring mot mål
Start med arbeidsoppgaven, ikke kursinnholdet. Skriv målet som noe en person gjør («triage en eskalert klage ved hjelp av de avtalte kriteriene»), og utform deretter vurderingen slik at den samsvarer. Carnegie Mellon Eberly Center gjør det underliggende poenget tydelig: vurderinger, mål og undervisningsaktiviteter bør forsterke hverandre, og å lære bort analytiske ferdigheter mens man bare vurderer faktisk gjenkjenning, fører til at elevene øver på feil ting (Eberly Centers veiledning om samordning av vurderinger, mål og undervisningsstrategier).
I praksis gir det deg tre designvalg:
- Sett en grunnlinje. Vurder oppgaven før opplæring, eller bruk en kort diagnostikk, slik at du vet hvor hver elev starter. Uten en grunnlinje kan en god poengsum etter opplæring ganske enkelt gjenspeile tidligere ferdigheter.
- Bruk en matchende oppfølging. Den senere vurderingen bør teste den samme oppgaven og standarden, ved bruk av et nytt case i stedet for det som er øvd på. Gjentakelse av de identiske elementene belønner hukommelsen av svarene.
- Hold tilfredshet atskilt. Elevenes reaksjoner hjelper deg med å forbedre opplevelsen, men det amerikanske senteret for sykdomskontroll og -forebygging (CDC) er tydelig i sin veiledning for evaluering av opplæring om at elevtilfredshet ikke avgjør om en opplæring er effektiv (CDC, evaluer opplæring: måling av effektivitet). Rapporter det, men aldri som en stedfortreder for læring.
En enkel trepunkts rubrikk hjelper her. Gi hvert kriterium poengsum 0 (mangler eller ikke støttet), 1 (delvis, med relevante utelatelser) eller 2 (fullstendig og begrunnet), og definer kritiske feil separat, slik at en samlet poengsum ikke kan skjule en alvorlig feil. Tilpass kriteriene med en fagspesialist; en rubrikk du har skrevet selv er et utgangspunkt, ikke en validert standard.
3. Vurder overføring etter arbeidseksponering
Å lære noe i et kurs og å gjøre det på jobb er forskjellige hendelser. CDC-retningslinjene skiller læringsvurdering fra evaluering av læringsoverføring, som spør hvor vellykket en elev anvender det de har lært når de er tilbake på arbeidsplassen.
Overføring av bevis krever tid. Planlegg en oppfølging etter at eleven har hatt en reell mulighet til å bruke ferdigheten, noe som kan være to uker for en daglig oppgave og flere måneder for en sjelden oppgave. Samle deretter bevis på en eller flere av disse måtene:
- Observasjon eller gjennomgang av arbeidsprøver mot den samme rubrikken som brukes i opplæringen.
- Innspill fra leder eller kolleger å bruke spesifikke, atferdsbaserte spørsmål i stedet for «ble de bedre?».
- Systembevis der oppgaven etterlater spor, for eksempel et utfylt skjema eller en logget sak.
Registrer barrierer like nøye som resultater. En elev som kan gjøre oppgaven i opplæring, men ikke gjør den på jobb, kan mangle verktøy, autoritet, tid eller lederstøtte. Disse begrensningene kan vedvare selv etter at oppgaveprestasjonen forbedres i klasserommet, og det er funnene som mest sannsynlig vil endre din neste beslutning. Spør «hva hindret deg i å bruke dette?» og kategoriser svarene.
4. Tolke driftsresultater i kontekst
Operasjonelle målinger som feilrater, behandlingstider eller løsningsrater er viktige fordi det er de organisasjonen bryr seg om. De er også enklest å overlese.
Tre vaner holder deg ærlig:
- Bruk en sammenlignbar sats. Tellinger misviser når volumene endres. Sammenlign rater mot en oppgitt nevner: feil per hundre tilfeller, ikke feil totalt.
- List opp alternative forklaringer. Sesongvariasjoner, et nytt verktøy, en endring i bemanningen eller en oppdatering av retningslinjer kan alle føre til at det samme tallet flyttes i samme kvartal. Skriv dem ned før du ser på resultatet.
- Si hva slags påstand det er. Hvis trent personale viser en bedre rate enn utrent personale, er det en observert sammenheng. En årsakssammenhengende påstand trenger en design som utelukker alternativene, for eksempel en sammenligningsgruppe eller en trinnvis utrulling. De fleste programmer trenger ikke det nivået av strenghet, og det er greit å si det rett ut: «Resultatene beveget seg i den retningen vi håpet; her er hva annet som endret seg.»
Unngå å love avkastning på investeringen kun basert på opplæring. Rapporter hva du observerte, konteksten og begrensningene.
5. Lag en praktisk måleplan
Sett delene inn i én tabell per program. Hver rad er et spørsmål dataene må svare på.
| Felt | Hva man skal skrive | Hvorfor det betyr noe |
|---|---|---|
| Utfallet | Endringen du forventer, i observerbare termer | Stopper vage mål |
| Måle | Den spesifikke metriske eller rubrikkpoengsummen | Gjør det testbart |
| Kilde | Hvor dataene kommer fra | Viser om den eksisterer og er troverdig |
| Nevner | Hvem eller hva målet er utenfor | Forhindrer misvisende råtall |
| timing | Når den er samlet inn | Skiller læring fra overføring |
| Eieren | Den navngitte ansvarlige personen | Gjør det mulig |
Utarbeidet eksempel (illustrativt, ingen resultater vist)
Tenk deg et program som hjelper kundesupportmedarbeidere med å håndtere eskalerte klager. Avgjørelsen: bekreft at agentene er klare før de tar imot eskaleringer uten en venn.
| Utfallet | Måle | Kilde | Nevner | timing | Eieren |
|---|---|---|---|---|---|
| Agenter vurderer en eskalering ved hjelp av de avtalte kriteriene | Rubrikkpoengsum (0 til 2 per kriterium, ingen kritiske feil) på en ny sak | Praksis med poengsum | Agenter som fullfører programmet | Slutt på programmet, mot et grunnlag før trening | Treningsleder |
| Agenter bruker triage-trinnene på aktive saker | Rubrikkpoengsum på utvalgte reelle eskaleringer | Eksempel på kvalitetsvurdering | Utvalgte eskaleringer per agent | Fire til seks uker etter første live-eskaleringer | Lagleder |
| Barrierer for å anvende trinnene er kjente | Kategoriserte årsaker fra en kort oppfølging | Oppfølgingssjekk av agent | Agenter som håndterte en eskalering | Samme oppfølgingsvindu | Treningsleder |
| Eskaleringsresultater spores i kontekst | Gjenåpnede saker, med samtidige endringer notert | Sakssystem | Eskaleringer avsluttet i perioden | Kvartalsvis, sammenlignet med foregående periode | Driftsanalytiker |
Legg merke til hva som mangler: ingen lovet prosentvis forbedring, og ingen påstand om at trening alene styrer den siste rekken. Planen forplikter deg til å samle ærlige bevis, ikke til et bestemt svar.
Der interaktiv og adaptiv levering passer inn
Måling er enklere når selve læringen genererer bevis. Interaktive aktiviteter, som poengsatte casespørsmål, scenarioundersøkelser og korte kunnskapstester, gir deg data per elev og per element under opplæringen, og adaptiv læring kan veilede folk i henhold til hvordan de presterer. Blandede design som beveger seg mellom live-økter og selvstudium lar deg ta en diagnose på egenhånd, øve på en case live med tilbakemeldinger og fullføre en oppfølgingsgjennomgang asynkront.
Disse funksjonene støtter bevisene i rad én og to i planen din. De erstatter ikke overførings- og resultatradene, som avhenger av hva som skjer på jobben. Sjekk hvilke spesifikke rapporterings- og redigeringsfunksjoner du trenger mot en demonstrasjon før du forplikter deg til et design, og behandle eventuelle eksterne verktøy eller integrasjoner som separate fra kjernearbeidsflyten inntil du har sett det fungere.
Prøv det med ditt eget program
Fyll ut planen med seks felt for ett program du kjører nå, og begynn med avgjørelsen den skal støtte.
For å se hvordan læringsbevisene i planen din kan fanges opp i en direktesendt eller selvstyrt økt, kan du utforske AhaSlides.
Ofte stilte spørsmål
Hva er målinger av treningseffektivitet?
Dette er målene du bruker for å bedømme om opplæringen oppnådde sitt formål. Et nyttig sett dekker læring opp mot mål, overføring til jobben og operative resultater lest i kontekst, snarere enn bare fullføring og tilfredshet.
Er fullføringsgrad en nyttig målestokk?
Det er nyttig for å spore deltakelse og avdekke tilgangsproblemer. Det kan ikke vise at noen har lært eller anvendt en ferdighet, så kombiner det med en vurdering og en oppfølging.
Hvor lenge etter trening bør jeg måle overføring?
Lenge nok til at elevene får en reell sjanse til å bruke ferdigheten. En daglig oppgave kan trenge et par uker, mens en sjelden oppgave trenger lengre tid. Sett et tidsvindu i planen din før opplæringen starter.
Må jeg bevise avkastning på investeringen for hvert kurs?
Nei. Match bevisene med beslutningen. Mange programmer er godt tjent med lærings- og overføringsbevis pluss driftsresultater rapportert med kontekst. Reserver årsaksanalyse for programmer med høy innsats eller høye kostnader der designet tillater det.
