Koulutuspäällikkö avaa oppimisen hallintapaneelin maanantaina. Valmistumisprosentti on 96. Keskimääräinen tyytyväisyys on 4.5/5. Sitten tiiminvetäjä esittää kiusallisen kysymyksen: "Käsittelevätkö ihmiset näitä asiakaseskalaatioita eri tavalla?" Hallintapaneeli ei pysty vastaamaan. Se kirjaa, että kurssi on suoritettu, ei sitä, että työssä olisi tapahtunut mitään muutoksia.
Tämä on aukko, jonka useimmat koulutusmittarit jättävät auki. Suorittaminen kertoo, kuka pääsi loppuun. Se ei kerro, kuka oppi taidon, kuka sitä käytti tai muuttiko yritystä. Tämä opas tarjoaa sinulle näyttöön perustuvan hierarkian ja yhden sivun mittaisen mittaussuunnitelman, jonka voit täyttää mille tahansa ohjelmalle teeskentelemättä, että jokainen kurssi tarvitsee täydellisen syy-seuraussuhteen ROI-tutkimuksen.
Yllä oleva aloitusskenaario on havainnollistava, ei dokumentoitu asiakastapaus.
Nopeita faktoja
| Kysymys | Lyhyt vastaus |
|---|---|
| Mikä valmistumisprosenteissa on vikana? | Ne mittaavat osallistumista, eivät oppimista tai työssä tapahtuvaa muutosta |
| Mitä kannattaisi mitata sen sijaan? | Oppiminen tavoitteita vasten, siirtyminen työhön ja sitten operatiiviset tulokset kontekstissa |
| Tarvitseeko jokainen kurssi ROI-analyysin? | Ei. Sovita todisteiden syvyys tehtävään päätökseen |
| Mitä mittaussuunnitelmaan sisällytetään? | Tulos, mittari, lähde, nimittäjä, ajoitus ja omistaja |
1. Määrittele päätös, jota datan tulisi tukea
Ennen mittarin valitsemista, nimeä päätös, johon se vaikuttaa. Kolme yleistä mittaria vaativat erilaista näyttöä:
- Paranna ohjelmaa. Sinun on tiedettävä, missä oppijoilla oli vaikeuksia, joten osio- ja tehtävätason tulokset merkitsevät enemmän kuin läpäisypistemäärä.
- Vahvista valmius. Tarvitset näyttöä siitä, että henkilö pystyy suorittamaan määritellyn tehtävän sovitun standardin mukaisesti, yleensä havainnoinnin tai pisteytetyn tehtävän avulla.
- Arvioi käyttöönottoa. Sinun on vertailtava ryhmiä tai ajanjaksoja, joten johdonmukaiset mittaukset, nimittäjät ja ajoitus ovat tärkeimpiä.
Jos et pysty sanomaan, mitä päätöstä data tukee, keräät kaiken tiedon ja päättelet vain vähän. Lyhyt testi: jos tulos olisi huono, mitä tekisit toisin? Jos vastaus on "ei mitään", mittari ei ansaitse paikkaansa.
2. Mittaa oppimista tavoitteita vasten
Aloita työtehtävästä, älä kurssin sisällöstä. Kirjoita tavoite sellaisena, jonka henkilö tekee ("asettele eskaloitu valitus sovittujen kriteerien mukaisesti") ja suunnittele sitten arviointi sen mukaisesti. Carnegie Mellon Eberly Center tekee perusajatuksen selkeästi: arviointien, tavoitteiden ja opetustoiminnan tulisi vahvistaa toisiaan, ja analyyttisten taitojen opettaminen samalla kun arvioidaan vain tosiasioiden muistamista, jättää oppijat harjoittelemaan vääriä asioita (Eberly Centerin ohjeet arviointien, tavoitteiden ja opetusstrategioiden yhteensovittamiseen).
Käytännössä se antaa sinulle kolme suunnitteluvaihtoehtoa:
- Aseta lähtötaso. Arvioi tehtävä ennen koulutusta tai käytä lyhyttä diagnostiikkaa, jotta tiedät, mistä kukin oppija aloittaa. Ilman lähtötasoa hyvä koulutuksen jälkeinen pistemäärä voi yksinkertaisesti heijastaa aiempaa osaamista.
- Käytä vastaavaa seurantaa. Myöhemmässä arvioinnissa tulisi testata samaa tehtävää ja standardia, mutta käyttäen uutta tapausta harjoitellun sijaan. Identtisten kohtien toistaminen palkitsee vastausten muistamista.
- Pidä tyytyväisyys erillään. Oppijoiden reaktiot auttavat parantamaan kokemusta, mutta Yhdysvaltain tautien torjunta- ja ehkäisykeskukset (CDC) toteavat koulutusarviointiohjeissaan yksiselitteisesti, että oppijoiden tyytyväisyys ei ratkaise koulutuksen tehokkuutta.CDC, koulutuksen arviointi: tehokkuuden mittaaminen). Ilmoita siitä, mutta älä koskaan korvaa sitä oppimisella.
Yksinkertainen kolmikohtainen arviointikriteeri auttaa tässä. Pisteytä jokainen kriteeri 0:lla (puuttuu tai ei ole perusteltu), 1:llä (osittainen, olennaisine puutteineen) tai 2:lla (täydellinen ja perusteltu) ja määrittele kriittiset virheet erikseen, jotta kokonaispistemäärä ei voi peittää vakavaa puutetta. Sovita kriteerit aiheen asiantuntijan kanssa; itse kirjoittamasi arviointikriteeri on lähtökohta, ei validoitu standardi.
3. Arvioi siirtymistä työperäisen altistuksen jälkeen
Kurssilla oppiminen ja sen tekeminen työssä ovat eri tapahtumia. CDC:n ohjeistus erottaa oppimisen arvioinnin oppimisen siirtoarvioinnista, jossa kysytään, kuinka onnistuneesti oppija soveltaa oppimaansa työpaikalla.
Todisteiden siirtäminen vie aikaa. Aikatauluta seuranta sen jälkeen, kun oppijalla on ollut aito tilaisuus käyttää taitoa. Tämä voi kestää kaksi viikkoa päivittäisissä tehtävissä ja useita kuukausia harvinaisissa tehtävissä. Kerää sitten todisteita yhdellä tai useammalla seuraavista tavoista:
- Havainnointi tai työnäytteen tarkastelu samaa koulutuksessa käytettyä arviointiperustetta vasten.
- Esimiehen tai vertaisarvioinnin käyttämällä erityisiä, käyttäytymiseen perustuvia kysymyksiä sen sijaan, että kysyttäisiin "paranivatko he?".
- Järjestelmätodisteet jossa tehtävä jättää jäljen, kuten täytetyn lomakkeen tai kirjatun tapauksen.
Kirjaa esteet yhtä huolellisesti kuin tuloksetkin. Oppijalla, joka pystyy suorittamaan tehtävän koulutuksessa, mutta ei tee sitä työssä, ei ehkä ole työkaluja, auktoriteettia, aikaa tai esimiehen tukea. Nämä rajoitukset voivat säilyä, vaikka tehtävien suorittaminen luokkahuoneessa paranisi, ja ne ovat todennäköisimmin ne löydökset, jotka muuttavat seuraavaa päätöstäsi. Kysy itseltäsi "mikä esti sinua soveltamaan tätä?" ja luokittele vastaukset.
4. Tulkitse operatiiviset tulokset kontekstin valossa
Operatiiviset mittarit, kuten virheprosentit, käsittelyajat tai ratkaisunopeudet, ovat tärkeitä, koska ne ovat organisaatiolle tärkeitä. Ne ovat myös helpoimmin tulkittavissa.
Kolme tapaa pitävät sinut rehellisenä:
- Käytä vertailukelpoista hintaa. Luvut johtavat harhaan, kun volyymit muuttuvat. Vertaa lukuja ilmoitettuun nimittäjään: virheitä sataa tapausta kohden, ei virheiden kokonaismäärään.
- Listaa vaihtoehtoisia selityksiä. Kausivaihtelut, uusi työkalu, henkilöstömuutokset tai käytännön päivitykset voivat kaikki vaikuttaa samaan lukuun samalla neljänneksellä. Kirjoita ne muistiin ennen kuin katsot tulosta.
- Kerropa, millainen väite se on. Jos koulutettu henkilöstö osoittaa parempaa suoritustasoa kuin kouluttamaton henkilöstö, kyseessä on havaittu yhteys. Syy-seuraussuhdeväite edellyttää suunnittelua, joka sulkee pois vaihtoehdot, kuten vertailuryhmän tai porrastetun käyttöönoton. Useimmat ohjelmat eivät vaadi tällaista tarkkuutta, ja on hyvä sanoa se suoraan: "tulokset kehittyivät toivottuun suuntaan; tässä on mitä muuta muuttui."
Vältä lupaamasta sijoitetun pääoman tuottoa pelkästään koulutuksesta. Raportoi havainnoistasi, kontekstista ja rajoituksista.
5. Laadi käytännöllinen mittaussuunnitelma
Laita osat yhteen taulukkoon kutakin ohjelmaa kohden. Jokainen rivi on kysymys, johon datan on vastattava.
| Kenttä | Mitä kirjoittaa | Miksi se on tärkeätä |
|---|---|---|
| Tulos | Odottamasi muutos havaittavissa olevassa muodossa | Pysäyttää epämääräiset tavoitteet |
| Mitata | Tietyn mittarin tai arviointimatriisin pistemäärä | Tekee siitä testattavan |
| Lähde | Mistä tiedot tulevat | Osoittaa, onko se olemassa ja luotettava |
| Nimittäjä | Kenen tai minkä ulottumattomissa mitta on | Estää harhaanjohtavat raakalaskut |
| Ajoitus | Kun se kerätään | Erottaa oppimisen siirrosta |
| Omistaja | Nimetty vastuuhenkilö | Saa sen tapahtumaan |
Toimiva esimerkki (havainnollistava, tuloksia ei näytetä)
Kuvittele ohjelma, joka auttaa asiakastuen henkilöstöä käsittelemään eskaloituja valituksia. Päätös: varmistaa valmius ennen kuin asiakaspalvelijat ryhtyvät eskaloimaan valituksia ilman ystävää.
| Tulos | Mitata | Lähde | Nimittäjä | Ajoitus | Omistaja |
|---|---|---|---|---|---|
| Agentit arvioivat eskaloitumisen sovittujen kriteerien mukaisesti | Uuden tapauksen arviointimatriisin pisteytys (0–2 kriteeriä kohden, ei kriittisiä virheitä) | Pisteytetty tapauskäytäntö | Ohjelmaa suorittavat agentit | Ohjelman loppu, koulutusta edeltävään lähtötasoon verrattuna | Koulutusjohtaja |
| Agentit soveltavat triage-vaiheita eläviin tapauksiin | Otosten mukaisten todellisten eskalaatioiden arviointimatriisin pistemäärä | Laadunarviointinäyte | Näytteinä olevat eskaloinnit agenttia kohden | Neljästä kuuteen viikkoa ensimmäisten live-eskalaatioiden jälkeen | Tiiminvetäjä |
| Vaiheiden soveltamisen esteet ovat tiedossa | Lyhyen seurannan perusteella luokitellut syyt | Agentin seurantatarkastus | Asiamiehet, jotka hoitivat eskaloitumisen | Sama seurantaikkuna | Koulutusjohtaja |
| Eskaloinnin tuloksia seurataan kontekstissa | Uudelleenavattujen tapausten määrä, ja samanaikaiset muutokset on huomioitu | Case-järjestelmä | Eskalaatiot päättyivät kaudella | Neljännesvuosittain, verrattuna edelliseen kauteen | Operatiivinen analyytikko |
Huomaa, mitä puuttuu: ei luvattua prosentuaalista parannusta eikä väitettä, että pelkkä harjoittelu olisi ratkaiseva tekijä loppukirissä. Suunnitelma sitoo sinut keräämään rehellistä näyttöä, ei tiettyyn vastaukseen.
Missä vuorovaikutteinen ja mukautuva toimitus sopivat yhteen
Mittaaminen on helpompaa, kun oppiminen itsessään tuottaa näyttöä. Vuorovaikutteiset aktiviteetit, kuten pisteytetyt tapauskysymykset, skenaariokyselyt ja lyhyet tietämystestit, antavat sinulle oppija- ja tehtäväkohtaista tietoa koulutuksen aikana, ja mukautuva oppiminen voi ohjata ihmisiä heidän suoriutumisensa mukaan. Yhdistetyt mallit, jotka vaihtelevat live-istuntojen ja omaan tahtiin tapahtuvan opiskelun välillä, antavat sinun tehdä diagnostiikan omaan tahtiisi, harjoitella tapausta livenä palautteen avulla ja suorittaa seurantatarkastelun asynkronisesti.
Nämä ominaisuudet tukevat suunnitelmasi riveillä yksi ja kaksi esitettyä näyttöä. Ne eivät korvaa siirto- ja tulosrivejä, jotka riippuvat työssä tapahtuvista asioista. Tarkista demonstraatiota vasten, mitä raportointi- ja sisällöntuotantotoimintoja tarvitset, ennen kuin sitoudut suunnitelmaan, ja käsittele kaikkia ulkoisia työkaluja tai integraatioita erillään ydintyönkulusta, kunnes olet nähnyt niiden toimivan.
Kokeile omalla ohjelmallasi
Täytä kuusikenttäinen suunnitelma yhdelle parhaillaan toteuttamallesi ohjelmalle aloittaen päätöksestä, jota sen tulisi tukea.
Jos haluat nähdä, kuinka suunnitelmasi oppimistodisteet voitaisiin tallentaa live- tai omaan tahtiin tapahtuvassa istunnossa, tutustu AhaSlides-sivustoon.
Usein kysyttyjä kysymyksiä
Mitä ovat koulutuksen tehokkuuden mittarit?
Nämä ovat mittareita, joita käytät arvioidaksesi, saavuttiko koulutus tarkoituksensa. Hyödyllinen joukko kattaa oppimisen tavoitteisiin verrattuna, siirtymisen työhön ja operatiiviset tulokset kontekstissa luettuna, eikä pelkästään suorituksen ja tyytyväisyyden perusteella.
Onko valmistumisaste hyödyllinen mittari?
Se on hyödyllinen osallistumisen seurantaan ja käyttöongelmien havaitsemiseen. Se ei voi osoittaa, että kukaan oppi tai sovelsi taitoa, joten yhdistä se arviointiin ja seurantaan.
Kuinka kauan harjoittelun jälkeen minun pitäisi mitata siirtymistä?
Riittävän pitkä, jotta oppijoilla on todellinen mahdollisuus käyttää taitoa. Päivittäinen tehtävä saattaa vaatia pari viikkoa, kun taas harvinainen tehtävä voi vaatia pidemmän ajan. Aseta aikaikkuna suunnitelmaasi ennen koulutuksen alkua.
Pitääkö minun todistaa ROI jokaiselle kurssille?
Ei. Yhdistä todisteet päätökseen. Monia ohjelmia palvelee hyvin oppimis- ja siirtotieto sekä kontekstissa raportoidut operatiiviset tulokset. Varaa syy-seuraussuhteiden analyysi korkeiden panosten tai kustannusten omaaville ohjelmille, joiden suunnittelu sen sallii.
