Magbubukas ang isang training manager ng learning dashboard noong Lunes. Ang pagkumpleto ay 96 porsyento. Ang average na kasiyahan ay 4.5 sa 5. Pagkatapos, magtatanong ang isang team lead ng nakakahiyang tanong: "May iba ba sa paghawak ng mga tao sa mga customer escalation na ito?" Hindi masasagot ng dashboard. Itinatala nito na tapos na ang kurso, ngunit walang nagbago sa trabaho.
Ito ang puwang na iniiwan ng karamihan sa mga sukatan ng pagsasanay. Sinasabi sa iyo ng pagkumpleto kung sino ang nakarating sa dulo. Hindi nito sinasabi sa iyo kung sino ang natuto ng kasanayan, sino ang gumamit nito, o kung lumipat ang negosyo. Ang gabay na ito ay nagbibigay sa iyo ng isang hirarkiya ng ebidensya at isang pahinang plano ng pagsukat na maaari mong punan para sa anumang programa, nang hindi nagkukunwaring ang bawat kurso ay nangangailangan ng isang kumpletong pag-aaral ng causal ROI.
Ang panimulang senaryo sa itaas ay paglalarawan lamang, hindi isang dokumentadong kaso ng customer.
Mabilis na katotohanan
| Tanong | Maikling sagot |
|---|---|
| Ano ang mali sa mga rate ng pagkumpleto? | Sinusukat nila ang pakikilahok, hindi ang pagkatuto o pagbabago habang nagtatrabaho |
| Ano ang dapat mong sukatin? | Pagkatuto batay sa mga layunin, paglipat sa trabaho, pagkatapos ay mga resulta ng operasyon na may konteksto |
| Kailangan ba ng bawat kurso ang pagsusuri ng ROI? | Hindi. Itugma ang lalim ng ebidensya sa desisyong ginagawa |
| Ano ang kasama sa isang plano ng pagsukat? | Kinalabasan, sukat, pinagmulan, denominador, tiyempo at may-ari |
1. Tukuyin ang desisyong dapat suportahan ng datos
Bago pumili ng isang sukatan, pangalanan ang desisyong ipapakita nito. Tatlong karaniwang sukatan ang nangangailangan ng magkakaibang ebidensya:
- Pagbutihin ang programa. Kailangan mong malaman kung saan nahirapan ang mga mag-aaral, kaya ang mga resulta sa antas ng aytem at antas ng gawain ay mas mahalaga kaysa sa isang pasadong marka.
- Kumpirmahin ang kahandaan. Kailangan mo ng ebidensya na kayang gampanan ng isang tao ang isang tinukoy na gawain ayon sa napagkasunduang pamantayan, kadalasan sa pamamagitan ng obserbasyon o isang naka-iskor na gawain.
- Suriin ang isang paglulunsad. Kailangan mong paghambingin ang mga grupo o panahon, kaya ang mga pare-parehong sukat, denominator, at tiyempo ang pinakamahalaga.
Kung hindi mo masasabi kung aling desisyon ang sinusuportahan ng datos, kokolektahin mo ang lahat at kakaunti ang konklusyon. Isang maikling pagsubok: kung ang resulta ay hindi maganda, ano ang gagawin mo nang iba? Kung ang sagot ay "wala," hindi angkop ang sukatan sa lugar nito.
2. Sukatin ang pagkatuto laban sa mga layunin
Magsimula sa gawain sa trabaho, hindi sa nilalaman ng kurso. Isulat ang layunin bilang isang bagay na ginagawa ng isang tao ("suriin ang isang reklamo na itinaas gamit ang napagkasunduang pamantayan"), pagkatapos ay idisenyo ang pagtatasa upang tumugma. Malinaw na ipinaliwanag ng Carnegie Mellon Eberly Center ang pinagbabatayang punto: ang mga pagtatasa, layunin at mga aktibidad sa pagtuturo ay dapat magpalakas ng isa't isa, at ang pagtuturo ng mga kasanayan sa pagsusuri habang tinatasa lamang ang pag-alala sa katotohanan ay nag-iiwan sa mga mag-aaral na nagsasanay sa maling bagay (Patnubay ng Eberly Center sa pag-aayos ng mga pagtatasa, layunin, at estratehiya sa pagtuturo).
Sa pagsasagawa, nagbibigay ito sa iyo ng tatlong pagpipilian sa disenyo:
- Magtakda ng baseline. Suriin ang gawain bago magsanay, o gumamit ng maikling pagsusuri, para malaman mo kung saan nagsisimula ang bawat mag-aaral. Kung walang baseline, ang isang mahusay na marka pagkatapos ng pagsasanay ay maaaring magpakita lamang ng dating kasanayan.
- Gumamit ng katugmang follow-up. Dapat subukan ng susunod na pagtatasa ang parehong gawain at pamantayan, gamit ang isang bagong kaso sa halip na ang isinagawa. Ang pag-uulit ng magkaparehong mga aytem ay nagbibigay-daan sa pag-alala sa mga sagot.
- Panatilihing hiwalay ang kasiyahan. Ang mga reaksyon ng mag-aaral ay nakakatulong sa pagpapabuti ng karanasan, ngunit ang US Centers for Disease Control and Prevention (CDC) ay tahasang nagsasabi sa gabay nito sa pagsusuri ng pagsasanay na ang kasiyahan ng mag-aaral ay hindi tumutukoy kung epektibo ang isang pagsasanay (CDC, suriin ang pagsasanay: pagsukat ng bisaIulat ito, ngunit huwag kailanman bilang kapalit ng pagkatuto.
Makakatulong dito ang isang simpleng three-point rubric. Lagyan ng marka ang bawat kriterya ng 0 (wala o hindi sinusuportahan), 1 (bahagyang, may mga kaugnay na kakulangan) o 2 (kumpleto at makatwiran), at tukuyin nang hiwalay ang mga kritikal na pagkakamali upang hindi maitago ng pangkalahatang marka ang isang malubhang pagkabigo. Iangkop ang kriterya sa isang espesyalista sa paksa; ang rubric na ikaw mismo ang sumulat ay isang panimulang punto, hindi isang napatunayang pamantayan.
3. Suriin ang paglipat pagkatapos ng pagkakalantad sa trabaho
Magkaibang pangyayari ang pagkatuto ng isang bagay sa isang kurso at ang paggawa nito sa trabaho. Pinaghihiwalay ng gabay ng CDC ang pagtatasa ng pagkatuto mula sa pagsusuri ng paglilipat ng pagkatuto, na nagtatanong kung gaano katagumpay na nailalapat ng isang mag-aaral ang kanilang natutunan pagbalik sa lugar ng trabaho.
Kailangan ng oras para mailipat ang ebidensya. Mag-iskedyul ng follow-up pagkatapos magkaroon ng tunay na pagkakataon ang mag-aaral na gamitin ang kasanayan, na maaaring dalawang linggo para sa isang pang-araw-araw na gawain at ilang buwan para sa isang pambihirang gawain. Pagkatapos ay mangalap ng ebidensya sa isa o higit pa sa mga paraang ito:
- Obserbasyon o pagsusuri ng sample ng trabaho laban sa parehong rubric na ginamit sa pagsasanay.
- Input ng tagapamahala o kasamahan gamit ang mga espesipiko at nakabatay sa pag-uugali na mga tanong sa halip na "bumuti ba ang mga ito?".
- Katibayan ng sistema kung saan ang gawain ay nag-iiwan ng bakas, tulad ng isang nakumpletong form o isang naka-log na kaso.
Itala nang maingat ang mga hadlang gaya ng mga resulta. Ang isang mag-aaral na kayang gawin ang gawain habang nagsasanay ngunit hindi ito ginagawa sa trabaho ay maaaring kulang sa mga kagamitan, awtoridad, oras o suporta ng tagapamahala. Ang mga hadlang na iyon ay maaaring manatili kahit na bumuti na ang pagganap ng gawain sa silid-aralan, at ang mga ito ang mga natuklasan na malamang na magpabago sa iyong susunod na desisyon. Itanong "ano ang pumigil sa iyo sa paglalapat nito?" at ikategorya ang mga sagot.
4. Bigyang-kahulugan ang mga kinalabasan ng operasyon nang may konteksto
Mahalaga ang mga panukat sa operasyon tulad ng mga rate ng error, oras ng paghawak o mga rate ng resolusyon dahil ang mga ito ang pinapahalagahan ng organisasyon. Ang mga ito rin ang pinakamadaling basahin nang madalas.
Tatlong gawi ang nagpapanatili sa iyong tapat:
- Gumamit ng maihahambing na presyo. Nakakalito ang mga bilang kapag nagbabago ang mga volume. Ihambing ang mga rate laban sa isang nakasaad na denominator: mga error sa bawat daang kaso, hindi mga error sa kabuuan.
- Maglista ng mga alternatibong paliwanag. Ang pagiging pana-panahon, isang bagong kagamitan, isang pagbabago ng tauhan o isang pag-update ng patakaran ay maaaring maglipat ng parehong numero sa parehong quarter. Isulat ang mga ito bago mo tingnan ang resulta.
- Sabihin kung anong uri ng pag-aangkin ito. Kung ang mga sinanay na kawani ay nagpakita ng mas mahusay na antas kaysa sa mga hindi sinanay na kawani, iyon ay isang naobserbahang kaugnayan. Ang isang causal claim ay nangangailangan ng isang disenyo na nag-aalis ng mga alternatibo, tulad ng isang grupo ng paghahambing o isang staggered rollout. Karamihan sa mga programa ay hindi nangangailangan ng ganoong antas ng kahigpitan, at mainam na sabihin ito nang malinaw: "ang mga resulta ay lumipat sa direksyon na inaasahan natin; narito ang iba pang mga nagbago."
Iwasang mangako ng balik sa puhunan mula lamang sa pagsasanay. Iulat ang iyong naobserbahan, ang konteksto, at ang mga limitasyon.
5. Gumawa ng praktikal na plano sa pagsukat
Ilagay ang mga piraso sa isang talahanayan bawat programa. Ang bawat hilera ay isang tanong na dapat sagutin ng datos.
| Patlang | Ano ang isusulat | Bakit mahalaga ito |
|---|---|---|
| Kalalabasan | Ang pagbabagong inaasahan mo, sa mga napapansing paraan | Pinipigilan ang mga malabong layunin |
| Sukatin | Ang tiyak na marka ng sukatan o rubric | Ginagawa itong masubukan |
| pinagmulan | Kung saan nagmumula ang datos | Ipinapakita kung ito ay umiiral at mapagkakatiwalaan |
| Denominator | Kanino o ano ang sakop ng panukalang-batas | Pinipigilan ang mga nakaliligaw na raw count |
| Tiyempo | Kapag ito ay kinokolekta | Pinaghihiwalay ang pagkatuto mula sa paglilipat |
| May-ari | Ang pinangalanang taong responsable | Ginagawa itong mangyari |
Nagtrabahong halimbawa (ilustratibo, walang ipinakitang resulta)
Isipin ang isang programa upang tulungan ang mga kawani ng suporta sa customer na hawakan ang mga reklamong tumataas. Ang desisyon: kumpirmahin ang kahandaan bago tanggapin ng mga ahente ang mga reklamo nang walang kasama.
| Kalalabasan | Sukatin | pinagmulan | Denominator | Tiyempo | May-ari |
|---|---|---|---|---|---|
| Sinusuri ng mga ahente ang isang escalation gamit ang napagkasunduang pamantayan | Iskor ng rubric (0 hanggang 2 bawat pamantayan, walang kritikal na error) sa isang bagong kaso | Pagsasanay sa kaso na may iskor | Mga ahente na nakakumpleto ng programa | Pagtatapos ng programa, batay sa baseline bago ang pagsasanay | Lider ng pagsasanay |
| Inilalapat ng mga ahente ang mga hakbang sa triage sa mga live na kaso | Puntos ng rubric sa mga na-sample na totoong escalation | Halimbawa ng pagsusuri ng kalidad | Mga naka-sample na escalation bawat ahente | Apat hanggang anim na linggo pagkatapos ng mga unang live escalation | Nangunguna sa pangkat |
| Alam ang mga hadlang sa paglalapat ng mga hakbang | Mga nakategoryang dahilan mula sa isang maikling follow-up | Pagsusuri ng ahente | Mga ahente na humawak ng escalation | Parehong pananda ng pagsubaybay | Lider ng pagsasanay |
| Ang mga resulta ng escalation ay sinusubaybayan sa konteksto | Rate ng muling binuksang kaso, na may kasabay na mga pagbabagong naitala | Sistema ng kaso | Isinara ang mga escalation sa panahong iyon | Kada kwarter, kumpara sa nakaraang panahon | Analista ng operasyon |
Pansinin kung ano ang wala: walang ipinangakong porsyento ng pagbuti, at walang pag-aangkin na ang pagsasanay lamang ang magtutulak sa huling hanay. Ang plano ay nangangako sa iyo na mangalap ng tapat na ebidensya, hindi para sa isang partikular na sagot.
Kung saan naaangkop ang interactive at adaptive na paghahatid
Mas madali ang pagsukat kapag ang mismong pagkatuto ay nakakabuo ng ebidensya. Ang mga interaktibong aktibidad, tulad ng mga nakapuntos na tanong tungkol sa kaso, mga survey ng senaryo, at mga pagsusuri ng maikling kaalaman, ay nagbibigay sa iyo ng datos para sa bawat mag-aaral at bawat aytem habang nagsasanay, at ang adaptive learning ay maaaring magruta sa mga tao ayon sa kanilang pagganap. Ang mga pinaghalong disenyo na lumilipat sa pagitan ng mga live na sesyon at self-paced na pag-aaral ay nagbibigay-daan sa iyong magsagawa ng diagnostic sa sarili mong oras, magsanay ng isang kaso nang live na may feedback, at kumpletuhin ang isang follow-up na pagsusuri nang asynchronous.
Sinusuportahan ng mga kakayahang ito ang ebidensya sa mga hanay isa at dalawa ng iyong plano. Hindi nito pinapalitan ang mga hanay ng paglilipat at kinalabasan, na nakadepende sa kung ano ang nangyayari sa trabaho. Suriin kung aling mga partikular na tampok sa pag-uulat at pag-akda ang kailangan mo laban sa isang demonstrasyon bago ka mangako sa isang disenyo, at ituring ang anumang panlabas na tool o integrasyon bilang hiwalay sa pangunahing daloy ng trabaho hanggang sa makita mo itong gumagana.
Subukan ito gamit ang sarili mong programa
Punan ang anim na larangan ng plano para sa isang programang pinapatakbo mo ngayon, simula sa desisyong dapat nitong suportahan.
Para makita kung paano makukuha ang mga ebidensya sa pagkatuto sa iyong plano sa isang live o self-paced session, tuklasin ang AhaSlides.
Mga madalas itanong
Ano ang mga sukatan ng bisa ng pagsasanay?
Ang mga ito ang mga panukat na ginagamit mo upang husgahan kung nakamit ng pagsasanay ang layunin nito. Ang isang kapaki-pakinabang na hanay ay sumasaklaw sa pagkatuto laban sa mga layunin, paglipat sa trabaho, at mga kinalabasan ng operasyon na binabasa sa konteksto, sa halip na ang pagkumpleto at kasiyahan lamang.
Kapaki-pakinabang ba ang sukatan ng antas ng pagkumpleto?
Ito ay kapaki-pakinabang para sa pagsubaybay sa pakikilahok at pagtukoy sa mga problema sa pag-access. Hindi nito maipapakita na may sinuman ang natuto o naglapat ng isang kasanayan, kaya ipares ito sa isang pagtatasa at isang follow-up.
Gaano katagal pagkatapos ng pagsasanay dapat kong sukatin ang paglipat?
Sapat ang haba para magkaroon ng tunay na pagkakataon ang mga mag-aaral na gamitin ang kasanayan. Ang isang pang-araw-araw na gawain ay maaaring mangailangan ng ilang linggo, habang ang isang bihirang gawain ay nangangailangan ng mas matagal. Itakda ang palugit sa iyong plano bago magsimula ang pagsasanay.
Kailangan ko bang patunayan ang ROI para sa bawat kurso?
Hindi. Itugma ang ebidensya sa desisyon. Maraming programa ang mahusay na pinaglilingkuran ng ebidensya sa pagkatuto at paglilipat kasama ang mga kinalabasan ng operasyon na iniulat nang may konteksto. Ilaan ang pagsusuring sanhi para sa mga programang may mataas na pusta o magastos kung saan pinahihintulutan ito ng disenyo.
