Seorang pengurus latihan membuka papan pemuka pembelajaran pada hari Isnin. Penyiapan adalah 96 peratus. Purata kepuasan adalah 4.5 daripada 5. Kemudian, ketua pasukan menanyakan soalan yang janggal: "Adakah orang ramai mengendalikan peningkatan pelanggan ini secara berbeza?" Papan pemuka tidak dapat menjawab. Ia merekodkan bahawa kursus telah selesai, bukannya apa-apa yang berubah di tempat kerja.
Ini merupakan jurang yang paling banyak ditinggalkan oleh metrik latihan. Penyiapan memberitahu anda siapa yang sampai ke penghujungnya. Ia tidak memberitahu anda siapa yang mempelajari kemahiran tersebut, siapa yang menggunakannya atau sama ada perniagaan itu telah berubah. Panduan ini memberi anda hierarki bukti dan pelan pengukuran satu halaman yang boleh anda isi untuk mana-mana program, tanpa berpura-pura setiap kursus memerlukan kajian ROI kausal yang lengkap.
Senario pembukaan di atas adalah ilustrasi, bukan kes pelanggan yang didokumenkan.
fakta Pantas
| Soalan | Jawapan pendek |
|---|---|
| Apakah yang salah dengan kadar penyiapan? | Mereka mengukur penyertaan, bukan pembelajaran atau perubahan di tempat kerja |
| Apakah yang perlu anda ukur sebaliknya? | Pembelajaran berdasarkan objektif, pemindahan ke tempat kerja, kemudian hasil operasi dengan konteks |
| Adakah setiap kursus memerlukan analisis ROI? | Tidak. Padankan kedalaman bukti dengan keputusan yang dibuat |
| Apa yang terdapat dalam pelan pengukuran? | Hasil, ukuran, sumber, penyebut, masa dan pemilik |
1. Tentukan keputusan yang perlu disokong oleh data
Sebelum memilih metrik, namakan keputusan yang akan dimaklumkannya. Tiga metrik biasa memerlukan bukti yang berbeza:
- Perbaiki program tersebut. Anda perlu tahu di mana pelajar menghadapi kesukaran, jadi keputusan peringkat item dan tugasan lebih penting daripada sekadar markah lulus.
- Sahkan kesediaan. Anda memerlukan bukti bahawa seseorang boleh melaksanakan tugas yang ditetapkan mengikut piawaian yang dipersetujui, biasanya melalui pemerhatian atau tugasan yang diberi skor.
- Nilaikan pelancaran. Anda perlu membandingkan kumpulan atau tempoh, jadi ukuran, penyebut dan masa yang konsisten adalah yang paling penting.
Jika anda tidak dapat menyatakan keputusan mana yang disokong oleh data, anda akan mengumpul semuanya dan membuat kesimpulan yang sedikit. Satu ujian ringkas: jika keputusannya teruk, apakah yang akan anda lakukan secara berbeza? Jika jawapannya "tiada apa-apa", metrik tersebut tidak mendapat tempatnya.
2. Ukur pembelajaran berbanding objektif
Mulakan daripada tugasan kerja, bukan kandungan kursus. Tulis objektif sebagai sesuatu yang dilakukan oleh seseorang ("triase aduan yang dibangkitkan menggunakan kriteria yang dipersetujui"), kemudian reka bentuk penilaian agar sepadan. Pusat Carnegie Mellon Eberly membuat perkara asas dengan jelas: penilaian, objektif dan aktiviti pengajaran harus saling mengukuhkan, dan mengajar kemahiran analitikal sambil menilai hanya ingatan fakta menyebabkan pelajar mengamalkan perkara yang salah (Panduan Pusat Eberly tentang penyelarasan penilaian, objektif dan strategi pengajaran).
Dalam praktiknya, itu memberi anda tiga pilihan reka bentuk:
- Tetapkan garis dasar. Nilaikan tugasan sebelum latihan, atau gunakan diagnostik ringkas, supaya anda tahu di mana setiap pelajar bermula. Tanpa garis dasar, skor pasca latihan yang baik hanya boleh mencerminkan kemahiran terdahulu.
- Gunakan susulan yang sepadan. Penilaian kemudian harus menguji tugasan dan piawaian yang sama, menggunakan kes baharu dan bukannya yang diamalkan. Mengulangi item yang sama akan memberi ganjaran kepada ingatan tentang jawapan.
- Asingkan kepuasan. Reaksi pelajar membantu anda meningkatkan pengalaman, tetapi Pusat Kawalan dan Pencegahan Penyakit AS (CDC) menyatakan dengan jelas dalam panduan penilaian latihannya bahawa kepuasan pelajar tidak menentukan sama ada latihan itu berkesan (CDC, menilai latihan: mengukur keberkesanan). Laporkannya, tetapi jangan sekali-kali sebagai pengganti pembelajaran.
Rubrik tiga perkara mudah membantu di sini. Nilaikan setiap kriteria 0 (tiada atau tidak disokong), 1 (sebahagian, dengan peninggalan yang berkaitan) atau 2 (lengkap dan wajar), dan takrifkan ralat kritikal secara berasingan supaya skor keseluruhan tidak dapat menyembunyikan kegagalan yang serius. Sesuaikan kriteria dengan pakar subjek; rubrik yang anda tulis sendiri adalah titik permulaan, bukan standard yang disahkan.
3. Nilaikan pemindahan selepas pendedahan kerja
Mempelajari sesuatu dalam kursus dan melakukannya di tempat kerja adalah peristiwa yang berbeza. Panduan CDC memisahkan penilaian pembelajaran daripada penilaian pemindahan pembelajaran, yang menanyakan sejauh mana pelajar berjaya mengaplikasikan apa yang mereka pelajari sebaik sahaja kembali ke tempat kerja.
Pemindahan bukti memerlukan masa. Jadualkan susulan selepas pelajar mempunyai peluang sebenar untuk menggunakan kemahiran tersebut, yang mungkin dua minggu untuk tugasan harian dan beberapa bulan untuk tugasan yang jarang berlaku. Kemudian kumpulkan bukti dalam satu atau lebih cara berikut:
- Pemerhatian atau semakan sampel kerja berdasarkan rubrik yang sama yang digunakan dalam latihan.
- Input pengurus atau rakan sebaya menggunakan soalan khusus berasaskan tingkah laku dan bukannya "adakah ia bertambah baik?".
- Bukti sistem di mana tugasan meninggalkan jejak, seperti borang yang telah lengkap atau kes yang direkodkan.
Rekodkan halangan dengan teliti seperti hasil. Pelajar yang boleh melakukan tugasan dalam latihan tetapi tidak melakukannya di tempat kerja mungkin kekurangan alat, autoriti, masa atau sokongan pengurus. Kekangan tersebut boleh kekal walaupun selepas prestasi tugasan bertambah baik di dalam bilik darjah, dan ia merupakan penemuan yang paling berkemungkinan akan mengubah keputusan anda yang seterusnya. Tanya "apa yang menghalang anda daripada menggunakan ini?" dan kategorikan jawapannya.
4. Tafsirkan hasil operasi dengan konteks
Langkah-langkah operasi seperti kadar ralat, masa pengendalian atau kadar penyelesaian adalah penting kerana ia adalah perkara yang diambil berat oleh organisasi. Ia juga paling mudah untuk dibaca secara berlebihan.
Tiga tabiat yang membuat anda jujur:
- Gunakan kadar yang setanding. Kiraan mengelirukan apabila isipadu berubah. Bandingkan kadar dengan penyebut yang dinyatakan: ralat bagi setiap seratus kes, bukan ralat secara keseluruhan.
- Senaraikan penjelasan alternatif. Faktor musim, alat baharu, perubahan kakitangan atau kemas kini dasar, semuanya boleh menggerakkan nombor yang sama pada suku tahun yang sama. Tuliskannya sebelum anda melihat hasilnya.
- Nyatakan dakwaan macam apa itu. Jika kakitangan terlatih menunjukkan kadar yang lebih baik daripada kakitangan yang tidak terlatih, itu adalah perkaitan yang diperhatikan. Dakwaan kausal memerlukan reka bentuk yang menolak alternatif, seperti kumpulan perbandingan atau pelancaran berperingkat. Kebanyakan program tidak memerlukan tahap ketelitian itu, dan adalah baik untuk mengatakannya dengan terus terang: "hasilnya bergerak ke arah yang kita harapkan; inilah yang lain berubah."
Elakkan menjanjikan pulangan pelaburan daripada latihan sahaja. Laporkan apa yang anda perhatikan, konteksnya dan hadnya.
5. Bina pelan pengukuran praktikal
Letakkan bahagian-bahagian tersebut ke dalam satu jadual bagi setiap program. Setiap baris merupakan soalan yang mesti dijawab oleh data.
| Bidang | Apa yang perlu ditulis | Mengapa ia penting? |
|---|---|---|
| Hasil | Perubahan yang anda jangkakan, dalam istilah yang boleh diperhatikan | Menghentikan matlamat yang samar-samar |
| Ukur | Skor metrik atau rubrik tertentu | Menjadikannya boleh diuji |
| Source | Di mana data berasal | Menunjukkan sama ada ia wujud dan boleh dipercayai |
| Penyebut | Daripada siapa atau apakah langkah itu diambil | Mencegah kiraan mentah yang mengelirukan |
| Masa | Apabila ia dikumpulkan | Memisahkan pembelajaran daripada pemindahan |
| Pemilik | Orang yang dinamakan yang bertanggungjawab | Menjadikannya berlaku |
Contoh yang berjaya (ilustrasi, tiada hasil ditunjukkan)
Bayangkan satu program untuk membantu kakitangan sokongan pelanggan mengendalikan aduan yang meningkat. Keputusannya: sahkan kesediaan sebelum ejen mengambil aduan tanpa rakan.
| Hasil | Ukur | Source | Penyebut | Masa | Pemilik |
|---|---|---|---|---|---|
| Ejen menilai eskalasi menggunakan kriteria yang dipersetujui | Skor rubrik (0 hingga 2 setiap kriteria, tiada ralat kritikal) pada kes baharu | Amalan kes yang dijaringkan | Ejen yang melengkapkan program | Tamat program, berdasarkan garis dasar pra-latihan | Ketua latihan |
| Ejen menggunakan langkah triaj pada kes sebenar | Skor rubrik pada peningkatan sebenar yang disampel | Sampel semakan kualiti | Peningkatan sampel bagi setiap ejen | Empat hingga enam minggu selepas peningkatan langsung pertama | Ketua pasukan |
| Halangan untuk melaksanakan langkah-langkah tersebut diketahui | Sebab-sebab yang dikategorikan daripada susulan ringkas | Pemeriksaan susulan ejen | Ejen yang mengendalikan eskalasi | Tetingkap susulan yang sama | Ketua latihan |
| Hasil peningkatan dijejaki dalam konteks | Kadar kes yang dibuka semula, dengan perubahan serentak dicatatkan | Sistem kes | Eskalasi ditutup dalam tempoh tersebut | Suku tahun, berbanding tempoh sebelumnya | Penganalisis operasi |
Perhatikan apa yang tiada: tiada peningkatan peratusan yang dijanjikan, dan tiada dakwaan bahawa latihan sahaja memacu barisan terakhir. Pelan ini mengikat anda untuk mengumpul bukti yang jujur, bukan untuk jawapan tertentu.
Di mana penyampaian interaktif dan adaptif sesuai
Pengukuran adalah lebih mudah apabila pembelajaran itu sendiri menghasilkan bukti. Aktiviti interaktif, seperti soalan kes yang dijaringkan, tinjauan senario dan semakan pengetahuan ringkas, memberi anda data setiap pelajar dan setiap item semasa latihan, dan pembelajaran adaptif boleh mengarahkan orang ramai mengikut prestasi mereka. Reka bentuk campuran yang beralih antara sesi langsung dan pembelajaran kendiri membolehkan anda mengambil diagnostik pada masa anda sendiri, berlatih kes secara langsung dengan maklum balas dan melengkapkan semakan susulan secara tidak segerak.
Keupayaan ini menyokong bukti dalam baris satu dan dua pelan anda. Ia tidak menggantikan baris pemindahan dan hasil, yang bergantung pada apa yang berlaku di tempat kerja. Semak ciri pelaporan dan pengarangan khusus yang anda perlukan terhadap demonstrasi sebelum anda komited kepada reka bentuk dan anggap sebarang alat atau integrasi luaran sebagai berasingan daripada aliran kerja teras sehingga anda melihatnya berfungsi.
Cubalah dengan program anda sendiri
Isi pelan enam bidang untuk satu program yang anda jalankan sekarang, bermula dengan keputusan yang harus disokongnya.
Untuk melihat bagaimana bukti pembelajaran dalam pelan anda boleh ditangkap dalam sesi langsung atau sesi kendiri, terokai AhaSlides.
Soalan lazim
Apakah metrik keberkesanan latihan?
Ia merupakan ukuran yang anda gunakan untuk menilai sama ada latihan mencapai tujuannya. Satu set yang berguna merangkumi pembelajaran terhadap objektif, pemindahan ke tempat kerja dan hasil operasi yang dibaca dalam konteks, bukannya penyiapan dan kepuasan sahaja.
Adakah kadar penyiapan merupakan metrik yang berguna?
Ia berguna untuk menjejaki penyertaan dan mengenal pasti masalah akses. Ia tidak dapat menunjukkan bahawa sesiapa telah mempelajari atau menggunakan sesuatu kemahiran, jadi pasangkannya dengan penilaian dan susulan.
Berapa lama selepas latihan saya perlu mengukur pemindahan?
Cukup lama untuk pelajar berpeluang menggunakan kemahiran tersebut. Tugasan harian mungkin memerlukan beberapa minggu, manakala tugasan yang jarang berlaku memerlukan masa yang lebih lama. Tetapkan tempoh dalam pelan anda sebelum latihan bermula.
Perlukah saya membuktikan ROI untuk setiap kursus?
Tidak. Padankan bukti dengan keputusan. Banyak program dilengkapi dengan bukti pembelajaran dan pemindahan serta hasil operasi yang dilaporkan dengan konteks. Gunakan analisis kausal untuk program berisiko tinggi atau berkos tinggi di mana reka bentuk membenarkannya.
