Seorang manajer pelatihan membuka dasbor pembelajaran pada hari Senin. Tingkat penyelesaian mencapai 96 persen. Rata-rata kepuasan adalah 4.5 dari 5. Kemudian seorang pemimpin tim mengajukan pertanyaan yang canggung: "Apakah orang-orang menangani eskalasi pelanggan ini dengan cara yang berbeda?" Dasbor tidak dapat menjawab. Dasbor hanya mencatat bahwa kursus telah selesai, bukan bahwa ada perubahan dalam pekerjaan.
Inilah celah yang ditinggalkan oleh sebagian besar metrik pelatihan. Penyelesaian hanya memberi tahu Anda siapa yang mencapai akhir. Namun, itu tidak memberi tahu Anda siapa yang mempelajari keterampilan tersebut, siapa yang menggunakannya, atau apakah bisnis tersebut mengalami peningkatan. Panduan ini memberi Anda hierarki bukti dan rencana pengukuran satu halaman yang dapat Anda isi untuk program apa pun, tanpa harus menganggap setiap kursus membutuhkan studi ROI kausal lengkap.
Skenario pembuka di atas bersifat ilustratif, bukan kasus pelanggan yang terdokumentasi.
fakta cepat
| Pertanyaan | Jawaban singkat |
|---|---|
| Apa yang salah dengan tingkat penyelesaiannya? | Mereka mengukur partisipasi, bukan pembelajaran atau perubahan di tempat kerja. |
| Apa yang seharusnya Anda ukur sebagai gantinya? | Pembelajaran berdasarkan tujuan, penerapannya dalam pekerjaan, kemudian hasil operasional dalam konteksnya. |
| Apakah setiap kursus memerlukan analisis ROI (Return on Investment)? | Tidak. Sesuaikan kedalaman bukti dengan keputusan yang akan dibuat. |
| Apa saja yang termasuk dalam rencana pengukuran? | Hasil, ukuran, sumber, penyebut, waktu, dan pemilik |
1. Definisikan keputusan yang harus didukung oleh data tersebut.
Sebelum memilih metrik, tentukan keputusan yang akan didasari oleh metrik tersebut. Tiga keputusan umum membutuhkan bukti yang berbeda:
- Perbaiki program tersebut. Anda perlu mengetahui di mana peserta didik mengalami kesulitan, jadi hasil di tingkat item dan tingkat tugas lebih penting daripada nilai lulus.
- Konfirmasikan kesiapan. Anda memerlukan bukti bahwa seseorang dapat melakukan tugas tertentu sesuai standar yang disepakati, biasanya melalui observasi atau tugas yang dinilai.
- Menilai sebuah peluncuran. Anda perlu membandingkan kelompok atau periode, jadi ukuran, penyebut, dan waktu yang konsisten sangatlah penting.
Jika Anda tidak dapat mengatakan keputusan mana yang didukung oleh data, Anda akan mengumpulkan semuanya dan hanya menarik sedikit kesimpulan. Sebuah tes singkat: jika hasilnya buruk, apa yang akan Anda lakukan secara berbeda? Jika jawabannya "tidak ada", metrik tersebut tidak layak digunakan.
2. Mengukur pembelajaran terhadap tujuan.
Mulailah dari tugas pekerjaan, bukan dari isi kursus. Tuliskan tujuan sebagai sesuatu yang dilakukan seseorang ("menyaring keluhan yang meningkat menggunakan kriteria yang disepakati"), lalu rancang penilaian yang sesuai. Pusat Eberly Carnegie Mellon menjelaskan poin mendasar ini dengan jelas: penilaian, tujuan, dan aktivitas pembelajaran harus saling memperkuat, dan mengajarkan keterampilan analitis sambil hanya menilai kemampuan mengingat fakta membuat peserta didik mempraktikkan hal yang salah.Panduan Eberly Center tentang menyelaraskan penilaian, tujuan, dan strategi pembelajaran.).
Dalam praktiknya, itu memberi Anda tiga pilihan desain:
- Tetapkan garis dasar. Lakukan penilaian terhadap tugas sebelum pelatihan, atau gunakan diagnostik singkat, sehingga Anda tahu dari mana setiap peserta didik memulai. Tanpa acuan awal, skor pasca-pelatihan yang baik mungkin hanya mencerminkan keterampilan sebelumnya.
- Gunakan tindak lanjut yang sesuai. Penilaian selanjutnya harus menguji tugas dan standar yang sama, menggunakan kasus baru alih-alih kasus yang telah dipraktikkan. Mengulangi item yang identik akan meningkatkan daya ingat terhadap jawaban.
- Pisahkan kepuasan dari hal lain. Reaksi peserta didik membantu Anda meningkatkan pengalaman, tetapi Pusat Pengendalian dan Pencegahan Penyakit AS (CDC) secara eksplisit menyatakan dalam panduan evaluasi pelatihannya bahwa kepuasan peserta didik tidak menentukan apakah suatu pelatihan efektif atau tidak.CDC, evaluasi pelatihan: mengukur efektivitasLaporkan, tetapi jangan pernah menjadikannya sebagai pengganti pembelajaran.
Rubrik sederhana tiga poin dapat membantu di sini. Beri nilai setiap kriteria 0 (tidak ada atau tidak didukung), 1 (sebagian, dengan kekurangan yang relevan) atau 2 (lengkap dan dapat dibenarkan), dan definisikan kesalahan kritis secara terpisah sehingga nilai keseluruhan tidak dapat menyembunyikan kegagalan serius. Sesuaikan kriteria dengan spesialis bidang studi; rubrik yang Anda buat sendiri hanyalah titik awal, bukan standar yang telah divalidasi.
3. Menilai transfer setelah paparan kerja
Mempelajari sesuatu dalam sebuah kursus dan menerapkannya di tempat kerja adalah dua hal yang berbeda. Pedoman CDC memisahkan penilaian pembelajaran dari evaluasi transfer pembelajaran, yang menanyakan seberapa berhasil peserta didik menerapkan apa yang telah mereka pelajari setelah kembali ke tempat kerja.
Bukti transfer membutuhkan waktu. Jadwalkan tindak lanjut setelah peserta didik memiliki kesempatan nyata untuk menggunakan keterampilan tersebut, yang mungkin memakan waktu dua minggu untuk tugas harian dan beberapa bulan untuk tugas yang jarang dilakukan. Kemudian kumpulkan bukti dengan satu atau lebih cara berikut:
- Observasi atau peninjauan sampel kerja dengan menggunakan kriteria yang sama seperti yang digunakan dalam pelatihan.
- Masukan dari manajer atau rekan kerja. menggunakan pertanyaan spesifik berbasis perilaku, bukan pertanyaan "apakah mereka membaik?".
- Bukti sistem di mana tugas tersebut meninggalkan jejak, seperti formulir yang telah diisi atau kasus yang telah dicatat.
Catat hambatan-hambatan dengan saksama seperti halnya hasil yang dicapai. Seorang peserta didik yang mampu mengerjakan tugas dalam pelatihan tetapi tidak dapat melakukannya di tempat kerja mungkin kekurangan alat, wewenang, waktu, atau dukungan manajer. Kendala-kendala tersebut dapat tetap ada bahkan setelah kinerja tugas meningkat di kelas, dan temuan-temuan inilah yang paling mungkin mengubah keputusan Anda selanjutnya. Tanyakan "apa yang menghalangi Anda untuk menerapkan ini?" dan kategorikan jawabannya.
4. Menginterpretasikan hasil operasional dengan konteksnya
Ukuran operasional seperti tingkat kesalahan, waktu penanganan, atau tingkat penyelesaian masalah penting karena itulah yang dipedulikan organisasi. Namun, ukuran-ukuran ini juga paling mudah untuk diabaikan.
Tiga kebiasaan yang membuat Anda tetap jujur:
- Gunakan tarif yang sebanding. Penghitungan bisa menyesatkan ketika volume berubah. Bandingkan angka tersebut dengan penyebut yang dinyatakan: kesalahan per seratus kasus, bukan kesalahan secara total.
- Sebutkan penjelasan alternatif. Faktor musiman, alat baru, perubahan staf, atau pembaruan kebijakan semuanya dapat memengaruhi angka yang sama dalam kuartal yang sama. Catatlah faktor-faktor tersebut sebelum Anda melihat hasilnya.
- Sebutkan jenis klaim tersebut. Jika staf terlatih menunjukkan tingkat keberhasilan yang lebih baik daripada staf yang tidak terlatih, itu adalah asosiasi yang teramati. Klaim kausal membutuhkan desain yang mengesampingkan alternatif lain, seperti kelompok pembanding atau peluncuran bertahap. Sebagian besar program tidak memerlukan tingkat ketelitian seperti itu, dan tidak masalah untuk mengatakannya secara lugas: "hasilnya bergerak ke arah yang kami harapkan; berikut adalah perubahan lainnya."
Hindari menjanjikan pengembalian investasi hanya dari pelatihan saja. Laporkan apa yang Anda amati, konteksnya, dan keterbatasannya.
5. Buat rencana pengukuran yang praktis
Susunlah potongan-potongan data tersebut ke dalam satu tabel untuk setiap program. Setiap baris mewakili pertanyaan yang harus dijawab oleh data tersebut.
| Bidang | Apa yang harus ditulis | Mengapa itu penting |
|---|---|---|
| Hasil | Perubahan yang Anda harapkan, dalam hal yang dapat diamati. | Menghentikan tujuan yang tidak jelas |
| Mengukur | Skor metrik atau rubrik spesifik | Membuatnya dapat diuji |
| sumber | Dari mana datanya berasal | Menunjukkan apakah itu ada dan dapat dipercaya. |
| Penyebut | Siapa atau apa yang diukur dari | Mencegah penghitungan mentah yang menyesatkan |
| Pemilihan waktu | Saat dikumpulkan | Memisahkan pembelajaran dari transfer |
| pemilik | Orang yang ditunjuk sebagai penanggung jawab | Mewujudkan hal itu |
Contoh soal (ilustrasi, tidak menampilkan hasil)
Bayangkan sebuah program untuk membantu staf dukungan pelanggan menangani keluhan yang meningkat. Keputusannya: pastikan kesiapan sebelum agen menangani keluhan yang meningkat tanpa didampingi.
| Hasil | Mengukur | sumber | Penyebut | Pemilihan waktu | pemilik |
|---|---|---|---|---|---|
| Para agen melakukan triase terhadap eskalasi menggunakan kriteria yang telah disepakati. | Skor rubrik (0 hingga 2 per kriteria, tanpa kesalahan kritis) pada kasus baru | Latihan kasus yang dinilai | Agen yang menyelesaikan program | Akhir program, dibandingkan dengan data dasar sebelum pelatihan. | Pemimpin pelatihan |
| Para petugas menerapkan langkah-langkah triase pada kasus-kasus nyata. | Skor rubrik pada sampel eskalasi nyata. | Contoh ulasan kualitas | Eskalasi yang diambil sampelnya per agen | Empat hingga enam minggu setelah eskalasi langsung pertama | Pemimpin tim |
| Hambatan dalam menerapkan langkah-langkah tersebut sudah diketahui. | Alasan-alasan yang dikategorikan berdasarkan tindak lanjut singkat. | Pemeriksaan tindak lanjut agen | Agen yang menangani eskalasi | Jendela tindak lanjut yang sama | Pemimpin pelatihan |
| Hasil dari eskalasi dilacak dalam konteksnya. | Tingkat pembukaan kembali kasus, dengan perubahan yang terjadi secara bersamaan. | Sistem kasus | Eskalasi ditutup pada periode tersebut. | Secara triwulanan, dibandingkan dengan periode sebelumnya | Analis Operasi |
Perhatikan apa yang tidak ada: tidak ada janji peningkatan persentase, dan tidak ada klaim bahwa latihan saja yang menentukan hasil akhir. Rencana ini mewajibkan Anda untuk mengumpulkan bukti yang jujur, bukan untuk memberikan jawaban tertentu.
Di mana penyampaian interaktif dan adaptif cocok
Pengukuran menjadi lebih mudah ketika proses pembelajaran itu sendiri menghasilkan bukti. Aktivitas interaktif, seperti pertanyaan studi kasus yang diberi skor, jajak pendapat skenario, dan pengecekan pengetahuan singkat, memberikan data per peserta dan per item selama pelatihan, dan pembelajaran adaptif dapat mengarahkan orang sesuai dengan kinerja mereka. Desain pembelajaran campuran yang berpindah antara sesi langsung dan studi mandiri memungkinkan Anda untuk melakukan diagnostik sesuai waktu Anda sendiri, mempraktikkan studi kasus secara langsung dengan umpan balik, dan menyelesaikan tinjauan lanjutan secara asinkron.
Kemampuan ini mendukung bukti pada baris satu dan dua rencana Anda. Kemampuan ini tidak menggantikan baris transfer dan hasil, yang bergantung pada apa yang terjadi di tempat kerja. Periksa fitur pelaporan dan pembuatan konten spesifik mana yang Anda butuhkan dengan melihat demonstrasi sebelum Anda memutuskan desain, dan perlakukan alat atau integrasi eksternal apa pun sebagai terpisah dari alur kerja inti sampai Anda melihatnya berfungsi.
Cobalah dengan program Anda sendiri
Isilah rencana enam bidang untuk satu program yang Anda jalankan sekarang, dimulai dengan keputusan yang harus didukungnya.
Untuk melihat bagaimana bukti pembelajaran dalam rencana Anda dapat diabadikan dalam sesi langsung atau sesi mandiri, jelajahi AhaSlides.
Pertanyaan yang sering diajukan
Apa itu metrik efektivitas pelatihan?
Ini adalah ukuran yang Anda gunakan untuk menilai apakah pelatihan telah mencapai tujuannya. Serangkaian ukuran yang berguna mencakup pembelajaran yang sesuai dengan tujuan, penerapannya dalam pekerjaan, dan hasil operasional yang dilihat dalam konteksnya, bukan hanya penyelesaian dan kepuasan semata.
Apakah tingkat penyelesaian merupakan metrik yang berguna?
Ini berguna untuk melacak partisipasi dan mengidentifikasi masalah akses. Namun, ini tidak dapat menunjukkan bahwa seseorang telah mempelajari atau menerapkan suatu keterampilan, jadi sebaiknya gunakan bersamaan dengan penilaian dan tindak lanjut.
Berapa lama setelah pelatihan saya harus mengukur transfer data?
Cukup lama agar peserta didik memiliki kesempatan nyata untuk menggunakan keterampilan tersebut. Tugas harian mungkin membutuhkan beberapa minggu, sementara tugas yang jarang dilakukan membutuhkan waktu lebih lama. Tetapkan jangka waktu tersebut dalam rencana Anda sebelum pelatihan dimulai.
Apakah saya perlu membuktikan ROI untuk setiap kursus?
Tidak. Sesuaikan bukti dengan keputusan. Banyak program yang terbantu dengan baik oleh bukti pembelajaran dan transfer ditambah hasil operasional yang dilaporkan dengan konteksnya. Simpan analisis kausal untuk program-program yang berisiko tinggi atau berbiaya tinggi di mana desainnya memungkinkan.
