Program percontohan berakhir. Dua belas orang berpartisipasi, hampir semuanya mengatakan program itu bermanfaat dan fasilitator merasa puas. Kemudian kepala operasional mengajukan pertanyaan yang wajar: "Apakah ada yang melakukan pekerjaannya secara berbeda?" Tidak ada yang mengukur bagaimana orang bekerja sebelum program percontohan, tidak ada yang membandingkan mereka dengan siapa pun, dan tim mengubah prosesnya di bulan yang sama. Program percontohan menghasilkan niat baik, bukan bukti.
Ini adalah skenario ilustratif, bukan kasus pelanggan yang terdokumentasi. Ini menunjukkan cara umum yang salah dalam mengevaluasi program pelatihan: uji coba dijalankan, tetapi tidak pernah dirancang untuk menjawab suatu pertanyaan.
Panduan ini ditujukan untuk kepala L&D, perancang instruksional, dan manajer pelatihan. Panduan ini mencakup lima langkah: menentukan pertanyaan uji coba, memilih peserta dan ukuran dasar, mencatat perjalanan pembelajaran, menilai kinerja dan transfer tugas baru, dan menyepakati bagaimana hasil akan memengaruhi peluncuran. Panduan ini diakhiri dengan templat yang dapat Anda adaptasi dan batasan yang masih ada.
Apa itu pilot pelatihan?
Uji coba pelatihan adalah pelaksanaan skala kecil dan terbatas waktu dari sebuah desain pembelajaran sebelum Anda menerapkannya dalam skala besar. Tujuannya adalah untuk mengetahui apakah desain tersebut layak dan apa manfaatnya, bukan untuk membuktikan bahwa desain tersebut berhasil di mana-mana.
Perbedaan itu penting. Pusat Nasional AS untuk Kesehatan Komplementer dan Integratif mendeskripsikan studi percontohan sebagai uji coba skala kecil dari metode dan prosedur yang akan digunakan pada skala yang lebih besar, dan memperingatkan bahwa studi percontohan tidak dirancang untuk menjawab pertanyaan tentang kemanjuran, sehingga efek apa pun yang tampaknya ditunjukkannya tidak stabil (NCCIH, Studi Percontohan: Penggunaan dan Penyalahgunaan UmumPedoman itu ditulis untuk penelitian kesehatan, tetapi logikanya tetap berlaku. Sebuah uji coba yang melibatkan dua belas orang dapat memberi tahu Anda apakah Anda dapat merekrut, melaksanakan, mengukur, dan melakukan tindak lanjut. Namun, uji coba tersebut tidak dapat memberi tahu Anda, dengan pasti, seberapa besar dampaknya di seluruh organisasi.
fakta cepat
| Pertanyaan | Jawaban singkat |
|---|---|
| Pilot itu tugas apa? | Menguji asumsi pembelajaran dan penyampaian sebelum diterapkan dalam skala besar. |
| Apa yang Anda butuhkan sebelum acara dimulai? | Pertanyaan yang dapat diuji, sebuah tugas, tolok ukur, dan kriteria pengambilan keputusan. |
| Apa yang dianggap sebagai bukti transfer? | Kinerja pada tugas baru setelah terpapar pekerjaan, bukan kepuasan. |
| Apakah Anda memerlukan kelompok kontrol? | Tidak selalu. Kelompok pembanding atau peluncuran bertahap membantu jika hal itu memungkinkan dan adil. |
| Kapan Anda menetapkan kriteria pengambilan keputusan? | Sebelum Anda melihat hasilnya. |
| Apa yang tidak bisa diceritakan oleh pilot kepada Anda? | Seberapa besar dampaknya dalam skala besar. |
1. Jelaskan pertanyaan pilot.
Mulailah dengan pertanyaan yang dapat dijawab ya atau tidak, atau dengan angka, dan sebutkan keputusan yang akan diinformasikan oleh pertanyaan tersebut.
Pertanyaan yang lemah: "Apakah program orientasi karyawan baru ini berhasil?" Pertanyaan yang dapat diuji: "Setelah program orientasi yang didesain ulang, apakah karyawan baru dapat menangani eskalasi pelanggan standar tanpa bantuan, dan apakah program percontohan ini praktis untuk dilaksanakan dengan waktu pelatihan yang kita miliki?"
Tuliskan tiga hal:
- Tugas tersebut. Apa yang akan dapat dilakukan orang-orang yang sebelumnya tidak dapat mereka lakukan, atau tidak mereka lakukan dengan baik?
- Keputusan. Apakah Anda akan merevisi desainnya, menjalankan uji coba lain, atau meluncurkannya secara lebih luas?
- Asumsi pembelajaran dan penyampaian. Apa asumsi Anda mengenai prasyarat, waktu, kapasitas pembinaan, dan alat-alat yang harus diuji oleh proyek percontohan?
Jika Anda tidak dapat menyebutkan keputusan tersebut, Anda belum siap untuk menjalankan proyek percontohan. Hasilnya akan datang tanpa ada yang menunggu untuk menindaklanjutinya.
2. Memilih peserta dan pengukuran dasar.
Data dasar adalah bukti bagaimana seseorang melakukan tugas sebelum pelatihan. Tanpa data dasar, "peningkatan" tidak memiliki data pembanding.
Pilih peserta dengan cermat. Pilihlah orang-orang yang benar-benar melakukan tugas tersebut dan menyerupai kelompok yang akan Anda jangkau. Program percontohan yang hanya melibatkan sukarelawan paling antusias akan lebih sesuai dengan rancangan yang telah dibuat.
Catat data dasarnya. Gunakan jenis pengukuran yang sama yang akan Anda gunakan setelahnya, sehingga keduanya dapat dibandingkan. Pilihannya meliputi sampel kerja singkat, observasi terstruktur, tinjauan hasil kerja terbaru, atau studi kasus yang diberi skor. Catat siapa yang dilibatkan, berapa banyak yang memenuhi syarat, dan kapan Anda melakukan pengukuran.
Pikirkan sebuah perbandingan. Desain yang paling kuat membandingkan orang-orang yang mengikuti program percontohan dengan orang-orang serupa yang tidak mengikutinya. Hal itu tidak selalu mungkin atau adil, terutama ketika pelatihan diperlukan untuk keselamatan atau kepatuhan. Peluncuran bertahap adalah alternatif yang praktis: satu kelompok memulai sekarang, kelompok serupa memulai kemudian, dan kelompok yang terakhir bertindak sebagai pembanding untuk kelompok pertama. Apa pun yang Anda pilih, jelaskan dalam rencana mengapa hal itu adil bagi mereka yang terlibat.
3. Menyampaikan dan mencatat perjalanan pembelajaran.
Bukti hanya berguna jika Anda tahu apa yang telah dikirimkan. Catatlah secara jelas apa yang terjadi, karena biaya dan upaya pengiriman merupakan bagian dari apa yang diuji oleh proyek percontohan.
Merekam:
- Persiapan. Apa yang dilakukan orang-orang sebelum sesi dimulai, dan berapa lama waktu yang dibutuhkan?
- Praktek. Kasus atau latihan apa saja yang mereka kerjakan, dan umpan balik apa yang mereka dapatkan?
- Pembinaan Siapa yang menjadi pelatih, berapa lama, dan apakah sesi tersebut dilakukan secara langsung atau asinkron?
- Perubahan operasional. Hal lain yang berubah selama masa uji coba, seperti alat baru, perubahan kebijakan, lonjakan permintaan musiman, atau pergantian manajer.
- Konfigurasi produk dan biaya. Konfigurasi sebenarnya yang Anda gunakan, serta waktu dan biaya yang dibutuhkan untuk mewujudkannya.
Dua hal terakhir sangat penting untuk keputusan peluncuran. Desain yang hanya berfungsi dengan tingkat pelatihan yang tidak mampu Anda berikan dalam skala besar telah mengajarkan Anda sesuatu yang berharga, dan log-nya adalah buktinya.
4. Menilai kinerja dan transfer tugas baru
Evaluasi pelatihan sering digambarkan dengan empat tingkatan model Kirkpatrick: reaksi, pembelajaran, perilaku, dan hasil.Mitra KirkpatrickSeorang pilot harus melampaui level pertama. Reaksi, apakah orang-orang menganggapnya bermanfaat, cepat dikumpulkan tetapi tidak banyak memberi tahu apakah mereka akan bertindak secara berbeda.
Uji pembelajaran pada tugas baru. Berikan peserta sebuah kasus yang belum pernah mereka latih, dan beri nilai dengan kriteria yang sama seperti yang Anda gunakan pada tahap awal. Tugas baru menunjukkan apakah orang dapat menerapkan apa yang telah mereka pelajari, bukan apakah mereka mengingat sebuah contoh.
Lakukan tindak lanjut setelah terpapar di tempat kerja. Transfer berarti menerapkan apa yang dipelajari di tempat kerja, dan mempertahankannya dari waktu ke waktu. Tinjauan Baldwin dan Ford yang sering dikutip pada tahun 1988 mendefinisikan transfer sebagai generalisasi materi yang dipelajari ke pekerjaan dan pemeliharaannya dari waktu ke waktu, dan melihat bagaimana desain pelatihan, karakteristik peserta pelatihan, dan lingkungan kerja memengaruhinya.Baldwin dan Ford, 1988Jadi, rencanakan tindak lanjut setelah orang-orang benar-benar melakukan pekerjaan nyata, misalnya beberapa minggu kemudian, dan ukur kembali tugas yang sama.
Rekor yang dipatok. Jika seseorang tidak menggunakan pendekatan baru di tempat kerja, tanyakan alasannya. Jawabannya mungkin karena kurangnya alat, manajer yang mengharapkan cara lama, atau waktu yang terlalu sedikit. Ini adalah temuan tentang lingkungan kerja, bukan kegagalan si pembelajar.
Jangan menyimpulkan transfer berdasarkan kepuasan. Skor umpan balik yang baik layak dicatat. Skor tersebut tidak menunjukkan bahwa perilaku telah berubah.
5. Tentukan bagaimana hasil tersebut memengaruhi peluncuran.
Tuliskan kriteria pengambilan keputusan sebelum Anda melihat hasilnya. Jika tidak, akan mudah untuk menemukan alasan untuk melanjutkan apa pun yang Anda lihat.
Struktur sederhana:
| Jika pilotnya menunjukkan | Kemudian |
|---|---|
| Kinerja tugas meningkat, transfer terlaksana, pengiriman dapat dilakukan. | Rencanakan peluncuran yang lebih luas dan terus lakukan pengukuran. |
| Kinerja tugas meningkat, tetapi transfer terhambat oleh lingkungan kerja. | Perbaiki penghalang tersebut, lalu jalankan uji coba kedua. |
| Tidak banyak perubahan pada tugas baru. | Periksa kembali desain sebelum menjalankan proses lebih lanjut. |
| Biaya pengiriman atau waktu pelatihan tidak memungkinkan. | Rancang ulang cara penyampaiannya, lalu lakukan uji coba lagi. |
Jujurlah tentang apa yang dapat didukung oleh kelompok kecil. Perlakukan angka-angka tersebut sebagai indikatif, laporkan ukuran kelompok dan penyebutnya, dan hindari ukuran efek atau jaminan. Nyatakan perubahan lain apa yang terjadi pada waktu yang sama sebelum Anda memberikan kredit untuk pelatihan tersebut.
Templat pengukuran percontohan
Sebagai ilustrasi. Praktisi yang melakukan pekerjaan ini harus meninjaunya sebelum digunakan.
| Bagian | Apa yang perlu dituliskan |
|---|---|
| Pertanyaan pilot | Pertanyaan yang dapat diuji dan keputusan yang diinformasikan oleh pertanyaan tersebut. |
| tugas | Tugas baru yang harus dilakukan orang-orang, dan bagaimana tugas tersebut akan dinilai. |
| Peserta | Siapa yang termasuk, berapa banyak yang memenuhi syarat, dan kelompok pembanding apa saja yang ada. |
| Dasar | Ukuran, tanggal, dan skor sebelum pelatihan. |
| Perjalanan pembelajaran | Persiapan, latihan, pembinaan, waktu, dan biaya. |
| Perubahan serentak | Apakah ada perubahan lain selama uji coba? |
| Hasil tugas baru | Skor pada tugas yang tidak dipraktikkan selama uji coba. |
| Tindak lanjut | Waktu pelaksanaan, siapa yang dijangkau, dan skor setelah paparan kerja. |
| Hambatan | Apa yang menghalangi orang untuk menerapkan pembelajaran tersebut? |
| Kriteria keputusan | Ambang batas yang Anda tetapkan sebelum meninjau hasil. |
| Hasil | Merevisi, melakukan uji coba lagi, atau meluncurkan secara penuh, dan alasannya. |
Di mana penyampaian interaktif membantu
Format interaktif cocok untuk tahap praktik uji coba karena setiap orang berkomitmen pada jawaban sebelum melihat jawaban kelompok, yang memberikan catatan penalaran daripada hanya kehadiran. Fasilitator dapat menjalankan studi kasus secara langsung, dan studi kasus yang sama dapat digunakan secara mandiri untuk persiapan atau tindak lanjut. AhaSlides mendukung pembelajaran interaktif dan perpindahan antara penyampaian langsung dan mandiri. Periksa fungsi pembuatan, umpan balik, atau pelaporan spesifik yang ingin Anda andalkan terhadap alur kerja Anda sendiri, dan perlakukan fitur AI, simulasi, dan integrasi sebagai fitur eksternal atau belum dikonfirmasi sampai Anda melihatnya berfungsi. Untuk memilih format, lihat Kapan menggunakan pembelajaran adaptif, interaktif, dan langsung?Untuk mencocokkan aktivitas dengan pola pikir yang ingin Anda ukur, lihat panduan kami tentang... Mencocokkan aktivitas pembelajaran dengan Taksonomi Bloom.
Kendala yang mungkin masih ada
Bahkan uji coba yang dirancang dengan baik pun masih menyisakan beberapa hal yang belum terselesaikan:
- Jumlah kecil. Proyek percontohan menunjukkan kelayakan dan arah yang ingin dicapai, bukan seberapa besar dampaknya dalam skala besar.
- Lingkungan kerja. Orang-orang dapat berprestasi baik dalam tugas baru tetapi tetap tidak menggunakannya di tempat kerja jika manajer, alat, atau insentif mereka mengarah ke arah yang berlawanan.
- Pengaturan waktu. Pemeriksaan lanjutan setelah beberapa minggu tidak menunjukkan apa yang tersisa setelah enam bulan.
- Perubahan serentak. Perubahan lain dalam periode yang sama dapat menjelaskan sebagian dari peningkatan tersebut.
- Pilihan. Orang-orang yang menjadi sukarelawan mungkin berbeda dengan orang-orang yang Anda jangkau melalui proses penggalangan dana.
Rencanakan solusi terpisah untuk hal-hal ini, dan beri tahu sponsor pertanyaan mana yang belum terselesaikan dalam uji coba.
Pertanyaan yang sering diajukan
Seberapa besar ukuran ideal seorang pilot latih?
Cukup besar untuk menguji apakah desain tersebut praktis untuk diterapkan dan diukur, dan cukup kecil untuk diubah dengan biaya murah. Tidak ada satu angka yang tepat. Laporkan ukuran kelompok dan anggap setiap hasil sebagai indikatif.
Apakah saya memerlukan kelompok kontrol untuk mengevaluasi program pelatihan?
Kelompok pembanding membuat bukti lebih kuat, tetapi tidak selalu layak atau adil. Alternatif praktisnya adalah menggunakan data dasar ditambah peluncuran bertahap, di mana kelompok serupa memulai kemudian.
Kapan saya harus mengukur transfer?
Setelah orang-orang memiliki waktu dan kesempatan untuk menerapkan pembelajaran di tempat kerja, berikan waktu setidaknya beberapa minggu. Ukur kembali tugas yang sama, dan tanyakan tentang hambatan yang mencegah siapa pun menggunakannya.
Apakah kepuasan merupakan ukuran yang berguna?
Hal ini berguna untuk meningkatkan pengalaman, tetapi bukan bukti transferabilitas. Padukan dengan kinerja pada tugas baru.
Mulai dari mana
Pilih satu tugas yang penting dan tuliskan keputusan yang akan diinformasikan oleh proyek percontohan tersebut. Catat bagaimana beberapa orang melakukan tugas tersebut saat ini, menggunakan contoh pekerjaan singkat atau studi kasus yang diberi skor. Kemudian tuliskan kriteria keputusan Anda sebelum proyek percontohan dimulai, dan catat tanggal tindak lanjutnya di buku harian.
Untuk melihat bagaimana studi kasus dapat dijalankan secara langsung dengan tim Anda sendiri, dan digunakan kembali secara mandiri setelahnya, jelajahi AhaSlides.
