Satu percubaan rintis tamat. Dua belas orang telah mengambil bahagian, hampir kesemuanya berkata ia berguna dan fasilitator berpuas hati. Kemudian ketua operasi bertanya soalan yang adil: "Adakah sesiapa melakukan tugas mereka secara berbeza?" Tiada siapa yang mengukur cara orang bekerja sebelum percubaan rintis, tiada siapa yang membandingkan mereka dengan sesiapa pun, dan pasukan itu mengubah prosesnya pada bulan yang sama. Perintis itu menghasilkan muhibah, bukan bukti.
Ini merupakan senario ilustrasi, bukan kes pelanggan yang didokumenkan. Ia menunjukkan cara biasa penilaian program latihan menjadi salah: program rintis dijalankan, tetapi ia tidak pernah direka untuk menjawab soalan.
Panduan ini adalah untuk ketua P&P, pereka pengajaran dan pengurus latihan. Ia merangkumi lima langkah: menentukan soalan rintis, memilih peserta dan ukuran asas, merekodkan perjalanan pembelajaran, menilai prestasi dan pemindahan tugasan baharu, dan bersetuju bagaimana keputusan akan mempengaruhi pelancaran. Ia diakhiri dengan templat yang boleh anda sesuaikan dan kekangan yang masih ada.
Apakah itu juruterbang latihan?
Rintis latihan merupakan satu larian kecil reka bentuk pembelajaran yang terhad masanya sebelum anda komited untuk melaksanakannya secara besar-besaran. Tugasnya adalah untuk mengetahui sama ada reka bentuk itu boleh dilaksanakan dan apakah yang patut dilakukan, bukan untuk membuktikan ia berkesan di mana-mana sahaja.
Perbezaan itu penting. Pusat Kebangsaan AS untuk Kesihatan Komplementari dan Integratif menggambarkan kajian rintis sebagai ujian berskala kecil tentang kaedah dan prosedur yang akan digunakan pada skala yang lebih besar, dan memberi amaran bahawa kajian rintis tidak diberi kuasa untuk menjawab soalan tentang keberkesanan, jadi sebarang kesan yang ditunjukkan adalah tidak stabil (NCCIH, Kajian Rintis: Kegunaan dan Penyalahgunaan Biasa). Panduan itu ditulis untuk penyelidikan kesihatan, tetapi logiknya berterusan. Seorang juruterbang yang terdiri daripada dua belas orang boleh memberitahu anda sama ada anda boleh merekrut, menyampaikan, mengukur dan membuat susulan. Ia tidak dapat memberitahu anda, dengan yakin, betapa besarnya kesannya di seluruh organisasi.
fakta Pantas
| Soalan | Jawapan pendek |
|---|---|
| Apakah kegunaan juruterbang? | Menguji andaian pembelajaran dan penyampaian sebelum skala. |
| Apa yang anda perlukan sebelum ia bermula? | Soalan yang boleh diuji, tugasan, garis dasar dan kriteria keputusan. |
| Apakah yang dikira sebagai bukti pemindahan? | Prestasi dalam tugasan baharu selepas pendedahan kerja, bukan kepuasan. |
| Adakah anda memerlukan kumpulan kawalan? | Tidak selalunya. Kumpulan perbandingan atau pelancaran berperingkat membantu apabila ia boleh dilaksanakan dan adil. |
| Bilakah anda menetapkan kriteria keputusan? | Sebelum anda melihat sebarang keputusan. |
| Apa yang juruterbang tidak boleh beritahu anda? | Seberapa besar kesannya pada skala besar. |
1. Takrifkan soalan rintis
Mulakan dengan soalan yang boleh dijawab ya atau tidak, atau dengan nombor, dan namakan keputusan yang akan dimaklumkannya.
Satu soalan yang lemah: "Adakah program onboarding baharu ini berkesan?" Satu soalan yang boleh diuji: "Selepas onboarding yang direka bentuk semula, bolehkah permulaan baharu mengendalikan peningkatan pelanggan standard tanpa bantuan, dan adakah projek rintis ini praktikal untuk dilaksanakan dengan masa bimbingan yang kita ada?"
Tuliskan tiga perkara:
- Tugas itu. Apakah yang akan dapat dilakukan oleh orang ramai yang mereka tidak dapat lakukan, atau tidak melakukannya dengan baik, sebelum ini?
- Keputusan itu. Adakah anda akan menyemak semula reka bentuk, menjalankan satu lagi projek rintis atau melancarkannya dengan lebih meluas?
- Andaian pembelajaran dan penyampaian. Apakah andaian anda tentang prasyarat, masa, kapasiti bimbingan dan alatan yang perlu diuji oleh juruterbang?
Jika anda tidak dapat menamakan keputusan tersebut, anda belum bersedia untuk menjalankan projek rintis tersebut. Keputusannya akan tiba tanpa sesiapa yang menunggu untuk bertindak ke atasnya.
2. Pilih peserta dan langkah asas
Garis dasar adalah bukti bagaimana orang ramai melaksanakan tugas sebelum latihan. Tanpanya, "peningkatan" tidak dapat dibandingkan.
Pilih peserta dengan sengaja. Pilih orang yang melakukan tugas sebenar dan menyerupai kumpulan yang anda rancang untuk sertai. Jurulatih yang hanya mempunyai sukarelawan anda yang paling bersemangat akan menyerlahkan reka bentuknya.
Tangkap garis dasar. Gunakan jenis ukuran yang sama yang akan anda gunakan selepas itu, supaya kedua-duanya boleh dibandingkan. Pilihan termasuk sampel kerja pendek, pemerhatian berstruktur, semakan output terkini atau kes yang dijaringkan. Rekodkan siapa yang dimasukkan, berapa ramai yang layak dan bila anda mengukur.
Fikirkan tentang perbandingan. Reka bentuk yang paling kukuh membandingkan orang yang mengambil percubaan rintis dengan orang yang serupa yang tidak. Itu tidak selalunya mungkin atau adil, terutamanya apabila latihan diperlukan untuk keselamatan atau pematuhan. Pelancaran berperingkat adalah alternatif yang praktikal: satu kumpulan bermula sekarang, kumpulan yang serupa bermula kemudian, dan kumpulan yang kemudian bertindak sebagai perbandingan untuk kumpulan yang pertama. Apa sahaja yang anda pilih, nyatakan dalam pelan mengapa ia adil kepada mereka yang terlibat.
3. Menyampaikan dan merekodkan perjalanan pembelajaran
Bukti hanya berguna jika anda tahu apa yang telah dihantar. Simpan rekod yang jelas tentang apa yang berlaku, kerana kos dan usaha penghantaran adalah sebahagian daripada apa yang diuji oleh percubaan.
Rekod:
- Penyediaan. Apakah yang dilakukan oleh orang ramai sebelum sesi tersebut, dan berapa lama masa yang diambil?
- Amalan. Kes atau latihan manakah yang telah mereka selesaikan, dan apakah maklum balas yang mereka terima?
- Kejurulatihan. Siapakah yang melatih, berapa lama, dan adakah ia secara langsung atau tidak segerak?
- Perubahan operasi. Apa-apa sahaja yang berubah semasa percubaan, seperti alat baharu, perubahan dasar, kesibukan bermusim atau pertukaran pengurus.
- Konfigurasi dan kos produk. Persediaan sebenar yang anda gunakan, serta masa dan wang yang diperlukan untuk penghantaran.
Dua yang terakhir paling penting untuk keputusan pelancaran. Reka bentuk yang hanya berfungsi dengan tahap bimbingan yang anda tidak mampu bayar pada skala besar telah mengajar anda sesuatu yang berharga, dan lognya adalah apa yang menunjukkannya.
4. Menilai prestasi dan pemindahan tugas baharu
Penilaian latihan sering digambarkan dengan empat peringkat model Kirkpatrick: reaksi, pembelajaran, tingkah laku dan keputusan (Rakan Kongsi Kirkpatrick). Seorang juruterbang harus mencapai tahap yang lebih tinggi daripada tahap pertama. Reaksi, sama ada orang ramai menganggapnya berguna, cepat difahami tetapi tidak banyak yang menunjukkan sama ada mereka akan menunjukkan prestasi yang berbeza.
Uji pembelajaran pada tugasan baharu. Berikan peserta satu kes yang belum mereka praktikkan, dan nilaikannya dengan kriteria yang sama yang anda gunakan pada peringkat awal. Tugasan baharu menunjukkan sama ada orang ramai boleh mengaplikasikan apa yang mereka pelajari, bukan sama ada mereka mengingati satu contoh.
Susulan selepas pendedahan kerja. Pemindahan bermaksud mengaplikasikan apa yang telah dipelajari di tempat kerja, dan mengekalkannya dari semasa ke semasa. Kajian Baldwin dan Ford yang sering dipetik pada tahun 1988 mentakrifkan pemindahan sebagai pengitlakan bahan yang dipelajari kepada pekerjaan dan penyelenggaraannya dari semasa ke semasa, dan melihat bagaimana reka bentuk latihan, ciri-ciri pelatih dan persekitaran kerja mempengaruhinya (Baldwin dan Ford, 1988Jadi, rancang susulan selepas orang ramai mempunyai kerja sebenar untuk dilakukan, contohnya beberapa minggu kemudian, dan ukur tugas yang sama sekali lagi.
Halangan rekod. Jika seseorang tidak menggunakan pendekatan baharu di tempat kerja, tanyakan sebabnya. Jawapannya mungkin alat yang hilang, pengurus yang mengharapkan cara lama atau terlalu sedikit masa. Ini adalah penemuan tentang persekitaran kerja, bukan kegagalan pelajar.
Jangan membuat kesimpulan bahawa kepuasan adalah sesuatu yang boleh dipindahkan. Skor maklum balas yang baik adalah berbaloi untuk direkodkan. Ia tidak menunjukkan bahawa tingkah laku telah berubah.
5. Tentukan bagaimana keputusan mempengaruhi pelancaran
Tulis kriteria keputusan sebelum anda melihat hasilnya. Jika tidak, mudah untuk mencari sebab untuk meneruskan apa sahaja yang anda lihat.
Struktur mudah:
| Jika juruterbang menunjukkan | Kemudian |
|---|---|
| Prestasi tugas bertambah baik, pemindahan ditangguhkan, penyampaian dapat dilaksanakan | Rancang pelancaran yang lebih luas dan teruskan mengukur. |
| Prestasi tugas bertambah baik, tetapi pemindahan telah disekat oleh persekitaran kerja | Betulkan penghadang, kemudian jalankan percubaan kedua. |
| Sedikit perubahan pada tugasan baharu | Semak semula reka bentuk sebelum sebarang percubaan selanjutnya. |
| Kos penghantaran atau masa bimbingan tidak dapat dilaksanakan | Reka bentuk semula cara ia disampaikan, kemudian uji kaji sekali lagi. |
Bersikap jujur tentang apa yang boleh disokong oleh kumpulan kecil. Anggap nombor sebagai indikatif, laporkan saiz kumpulan dan penyebutnya, dan elakkan saiz kesan atau jaminan. Nyatakan perubahan lain yang berlaku pada masa yang sama sebelum anda memberi penghargaan kepada latihan tersebut.
Templat pengukuran rintis
Ilustrasi. Seorang pengamal yang melakukan kerja ini harus menyemaknya sebelum digunakan.
| seksyen | Apa yang perlu ditulis |
|---|---|
| Soalan juruterbang | Soalan yang boleh diuji dan keputusan yang dimaklumkannya. |
| Petugas | Tugas baharu yang perlu dilakukan oleh orang ramai, dan bagaimana ia akan dinilai. |
| Peserta | Siapakah yang termasuk, berapa ramai yang layak dan mana-mana kumpulan perbandingan. |
| Baseline | Ukuran, tarikh dan skor sebelum latihan. |
| Perjalanan pembelajaran | Persediaan, latihan, bimbingan, masa dan kos. |
| Perubahan serentak | Apa-apa sahaja yang berubah semasa percubaan. |
| Hasil tugasan baharu | Markah untuk tugasan yang tidak dilatih semasa ujian rintis. |
| Susulan | Masa, siapa yang dicapai, dan skor selepas pendedahan kerja. |
| Halangan | Apa yang menghalang orang ramai daripada mengaplikasikan pembelajaran tersebut. |
| Kriteria keputusan | Ambang yang anda tetapkan sebelum menyemak keputusan. |
| Hasil | Semak semula, rintis semula atau lancarkan dan sebabnya. |
Di mana penghantaran interaktif membantu
Format interaktif sesuai dengan peringkat latihan rintis kerana setiap orang komited kepada jawapan sebelum melihat jawapan kumpulan, yang memberikan anda rekod penaakulan dan bukan hanya kehadiran. Fasilitator boleh menjalankan kes secara langsung, dan kes yang sama boleh digunakan mengikut rentak kendiri untuk persediaan atau susulan. AhaSlides menyokong pembelajaran interaktif dan beralih antara penyampaian secara langsung dan mengikut rentak kendiri. Semak sebarang fungsi pengarangan, maklum balas atau pelaporan tertentu yang anda rancang untuk anda andalkan berbanding aliran kerja anda sendiri, dan anggap ciri AI, simulasi dan integrasi sebagai luaran atau belum disahkan sehingga anda melihatnya berfungsi. Untuk memilih antara format, lihat bila perlu menggunakan pembelajaran adaptif, interaktif dan secara langsungUntuk memadankan aktiviti dengan pemikiran yang ingin anda ukur, lihat panduan kami untuk memadankan aktiviti pembelajaran dengan Taksonomi Bloom.
Kekangan yang mungkin kekal
Malah juruterbang yang direka dengan baik meninggalkan beberapa perkara yang tidak dapat diselesaikan:
- Nombor kecil. Juruterbang menunjukkan kebolehlaksanaan dan hala tuju, bukan seberapa besar kesannya pada skala besar.
- Persekitaran kerja. Orang ramai boleh melaksanakan tugasan baharu dengan baik tetapi masih tidak menggunakannya di tempat kerja jika pengurus, alatan atau insentif mereka menunjukkan sebaliknya.
- Masa. Susulan selepas beberapa minggu tidak menunjukkan apa yang tinggal selepas enam bulan.
- Perubahan serentak. Perubahan lain dalam tempoh yang sama boleh menjelaskan beberapa penambahbaikan.
- Pemilihan. Orang yang menjadi sukarelawan mungkin berbeza daripada orang yang anda tawarkan bantuan.
Rancang pembaikan berasingan untuk perkara ini, dan beritahu penaja soalan mana yang tidak dapat diselesaikan oleh projek rintis.
Soalan lazim
Berapakah saiz yang sepatutnya bagi seorang juruterbang latihan?
Cukup besar untuk menguji sama ada reka bentuk itu praktikal untuk dihantar dan diukur, dan cukup kecil untuk diubah dengan murah. Tiada nombor tunggal yang betul. Laporkan saiz kumpulan dan anggap sebarang keputusan sebagai indikatif.
Adakah saya memerlukan kumpulan kawalan untuk menilai program latihan?
Kumpulan perbandingan menjadikan bukti lebih kukuh, tetapi ia tidak selalunya boleh dilaksanakan atau adil. Garis dasar ditambah pelancaran berperingkat, di mana kumpulan yang serupa bermula kemudian, adalah alternatif yang praktikal.
Bilakah saya perlu mengukur pemindahan?
Selepas orang ramai mempunyai masa dan peluang untuk mengaplikasikan pembelajaran di tempat kerja, berikan masa sekurang-kurangnya beberapa minggu. Ukur tugasan yang sama sekali lagi, dan tanyakan tentang halangan yang menghalang sesiapa daripada menggunakannya.
Adakah kepuasan merupakan ukuran yang berguna?
Ia berguna untuk menambah baik pengalaman, tetapi ia bukan bukti pemindahan. Padankannya dengan prestasi dalam tugasan baharu.
Di mana untuk bermula
Pilih satu tugasan yang penting dan tulis keputusan yang akan dimaklumkan oleh projek rintis. Catatkan bagaimana segelintir orang melaksanakannya hari ini, menggunakan sampel kerja ringkas atau kes yang dijaringkan. Kemudian tulis kriteria keputusan anda sebelum projek rintis bermula, dan tempah tarikh susulan dalam diari.
Untuk melihat bagaimana kes latihan boleh dijalankan secara langsung dengan pasukan anda sendiri, dan digunakan semula mengikut rentak selepas itu, terokai AhaSlides.
