Seorang analis membuka draf ringkasan kontrak pemasok, yang dibuat oleh asisten AI dalam hitungan detik. Ringkasan tersebut mudah dibaca. Ringkasan itu mencantumkan klausul penghentian dan jangka waktu pembayaran, dan isinya penuh keyakinan. Dahulu, analis tersebut menghabiskan waktu seharian membaca kontrak untuk menemukan hal-hal tersebut. Sekarang pertanyaannya berbeda: apakah ringkasan ini benar, dan apa yang perlu mereka periksa sebelum menandatanganinya?
Ini adalah skenario ilustratif, bukan kasus pelanggan yang terdokumentasi. Ini menggambarkan apa yang berubah di banyak pekerjaan. Mendapatkan jawaban menjadi lebih cepat. Namun, memutuskan apakah jawaban tersebut dapat dipercaya, dan siapa yang bertanggung jawab jika tidak, tetap menjadi tanggung jawab orang tersebut.
Panduan ini ditujukan untuk kepala L&D dan perancang instruksional yang merencanakan pelatihan tenaga kerja AI. Panduan ini menunjukkan cara menemukan tugas-tugas di mana AI mengubah pekerjaan manusia, cara membangun praktik seputar hasil yang terkadang salah, dan cara mengukur penggunaan yang bertanggung jawab tanpa menjanjikan peningkatan produktivitas.
fakta cepat
| Pertanyaan | Jawaban singkat |
|---|---|
| Apa yang berubah ketika orang menggunakan AI di tempat kerja? | Membuat draf atau jawaban pertama menjadi lebih mudah. Namun, memverifikasinya, menilainya, dan bertanggung jawab atas hasilnya tetap ada. |
| Apa yang seharusnya diajarkan dalam pelatihan AI? | Pengecekan dan penilaian yang dibutuhkan suatu tugas saat ini, ditambah pengetahuan bidang yang diperlukan untuk melakukannya. |
| Apakah instruksi saja dapat mengatasi kepercayaan berlebihan? | Tidak. Penelitian tentang bias otomatisasi menemukan bahwa hal itu terjadi pada pemula dan ahli, dan tidak dapat dicegah hanya dengan pelatihan atau instruksi. |
| Apa yang perlu diukur? | Verifikasi teramati pada tugas nyata, dengan batasan yang disetujui untuk penggunaan AI. |
1. Petakan bagaimana AI mengubah tugas pekerjaan
Mulailah dengan satu tugas nyata, bukan dengan sebuah alat. Jelaskan bagaimana tugas tersebut dilakukan sebelum adanya AI dan bagaimana tugas tersebut dilakukan sekarang, lalu bandingkan keduanya kolom demi kolom.
Untuk contoh kontrak:
- Sebelum: Baca kontrak secara lengkap, ekstrak poin-poin pentingnya, tandai hal-hal yang tidak biasa, dan tulis ringkasannya.
- Sekarang: Tinjau ringkasan yang dihasilkan AI, bandingkan dengan sumber aslinya, putuskan apakah akan mengandalkannya, tandai hal-hal yang tidak biasa, dan bertanggung jawab atas hasilnya.
Beberapa langkah menyusut. Mengekstrak istilah mungkin hanya membutuhkan beberapa detik. Langkah-langkah lain muncul atau berkembang: memeriksa hasil keluaran terhadap sumber, memperhatikan apa yang terlewatkan dalam ringkasan, dan memutuskan kapan harus bertanya kepada spesialis. Keterampilan yang dibutuhkan telah bergeser dari menghasilkan ke mengevaluasi. Dalam istilah Bloom, yang menggambarkan pemikiran yang dibutuhkan suatu tugas dan bukan bagaimana tugas itu disampaikan, bobotnya bergeser ke arah menganalisis dan mengevaluasi. Panduan kami untuk Mencocokkan aktivitas pembelajaran dengan Taksonomi Bloom Menjelaskan cara menyelaraskan tujuan, aktivitas, dan penilaian setelah Anda mengetahui levelnya.
Perbandingan ini adalah inti dari analisis kebutuhan pelatihan yang jujur untuk AI. Hal ini juga mencegah kesalahan umum: melatih semua orang pada satu alat ketika perubahan sebenarnya adalah tugas pengecekan baru.
2. Mengidentifikasi tuntutan verifikasi dan penilaian
Ajukan tiga pertanyaan tentang setiap langkah di kolom "sekarang".
- Seperti apa tampilan output yang salah di sini? Klausul yang dibuat-buat, pengecualian yang terlewatkan, angka yang masuk akal tetapi sudah usang.
- Bukti apa yang memungkinkan saya untuk memeriksanya? Dokumen sumber, sistem kedua, seorang kolega, sebuah kebijakan.
- Kapan saya harus berhenti dan bertanya kepada orang lain? Batasan antara "Saya dapat memverifikasi ini" dan "ini membutuhkan seorang ahli".
Para peneliti telah mempelajari apa yang terjadi ketika orang bekerja dengan alat bantu otomatis yang tidak sempurna selama beberapa dekade. Tinjauan Parasuraman dan Manzey terhadap penelitian tersebut menggambarkan bias otomatisasi, di mana orang membuat kesalahan kelalaian dan kesalahan karena mereka bergantung pada alat bantu pengambilan keputusan yang tidak selalu benar. Penelitian tersebut menemukan efek ini pada peserta pemula dan ahli, dan menyimpulkan bahwa hal itu tidak dapat dicegah hanya dengan pelatihan atau instruksi saja.Parasuraman dan Manzey, 2010, Faktor ManusiaPenelitian tersebut dilakukan sebelum adanya asisten AI saat ini, jadi anggaplah itu sebagai peringatan tentang perilaku manusia, bukan sebagai ukuran dari alat apa pun yang ada saat ini.
Pelajaran praktis untuk pelatihan AI bagi karyawan adalah bahwa menyuruh orang untuk "memeriksa hasilnya" bukanlah sebuah desain. Kondisi di sekitar orang tersebut juga penting: waktu untuk memeriksa, akses ke sumber data, dan tempat kerja yang tidak menghukum mereka karena memperlambat pekerjaan.
3. Bangun praktik seputar hasil yang tidak dapat diandalkan
Jika tugasnya sekarang melibatkan penilaian output, latihlah penilaian output. Buatlah serangkaian kecil kasus di mana respons AI adalah:
- Benar dan lengkap. Langkah yang tepat adalah menerimanya, dan menjelaskan alasannya.
- Tidak lengkap. Memang benar sejauh itu, tetapi ada sesuatu yang penting yang terlewatkan.
- Menyesatkan. Percaya diri, ditulis dengan baik, dan salah dengan cara yang mudah terlewatkan.
Peserta didik mendapatkan setiap kasus, sumber untuk memeriksanya, dan pilihan: menerima, mengoreksi, atau mengajukan keberatan. Mereka juga harus memberikan alasannya. Nilailah alasan persetujuan atau penolakan, bukan hanya kepercayaan diri. Peserta didik yang menerima jawaban yang benar tanpa memeriksanya belum menunjukkan kemampuan, dan peserta didik yang selalu menolak segala sesuatu juga belum menunjukkan kemampuan.
Format interaktif sangat cocok untuk ini. Setiap orang berkomitmen pada suatu keputusan dan alasan sebelum kelompok berdiskusi, sehingga kepercayaan berlebihan dan kehati-hatian berlebihan menjadi terlihat. Penyampaian mandiri mencakup tahap pertama, dan sesi diskusi langsung menangani kasus-kasus ambigu di mana terdapat dua interpretasi yang dapat dipertahankan. AhaSlides mendukung pembelajaran interaktif dan perpindahan antara penyampaian langsung dan mandiri, sehingga satu set kasus dapat dijalankan dengan dua cara. Periksa fungsi pembuatan, umpan balik, atau pelaporan tertentu terhadap alur kerja Anda sendiri sebelum Anda merencanakannya.
4. Melestarikan pengetahuan prasyarat
Anda tidak dapat mengevaluasi hasil yang tidak Anda pahami. Seseorang yang belum pernah mempelajari bagaimana ketentuan pembayaran berinteraksi dengan hak pemutusan hubungan kerja tidak akan menyadari ketika ringkasan tersebut salah. Akses ke AI tidak menghilangkan kebutuhan akan pemahaman tersebut. Yang berubah adalah di mana AI tersebut digunakan.
Tentukan pengetahuan domain mana yang menjadi dasar setiap tugas verifikasi, dan periksa sebelum latihan, dengan diagnostik singkat yang dapat dilakukan sendiri. Pemeriksaan ingatan seperti ini hanya mengkonfirmasi prasyarat. Ini tidak menunjukkan bahwa siapa pun dapat memverifikasi suatu keluaran. Pusat Eberly Carnegie Mellon menyampaikan poin desain yang sama secara lebih umum: penilaian, tujuan, dan aktivitas pembelajaran harus selaras, dan ketika penilaian mengukur ingatan tetapi tujuannya menuntut analisis, penilaian tersebut gagal mengukur apa yang seharusnya dipelajari peserta didik, dan ketidakselarasan tersebut dapat merusak motivasi dan pembelajaran.Pusat Eberly, penyelarasan tujuan, penilaian, dan pengajaran.).
5. Mengukur penggunaan yang bertanggung jawab pada tugas nyata
Pilih tugas verifikasi yang benar-benar dilakukan orang, dan tetapkan batasan yang disetujui untuk penggunaan AI sebelum Anda melakukan pengukuran: apa yang dapat didelegasikan ke alat tersebut, apa yang harus diperiksa, dan apa yang harus ditindaklanjuti ke tingkat yang lebih tinggi.
Pusat Pengendalian dan Pencegahan Penyakit AS memisahkan evaluasi pembelajaran dari evaluasi seberapa baik orang menerapkannya kembali di tempat kerja, dan merekomendasikan perencanaan untuk keduanya (CDC, evaluasi pelatihan: mengukur efektivitasIni adalah panduan evaluasi, bukan perkiraan hasil. Untuk tugas AI, itu berarti dua ukuran:
- Learning: kinerja pada serangkaian kasus baru yang belum pernah dilihat sebelumnya, dibandingkan dengan garis dasar.
- Transfer: tugas kerja yang diawasi atau contoh pekerjaan nyata, yang dievaluasi berdasarkan rubrik yang sama setelah orang-orang memiliki waktu untuk menerapkan apa yang telah mereka pelajari.
Tentukan siapa yang termasuk, penyebutnya, dan waktunya. Laporkan efisiensi hanya dari bukti yang terukur. Jika sebuah tim menjadi lebih cepat setelah pelatihan AI, periksa apa lagi yang berubah dalam periode yang sama, seperti templat baru, perubahan staf, atau campuran pekerjaan yang berbeda, sebelum mengaitkan pelatihan tersebut dengan efisiensi.
Untuk pandangan risiko yang lebih luas, Institut Standar dan Teknologi Nasional menerbitkan Kerangka Manajemen Risiko AI, yang dirilis pada Januari 2023, yang digunakan organisasi untuk mempertimbangkan risiko AI. Ini adalah titik awal untuk percakapan tentang risiko, bukan standar pelatihan atau sertifikasi.
Contoh kasus: ringkasan kontrak
Sebagai ilustrasi. Praktisi yang melakukan pekerjaan ini harus memvalidasi kasus dan kriteria jawaban sebelum digunakan.
Kasus. Peserta didik menerima kontrak pemasok fiktif dan ringkasan yang ditulis oleh AI. Ringkasan tersebut menyatakan pemberitahuan pemutusan kontrak dalam waktu 60 hari. Kontrak tersebut menyatakan 60 hari untuk pemutusan tanpa alasan dan 30 hari untuk pelanggaran. Ringkasan tersebut juga menghilangkan pengecualian jangka waktu pembayaran dalam lampiran.
Apa yang diminta untuk dilakukan oleh peserta didik. Jelaskan keputusan tersebut (terima, koreksi, atau tingkatkan), sebutkan bukti dari kontrak, dan nyatakan informasi atau dukungan lebih lanjut apa yang mereka butuhkan.
Respons yang lemah. "Ringkasan tampak akurat dan mencakup istilah-istilah utama. Terima." Tidak ada kutipan dan tidak ada pengecekan.
Respons yang lebih kuat. "Saya tidak akan menerimanya sebagaimana adanya. Klausul 14 memberikan jangka waktu 60 hari untuk pemutusan tanpa alasan tetapi 30 hari untuk pelanggaran, dan ringkasan hanya menyebutkan 60 hari. Lampiran B memiliki pengecualian pembayaran yang tidak disebutkan dalam ringkasan. Saya akan mengoreksi baris pemutusan dan menambahkan pengecualian tersebut. Saya tidak yakin apakah lampiran tersebut berlaku untuk pemasok ini, jadi saya akan menanyakannya kepada penanggung jawab kontrak."
Percobaan ulang. Peserta didik mendapatkan kontrak kedua di mana ringkasan AI tersebut benar. Langkah yang tepat sekarang adalah menerima dan mengatakan apa yang telah diperiksa. Ini mencegah pelatihan orang untuk memiliki kecurigaan refleksif.
Lembar kerja analisis tugas AI
Gunakan satu baris per langkah di kolom "sekarang" untuk tugas nyata.
| Langkah tugas | Apa yang dilakukan AI saat ini? | Apa yang masih harus dilakukan orang tersebut | Bukti diperlukan untuk memeriksanya. | Tingkatkan menjadi | Pengetahuan prasyarat |
|---|---|---|---|---|---|
| Ekstrak istilah-istilah kunci | Menyusun daftar | Bandingkan dengan sumbernya | Kontrak itu sendiri | Kontrak memimpin | Struktur kontrak dan jenis klausul |
| Laporkan istilah-istilah yang tidak biasa | Menyarankan kandidat | Tentukan apa yang tidak biasa dalam konteks ini. | Kontrak masa lalu, kebijakan | Informasi | Ketentuan standar untuk jenis pemasok ini |
| Akhiri ringkasan | Tidak ada | Bertanggung jawab atas hasilnya. | Ringkasan yang telah diperiksa | Manajer lini | Batasan persetujuan |
Sebuah rubrik yang dapat Anda adaptasi.
Berikan skor 0 hingga 2 untuk setiap kriteria. Ini adalah proposal untuk disesuaikan dengan spesialis di bidang tersebut, bukan standar kesiapan yang telah divalidasi.
| Kriterium | Bukti yang dapat diamati |
|---|---|
| Eksekusi tugas | Mengidentifikasi di mana AI mengubah tugas verifikasi dan penilaian. Merekam tindakan dan bukti di baliknya. |
| Pemikiran | Menjelaskan kendala, alternatif, dan ketidakpastian. Alasan untuk menerima atau menolak suatu hasil terkait dengan sumbernya. |
| Batas | Menggunakan prosedur yang disetujui untuk penggunaan AI dan meminta bantuan jika informasi atau wewenang tidak mencukupi. |
Jangkar: 0 = tidak ada atau tidak didukung. 1 = sebagian, dengan kekurangan yang relevan. 2 = lengkap dan dibenarkan berdasarkan kriteria yang disepakati. Definisikan kesalahan kritis secara terpisah, misalnya menyetujui output yang bertentangan dengan sumbernya, atau berbagi data rahasia dengan alat yang tidak disetujui. Skor total tidak boleh menyembunyikan kegagalan kritis.
Kendala yang mungkin masih ada
Penilaian yang lebih baik dalam kasus pelatihan tidak menghilangkan semua kendala:
- Tekanan waktu. Jika target volume tidak memberikan ruang untuk pengecekan, orang akan melewatkan pengecekan terhadap apa pun yang telah diajarkan kepada mereka.
- Pertanggungjawaban yang tidak jelas. Jika tidak ada yang disebutkan sebagai pemilik output yang diperiksa, maka pemeriksaan bukanlah tugas siapa pun.
- Keterbatasan alat. Beberapa alat tidak memungkinkan pengguna untuk melihat kode sumber di balik sebuah jawaban, yang membuat proses verifikasi menjadi lambat.
- Mengganti alat. Sistem AI yang mengubah perilakunya setelah pembaruan dapat merusak kebiasaan verifikasi yang Anda bangun pada kuartal lalu.
Rencanakan solusi terpisah untuk masalah-masalah ini, dan sampaikan hal tersebut kepada sponsor. Pelatihan dapat membangun keterampilan. Namun, pelatihan tidak dapat menciptakan waktu atau wewenang.
Pertanyaan yang sering diajukan
Apa saja yang harus dicakup dalam pelatihan AI untuk karyawan?
Mulailah dengan tugas-tugas yang peran AI-kan dalam fungsinya berubah. Bahas cara memeriksa hasil keluaran terhadap bukti, kapan harus melakukan eskalasi, batasan yang disetujui untuk penggunaan AI, dan pengetahuan domain yang dibutuhkan untuk menilai suatu jawaban. Kiat-kiat penggunaan alat (tool tips) dibahas selanjutnya.
Apakah AI menghilangkan kebutuhan akan pengetahuan bidang tertentu?
Tidak. Orang membutuhkan pemahaman yang cukup untuk menyadari ketika suatu hasil salah atau tidak lengkap. Yang berubah adalah bagaimana pengetahuan itu digunakan: lebih sedikit menghasilkan, lebih banyak mengevaluasi.
Bagaimana Anda menilai kemampuan manusia dalam pekerjaan yang dibantu AI?
Berikan peserta didik kasus-kasus realistis dengan hasil yang benar, tidak lengkap, dan menyesatkan, dan beri nilai pada alasan mereka untuk menerima, memperbaiki, atau meningkatkan masalah. Kemudian, amati tugas nyata yang diawasi setelah jeda waktu yang sesuai.
Mulai dari mana
Pilih satu tugas yang saat ini dilakukan orang-orang di organisasi Anda dengan bantuan AI. Isi lembar kerja di atas dengan seseorang yang melakukan pekerjaan tersebut, dan catat tiga tempat di mana kesalahan output akan menimbulkan kerugian terbesar. Bangun kasus praktik pertama Anda berdasarkan salah satu dari tiga tempat tersebut.
Untuk melihat bagaimana pengecekan mandiri, latihan studi kasus interaktif, dan debriefing langsung dapat digabungkan untuk tugas tersebut, jelajahi AhaSlides.
