Seorang penganalisis membuka draf ringkasan kontrak pembekal, yang dihasilkan oleh pembantu AI dalam beberapa saat. Ia dibaca dengan baik. Ia menamakan klausa penamatan dan tempoh pembayaran, dan ia yakin sepenuhnya. Penganalisis itu biasa menghabiskan waktu pagi membaca kontrak untuk mencari perkara-perkara tersebut. Persoalannya berbeza: adakah ringkasan ini betul, dan apakah yang perlu mereka semak sebelum menandatangani nama mereka di bawahnya?
Ini adalah senario ilustrasi, bukan kes pelanggan yang didokumenkan. Ia merangkumi apa yang sedang berubah dalam banyak pekerjaan. Mendapatkan jawapan adalah lebih cepat. Menentukan sama ada jawapan itu boleh dipercayai, dan siapa yang bertanggungjawab jika tidak boleh, masih terletak pada orang itu.
Panduan ini adalah untuk ketua-ketua P&P dan pereka pengajaran yang merancang latihan tenaga kerja AI. Ia menunjukkan cara mencari tugasan di mana AI mengubah pekerjaan manusia, cara membina amalan berdasarkan output yang kadangkala salah dan cara mengukur penggunaan yang bertanggungjawab tanpa menjanjikan peningkatan produktiviti.
fakta Pantas
| Soalan | Jawapan pendek |
|---|---|
| Apakah yang berubah apabila orang ramai menggunakan AI di tempat kerja? | Menghasilkan draf atau jawapan pertama menjadi lebih mudah. Mengesahkannya, menilainya dan mengakui hasilnya tidak akan hilang begitu sahaja. |
| Apakah yang perlu diajar oleh latihan AI? | Pemeriksaan dan penilaian yang diperlukan oleh sesuatu tugasan kini, serta pengetahuan domain yang diperlukan untuk melakukannya. |
| Bolehkah arahan sahaja menyelesaikan masalah kepercayaan berlebihan? | Tidak. Kajian tentang bias automasi mendapati ia berlaku dalam kalangan orang baru dan pakar dan tidak dapat dicegah hanya dengan latihan atau arahan. |
| Apa yang perlu diukur? | Pengesahan yang diperhatikan pada tugasan sebenar, dengan sempadan yang diluluskan untuk kegunaan AI. |
1. Petakan bagaimana AI mengubah tugasan kerja
Mulakan dengan satu tugasan sebenar, bukan dengan alat. Huraikannya seperti yang dilakukan sebelum AI dan seperti yang dilakukan sekarang, dan bandingkan kedua-dua lajur demi lajur.
Untuk contoh kontrak:
- Sebelum: baca kontrak penuh, ekstrak terma-terma penting, tandakan apa-apa yang luar biasa, tulis ringkasannya.
- Sekarang: semak ringkasan yang dijana AI, semaknya dengan sumbernya, tentukan sama ada untuk bergantung padanya, tandakan apa-apa yang luar biasa, bertanggungjawab atas hasilnya.
Sesetengah langkah mengecil. Mengekstrak istilah mungkin mengambil masa beberapa saat. Langkah lain muncul atau berkembang: menyemak output terhadap sumber, memerhatikan apa yang ditinggalkan oleh ringkasan, dan memutuskan bila hendak bertanya kepada pakar. Kemahiran yang dituntut telah beralih daripada menghasilkan kepada menilai. Dalam istilah Bloom, yang menggambarkan pemikiran yang diminta oleh sesuatu tugasan dan bukan bagaimana ia disampaikan, pemberat beralih kepada menganalisis dan menilai. Panduan kami untuk memadankan aktiviti pembelajaran dengan Taksonomi Bloom menerangkan cara menyelaraskan objektif, aktiviti dan penilaian sebaik sahaja anda mengetahui tahapnya.
Perbandingan ini merupakan inti pati analisis keperluan latihan yang jujur untuk AI. Ia juga menghentikan kesilapan biasa: melatih semua orang tentang alat sedangkan perubahan sebenar adalah tugas pemeriksaan baharu.
2. Kenal pasti tuntutan pengesahan dan penghakiman
Tanya tiga soalan tentang setiap langkah dalam lajur "sekarang".
- Apakah rupa output yang salah di sini? Klausa yang direka-reka, pengecualian yang terlepas pandang, angka yang munasabah tetapi ketinggalan zaman.
- Bukti apa yang akan membolehkan saya menyemaknya? Dokumen sumber, sistem kedua, rakan sekerja, dasar.
- Bilakah saya perlu berhenti dan bertanya kepada orang lain? Batasan antara "Saya boleh mengesahkan ini" dan "ini memerlukan pakar".
Penyelidik telah mengkaji apa yang berlaku apabila orang bekerja dengan alat bantuan automatik yang tidak sempurna selama beberapa dekad. Ulasan Parasuraman dan Manzey terhadap kajian tersebut menggambarkan bias automasi, di mana orang ramai melakukan peninggalan dan melakukan kesilapan kerana mereka bergantung pada alat bantuan keputusan yang tidak selalunya betul. Ia menemui kesannya dalam kedua-dua peserta baru dan pakar dan menyimpulkan bahawa ia tidak dapat dicegah dengan latihan atau arahan sahaja (Parasuraman dan Manzey, 2010, Faktor Manusia). Penyelidikan itu wujud mendahului pembantu AI hari ini, jadi anggaplah ia sebagai amaran tentang tingkah laku manusia, bukan sebagai ukuran bagi mana-mana alat semasa.
Pengajaran praktikal untuk latihan AI untuk pekerja ialah memberitahu orang ramai untuk "memeriksa output" bukanlah satu reka bentuk. Keadaan di sekeliling orang itu juga penting: masa untuk memeriksa, akses kepada sumber dan tempat kerja yang tidak menghukum mereka kerana memperlahankan kerja.
3. Bina amalan berdasarkan output yang tidak boleh dipercayai
Jika tugasan sekarang melibatkan penilaian output, berlatih menilai output. Bina satu set kecil kes di mana tindak balas AI adalah:
- Betul dan lengkap. Langkah yang betul adalah menerimanya, dan menyatakan sebabnya.
- tak lengkap. Setakat yang dinyatakan memang benar, tetapi ia meninggalkan sesuatu yang penting.
- Mengelirukan. Yakin, ditulis dengan baik, dan salah dengan cara yang mudah terlepas pandang.
Pelajar mendapat setiap kes, sumber untuk menyemaknya, dan pilihan: menerima, membetulkan, atau meningkatkannya. Mereka juga mesti memberikan alasannya. Nilaikan sebab-sebab persetujuan atau cabaran, bukan keyakinan sahaja. Pelajar yang menerima jawapan yang betul tanpa menyemak tidak menunjukkan kemahiran tersebut, dan pelajar yang mencabar segala-galanya juga tidak.
Format interaktif sangat sesuai dengan ini. Setiap orang komited kepada keputusan dan alasan sebelum kumpulan berbincang, jadi kepercayaan yang berlebihan dan berhati-hati yang berlebihan kedua-duanya akan kelihatan. Penyampaian mengikut rentak kendiri merangkumi hantaran pertama, dan sesi debriefing langsung mengendalikan kes-kes yang samar-samar di mana terdapat dua bacaan yang boleh dipertahankan. AhaSlides menyokong pembelajaran interaktif dan beralih antara penyampaian langsung dan mengikut rentak kendiri, jadi satu set kes boleh dijalankan kedua-dua hala. Semak sebarang fungsi pengarangan, maklum balas atau pelaporan tertentu terhadap aliran kerja anda sendiri sebelum anda merancangnya.
4. Kekalkan pengetahuan prasyarat
Anda tidak boleh menilai output yang anda tidak fahami. Seseorang yang tidak pernah mempelajari bagaimana terma pembayaran berinteraksi dengan hak penamatan tidak akan perasan apabila ringkasan membuat mereka salah. Akses kepada AI tidak menghapuskan keperluan untuk pemahaman itu. Ia mengubah di mana ia digunakan.
Tentukan domain pengetahuan yang bergantung pada setiap tugasan pengesahan, dan semaknya sebelum latihan, dengan diagnostik kendiri yang pendek. Pemeriksaan ingatan seperti ini hanya mengesahkan prasyarat. Ia tidak menunjukkan bahawa sesiapa sahaja boleh mengesahkan output. Pusat Eberly Carnegie Mellon membuat titik reka bentuk yang sama secara lebih umum: penilaian, objektif dan aktiviti pengajaran harus selaras, dan apabila ukuran penilaian mengingatkan tetapi objektif memerlukan analisis, ia gagal mengukur apa yang sepatutnya dipelajari oleh pelajar, dan ketidakselarasan itu boleh menjejaskan motivasi dan pembelajaran (Pusat Eberly, penyelarasan objektif, penilaian dan pengajaran).
5. Ukur penggunaan yang bertanggungjawab pada tugas sebenar
Pilih tugasan pengesahan yang benar-benar dilakukan oleh orang ramai, dan tetapkan sempadan yang diluluskan untuk penggunaan AI sebelum anda mengukur: apa yang boleh diwakilkan kepada alat tersebut, apa yang mesti diperiksa dan apa yang mesti ditingkatkan.
Pusat Kawalan dan Pencegahan Penyakit AS memisahkan penilaian pembelajaran daripada menilai sejauh mana orang mengaplikasikannya semula di tempat kerja, dan mengesyorkan perancangan untuk kedua-duanya (CDC, menilai latihan: mengukur keberkesanan). Ia adalah panduan penilaian, bukan ramalan keputusan. Untuk tugasan AI, itu bermaksud dua ukuran:
- pembelajaran: prestasi pada set kes baharu yang belum pernah berlaku, berbanding dengan garis dasar.
- Pemindahan: tugasan kerja yang diselia atau contoh kerja sebenar, disemak berdasarkan rubrik yang sama selepas orang ramai mempunyai masa untuk menggunakan apa yang mereka pelajari.
Tentukan siapa yang disertakan, penyebut dan masa. Laporkan kecekapan hanya daripada bukti yang diukur. Jika sesebuah pasukan menjadi lebih pantas selepas latihan AI, semak apa lagi yang berubah dalam tempoh yang sama, seperti templat baharu, perubahan kakitangan atau campuran kerja yang berbeza, sebelum mengkreditkan latihan tersebut.
Untuk pandangan yang lebih luas tentang risiko, Institut Piawaian dan Teknologi Kebangsaan menerbitkan Rangka Kerja Pengurusan Risiko AI, dikeluarkan pada Januari 2023, yang digunakan oleh organisasi untuk memikirkan tentang risiko AI. Ia merupakan titik permulaan untuk perbualan risiko, bukan standard latihan atau pensijilan.
Contoh yang telah diusahakan: ringkasan kontrak
Ilustrasi. Seorang pengamal yang melakukan kerja ini harus mengesahkan kes dan kriteria jawapan sebelum digunakan.
Kes itu. Pelajar menerima kontrak pembekal fiksyen dan ringkasan bertulis AI. Ringkasan tersebut menyatakan notis penamatan 60 hari. Kontrak tersebut menyatakan 60 hari untuk penamatan tanpa sebab dan 30 hari untuk pelanggaran. Ringkasan tersebut juga tidak memasukkan pengecualian tempoh pembayaran dalam lampiran.
Apa yang diminta oleh pelajar untuk lakukan. Terangkan keputusan tersebut (terima, betulkan atau tingkatkan), sebutkan bukti daripada kontrak dan nyatakan maklumat atau sokongan lanjut yang mereka perlukan.
Satu tindak balas yang lemah. "Ringkasan itu kelihatan tepat dan merangkumi istilah utama. Terima." Ia tidak memetik apa-apa dan tidak menunjukkan tanda semak.
Respons yang lebih kuat. "Saya tidak akan menerimanya seperti sedia ada. Klausa 14 memberikan tempoh 60 hari untuk penamatan tanpa sebab tetapi 30 hari untuk pelanggaran, dan ringkasan hanya menyebut 60 hari. Lampiran B mempunyai pengecualian pembayaran yang tidak disebut dalam ringkasan tersebut. Saya akan membetulkan baris penamatan dan menambah pengecualian. Saya tidak pasti sama ada lampiran itu terpakai kepada pembekal ini, jadi saya akan bertanya kepada ketua kontrak."
Percubaan semula. Pelajar mendapat kontrak kedua di mana ringkasan AI adalah betul. Langkah yang betul sekarang adalah menerima dan mengatakan apa yang telah diperiksa. Ini dapat mengelakkan orang ramai daripada melatih mereka untuk berasa curiga secara refleks.
Lembaran kerja analisis tugasan AI
Gunakan satu baris setiap langkah dalam lajur "sekarang" untuk tugasan sebenar.
| Langkah tugasan | Apa yang dilakukan oleh AI sekarang | Apa yang masih perlu dilakukan oleh orang itu | Bukti diperlukan untuk menyemaknya | Tingkatkan ke | Pengetahuan prasyarat |
|---|---|---|---|---|---|
| Ekstrak istilah utama | Draf senarai | Bandingkan dengan sumber | Kontrak itu sendiri | Kontrak utama | Struktur kontrak dan jenis klausa |
| Tandakan istilah yang luar biasa | Mencadangkan calon | Tentukan apa yang luar biasa dalam konteks ini | Kontrak, polisi lepas | undang-undang | Istilah standard untuk jenis pembekal ini |
| Tandatangani ringkasan | Tiada apa-apa jua | Miliki hasilnya | Ringkasan yang telah disemak | Pengurus barisan | Had kelulusan |
Rubrik yang boleh anda sesuaikan
Nilaikan setiap kriteria 0 hingga 2. Ini adalah cadangan untuk menyesuaikan diri dengan pakar dalam peranan tersebut, bukan standard kesediaan yang disahkan.
| kriteria | Bukti yang boleh diperhatikan |
|---|---|
| Pelaksanaan tugas | Mengenal pasti di mana AI mengubah tugas pengesahan dan penghakiman. Merekodkan tindakan dan bukti di sebaliknya. |
| Penaakulan | Menerangkan kekangan, alternatif dan ketidakpastian. Sebab-sebab untuk menerima atau mencabar output terikat kepada sumbernya. |
| Sempadan | Menggunakan prosedur yang diluluskan untuk penggunaan AI dan meminta bantuan apabila maklumat atau kuasa tidak mencukupi. |
Sauh: 0 = tiada atau tidak disokong. 1 = separa, dengan peninggalan yang berkaitan. 2 = lengkap dan dijustifikasikan berdasarkan kriteria yang dipersetujui. Takrifkan ralat kritikal secara berasingan, contohnya menandatangani output yang bercanggah dengan sumber, atau berkongsi data sulit dengan alat yang tidak diluluskan. Skor keseluruhan tidak boleh menyembunyikan kegagalan kritikal.
Kekangan yang mungkin kekal
Penghakiman yang lebih baik dalam kes latihan tidak menghapuskan setiap kekangan:
- Tekanan masa. Jika sasaran volum tidak memberi ruang untuk diperiksa, orang ramai akan melangkau pemeriksaan apa sahaja yang diajar kepada mereka.
- Akauntabiliti yang tidak jelas. Jika tiada siapa yang dinamakan sebagai pemilik output yang disemak, pemeriksaan bukanlah tugas sesiapa pun.
- Had alat. Sesetengah alatan tidak membenarkan orang ramai melihat sumber di sebalik jawapan, yang menjadikan pengesahan menjadi perlahan.
- Menukar alat. Sistem AI yang mengubah tingkah laku selepas kemas kini boleh memecahkan tabiat pengesahan yang anda bina pada suku lepas.
Rancang pembaikan berasingan untuk perkara ini, dan beritahu penaja. Latihan boleh membina kemahiran. Ia tidak boleh mewujudkan masa atau autoriti.
Soalan lazim
Apakah yang perlu diliputi oleh latihan AI untuk pekerja?
Mulakan dengan tugasan yang diubah oleh AI dalam peranannya. Liputi cara menyemak output terhadap bukti, bila perlu dimajukan, sempadan yang diluluskan untuk penggunaan AI dan pengetahuan domain yang diperlukan untuk menilai jawapan. Petua alat di tempat kedua.
Adakah AI menghapuskan keperluan untuk pengetahuan domain?
Tidak. Orang ramai memerlukan pemahaman yang mencukupi untuk menyedari apabila sesuatu output salah atau tidak lengkap. Apa yang berubah ialah bagaimana pengetahuan itu digunakan: kurang menghasilkan, lebih banyak menilai.
Bagaimanakah anda menilai pertimbangan manusia dalam kerja yang dibantu oleh AI?
Berikan pelajar kes yang realistik dengan output yang betul, tidak lengkap dan mengelirukan, dan skorkan sebab mereka menerima, membetulkan atau meningkatkannya. Kemudian perhatikan tugasan sebenar yang diselia selepas kelewatan yang sesuai.
Di mana untuk bermula
Pilih satu tugasan yang kini dilakukan oleh orang dalam organisasi anda dengan bantuan AI. Isi lembaran kerja di atas dengan seseorang yang melakukan tugas tersebut, dan catatkan tiga tempat di mana output yang salah akan paling berbahaya. Bina kes amalan pertama anda berdasarkan salah satunya.
Untuk melihat bagaimana pemeriksaan kendiri, latihan kes interaktif dan sesi soal jawab langsung boleh disesuaikan untuk tugasan tersebut, terokai AhaSlides.
