Sebuah model menandai pembayaran kartu sebagai kemungkinan penipuan. Jumlahnya tinggi untuk pelanggan, pedagangnya baru, dan skornya berada di kategori teratas. Analis memiliki empat puluh peringatan lagi dalam antrean. Langkah tercepat adalah mengkonfirmasi dan melanjutkan. Tetapi catatan akun pelanggan menunjukkan perpindahan rumah baru-baru ini dan panggilan sebelumnya tentang pembelian besar, yang akan menjelaskan setiap tanda peringatan tersebut.
Ini adalah skenario ilustratif, bukan kasus yang terdokumentasi. Ini menggambarkan kebiasaan yang harus dibangun oleh pelatihan peninjauan peringatan penipuan AI: membaca peringatan otomatis sebagai titik awal untuk pengujian, bukan sebagai jawaban untuk disetujui.
Panduan ini ditujukan untuk kepala pelatihan risiko dan pimpinan kejahatan keuangan atau kepatuhan yang bekerja sama dengan mereka. Panduan ini mencakup cara mendeskripsikan masalah kinerja, mendiagnosis kesenjangan, merancang persiapan dan praktik, menyelesaikan studi kasus, dan menilai apakah keterampilan tersebut dapat diterapkan pada antrean kasus nyata. Intinya adalah tentang desain pelatihan. Setiap jenis peringatan, aturan penanganan, dan jalur eskalasi dalam program Anda harus divalidasi oleh pimpinan kejahatan keuangan atau kepatuhan Anda dan sesuai dengan kewajiban regulasi Anda.
Apa itu pelatihan peninjauan peringatan penipuan berbasis AI?
Pelatihan peninjauan peringatan penipuan berbasis AI mengajarkan analis untuk memvalidasi apa yang dihasilkan oleh model otomatis. Analis memeriksa peringatan tersebut dalam konteks yang lebih luas, mempertimbangkan penjelasan alternatif, memutuskan tindakan selanjutnya, dan menulis penjelasan yang dapat diaudit oleh orang lain. Risiko yang diatasi adalah penerimaan pasif, di mana keluaran model diperlakukan sebagai keputusan.
fakta cepat
| Pertanyaan | Jawaban singkat |
|---|---|
| Apa tugasnya? | Tinjau peringatan otomatis dan berikan justifikasi untuk tindakan yang diambil. |
| Berapa skor Anda? | Akurasi penentuan keputusan dan kualitas alasan peninjauan. |
| Apakah kuis kebijakan saja sudah cukup? | Tidak. Ini menegaskan prasyarat, tetapi tidak membuktikan apakah seorang analis mampu menolak skor yang persuasif. |
| Siapa yang memvalidasi kontennya? | Seorang pemimpin di bidang kejahatan keuangan atau kepatuhan. |
| Apa yang tidak bisa diperbaiki melalui pelatihan? | Volume antrian, waktu target, kualitas peringatan yang buruk, dan hak eskalasi yang tidak jelas. |
| Bagaimana Anda tahu itu berhasil? | Serangkaian kasus transaksi baru yang belum pernah dilihat sebelumnya, dinilai berdasarkan kriteria yang disepakati, dengan tindak lanjut pada pekerjaan yang sedang berjalan. |
1. Jelaskan masalah kinerja tersebut
Mulailah dengan tugas: tinjau peringatan otomatis dan berikan justifikasi atas keputusan yang diambil. Meninjau lebih dari sekadar setuju atau tidak setuju. Analis mengumpulkan konteks yang tidak digunakan model, membandingkannya dengan alasan model untuk memberi tanda, dan mencatat mengapa keputusan tersebut dapat dipertahankan.
Literatur faktor manusia memberi nama pada masalah ini. Dalam tinjauan studi empiris, Parasuraman dan Manzey menggambarkan bias otomatisasi, di mana orang terlalu bergantung pada bantuan otomatis dan membuat kesalahan karena kelalaian (melewatkan sesuatu yang tidak ditandai oleh bantuan tersebut) dan kesalahan karena kesalahan (mengikuti bantuan ketika salah). Mereka melaporkan bahwa efek ini dapat terjadi ketika bantuan tidak sempurna, bahwa perhatian memainkan peran sentral dan bahwa efek ini tidak dapat dicegah dengan pelatihan atau instruksi.Parasuraman dan Manzey, 2010). Tinjauan ini membahas penggunaan otomatisasi oleh manusia secara umum, bukan operasi pencegahan penipuan secara khusus, jadi anggap temuan ini sebagai peringatan desain dan ukurlah dalam antrean Anda sendiri.
Untuk pelatihan, itu berarti pengarahan singkat tentang risiko saja tidak akan cukup. Latihan ini harus membuat analis berlatih untuk tidak setuju dengan model ketika bukti mendukungnya, dan setuju ketika bukti tersebut tidak mendukungnya.
Tuliskan pernyataan kinerja dalam satu kalimat dan mintalah pemimpin kejahatan keuangan untuk memeriksanya: "Berdasarkan peringatan dan konteks akun, analis menyatakan apa yang ditandai oleh model, apa yang dikatakan oleh bukti yang lebih luas, disposisi dan alasannya, serta informasi lebih lanjut apa yang akan mereka cari."
2. Mendiagnosis kesenjangan pembelajaran dan konteks.
Sebelum Anda membuat apa pun, bandingkan tugas tersebut dengan apa yang dipraktikkan dan dinilai oleh program Anda saat ini. Tiga pertanyaan biasanya membedakan kesenjangan pelatihan dari hal lain:
- Apakah praktik saat ini menggunakan tugas yang sebenarnya? Jika pelatihan mencakup kebijakan dan tipologi tetapi tidak pernah meminta analis untuk meninjau peringatan model, maka tidak ada yang mempraktikkan validasi. Jika penilaian hanya memperhitungkan apakah disposisi sesuai dengan kunci jawaban, hal itu menyembunyikan kualitas penalaran.
- Apa tuntutan kognitifnya? Dalam taksonomi Bloom yang telah direvisi, mempertimbangkan penjelasan yang bersaing dan menilai suatu disposisi berada pada tingkat analisis dan evaluasi. Mengingat tipologi berada pada tingkat yang lebih rendah. Mencocokkan aktivitas dengan tingkat tersebut dibahas dalam panduan kami. Mencocokkan aktivitas pembelajaran dengan Taksonomi Bloom.
- Apakah ada hal lain selain keterampilan yang menjadi penghalang? Periksa volume antrian, target waktu penanganan, dan hak eskalasi. Jika kinerja analis diukur berdasarkan jumlah peringatan yang ditutup per jam, menerima model tersebut adalah pilihan yang rasional, dan pelatihan tidak akan mengubahnya. Laporkan penyebab yang bukan hasil pelatihan kepada orang yang dapat memperbaikinya.
3. Persiapan dan praktik desain
Setelah Anda mengetahui kesenjangan mana yang dapat ditutup oleh pelatihan, berikan tugas yang berbeda untuk setiap tahapannya.
Persiapan. Periksa prasyarat dengan diagnostik singkat: tipologi yang tercakup, data yang ditunjukkan oleh peringatan, apa yang digunakan model dan apa yang tidak dilihatnya. Pembelajaran mandiri sesuai untuk tahap ini. Pemeriksaan ulang hanya mengkonfirmasi prasyarat.
Praktek. Gunakan simulasi penipuan yang dibangun dari kasus-kasus yang telah dianonimkan dan, jika Anda memiliki sumber daya, kasus-kasus bergaya tim merah yang ditulis untuk mengeksploitasi apa yang dilewatkan oleh model. Campurkan peringatan di mana model benar, peringatan di mana model salah, dan peringatan yang ambigu, tanpa memberi tahu analis mana yang mana. Analis memilih disposisi dan menulis alasannya.
Umpan balik. Hubungkan dengan keputusan, bukan skor total. "Anda mengkonfirmasi peringatan tersebut karena jumlahnya, tetapi catatan akun menjelaskannya, dan alasan Anda tidak menyebutkannya" lebih bermanfaat daripada "4 dari 5 benar".
Masukan langsung atau tinjauan asinkron? Masukan langsung paling bermanfaat ketika suatu kasus ambigu dan analis belajar dari mendengarkan kolega senior berargumen dari kedua sisi. Tinjauan asinkron sudah cukup untuk membandingkan alasan dengan penjelasan ahli yang telah diberi anotasi. Banyak tim menggunakan keduanya: persiapan mandiri terlebih dahulu, kemudian sesi yang difasilitasi untuk kasus-kasus sulit.
4. Kerjakan contoh yang realistis.
Sebagai ilustrasi. Penanggung jawab kejahatan keuangan atau kepatuhan harus memvalidasi kasus dan kriteria jawaban sebelum digunakan. Gunakan hanya kasus yang telah dianonimkan.
Kasus. Sebuah peringatan menandai pembelian besar tanpa kartu di merchant baru. Skor modelnya tinggi. Catatan akun menunjukkan perubahan alamat baru-baru ini dan panggilan pelanggan dua hari sebelumnya tentang rencana pembelian furnitur.
Tugas tersebut. Analis tersebut menjelaskan apa yang ditunjukkan oleh peringatan tersebut, apa yang ditambahkan oleh konteksnya, disposisi dan alasannya, serta hal lain yang akan mereka periksa.
Upaya pertama. "Skor tinggi, jumlah besar, pedagang baru. Konfirmasikan sebagai mencurigakan." Analis tersebut telah mengulangi alasan model dan tidak melihat hal lain yang tidak digunakan model tersebut.
Berikan masukan dan coba lagi. Pelatih bertanya apa isi catatan akun dan apakah catatan tersebut menjelaskan masing-masing alasan model. Percobaan ulang meminta analis untuk mencantumkan tiga sinyal model dan mencocokkannya dengan bukti yang lebih luas.
Upaya yang lebih baik. "Jumlah dan nama pedagang tampak tidak biasa dalam riwayat transaksi, tetapi catatan menunjukkan perpindahan baru-baru ini dan panggilan tentang pembelian furnitur. Itu menjelaskan jumlah, kategori pedagang, dan alamat pengiriman. Saya tidak akan mengkonfirmasi sebagai transaksi mencurigakan hanya berdasarkan skor tersebut. Saya akan memeriksa alamat pengiriman dengan alamat baru dan mencari catatan panggilan balik. Jika cocok, saya akan menutupnya sebagai transaksi yang sah dengan alasan tersebut. Jika tidak, saya akan meneruskannya ke tingkat yang lebih tinggi." Jawaban ini beralasan berdasarkan bukti, menyebutkan penjelasan alternatif, dan menyatakan apa yang akan mengubah keputusan tersebut.
Mengapa setiap respons dapat dipertahankan atau tidak lengkap. Nilailah setiap upaya berdasarkan kriteria yang telah disetujui, bukan berdasarkan preferensi pelatih. Upaya pertama mencerminkan model yang ada. Upaya yang lebih kuat mengujinya. Sertakan kasus-kasus di mana jawaban yang benar adalah untuk mengkonfirmasi peringatan tersebut, sehingga analis tidak secara refleks mulai meragukannya.
5. Menilai kemampuan dan merencanakan transfer
Bukti kemampuan diukur dari kinerja pada kasus transaksi yang belum pernah dilihat sebelumnya. Berikan skor pada akurasi disposisi dan kualitas rasionalisasi. Rubrik sederhana menggunakan skala 0 hingga 2 per kriteria:
| Kriterium | Bukti yang dapat diamati |
|---|---|
| Eksekusi tugas | Meninjau peringatan dan mencatat bukti yang mendasari keputusan tersebut. |
| Pemikiran | Menjelaskan alternatif, kendala, dan hal-hal yang masih belum pasti. |
| Batas | Menggunakan prosedur yang telah disetujui dan melakukan eskalasi jika informasi atau wewenang tidak mencukupi. |
Indikator: 0 berarti tidak ada atau tidak didukung, 1 berarti sebagian dengan kelalaian yang relevan, dan 2 berarti lengkap dan dibenarkan berdasarkan kriteria yang disepakati. Definisikan kesalahan kritis secara terpisah, seperti menutup peringatan yang sesuai dengan aturan eskalasi wajib, sehingga skor keseluruhan tidak dapat menyembunyikan satu kesalahan. Rubrik ini adalah proposal, bukan standar kesiapan yang telah divalidasi: sesuaikan dengan penanggung jawab kejahatan keuangan dan lakukan uji coba. Panduan kami untuk merancang praktik interaktif dengan umpan balik yang bermanfaat Menunjukkan cara menulis umpan balik yang terkait dengan keputusan.
Rencanakan transfer secara cermat. Setelah latihan, mintalah seorang analis senior untuk mengambil beberapa sampel disposisi langsung dari setiap peserta pelatihan dan meninjau alasannya bersama mereka, atau melakukan debriefing singkat tentang peringatan terbaru yang ditutup secara salah.
Di mana penyampaian interaktif membantu
Format interaktif membantu ketika setiap orang harus berkomitmen sebelum bertemu dengan kelompok. Dalam sesi langsung, fasilitator dapat menunjukkan peringatan yang telah dianonimkan, meminta setiap analis untuk memasukkan disposisi dan alasan singkat, lalu mengungkapkan penyebarannya sebelum diskusi. Kasus yang sama dapat dijalankan secara mandiri untuk persiapan. AhaSlides mendukung pembelajaran interaktif dan perpindahan antara penyampaian langsung dan mandiri. AhaSlides tidak secara otomatis memberi skor pada disposisi atau rasionalisasi, jadi seseorang atau proses Anda sendiri yang akan menilainya. Periksa fungsi penulisan, umpan balik, atau pelaporan spesifik yang Anda rencanakan untuk digunakan terhadap alur kerja Anda sendiri. Untuk panduan tentang pemilihan format, lihat artikel kami tentang... Kapan menggunakan pembelajaran adaptif, interaktif, dan langsung?.
Ukur apa yang berubah.
Tentukan terlebih dahulu apa yang akan menunjukkan bahwa analis mampu melakukan tugas tersebut. Bandingkan akurasi disposisi dan kualitas rasionalisasi pada kumpulan kasus yang belum pernah dilihat sebelumnya dengan garis dasar. Definisikan siapa yang disertakan, penyebut, dan waktunya. Jika hasilnya membaik, periksa apa lagi yang berubah dalam periode yang sama, seperti penyetelan ulang model, perubahan aturan, atau target waktu penanganan baru, sebelum memberikan kredit pada pelatihan tersebut.
Kendala yang mungkin masih ada
- Tekanan antrian. Target waktu penanganan memberikan penghargaan atas kesepakatan cepat dengan model.
- Kualitas peringatan. Model yang menghasilkan banyak positif palsu akan menguras perhatian, apa pun pelatihannya.
- Hak eskalasi. Seorang analis yang meragukan sebuah peringatan tetap membutuhkan jalur yang jelas untuk menantangnya.
- Liputan kasus. Satu set kasus menunjukkan beberapa pola. Skor tidak menggambarkan penilaian analis secara umum.
- Transfer. Kinerja dalam sebuah lokakarya tidak sama dengan kinerja di akhir shift kerja yang panjang.
Sebutkan hal-hal ini kepada sponsor sejak dini dan rencanakan perbaikan terpisah. Pelatihan meningkatkan kemampuan analis dalam mengajukan pertanyaan dan menjelaskan. Namun, pelatihan tidak mengubah insentif di sekitar antrian.
Pertanyaan yang sering diajukan
Apa itu pelatihan peninjauan peringatan penipuan berbasis AI?
Pelatihan ini mengajarkan para analis untuk memvalidasi peringatan otomatis: memeriksa konteks yang tidak digunakan model, mempertimbangkan alternatif, memilih penanganan, dan menulis penjelasan yang dapat diaudit.
Apa itu bias otomatisasi?
Kecenderungan ini adalah terlalu bergantung pada bantuan otomatis, baik dengan melewatkan masalah yang tidak ditandai oleh sistem atau mengikuti petunjuk yang salah. Tinjauan studi oleh Parasuraman dan Manzey menemukan bahwa hal ini tidak dapat dicegah melalui pelatihan atau instruksi.
Bagaimana Anda menilai apakah analis memvalidasi atau hanya menerima?
Berikan contoh kasus yang belum pernah dilihat sebelumnya, termasuk beberapa kasus di mana modelnya tepat dan beberapa kasus di mana modelnya salah, dan beri nilai pada disposisi dan rasionalisasinya berdasarkan kriteria yang telah disepakati.
Apakah pelatihan tersebut menggunakan data pelanggan nyata?
Tidak. Gunakan kasus yang telah dianonimkan atau kasus sintetis, dan mintalah persetujuan dari penanggung jawab kepatuhan Anda.
Mulai dari mana
Pilih satu jenis peringatan dalam antrean Anda. Tulis pernyataan kinerja, minta seorang pemimpin kejahatan keuangan untuk memvalidasi kumpulan kasus anonim yang mencakup peringatan benar, salah, dan ambigu, dan susun rubrik tiga kriteria dengan skala 0 hingga 2 dan daftar kesalahan kritis. Uji coba dengan kelompok kecil sebelum Anda meluncurkannya.
Untuk melihat bagaimana sebuah studi kasus dapat dijalankan secara langsung dengan tim Anda sendiri, dan digunakan kembali secara mandiri setelahnya, jelajahi AhaSlides.
