Модель позначає платіж карткою як ймовірне шахрайство. Сума для клієнта висока, продавець новий, а оцінка знаходиться у верхньому діапазоні. Аналітик має ще сорок сповіщень у черзі. Найшвидший крок – підтвердити та продовжити. Але нотатки до рахунку клієнта показують нещодавній переїзд та попередній дзвінок щодо великої покупки, що пояснює кожну позначку в сповіщенні.
Це ілюстративний сценарій, а не задокументований випадок. Він описує звичку, яку має виробити навчання з перевірки сповіщень про шахрайство за допомогою штучного інтелекту: сприйняття автоматичного сповіщення як відправної точки для тестування, а не як відповіді для схвалення.
Цей посібник призначений для керівників відділів навчання з питань ризиків та фахівців з питань фінансових злочинів або комплаєнсу, які з ними працюють. У ньому розповідається про те, як описати проблему з продуктивністю, діагностувати прогалини, розробити підготовку та практику, опрацювати справу та оцінити, чи можна застосувати навички до черг розслідування. Йдеться про розробку навчання. Кожен тип сповіщення, правило розпорядження та маршрут ескалації у вашій програмі повинні бути перевірені вашим керівником з питань фінансових злочинів або комплаєнсу та відповідати вашим регуляторним зобов'язанням.
Що таке навчання з перевірки сповіщень про шахрайство зі штучним інтелектом?
Навчання з перевірки сповіщень про шахрайство за допомогою штучного інтелекту навчає аналітиків перевіряти результати автоматизованої моделі. Аналітик перевіряє сповіщення в ширшому контексті, розглядає альтернативні пояснення, приймає рішення та пише обґрунтування, яке може перевірити хтось інший. Ризик, який він враховує, полягає в пасивному прийнятті, коли результат моделі розглядається як рішення.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Яке завдання? | Перегляньте автоматичне сповіщення та обґрунтуйте рішення. |
| Який бал ви отримуєте? | Точність розгляду справи та якість обґрунтування огляду. |
| Чи достатньо вікторини з питань політики? | Ні. Це підтверджує передумови, але не те, чи може аналітик встояти перед переконливою оцінкою. |
| Хто перевіряє зміст? | Фінансовий злочин або запит на дотримання нормативних вимог. |
| Чого не можуть виправити тренування? | Обсяг черги, цільовий час, низька якість сповіщень та нечіткі права на ескалацію. |
| Звідки ви знаєте, що це спрацювало? | Новий, раніше невідомий набір випадків транзакцій, оцінених за узгодженими критеріями, з подальшим відстеженням роботи в реальному часі. |
1. Опишіть проблему продуктивності
Почніть із завдання: перегляньте автоматичні сповіщення та обґрунтуйте своє рішення. Перевірка – це більше, ніж просто погодження чи незгода. Аналітик збирає контекст, який модель не використовувала, зважує його з причиною позначення моделі та фіксує, чому рішення є виправданим.
У літературі з людського фактору цій проблемі надається назва. В огляді емпіричних досліджень Парасураман і Манзі описують упередженість автоматизації, коли люди надмірно покладаються на автоматизовані засоби та роблять помилки, пропускаючи (пропускаючи щось, що не позначив засіб) та доручаючи (виконуючи завдання, коли засіб неправильний). Вони повідомляють, що ці ефекти можуть виникати, коли засоби недосконалі, що увага відіграє центральну роль і що їм не можна запобігти за допомогою навчання чи інструкцій (Парасураман і Манзей, 2010). Огляд стосується використання автоматизації людиною загалом, а не шахрайських операцій конкретно, тому розглядайте цей висновок як попередження щодо дизайну та вимірюйте його у власних чергах.
Для навчання це означає, що короткого брифінгу про ризик буде недостатньо. Ця вправа має змусити аналітиків потренуватися не погоджуватися з моделлю, коли докази її підтверджують, і погоджуватися, коли це не так.
Напишіть звіт про ефективність одним реченням і попросіть керівника відділу фінансових злочинів перевірити його: «Враховуючи сповіщення та контекст облікового запису, аналітик зазначає, що виявила модель, що говорять ширші докази, рішення та причину, а також яку додаткову інформацію він шукатиме».
2. Діагностуйте прогалини у навчанні та контексті
Перш ніж щось створювати, порівняйте завдання з тим, що практикується та оцінюється у вашій поточній програмі. Три питання зазвичай відрізняють прогалину в навчанні від чогось іншого:
- Чи використовує сучасна практика реальне завдання? Якщо навчання охоплює політику та типології, але ніколи не просить аналітиків переглянути модель оповіщення, ніхто не практикував валідацію. Якщо оцінювання враховує лише те, чи відповідає розташування ключу відповідей, воно приховує якість міркування.
- Що таке когнітивний попит? У переглянутій таксономії Блума зважування конкуруючих пояснень та оцінювання диспозиції знаходяться на рівнях аналізу та оцінки. Відтворення типології знаходиться на нижчому рівні. Зіставлення дій з цими рівнями розглядається в нашому посібнику зіставлення навчальних завдань з таксономією Блума.
- Чи щось, окрім навичок, заважає? Перевірте обсяг черги, цільові показники часу обробки та права на ескалацію. Якщо аналітик вимірюється за кількістю закритих сповіщень за годину, прийняття моделі є раціональним вибором, і навчання її не змінить. Повідомте про причини, не пов'язані з навчанням, людям, які можуть їх виправити.
3. Підготовка та практика проектування
Як тільки ви зрозумієте, які прогалини може заповнити навчання, дайте кожному етапу окреме завдання.
Підготовка. Перевірте передумови за допомогою короткої діагностики: типології в області застосування, дані, які показує сповіщення, що використовує модель, а що ні. Для цього етапу підходить самостійне навчання. Перевірка повторення підтверджує лише передумови.
Практика. Використовуйте симуляції шахрайства, побудовані на основі деідентифікованих випадків, а також, де у вас є ресурси, справи в стилі червоної команди, написані для використання того, що пропускає модель. Поєднуйте сповіщення, де модель правильна, сповіщення, де вона неправильна, та сповіщення, які є неоднозначними, не повідомляючи аналітику, які є які. Аналітик обирає рішення та записує обґрунтування.
Зворотний зв'язок. Пов’яжіть це з рішеннями, а не із загальною оцінкою. «Ви підтвердили сповіщення через суму, але в примітках до рахунку це пояснювалося, і у вашому обґрунтуванні це не згадувалося» корисніше, ніж «4 з 5 правильних».
Живий ввід чи асинхронний огляд? Жива інформація є найбільш цінною, коли справа неоднозначна, і аналітики навчаються, слухаючи аргументи старшого колеги, який стверджує обидві сторони. Асинхронного огляду достатньо для порівняння обґрунтування з анотованим експертним обґрунтуванням. Багато команд використовують обидва варіанти: спочатку підготовку у власному темпі, а потім фасилітовану сесію щодо складних справ.
4. Розгляньте реалістичний приклад
Ілюстрація. Керівник відділу фінансових злочинів або комплаєнсу повинен перевірити справу та критерії відповіді перед використанням. Використовуйте лише анонімізовані справи.
Справа. Сповіщення позначає велику покупку без пред'явлення картки у нового продавця. Оцінка моделі висока. У примітках до рахунку зазначено нещодавню зміну адреси та дзвінок клієнта два дні тому щодо запланованої покупки меблів.
Завдання. Аналітик зазначає, що показує сповіщення, що додає контекст, розташування та причину, а також що ще вони перевірять.
Перша спроба. «Високий бал, велика сума, новий продавець. Підтвердити як підозріле». Аналітик повторив причини моделі та не розглядав нічого, що не використовувалося в моделі.
Зворотній зв'язок та повторна спроба. Коуч запитує, що написано в нотатках до обліку та чи пояснюють вони кожну з причин моделі. Під час повторної спроби аналітик має перерахувати три сигнали моделі та зіставити кожен із ширшими доказами.
Сильніша спроба. «Сума та продавець незвичайні в історії транзакцій, але в нотатках зазначено нещодавній переїзд та дзвінок щодо купівлі меблів. Це пояснює суму, категорію продавця та адресу доставки. Я б не підтверджував підозру лише на основі цих даних. Я б звірив адресу доставки з новою адресою та пошукав би запис про зворотний дзвінок. Якщо вони збігаються, я б закрив справу як справжню з цим обґрунтуванням. Якщо ні, я б перейшов до іншого відділу». Ця відповідь обґрунтовується доказами, називає альтернативне пояснення та вказує, що змінить рішення.
Чому кожна відповідь є обґрунтованою або неповною. Оцінюйте кожну спробу за затвердженими критеріями, а не за вподобаннями тренера. Перша спроба відображає модель. Більш сильна спроба перевіряє її. Включіть випадки, коли правильною відповіддю є підтвердження тривоги, щоб аналітики не навчилися рефлекторно не довіряти їй.
5. Оцінка можливостей та планування передачі
Доказом спроможності є результати роботи з невидимими справами про транзакції. Оцініть точність розпорядження та якість обґрунтування. Проста рубрика використовує шкалу від 0 до 2 за кожен критерій:
| критерій | Спостережувані докази |
|---|---|
| Виконання завдання | Переглядає оповіщення та записує докази, що лежать в основі рішення. |
| Обґрунтування | Пояснює альтернативи, обмеження та те, що залишається невизначеним. |
| Межі | Використовує затверджені процедури та переходить до більш серйозної ситуації, коли інформації або повноважень недостатньо. |
Опорні точки: 0 – відсутнє або непідтверджене, 1 – часткове з відповідними пропусками, а 2 – повне та обґрунтоване відповідно до узгоджених критеріїв. Окремо визначте критичні помилки, такі як закриття сповіщення, яке відповідає обов'язковому правилу ескалації, щоб загальний бал не міг приховати таку помилку. Ця рубрика є пропозицією, а не затвердженим стандартом готовності: адаптуйте її разом з керівником з питань фінансових злочинів та проведіть пілотний проект. Наш посібник з розробка інтерактивної практики з корисним зворотним зв'язком показує, як писати відгуки, що посилаються на рішення.
Плануйте перенесення ретельно. Після вправи попросіть старшого аналітика взяти до уваги кілька живих диспозицій кожного учня та розглянути з ним обґрунтування або проведіть короткий аналіз нещодавнього сповіщення, яке було помилково закрито.
Де допомагає інтерактивна доставка
Інтерактивні формати допомагають усім взяти на себе зобов'язання, перш ніж вони побачать групу. Під час живого сеансу фасилітатор може показати анонімне сповіщення, попросити кожного аналітика ввести розпорядження та однорядкове пояснення, а потім розкрити розклад перед обговоренням. Ті самі випадки можуть проходити у власному темпі для підготовки. AhaSlides підтримує інтерактивне навчання та перехід між живим сеансом та власним темпом. Він не оцінює розпорядження чи обґрунтування автоматично, тому їх позначає людина або ваш власний процес. Звірте будь-яку конкретну функцію створення, зворотного зв'язку чи звітності, на яку ви плануєте покладатися, зі своїм власним робочим процесом. Щоб отримати рекомендації щодо вибору форматів, дивіться нашу статтю про коли використовувати адаптивне, інтерактивне та живе навчання.
Виміряйте, що змінилося
Заздалегідь вирішіть, що покаже, що аналітики можуть виконати завдання. Порівняйте точність розподілу та якість обґрунтування на невидимому наборі випадків з базовим рівнем. Визначте, хто включений, знаменник та час. Якщо результати покращаться, перевірте, що ще змінилося за той самий період, наприклад, переналаштування моделі, зміна правила або новий цільовий час обробки, перш ніж зараховувати навчання.
Обмеження, які можуть залишитися
- Тиск у черзі. Цільові показники часу обробки винагороджують швидку узгодженість з моделлю.
- Якість сповіщень. Модель, яка дає багато хибнопозитивних результатів, знижує увагу незалежно від навчання.
- Права на ескалацію. Аналітик, який сумнівається в попередженні, все одно потребує чіткого способу його оскарження.
- Покриття справ. Один набір випадків демонструє кілька закономірностей. Оцінка не описує судження аналітика загалом.
- Трансфер Продуктивність у цеху не те саме, що продуктивність після довгої зміни.
Заздалегідь назвіть їх спонсорам та сплануйте окремі виправлення. Навчання покращує те, що аналітик може запитати та пояснити. Воно не змінює стимули в черзі.
Часті питання
Що таке навчання з перевірки сповіщень про шахрайство зі штучним інтелектом?
Це вчить аналітиків перевіряти автоматичні сповіщення: перевіряти контекст, який модель не використовувала, розглядати альтернативи, вибирати рішення та писати обґрунтування, яке можна перевірити.
Що таке упередженість автоматизації?
Це тенденція надмірно покладатися на автоматизовану допомогу, або пропускаючи проблеми, на які вона не позначила, або дотримуючись її, коли вона помиляється. Огляд досліджень Парасурамана та Манзея показав, що цьому не можна запобігти за допомогою навчання чи інструкцій.
Як ви оцінюєте, чи підтверджують аналітики, а не приймають?
Наведіть невидимі випадки, включаючи ті, де модель правильна, і ті, де вона неправильна, та оцініть рішення та обґрунтування за узгодженими критеріями.
Чи використовуються в навчанні реальні дані клієнтів?
Ні. Використовуйте анонімні або синтетичні справи та отримайте їх схвалення від керівника відділу відповідності.
З чого почати
Виберіть один тип сповіщень у своїй черзі. Напишіть звіт про ефективність, попросіть керівника відділу фінансових злочинів перевірити набір деідентифікованих справ, який включає правильні, неправильні та неоднозначні сповіщення, та складіть рубрику з трьома критеріями зі шкалою від 0 до 2 та перелік критичних помилок. Випробуйте його з невеликою групою, перш ніж розгортати.
Щоб побачити, як кейс може працювати в режимі реального часу з вашою командою та використовуватися повторно у власному темпі згодом, ознайомтеся з AhaSlides.
