Обучение по анализу оповещений о мошенничестве с использованием ИИ: как предотвратить превращение аналитиков в пассивных нажимателей на кнопки.

Модель помечает платеж по карте как вероятный случай мошенничества. Сумма для клиента большая, продавец новый, а рейтинг находится в верхней части диапазона. У аналитика в очереди еще сорок оповещений. Самый быстрый шаг — подтвердить платеж и двигаться дальше. Но в заметках по счету клиента указан недавний переезд и предыдущий звонок по поводу крупной покупки, что объясняет все помеченные оповещения.

Это иллюстративный сценарий, а не задокументированный случай. Он описывает навык, который должен выработать курс обучения анализу предупреждений о мошенничестве с использованием ИИ: рассматривать автоматическое предупреждение как отправную точку для проверки, а не как ответ, который нужно подтвердить.

Это руководство предназначено для руководителей отделов обучения управлению рисками и специалистов по борьбе с финансовыми преступлениями или соблюдению нормативных требований, работающих с ними. В нем рассматривается, как описать проблему с производительностью, диагностировать пробелы, разработать подготовку и практику, проработать конкретный случай и оценить, применимы ли полученные навыки к реальным очередям. Речь идет о разработке программ обучения. Каждый тип оповещения, правило обработки и путь эскалации в вашей программе должны быть подтверждены специалистом по борьбе с финансовыми преступлениями или соблюдению нормативных требований и соответствовать вашим нормативным обязательствам.

Что представляет собой обучение по проверке оповещений о мошенничестве с использованием ИИ?

Обучение по проверке оповещений о мошенничестве с использованием ИИ учит аналитиков проверять достоверность результатов работы автоматизированной модели. Аналитик проверяет оповещение в более широком контексте, рассматривает альтернативные объяснения, принимает решение о дальнейших действиях и составляет обоснование, которое может быть проверено другим специалистом. Риск, который рассматривается, — это пассивное принятие, когда результаты работы модели воспринимаются как окончательное решение.

Интересные факты

1. Опишите проблему с производительностью.

Начните с задачи: проанализируйте автоматические оповещения и обоснуйте принятое решение. Анализ — это не просто согласие или несогласие. Аналитик собирает контекст, который модель не использовала, сопоставляет его с причиной срабатывания оповещения, указанной моделью, и записывает, почему принятое решение является обоснованным.

В литературе по человеческому фактору эта проблема получила название. В обзоре эмпирических исследований Парасураман и Манзи описывают предвзятость автоматизации, когда люди чрезмерно полагаются на автоматизированные средства и совершают ошибки пропуска (пропускают то, на что средство не указало) и ошибки действия (следуют указаниям средства, когда оно неверно). Они сообщают, что эти эффекты могут возникать, когда средства несовершенны, что внимание играет центральную роль и что их нельзя предотвратить с помощью обучения или инструкций.Парасураман и Манзей, 2010Данный обзор посвящен использованию автоматизации людьми в целом, а не конкретно мошенническим операциям, поэтому рассматривайте полученные результаты как предупреждение о недостатках проектирования и оцените их эффективность в своих собственных системах управления очередями.

Для обучения это означает, что краткого инструктажа о рисках будет недостаточно. Упражнение должно научить аналитиков не соглашаться с моделью, когда доказательства ее подтверждают, и соглашаться, когда она ее не подтверждает.

Напишите описание результатов работы в одном предложении и попросите руководителя отдела по борьбе с финансовыми преступлениями проверить его: «Учитывая оповещение и контекст счета, аналитик указывает, что именно выявила модель, что говорят более широкие доказательства, принимает решение и объясняет причину, а также какую дополнительную информацию он хотел бы получить».

2. Диагностика пробелов в знаниях и контексте.

Прежде чем что-либо создавать, сравните задачу с тем, что практикуется и оценивается в вашей текущей программе. Три вопроса обычно позволяют отличить пробел в обучении от чего-то другого:

1. Используется ли в современной практике реальная задача? Если обучение охватывает политику и типологии, но никогда не просит аналитиков проверить модель оповещения, значит, никто не практиковал валидацию. Если оценка учитывает только соответствие решения ключу ответов, она скрывает качество рассуждений.
2. Какова когнитивная нагрузка? В пересмотренной таксономии Блума взвешивание конкурирующих объяснений и оценка склонности находятся на уровнях анализа и оценки. Воспоминание о типологии находится ниже. Сопоставление заданий с этими уровнями рассматривается в нашем руководстве. соответствие учебных мероприятий таксономии Блума.
3. Что-то ещё, помимо навыков, мешает? Проверьте объем очереди, целевые показатели времени обработки и права на эскалацию. Если эффективность работы аналитика оценивается по количеству закрытых оповещений в час, принятие модели является рациональным выбором, и обучение ее не изменит. Сообщайте о причинах, не связанных с обучением, тем, кто может их устранить.

3. Подготовка и практика проектирования

Как только вы определите, какие пробелы можно восполнить с помощью обучения, поручите каждому этапу отдельную задачу.

Подготовка. Проверьте необходимые предварительные условия с помощью краткой диагностики: типологии, используемые в исследовании, данные, отображаемые в оповещении, что использует модель и что она не учитывает. Самостоятельное изучение материала подходит для этого этапа. Повторная проверка подтверждает только необходимые предварительные условия.

Практикуйтесь. Используйте симуляции мошенничества, построенные на основе обезличенных данных, и, если позволяют ресурсы, сценарии, разработанные в стиле «красной команды», чтобы выявить уязвимости, которые не учитывает модель. Смешивайте оповещения, где модель верна, оповещения, где она неверна, и неоднозначные оповещения, не указывая аналитику, какое из них какое. Аналитик выбирает вариант решения и записывает обоснование.

Обратная связь. Свяжите это с принятыми решениями, а не с общим баллом. Фраза «Вы подтвердили оповещение из-за суммы, но в примечаниях к счету это было объяснено, а в вашем обосновании это не упоминалось» полезнее, чем «4 из 5 правильных ответов».

Ввод данных в режиме реального времени или асинхронная проверка? Ввод информации в режиме реального времени наиболее эффективен, когда ситуация неоднозначна, и аналитики учатся, слушая аргументы старшего коллеги с обеих сторон. Асинхронного анализа достаточно для сравнения обоснования с аннотированным экспертным заключением. Многие команды используют оба подхода: сначала самостоятельная подготовка, а затем обсуждение сложных случаев под руководством модератора.

4. Проработайте реалистичный пример.

Пример. Специалист по борьбе с финансовыми преступлениями или соблюдению нормативных требований должен проверить дело и критерии ответа перед использованием. Используйте только обезличенные данные.

Дело. Оповещение указывает на крупную покупку без физического присутствия карты у нового продавца. Показатель эффективности модели высок. В примечаниях к счету указана недавняя смена адреса и звонок клиента, поступивший два дня назад, по поводу запланированной покупки мебели.

Задача. Аналитик указывает, что показывает оповещение, что добавляет контекст, излагает решение и причину, а также что еще он хотел бы проверить.

Первая попытка. «Высокий балл, большая сумма, новый продавец. Подтверждаю как подозрительный». Аналитик повторил доводы модели и не стал рассматривать ничего, что модель не использовала.

Отправьте отзыв и попробуйте снова. Тренер спрашивает, что написано в записях к отчету и объясняют ли они каждую из причин, указанных в модели. При повторной попытке аналитику предлагается перечислить три сигнала модели и сопоставить каждый из них с более широкими доказательствами.

Более убедительная попытка. «Сумма и продавец в истории транзакций необычны, но в примечаниях указан недавний переезд и звонок по поводу покупки мебели. Это объясняет сумму, категорию продавца и адрес доставки. Я бы не стал подтверждать подозрительность только на основании оценки. Я бы проверил адрес доставки по новому адресу и поискал запись о перезвоне. Если они совпадают, я бы закрыл дело как подлинное, исходя из этой логики. В противном случае я бы передал дело на рассмотрение вышестоящим инстанциям». Этот ответ основывается на имеющихся доказательствах, предлагает альтернативное объяснение и указывает, что могло бы изменить решение.

Почему каждый ответ является обоснованным или неполным. Оценивайте каждый вариант по утвержденным критериям, а не по предпочтениям тренера. Первая попытка отражает модель. Более сильная попытка проверяет ее. Включайте случаи, когда правильным ответом является подтверждение предупреждения, чтобы аналитики не научились автоматически ему не доверять.

5. Оценить возможности и спланировать передачу.

Доказательством компетентности является выполнение задач по ранее не встречавшимся транзакциям. Оценивается точность принятия решения и качество обоснования. Для оценки используется простая шкала от 0 до 2 для каждого критерия:

Критерии оценки: 0 означает отсутствие или неподтвержденность, 1 — частичное наличие существенных упущений, 2 — полное и обоснованное соответствие согласованным критериям. Критические ошибки следует определять отдельно, например, закрытие оповещения, соответствующего обязательному правилу эскалации, чтобы общая оценка не скрывала ошибку. Данная рубрика является предложением, а не утвержденным стандартом готовности: адаптируйте ее с учетом ситуации с финансовыми преступлениями и проведите пилотное тестирование. Наше руководство по разработка интерактивных методов обучения с полезной обратной связью показывает, как писать отзывы, которые связаны с принятыми решениями.

Планируйте передачу навыков обдуманно. После упражнения попросите старшего аналитика оценить несколько реальных ситуаций каждого обучающегося и обсудить с ними обоснования, или проведите краткий разбор недавнего оповещения, которое было закрыто ошибочно.

Где интерактивная доставка помогает

Интерактивные форматы помогают, когда каждый участник должен подтвердить свою позицию до начала группового обсуждения. На очном занятии модератор может показать обезличенное оповещение, попросить каждого участника ввести результат и краткое обоснование, а затем показать итоговый результат перед обсуждением. Те же самые примеры можно изучать в удобном для себя темпе. AhaSlides поддерживает интерактивное обучение и переключение между очным и самостоятельным обучением. Система не оценивает результаты или обоснования автоматически, поэтому их может оценить сам участник или ваш собственный процесс. Проверьте любые функции создания контента, обратной связи или отчетности, которые вы планируете использовать, на соответствие вашему рабочему процессу. Рекомендации по выбору форматов см. в нашей статье. Когда использовать адаптивное, интерактивное и обучение в режиме реального времени?.

Измерьте, что изменилось.

Заранее определите, что покажет способность аналитиков выполнять задачу. Сравните точность принятия решений и качество обоснований на неизвестном ранее наборе дел с базовым уровнем. Определите, кто включен в исследование, знаменатель и временные рамки. Если результаты улучшатся, проверьте, что еще изменилось за тот же период, например, перенастройка модели, изменение правил или новый целевой показатель времени обработки, прежде чем учитывать результаты обучения.

Ограничения, которые могут остаться

• Давление в очереди. Целевые показатели времени обработки вознаграждают за быстрое согласие с моделью.
• Качество оповещения. Модель, выдающая много ложных срабатываний, истощает внимание независимо от качества обучения.
• Права на эскалацию. Аналитик, сомневающийся в предупреждении, все равно должен иметь четкий способ оспорить его.
• Обзор дела. Один из примеров демонстрирует несколько закономерностей. Оценка не отражает в целом суждение аналитика.
• Перевод. Производительность труда в цехе отличается от производительности труда в конце долгой смены.

Сообщите об этом спонсорам на раннем этапе и спланируйте отдельные исправления. Обучение улучшает способность аналитика задавать вопросы и давать объяснения. Оно не меняет стимулов в очереди.

Часто задаваемые вопросы

Что представляет собой обучение по проверке оповещений о мошенничестве с использованием ИИ?

Программа обучает аналитиков проверке автоматизированных оповещений: проверяют контекст, который модель не использовала, рассматривают альтернативы, выбирают вариант решения и составляют обоснование, которое можно проверить.

Что такое предвзятость автоматизации?

Это тенденция чрезмерно полагаться на автоматизированные средства, либо пропуская проблемы, на которые они не указывали, либо следуя их указаниям, когда они неверны. Обзор исследований Парасурамана и Манзи показал, что этого нельзя избежать с помощью обучения или инструкций.

Как вы определяете, подтверждают ли аналитики результаты своих исследований, а не просто принимают их?

Предложите несколько невиданных ранее случаев, включая те, где модель верна, и те, где она неверна, и оцените результат и обоснование в соответствии с согласованными критериями.

Используются ли в процессе обучения реальные данные о клиентах?

Нет. Используйте обезличенные или синтетические данные и поручите руководителю отдела соответствия их утвердить.

Когда начать

Выберите один тип оповещений для вашей очереди. Составьте описание эффективности, поручите руководителю отдела по борьбе с финансовыми преступлениями проверить обезличенный набор данных, включающий правильные, неправильные и неоднозначные оповещения, и разработайте трехкритериальную рубрику со шкалой от 0 до 2 и списком критических ошибок. Проведите пилотное тестирование на небольшой группе, прежде чем внедрять систему в массовое производство.

Чтобы увидеть, как можно запустить кейс в режиме реального времени с вашей командой и затем использовать его в удобном для вас темпе, изучите AhaSlides.