Упражнения по обучению управлению рисками при моделировании: как разрабатывать лаборатории стресс-тестирования, которые учат аналитиков подвергать сомнению предположения.

Модель оценки кредитного риска хорошо работала в течение трех лет. Ее тестирование на исторических данных было безупречным, результаты находились в пределах допустимых отклонений, и компания ей доверяла. В учебном центре аналитик меняет одно из утвержденных входных предположений — ожидаемый коэффициент возмещения по определенному классу кредитов — на менее приемлемое значение. Основной результат практически не изменился. Два сегмента изменились значительно. Аналитик должен решить, что это означает, что сообщить владельцу модели и для каких целей модель использовать не следует.

Это иллюстративный сценарий, а не задокументированный случай из практики клиента. Он демонстрирует навыки, которые должны быть развиты в ходе учебных упражнений по управлению рисками, связанными с моделями: проверка предположений, объяснение ограничений и обоснование решения, когда модель выглядит стабильной. Это руководство предназначено для руководителей отделов обучения управлению рисками, а также для специалистов по соблюдению нормативных требований и управлению рисками, связанными с моделями, которые отвечают за ответы. Оно охватывает только разработку учебных материалов. Учебное упражнение не подтверждает работоспособность реальной финансовой модели, и специалист по управлению рисками, связанными с моделями, должен проверить каждый случай перед его использованием.

Что представляют собой упражнения по обучению управлению модельными рисками?

Упражнения по обучению управлению модельными рисками представляют собой структурированные практические задания, в которых аналитики проверяют модель, обычно упрощенную или синтетическую, изменяя допущения и входные данные, а затем интерпретируют произошедшее и объясняют пределы возможностей модели. Лаборатория стресс-тестирования — это практическая форма такого обучения: безопасная модель, набор утвержденных изменений и требование обосновать выводы.

Интересные факты

1. Опишите проблему с производительностью.

Начнём с принятия решения. Что должен сделать аналитик, если модель выглядит хорошо? Запишите это в виде одного предложения, ведущего за собой глагол: «Изменить утверждённое предположение, понаблюдать за изменениями, объяснить выявленные ограничения и указать, для чего следует и для чего не следует использовать модель».

Руководители дают название этому навыку. Федеральная резервная система США и Управление контролера денежного обращения выпустили... SR 11-7, Руководство для надзорных органов по управлению модельными рисками4 апреля 2011 года. В нем риск, связанный с моделью, описывается как потенциальная возможность неблагоприятных последствий от решений, основанных на некорректных или неправильно используемых результатах моделирования, и в качестве руководящего принципа называется «эффективное оспаривание»: критический анализ со стороны объективных, информированных сторон, которые могут выявить ограничения и допущения модели и внести соответствующие изменения. Это рекомендации для США, а не правило для каждой юрисдикции, поэтому проверьте требования, применимые к вашей стране. Это точное описание того, каких результатов должно достичь обучение.

2. Диагностика пробелов в знаниях и контексте.

Сравните требования, предъявляемые к данной должности, с тем, что используется и оценивается в рамках вашей текущей программы обучения.

1. Какую практику применяют аналитики в настоящее время? Если обучение состоит из лекции по управлению моделями и контрольного списка документации, значит, они усвоили терминологию. Они не практиковались в преднамеренном нарушении работы модели.
2. Какова когнитивная нагрузка? В пересмотренной таксономии Блума проведение теста — это применение, интерпретация причин сбоя модели — это анализ, оценка пригодности модели для использования — это оценка, а разработка нового стресс-теста — это создание. Наше руководство по соответствие учебных мероприятий таксономии Блума объясняет, как читать эти требования.
3. Что-то ещё, помимо навыков, мешает? В первую очередь проверьте кадровое обеспечение, инструменты и процедуры. Если у аналитиков нет времени для проверки, нет доступа к предположениям модели или нет способа указать на ограничение, лаборатория не изменит то, что произойдет в понедельник.
4. Приветствуются ли вызовы? Если оспаривание модели означает критику её владельца, люди будут молчать. Договоритесь о том, как воспринимается критика, прежде чем тренировать модель для её применения.

3. Разработайте целенаправленную подготовку и практику.

Каждому этапу следует отвести свою задачу.

Подготовка: проверьте необходимые условия. Краткий самостоятельный диагностический тест, посвященный назначению модели, ее основным входным данным и статистическим понятиям, необходимым для лабораторной работы. Подобная проверка подтверждает только наличие необходимых предварительных знаний. Не следует указывать это как подтверждение компетентности.

Практика: моделирование лабораторий для стресс-тестирования. Создайте небольшую, безопасную модель или используйте утвержденную синтетическую модель и предоставьте учащимся список утвержденных изменений. Три упражнения в порядке возрастания сложности:

• Измените одно предположение. Учащийся перемещает один из утвержденных входных параметров и записывает, какие выходные параметры перемещаются, на сколько и какие остаются неизменными.
• Найдите сегмент, который он разбивает. Учащийся смотрит ниже заголовочного числа и определяет, где модель наименее стабильна, а затем указывает, для чего бы он ее не использовал.
• Разработайте следующий тест. Учащийся предлагает провести дополнительный стресс-тест, указывает, какой результат изменил бы его точку зрения и во сколько обойдется его проведение.

Обратная связь, связанная с принимаемыми решениями. Фраза "Вы сообщили об изменении заголовка, но не проверили два сегмента, которые изменились больше всего" более полезна, чем оценка. Укажите принятое решение, использованные или упущенные доказательства и утвержденный критерий.

Вводные данные от преподавателя в режиме реального времени или асинхронное обсуждение? Ввод данных в режиме реального времени наиболее эффективен, когда специалист по оценке рисков модели объясняет, почему то или иное ограничение имеет значение или почему тест оказался слабым. Асинхронного обзора достаточно для понимания концепций, проверки результатов тестов по ключу и ознакомления со справочными материалами по ограничениям, которые специалист сможет прочитать позже. Распространенный вариант — самостоятельная подготовка, лабораторная работа под руководством специалиста, а затем контролируемая проверка реальной модели более опытным коллегой.

4. Проработайте реалистичный пример.

Иллюстративный пример. Специалист по оценке рисков должен проверить критерии и варианты ответов перед использованием.

Дело. Упрощенная модель оценки убытков по кредитам использует ожидаемый уровень возмещения в 60 процентов. Тестирование на исторических данных показало хорошие результаты. Утвержденная стресс-тестовая модель изменяет этот показатель до 40 процентов для необеспеченных кредитов. Общая оценка убытков по портфелю увеличивается на 4 процента. В двух сегментах, оба из которых представляют собой необеспеченные кредиты для малого бизнеса, рост составляет более 30 процентов.

Задача. Учащийся излагает результаты теста, объясняет ограничения и рекомендует принять решение.

Первая попытка. «Общее изменение составляет всего 4 процента, поэтому модель устойчива к этому предположению».

Отправьте отзыв и попробуйте снова. Ведущий спрашивает, какие сегменты показали наибольшие изменения, какова их доля в портфеле и что скрывает общая цифра. При повторном анализе запрашивается интерпретация, ограничения и рекомендации.

Более убедительная попытка. «Основной показатель меняется незначительно, поскольку затронутые сегменты составляют небольшую долю портфеля. Внутри них оценка увеличивается более чем на 30 процентов, поэтому модель очень чувствительна к предположению о восстановлении для необеспеченных кредитов малому бизнесу. Я бы не стал полагаться на единственную цифру в 60 процентов для этих сегментов. Я бы рекомендовал использовать предположения о восстановлении на уровне сегментов и документированный диапазон чувствительности, и я бы сообщил владельцу модели, что я протестировал только один входной параметр. Я не проверял корреляцию или качество данных».

Почему каждый ответ является обоснованным или неполным. Оценивайте каждый вариант по утвержденным критериям, а не по предпочтениям модератора. Первая попытка заключается в прочтении сводной информации и остановке. Более тщательная попытка выявляет уязвимые места модели, указывает на ограничения, связанные с конкретным применением, рекомендует ограниченные действия и указывает на то, что еще не было проверено. Она не утверждает, что модель неверна.

5. Оценить возможности и спланировать передачу.

Подтверждением компетентности является ответ на новый типовой пример, с которым обучающийся ранее не сталкивался. Оцените каждый критерий по краткой шкале от 0 до 2, разработанной совместно со специалистом. Наше руководство по... Оценка способности принимать решения и решать проблемы в процессе обучения охватывает вопросы, касающиеся якорных устройств и калибровочных оценщиков.

Критерии оценки: 0 означает отсутствие или отсутствие подтверждения, 1 — частичное наличие существенных упущений, 2 — полное и обоснованное соответствие согласованным критериям. Критические ошибки следует определять отдельно, например, представление результатов стресс-теста в качестве подтверждения работоспособности модели, чтобы высокий общий балл не скрывал подобных ошибок. Данная рубрика является предлагаемой отправной точкой, а не утвержденным стандартом готовности.

Последующие действия на рабочем месте. По истечении соответствующего периода времени предоставьте новый моделируемый случай или проведите контролируемое тестирование на реальной модели и сравните его с базовым уровнем по тем же двум показателям: качеству стресс-тестов и интерпретации сбоев. Заранее определите популяцию, знаменатель и сроки, а также зафиксируйте, какие случаи люди видели во время обучения, чтобы можно было отличить запоминание от переноса навыков.

Какие доказательства подтвердят эффективность обучения?

Ищите аналитиков, которые, работая с моделью, которую они не видели, намеренно меняют предположение, заглядывают за заголовок, указывают на ограничение, связанное с конкретным применением, и говорят о том, что они не проверяли. Добавьте то, что показывает анализ их замечаний: конкретные ограничения, а не общие оговорки.

Будьте осторожны с такими показателями, как количество выявленных нарушений. Новая инвентаризация моделей, проверка регулирующими органами или изменение состава экспертной комиссии могут повлиять на эти показатели за тот же период. Большее количество нарушений может означать более жесткую проверку или изменение порогового значения, поэтому проверьте это перед тем, как засчитывать обучение.

Где интерактивная доставка помогает

Интерактивные форматы помогают в ситуациях, когда каждый участник должен сделать свой прогноз до того, как группа увидит результат. На очном занятии модератор может описать изменение, попросить каждого аналитика спрогнозировать, какие показатели изменятся, а затем показать результат, что демонстрирует, насколько сильно различаются интуиция и модель. Те же самые примеры можно проводить в самостоятельном темпе в качестве подготовки. AhaSlides Поддерживает интерактивное обучение и переход от обучения в реальном времени к самостоятельному обучению. Проверьте любые функции создания контента, обратной связи или отчетности, которые вы планируете использовать, на соответствие вашему собственному рабочему процессу. Рассматривайте симуляторы, виртуальную реальность, ИИ и системную интеграцию как внешние или неподтвержденные, пока не увидите их в действии. Лабораторная работа на безопасной модели — это практика, а не замена проверке на реальной модели.

Что обучение не исправит

• Слабое управление. Если никто не возьмет на себя ответственность за дальнейшие действия по оспариванию, результаты будут утрачены. Сначала необходимо согласовать ответственных лиц.
• Нет времени на споры. Люди, чья производительность оценивается по показателю пропускной способности, не будут проводить дополнительные тесты.
• Закрытые модели. Если аналитики не видят предположений, они не могут их проверить.
• Ограничения по количеству доказательств. Оценка, выставленная по набору кейсов, не описывает все сложности, с которыми столкнется аналитик, и ни одно учебное упражнение не может подтвердить работоспособность реальной финансовой модели.

Сообщите об этих проблемах спонсорам на раннем этапе и договоритесь, кто будет их устранять.

Часто задаваемые вопросы

Что представляют собой упражнения по обучению управлению модельными рисками?

Отработайте на практике задачи, в которых аналитики изменяют предположения в безопасной модели, интерпретируют изменения и объясняют ограничения модели и ее надлежащее применение.

Может ли тренировочная лаборатория проверить работоспособность реальной модели?

Нет. В лаборатории обучают методу на безопасной или синтетической модели. Валидация на реальной модели осуществляется в соответствии с вашими собственными правилами и соответствующими рекомендациями.

Нужно ли аналитикам уметь программировать, чтобы запускать эти лаборатории?

Не обязательно. Достаточно модели в электронной таблице или утвержденного инструмента с меню изменений уровня стресса. Обучаемый навык — это интерпретация, а не программирование.

Как вы справедливо оцениваете навыки решения сложных задач?

Используйте новый кейс, краткую рубрику и согласованные критерии оценки, а также поручите специалисту по моделированию рисков откалибровать систему подсчета баллов.

Когда начать

Обратитесь к специалисту по модельным рискам с просьбой предоставить одну небольшую, безопасную модель и три утвержденных изменения в предположениях. Составьте трехкритериальную рубрику, проведите упражнение «изменение одного предположения» с одной командой, а затем оцените новый случай, прежде чем внедрять его.

Чтобы узнать, как подобная лабораторная работа по прогнозированию и последующему раскрытию результатов может проводиться в режиме реального времени и может быть использована повторно в удобном для вас темпе, изучите... AhaSlides.