Оценить решение о риске можно еще до вложения капитала, но только если вы оцениваете обоснование и проверку лимитов, а не прибыль, которую приносит симуляция. В симуляции обучающийся может заработать деньги по счастливой случайности и потерять их из-за здравого суждения, поэтому сам результат мало что говорит. В этом руководстве показано, как построить оценку симуляции по управлению рисками на основе четкой рубрики, практического примера с возможностью повторной попытки и нового примера, проверяющего перенос средств.
Данный документ предназначен для руководителей отделов обучения управлению рисками, а также для специалистов по борьбе с финансовыми преступлениями и соблюдению нормативных требований, которым необходимо решить, готов ли сотрудник к реальной работе. Он охватывает только разработку учебных программ. Это не финансовое руководство, и каждый случай, ограничение и критерий должны быть рассмотрены квалифицированным специалистом и согласованы с вашей собственной политикой.
Интересные факты
| Вопрос | Короткий ответ |
|---|---|
| Что вы оцениваете? | Качество решения и его обоснование, а не смоделированная прибыль или убыток. |
| Какой критерий оценки? | Четко сформулированная оценочная шкала, оцениваемая по каждому критерию от 0 до 2 баллов, с указанием критических ошибок. |
| Как выглядит хороший случай? | Несколько обоснованных вариантов с различным уровнем риска потерь. |
| Как проверить перевод? | Новый, ранее не встречавшийся случай, выявленный после задержки, получил аналогичную оценку. |
| Что нельзя исправить с помощью обучения? | Нечеткие ограничения, некачественные инструменты и нехватка персонала. |
| Кто проверяет обоснованность случая и критерии оценки? | Перед использованием проконсультируйтесь со специалистом по управлению рисками или соблюдению нормативных требований. |
1. Опишите проблему с производительностью.
Начинайте с задачи, а не с курса. В этой роли необходимо оценивать решения, используя четкую систему оценки рисков: взвешивать риски каждого варианта, сравнивать их с действующими ограничениями, фиксировать обоснование и сообщать о проблемах, если отсутствует информация или полномочия.
Вот показательный пример. Торговому отделу показывают три возможных варианта реагирования на позицию, которая изменилась не в его пользу. Первый — резкое сокращение риска и принятие небольшого гарантированного убытка. Второй — удержание и хеджирование части позиции. Третий — увеличение позиции на основе предположения о возможном развороте рынка. Каждый вариант спорный, и каждый несёт в себе разные потенциальные убытки. Ни один из них заранее не обозначен как «правильный». Отличить готового к обучению человека от неготового — это то, как он выбирает и как объясняет свой выбор. Это вымышленный сценарий, а не случай из практики клиента, и он должен оставаться отдельным от любых реальных финансовых рекомендаций.
2. Диагностика пробелов в знаниях и контексте.
Прежде чем создавать симуляцию, сравните, что должна делать участница роли, с тем, что проверяют существующие системы обучения и оценки. Тест на знание продукта проверяет запоминание информации. Кейс с оценкой по критериям проверяет применение знаний и навыки оценки. Наше руководство по соответствие учебных мероприятий таксономии Блума объясняет, как определить это различие.
Затем поищите причины, которые невозможно устранить с помощью обучения:
- Пределы. Четко ли прописаны лимиты риска, и все ли их читают одинаково? Совет по финансовой стабильности Принципы эффективной системы оценки допустимого уровня риска (2013) рассматривают ограничения риска как одну из четырех областей, в которых организация должна правильно определить риски, наряду с концептуальной основой, заявлением о допустимом уровне риска и ролями совета директоров и высшего руководства. Если ограничения неоднозначны, моделирование только выявит это.
- Инструменты. Могут ли люди быстро увидеть последствия своих рисков в реальных системах?
- Власть. Знают ли учащиеся, когда следует обратиться к вышестоящему руководству и к кому?
- Практикуйтесь. Они когда-нибудь раньше звонили, чтобы получить обратную связь?
Только последний представляет собой очевидный пробел в обучении. Назовите остальные спонсорам и договоритесь о том, кто является владельцем каждого из них.
3. Разработайте целенаправленную подготовку и практику.
Качественная имитационная модель управления рисками состоит из трех уровней, и каждый из них выполняет свою задачу.
Подготовка: проверьте необходимые условия. Дайте краткую диагностику правил, ограничений и концепций, необходимых для решения данного кейса. Проверка на знание материала подтверждает только наличие необходимых предварительных условий. Не следует сообщать о ней как о готовности.
Практика: принимайте решения и получайте обратную связь по ним. Используйте сценарии с разветвлением, в которых обучающийся выбирает ответ, обосновывает его и видит последствия. Обратная связь должна касаться конкретного решения: «Вы указали ограничение, но не сказали, что будете делать, если оно будет нарушено». Наше руководство по разработка интерактивных методов обучения с полезной обратной связью идет дальше.
Обзор и перенос: обсудите один неоднозначный вариант выбора. Вводные комментарии преподавателя в режиме реального времени наиболее полезны там, где ответ зависит от субъективной оценки, например, когда два правильных варианта тянут в противоположных направлениях. Асинхронного просмотра достаточно для простых проверок по четко определенным критериям. Наше руководство по сочетание самостоятельной подготовки с интерактивным коучингом показывает, как разделить эти две части.
4. Пример решения задачи с обратной связью и возможностью повторной попытки.
Это иллюстративный пример. Специалист по управлению рисками или соблюдению нормативных требований должен проверить кейс и критерии ответа перед использованием.
Дело. Позиция изменилась в сторону снижения цены и теперь близка к своему лимиту риска. У обучающегося есть три опциона с разным уровнем риска потерь, и отсутствует одна важная информация о рынке.
Задача. Объясните принятое решение, приведите доказательства, которые вы использовали, и укажите, какая дополнительная информация или поддержка вам необходима.
Первая попытка. «Я бы подождал, потому что, вероятно, всё вернётся на круги своя». Рецензент спрашивает, какой предел применим, насколько близка позиция к критической точке и что бы сделал обучающийся, если бы ситуация вышла за её пределы. На последние два вопроса обучающийся не может ответить.
Отправьте отзыв и попробуйте снова. Рецензент указывает на ограничение в материалах дела и просит обучающегося пересмотреть решение, на этот раз указав степень воздействия после каждого варианта.
Более убедительная попытка. Учащийся выбирает частичное хеджирование, указывает результирующий уровень риска по отношению к лимиту, говорит, что послужит поводом для дальнейшего снижения, и запрашивает недостающие данные, прежде чем принимать дальнейшие решения.
Почему каждый ответ является обоснованным или неполным. Оценивайте по утвержденным критериям, а не по собственным предпочтениям рецензента. Первая попытка может выбрать разумный вариант, но при этом игнорируется ограничение и не срабатывает триггер. Вторая попытка правильна, поскольку в ней присутствуют все необходимые аргументы, проверка ограничения и механизм эскалации, независимо от выбранного варианта. Включите вариант, в котором обучающийся делает правильный выбор, но никогда не проверяет ограничение, и спросите группу, как следует изменить оценку.
5. Оцените возможности с помощью четко определенной оценочной шкалы.
Оцените каждый критерий по шкале от 0 до 2. Согласуйте критерии со своим специалистом; данная рубрика является предлагаемой отправной точкой, а не утвержденным стандартом готовности.
| Критерий | 0: отсутствует или не поддерживается | 1: частичный, с пропусками | 2: полный и обоснованный |
|---|---|---|---|
| Выполнение задачи | Решение не принято, или же нет никаких записей о его принятии. | Решение было принято без подтверждающих доказательств. | Решение и подтверждающие его доказательства фиксируются. |
| аргументация | Отсутствует описание ограничений или альтернативных вариантов. | Некоторые ограничения указаны, неопределенность игнорируется. | Ограничения, альтернативы и неопределенность объяснены последовательно. |
| Соблюдение ограничений | Лимит не проверен или превышен. | Указан предельный уровень воздействия, но он к нему не применяется. | Показатель риска проверен на соответствие лимиту для каждого варианта. |
| Границы | Действует вне утвержденных процедур. | Относится к процедуре непоследовательно. | Использует утвержденные процедуры и обращается за помощью в случае сомнений. |
Критические ошибки следует определять отдельно, например, решение, нарушающее установленный лимит. Общая оценка ни в коем случае не должна скрывать критическую ошибку. Рубрики помогают оценивать каждый раз одинаково: a 2007 обзор исследований по критериям оценки В журнале Educational Research Review были рассмотрены их надежность, валидность и образовательные последствия, и было отмечено, что надежность оценки может быть повышена с помощью рубрик, особенно аналитических, тематически ориентированных, подкрепленных примерами или обучением экспертов. Последовательность по-прежнему зависит от согласования критериев и проверки того, что два эксперта дают одинаковую оценку одному и тому же ответу.
6. Спланируйте перевод.
Показатель симуляции показывает, что делал обучающийся в ходе симуляции. Чтобы узнать, сохраняется ли этот результат, протестируйте его на новом примере с задержкой, а затем добавьте контролируемое рабочее задание.
В соответствии с этим планом действуют два правила: последовательность рассуждений по случаям и соблюдение пределов риска В случае, если обучающийся сталкивался с подобными ситуациями, сравните базовый вариант с незнакомым последующим вариантом, определите генеральную совокупность, знаменатель и временные рамки, прежде чем начать. Затем проверьте сопутствующие изменения, такие как новая структура лимитов или изменение рыночных условий, прежде чем засчитывать обучение. Наше руководство по Оценка способности принимать решения и решать проблемы в процессе обучения В данном разделе более подробно рассматриваются вопросы, касающиеся опорных точек и калибровки оценщиков.
Где интерактивная доставка помогает
Интерактивные форматы помогают в тех случаях, когда участникам необходимо принять решение до встречи с группой. На очном занятии модератор может представить кейс, попросить каждого участника выбрать один из вариантов и обосновать его в одной строке, а затем показать варианты перед обсуждением. Это позволяет выявить разногласия, что и является наиболее эффективным методом обучения. Один и тот же кейс можно проходить в удобном для себя темпе как на этапе подготовки, так и на этапе последующего обсуждения. AhaSlides Поддерживает интерактивное обучение и переход от обучения в режиме реального времени к самостоятельному обучению. Проверьте любые функции создания контента, обратной связи или отчетности, которые вы планируете использовать, на соответствие вашему рабочему процессу, и рассматривайте торговые симуляторы, ИИ и системную интеграцию как внешние или неподтвержденные, пока не убедитесь в их работоспособности.
Что обучение не исправит
- Неоднозначные пределы. Чёткие правила не могут исправить нечёткие границы.
- Инструменты. Если воздействие трудно заметить в реальных системах, никакое моделирование этого не изменит.
- Кадровое обеспечение и время. Люди, которых нельзя освободить, не могут заниматься врачебной деятельностью.
- Ограничения по количеству доказательств. Рассматривайте величину эффекта как контекст и измеряйте показатели в своей собственной выборке. Результаты моделирования не являются доказательством эффективности при использовании реального капитала.
Часто задаваемые вопросы
Как оценивать решения по управлению рисками в условиях моделирования?
Оценивайте обоснование и проверку пределов по четко определенной рубрике, а не по смоделированной прибыли. Добавьте определенные критические ошибки, чтобы хороший общий результат не скрывал серьезного сбоя.
Что должен содержать смоделированный сценарий риска?
Несколько обоснованных вариантов с различными уровнями риска убытков, действующими лимитами, некоторыми доказательствами для подтверждения и как минимум одним пробелом в информации.
Может ли викторина заменить симуляцию?
Нет. Тест на запоминание подтверждает, что правила и ограничения известны. Он не показывает, может ли обучающийся применить их к решению, которое ощущается в реальной жизни.
Как вы поняли, что обучение сработало?
Проведите оценку нового, ранее не встречавшегося случая после некоторой задержки по той же рубрике, сравните его с базовым показателем и проверьте, что еще изменилось за это время.
Кто должен проверять дело и критерии оценки?
Специалист по управлению рисками или соблюдению нормативных требований, который знает ваши правила и ограничения еще до того, как будет произведена оценка на их основе.
Когда начать
Выберите одно решение, которое входит в ваши должностные обязанности и за которое вы несете реальную ответственность. Составьте кейс с тремя обоснованными вариантами, адаптируйте четырехкритериальную рубрику вместе со своим специалистом и проведите его в небольшой группе. Через месяц оцените новый кейс, прежде чем масштабировать его. Для более широкого обзора обучения управлению рисками см. наше руководство по... курсы, необходимые каждому риск-менеджеру.
Чтобы увидеть, как подобный пример может быть реализован в реальных условиях и впоследствии использован в удобном для вас темпе, изучите... AhaSlides.
