Модель кредитного ризику добре поводиться протягом трьох років. Її попередні тести чисті, її результати комфортно знаходяться в межах допустимого діапазону, і бізнес їй довіряє. У навчальній лабораторії аналітик змінює одне затверджене вхідне припущення, очікуваний коефіцієнт повернення коштів за класом кредитів, на менш комфортне значення. Загальний результат майже не змінюється. Два сегменти змінюються дуже сильно. Аналітик має вирішити, що це означає, що сказати власнику моделі та для чого модель не слід використовувати.
Це ілюстративний сценарій, а не задокументований випадок клієнта. Він демонструє навички, які мають розвивати вправи з навчання з управління ризиками моделей: перевірка припущень, пояснення обмежень та обґрунтування рішення, коли модель виглядає стабільною. Цей посібник призначений для керівників відділів навчання з управління ризиками, а також для керівників відділів комплаєнсу та управління ризиками моделей, які володіють відповідями. Він охоплює лише розробку навчання. Навчальне вправа не перевіряє реальну фінансову модель, і спеціаліст з управління ризиками моделей повинен переглянути кожен випадок перед використанням.
Що таке навчальні вправи з моделювання ризиків?
Навчальні вправи з моделювання ризиків – це структуровані практичні завдання, в яких аналітики досліджують модель, зазвичай спрощену або синтетичну, змінюючи припущення та вхідні дані, потім інтерпретують те, що відбувається, та пояснюють межі того, що може підтримувати модель. Лабораторія стрес-тестування – це практична форма цього: безпечна модель, набір затверджених змін та вимога обґрунтування висновків.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Яке завдання? | Перевірте припущення та поясніть обмеження моделі. |
| Який бал ви отримуєте? | Якість стрес-тестів та інтерпретація того, що не вдалося. |
| Чи перевіряє лабораторія реальну модель? | Ні. Він навчає методу на безпечній або синтетичній моделі. |
| Хто схвалює справу? | Спеціаліст з моделювання ризиків, а не тренер. |
| У прямому ефірі чи у власному темпі? | Власний темп для вивчення концепцій та інструментів, прямий ефір або фасилітація для інтерпретації. |
| Чого не можуть виправити тренування? | Слабке управління, брак часу на оскарження та нечітка структура власності. |
| Звідки ви знаєте, що це спрацювало? | Новий модельний випадок або контрольований огляд після перерви, оцінений відповідно до рубрики. |
1. Опишіть проблему продуктивності
Почніть з рішення. Що має зробити аналітик, коли модель виглядає добре? Запишіть це як одне речення з дієсловом: «Змініть затверджене припущення, спостерігайте за змінами, поясніть обмеження, яке це виявляє, і скажіть, для чого слід і для чого не слід використовувати модель».
Керівники називають цю навичку. Федеральна резервна система США та Управління контролера валютного ринку випустили SR 11-7, Керівництво нагляду щодо управління ризиками моделі, 4 квітня 2011 року. У ньому ризик моделі описується як потенціал для негативних наслідків рішень, заснованих на неправильних або неправильно використаних вихідних даних моделі, а керівним принципом називається «ефективний виклик»: критичний аналіз об’єктивними, поінформованими сторонами, які можуть визначити обмеження та припущення моделі та внести відповідні зміни. Це рекомендації США, а не правило для кожної юрисдикції, тому перевірте вимоги, що застосовуються до вас. Це детальний опис продуктивності, яку має створити навчання.
2. Діагностуйте прогалини у навчанні та контексті
Порівняйте вимоги цієї посади з тим, що передбачає ваша поточна підготовка та оцінювання.
- Що зараз практикують аналітики? Якщо навчання — це лекція з управління моделлю плюс контрольний список документації, вони вивчили термінологію. Вони не практикували навмисне порушення роботи моделі.
- Що таке когнітивний попит? У переглянутій таксономії Блума проведення тесту є застосуванням, інтерпретація причин невдачі моделі — аналізом, оцінка придатності моделі для використання — оцінкою, а розробка нового стрес-тесту — створенням. Наш посібник з зіставлення навчальних завдань з таксономією Блума пояснює, як читати ці вимоги.
- Чи щось, окрім майстерності, заважає? Спочатку перевірте персонал, інструменти та процедури. Якщо аналітики не мають часу для оскарження, доступу до припущень моделі або способу встановити обмеження, лабораторія не змінюватиме те, що відбувається в понеділок.
- Чи виклик вітається? Якщо виклик моделі означає критику її власника, люди мовчатимуть. Домовтеся про те, як сприймати виклик, перш ніж тренуватися.
3. Розробіть цілеспрямовану підготовку та практику
Дайте кожному етапу своє окреме завдання.
Підготовка: перевірте попередні умови. Коротка діагностика у власному темпі щодо призначення моделі, її основних вхідних даних та статистичних ідей, необхідних лабораторії. Така перевірка повторності підтверджує лише передумови. Не повідомляйте про це як про можливості.
Практика: моделювання лабораторій стрес-тестування. Створіть невелику, безпечну модель або використовуйте схвалену синтетичну та надайте учням перелік схвалених змін. Три вправи у порядку зростання вимог:
- Змініть одне припущення. Учень переміщує один затверджений вхідний елемент і записує, які виходи переміщуються, на скільки, а які ні.
- Знайдіть відрізок, який він розриває. Учень дивиться під заголовком і знаходить, де модель найменш стабільна, а потім вказує, для чого він би її не використовував.
- Розробіть наступний тест. Учень пропонує подальший стрес-тест, каже, який результат змінить його точку зору та скільки коштуватиме його проведення.
Зворотній зв'язок, пов'язаний з рішеннями. Фраза «Ви повідомили про зміну заголовка та не перевірили два сегменти, які найбільше змінилися» корисніша за оцінку. Назвіть рішення, використані або пропущені докази та затверджений критерій.
Вступ викладача в реальному часі чи асинхронний огляд? Жива взаємодія додає найбільшої цінності, коли спеціаліст з моделювання ризиків пояснює, чому обмеження має значення або чому тест був слабким. Асинхронного огляду достатньо для концепцій, для перевірки результатів тестів за ключовими критеріями та для письмових заяв про обмеження, які спеціаліст може прочитати пізніше. Поширеним поєднанням є підготовка у власному темпі, фасилітована лабораторна робота, а потім контрольоване випробування реальної моделі більш досвідченим колегою.
4. Розгляньте реалістичний приклад
Ілюстрація. Спеціаліст з моделювання ризиків повинен перевірити випадок та відповісти на критерії перед використанням.
Справа. Спрощена модель збитків за кредитами використовує очікуваний коефіцієнт повернення коштів на рівні 60 відсотків. Результати зворотного тестування є чіткими. Затверджений стресовий фактор змінює ставку до 40 відсотків для незабезпечених кредитів. Оцінка збитків портфеля загалом зростає на 4 відсотки. Два сегменти, обидва незабезпечені для малого бізнесу, зростають більш ніж на 30 відсотків.
Завдання. Учень зазначає, що показує тест, пояснює обмеження та рекомендує рішення.
Перша спроба. «Загальна зміна становить лише 4 відсотки, тому модель є стійкою до цього припущення».
Зворотній зв'язок та повторна спроба. Фасилітатор запитує, які сегменти рухалися найбільше, наскільки вони великі в портфелі та що приховує загальна цифра. Повторна спроба запитує інтерпретацію, обмеження та рекомендації.
Сильніша спроба. «Головний показник мало змінюється, оскільки постраждалі сегменти становлять невелику частку портфеля. У їх межах оцінка зростає більш ніж на 30 відсотків, тому модель дуже чутлива до припущення щодо відновлення незабезпеченого кредитування малого бізнесу. Я б не покладався на єдиний показник у 60 відсотків для цих сегментів. Я б рекомендував припущення щодо відновлення на рівні сегментів та задокументований діапазон чутливості, і я б сказав власнику моделі, що я протестував лише один вхідний параметр. Я не тестував кореляцію чи якість даних».
Чому кожна відповідь є обґрунтованою або неповною. Оцінюйте кожну модель за затвердженими критеріями, а не за вподобаннями фасилітатора. Перша спроба зчитує сукупність і зупиняється. Сильніша спроба знаходить чутливі місця моделі, вказує обмеження, пов'язане з використанням, рекомендує обмежену дію та вказує, що залишилося неперевіреним. Вона не стверджує, що модель неправильна.
5. Оцінка можливостей та планування передачі
Доказом здібностей є відповідь на новий модельний випадок, якого учень ще не бачив. Оцініть короткий критерій від 0 до 2, визначений разом із вашим спеціалістом. Наш посібник з оцінювання судження та вирішення проблем у навчанні охоплює якорів та калібрувальних оцінювачів.
| критерій | Спостережувані докази |
|---|---|
| Виконання завдання | Проводить затверджені стрес-тести та фіксує дії та докази, що їх підтверджують. |
| Обґрунтування | Пояснює, що зазнало невдачі, які обмеження це показує та що не було перевірено, включаючи інтерпретацію невдачі. |
| Межі | Використовує затверджені процедури та звертається за допомогою, коли інформація або повноваження відсутні. |
Опорні точки: 0 означає відсутність або непідтвердження, 1 означає часткове з відповідними пропусками, а 2 означає повне та обґрунтоване відповідно до узгоджених критеріїв. Визначте критичні помилки окремо, наприклад, представивши результат стрес-тесту як валідацію живої моделі, щоб хороший загальний бал не міг приховати його. Ця рубрика є запропонованою відправною точкою, а не підтвердженим стандартом готовності.
Спостереження за робочим місцем. Після відповідного періоду дайте новий модельний випадок або перегляньте контрольований тест на реальній моделі та порівняйте його з базовим рівнем за тими ж двома показниками: якість стрес-тестів та інтерпретація невдачі. Заздалегідь визначте популяцію, знаменник та час, а також запишіть, які випадки люди бачили під час навчання, щоб ви могли відрізнити спогади від перенесення.
Які докази підтвердять, що навчання спрацювало?
Звертайте увагу на аналітиків, які на основі моделі, якої вони не бачили, навмисно змінюють припущення, дивляться нижче заголовка, вказують обмеження, пов'язані з використанням, і кажуть, що вони не тестували. Додайте те, що показує огляд їхніх записів з проблем: конкретні обмеження, а не загальні застереження.
Будьте обережні з такими результатами, як кількість виявлених недоліків. Нова інвентаризація моделей, регуляторна перевірка або зміна в тому, хто перевіряє роботу, можуть змістити їх у той самий період. Більша кількість недоліків може означати більш жорсткі вимоги або зміну порогу, тому перевірте це, перш ніж зараховувати навчання.
Де допомагає інтерактивна доставка
Інтерактивні формати допомагають, коли кожен має зробити прогноз, перш ніж група побачить результат. Під час живої сесії фасилітатор може описати зміну, попросити кожного аналітика передбачити, які результати зміняться, а потім розкрити результат, який покаже, наскільки відрізняються інтуїція та модель. Ті ж самі випадки можуть проходити у власному темпі під час підготовки. AhaSlides підтримує інтерактивне навчання та перехід між живим навчанням та власним темпом. Звірте будь-які функції створення, зворотного зв'язку чи звітності, на які ви плануєте покладатися, з вашим власним робочим процесом. Ставтеся до симуляторів, віртуальної реальності, штучного інтелекту та системних інтеграцій як до зовнішніх або непідтверджених, доки ви не побачите їх у роботі. Лабораторна робота на безпечній моделі – це практика, а не заміна перевірки живої моделі.
Що не виправить навчання
- Слабке управління. Якщо ніхто не відповідає за подальші дії у зв'язку з викликом, висновки втратять свою чинність. Спочатку погодьтеся з власниками.
- Немає часу кидати виклик. Люди, чию пропускну здатність вимірюють, не проводитимуть додаткових тестів.
- Закриті моделі. Якщо аналітики не бачать припущень, вони не можуть їх перевірити.
- Обмеження доказів. Оцінка за набором випадків не описує кожну проблему, яку ставить аналітик, і жодне навчальне завдання не підтверджує реальну фінансову модель.
Заздалегідь назвіть їх спонсорам і домовтеся, хто вирішить кожен з них.
Часті питання
Що таке навчальні вправи з моделювання ризиків?
Практичні завдання, де аналітики змінюють припущення в безпечній моделі, інтерпретують, що рухається, та пояснюють обмеження моделі та її доцільне використання.
Чи може навчальна лабораторія перевірити реальну модель?
Ні. Лабораторія навчає методу на безпечній або синтетичній моделі. Валідація живої моделі відбувається відповідно до ваших власних інструкцій та відповідних рекомендацій.
Чи потрібно аналітикам програмувати для роботи цих лабораторій?
Не обов'язково. Достатньо табличної моделі або затвердженого інструменту з меню змін напружень. Навчається інтерпретація, а не програмування.
Як ви справедливо оцінюєте навички вирішення складних завдань?
Використайте новий кейс, коротку рубрику та узгоджені опорні точки, а також доручіть спеціалісту з модельних ризиків калібрувати оцінку.
З чого почати
Попросіть спеціаліста з моделювання ризиків надати вам одну невелику, безпечну модель та три затверджені зміни припущень. Складіть рубрику з трьома критеріями, виконайте вправу «зміни одного припущення» з однією командою, а потім оцініть новий випадок, перш ніж розгортати його.
Щоб побачити, як подібна лабораторія «передбачити, а потім виявити» може працювати в реальному часі та використовуватися повторно у власному темпі згодом, ознайомтеся AhaSlides.
