模型風險訓練練習：如何設計壓力測試實驗室，以教會分析師質疑假設

一個信用風險模型過去三年表現良好。其回測結果令人滿意，輸出結果也完全在容差範圍內，業務部門對其十分信任。在訓練實驗室中，一位分析師將一個已獲批准的輸入假設——某類貸款的預期回收率——改為一個不太理想的值。整體輸出幾乎沒有變化，但有兩個部分出現了顯著波動。分析師需要判斷這意味著什麼，應該如何向模型所有者報告，以及該模型不應再用於哪些用途。

這是一個範例場景，並非已記錄的客戶案例。它展示了模型風險訓練練習需要培養的技能：檢驗假設、解釋限制以及在模型看似穩定時論證決策的合理性。本指南面向風險訓練負責人以及負責解答相關問題的合規和模型風險負責人。它僅涵蓋培訓設計。訓練練習並不能驗證實際的財務模型，模型風險專家應在使用前審查每個案例。

什麼是風險模型訓練演練？

模型風險訓練練習是一種結構化的實踐任務，分析師透過改變假設和輸入來測試模型（通常是簡化的或合成的模型），然後解釋結果並說明模型的局限性。壓力測試實驗室是這種練習的實踐形式：它提供了一個安全的模型、一系列已批准的變更以及對結論進行論證的要求。

要聞速覽

1. 描述效能問題

首先要明確決策。當模型看起來沒問題時，分析師該怎麼做？用一個以動詞開頭的句子來表述：“更改一個已批准的假設，觀察模型的變化，解釋由此暴露出的局限性，並說明該模型應該用於什麼用途，不應該用於什麼用途。”

主管們稱這項技能為…。美國聯邦儲備委員會和貨幣監理署發布 SR 11-7，模型風險管理監理指南2011年4月4日發布的這份文件將模型風險描述為基於不正確或誤用​​的模型輸出而做出的決策可能造成的不良後果，並稱「有效質疑」為指導原則：由客觀、知情的各方進行批判性分析，以識別模型的局限性和假設，並提出相應的修改。這是美國的指導意見，並非適用於所有司法管轄區的規定，因此請查閱適用於您的特定要求。這份文件與培訓應達到的績效目標非常吻合。

2. 診斷學習與情境差距

將該職位的要求與你目前的訓練實務和評估方式進行比較。

1. 分析師現在都在做什麼？ 如果訓練內容只是關於模型治理的講座和一份文件清單，那麼他們只是掌握了相關術語，而沒有進行過故意破壞模型的練習。
2. 認知需求是什麼？ 在布魯姆修訂後的分類法中，運行測試是應用，解釋模型失敗的原因是分析，判斷模型是否適合某種用途是評估，設計新的壓力測試是創造。我們的指南 將學習活動與布魯姆分類法相匹配 解釋如何解讀這些要求。
3. 除了技能之外，還有其他因素阻礙了嗎？ 首先檢查人員配備、工具和流程。如果分析人員沒有時間提出質疑，無法查看模型的假設，或沒有途徑提出局限性，那麼實驗室週一的實驗結果將無法改變。
4. 挑戰受歡迎嗎？ 如果挑戰某種模式意味著批評其所有者，人們就會保持沉默。在進行相關訓練之前，先就如何應對挑戰達成共識。

3. 設計有目的的準備與練習

讓每個階段都有其自身的任務。

準備工作：檢查先決條件。 這是一個簡短的自學診斷，內容涵蓋模型的用途、主要輸入以及實驗室所需的統計概念。此類回顧性檢查僅用於確認前提條件，請勿將其作為能力報告。

實作：模擬壓力測試實驗室。 建構一個小型、安全的模型，或使用經過認可的合成模型，並為學習者提供一系列經批准的修改方案。以下三個練習依難度遞增的順序排列：

• 改變一個假設。 學習者移動一個已批准的輸入，並記錄哪些輸出移動、移動了多少以及哪些輸出沒有移動。
• 求出它所分割的片段。 學習者查看標題數字下方，找出模型最不穩定的地方，然後說明他們不會將其用於哪些用途。
• 設計下一個測試。 學習者提出進行進一步的壓力測試，說明什麼樣的結果會改變他們的觀點，以及執行測試需要多少成本。

與決策相關的回饋。 「你報告了標題變更，但沒有核查變化最大的兩個部分」比打分數更有意義。請說明決定內容、所用或遺漏的證據以及最終批准的標準。

即時教師指導還是非同步複習？ 當模型風險專家解釋某個限制為何重要，或某個測試為何有缺陷時，即時回饋最有價值。非同步審查足以涵蓋概念理解、對照關鍵標準核對測試結果以及專家稍後可閱讀的書面局限性說明。常見的模式是：先進行自主學習，然後參加由專家指導的實驗課程，最後由經驗豐富的同事監督學員對真實模型進行挑戰。

4. 透過一個實際例子進行分析

舉例說明。風險模型專家應在使用前驗證案例並回答相關標準。

案子。 簡化的貸款損失模型採用60%的預期回收率。回溯測試結果良好。經批准的壓力測試將無抵押貸款的回收率調整為40%。整體投資組合損失估計值上升4%。其中兩個細分市場（均為小型企業無抵押貸款）的損失估計值上升超過30%。

任務。 學習者陳述測驗結果，解釋其局限性，並提出建議。

第一次嘗試。 “總體變化僅為 4%，因此該模型對這一假設具有穩健性。”

反饋並重試。 主持人會詢問哪些細分市場變動最大，它們在投資組合中的佔比是多少，以及整體數據掩蓋了哪些資訊。重試環節會要求對結果進行解讀，指出其限制並提出建議。

一次更有力的嘗試。 「整體數據變化不大，是因為受影響的業務板塊在投資組合中所佔比例很小。但在這些業務板塊內部，預估值上升了30%以上，因此該模型對小企業無擔保貸款的回收率假設非常敏感。我不建議僅依賴60%這個單一的回收率數據來預測這些業務板塊。

解釋每種回應的合理性或不足之處。 評判每項結果時，應依據既定標準，而非引導者的個人偏好。第一次嘗試只讀取整體資料便止步。更深入的嘗試則會找出模型的敏感點，指出其應用局限性，建議有界行動方案，並說明哪些方面尚未經過測試。它不會斷言模型本身有錯誤。

5. 評估能力並制定轉移計劃

能力證明是指學習者對一個先前未曾接觸過的新案例模型的回應。請根據您的專家製定的評分標準，對每個標準進行0到2分的簡短評分。我們的指南 評估訓練中的判斷力和問題解決能力 涵蓋錨點和校準評估員。

評分標準：0 分錶示缺失或缺乏支持，1 分錶示部分缺失但有相關遺漏，2 分錶示完整且符合既定標準。請單獨定義關鍵錯誤，例如將壓力測試結果作為實際模型的驗證，以免高分掩蓋關鍵錯誤。本評分標準僅為建議的起點，並非已驗證的準備就緒標準。

工作場所後續跟進。 經過一段時間後，給新模型一個案例，或在實際模型上進行監督挑戰，並將其與基準模型在兩個相同的指標上進行比較：壓力測試的品質和故障解釋。預先定義總體、分母和時間點，並記錄參與者在訓練期間看到的案例，以便區分記憶效應和遷移效應。

有什麼證據可以證明訓練有效？

尋找那些在未曾接觸過的模型上，故意更改假設的分析師；深入分析標題背後的含義；指出與特定用途相關的局限性；並說明他們尚未測試的內容。此外，也要注意他們提出的挑戰性意見：強調具體的局限性，而非泛泛的警告。

要謹慎對待諸如發現問題數量之類的結果。新的模型清單、監管審查或審查人員的變更都可能在同一時期影響這些結果。發現問題數量增加可能意味著更嚴厲的質疑或更高的門檻，因此在認可培訓成果之前務必進行核實。

互動式教學有助於

互動式形式有助於讓每位參與者在看到結果之前做出預測。在即時會議中，主持人可以描述一項變化，要求每位分析師預測哪些輸出會發生變化，然後公佈結果，從而揭示直覺與模型之間的差異。同樣的案例也可以作為預習內容，參與者可以自主安排學習進度。 AhaSlides 支援互動式學習，並可在直播和自主學習模式之間靈活切換。請將您計劃使用的任何創作、回饋或報告功能與自身的工作流程進行比對。在親眼見證其運作之前，請將模擬器、虛擬實境、人工智慧和系統整合視為外部或未經驗證的工具。在安全模型上進行的實驗只是練習，不能取代真實環境的驗證。

哪些訓練解決不了的問題

• 治理薄弱。 若無人負責跟進挑戰，調查結果將會失效。務必先確定負責人。
• 沒有時間質疑。 以吞吐量作為衡量標準的人不會進行額外的測試。
• 封閉模型。 如果分析師看不到假設條件，就無法對其進行檢驗。
• 證據有限。 一組案例的評分並不能描述分析師將面臨的所有挑戰，也沒有任何訓練練習能夠驗證實際的財務模型。

儘早將這些問題告知贊助商，並商定由誰負責解決每個問題。

常見問題

什麼是風險模型訓練演練？

在練習任務中，分析師需要改變一個安全模型中的假設，解釋模型的變化，並說明模型的限制和適用範圍。

訓練實驗室能否驗證實際運作的模型？

不。實驗室是在安全或合成模型上教授方法。真實模型的驗證遵循您自身的管理規定和相關指南。

分析師需要編寫程式碼來運行這些實驗室嗎？

不一定。一個電子表格模型或一個帶有壓力變化菜單的認可工具就足夠了。這裡教授的技能是解讀，而不是程式設計。

如何公平地評估挑戰技能？

使用新的案例、簡短的評分標準和商定的基準，並讓模型風險專家校準評分。

從哪兒開始

請風險模型專家提供一個小型、安全的模型以及三個已核准的假設變更方案。擬定包含三個標準的評估細則，與一個團隊一起進行「變更一個假設」的練習，然後在正式推廣之前對新案例進行評分。

要了解像這樣的「預測-揭示」式實驗室如何即時運行，以及之後如何以自定進度重複使用，請探索 AhaSlides.