模型风险培训练习：如何设计压力测试实验室，以教会分析师质疑假设

一个信用风险模型过去三年表现良好。其回测结果令人满意，输出结果也完全在容差范围内，业务部门对其十分信任。在训练实验室中，一位分析师将一个已获批准的输入假设——某类贷款的预期回收率——更改为一个不太理想的值。总体输出几乎没有变化，但有两个部分出现了显著波动。分析师需要判断这意味着什么，应该如何向模型所有者汇报，以及该模型不应再用于哪些用途。

这是一个示例场景，并非已记录的客户案例。它展示了模型风险培训练习需要培养的技能：检验假设、解释局限性以及在模型看似稳定时论证决策的合理性。本指南面向风险培训负责人以及负责解答相关问题的合规和模型风险负责人。它仅涵盖培训设计。培训练习并不能验证实际的财务模型，模型风险专家应在使用前审查每个案例。

什么是风险模型训练演练？

模型风险训练练习是一种结构化的实践任务，分析师通过改变假设和输入来测试模型（通常是简化的或合成的模型），然后解释结果并说明模型的局限性。压力测试实验室是这种练习的实践形式：它提供了一个安全的模型、一系列已批准的变更以及对结论进行论证的要求。

要闻速览

1. 描述性能问题

首先要明确决策。当模型看起来没问题时，分析师应该怎么做？用一个以动词开头的句子来表述：“更改一个已批准的假设，观察模型的变化，解释由此暴露出的局限性，并说明该模型应该用于什么用途，不应该用于什么用途。”

主管们称这项技能为……。美国联邦储备委员会和货币监理署发布 SR 11-7，模型风险管理监管指南2011年4月4日发布的这份文件将模型风险描述为基于不正确或误用的模型输出而做出的决策可能造成的不良后果，并称“有效质疑”为指导原则：由客观、知情的各方进行批判性分析，以识别模型的局限性和假设，并提出相应的修改。这是美国的指导意见，并非适用于所有司法管辖区的规定，因此请查阅适用于您的具体要求。这份文件与培训应达到的绩效目标非常吻合。

2. 诊断学习和情境差距

将该职位的要求与你目前的培训实践和评估方式进行比较。

1. 分析师现在都在做什么？ 如果培训内容只是关于模型治理的讲座和一份文档清单，那么他们只是掌握了相关术语，而没有进行过故意破坏模型的练习。
2. 认知需求是什么？ 在布鲁姆修订后的分类法中，运行测试是应用，解释模型失败的原因是分析，判断模型是否适合某种用途是评估，设计新的压力测试是创造。我们的指南 将学习活动与布鲁姆分类法相匹配 解释如何解读这些要求。
3. 除了技能之外，还有其他因素阻碍了吗？ 首先检查人员配备、工具和流程。如果分析人员没有时间提出质疑，无法查看模型的假设，或者没有途径提出局限性，那么实验室周一的实验结果将无法改变。
4. 挑战受欢迎吗？ 如果挑战某种模式意味着批评其所有者，人们就会保持沉默。在进行相关培训之前，先就如何应对挑战达成共识。

3. 设计有目的的准备和练习

让每个阶段都有其自身的任务。

准备工作：检查先决条件。 这是一份简短的自学诊断，内容涵盖模型的用途、主要输入以及实验室所需的统计概念。此类回顾性检查仅用于确认前提条件，请勿将其作为能力报告。

实践：模拟压力测试实验室。 搭建一个小型、安全的模型，或者使用经过认可的合成模型，并为学习者提供一系列经批准的修改方案。以下三个练习按难度递增的顺序排列：

• 改变一个假设。 学习者移动一个已批准的输入，并记录哪些输出移动、移动了多少以及哪些输出没有移动。
• 找出它所分割的片段。 学习者查看标题数字下方，找出模型最不稳定的地方，然后说明他们不会将其用于哪些用途。
• 设计下一个测试。 学习者提出进行进一步的压力测试，说明什么样的结果会改变他们的观点，以及运行该测试需要多少成本。

与决策相关的反馈。 “你报告了标题变更，但没有核查变化最大的两个部分”比打分更有意义。请说明决定内容、所用或遗漏的证据以及最终批准的标准。

实时教师指导还是异步复习？ 当模型风险专家解释某个局限性为何重要，或某个测试为何存在缺陷时，实时反馈最具价值。异步审查足以涵盖概念理解、对照关键标准核对测试结果以及专家稍后可阅读的书面局限性说明。一种常见的模式是：先进行自主学习，然后参加由专家指导的实验课程，最后由经验丰富的同事监督学员对真实模型进行挑战。

4. 通过一个实际例子进行分析

举例说明。风险模型专家应在使用前验证案例并回答相关标准。

案子。 简化的贷款损失模型采用60%的预期回收率。回溯测试结果良好。经批准的压力测试将无抵押贷款的回收率调整为40%。整体投资组合损失估计值上升4%。其中两个细分市场（均为小企业无抵押贷款）的损失估计值上升超过30%。

任务。 学习者陈述测试结果，解释其局限性，并提出建议。

第一次尝试。 “总体变化仅为 4%，因此该模型对这一假设具有稳健性。”

反馈并重试。 主持人会询问哪些细分市场变动最大，它们在投资组合中的占比是多少，以及整体数据掩盖了哪些信息。重试环节会要求对结果进行解读，指出其局限性并提出建议。

一次更有力的尝试。 “总体数据变化不大，是因为受影响的业务板块在投资组合中所占比例很小。但在这些业务板块内部，预估值上升了30%以上，因此该模型对小企业无担保贷款的回收率假设非常敏感。我不建议仅依赖60%这个单一的回收率数据来预测这些业务板块。我建议采用分板块层面的回收率假设，并记录敏感性范围。同时，我会告知模型所有者，我只测试了一个输入值，并未测试相关性或数据质量。”

解释每种回应的合理性或不足之处。 评判每项结果时，应依据既定标准，而非引导者的个人偏好。第一次尝试仅读取总体数据便止步。更深入的尝试则会找出模型的敏感点，指出其应用局限性，推荐有界行动方案，并说明哪些方面尚未经过测试。它不会断言模型本身存在错误。

5. 评估能力并制定转移计划

能力证明是指学习者对一个之前未曾接触过的新案例模型的回应。请根据您的专家制定的评分标准，对每个标准进行0到2分的简短评分。我们的指南 评估培训中的判断力和问题解决能力 涵盖锚点和校准评估员。

评分标准：0 分表示缺失或缺乏支持，1 分表示部分缺失但存在相关遗漏，2 分表示完整且符合既定标准。请单独定义关键错误，例如将压力测试结果作为实际模型的验证，以免高分掩盖关键错误。本评分标准仅为建议的起点，并非已验证的准备就绪标准。

工作场所后续跟进。 经过一段时间后，给新模型一个案例，或者在实际模型上进行监督挑战，并将其与基线模型在两个相同的指标上进行比较：压力测试的质量和故障解释。预先定义总体、分母和时间点，并记录参与者在训练期间看到的案例，以便区分记忆效应和迁移效应。

有什么证据可以证明培训有效？

寻找那些在未曾接触过的模型上，故意更改假设的分析师；深入分析标题背后的含义；指出与特定用途相关的局限性；并说明他们尚未测试的内容。此外，还要关注他们提出的挑战性意见：强调具体的局限性，而非泛泛的警告。

要谨慎对待诸如发现问题数量之类的结果。新的模型清单、监管审查或审查人员的变更都可能在同一时期影响这些结果。发现问题数量增加可能意味着更严厉的质疑或更高的门槛，因此在认可培训成果之前务必进行核实。

互动式教学有助于

互动式形式有助于让每位参与者在看到结果之前做出预测。在实时会议中，主持人可以描述一项变化，要求每位分析师预测哪些输出会发生变化，然后公布结果，从而揭示直觉与模型之间的差异。同样的案例也可以作为预习内容，参与者可以自主安排学习进度。 AhaSlides 支持交互式学习，并可在直播和自主学习模式之间灵活切换。请将您计划使用的任何创作、反馈或报告功能与自身的工作流程进行比对。在亲眼见证其运行之前，请将模拟器、虚拟现实、人工智能和系统集成视为外部或未经验证的工具。在安全模型上进行的实验只是练习，不能替代真实环境的验证。

哪些培训解决不了的问题

• 治理薄弱。 如果无人负责跟进挑战，调查结果将失效。务必先确定负责人。
• 没有时间质疑。 以吞吐量作为衡量标准的人不会进行额外的测试。
• 封闭模型。 如果分析师看不到假设条件，就无法对其进行检验。
• 证据有限。 对一组案例的评分并不能描述分析师将面临的所有挑战，也没有任何培训练习能够验证实际的财务模型。

尽早将这些问题告知赞助商，并商定由谁负责解决每个问题。

常见问题

什么是风险模型训练演练？

练习任务中，分析师需要改变一个安全模型中的假设，解释模型的变化，并说明模型的局限性和适用范围。

训练实验室能否验证实际运行的模型？

不。实验室是在安全或合成模型上教授方法。真实模型的验证遵循您自身的管理规定和相关指南。

分析师需要编写代码来运行这些实验室吗？

不一定。一个电子表格模型或一个带有压力变化菜单的认可工具就足够了。这里教授的技能是解读，而不是编程。

如何公平地评估挑战技能？

使用新的案例、简短的评分标准和商定的基准，并让模型风险专家校准评分。

从哪儿开始

请风险模型专家提供一个小型、安全的模型以及三个已获批准的假设变更方案。拟定包含三个标准的评估细则，在一个团队中开展“变更一个假设”的练习，然后在正式推广之前对新案例进行评分。

要了解像这样的“预测-揭示”式实验室如何实时运行，以及之后如何以自定进度重复使用，请探索 AhaSlides.