Exercícios de treinamento em risco de modelos: como projetar laboratórios de testes de estresse que ensinem os analistas a questionar premissas.

Um modelo de risco de crédito apresentou bom desempenho durante três anos. Seu backtest foi limpo, seus resultados estão confortavelmente dentro da tolerância e a empresa confia nele. Em um laboratório de treinamento, um analista altera uma premissa de entrada aprovada, a taxa de recuperação esperada para uma classe de empréstimos, para um valor menos confortável. O resultado principal praticamente não se altera. Dois segmentos apresentam variações significativas. O analista precisa decidir o que isso significa, o que comunicar ao responsável pelo modelo e para que o modelo não deve ser utilizado.

Este é um cenário ilustrativo, não um caso documentado de um cliente. Ele demonstra a habilidade que os exercícios de treinamento em risco de modelo devem desenvolver: testar hipóteses, explicar limitações e justificar uma decisão quando um modelo parece estável. Este guia destina-se a responsáveis ​​pelo treinamento em risco e aos líderes de compliance e risco de modelo que detêm as respostas. Ele abrange apenas o planejamento do treinamento. Um exercício de treinamento não valida um modelo financeiro em produção, e um especialista em risco de modelo deve revisar cada caso antes de sua utilização.

O que são exercícios de treinamento de risco de modelo?

Os exercícios de treinamento em risco de modelos são tarefas práticas estruturadas nas quais os analistas exploram um modelo, geralmente simplificado ou sintético, alterando premissas e entradas, interpretando os resultados e explicando as limitações do modelo. Um laboratório de testes de estresse é a forma prática disso: um modelo seguro, um conjunto de alterações aprovadas e a necessidade de justificar as conclusões.

Fatos rápidos

1. Descreva o problema de desempenho.

Comece pela decisão. O que um analista deve fazer quando um modelo parece adequado? Descreva em uma única frase, com verbo no início: "Alterar uma premissa aprovada, observar as mudanças, explicar as limitações que isso revela e dizer para que o modelo deve e não deve ser usado."

Supervisores nomeiam essa habilidade. O Federal Reserve dos EUA e o Escritório do Controlador da Moeda emitiram SR 11-7, Orientações de Supervisão sobre Gestão de Riscos de ModelosEm 4 de abril de 2011, foi publicado um documento que descreve o risco do modelo como o potencial de consequências adversas decorrentes de decisões baseadas em resultados incorretos ou mal utilizados do modelo, e considera o "desafio eficaz" um princípio orientador: análise crítica por partes objetivas e informadas que possam identificar as limitações e premissas do modelo e propor as alterações apropriadas. Essa é uma orientação dos EUA, não uma regra para todas as jurisdições, portanto, verifique os requisitos que se aplicam a você. Trata-se de uma descrição precisa do desempenho que o treinamento deve proporcionar.

2. Diagnosticar as lacunas de aprendizagem e de contexto

Compare as exigências da função com as práticas e avaliações de treinamento atuais.

1. O que os analistas fazem atualmente? Se o treinamento se resumir a uma palestra sobre governança de modelos e uma lista de verificação de documentação, eles terão aprendido o vocabulário. Mas não terão praticado a quebra proposital de um modelo.
2. Qual é a demanda cognitiva? Na taxonomia revisada de Bloom, executar um teste é aplicação, interpretar por que o modelo falhou é análise, julgar se o modelo é adequado para um uso é avaliação e projetar um novo teste de estresse é criação. Nosso guia para Adequar as atividades de aprendizagem à taxonomia de Bloom Explica como interpretar essas exigências.
3. Existe algo além da habilidade que esteja atrapalhando? Verifique primeiro a equipe, as ferramentas e os procedimentos. Se os analistas não tiverem tempo para questionar, não tiverem acesso às premissas do modelo ou não houver um canal para relatar uma limitação, um laboratório não mudará o que acontece na segunda-feira.
4. Desafios são bem-vindos? Se desafiar um modelo significa criticar seu criador, as pessoas se calarão. Defina como o desafio será recebido antes de se preparar para ele.

3. Planeje preparação e prática com propósito.

Atribua a cada etapa sua própria função.

Preparação: verifique os pré-requisitos. Um breve diagnóstico individual sobre o propósito do modelo, suas principais entradas e os conceitos estatísticos necessários para o laboratório. Uma verificação de conhecimento prévio como esta confirma apenas os pré-requisitos. Não a reporte como uma demonstração de capacidade.

Prática: simular laboratórios de teste de estresse. Construa um modelo pequeno e seguro, ou utilize um modelo sintético aprovado, e forneça aos alunos uma lista de alterações aprovadas. Três exercícios em ordem crescente de dificuldade:

• Mude uma premissa. O aluno move uma entrada aprovada e registra quais saídas se movem, em que medida e quais não se movem.
• Encontre o segmento que ele interrompe. O aluno analisa o número abaixo do título e identifica onde o modelo é menos estável, depois declara para que não o utilizaria.
• Elabore o próximo teste. O aluno propõe um teste de estresse adicional, indicando qual resultado alteraria sua opinião e qual seria o custo para realizá-lo.

Feedback relacionado às decisões. Uma frase como "Você relatou a mudança na manchete, mas não verificou os dois segmentos que apresentaram maior variação" é mais útil do que uma pontuação. Descreva a decisão, as evidências utilizadas ou omitidas e o critério aprovado.

Interação ao vivo com o instrutor ou revisão assíncrona? A contribuição em tempo real agrega mais valor quando um especialista em risco de modelo explica por que uma limitação é importante ou por que um teste apresentou falhas. A revisão assíncrona é suficiente para os conceitos, para verificar os resultados dos testes em relação a uma chave de comparação e para elaborar declarações de limitações por escrito que um especialista possa ler posteriormente. Uma combinação comum inclui preparação individualizada, um laboratório com facilitador e, em seguida, a análise supervisionada de um modelo real por um colega mais experiente.

4. Analise um exemplo realista.

Ilustrativo. Um especialista em risco de modelo deve validar o caso e os critérios de resposta antes do uso.

O caso. Um modelo simplificado de perdas com empréstimos utiliza uma taxa de recuperação esperada de 60%. Os testes retrospectivos não apresentaram resultados satisfatórios. O cenário de estresse aprovado eleva a taxa para 40% para empréstimos sem garantia. A estimativa de perdas da carteira aumenta em 4% no geral. Dois segmentos, ambos de empréstimos sem garantia para pequenas empresas, apresentam aumentos superiores a 30%.

A tarefa. O aluno descreve o que o teste mostra, explica a limitação e recomenda uma decisão.

Uma primeira tentativa. "A variação total é de apenas 4%, portanto o modelo é robusto a essa suposição."

Feedback e tentativa novamente. O facilitador pergunta quais segmentos apresentaram maior movimentação, qual o seu tamanho no portfólio e o que o valor total esconde. Na segunda tentativa, são solicitadas a interpretação, as limitações e a recomendação.

Uma tentativa mais robusta. "O valor principal varia pouco porque os segmentos afetados representam uma pequena parcela da carteira. Dentro deles, a estimativa aumenta em mais de 30%, portanto, o modelo é altamente sensível à premissa de recuperação para empréstimos sem garantia para pequenas empresas. Eu não confiaria no valor único de 60% para esses segmentos. Eu recomendaria premissas de recuperação em nível de segmento e uma faixa de sensibilidade documentada, e informaria ao responsável pelo modelo que testei apenas uma variável de entrada. Não testei correlação nem a qualidade dos dados."

Por que cada resposta é defensável ou incompleta. Avalie cada caso de acordo com os critérios aprovados, e não com base na preferência do facilitador. A primeira tentativa lê o conjunto de resultados e para. A tentativa mais robusta identifica as áreas sensíveis do modelo, estabelece uma limitação relacionada ao uso, recomenda uma ação específica e indica o que ainda precisa ser testado. Ela não afirma que o modelo está errado.

5. Avaliar a capacidade e planejar a transferência.

A demonstração de capacidade consiste na resposta a um novo caso modelo que o aluno ainda não tenha visto. Atribua uma pontuação de 0 a 2 a cada critério, utilizando uma rubrica curta definida em conjunto com o seu especialista. Consulte o nosso guia para obter mais informações. Avaliação do discernimento e da resolução de problemas no treinamento Abrange âncoras e a calibração de avaliadores.

Critérios de avaliação: 0 significa ausente ou sem suporte, 1 significa parcial com omissões relevantes e 2 significa completo e justificado de acordo com critérios acordados. Defina erros críticos separadamente, por exemplo, apresentar o resultado de um teste de estresse como validação de um modelo em produção, de modo que uma boa pontuação geral não possa ocultar um erro crítico. Esta rubrica é um ponto de partida proposto, não um padrão de prontidão validado.

Acompanhamento no local de trabalho. Após um período adequado, apresente um novo caso modelo ou revise um desafio supervisionado em um modelo real e compare-o com a linha de base nas mesmas duas métricas: qualidade dos testes de estresse e interpretação de falhas. Defina a população, o denominador e o cronograma com antecedência e registre quais casos as pessoas viram no treinamento para que você possa distinguir entre memorização e transferência.

Que evidências demonstrariam que o treinamento funcionou?

Procure por analistas que, em um modelo que não viram, alteram uma premissa propositalmente, olhem além do título, apresentem uma limitação relacionada a um uso específico e digam o que não testaram. Adicione o que uma revisão de suas notas de análise revela: limitações específicas em vez de ressalvas genéricas.

Tenha cuidado com resultados como o número de constatações levantadas. Um novo inventário de modelos, uma auditoria regulatória ou uma mudança em quem revisa o trabalho podem alterá-los no mesmo período. Mais constatações podem significar uma contestação mais rigorosa ou uma mudança no limiar, portanto, verifique antes de creditar o treinamento.

Onde a entrega interativa ajuda

Formatos interativos são úteis, pois exigem que todos se comprometam com uma previsão antes que o grupo veja o resultado. Em uma sessão ao vivo, um facilitador pode descrever uma mudança, pedir a cada analista que preveja quais saídas serão alteradas e, em seguida, revelar o resultado, expondo a discrepância entre a intuição e o modelo. Os mesmos casos podem ser praticados individualmente como preparação. AhaSlides Suporta o aprendizado interativo e a transição entre aulas ao vivo e aulas autodirigidas. Verifique se alguma função de autoria, feedback ou geração de relatórios que você pretende utilizar está em seu próprio fluxo de trabalho. Considere simuladores, realidade virtual, IA e integrações de sistemas como recursos externos ou não confirmados até que você os tenha visto em funcionamento. Um laboratório em um modelo seguro serve como prática, não como substituto para a validação em um ambiente real.

O que o treinamento não vai resolver

• Governança fraca. Se ninguém se responsabilizar pelo acompanhamento de uma contestação, as conclusões serão descartadas. Defina os responsáveis ​​primeiro.
• Não há tempo para contestações. Pessoas que são avaliadas com base na produtividade não realizarão testes extras.
• Modelos fechados. Se os analistas não conseguem visualizar as premissas, não podem testá-las.
• Limitações das evidências. A pontuação obtida em um conjunto de casos não descreve todos os desafios que um analista enfrentará, e nenhum exercício de treinamento valida um modelo financeiro em tempo real.

Informe esses problemas aos patrocinadores com antecedência e defina quem ficará responsável por resolvê-los.

Perguntas frequentes

O que são exercícios de treinamento de risco de modelo?

Tarefas práticas em que os analistas alteram as premissas de um modelo seguro, interpretam as mudanças e explicam as limitações e usos apropriados do modelo.

Um laboratório de treinamento pode validar um modelo em produção?

Não. O laboratório ensina um método em um modelo seguro ou sintético. A validação de um modelo vivo segue sua própria governança e as diretrizes relevantes.

Os analistas precisam saber programar para executar esses laboratórios?

Não necessariamente. Uma planilha ou uma ferramenta aprovada com um menu de alterações de estresse é suficiente. A habilidade que está sendo ensinada é a interpretação, não a programação.

Como avaliar habilidades de desafio de forma justa?

Utilize um novo caso, uma rubrica concisa e parâmetros de referência acordados, e solicite a um especialista em risco de modelos que calibre a pontuação.

Por onde começar

Solicite a um especialista em risco de modelos um modelo pequeno e seguro e três alterações de premissas aprovadas. Elabore a rubrica de três critérios, execute o exercício de "alterar uma premissa" com uma equipe e, em seguida, avalie um novo caso antes de implementá-lo.

Para ver como um laboratório de previsão e revelação como este poderia funcionar ao vivo e ser reutilizado posteriormente em ritmo próprio, explore AhaSlides.