모델 위험 훈련 연습: 분석가들이 가정을 검증하도록 가르치는 스트레스 테스트 실습 환경 설계 방법

신용 위험 모델은 3년 동안 안정적으로 작동해 왔습니다. 백테스트 결과도 양호하고, 출력값도 허용 오차 범위 내에 안정적으로 유지되며, 사업부에서도 모델을 신뢰하고 있습니다. 그런데 교육 환경에서 한 분석가가 승인된 입력 가정 중 하나인 특정 대출 유형의 예상 회수율을 다소 불안정한 값으로 변경했습니다. 그 결과, 주요 출력값은 거의 변하지 않았지만, 두 개의 세그먼트에서는 큰 변동이 나타났습니다. 분석가는 이 변동의 의미를 파악하고, 모델 소유자에게 무엇을 알려야 할지, 그리고 이 모델을 어떤 용도로 사용해서는 안 될지 결정해야 합니다.

본 예시는 실제 고객 사례가 아닌, 모델 리스크 교육에서 요구되는 역량, 즉 가정 검증, 한계점 설명, 모델이 안정적으로 보일 때의 결정에 대한 타당성 설명 등을 보여주는 예시입니다. 본 가이드는 리스크 교육 책임자 및 관련 질문에 대한 답변을 담당하는 컴플라이언스/모델 리스크 담당자를 위한 것으로, 교육 설계에 대한 내용만을 다룹니다. 교육은 실제 금융 모델의 유효성을 검증하는 것이 아니므로, 모든 사례는 사용 전에 모델 리스크 전문가의 검토를 거쳐야 합니다.

모델 위험 훈련 연습이란 무엇인가요?

모델 위험 훈련 연습은 분석가가 모델(일반적으로 단순화되거나 합성된 모델)의 가정과 입력값을 변경하여 모델을 검증하고, 그 결과를 해석하며 모델의 한계를 설명하는 구조화된 실습 과제입니다. 스트레스 테스트 실습은 이러한 연습을 직접 수행하는 형태로, 안전한 모델, 승인된 변경 사항, 그리고 결론을 정당화해야 하는 요건으로 구성됩니다.

빠른 사실

1. 성능 문제를 설명하세요

결정부터 시작하세요. 모델이 괜찮아 보일 때 분석가는 무엇을 해야 할까요? 이를 동사 중심의 한 문장으로 작성해 보세요. "승인된 가정을 변경하고, 어떤 변화가 있는지 관찰하고, 이로 인해 드러나는 한계를 설명하고, 모델을 어떤 용도로 사용해야 하고 어떤 용도로 사용해서는 안 되는지 명시한다."

관리자는 이 기술에 이름을 붙입니다. 미국 연방준비제도와 통화감독청은 다음과 같이 발표했습니다. SR 11-7, 모델 위험 관리 관련 감독 지침2011년 4월 4일에 발표된 이 지침은 모델 위험을 잘못되었거나 오용된 모델 출력에 기반한 결정으로 인해 발생할 수 있는 부정적인 결과의 가능성으로 정의하고, "효과적인 검증"을 핵심 원칙으로 제시합니다. 즉, 모델의 한계와 가정을 파악하고 적절한 변경을 도출할 수 있는 객관적이고 정보에 정통한 당사자의 비판적 분석을 의미합니다. 이는 미국 지침이며 모든 관할권에 적용되는 규칙은 아니므로 해당 지역의 요건을 확인하십시오. 이 지침은 교육을 통해 달성해야 할 목표를 정확하게 설명하고 있습니다.

2. 학습 및 맥락 격차를 진단합니다.

해당 직무에 요구되는 사항과 현재 교육 과정에서 다루고 평가하는 내용을 비교해 보세요.

1. 현재 분석가들은 어떤 업무를 수행하나요? 만약 교육이 모델 거버넌스에 대한 강의와 문서 체크리스트 제공으로만 이루어진다면, 그들은 용어만 익혔을 뿐, 의도적으로 모델을 파괴하는 실습은 하지 못한 것입니다.
2. 인지적 요구 사항은 무엇입니까? 블룸의 수정된 분류 체계에서 테스트를 실행하는 것은 적용, 모델이 실패한 이유를 해석하는 것은 분석, 모델이 용도에 적합한지 판단하는 것은 평가, 그리고 새로운 스트레스 테스트를 설계하는 것은 창조입니다. 이 가이드는 학습 활동을 블룸의 분류 체계에 맞추기 이러한 요구사항을 어떻게 해석해야 하는지 설명합니다.
3. 기술 외에 다른 요소가 방해가 되는 건가요? 인력, 도구 및 절차를 먼저 점검하십시오. 분석가가 이의를 제기할 시간이 없거나, 모델의 가정에 접근할 수 없거나, 한계를 제기할 방법이 없다면 연구소는 월요일에 진행되는 작업을 변경하지 않을 것입니다.
4. 도전을 환영합니까? 모델에 이의를 제기하는 것이 그 모델의 소유자를 비판하는 것을 의미한다면, 사람들은 침묵을 지킬 것입니다. 이의 제기에 대한 반응을 미리 정해두고 그에 대비한 훈련을 진행하십시오.

3. 목적 있는 준비와 연습을 설계하십시오.

각 단계에 고유한 역할을 부여하세요.

준비 사항: 필수 요건을 확인하세요. 모델의 목적, 주요 입력값, 연구실에 필요한 통계적 개념에 대한 간략한 자가 진단입니다. 이와 같은 재진단은 필수 요건 충족 여부만 확인하는 것입니다. 이를 모델의 역량으로 보고하지 마십시오.

실습: 모델 스트레스 테스트 실습실을 운영해 보세요. 작고 안전한 모델을 만들거나 승인된 가상 모델을 사용하고, 학습자에게 승인된 변경 사항 목록을 제공하세요. 난이도 순으로 세 가지 연습 문제를 제시합니다.

• 가정 하나를 바꿔보세요. 학습자는 승인된 입력값 하나를 이동시키고, 어떤 출력값이 얼마나 이동하는지, 그리고 어떤 출력값은 이동하지 않는지를 기록합니다.
• 해당 구간이 끊어지는 부분을 찾으세요. 학습자는 헤드라인 수치 아래를 살펴보고 모델의 안정성이 가장 떨어지는 부분을 찾은 다음, 해당 모델을 어떤 용도로 사용하지 않을지 명시합니다.
• 다음 시험을 설계하세요. 학습자는 추가적인 스트레스 테스트를 제안하며, 어떤 결과가 나오면 자신의 견해가 바뀔지, 그리고 테스트 비용은 얼마인지를 제시합니다.

피드백은 의사 결정과 연관됩니다. "헤드라인 변경 사항만 보고하고 가장 많이 변동한 두 부문은 확인하지 않았습니다."와 같은 답변이 점수보다 더 유용합니다. 결정 내용, 사용했거나 놓친 증거, 승인된 기준을 명시하십시오.

실시간 강사 강의 또는 비동기식 복습? 실시간 피드백은 모델 위험 전문가가 제한 사항이 왜 중요한지, 또는 테스트가 왜 미흡했는지 설명할 때 가장 큰 가치를 제공합니다. 비동기식 검토는 개념 이해, 테스트 결과를 주요 기준과 비교하는 것, 그리고 전문가가 나중에 읽을 수 있는 서면 제한 사항 설명에는 충분합니다. 일반적인 방식은 자기 주도 학습, 전문가가 진행하는 실습, 그리고 경험이 풍부한 동료의 지도 하에 실제 모델을 검증하는 것입니다.

4. 현실적인 예를 통해 살펴보세요

예시입니다. 모델 위험 전문가가 사용 전에 사례와 답변 기준을 검증해야 합니다.

경우. 간소화된 대손상각 모델은 예상 회수율을 60%로 설정합니다. 백테스팅 결과는 이상 없습니다. 승인된 스트레스 테스트에서는 무담보 대출의 회수율이 40%로 변경됩니다. 그 결과 전체 포트폴리오 손실 추정치가 4% 증가합니다. 특히 소기업 무담보 대출 두 부문의 손실 추정치는 30% 이상 증가합니다.

그 임무. 학습자는 테스트 결과가 보여주는 바를 설명하고, 한계를 지적하며, 해결책을 제시합니다.

첫 시도입니다. "전체적인 변화는 4%에 불과하므로, 이 가정에 대해 모델은 견고합니다."

피드백 후 다시 시도하세요. 진행자는 어떤 부문이 가장 많이 움직였는지, 포트폴리오에서 차지하는 비중은 얼마나 되는지, 그리고 전체 수치가 숨기고 있는 것은 무엇인지를 묻습니다. 재시도 단계에서는 해석, 한계점 및 권장 사항을 제시하도록 요청합니다.

좀 더 나은 시도였습니다. "영향을 받는 부문이 포트폴리오에서 차지하는 비중이 작기 때문에 주요 수치는 거의 변동이 없습니다. 하지만 해당 부문 내에서는 추정치가 30% 이상 상승하므로, 이 모델은 중소기업 무담보 대출의 회수율 가정에 매우 민감합니다. 해당 부문에 대해 60%라는 단일 수치에만 의존해서는 안 됩니다. 부문별 회수율 가정을 설정하고 민감도 분석 범위를 문서화할 것을 권장하며, 모델 소유자에게 입력값 하나만 테스트했고 상관관계나 데이터 품질은 테스트하지 않았다고 알려줄 것입니다."

각 답변이 타당한지 또는 불완전한지 판단하는 이유. 각 결과를 진행자의 선호도가 아닌 승인된 기준에 따라 평가하십시오. 첫 번째 시도는 전체 결과를 읽고 멈춥니다. 더 나은 시도는 모델의 취약점을 찾아내고, 사용과 관련된 한계를 명시하고, 제한된 조치를 권장하며, 아직 검증되지 않은 부분을 밝힙니다. 모델이 틀렸다고 주장하는 것은 아닙니다.

5. 역량을 평가하고 이전 계획을 수립합니다.

역량 증명은 학습자가 이전에 접해보지 못한 새로운 모델 사례에 대한 반응입니다. 담당 전문가와 협의하여 정의한 기준에 따라 각 항목별로 0점에서 2점까지 간략하게 점수를 매기세요. 저희 가이드를 참고하세요. 훈련 과정에서 판단력과 문제 해결 능력 평가 기준점 설정 및 평가자 교정 과정을 다룹니다.

평가 기준: 0은 부재 또는 미충족, 1은 관련 누락이 있는 부분적 충족, 2는 합의된 기준에 부합하는 완전하고 정당한 충족을 의미합니다. 예를 들어 스트레스 테스트 결과를 실제 모델의 검증 결과로 제시하는 것과 같은 중대한 오류는 별도로 정의하여, 높은 종합 점수가 중대한 오류를 감추지 못하도록 해야 합니다. 이 평가 기준표는 제안된 출발점일 뿐, 검증된 준비 표준은 아닙니다.

직장 내 후속 조치. 적절한 기간이 지난 후, 새로운 모델 사례를 제시하거나 실제 모델에 대한 지도 학습 과제를 검토하고, 동일한 두 가지 측정 기준(스트레스 테스트 품질 및 오류 해석)을 사용하여 기준선과 비교합니다. 모집단, 분모 및 시기를 사전에 정의하고, 학습 과정에서 참가자들이 어떤 사례를 접했는지 기록하여 재현율과 전이율을 구분할 수 있도록 합니다.

훈련이 효과가 있었다는 것을 보여주는 증거는 무엇일까요?

분석가가 처음 접하는 모델에 대해 의도적으로 가정을 바꾸고, 표면적인 내용 이면을 살펴보고, 특정 용도와 관련된 한계를 명시하고, 테스트하지 않은 부분을 언급하는지 확인하십시오. 또한, 분석가가 작성한 분석 노트를 검토하여 일반적인 주의사항이 아닌 구체적인 한계를 제시하는지 확인하십시오.

지적 사항의 수와 같은 결과에 주의해야 합니다. 새로운 모델 목록, 규제 기관의 검사 또는 검토 담당자의 변경으로 인해 같은 기간 내에 결과가 변동될 수 있습니다. 지적 사항이 많을수록 더 엄격한 문제가 제기되거나 기준이 변경될 수 있으므로 교육 이수 학점을 인정하기 전에 확인해야 합니다.

상호작용적 전달이 도움이 되는 경우

상호작용적인 형식은 그룹이 결과를 보기 전에 모든 구성원이 예측에 동의해야 하는 경우에 유용합니다. 실시간 세션에서 진행자는 변화를 설명하고 각 분석가에게 어떤 결과가 변동될지 예측하도록 요청한 다음 결과를 공개하여 직관과 모델의 차이를 드러낼 수 있습니다. 동일한 사례를 자기 주도 학습 방식으로 미리 연습해 볼 수도 있습니다. AhaSlides 상호작용적인 학습과 실시간 학습과 자기주도 학습 간의 전환을 지원합니다. 사용하려는 저작, 피드백 또는 보고 기능은 자체 워크플로와 비교하여 검토하십시오. 시뮬레이터, 가상 현실, AI 및 시스템 통합은 작동 여부를 직접 확인하기 전까지는 외부 또는 미확인 요소로 간주하십시오. 안전한 모델을 사용한 실습은 실제 환경에서의 검증을 대체하는 것이 아니라 연습일 뿐입니다.

훈련으로 해결할 수 없는 것들

• 약한 거버넌스. 문제 제기에 대한 후속 조치를 담당할 사람이 지정되지 않으면 조사 결과는 효력을 잃게 됩니다. 먼저 담당자를 지정하십시오.
• 이의를 제기할 시간이 없다. 처리량으로 평가받는 사람들은 추가 테스트를 실행하지 않을 것입니다.
• 폐쇄형 모델. 분석가들이 가정을 볼 수 없으면 검증할 수 없습니다.
• 증거의 한계. 일련의 사례에 대한 점수가 분석가가 직면하게 될 모든 문제를 설명하는 것은 아니며, 어떤 훈련 연습도 실제 금융 모델의 유효성을 검증하는 것은 아닙니다.

이러한 사항들을 후원자들에게 미리 알리고 누가 각각을 해결할지 합의하십시오.

자주하는 질문

모델 위험 훈련 연습이란 무엇인가요?

분석가가 안전한 모델에서 가정을 변경하고, 변화를 해석하며, 모델의 한계와 적절한 사용법을 설명하는 연습 문제를 풀어보세요.

훈련 연구소에서 실제 모델을 검증할 수 있나요?

아니요. 연구실에서는 안전한 모델이나 합성 모델을 이용한 방법론을 교육합니다. 실제 모델에 대한 검증은 자체적인 관리 절차와 관련 지침에 따라 진행됩니다.

분석가들은 이러한 실험을 수행하기 위해 코딩을 해야 하나요?

꼭 그럴 필요는 없습니다. 스프레드시트 모델이나 스트레스 변화 메뉴가 있는 승인된 도구면 충분합니다. 가르치는 기술은 프로그래밍이 아니라 해석입니다.

도전 과제 수행 능력을 공정하게 평가하는 방법은 무엇인가요?

새로운 사례, 간략한 평가 기준표, 그리고 합의된 기준점을 사용하고, 위험 관리 전문가에게 점수 산정을 검토하도록 하십시오.

어디서 시작하나요

모델 위험 전문가에게 작고 안전한 모델 하나와 승인된 가정 변경 사항 세 가지를 요청하세요. 세 가지 기준을 담은 평가표를 작성하고, 한 팀과 함께 "가정 변경 하나" 연습을 진행한 다음, 새로운 사례를 배포하기 전에 점수를 매기세요.

이와 같은 예측-결과 공개 방식의 실험이 어떻게 실시간으로 진행되고, 이후에도 자기 주도 학습 방식으로 재사용될 수 있는지 알아보려면 다음을 참조하세요. AhaSlides.