Modellrisikotraining: Wie man Stresstest-Labore gestaltet, die Analysten lehren, Annahmen zu hinterfragen

Ein Kreditrisikomodell hat sich drei Jahre lang bewährt. Die Backtests verliefen einwandfrei, die Ergebnisse liegen innerhalb der Toleranzgrenzen, und das Unternehmen vertraut dem Modell. In einem Trainingslabor ändert ein Analyst eine genehmigte Eingangsannahme – die erwartete Rückzahlungsquote einer Kreditklasse – auf einen weniger sicheren Wert. Das Hauptergebnis ändert sich kaum. Zwei Segmente hingegen reagieren deutlich. Der Analyst muss nun entscheiden, was dies bedeutet, was er dem Modellverantwortlichen mitteilt und für welche Zwecke das Modell nicht mehr verwendet werden sollte.

Dies ist ein beispielhaftes Szenario, kein dokumentierter Kundenfall. Es verdeutlicht die Kompetenzen, die in Schulungen zum Modellrisikomanagement vermittelt werden müssen: Annahmen prüfen, Einschränkungen erläutern und Entscheidungen begründen, wenn ein Modell stabil erscheint. Dieser Leitfaden richtet sich an Verantwortliche für Risikoschulungen sowie an die Compliance- und Modellrisikomanager, die für die Beantwortung der Fragen zuständig sind. Er behandelt ausschließlich die Schulungskonzeption. Eine Schulungsübung validiert kein reales Finanzmodell; ein Modellrisikospezialist sollte jeden Fall vor der Anwendung prüfen.

Was sind Modellrisikotrainings?

Modellrisikotrainings sind strukturierte Übungsaufgaben, in denen Analysten ein Modell – meist ein vereinfachtes oder synthetisches – durch die Änderung von Annahmen und Eingangsdaten untersuchen, die Auswirkungen interpretieren und die Grenzen der Modellleistung erläutern. Ein Stresstestlabor ist die praktische Umsetzung: ein sicheres Modell, eine Reihe genehmigter Änderungen und die Verpflichtung, die Schlussfolgerungen zu begründen.

Schnelle Fakten

1. Beschreiben Sie das Leistungsproblem

Beginnen wir mit der Entscheidung. Was muss ein Analyst tun, wenn ein Modell gut aussieht? Formulieren Sie es als einen einzigen, vom Verb geleiteten Satz: „Ändern Sie eine genehmigte Annahme, beobachten Sie die Auswirkungen, erläutern Sie die dadurch aufgedeckte Einschränkung und geben Sie an, wofür das Modell verwendet werden sollte und wofür nicht.“

Vorgesetzte bezeichnen diese Fähigkeit als solche. Die US-amerikanische Zentralbank (Federal Reserve) und das Office of the Comptroller of the Currency haben entsprechende Dokumente herausgegeben. SR 11-7, Aufsichtsleitfaden zum ModellrisikomanagementAm 4. April 2011 wurde eine Richtlinie veröffentlicht, die das Modellrisiko als potenzielle negative Folgen von Entscheidungen auf Basis fehlerhafter oder missbräuchlicher Modellergebnisse beschreibt. Sie bezeichnet die „effektive Hinterfragung“ als Leitprinzip: die kritische Analyse durch objektive, sachkundige Parteien, die Modellbeschränkungen und -annahmen identifizieren und entsprechende Änderungen vornehmen können. Es handelt sich hierbei um eine US-amerikanische Richtlinie, nicht um eine allgemeingültige Regelung. Prüfen Sie daher die für Sie geltenden Anforderungen. Die Richtlinie beschreibt präzise die Kompetenzen, die durch die Schulung gefördert werden sollen.

2. Lern- und Kontextlücken diagnostizieren

Vergleichen Sie die Anforderungen der Stelle mit den Inhalten und Beurteilungen Ihrer aktuellen Ausbildung.

1. Was praktizieren Analysten heutzutage? Wenn die Schulung aus einem Vortrag über Modellgovernance und einer Dokumentationscheckliste besteht, haben die Teilnehmer zwar das Vokabular gelernt, aber nicht geübt, ein Modell absichtlich zu brechen.
2. Welche kognitiven Anforderungen werden gestellt? In Blooms revidierter Taxonomie ist die Durchführung eines Tests die Anwendung, die Interpretation der Gründe für das Scheitern des Modells die Analyse, die Beurteilung der Eignung des Modells für einen bestimmten Zweck die Evaluation und die Entwicklung eines neuen Stresstests die Kreation. Unser Leitfaden zu Zuordnung von Lernaktivitäten zu Blooms Taxonomie erklärt, wie man diese Forderungen liest.
3. Steht da noch etwas anderes als Können im Weg? Prüfen Sie zunächst Personal, Werkzeuge und Verfahren. Wenn Analysten keine Zeit haben, Fehler zu hinterfragen, keinen Zugriff auf die Modellannahmen haben oder keine Möglichkeit besteht, auf Einschränkungen hinzuweisen, wird ein Labor nichts an den Ergebnissen vom Montag ändern.
4. Ist eine Herausforderung willkommen? Wenn die Infragestellung eines Modells bedeutet, dessen Inhaber zu kritisieren, werden die Leute schweigen. Klären Sie daher, wie Kritik aufgenommen werden soll, bevor Sie dafür trainieren.

3. Gezielte Vorbereitung und Übung gestalten

Jeder Phase sollte ihre eigene Aufgabe zugewiesen werden.

Vorbereitung: Überprüfen Sie die Voraussetzungen. Eine kurze, selbstgesteuerte Diagnose zum Zweck des Modells, seinen wichtigsten Eingangsgrößen und den statistischen Konzepten, die das Labor benötigt. Eine solche Überprüfung bestätigt lediglich die Voraussetzungen. Sie sollte nicht als Kompetenznachweis gemeldet werden.

Praxis: Modell-Stresstestlabore. Bauen Sie ein kleines, sicheres Modell oder verwenden Sie ein zugelassenes synthetisches Modell und geben Sie den Lernenden eine Liste mit genehmigten Änderungen. Drei Übungen in aufsteigender Reihenfolge des Schwierigkeitsgrades:

• Ändern Sie eine Annahme. Der Lernende bewegt einen genehmigten Input und notiert, welche Outputs sich bewegen, um wie viel und welche sich nicht bewegen.
• Finde das Segment, das es unterbricht. Der Lernende schaut unterhalb der Überschrift nach und findet heraus, wo das Modell am wenigsten stabil ist, und gibt dann an, wofür er es nicht verwenden würde.
• Entwerfen Sie den nächsten Test. Der Lernende schlägt einen weiteren Stresstest vor, erklärt, welches Ergebnis seine Sichtweise ändern würde und welche Kosten für die Durchführung anfallen würden.

Feedback ist mit Entscheidungen verknüpft. „Sie haben die Änderung der Überschrift gemeldet, aber die beiden Segmente mit der größten Veränderung nicht geprüft“ ist aussagekräftiger als eine Punktzahl. Nennen Sie die Entscheidung, die verwendeten bzw. nicht berücksichtigten Nachweise und das anerkannte Kriterium.

Live-Eingabe durch den Dozenten oder asynchrone Überprüfung? Live-Feedback ist besonders wertvoll, wenn ein Spezialist für Modellrisiken erläutert, warum eine Einschränkung relevant ist oder warum ein Test Schwächen aufwies. Eine asynchrone Überprüfung genügt für das Verständnis der Konzepte, den Abgleich der Testergebnisse mit einem Schlüssel und die Erstellung schriftlicher Einschränkungsbeschreibungen, die ein Spezialist später lesen kann. Üblicherweise besteht die Kombination aus selbstständiger Vorbereitung, einem angeleiteten Lab und der anschließenden Überprüfung eines realen Modells durch einen erfahrenen Kollegen.

4. Arbeiten Sie ein realistisches Beispiel durch.

Beispielhaft. Ein Spezialist für Modellrisiken sollte den Fall und die Antwortkriterien vor der Anwendung prüfen.

Der Fall. Ein vereinfachtes Kreditausfallmodell geht von einer erwarteten Erlösquote von 60 Prozent aus. Die Backtesting-Ergebnisse sind positiv. Die genehmigte Stressanalyse senkt die Quote für unbesicherte Kredite auf 40 Prozent. Die geschätzten Portfolioverluste steigen insgesamt um 4 Prozent. In zwei Segmenten, beides unbesicherte Kredite an kleine Unternehmen, steigen die Verluste um mehr als 30 Prozent.

Die Aufgabe. Der Lernende beschreibt die Ergebnisse des Tests, erläutert dessen Grenzen und gibt eine Entscheidungsempfehlung.

Ein erster Versuch. „Die Gesamtveränderung beträgt lediglich 4 Prozent, daher ist das Modell gegenüber dieser Annahme robust.“

Feedback geben und es erneut versuchen. Der Moderator fragt, welche Segmente sich am stärksten bewegt haben, wie groß ihr Anteil am Portfolio ist und was die Gesamtzahl verschleiert. Im Wiederholungsversuch wird nach der Interpretation, den Einschränkungen und der Empfehlung gefragt.

Ein stärkerer Versuch. „Die Hauptkennzahl ändert sich kaum, da die betroffenen Segmente nur einen kleinen Teil des Portfolios ausmachen. Innerhalb dieser Segmente steigt die Schätzung um mehr als 30 Prozent, daher reagiert das Modell sehr empfindlich auf die Annahme zur Rückzahlungsquote für unbesicherte Kredite an kleine Unternehmen. Ich würde mich für diese Segmente nicht auf den einzelnen Wert von 60 Prozent verlassen. Ich empfehle, die Rückzahlungsquote auf Segmentebene festzulegen und einen dokumentierten Sensitivitätsbereich anzugeben. Außerdem würde ich dem Modellverantwortlichen mitteilen, dass ich bisher nur eine Eingangsgröße getestet habe. Korrelation und Datenqualität wurden nicht geprüft.“

Warum jede Antwort vertretbar oder unvollständig ist. Beurteilen Sie jeden Versuch anhand der genehmigten Kriterien, nicht anhand der Präferenz des Moderators. Der erste Versuch liest das Gesamtergebnis und bricht ab. Der gründlichere Versuch identifiziert die Schwachstellen des Modells, benennt eine anwendungsbezogene Einschränkung, empfiehlt eine begrenzte Maßnahme und gibt an, was noch ungetestet ist. Er behauptet nicht, das Modell sei falsch.

5. Fähigkeiten einschätzen und Transfer planen

Der Kompetenznachweis erfolgt anhand einer neuen Fallstudie, die dem Lernenden noch nicht bekannt ist. Vergeben Sie pro Kriterium 0 bis 2 Punkte gemäß einer kurzen, mit Ihrem Fachberater abgestimmten Bewertungsskala. Unser Leitfaden dazu Beurteilung von Urteilsvermögen und Problemlösungskompetenz in der Ausbildung Beinhaltet Anker und Kalibrierung von Gutachtern.

Bewertungsskala: 0 bedeutet fehlend oder nicht belegt, 1 bedeutet teilweise mit relevanten Auslassungen und 2 bedeutet vollständig und anhand vereinbarter Kriterien begründet. Kritische Fehler sind gesondert zu definieren, beispielsweise die Präsentation eines Stresstestergebnisses als Validierung eines Live-Modells, damit ein gutes Gesamtergebnis einen solchen Fehler nicht verschleiern kann. Diese Rubrik ist ein vorgeschlagener Ausgangspunkt, kein validierter Bereitschaftsstandard.

Nachbereitung am Arbeitsplatz. Nach einer angemessenen Zeitspanne sollte ein neuer Modellfall präsentiert oder eine betreute Übung an einem Live-Modell besprochen und mit dem Ausgangswert anhand derselben zwei Kriterien verglichen werden: Qualität der Stresstests und Interpretation der Fehler. Die Grundgesamtheit, der Nenner und der Zeitpunkt sollten im Voraus festgelegt werden. Außerdem sollte dokumentiert werden, welche Fälle die Teilnehmenden im Training gesehen haben, um zwischen Erinnerung und Transfer unterscheiden zu können.

Welche Beweise würden belegen, dass das Training erfolgreich war?

Achten Sie auf Analysten, die anhand eines ihnen unbekannten Modells bewusst eine Annahme ändern, die tiefergehende Informationen liefern, eine mit der Anwendung verbundene Einschränkung aufzeigen und angeben, was sie nicht getestet haben. Ergänzen Sie die Analyse ihrer Testnotizen um konkrete Einschränkungen anstelle allgemeiner Vorbehalte.

Seien Sie vorsichtig mit Ergebnissen wie der Anzahl der festgestellten Mängel. Eine neue Modellinventur, eine behördliche Prüfung oder ein Wechsel der Prüfstelle können diese im selben Zeitraum verändern. Mehr festgestellte Mängel können auf eine strengere Prüfung oder eine geänderte Schwelle hindeuten. Prüfen Sie dies daher, bevor Sie die Schulung anrechnen.

Wo interaktive Bereitstellung hilft

Interaktive Formate sind hilfreich, wenn sich alle Teilnehmenden auf eine Prognose festlegen, bevor die Gruppe das Ergebnis sieht. In einer Live-Sitzung kann ein Moderator eine Veränderung beschreiben, jeden Analysten bitten, vorherzusagen, welche Ergebnisse sich ändern werden, und anschließend das Ergebnis präsentieren. So wird deutlich, wie stark Intuition und Modell voneinander abweichen. Dieselben Fallstudien können zur Vorbereitung im Selbststudium bearbeitet werden. AhaSlides Unterstützt interaktives Lernen und den Wechsel zwischen Live- und Selbstlernphasen. Überprüfen Sie alle Autoren-, Feedback- und Berichtsfunktionen, die Sie nutzen möchten, anhand Ihres eigenen Workflows. Betrachten Sie Simulatoren, Virtual Reality, KI und Systemintegrationen als extern oder unbestätigt, bis Sie deren Funktionsfähigkeit erlebt haben. Ein Labortest an einem sicheren Modell dient der Übung, ersetzt aber nicht die Validierung an einem realen Modell.

Was Schulungen nicht beheben werden

• Schwache Regierungsführung. Wenn niemand die Verantwortung für die Weiterverfolgung einer Beanstandung übernimmt, verfallen die Ergebnisse. Es müssen daher zunächst Verantwortliche festgelegt werden.
• Keine Zeit für Einwände. Wer nach Durchsatz gemessen wird, wird keine zusätzlichen Tests durchführen.
• Geschlossene Modelle. Wenn Analysten die Annahmen nicht sehen können, können sie sie auch nicht testen.
• Beweisgrenzen. Die Bewertung einer Reihe von Fallstudien beschreibt nicht jede Herausforderung, der sich ein Analyst stellen muss, und keine Übung validiert ein reales Finanzmodell.

Nennen Sie diese Punkte den Sponsoren frühzeitig und vereinbaren Sie, wer für die Behebung der jeweiligen Probleme zuständig ist.

Häufig gestellte Fragen

Was sind Modellrisikotrainings?

Übungsaufgaben, bei denen Analysten Annahmen in einem sicheren Modell ändern, die daraus resultierenden Veränderungen interpretieren und die Grenzen und geeigneten Einsatzmöglichkeiten des Modells erläutern.

Kann ein Trainingslabor ein Live-Modell validieren?

Nein. Im Labor wird eine Methode an einem sicheren oder synthetischen Modell vermittelt. Die Validierung eines realen Modells erfolgt gemäß Ihren eigenen Richtlinien und den entsprechenden Vorgaben.

Müssen Analysten programmieren, um diese Übungen durchzuführen?

Nicht unbedingt. Ein Tabellenkalkulationsmodell oder ein zugelassenes Tool mit einer Auswahl an Stressänderungen genügt. Vermittelt wird die Interpretation von Stress, nicht die Programmierung.

Wie beurteilt man Herausforderungsfähigkeiten fair?

Verwenden Sie einen neuen Fall, eine kurze Bewertungsmatrix und vereinbarte Ankerpunkte und lassen Sie einen Modellrisikospezialisten die Bewertung kalibrieren.

Wo soll ich anfangen

Bitten Sie einen Experten für Modellrisiken um ein kleines, sicheres Modell und drei genehmigte Annahmeänderungen. Erstellen Sie die drei Kriterien, führen Sie die Übung „Änderung einer Annahme“ mit einem Team durch und bewerten Sie anschließend einen neuen Fall, bevor Sie ihn einführen.

Um zu sehen, wie ein solches Vorhersage-und-Enthüllungs-Labor live durchgeführt und anschließend im eigenen Tempo wiederverwendet werden könnte, erkunden Sie AhaSlides.