Ein Modell kennzeichnet eine Kartenzahlung als potenziell betrügerisch. Der Betrag ist für den Kunden hoch, der Händler ist neu und der Score liegt im oberen Bereich. Der Analyst hat vierzig weitere Warnmeldungen in der Warteschlange. Am schnellsten wäre es, die Zahlung zu bestätigen und fortzufahren. Doch die Kontoinformationen des Kunden weisen einen kürzlichen Umzug und ein früheres Telefonat bezüglich eines größeren Kaufs auf, was alle Warnmeldungen erklären würde.
Dies ist ein beispielhaftes Szenario, kein dokumentierter Fall. Es beschreibt die Gewohnheit, die beim Training zur Überprüfung von KI-Betrugswarnungen gefördert werden muss: eine automatisierte Warnung als Ausgangspunkt für Tests zu lesen, nicht als Antwort, die genehmigt werden muss.
Dieser Leitfaden richtet sich an Verantwortliche für Risikomanagement-Schulungen und die mit ihnen zusammenarbeitenden Verantwortlichen für Finanzkriminalität oder Compliance. Er beschreibt, wie Leistungsprobleme analysiert, Lücken identifiziert, Vorbereitung und Übungen konzipiert, ein Fallbeispiel bearbeitet und die Übertragbarkeit der erlernten Fähigkeiten auf den realen Arbeitsalltag bewertet werden. Im Mittelpunkt steht die Schulungskonzeption. Jeder Alarmtyp, jede Bearbeitungsregel und jeder Eskalationsweg Ihres Programms sollte von Ihrem Verantwortlichen für Finanzkriminalität oder Compliance validiert werden und Ihren regulatorischen Verpflichtungen entsprechen.
Was ist eine Schulung zur Überprüfung von KI-Betrugswarnungen?
Schulungen zur Überprüfung von KI-Betrugswarnungen schulen Analysten darin, die Ergebnisse eines automatisierten Modells zu validieren. Der Analyst prüft die Warnung im Kontext, erwägt alternative Erklärungen, entscheidet über das weitere Vorgehen und verfasst eine Begründung, die von einer anderen Person geprüft werden kann. Das damit verbundene Risiko besteht in der passiven Akzeptanz, bei der die Modellausgabe als endgültige Entscheidung betrachtet wird.
Schnelle Fakten
| Frage | Kurze Antwort |
|---|---|
| Was ist die Aufgabe? | Prüfen Sie eine automatische Benachrichtigung und begründen Sie Ihre Entscheidung. |
| Welche Punktzahl erreichst du? | Genauigkeit der Entscheidung und Qualität der Begründung für die Überprüfung. |
| Reicht ein Quiz zu den politischen Richtlinien aus? | Nein. Es bestätigt zwar die Voraussetzungen, aber nicht, ob ein Analyst einer überzeugenden Bewertung widerstehen kann. |
| Wer prüft die Inhalte? | Ein Leiter für Finanzkriminalität oder Compliance. |
| Was kann Training nicht beheben? | Hohes Warteschlangenaufkommen, unrealistische Zielvorgaben, mangelhafte Alarmqualität und unklare Eskalationsrechte. |
| Woran erkennt man, dass es funktioniert hat? | Ein neuer, bisher unbekannter Satz von Transaktionsfällen, bewertet anhand vereinbarter Kriterien, mit anschließender Nachverfolgung der laufenden Arbeit. |
1. Beschreiben Sie das Leistungsproblem
Beginnen Sie mit der Aufgabe: Überprüfen Sie automatisierte Warnmeldungen und begründen Sie Ihre Entscheidung. Die Überprüfung umfasst mehr als nur Zustimmung oder Ablehnung. Der Analyst erfasst Kontextinformationen, die das Modell nicht berücksichtigt hat, wägt diese gegen die Begründung des Modells für die Warnmeldung ab und dokumentiert, warum die Entscheidung gerechtfertigt ist.
Die Literatur zu menschlichen Faktoren gibt dem Problem einen Namen. In einer Übersicht empirischer Studien beschreiben Parasuraman und Manzey den Automatisierungsbias, bei dem Menschen sich zu sehr auf automatisierte Hilfsmittel verlassen und Fehler durch Auslassung (etwas übersehen, das das Hilfsmittel nicht gemeldet hat) und durch falsche Anweisungen (dem Hilfsmittel folgen, obwohl es falsch ist) begehen. Sie berichten, dass diese Effekte auftreten können, wenn Hilfsmittel unvollkommen sind, dass Aufmerksamkeit eine zentrale Rolle spielt und dass sie nicht durch Schulungen oder Anweisungen verhindert werden können.Parasuraman und Manzey, 2010Die Überprüfung befasst sich allgemein mit dem menschlichen Umgang mit Automatisierung, nicht speziell mit Betrugsbekämpfung. Betrachten Sie die Ergebnisse daher als Designwarnung und überprüfen Sie sie in Ihren eigenen Warteschlangen.
Für Schulungszwecke bedeutet dies, dass eine kurze Einweisung in die Risiken nicht ausreicht. Die Übung muss die Analysten darin schulen, dem Modell zu widersprechen, wenn die Beweislage es stützt, und ihm zuzustimmen, wenn dies nicht der Fall ist.
Verfassen Sie die Leistungsbeschreibung in einem Satz und lassen Sie sie von einem Leiter der Abteilung für Finanzkriminalität überprüfen: „Angesichts einer Warnung und des Kontokontexts gibt der Analyst an, was das Modell gemeldet hat, was die weiteren Beweise aussagen, eine Entscheidung und den Grund dafür sowie welche weiteren Informationen er einholen würde.“
2. Lern- und Kontextlücken diagnostizieren
Bevor Sie etwas entwickeln, vergleichen Sie die Aufgabe mit den Inhalten und Prüfungsformaten Ihres aktuellen Programms. Drei Fragen helfen in der Regel, eine Schulungslücke von anderen Problemen zu unterscheiden:
- Wird in der aktuellen Praxis die reale Aufgabe berücksichtigt? Wenn Schulungen zwar Richtlinien und Typologien behandeln, Analysten aber nie dazu auffordern, eine Modellwarnung zu überprüfen, hat niemand die Validierung geübt. Wenn die Bewertung lediglich darauf beruht, ob die Entscheidung mit dem Lösungsschlüssel übereinstimmt, wird die Qualität der Argumentation verschleiert.
- Welche kognitiven Anforderungen werden gestellt? In Blooms revidierter Taxonomie gehören das Abwägen konkurrierender Erklärungen und das Beurteilen einer Disposition zu den Analyse- und Bewertungsebenen. Das Abrufen einer Typologie ist niedriger angesiedelt. Die Zuordnung von Aktivitäten zu diesen Ebenen wird in unserem Leitfaden behandelt. Zuordnung von Lernaktivitäten zu Blooms Taxonomie.
- Steht da etwas anderes als Können im Weg? Prüfen Sie das Warteschlangenvolumen, die Bearbeitungszeitvorgaben und die Eskalationsrechte. Wenn die Leistung eines Analysten anhand der pro Stunde abgeschlossenen Warnmeldungen gemessen wird, ist die Akzeptanz des Modells die vernünftigste Wahl, und Schulungen werden daran nichts ändern. Melden Sie Ursachen, die nicht auf Schulungen zurückzuführen sind, denjenigen, die sie beheben können.
3. Entwurfsvorbereitung und -durchführung
Sobald Sie wissen, welche Lücken durch Schulungen geschlossen werden können, weisen Sie jeder Phase eine klar definierte Aufgabe zu.
Vorbereitung. Prüfen Sie die Voraussetzungen mit einer kurzen Diagnose: Welche Typologien sind relevant? Welche Daten werden durch eine Warnung angezeigt? Was berücksichtigt das Modell und was nicht? Selbststudium eignet sich für diese Phase. Eine Überprüfung des Wissensstands dient lediglich der Bestätigung der Voraussetzungen.
Praxis. Nutzen Sie Betrugssimulationen auf Basis anonymisierter Fälle und, sofern die Ressourcen es zulassen, Red-Team-Szenarien, um Schwachstellen des Modells aufzudecken. Mischen Sie Warnmeldungen, bei denen das Modell korrekt ist, solche, bei denen es falsch ist, und mehrdeutige Warnmeldungen, ohne dem Analysten die Zuordnung mitzuteilen. Der Analyst wählt eine Vorgehensweise und verfasst die Begründung.
Feedback bekommen. Beziehen Sie sich auf Entscheidungen anstatt auf eine Gesamtpunktzahl. „Sie haben die Warnung aufgrund des Betrags bestätigt, aber die Kontonotizen erklärten dies, und Ihre Begründung erwähnte sie nicht“ ist aussagekräftiger als „4 von 5 richtig“.
Live-Eingabe oder asynchrone Überprüfung? Live-Feedback ist besonders wertvoll bei komplexen Fällen, da Analysten von den Argumenten erfahrener Kollegen lernen, die beide Seiten beleuchten. Für den Vergleich einer Begründung mit der kommentierten eines Experten reicht eine asynchrone Überprüfung aus. Viele Teams nutzen beides: zunächst selbstständige Vorbereitung, anschließend eine moderierte Sitzung zu schwierigen Fällen.
4. Arbeiten Sie ein realistisches Beispiel durch.
Beispielhaft. Ein Verantwortlicher für Finanzkriminalität oder Compliance sollte den Fall und die Antwortkriterien vor der Verwendung prüfen. Es dürfen nur anonymisierte Fälle verwendet werden.
Der Fall. Eine Warnung weist auf einen hohen Online-Kauf bei einem neuen Händler hin. Die Modellbewertung ist hoch. Die Kontoinformationen zeigen einen kürzlichen Adresswechsel und einen Anruf des Kunden zwei Tage zuvor bezüglich eines geplanten Möbelkaufs.
Die Aufgabe. Der Analyst erläutert, was die Warnmeldung anzeigt, welche Kontextinformationen vorliegen, die weitere Vorgehensweise und den Grund dafür sowie was er sonst noch überprüfen würde.
Ein erster Versuch. „Hohe Punktzahl, großer Betrag, neuer Händler. Als verdächtig bestätigen.“ Der Analyst wiederholte die Begründung des Modells und berücksichtigte nichts, was das Modell nicht verwendet hatte.
Feedback geben und es erneut versuchen. Der Coach fragt nach dem Inhalt der Kontonotizen und ob diese die einzelnen Gründe des Modells erläutern. Im Wiederholungsversuch wird der Analyst gebeten, die drei Signale des Modells aufzulisten und jedes einzelne mit den übrigen vorliegenden Daten abzugleichen.
Ein stärkerer Versuch. „Der Betrag und der Händler erscheinen in der Transaktionshistorie ungewöhnlich, aber die Notizen weisen auf einen kürzlichen Umzug und einen Anruf bezüglich eines Möbelkaufs hin. Das erklärt den Betrag, die Händlerkategorie und die Lieferadresse. Allein aufgrund dieser Bewertung würde ich die Transaktion nicht als verdächtig einstufen. Ich würde die Lieferadresse mit der neuen Adresse vergleichen und nach einem Rückruf-Eintrag suchen. Stimmen die Adressen überein, würde ich den Fall mit dieser Begründung als legitim abschließen. Andernfalls würde ich ihn eskalieren.“ Diese Antwort stützt sich auf Beweise, nennt eine alternative Erklärung und erläutert, was die Entscheidung ändern würde.
Warum jede Antwort vertretbar oder unvollständig ist. Bewerten Sie jeden Fall anhand festgelegter Kriterien, nicht nach den Präferenzen eines Trainers. Der erste Versuch spiegelt das Modell wider. Der überzeugendere Versuch prüft es. Berücksichtigen Sie Fälle, in denen die richtige Antwort die Bestätigung der Warnung ist, damit Analysten ihr nicht reflexartig misstrauen.
5. Fähigkeiten einschätzen und Transfer planen
Der Nachweis der Kompetenz erfolgt anhand der Bearbeitung unbekannter Transaktionsfälle. Bewertet werden die Genauigkeit der Entscheidungsfindung und die Qualität der Begründung. Ein einfaches Bewertungsraster verwendet eine Skala von 0 bis 2 pro Kriterium:
| Kriterium | Sichtbare Beweise |
|---|---|
| Aufgabenausführung | Prüft die Meldung und dokumentiert die Beweise, die der Entscheidung zugrunde liegen. |
| Argumentation | Erläutert Alternativen, Einschränkungen und was noch ungewiss ist. |
| Boundaries | Wendet genehmigte Verfahren an und eskaliert, wenn Informationen oder Befugnisse nicht ausreichen. |
Bewertungskriterien: 0 bedeutet fehlend oder nicht begründet, 1 bedeutet teilweise mit relevanten Auslassungen und 2 bedeutet vollständig und anhand der vereinbarten Kriterien begründet. Kritische Fehler, wie z. B. das Schließen einer Warnmeldung, die einer obligatorischen Eskalationsregel entspricht, sind separat zu definieren, damit sie nicht in der Gesamtbewertung verborgen bleiben. Diese Bewertungsmatrix ist ein Vorschlag, kein validierter Bereitschaftsstandard: Passen Sie sie gemeinsam mit einem Verantwortlichen für Finanzkriminalität an und erproben Sie sie. Unser Leitfaden dazu Gestaltung interaktiver Übungen mit hilfreichem Feedback zeigt, wie man Feedback verfasst, das mit Entscheidungen verknüpft ist.
Planen Sie den Transfer bewusst. Lassen Sie nach der Übung einen erfahrenen Analysten einige Live-Dispositionen jedes Teilnehmers stichprobenartig prüfen und die Begründungen mit ihm besprechen oder führen Sie eine kurze Nachbesprechung zu einer kürzlich fälschlicherweise abgeschlossenen Alarmierung durch.
Wo interaktive Bereitstellung hilft
Interaktive Formate sind hilfreich, wenn sich alle Beteiligten vor der Gruppensitzung festlegen müssen. In einer Live-Sitzung kann ein Moderator eine anonymisierte Warnmeldung zeigen, jeden Analysten bitten, eine Bewertung und eine kurze Begründung einzugeben, und anschließend die Verteilung vor der Diskussion anzeigen. Dieselben Fälle können zur Vorbereitung im Selbststudium bearbeitet werden. AhaSlides unterstützt interaktives Lernen und den Wechsel zwischen Live- und Selbststudium. Bewertungen und Begründungen werden nicht automatisch ausgewertet; daher erfolgt die Bewertung manuell oder über Ihren eigenen Prozess. Überprüfen Sie alle Funktionen zur Erstellung, zum Feedback und zur Berichterstellung, die Sie nutzen möchten, anhand Ihres eigenen Workflows. Hinweise zur Formatauswahl finden Sie in unserem Artikel zu diesem Thema. Wann sollte man adaptives, interaktives und Live-Lernen einsetzen?.
Messen Sie, was sich verändert hat
Legen Sie im Vorfeld fest, woran Sie erkennen, dass die Analysten die Aufgabe bewältigen können. Vergleichen Sie die Genauigkeit der Entscheidungsfindung und die Qualität der Begründung anhand eines unbekannten Falldatensatzes mit einer Referenzgruppe. Definieren Sie die Einschlusskriterien, den Nenner und den Zeitraum. Verbessern sich die Ergebnisse, prüfen Sie, welche anderen Änderungen sich im selben Zeitraum ergeben haben, z. B. eine Modellanpassung, eine Regeländerung oder ein neues Bearbeitungszeitziel, bevor Sie die Schulung als erfolgreich bewerten.
Einschränkungen, die möglicherweise bestehen bleiben
- Warteschlangendruck. Bearbeitungszeitvorgaben belohnen eine schnelle Übereinstimmung mit dem Modell.
- Alarmqualität. Ein Modell, das viele falsch positive Ergebnisse liefert, verliert unabhängig vom Training an Aufmerksamkeit.
- Eskalationsrechte. Ein Analyst, der an einer Warnung zweifelt, benötigt dennoch einen klaren Weg, diese anzufechten.
- Fallabdeckung. Eine Fallserie zeigt einige Muster. Eine Punktzahl beschreibt nicht generell das Urteilsvermögen eines Analysten.
- Übertragung. Die Leistung in einer Werkstatt ist nicht dasselbe wie die Leistung am Ende einer langen Schicht.
Weisen Sie die Sponsoren frühzeitig auf diese Probleme hin und planen Sie separate Lösungen. Schulungen verbessern die Fähigkeit von Analysten, Fragen zu stellen und Erklärungen abzugeben. Die Anreize innerhalb der Warteschlange bleiben davon unberührt.
Häufig gestellte Fragen
Was ist eine Schulung zur Überprüfung von KI-Betrugswarnungen?
Es lehrt Analysten, automatisierte Warnmeldungen zu überprüfen: den Kontext zu prüfen, den das Modell nicht verwendet hat, Alternativen in Betracht zu ziehen, eine Vorgehensweise zu wählen und eine nachvollziehbare Begründung zu verfassen.
Was ist Automatisierungsbias?
Es handelt sich um die Tendenz, sich zu sehr auf automatisierte Hilfesysteme zu verlassen, entweder Probleme zu übersehen, die diese nicht gemeldet haben, oder ihnen blind zu folgen, selbst wenn sie fehlerhaft sind. Eine Übersichtsarbeit von Parasuraman und Manzey ergab, dass dies durch Schulungen oder Anweisungen nicht verhindert werden kann.
Wie lässt sich feststellen, ob Analysten die Ergebnisse bestätigen oder sie einfach nur akzeptieren?
Geben Sie ungesehene Fälle an, darunter einige, in denen das Modell richtig ist, und einige, in denen es falsch ist, und bewerten Sie die Entscheidung und die Begründung anhand vereinbarter Kriterien.
Werden für die Schulung echte Kundendaten verwendet?
Nein. Verwenden Sie anonymisierte oder synthetische Fälle und lassen Sie diese von Ihrem Compliance-Beauftragten genehmigen.
Wo soll ich anfangen
Wählen Sie einen Alarmtyp aus Ihrer Warteschlange aus. Verfassen Sie die Leistungsbeschreibung, lassen Sie einen Verantwortlichen für Finanzkriminalität einen anonymisierten Datensatz mit korrekten, falschen und mehrdeutigen Alarmen prüfen und erstellen Sie eine Bewertungsmatrix mit drei Kriterien (0 bis 2) und einer Liste kritischer Fehler. Testen Sie das System zunächst mit einer kleinen Gruppe, bevor Sie es flächendeckend einführen.
Um zu sehen, wie ein Fallbeispiel live mit Ihrem eigenen Team durchgespielt und anschließend im eigenen Tempo wiederverwendet werden kann, erkunden Sie AhaSlides.
