Un modello segnala un pagamento con carta come probabile frode. L'importo è elevato per il cliente, il commerciante è nuovo e il punteggio è nella fascia più alta. L'analista ha altri quaranta avvisi in coda. La mossa più rapida sarebbe confermare e passare oltre. Ma le note del conto del cliente mostrano un recente trasloco e una precedente chiamata relativa a un acquisto importante, il che spiegherebbe tutti gli avvisi.
Questo è uno scenario esemplificativo, non un caso documentato. Descrive l'abitudine che la formazione sulla revisione degli avvisi di frode basati sull'IA deve instillare: leggere un avviso automatico come punto di partenza per un test, non come risposta da approvare.
Questa guida è destinata ai responsabili della formazione sui rischi e ai responsabili della lotta alla criminalità finanziaria o della conformità che collaborano con loro. Illustra come descrivere il problema di performance, diagnosticare le lacune, progettare la preparazione e la pratica, analizzare un caso e valutare se la competenza acquisita è trasferibile ai casi reali. Si tratta di progettazione della formazione. Ogni tipo di allerta, regola di gestione e percorso di escalation del programma deve essere convalidato dal responsabile della lotta alla criminalità finanziaria o della conformità e deve essere conforme agli obblighi normativi.
Che cos'è la formazione sulla revisione degli avvisi di frode basati sull'IA?
La formazione sulla revisione degli avvisi di frode basati sull'IA insegna agli analisti a convalidare i risultati prodotti da un modello automatizzato. L'analista verifica l'avviso nel contesto più ampio, considera spiegazioni alternative, decide una soluzione e redige una motivazione che può essere verificata da qualcun altro. Il rischio che questo tipo di formazione affronta è l'accettazione passiva, in cui l'output del modello viene considerato come la decisione definitiva.
I fatti in breve
| La Domanda | Risposta breve |
|---|---|
| Qual è il compito? | Esamina un avviso automatico e giustifica la decisione presa. |
| Che punteggio ottieni? | Accuratezza della decisione e qualità delle motivazioni della revisione. |
| È sufficiente un quiz sulle politiche? | No. Conferma i prerequisiti, ma non se un analista è in grado di resistere a un punteggio convincente. |
| Chi convalida i contenuti? | Una pista relativa a reati finanziari o violazioni di legge. |
| Cosa non si può risolvere con l'allenamento? | Volume delle code, tempi di consegna previsti, scarsa qualità degli avvisi e diritti di escalation poco chiari. |
| Come fai a sapere che ha funzionato? | Una nuova serie di casi di transazione inediti, valutati in base a criteri concordati, con successivo monitoraggio delle attività in corso. |
1. Descrivi il problema di prestazioni
Iniziate con l'attività: esaminate gli avvisi automatici e giustificate la decisione. Esaminare significa molto più che semplicemente concordare o dissentire. L'analista raccoglie il contesto che il modello non ha utilizzato, lo valuta rispetto alla motivazione addotta dal modello per la segnalazione e documenta perché la decisione è difendibile.
La letteratura sui fattori umani dà un nome al problema. In una revisione di studi empirici, Parasuraman e Manzey descrivono il bias di automazione, in cui le persone si affidano eccessivamente agli ausili automatizzati e commettono errori di omissione (perdere qualcosa che l'ausilio non ha segnalato) e di commissione (seguire l'ausilio quando è sbagliato). Riferiscono che questi effetti possono verificarsi quando gli ausili sono imperfetti, che l'attenzione gioca un ruolo centrale e che non possono essere prevenuti con la formazione o le istruzioni.Parasuraman e Manzey, 2010La revisione riguarda l'uso umano dell'automazione in generale, non specificamente le operazioni fraudolente, quindi considerate il risultato come un avvertimento in fase di progettazione e misuratelo nelle vostre code.
Ai fini della formazione, ciò significa che una breve presentazione sul rischio non sarà sufficiente. L'esercitazione deve far sì che gli analisti si esercitino a dissentire dal modello quando le prove lo supportano e ad concordare quando non lo supportano.
Riassumi la performance in una sola frase e falla controllare a un responsabile della sezione reati finanziari: "Dato un avviso e il contesto del conto, l'analista indica cosa ha segnalato il modello, cosa dicono le prove più ampie, una decisione e la relativa motivazione, e quali ulteriori informazioni richiederebbe."
2. Diagnosticare le lacune di apprendimento e di contesto
Prima di iniziare qualsiasi attività, confronta il compito con ciò che il tuo programma attuale prevede e valuta. Solitamente, tre domande distinguono una lacuna formativa da qualcos'altro:
- La pratica attuale si basa sul compito reale? Se la formazione copre le politiche e le tipologie ma non richiede mai agli analisti di esaminare un avviso basato su un modello, nessuno ha praticato la validazione. Se la valutazione si limita a verificare se la decisione corrisponde alla chiave di risposta, nasconde la qualità del ragionamento.
- Qual è il carico cognitivo richiesto? Nella tassonomia rivista di Bloom, la valutazione delle spiegazioni concorrenti e il giudizio di una disposizione si collocano ai livelli di analisi e valutazione. Il richiamo di una tipologia si colloca a un livello inferiore. L'abbinamento delle attività a questi livelli è trattato nella nostra guida a abbinamento delle attività di apprendimento alla tassonomia di Bloom.
- C'è qualcos'altro, oltre alla mancanza di abilità, che ostacola il processo? Verifica il volume della coda, gli obiettivi di tempo di gestione e i diritti di escalation. Se un analista viene valutato in base agli avvisi chiusi all'ora, accettare il modello è la scelta razionale e la formazione non lo modificherà. Segnala le cause non legate alla formazione alle persone che possono risolverle.
3. Preparazione e pratica della progettazione
Una volta individuate le lacune che la formazione può colmare, assegnate a ciascuna fase un compito specifico.
Preparazione. Verifica i prerequisiti con una breve diagnosi: le tipologie di dati in questione, i dati visualizzati da un avviso, cosa utilizza il modello e cosa non rileva. Lo studio autonomo è adatto a questa fase. Un controllo di richiamo serve solo a confermare i prerequisiti.
Pratica. Utilizzate simulazioni di frode create a partire da casi anonimizzati e, laddove le risorse lo consentano, casi in stile red team scritti per sfruttare le lacune del modello. Mescolate avvisi in cui il modello è corretto, avvisi in cui è errato e avvisi ambigui, senza indicare all'analista quale sia quale. L'analista sceglie una soluzione e ne redige la motivazione.
Feedback. Collega il punteggio alle decisioni prese, non al punteggio totale. "Hai confermato l'avviso a causa dell'importo, ma le note dell'account lo spiegavano e la tua motivazione non le menzionava" è più utile di "4 su 5 risposte corrette".
Inserimento in tempo reale o revisione asincrona? L'apporto in tempo reale è particolarmente utile quando un caso è ambiguo e gli analisti imparano ascoltando un collega senior argomentare entrambe le posizioni. La revisione asincrona è sufficiente per confrontare una motivazione con quella annotata di un esperto. Molti team utilizzano entrambi i metodi: prima una preparazione autonoma, poi una sessione guidata sui casi più complessi.
4. Analizza un esempio realistico
A titolo esemplificativo. Un responsabile per i reati finanziari o la conformità normativa dovrebbe convalidare il caso e i criteri di risposta prima dell'uso. Utilizzare solo casi anonimizzati.
Il caso. Un avviso segnala un acquisto di importo elevato effettuato senza la presenza fisica della carta presso un nuovo esercente. Il punteggio del modello è elevato. Le note dell'account mostrano un recente cambio di indirizzo e una chiamata del cliente avvenuta due giorni prima in merito a un acquisto di mobili pianificato.
Il compito. L'analista spiega cosa indica l'avviso, cosa aggiunge il contesto, la sua esito e la motivazione, e cos'altro verificherebbe.
Un primo tentativo. "Punteggio elevato, importo ingente, nuovo venditore. Da confermare come sospetto." L'analista ha ripetuto le motivazioni del modello e non ha esaminato nulla che il modello non avesse utilizzato.
Invia feedback e riprova. L'allenatore chiede cosa dicono le note del conto e se spiegano ciascuna delle ragioni del modello. Il secondo tentativo chiede all'analista di elencare i tre segnali del modello e di confrontarli con le prove più ampie.
Un tentativo più deciso. "L'importo e il commerciante sono insoliti nella cronologia delle transazioni, ma le note mostrano un trasloco recente e una chiamata relativa all'acquisto di mobili. Questo spiega l'importo, la categoria del commerciante e l'indirizzo di consegna. Non considererei la transazione sospetta solo in base al punteggio. Verificherei l'indirizzo di consegna confrontandolo con il nuovo indirizzo e cercherei una registrazione di una chiamata di conferma. Se corrispondono, chiuderei la pratica considerandola legittima, basandomi su questa motivazione. In caso contrario, segnalerei la transazione a un livello superiore." Questa risposta si basa su prove, propone una spiegazione alternativa e indica cosa cambierebbe la decisione.
Perché ciascuna risposta è difendibile o incompleta. Valutate ogni caso in base a criteri approvati, non in base alle preferenze dell'allenatore. Il primo tentativo rispecchia il modello. Il tentativo migliore lo mette alla prova. Includete i casi in cui la risposta corretta è confermare l'allerta, in modo che gli analisti non imparino a diffidarne per riflesso.
5. Valutare le capacità e pianificare il trasferimento
La capacità dimostrata si basa sulle prestazioni in casi di transazione mai visti prima. Valutare l'accuratezza delle decisioni e la qualità delle motivazioni. Una semplice griglia di valutazione utilizza una scala da 0 a 2 per ciascun criterio:
| Criterio | Prove osservabili |
|---|---|
| Esecuzione dell'attività | Esamina l'allerta e registra le prove a supporto della decisione. |
| Ragionamento | Illustra le alternative, i vincoli e gli aspetti che rimangono incerti. |
| Confini | Utilizza procedure approvate e segnala il problema ai livelli superiori qualora le informazioni o l'autorità siano insufficienti. |
Ancore: 0 è assente o non supportato, 1 è parziale con omissioni rilevanti e 2 è completo e giustificato in base ai criteri concordati. Definire separatamente gli errori critici, come la chiusura di un avviso che corrisponde a una regola di escalation obbligatoria, in modo che un punteggio complessivo non possa nasconderne uno. Questa rubrica è una proposta, non uno standard di preparazione convalidato: adattarla con un responsabile dei reati finanziari e testarla. La nostra guida a progettare attività interattive con feedback utili Mostra come scrivere un feedback che si colleghi alle decisioni prese.
Pianifica il trasferimento in modo accurato. Dopo l'esercitazione, fai in modo che un analista senior esamini alcuni esempi di decisioni prese da ciascun partecipante e ne discuta le motivazioni con loro, oppure esegui un breve debriefing su un avviso recente che è stato chiuso in modo errato.
Dove la consegna interattiva aiuta
I formati interattivi aiutano a far sì che tutti si impegnino prima di vedere il gruppo. In una sessione dal vivo, un facilitatore può mostrare un avviso anonimizzato, chiedere a ciascun analista di inserire una disposizione e una motivazione di una riga, e quindi rivelare la distribuzione prima della discussione. Gli stessi casi possono essere eseguiti a ritmo individuale per la preparazione. AhaSlides supporta l'apprendimento interattivo e il passaggio tra la modalità dal vivo e quella a ritmo individuale. Non valuta automaticamente le disposizioni o le motivazioni, quindi una persona o il tuo processo le contrassegna. Verifica qualsiasi funzione specifica di authoring, feedback o reporting su cui intendi fare affidamento rispetto al tuo flusso di lavoro. Per indicazioni sulla scelta dei formati, consulta il nostro articolo su quando utilizzare l'apprendimento adattivo, interattivo e in diretta.
Misurare ciò che è cambiato
Decidete in anticipo cosa dimostrerebbe che gli analisti sono in grado di svolgere il compito. Confrontate l'accuratezza delle decisioni e la qualità delle motivazioni su un set di casi non visti in precedenza con un valore di riferimento. Definite chi è incluso, il denominatore e la tempistica. Se i risultati migliorano, verificate cos'altro è cambiato nello stesso periodo, come ad esempio una ricalibrazione del modello, una modifica delle regole o un nuovo obiettivo di tempo di gestione, prima di attribuire il merito alla formazione.
Vincoli che potrebbero rimanere
- Pressione della coda. Gli obiettivi relativi ai tempi di gestione premiano la rapida adesione al modello.
- Qualità degli avvisi. Un modello che produce molti falsi positivi disperde l'attenzione, a prescindere dall'addestramento.
- Diritti di escalation. Un analista che nutre dubbi su un avviso ha comunque bisogno di un percorso chiaro per contestarlo.
- Copertura del caso. Un singolo caso studio evidenzia alcuni schemi ricorrenti. Un punteggio, tuttavia, non descrive il giudizio di un analista in generale.
- Trasferimento. Le prestazioni in un'officina non sono le stesse delle prestazioni al termine di un lungo turno di lavoro.
Segnalate tempestivamente questi problemi agli sponsor e pianificate soluzioni separate. La formazione migliora ciò che un analista può mettere in discussione e spiegare. Non cambia gli incentivi legati alla coda.
Domande frequenti
Che cos'è la formazione sulla revisione degli avvisi di frode basati sull'IA?
Insegna agli analisti a convalidare gli avvisi automatici: verificare il contesto non utilizzato dal modello, valutare le alternative, scegliere una soluzione e redigere una motivazione verificabile.
Che cos'è il bias dell'automazione?
Si tratta della tendenza a fare eccessivo affidamento su un ausilio automatizzato, trascurando problemi che non ha segnalato o seguendolo anche quando è errato. Una revisione di studi condotta da Parasuraman e Manzey ha rilevato che questo fenomeno non può essere evitato con la formazione o le istruzioni.
Come si valuta se gli analisti stanno convalidando o accettando i risultati?
Fornire casi inediti, inclusi alcuni in cui il modello è corretto e altri in cui è errato, e valutare la disposizione e la motivazione in base a criteri concordati.
La formazione si basa su dati reali dei clienti?
No. Utilizza casi anonimizzati o sintetici e fai approvare questi dati dal responsabile della conformità.
Dove iniziare
Scegliete una tipologia di avviso dalla vostra coda. Redigete la descrizione delle prestazioni, fate convalidare a un responsabile della lotta ai reati finanziari un set di casi anonimizzati che includa avvisi corretti, errati e ambigui, e create una griglia di valutazione a tre criteri con una scala da 0 a 2 e un elenco di errori critici. Effettuate un test con un piccolo gruppo prima di implementarla su larga scala.
Per scoprire come un caso di studio può essere gestito in tempo reale con il tuo team e riutilizzato in seguito in autonomia, esplora AhaSlides.
