Un analista apre una bozza di riepilogo di un contratto con un fornitore, generata in pochi secondi da un assistente basato sull'intelligenza artificiale. Il documento appare chiaro e ben strutturato. Indica una clausola di rescissione e una modalità di pagamento, e trasmette sicurezza in ogni sua parte. In passato, l'analista impiegava un'intera mattinata a leggere il contratto per trovare questi dettagli. Ora la domanda è diversa: questo riepilogo è corretto? E cosa dovrebbe verificare prima di firmarlo?
Questo è uno scenario esemplificativo, non un caso documentato di un cliente. Descrive i cambiamenti in atto in molti ambiti lavorativi: ottenere una risposta è più rapido. Tuttavia, la decisione sull'affidabilità della risposta e su chi sia responsabile in caso contrario spetta ancora alla persona.
Questa guida è pensata per i responsabili della formazione e dello sviluppo e per i progettisti didattici che pianificano la formazione del personale sull'IA. Illustra come individuare le attività in cui l'IA modifica il lavoro umano, come strutturare la pratica tenendo conto di risultati talvolta errati e come misurare un utilizzo responsabile senza promettere aumenti di produttività.
I fatti in breve
| La Domanda | Risposta breve |
|---|---|
| Cosa cambia quando le persone utilizzano l'intelligenza artificiale sul lavoro? | Produrre una prima bozza o una prima risposta diventa più facile. Verificarla, valutarla e assumersi la responsabilità del risultato, però, non scompare. |
| Cosa dovrebbe insegnare un corso di formazione sull'intelligenza artificiale? | La verifica e la capacità di giudizio necessarie per svolgere un compito, oltre alle conoscenze specifiche del settore. |
| Le sole istruzioni possono risolvere un problema di eccessiva fiducia? | No. La ricerca sul bias di automazione ha rilevato che si manifesta sia nei principianti che negli esperti e non viene impedito dalla sola formazione o dalle istruzioni. |
| Cosa misurare? | Verifica osservata su compiti reali, con limiti approvati per l'utilizzo dell'IA. |
1. Mappare come l'IA cambia le mansioni lavorative
Iniziate con un'attività reale, non con uno strumento. Descrivetela come veniva svolta prima dell'intelligenza artificiale e come viene svolta ora, e confrontate le due situazioni colonna per colonna.
Per l'esempio di contratto:
- Prima: Leggi il contratto completo, estrai i termini chiave, segnala eventuali anomalie e scrivi un riassunto.
- Ora: Esaminare un riassunto generato dall'IA, confrontarlo con la fonte, decidere se farvi affidamento, segnalare eventuali anomalie e assumersi la responsabilità del risultato.
Alcuni passaggi si riducono. Estrarre i termini può richiedere pochi secondi. Altri compaiono o crescono: controllare l'output rispetto alla fonte, notare cosa ha omesso il riassunto e decidere quando chiedere a uno specialista. L'abilità richiesta si è spostata dalla produzione alla valutazione. Nei termini di Bloom, che descrivono il pensiero richiesto da un compito e non come viene svolto, il peso si sposta verso l'analisi e la valutazione. La nostra guida a abbinamento delle attività di apprendimento alla tassonomia di Bloom Spiega come allineare obiettivo, attività e valutazione una volta definito il livello.
Questo confronto è il fulcro di un'analisi onesta dei fabbisogni formativi per l'IA. Permette inoltre di evitare un errore comune: formare tutti sull'utilizzo di uno strumento quando il vero cambiamento consiste in una nuova mansione di verifica.
2. Individuare le esigenze di verifica e di giudizio
Poni tre domande per ogni passaggio nella colonna "ora".
- Che aspetto avrebbe un output errato in questo caso? Una clausola inventata, un'eccezione mancata, una cifra plausibile ma obsoleta.
- Quali prove mi permetterebbero di verificarlo? Il documento originale, un secondo sistema, un collega, una politica.
- Quando devo fermarmi e chiedere a qualcun altro? Il confine tra "Posso verificarlo" e "Questo richiede un esperto".
Da decenni i ricercatori studiano cosa succede quando le persone lavorano con ausili automatizzati imperfetti. La revisione di questa ricerca condotta da Parasuraman e Manzey descrive il bias di automazione, in cui le persone commettono errori di omissione e commissione perché si affidano a un ausilio decisionale che non è sempre corretto. Lo studio ha riscontrato l'effetto sia nei partecipanti principianti che in quelli esperti e ha concluso che non può essere prevenuto solo con la formazione o le istruzioni.Parasuraman e Manzey, 2010, Fattori umaniQuella ricerca è precedente agli assistenti virtuali basati sull'intelligenza artificiale odierni, quindi va considerata come un monito sul comportamento umano, non come una valutazione di alcuno strumento attuale.
La lezione pratica per la formazione sull'IA destinata ai dipendenti è che dire alle persone di "controllare l'output" non è una scelta di progettazione. Anche le condizioni che circondano la persona sono importanti: il tempo per effettuare la verifica, l'accesso al codice sorgente e un ambiente di lavoro che non penalizzi chi rallenta.
3. Sviluppare la pratica tenendo conto dei risultati inaffidabili
Se il compito ora prevede di valutare un output, esercitati a valutare gli output. Crea un piccolo insieme di casi in cui la risposta dell'IA è:
- Corretto e completo. La cosa giusta da fare è accettarlo e spiegarne il motivo.
- Incompleta. È vero fino a un certo punto, ma tralascia un aspetto importante.
- Ingannevole. Sicuro di sé, ben scritto, ma errato in un modo che è facile non notare.
Agli studenti viene presentato un caso, una fonte di riferimento per la verifica e una scelta: accettare, correggere o segnalare il problema. Devono inoltre motivare la loro decisione. Valutate le ragioni dell'accordo o della contestazione, non solo la sicurezza di sé. Uno studente che accetta la risposta corretta senza verificarla non ha dimostrato la competenza necessaria, così come uno studente che contesta tutto.
I formati interattivi si prestano bene a questo scopo. Ogni partecipante si impegna a prendere una decisione e a motivarla prima che il gruppo ne discuta, in modo che sia l'eccessiva fiducia che l'eccessiva cautela diventino evidenti. La prima fase prevede un'interazione individuale, mentre un debriefing dal vivo gestisce i casi ambigui in cui esistono due interpretazioni plausibili. AhaSlides supporta l'apprendimento interattivo e il passaggio tra modalità di interazione dal vivo e individuale, quindi un singolo caso di studio può essere gestito in entrambi i modi. Prima di pianificare un percorso formativo, verifica la compatibilità di qualsiasi funzione specifica di authoring, feedback o reporting con il tuo flusso di lavoro.
4. Conservare le conoscenze preliminari
Non si può valutare un risultato che non si comprende. Una persona che non ha mai imparato come le condizioni di pagamento interagiscono con i diritti di recesso non si accorgerà quando un riepilogo le riporta in modo errato. L'accesso all'intelligenza artificiale non elimina la necessità di tale comprensione, ma ne modifica il contesto di utilizzo.
Decidete da quale conoscenza di dominio dipende ogni attività di verifica e controllatela prima della pratica, con una breve diagnostica a ritmo individuale. Un controllo di richiamo come questo conferma solo i prerequisiti. Non dimostra che chiunque può verificare un output. L'Eberly Center della Carnegie Mellon sottolinea lo stesso punto di progettazione in termini più generali: valutazioni, obiettivi e attività didattiche dovrebbero essere allineati e, quando una valutazione misura il richiamo ma gli obiettivi richiedono l'analisi, non riesce a misurare ciò che gli studenti avrebbero dovuto imparare e il disallineamento può minare sia la motivazione che l'apprendimento.Centro Eberly, allineamento di obiettivi, valutazioni e insegnamento).
5. Misurare l'uso responsabile in compiti reali
Scegli un'attività di verifica che le persone svolgono realmente e definisci i limiti approvati per l'uso dell'IA prima di effettuare le misurazioni: cosa può essere delegato allo strumento, cosa deve essere verificato e cosa deve essere segnalato a un livello superiore.
I Centri statunitensi per il controllo e la prevenzione delle malattie distinguono la valutazione dell'apprendimento dalla valutazione di quanto bene le persone lo applichino di nuovo sul lavoro e raccomandano di pianificare entrambi (CDC, valutazione della formazione: misurare l'efficaciaSi tratta di linee guida per la valutazione, non di una previsione dei risultati. Per le attività di IA ciò significa due misure:
- Apprendimento: prestazioni su una nuova serie di casi inediti, confrontate con un valore di riferimento.
- Trasferimento: Un compito di lavoro supervisionato o un esempio di lavoro reale, valutato in base alla stessa griglia di valutazione dopo che i partecipanti hanno avuto il tempo di mettere in pratica quanto appreso.
Definisci chi è incluso, il denominatore e la tempistica. Riporta l'efficienza solo sulla base di dati misurabili. Se un team diventa più veloce dopo un addestramento sull'IA, verifica cos'altro è cambiato nello stesso periodo, come ad esempio un nuovo modello, un cambio di personale o una diversa combinazione di attività, prima di attribuire il merito all'addestramento.
Per una visione più ampia del rischio, l'Istituto nazionale di standard e tecnologia pubblica il Quadro di gestione del rischio AI, pubblicato nel gennaio 2023, che le organizzazioni utilizzano per riflettere sui rischi legati all'IA. Rappresenta un punto di partenza per la discussione sui rischi, non uno standard di formazione o una certificazione.
Un esempio pratico: il riepilogo del contratto
A scopo illustrativo. Il professionista che svolge questo lavoro dovrebbe convalidare il caso e i criteri di risposta prima dell'uso.
Il caso. Lo studente riceve un contratto fittizio con un fornitore e un riepilogo generato dall'intelligenza artificiale. Il riepilogo indica un preavviso di recesso di 60 giorni. Il contratto prevede invece 60 giorni per la risoluzione senza giusta causa e 30 giorni per inadempimento contrattuale. Il riepilogo omette inoltre un'eccezione relativa ai termini di pagamento, riportata in appendice.
Cosa viene richiesto allo studente di fare. Spiega la decisione (accettare, correggere o inoltrare), cita le prove tratte dal contratto e indica quali ulteriori informazioni o supporto sarebbero necessari.
Una risposta debole. "Il riepilogo sembra accurato e copre i termini principali. Accetta." Non cita nulla e non mostra alcun segno di spunta.
Una risposta più decisa. "Non lo accetterei così com'è. La clausola 14 prevede 60 giorni per la risoluzione senza giusta causa, ma 30 giorni per inadempimento, mentre il riepilogo menziona solo 60 giorni. L'Appendice B contiene un'eccezione relativa al pagamento che non è menzionata nel riepilogo. Correggerei la riga relativa alla risoluzione e aggiungerei l'eccezione. Non sono sicuro che l'appendice si applichi a questo fornitore, quindi chiederei al responsabile dei contratti."
Il secondo tentativo. L'utente riceve un secondo contratto in cui il riepilogo dell'IA è corretto. La mossa giusta ora è accettare e dichiarare ciò che è stato verificato. Questo evita di abituare le persone a un atteggiamento di sospetto automatico.
Foglio di lavoro per l'analisi di attività di intelligenza artificiale
Nella colonna "ora" si utilizza una riga per ogni passaggio di un'attività reale.
| Fase di attività | Cosa fa ora l'IA | Ciò che la persona deve ancora fare | Sono necessarie prove per verificarlo | Escalate a | Conoscenze preliminari necessarie |
|---|---|---|---|---|---|
| Estrarre i termini chiave | Redige la lista | Confronta con la fonte | Il contratto stesso | responsabile contratti | Struttura del contratto e tipologie di clausole |
| Flag termini insoliti | Suggerisce candidati | Decidete cosa c'è di insolito in questo contesto | Contratti precedenti, politica | Note legali | Condizioni standard per questa tipologia di fornitore |
| Firmare il riepilogo | Niente | Assumiti la responsabilità del risultato | Il riepilogo verificato | Manager di linea | Limiti di approvazione |
Una griglia di valutazione che puoi adattare
Assegna un punteggio da 0 a 2 a ciascun criterio. Questa è una proposta da adattare con uno specialista del ruolo, non uno standard di preparazione validato.
| Criterio | Prove osservabili |
|---|---|
| Esecuzione dell'attività | Identifica i punti in cui l'IA modifica il processo di verifica e valutazione. Registra l'azione e le prove a supporto. |
| Ragionamento | Spiega i vincoli, le alternative e l'incertezza. Le ragioni per accettare o contestare un risultato sono legate alla fonte. |
| Confini | Utilizza procedure approvate per l'impiego dell'IA e chiede aiuto quando le informazioni o l'autorità non sono sufficienti. |
Ancore: 0 = assente o non supportato. 1 = parziale, con omissioni rilevanti. 2 = completo e giustificato in base a criteri concordati. Definire separatamente gli errori critici, ad esempio l'approvazione di un output che contraddice la fonte o la condivisione di dati riservati con uno strumento non approvato. Il punteggio totale non deve nascondere un errore critico.
Vincoli che potrebbero rimanere
Un migliore giudizio in un caso di formazione non elimina ogni vincolo:
- Pressione temporale. Se gli obiettivi di volume non lasciano spazio ai controlli, le persone ignoreranno tutto ciò che è stato loro insegnato.
- Responsabilità poco chiare. Se non è indicato nessuno come responsabile di un output controllato, il controllo non è compito di nessuno.
- Limiti degli utensili. Alcuni strumenti non permettono di visualizzare la fonte di una risposta, il che rallenta il processo di verifica.
- Cambio degli utensili. Un sistema di intelligenza artificiale che modifica il proprio comportamento dopo un aggiornamento può interrompere un'abitudine di verifica che hai acquisito nel trimestre precedente.
Pianifica soluzioni separate per questi problemi e comunicalo agli sponsor. La formazione può sviluppare le competenze, ma non può creare il tempo o l'autorità necessari.
Domande frequenti
Quali argomenti dovrebbe trattare la formazione sull'intelligenza artificiale per i dipendenti?
Iniziate con i compiti che l'IA modifica nel suo ruolo. Spiegate come verificare i risultati rispetto alle prove, quando è necessario segnalare il problema, i limiti approvati per l'uso dell'IA e le conoscenze specifiche del settore necessarie per valutare una risposta. I suggerimenti contestuali vengono in un secondo momento.
L'intelligenza artificiale elimina la necessità di conoscenze specifiche del settore?
No. Le persone hanno bisogno di una comprensione sufficiente per accorgersi quando un risultato è errato o incompleto. Ciò che cambia è il modo in cui tale conoscenza viene utilizzata: meno produzione, più valutazione.
Come si valuta il giudizio umano nel lavoro assistito dall'intelligenza artificiale?
Fornite agli studenti casi realistici con risultati corretti, incompleti e fuorvianti, e valutate le loro motivazioni per accettare, correggere o segnalare il problema. Successivamente, osservate lo svolgimento di un'attività reale sotto supervisione dopo un adeguato intervallo di tempo.
Dove iniziare
Scegli un'attività che nella tua organizzazione viene attualmente svolta con l'ausilio dell'IA. Compila il foglio di lavoro qui sopra con i dati di una persona che svolge tale attività e individua i tre punti in cui un risultato errato potrebbe causare i danni maggiori. Crea il tuo primo caso pratico basandoti su uno di questi punti.
Per scoprire come una verifica a ritmo personalizzato, una pratica interattiva basata su un caso di studio e un debriefing dal vivo potrebbero integrarsi per questo compito, esplora AhaSlides.
