Un analist deschide un rezumat preliminar al unui contract de furnizare, produs de un asistent de inteligență artificială în câteva secunde. Se citește bine. Menționează o clauză de reziliere și un termen de plată și este încrezător pe tot parcursul. Analistul obișnuia să petreacă o dimineață citind contractul pentru a găsi aceste lucruri. Acum întrebarea este diferită: este corect acest rezumat și ce ar trebui să verifice înainte de a semna?
Acesta este un scenariu ilustrativ, nu un caz documentat al unui client. Surprinde ce se schimbă în multe locuri de muncă. Obținerea unui răspuns este mai rapidă. Decizia dacă răspunsul poate fi de încredere și cine este responsabil dacă nu este de încredere, revine în continuare persoanei respective.
Acest ghid este destinat șefilor departamentelor de formare și dezvoltare (L&D) și designerilor instrucționali care planifică instruirea forței de muncă bazate pe inteligență artificială. Acesta arată cum să identifici sarcinile în care inteligența artificială schimbă locul de muncă uman, cum să construiești practici în jurul rezultatelor care sunt uneori greșite și cum să măsori utilizarea responsabilă fără a promite câștiguri de productivitate.
Scurte
| Întrebare | Răspuns scurt |
|---|---|
| Ce se schimbă când oamenii folosesc inteligența artificială la locul de muncă? | Elaborarea unei prime schițe sau a unui prim răspuns devine mai ușoară. Verificarea, judecarea și asumarea rezultatului nu dispar. |
| Ce ar trebui să predea instruirea în domeniul inteligenței artificiale? | Verificarea și judecata de care are nevoie acum o sarcină, plus cunoștințele de domeniu necesare pentru a o realiza. |
| Pot instrucțiunile singure să remedieze încrederea excesivă? | Nu. Cercetările privind prejudecățile legate de automatizare au descoperit că acestea apar atât la începători, cât și la experți și nu pot fi prevenite doar prin instruire sau instrucțiuni. |
| Ce să măsoare? | Verificare observată pe sarcini reale, cu limite aprobate pentru utilizarea IA. |
1. Cartografiați modul în care inteligența artificială schimbă sarcina de lucru
Începeți cu o sarcină reală, nu cu un instrument. Descrieți-o așa cum se făcea înainte de inteligența artificială și cum se face acum și comparați cele două coloană cu coloană.
Pentru exemplul de contract:
- Inainte de: Citește contractul complet, extrage termenii cheie, semnalează orice aspect neobișnuit, scrie rezumatul.
- Acum: a revizui un rezumat generat de inteligența artificială, a-l verifica cu sursa, a decide dacă să se bazeze pe el, a semnala orice aspect neobișnuit, a-și asuma responsabilitatea pentru rezultat.
Unii pași se scurtează. Extragerea termenilor poate dura câteva secunde. Alții apar sau cresc: verificarea rezultatului în raport cu sursa, observarea a ceea ce a omis rezumatul și decizia privind momentul în care se solicită ajutorul unui specialist. Abilitatea necesară s-a mutat de la producere la evaluare. În termenii lui Bloom, care descriu gândirea pe care o solicită o sarcină și nu modul în care este livrat, ponderea se mută către analiză și evaluare. Ghidul nostru pentru potrivirea activităților de învățare cu taxonomia lui Bloom explică cum să aliniezi obiectivul, activitatea și evaluarea odată ce cunoști nivelul.
Această comparație este esențială pentru o analiză corectă a nevoilor de instruire pentru inteligența artificială. De asemenea, previne o greșeală frecventă: instruirea tuturor cu privire la un instrument atunci când schimbarea reală este o nouă sarcină de verificare.
2. Identificați cerințele de verificare și judecată
Pune trei întrebări despre fiecare pas din coloana „acum”.
- Cum ar arăta o ieșire greșită aici? O clauză fabricată, o excepție omisă, o figură plauzibilă, dar demodată.
- Ce dovezi mi-ar permite să verific? Documentul sursă, un al doilea sistem, un coleg, o politică.
- Când trebuie să mă opresc și să întreb pe altcineva? Granița dintre „pot verifica asta” și „asta are nevoie de un expert”.
Cercetătorii au studiat timp de decenii ce se întâmplă atunci când oamenii lucrează cu instrumente automate imperfecte. Analiza acestei cercetări realizată de Parasuraman și Manzey descrie prejudecata automatizării, în care oamenii fac erori de omisiune și de executare a legii deoarece se bazează pe un instrument decizional care nu este întotdeauna corect. A constatat efectul atât la participanții începători, cât și la cei experți și a concluzionat că aceasta nu poate fi prevenită doar prin instruire sau instrucțiuni.Parasuraman și Manzey, 2010, Factori umani). Această cercetare este anterioară asistenților inteligenți artificiali de astăzi, așa că trebuie tratată ca un avertisment cu privire la comportamentul uman, nu ca o măsură a vreunui instrument actual.
Lecția practică pentru instruirea angajaților în domeniul inteligenței artificiale este că a le spune oamenilor să „verifice rezultatul” nu este o acțiune intenționată. Condițiile din jurul persoanei contează, de asemenea: timpul necesar verificării, accesul la sursă și un loc de muncă care să nu o penalizeze pentru încetinirea ritmului.
3. Construiți practică în jurul rezultatelor nesigure
Dacă sarcina implică acum evaluarea unui rezultat, exersați evaluarea rezultatelor. Construiți un mic set de cazuri în care răspunsul IA este:
- Corect și complet. Decizia corectă este să o accepți și să spui de ce.
- Incomplet. Adevărat până la capăt, dar omite ceva important.
- Derutant. Încrezător, bine scris și greșit într-un mod ușor de trecut cu vederea.
Elevii primesc fiecare caz, o sursă cu care să îl verifice și o opțiune: să accepte, să corecteze sau să escaladeze. De asemenea, trebuie să ofere motivul. Evaluează motivele acordului sau ale contestării, nu doar încrederea. Un elev care acceptă răspunsul corect fără a verifica nu a demonstrat abilitatea, iar un elev care contestă totul nu a demonstrat-o nici el.
Formatele interactive se potrivesc bine acestui lucru. Fiecare persoană se angajează să ia o decizie și să dea un motiv înainte ca grupul să discute, astfel încât atât încrederea excesivă, cât și precauția excesivă devin vizibile. Prezentarea în ritm propriu acoperă prima etapă, iar o sesiune de debriefing live se ocupă de cazurile ambigue în care există două interpretări justificabile. AhaSlides susține învățarea interactivă și trecerea între prezentarea în ritm propriu și cea în ritm propriu, astfel încât un set de cazuri poate rula în ambele sensuri. Verificați orice funcție specifică de creare, feedback sau raportare în raport cu propriul flux de lucru înainte de a planifica în jurul acestuia.
4. Păstrați cunoștințele prealabile
Nu poți evalua un rezultat pe care nu îl înțelegi. O persoană care nu a învățat niciodată cum interacționează termenii de plată cu drepturile de reziliere nu va observa când un rezumat le prezintă greșit. Accesul la inteligența artificială nu elimină necesitatea acestei înțelegeri. Aceasta schimbă locul în care este utilizată.
Decideți de ce cunoștințe de domeniu depinde fiecare sarcină de verificare și verificați-le înainte de exersare, cu un scurt diagnostic în ritm propriu. O verificare a reamintirii, cum ar fi aceasta, confirmă doar cerințele preliminare. Nu demonstrează că cineva poate verifica un rezultat. Centrul Eberly al Carnegie Mellon subliniază același punct de vedere al designului, într-un sens mai general: evaluările, obiectivele și activitățile de instruire ar trebui să se alinieze, iar atunci când o evaluare măsoară reamintirea, dar obiectivele necesită analiză, aceasta nu reușește să măsoare ceea ce elevii ar fi trebuit să învețe, iar nealinierea poate submina atât motivația, cât și învățarea.Centrul Eberly, alinierea obiectivelor, evaluărilor și instruirii).
5. Măsurați utilizarea responsabilă în sarcini reale
Alegeți o sarcină de verificare pe care oamenii o îndeplinesc cu adevărat și stabiliți limitele aprobate pentru utilizarea inteligenței artificiale înainte de a măsura: ce poate fi delegat instrumentului, ce trebuie verificat și ce trebuie escaladat.
Centrele pentru Controlul și Prevenirea Bolilor din SUA separă evaluarea învățării de evaluarea modului în care oamenii o aplică la locul de muncă și recomandă planificarea pentru ambele (CDC, evaluarea instruirii: măsurarea eficacității). Este vorba despre îndrumări de evaluare, nu o prognoză a rezultatelor. Pentru sarcinile de inteligență artificială, aceasta înseamnă două măsuri:
- Învăţare: performanța pe un set nou, nevăzut de cazuri, comparativ cu o valoare de referință.
- Transfer: o sarcină de lucru supravegheată sau un exemplu de muncă reală, revizuită în funcție de aceeași rubrică după ce participanții au avut timp să folosească ceea ce au învățat.
Definiți cine este inclus, numitorul și momentul. Raportați eficiența doar pe baza dovezilor măsurate. Dacă o echipă devine mai rapidă după instruirea în domeniul inteligenței artificiale, verificați ce s-a mai schimbat în aceeași perioadă, cum ar fi un șablon nou, o schimbare de personal sau o combinație diferită de sarcini, înainte de a acorda credit instruirii.
Pentru o perspectivă mai largă asupra riscului, Institutul Național de Standarde și Tehnologie publică Cadrul de management al riscului AI, lansat în ianuarie 2023, pe care organizațiile îl folosesc pentru a analiza riscul legat de inteligența artificială. Este un punct de plecare pentru conversația despre riscuri, nu un standard de instruire sau o certificare.
Un exemplu concret: rezumatul contractului
Ilustrativ. Un practician care efectuează această activitate ar trebui să valideze cazul și criteriile de răspuns înainte de utilizare.
Cazul. Cursantul primește un contract fictiv cu furnizorul și un rezumat scris de inteligența artificială. Rezumatul prevede o notificare de reziliere cu 60 de zile înainte. Contractul prevede 60 de zile pentru rezilierea fără motiv și 30 de zile pentru încălcarea contractului. Rezumatul omite, de asemenea, o excepție privind termenul de plată într-o anexă.
Ceea ce i se cere elevului să facă. Explicați decizia (acceptare, corectare sau escaladare), citați dovezile din contract și precizați de ce informații sau sprijin suplimentar ar avea nevoie.
Un răspuns slab. „Rezumatul pare corect și acoperă termenii principali. Accept.” Nu citează nimic și nu arată nicio verificare.
Un răspuns mai puternic. „Nu aș accepta-o așa cum este. Clauza 14 prevede 60 de zile pentru rezilierea fără motiv, dar 30 de zile pentru încălcarea contractului, iar rezumatul menționează doar 60. Anexa B conține o excepție de plată pe care rezumatul nu o menționează. Aș corecta rândul de reziliere și aș adăuga excepția. Nu sunt sigur dacă anexa se aplică acestui furnizor, așa că aș întreba responsabilul cu contractele.”
Reîncercarea. Cursantul primește un al doilea contract în care rezumatul inteligenței artificiale este corect. Decizia corectă acum este să accepte și să spună ce a fost verificat. Acest lucru previne antrenarea oamenilor într-o suspiciune reflexivă.
O fișă de lucru pentru analiza sarcinilor de inteligență artificială
Folosește câte un rând pentru fiecare pas în coloana „acum” pentru o sarcină reală.
| Pasul sarcinii | Ce face IA acum | Ceea ce persoana trebuie să facă în continuare | Dovezi necesare pentru a verifica | Escalează către | Cunoștințe prealabile |
|---|---|---|---|---|---|
| Extrageți termenii cheie | Redactează lista | Compară cu sursa | Contractul în sine | Contractele conduc | Structura contractului și tipurile de clauze |
| Semnalați termeni neobișnuiți | Sugerează candidați | Decideți ce este neobișnuit în acest context | Contracte anterioare, politică | Legal | Termeni standard pentru acest tip de furnizor |
| Semnați rezumatul | Nimic | Îți asumă rezultatul | Rezumatul verificat | Manager de linie | Limitele de aprobare |
O rubrică pe care o poți adapta
Acordați fiecărui criteriu un scor de la 0 la 2. Aceasta este o propunere de adaptare cu un specialist în acest rol, nu un standard de pregătire validat.
| Criteriu | Dovezi observabile |
|---|---|
| Executarea sarcinilor | Identifică locurile în care inteligența artificială modifică sarcina de verificare și evaluare. Înregistrează acțiunea și dovezile din spatele acesteia. |
| Raţionament | Explică constrângerile, alternativele și incertitudinea. Motivele pentru acceptarea sau contestarea unui rezultat sunt legate de sursă. |
| Limite | Folosește proceduri aprobate pentru utilizarea IA și solicită ajutor atunci când informațiile sau autoritatea nu sunt suficiente. |
Ancore: 0 = absent sau nejustificat. 1 = parțial, cu omisiuni relevante. 2 = complet și justificat conform criteriilor convenite. Definiți separat erorile critice, de exemplu, aprobarea unui rezultat care contrazice sursa sau partajarea datelor confidențiale cu un instrument neaprobat. Un scor total nu trebuie să ascundă o defecțiune critică.
Constrângeri care pot rămâne
O judecată mai bună într-un caz de instruire nu elimină toate constrângerile:
- Presiunea timpului. Dacă obiectivele de volum nu lasă loc de verificare, oamenii vor sări peste verificarea a ceea ce au fost învățați.
- Responsabilitate neclară. Dacă nimeni nu este numit ca proprietar al unei ieșiri verificate, verificarea nu este treaba nimănui.
- Limitele sculelor. Unele instrumente nu permit oamenilor să vadă sursa din spatele unui răspuns, ceea ce face ca verificarea să fie lentă.
- Schimbarea instrumentelor. Un sistem de inteligență artificială care își schimbă comportamentul după o actualizare poate rupe un obicei de verificare pe care l-ați dezvoltat trimestrul trecut.
Planificați soluții separate pentru acestea și spuneți acest lucru sponsorilor. Instruirea poate dezvolta abilitățile. Nu poate crea timpul sau autoritatea necesare.
Întrebări frecvente
Ce ar trebui să acopere instruirea angajaților în domeniul inteligenței artificiale?
Începeți cu sarcinile pe care inteligența artificială le implică în rol. Acoperiți cum să verificați rezultatele în raport cu dovezile, când să escaladați, limitele aprobate pentru utilizarea inteligenței artificiale și cunoștințele de domeniu necesare pentru a evalua un răspuns. Sfaturile informative sunt pe locul doi.
Elimină IA nevoia de cunoaștere a domeniului?
Nu. Oamenii au nevoie de suficientă înțelegere pentru a observa când un rezultat este greșit sau incomplet. Ceea ce se schimbă este modul în care sunt utilizate aceste cunoștințe: mai puțină producție, mai multă evaluare.
Cum evaluezi judecata umană în munca asistată de inteligență artificială?
Oferiți cursanților cazuri realiste cu rezultate corecte, incomplete și înșelătoare și notați motivele pentru care acceptă, corectează sau escaladează problema. Apoi, observați o sarcină reală supravegheată după o întârziere adecvată.
Unde să încep
Alegeți o sarcină pe care oamenii din organizația dvs. o îndeplinesc în prezent cu ajutorul inteligenței artificiale. Completați fișa de lucru de mai sus cu cineva care face treaba și notați cele trei locuri în care un rezultat greșit ar face cel mai mult rău. Construiți-vă primul caz practic în jurul uneia dintre ele.
Pentru a vedea cum o verificare în ritm propriu, o practică interactivă de caz și o sesiune de debriefing live s-ar putea combina pentru această sarcină, explorează AhaSlides.
