Een analist opent een conceptversie van een leverancierscontract, dat in enkele seconden door een AI-assistent is gegenereerd. Het leest vlot. Er staat een beëindigingsclausule en een betalingstermijn in vermeld, en de tekst straalt overal vertrouwen uit. Vroeger was de analist een hele ochtend bezig om het contract door te lezen en die zaken te vinden. Nu is de vraag anders: klopt deze samenvatting wel, en wat moet de analist nog controleren voordat hij of zij het contract ondertekent?
Dit is een illustratief scenario, geen gedocumenteerde klantcase. Het laat zien wat er in veel banen verandert. Het vinden van een antwoord gaat sneller. De beslissing of het antwoord betrouwbaar is, en wie verantwoordelijk is als dat niet het geval is, blijft echter bij de persoon in kwestie.
Deze handleiding is bedoeld voor leidinggevenden op het gebied van leren en ontwikkeling en voor instructieontwerpers die AI-trainingen voor hun medewerkers plannen. Het laat zien hoe je taken kunt identificeren waarbij AI de menselijke taak verandert, hoe je werkwijzen kunt ontwikkelen rondom resultaten die soms onjuist zijn, en hoe je verantwoord gebruik kunt meten zonder productiviteitswinst te beloven.
Faktenüberblick
| Vraag | Kort antwoord |
|---|---|
| Wat verandert er als mensen AI op hun werk gebruiken? | Het schrijven van een eerste versie of antwoord wordt makkelijker. Maar het controleren, beoordelen en verantwoordelijkheid nemen voor het resultaat blijft een belangrijk onderdeel. |
| Wat moet AI-training ons leren? | De controle en beoordeling die een taak nu vereist, plus de domeinkennis die nodig is om die taak uit te voeren. |
| Kunnen instructies alleen overmatig vertrouwen verhelpen? | Nee. Onderzoek naar vooringenomenheid bij automatisering heeft aangetoond dat dit zowel bij beginners als experts voorkomt en niet alleen door training of instructies kan worden voorkomen. |
| Wat moet je meten? | Geobserveerde verificatie aan de hand van echte taken, met goedgekeurde grenzen voor het gebruik van AI. |
1. Breng in kaart hoe AI de taak verandert
Begin met één concrete taak, niet met een hulpmiddel. Beschrijf de taak zoals die werd uitgevoerd vóór de komst van AI en zoals die nu wordt uitgevoerd, en vergelijk de twee kolom voor kolom.
Voor het contractvoorbeeld:
- Vooraf: Lees het volledige contract, haal de belangrijkste bepalingen eruit, markeer alles wat ongebruikelijk is en schrijf een samenvatting.
- Nu: Een door AI gegenereerde samenvatting beoordelen, deze vergelijken met de bron, beslissen of je erop kunt vertrouwen, ongebruikelijke zaken signaleren en de verantwoordelijkheid voor het resultaat nemen.
Sommige stappen worden kleiner. Het extraheren van termen kan seconden duren. Andere stappen verschijnen of worden uitgebreider: het controleren van de output aan de hand van de bron, het opmerken van wat er in de samenvatting ontbreekt en de beslissing wanneer een specialist geraadpleegd moet worden. De vereiste vaardigheid is verschoven van produceren naar evalueren. Volgens Bloom's taxonomie, die het denkproces beschrijft dat een taak vereist en niet de manier waarop deze wordt uitgevoerd, verschuift het gewicht naar analyseren en evalueren. Onze gids voor Leeractiviteiten afstemmen op de taxonomie van Bloom. legt uit hoe je de doelstelling, activiteit en beoordeling op elkaar afstemt zodra je het niveau kent.
Deze vergelijking vormt de kern van een eerlijke analyse van de trainingsbehoeften voor AI. Het voorkomt ook een veelgemaakte fout: iedereen trainen op een bepaalde tool, terwijl de werkelijke verandering een nieuwe controletaak is.
2. Identificeer de vereisten voor verificatie en beoordeling.
Stel drie vragen over elke stap in de kolom 'nu'.
- Hoe zou een onjuiste uitvoer er hier uitzien? Een verzonnen clausule, een gemiste uitzondering, een aannemelijk maar verouderd cijfer.
- Welk bewijs zou me in staat stellen dat te controleren? Het brondocument, een tweede systeem, een collega, een beleid.
- Wanneer moet ik stoppen en iemand anders om hulp vragen? De grens tussen "Ik kan dit controleren" en "hiervoor is een expert nodig".
Onderzoekers bestuderen al decennia wat er gebeurt wanneer mensen werken met imperfecte geautomatiseerde hulpmiddelen. De review van Parasuraman en Manzey over dit onderzoek beschrijft automatiseringsbias, waarbij mensen fouten maken door dingen weg te laten of juist dingen te doen, omdat ze vertrouwen op een beslissingshulpmiddel dat niet altijd gelijk heeft. Het onderzoek vond dit effect bij zowel beginnende als ervaren deelnemers en concludeerde dat het niet alleen door training of instructies te voorkomen is.Parasuraman en Manzey, 2010, Menselijke factorenDat onderzoek dateert van vóór de huidige AI-assistenten, dus beschouw het als een waarschuwing over menselijk gedrag, niet als een maatstaf voor een huidige tool.
De praktische les voor AI-training voor werknemers is dat mensen vertellen om "de output te controleren" geen ontwerpkeuze is. De omstandigheden rondom de persoon zijn ook van belang: tijd om te controleren, toegang tot de bron en een werkomgeving die hen niet afstraft voor vertraging.
3. Ontwikkel een werkwijze rondom onbetrouwbare resultaten.
Als de taak nu inhoudt dat je een resultaat moet beoordelen, oefen dan met het beoordelen van resultaten. Stel een kleine set voorbeelden samen waarin de AI het volgende antwoord geeft:
- Correct en volledig. De juiste aanpak is om het te accepteren en uit te leggen waarom.
- Incompleet. Dat klopt tot op zekere hoogte, maar er wordt iets belangrijks buiten beschouwing gelaten.
- Misleidend. Zelfverzekerd, goed geschreven, en op een subtiele manier fout, wat makkelijk over het hoofd te zien is.
Leerlingen krijgen voor elke casus een bron ter controle en een keuze: accepteren, corrigeren of escaleren. Ze moeten ook de reden hiervoor geven. Beoordeel de redenen voor instemming of betwisting, niet alleen het zelfvertrouwen. Een leerling die het juiste antwoord zonder controle accepteert, heeft de vaardigheid niet getoond, en een leerling die alles betwist, evenmin.
Interactieve formats lenen zich hier goed voor. Iedereen neemt een besluit en geeft een onderbouwing voordat de groep het bespreekt, waardoor zowel overmatig vertrouwen als overmatige voorzichtigheid aan het licht komen. Zelfstudie is geschikt voor de eerste fase, en een live nabespreking behandelt de onduidelijke gevallen waarin twee verdedigbare interpretaties mogelijk zijn. AhaSlides ondersteunt interactief leren en de overgang tussen live en zelfstudie, waardoor één casusreeks op beide manieren kan worden gebruikt. Controleer of specifieke functies voor het maken van presentaties, feedback of rapportage aansluiten op uw eigen workflow voordat u ze in uw planning opneemt.
4. Behoud de vereiste voorkennis
Je kunt een resultaat niet beoordelen als je het niet begrijpt. Iemand die nooit heeft geleerd hoe betalingsvoorwaarden samenhangen met opzeggingsrechten, zal niet merken wanneer een samenvatting die twee onjuist weergeeft. Toegang tot AI neemt de noodzaak van dat begrip niet weg. Het verandert alleen de context waarin het wordt gebruikt.
Bepaal van welke domeinkennis elke verificatietaak afhankelijk is en controleer dit vóór de oefening met een korte, zelfstandige diagnostische toets. Een dergelijke controle bevestigt alleen de vereisten. Het toont niet aan dat iemand een resultaat kan verifiëren. Het Eberly Center van Carnegie Mellon maakt hetzelfde algemene punt: beoordelingen, doelstellingen en instructieactiviteiten moeten op elkaar aansluiten. Wanneer een beoordeling de kennis meet, maar de doelstellingen analyse vereisen, wordt niet gemeten wat leerlingen zouden moeten leren. Deze discrepantie kan zowel de motivatie als het leerproces ondermijnen.Eberly Center, afstemming van doelstellingen, beoordelingen en instructie).
5. Meet verantwoord gebruik aan de hand van echte taken.
Kies een verificatietaak die mensen daadwerkelijk uitvoeren en stel de goedgekeurde grenzen voor het gebruik van AI vast voordat u gaat meten: wat mag aan de tool worden gedelegeerd, wat moet worden gecontroleerd en wat moet worden geëscaleerd.
De Amerikaanse Centers for Disease Control and Prevention (CDC) maakt onderscheid tussen het evalueren van leerervaringen en het evalueren van hoe goed mensen die kennis in de praktijk toepassen, en adviseert om voor beide aspecten te plannen.CDC, evaluatie van trainingen: het meten van de effectiviteitHet betreft een evaluatierichtlijn, geen voorspelling van de resultaten. Voor AI-taken betekent dit twee meetmethoden:
- Aan het leren: prestaties op een nieuwe, niet eerder vertoonde reeks gevallen, vergeleken met een basislijn.
- Overdracht: Een begeleide werktaak of een voorbeeld van echt werk, beoordeeld aan de hand van dezelfde beoordelingscriteria nadat mensen de tijd hebben gehad om toe te passen wat ze hebben geleerd.
Definieer wie erbij betrokken is, de noemer en de timing. Rapporteer efficiëntie alleen op basis van meetbare gegevens. Als een team sneller wordt na een AI-training, controleer dan welke andere veranderingen er in dezelfde periode hebben plaatsgevonden, zoals een nieuw sjabloon, een personeelswijziging of een andere werkverdeling, voordat de training als resultaat wordt toegekend.
Voor een breder beeld van risico's publiceert het National Institute of Standards and Technology de volgende informatie. AI-risicobeheerkader, uitgebracht in januari 2023, die organisaties gebruiken om na te denken over AI-risico's. Het is een startpunt voor het risicogesprek, geen trainingsstandaard of certificering.
Een uitgewerkt voorbeeld: de contractsamenvatting
Ter illustratie. Een professional die dit werk uitvoert, dient de casus en de antwoordcriteria te valideren alvorens deze te gebruiken.
De zaak. De cursist ontvangt een fictief leverancierscontract en een door AI geschreven samenvatting. In de samenvatting staat een opzegtermijn van 60 dagen. Het contract zelf vermeldt echter een opzegtermijn van 60 dagen zonder geldige reden en 30 dagen bij contractbreuk. De samenvatting laat bovendien een uitzondering op de betalingstermijn in een bijlage weg.
Wat er van de leerling wordt verwacht. Leg de beslissing uit (accepteren, corrigeren of escaleren), verwijs naar het bewijsmateriaal uit het contract en geef aan welke aanvullende informatie of ondersteuning ze nodig hebben.
Een zwakke reactie. "De samenvatting lijkt accuraat en dekt de belangrijkste termen. Accepteren." Er wordt niets vermeld en er is geen controle uitgevoerd.
Een krachtiger reactie. "Ik zou het niet accepteren zoals het er nu staat. Clausule 14 geeft 60 dagen voor beëindiging zonder opgaaf van redenen, maar 30 dagen bij contractbreuk, en in de samenvatting wordt alleen 60 dagen genoemd. Bijlage B bevat een uitzondering op de betalingsregeling die niet in de samenvatting wordt vermeld. Ik zou de bepaling over beëindiging corrigeren en de uitzondering toevoegen. Ik weet niet zeker of de bijlage van toepassing is op deze leverancier, dus ik zou het navragen bij de contractverantwoordelijke."
De herkansing. De cursist krijgt een tweede contract waarin de AI-samenvatting correct is. De juiste stap is nu om dit te accepteren en te zeggen wat er gecontroleerd is. Dit voorkomt dat mensen reflexmatig wantrouwen ontwikkelen.
Een werkblad voor AI-taakanalyse
Gebruik voor een daadwerkelijke taak één rij per stap in de kolom "nu".
| Taakstap | Wat AI nu doet | Wat de persoon nog moet doen | Bewijs nodig om het te controleren | Doorsturen naar | Vereiste voorkennis |
|---|---|---|---|---|---|
| Kernbegrippen extraheren | Stelt de lijst op | Vergelijk met de bron | Het contract zelf | Contracten leiden | Contractstructuur en clausuletypen |
| Markeer ongebruikelijke termen | Stelt kandidaten voor | Bepaal wat in deze context ongebruikelijk is. | Eerdere contracten, beleid | Juridisch | Standaardvoorwaarden voor dit type leverancier |
| Onderteken de samenvatting | Niets | Neem de verantwoordelijkheid voor het resultaat. | De gecontroleerde samenvatting | Lijnmanager | Goedkeuringslimieten |
Een beoordelingsschema dat je kunt aanpassen
Geef elk criterium een score van 0 tot 2. Dit is een voorstel om aan te passen in overleg met een specialist in de betreffende rol, geen gevalideerde gereedheidsnorm.
| Criterium | Observeerbaar bewijs |
|---|---|
| Taakuitvoering | Identificeert waar AI de verificatie- en beoordelingstaak verandert. Registreert de actie en het bewijsmateriaal dat eraan ten grondslag ligt. |
| Redenering | De beperkingen, alternatieven en onzekerheden worden uitgelegd. De redenen om een resultaat te accepteren of te betwisten, zijn gekoppeld aan de bron. |
| Grenzen | Hanteert goedgekeurde procedures voor het gebruik van AI en vraagt om hulp wanneer informatie of bevoegdheid ontoereikend is. |
ankers: 0 = afwezig of niet onderbouwd. 1 = gedeeltelijk, met relevante weglatingen. 2 = volledig en gerechtvaardigd op basis van overeengekomen criteria. Definieer kritieke fouten afzonderlijk, bijvoorbeeld het goedkeuren van een output die de bron tegenspreekt, of het delen van vertrouwelijke gegevens met een niet-goedgekeurd hulpmiddel. Een totaalscore mag een kritieke fout niet verbergen.
Mogelijke beperkingen die kunnen blijven bestaan
Betere beoordeling in een trainingssituatie heft niet alle beperkingen op:
- Tijdsdruk. Als de streefvolumes geen ruimte laten voor controle, zullen mensen nalaten te controleren wat ze geleerd hebben.
- Onduidelijke verantwoordelijkheid. Als er niemand als eigenaar van een gecontroleerde uitvoer is aangewezen, is controleren niemands taak.
- Beperkingen van het gereedschap. Sommige tools laten gebruikers de bron van een antwoord niet zien, waardoor verificatie traag verloopt.
- Gereedschap wisselen. Een AI-systeem dat na een update van gedrag verandert, kan een verificatiegewoonte die je het afgelopen kwartaal hebt opgebouwd, verstoren.
Plan afzonderlijke oplossingen voor deze problemen en communiceer dit aan de sponsors. Training kan de vaardigheid ontwikkelen, maar het kan geen tijd of bevoegdheid creëren.
Veelgestelde vragen
Wat moet er in een AI-training voor werknemers aan bod komen?
Begin met de veranderingen in de rol van AI bij het uitvoeren van taken. Bespreek hoe je de resultaten kunt toetsen aan de hand van bewijsmateriaal, wanneer je een probleem moet escaleren, de goedgekeurde grenzen voor het gebruik van AI en de domeinkennis die nodig is om een antwoord te beoordelen. Tips voor het gebruik van AI komen daarna aan bod.
Maakt AI de behoefte aan domeinkennis overbodig?
Nee. Mensen moeten voldoende inzicht hebben om te merken wanneer een resultaat onjuist of onvolledig is. Wat verandert, is hoe die kennis wordt gebruikt: minder produceren, meer evalueren.
Hoe beoordeel je menselijk oordeel in situaties waarin AI-ondersteuning een rol speelt?
Geef leerlingen realistische casussen met correcte, onvolledige en misleidende resultaten en beoordeel hun redenen voor acceptatie, correctie of escalatie. Observeer vervolgens, na een geschikte wachttijd, een echte taak onder begeleiding.
Waar te beginnen
Kies één taak die mensen in uw organisatie nu met behulp van AI uitvoeren. Vul het bovenstaande werkblad in met iemand die deze taak uitvoert en noteer de drie situaties waarin een foute output de meeste schade zou aanrichten. Bouw uw eerste praktijkcase op rond één van deze situaties.
Om te zien hoe een zelfgestuurde toets, een interactieve casusoefening en een live nabespreking voor die taak gecombineerd kunnen worden, kun je AhaSlides bekijken.
