Analytik otevře návrh shrnutí dodavatelské smlouvy, který asistent s umělou inteligencí vytvoří během několika sekund. Čitelnost je dobře patrná. Uvádí ustanovení o ukončení smlouvy a platební podmínky a je v něm po celou dobu sebejistý. Analytik dříve strávil dopoledne čtením smlouvy, aby tyto informace zjistil. Nyní je otázka jiná: je toto shrnutí správné a co by si analytik musel před podpisem ověřit?
Toto je ilustrativní scénář, nikoli zdokumentovaný případ zákazníka. Zachycuje, co se mění v mnoha pracovních oblastech. Dostat se k odpovědi je rychlejší. Rozhodnutí, zda lze odpovědi důvěřovat a kdo je za ni odpovědný, je stále na dané osobě.
Tato příručka je určena pro vedoucí vzdělávání a rozvoje a instruktážní designéry, kteří plánují školení pracovníků v oblasti umělé inteligence. Ukazuje, jak najít úkoly, kde umělá inteligence mění lidskou práci, jak budovat postupy kolem výstupů, které jsou někdy chybné, a jak měřit zodpovědné používání bez slibování zvýšení produktivity.
Rychlá fakta
| Otázka | Stručná odpověď |
|---|---|
| Co se změní, když lidé v práci používají umělou inteligenci? | Vytvoření prvního návrhu nebo odpovědi se stává snazším. Jeho ověřování, posuzování a převzetí odpovědnosti za výsledek nezmizí. |
| Co by měl učit trénink umělé inteligence? | Kontrola a úsudek, které úkol nyní potřebuje, plus znalosti oboru potřebné k jeho provedení. |
| Mohou samotné instrukce napravit přehnanou důvěru? | Ne. Výzkum automatizačního zkreslení zjistil, že k němu dochází u začátečníků i expertů a že mu nelze zabránit pouze školením nebo instrukcemi. |
| Co měřit? | Pozorované ověření na reálných úkolech se schválenými limity pro použití umělé inteligence. |
1. Zmapujte, jak umělá inteligence mění pracovní úkol
Začněte s jedním skutečným úkolem, ne s nástrojem. Popište ho, jak se dělal před umělou inteligencí a jak se dělá nyní, a porovnejte oba sloupce.
Pro příklad smlouvy:
- Před: Přečtěte si celou smlouvu, vyjměte klíčové podmínky, označte cokoli neobvyklého a napište shrnutí.
- Teď: zkontrolovat shrnutí vygenerované umělou inteligencí, porovnat ho se zdrojem, rozhodnout se, zda se na něj spolehnout, označit cokoli neobvyklého a převzít odpovědnost za výsledek.
Některé kroky se zmenšují. Extrakce termínů může trvat jen několik sekund. Jiné se objevují nebo zvětšují: porovnání výstupu se zdrojem, všimnutí si toho, co shrnutí vynechalo, a rozhodnutí, kdy se zeptat specialisty. Požadovaná dovednost se přesunula z produkce na vyhodnocování. V Bloomových termínech, které popisují myšlení, jež úkol vyžaduje, a nikoli způsob jeho realizace, se důraz přesouvá k analýze a vyhodnocování. Náš průvodce přiřazování vzdělávacích aktivit k Bloomově taxonomii vysvětluje, jak sladit cíl, aktivitu a hodnocení, jakmile znáte úroveň.
Toto srovnání je jádrem poctivé analýzy potřeb školení v oblasti umělé inteligence. Zároveň zabraňuje časté chybě: školení všech v práci s nástrojem, když skutečnou změnou je nová kontrolní povinnost.
2. Identifikujte požadavky na ověřování a úsudek
Položte tři otázky ke každému kroku ve sloupci „nyní“.
- Jak by zde vypadal špatný výstup? Vymyšlená klauzule, přehlédnutá výjimka, věrohodná, ale zastaralá postava.
- Jaké důkazy by mi to umožnily ověřit? Zdrojový dokument, druhý systém, kolega, zásady.
- Kdy se musím zastavit a zeptat se někoho jiného? Hranice mezi „to můžu ověřit“ a „tohle potřebuje odborníka“.
Výzkumníci po celá desetiletí zkoumali, co se stane, když lidé pracují s nedokonalými automatizovanými pomůckami. Parasuraman a Manzey ve svém přehledu tohoto výzkumu popsali zkreslení automatizace, kdy lidé dělají opomenutí a chyby, protože se spoléhají na pomůcku při rozhodování, která není vždy správná. Tento efekt byl zjištěn jak u začátečníků, tak u zkušených účastníků a dospěl k závěru, že mu nelze zabránit pouze školením nebo instrukcemi.Parasuraman a Manzey, 2010, Lidské faktory). Tento výzkum předchází dnešním asistentům s umělou inteligencí, takže jej berte jako varování ohledně lidského chování, nikoli jako měření nějakého současného nástroje.
Praktickým ponaučením pro školení zaměstnanců v oblasti umělé inteligence je, že říkat lidem, aby „kontrolovali výstup“, není záměr. Důležité jsou i podmínky kolem dané osoby: čas na kontrolu, přístup ke zdroji a pracoviště, které ji netrestá za zpomalení.
3. Budujte praxi kolem nespolehlivých výstupů
Pokud úkol nyní zahrnuje posouzení výstupu, procvičte si posuzování výstupů. Vytvořte malou sadu případů, kde odpověď umělé inteligence je:
- Správné a úplné. Správným krokem je to přijmout a říct proč.
- Neúplný. Do jisté míry pravda, ale opomíjí to něco důležitého.
- Zavádějící. Sebevědomé, dobře napsané a zároveň mylné způsobem, který je snadné přehlédnout.
Studenti dostanou ke každému případu zdroj, se kterým si ho mohou ověřit, a možnost volby: přijmout, opravit nebo eskalovat. Musí také uvést důvod. Posuďte důvody pro souhlas nebo zpochybnění, nikoli pouze sebevědomí. Student, který přijme správnou odpověď bez ověření, neprokázal dovednost, a student, který zpochybňuje všechno, také ne.
Interaktivní formáty se k tomu dobře hodí. Každý člověk se zaváže k rozhodnutí a důvodu předtím, než skupina začne diskutovat, takže se projeví jak přehnaná důvěra, tak i přehnaná opatrnost. Vlastní tempo přednášky pokrývá první fázi a živý debriefing řeší nejednoznačné případy, kdy existují dva obhajitelné výklady. AhaSlides podporuje interaktivní učení a přepínání mezi živým a vlastním tempem přednášky, takže jedna sada případů může fungovat oběma směry. Než začnete plánovat, zkontrolujte jakoukoli konkrétní funkci tvorby, zpětné vazby nebo reportingu oproti vašemu vlastnímu pracovnímu postupu.
4. Zachovejte si nezbytné znalosti
Nemůžete vyhodnotit výstup, kterému nerozumíte. Člověk, který se nikdy nedozvěděl, jak platební podmínky interagují s právy na ukončení smlouvy, si nevšimne, když je shrnutí chybné. Přístup k umělé inteligenci neodstraňuje potřebu tohoto porozumění. Mění se tam, kde se používá.
Rozhodněte se, na které oblasti znalostí závisí každý ověřovací úkol, a před cvičením si je ověřte pomocí krátkého diagnostického testu s vlastním tempem. Takováto kontrola zapamatování potvrzuje pouze předpoklady. Neukazuje, že kdokoli může ověřit výstup. Eberly Center v Carnegie Mellon's uvádí stejný konstrukční argument obecněji: hodnocení, cíle a výukové aktivity by měly být v souladu, a když hodnocení měří zapamatování, ale cíle vyžadují analýzu, neměří, co se studenti měli naučit, a toto nesoulad může podkopat jak motivaci, tak učení.Eberly Center, sladění cílů, hodnocení a výuky).
5. Měřte zodpovědné používání v reálných úkolech
Vyberte si ověřovací úkol, který lidé skutečně dělají, a před měřením stanovte schválené hranice pro použití umělé inteligence: co lze nástroji delegovat, co je nutné zkontrolovat a co je nutné eskalovat.
Americká Centra pro kontrolu a prevenci nemocí oddělují hodnocení znalostí od hodnocení toho, jak dobře je lidé aplikují zpět v práci, a doporučují plánovat pro obojí (CDC, hodnocení školení: měření efektivity). Jedná se o vodítko k hodnocení, nikoli o prognózu výsledků. Pro úkoly s umělou inteligencí to znamená dvě opatření:
- Učení se: výkon na nové, dosud neznámé sadě případů ve srovnání s výchozím stavem.
- Převod: úkol pod dohledem nebo ukázka skutečné práce, porovnávaná se stejnou rubrikou poté, co si lidé stihli vyzkoušet, co se naučili.
Definujte, kdo je zahrnut, jmenovatele a načasování. Efektivitu uvádějte pouze na základě měřených důkazů. Pokud se tým po školení umělé inteligence zrychlí, před započítáním školení zkontrolujte, co se ve stejném období ještě změnilo, například nová šablona, změna personálního obsazení nebo jiná skladba práce.
Pro širší pohled na rizika publikuje Národní institut pro standardy a technologie AI rámec řízení rizik, vydané v lednu 2023, které organizace používají k úvahám o riziku umělé inteligence. Je výchozím bodem pro diskusi o rizicích, nikoli standardem školení nebo certifikací.
Praktický příklad: shrnutí smlouvy
Ilustrativní příklad. Odborník, který tuto práci provádí, by měl před použitím ověřit případ a kritéria odpovědi.
Pouzdro. Student obdrží fiktivní smlouvu s dodavatelem a shrnutí napsané umělou inteligencí. Shrnutí uvádí 60denní výpovědní lhůtu. Smlouva uvádí 60denní lhůtu pro ukončení smlouvy bez udání důvodu a 30denní lhůtu pro porušení smlouvy. Shrnutí také v dodatku neuvádí výjimku týkající se platební doby.
Co se od studenta požaduje. Vysvětlete rozhodnutí (přijmout, opravit nebo eskalovat), uveďte důkazy ze smlouvy a uveďte, jaké další informace nebo podporu by potřebovali.
Slabá odezva. „Shrnutí vypadá přesně a zahrnuje hlavní pojmy. Přijměte.“ Nic neuvádí a neuvádí žádnou kontrolu.
Silnější odpověď. „Nepřijal bych to v současné podobě. Článek 14 stanoví 60 dní pro ukončení smlouvy bez udání důvodu, ale 30 dní pro porušení smlouvy a shrnutí zmiňuje pouze 60 dní. Dodatek B obsahuje výjimku z platby, kterou shrnutí nezmiňuje. Opravil bych řádek o ukončení a doplnil bych tuto výjimku. Nejsem si jistý, zda se dodatek vztahuje na tohoto dodavatele, proto bych se zeptal vedoucího smluv.“
Opakovaný pokus. Žák dostane druhou smlouvu, kde je shrnutí umělé inteligence správné. Správným krokem je nyní přijmout a sdělit, co bylo zkontrolováno. To chrání před tím, aby se lidé cvičili v reflexivním podezřívání.
Pracovní list pro analýzu úkolů umělé inteligence
Pro skutečný úkol použijte jeden řádek na krok ve sloupci „nyní“.
| Krok úkolu | Co nyní dělá umělá inteligence | Co musí daná osoba ještě udělat | Důkazy potřebné k ověření | Eskalovat na | Předpokladové znalosti |
|---|---|---|---|---|---|
| Extrahujte klíčové termíny | Sestavuje seznam | Porovnejte se zdrojem | Samotná smlouva | Vedení smluv | Struktura smlouvy a typy doložek |
| Nahlásit neobvyklé výrazy | Navrhuje kandidáty | Rozhodněte, co je v tomto kontextu neobvyklé | Minulé smlouvy, zásady | Právní | Standardní podmínky pro tento typ dodavatele |
| Podepište shrnutí | Nic | Vlastnictví výsledku | Zkontrolovaný souhrn | Liniový manažer | Limity schválení |
Rubrika, kterou si můžete přizpůsobit
Každé kritérium ohodnoťte od 0 do 2. Toto je návrh na adaptaci se specialistou na danou pozici, nikoli ověřený standard připravenosti.
| Kritérium | Pozorovatelné důkazy |
|---|---|
| Provádění úkolů | Identifikuje, kde umělá inteligence mění úkol ověřování a posuzování. Zaznamenává akci a důkazy, které za ní stojí. |
| Uvažování | Vysvětluje omezení, alternativy a nejistotu. Důvody pro přijetí nebo zpochybnění výstupu jsou vázány na zdroj. |
| Hranice | Používá schválené postupy pro práci s umělou inteligencí a žádá o pomoc, když informace nebo autorita nestačí. |
Kotvy: 0 = chybí nebo není podloženo. 1 = částečné, s relevantními opomenutími. 2 = úplné a odůvodněné podle dohodnutých kritérií. Kritické chyby definujte samostatně, například schválení výstupu, který je v rozporu se zdrojem, nebo sdílení důvěrných dat s neschváleným nástrojem. Celkové skóre nesmí zakrývat kritickou chybu.
Omezení, která mohou přetrvávat
Lepší úsudek v případě školení neodstraňuje všechna omezení:
- Časový tlak. Pokud objemové cíle nenechávají prostor pro kontrolu, lidé si nebudou ověřit, co se naučili.
- Nejasná odpovědnost. Pokud nikdo není uveden jako vlastník kontrolovaného výstupu, kontrola není ničí úlohou.
- Omezení nástroje. Některé nástroje neumožňují lidem vidět zdroj odpovědi, což ověřování zpomaluje.
- Výměna nástrojů. Systém umělé inteligence, který po aktualizaci mění chování, může narušit zvyk ověřování, který jste si vybudovali v minulém čtvrtletí.
Naplánujte pro ně samostatná řešení a sdělte to sponzorům. Školení může dovednosti rozvíjet. Nemůže vytvořit čas ani autoritu.
Často kladené otázky
Co by mělo zahrnovat školení zaměstnanců v oblasti umělé inteligence?
Začněte s úkoly, které umělá inteligence v rámci své role mění. Proberte, jak porovnávat výstupy s důkazy, kdy eskalovat, jaké jsou schválené hranice pro použití umělé inteligence a jaké znalosti oboru jsou potřebné k posouzení odpovědi. Tipy k nástrojům jsou na druhém místě.
Odstraňuje umělá inteligence potřebu znalostí oboru?
Ne. Lidé potřebují dostatek porozumění, aby si všimli, kdy je výstup chybný nebo neúplný. Co se mění, je způsob, jakým se tyto znalosti používají: méně produkce, více hodnocení.
Jak hodnotíte lidský úsudek v práci s pomocí umělé inteligence?
Zadejte studentům realistické případy se správnými, neúplnými a zavádějícími výstupy a ohodnoťte jejich důvody pro přijetí, opravu nebo eskalaci. Poté po vhodné prodlevě pozorujte reálný úkol pod dohledem.
Kde začít
Vyberte si jeden úkol, který lidé ve vaší organizaci nyní dělají s pomocí umělé inteligence. Vyplňte výše uvedený pracovní list s někým, kdo danou práci vykonává, a poznamenejte si tři místa, kde by špatný výstup způsobil největší škodu. Vytvořte si svůj první praktický případ kolem jednoho z nich.
Chcete-li zjistit, jak by se pro tento úkol dala kombinovat kontrola vlastním tempem, interaktivní cvičný postup a živý debriefing, prozkoumejte AhaSlides.
