Analytik otvorí návrh súhrnu zmluvy s dodávateľom, ktorý asistent s umelou inteligenciou vygeneruje v priebehu niekoľkých sekúnd. Číta sa dobre. Uvádza klauzulu o ukončení a platobné podmienky a je od začiatku sebavedomý. Analytik predtým strávil dopoludnie čítaním zmluvy, aby tieto veci našiel. Teraz je otázka iná: je tento súhrn správny a čo by si mal overiť pred podpisom?
Toto je ilustratívny scenár, nie zdokumentovaný prípad zákazníka. Zachytáva, čo sa mení v mnohých pracovných pozíciách. Dostať sa k odpovedi je rýchlejšie. Rozhodnutie, či sa dá odpovedi dôverovať a kto je za ňu zodpovedný, je stále na danej osobe.
Táto príručka je určená pre vedúcich oddelení vzdelávania a rozvoja a dizajnérov inštrukcií, ktorí plánujú školenie pracovníkov v oblasti umelej inteligencie. Ukazuje, ako nájsť úlohy, pri ktorých umelá inteligencia mení ľudskú prácu, ako budovať prax okolo výstupov, ktoré sú niekedy nesprávne, a ako merať zodpovedné používanie bez sľubovania zvýšenia produktivity.
Rýchle fakty
| Otázka | Stručná odpoveď |
|---|---|
| Čo sa zmení, keď ľudia používajú umelú inteligenciu v práci? | Vytvorenie prvého návrhu alebo odpovede sa stáva jednoduchším. Jeho overenie, posúdenie a zodpovednosť za výsledok nezmizne. |
| Čo by mal tréning umelej inteligencie učiť? | Kontrola a úsudok, ktoré úloha teraz potrebuje, plus znalosti domény potrebné na jej vykonanie. |
| Môžu samotné pokyny napraviť nadmernú dôveru? | Nie. Výskum automatizačného skreslenia zistil, že sa vyskytuje u začiatočníkov aj expertov a nedá sa mu zabrániť len školením alebo pokynmi. |
| Čo merať? | Pozorované overenie na reálnych úlohách so schválenými hranicami pre použitie umelej inteligencie. |
1. Zmapujte, ako umelá inteligencia mení pracovnú úlohu
Začnite s jednou skutočnou úlohou, nie s nástrojom. Popíšte ju tak, ako sa robila pred umelou inteligenciou a ako sa robí teraz, a porovnajte obe úlohy stĺpec po stĺpci.
Pre príklad zmluvy:
- pred: prečítajte si celú zmluvu, vyberte kľúčové podmienky, označte čokoľvek nezvyčajné, napíšte zhrnutie.
- teraz: skontrolovať súhrn vygenerovaný umelou inteligenciou, porovnať ho so zdrojom, rozhodnúť sa, či sa naň spoľahnúť, označiť čokoľvek nezvyčajné a prevziať zodpovednosť za výsledok.
Niektoré kroky sa zmenšujú. Extrakcia výrazov môže trvať niekoľko sekúnd. Iné sa objavia alebo zväčšia: porovnanie výstupu so zdrojom, všimnutie si toho, čo súhrn vynechal, a rozhodnutie, kedy sa opýtať špecialistu. Požadovaná zručnosť sa presunula z tvorby na hodnotenie. V Bloomových termínoch, ktoré opisujú myslenie, ktoré úloha vyžaduje, a nie spôsob, akým je splnené, sa ťažisko presúva na analýzu a hodnotenie. Náš sprievodca priraďovanie vzdelávacích aktivít k Bloomovej taxonómii vysvetľuje, ako zosúladiť cieľ, aktivitu a hodnotenie, keď poznáte úroveň.
Toto porovnanie je jadrom úprimnej analýzy potrieb školenia pre umelú inteligenciu. Taktiež zabraňuje bežnej chybe: školeniu všetkých pracovníkov v práci s nástrojom, keď skutočnou zmenou je nová kontrolná povinnosť.
2. Identifikujte požiadavky na overenie a posúdenie
V stĺpci „teraz“ položte tri otázky o každom kroku.
- Ako by tu vyzeral nesprávny výstup? Vymyslená klauzula, prehliadnutá výnimka, vierohodná, ale zastaraná postava.
- Aké dôkazy by mi to umožnili overiť? Zdrojový dokument, druhý systém, kolega, politika.
- Kedy sa musím zastaviť a opýtať sa niekoho iného? Hranica medzi „toto môžem overiť“ a „toto si vyžaduje odborníka“.
Výskumníci desaťročia skúmali, čo sa stane, keď ľudia pracujú s nedokonalými automatizovanými pomôckami. Parasuraman a Manzey vo svojom prehľade tohto výskumu opisujú skreslenie automatizácie, kde ľudia robia opomenutia a chyby, pretože sa spoliehajú na pomôcku pri rozhodovaní, ktorá nie je vždy správna. Zistili tento efekt u začiatočníkov aj u skúsených účastníkov a dospeli k záveru, že sa mu nedá zabrániť len školením alebo pokynmi.Parasuraman a Manzey, 2010, Ľudské faktory). Tento výskum predchádza dnešným asistentom umelej inteligencie, takže ho berte ako varovanie týkajúce sa ľudského správania, nie ako meradlo žiadneho súčasného nástroja.
Praktickým ponaučením pre školenie zamestnancov v oblasti umelej inteligencie je, že hovoriť ľuďom, aby „kontrolovali výstup“, nie je zámer. Dôležité sú aj podmienky okolo osoby: čas na kontrolu, prístup k zdroju a pracovisko, ktoré ju netrestá za spomalenie.
3. Budujte prax okolo nespoľahlivých výstupov
Ak úloha teraz zahŕňa posúdenie výstupu, precvičte si posudzovanie výstupov. Vytvorte malú sadu prípadov, kde je reakcia umelej inteligencie:
- Správne a úplné. Správnym krokom je to prijať a povedať prečo.
- Neúplné. Do istej miery je to pravda, ale vynecháva to niečo dôležité.
- Zavádzajúce. Sebavedomé, dobre napísané a nesprávne spôsobom, ktorý sa dá ľahko prehliadnuť.
Študenti dostanú ku každému prípadu zdroj, s ktorým si ho môžu overiť, a možnosť výberu: prijať, opraviť alebo eskalovať. Musia tiež uviesť dôvod. Posúďte dôvody súhlasu alebo spochybnenia, nielen sebavedomie. Študent, ktorý prijme správnu odpoveď bez overenia, nepreukázal zručnosť a študent, ktorý všetko spochybňuje, ju tiež nepreukázal.
Interaktívne formáty sa na to dobre hodia. Každá osoba sa zaviaže k rozhodnutiu a dôvodu predtým, ako skupina začne diskutovať, takže sa prejaví nadmerná dôvera a nadmerná opatrnosť. Vlastné tempo prednášky pokrýva prvý priebeh a živý debriefing rieši nejednoznačné prípady, kde existujú dve obhájiteľné interpretácie. AhaSlides podporuje interaktívne učenie a prechod medzi živým a vlastným tempom prednášky, takže jedna sada prípadov môže prebiehať oboma smermi. Predtým, ako si naplánujete, overte si akúkoľvek konkrétnu funkciu tvorby, spätnej väzby alebo podávania správ oproti vášmu vlastnému pracovnému postupu.
4. Zachovajte si potrebné vedomosti
Nemôžete vyhodnotiť výstup, ktorému nerozumiete. Osoba, ktorá sa nikdy nenaučila, ako platobné podmienky interagujú s právami na ukončenie zmluvy, si nevšimne, keď sú v súhrne nesprávne. Prístup k umelej inteligencii neodstraňuje potrebu tohto pochopenia. Mení sa miesto, kde sa používa.
Rozhodnite sa, od ktorej oblasti vedomostí závisí každá overovacia úloha, a pred cvičením si ju overte pomocou krátkej diagnostiky s vlastným tempom. Takáto kontrola opakovania potvrdzuje iba predpoklady. Neukazuje, že ktokoľvek dokáže overiť výstup. Eberly Center v Carnegie Mellonovej univerzite uvádza rovnaký bod všeobecnejšie: hodnotenia, ciele a inštruktážne aktivity by mali byť zosúladené a keď hodnotenie meria opakovanie, ale ciele si vyžadujú analýzu, nemeria to, čo sa mali študenti naučiť, a toto nesúladenie môže ohroziť motiváciu aj učenie.Eberlyho centrum, zosúladenie cieľov, hodnotení a výučby).
5. Merajte zodpovedné používanie pri reálnych úlohách
Vyberte si overovaciu úlohu, ktorú ľudia skutočne vykonávajú, a pred meraním si stanovte schválené hranice pre použitie umelej inteligencie: čo môže byť delegované na nástroj, čo sa musí skontrolovať a čo sa musí eskalovať.
Americké centrá pre kontrolu a prevenciu chorôb oddeľujú hodnotenie učenia sa od hodnotenia toho, ako dobre ho ľudia uplatňujú späť v práci, a odporúčajú plánovať oboje (CDC, hodnotenie školení: meranie efektívnosti). Ide o usmernenie k hodnoteniu, nie o prognóze výsledkov. Pre úlohy s umelou inteligenciou to znamená dve opatrenia:
- learning: výkonnosť na novom, doposiaľ nevidenom súbore prípadov v porovnaní s východiskovým stavom.
- preniesť: kontrolovaná pracovná úloha alebo vzorka skutočnej práce, porovnaná s rovnakou rubrikou po tom, čo mali ľudia čas použiť to, čo sa naučili.
Definujte, kto je zahrnutý, menovateľa a načasovanie. Efektivitu zaznamenávajte iba na základe meraných dôkazov. Ak sa tím po školení umelej inteligencie zrýchli, pred pripísaním školenia skontrolujte, čo sa ešte v rovnakom období zmenilo, napríklad nová šablóna, zmena personálneho obsadenia alebo iný mix práce.
Pre širší pohľad na riziko publikuje Národný inštitút pre štandardy a technológie Rámec riadenia rizík umelej inteligencie, vydaný v januári 2023, ktorý organizácie používajú na premýšľanie o rizikách spojených s umelou inteligenciou. Je to východiskový bod pre diskusiu o rizikách, nie štandard školenia ani certifikácia.
Praktický príklad: zhrnutie zmluvy
Ilustrácia. Odborník, ktorý vykonáva túto prácu, by mal pred použitím overiť prípad a kritériá odpovede.
Púzdro. Študent dostane fiktívnu zmluvu s dodávateľom a zhrnutie napísané umelou inteligenciou. V zhrnutí je uvedená 60-dňová výpovedná lehota. V zmluve sa uvádza 60 dní pre ukončenie zmluvy bez udania dôvodu a 30 dní pre porušenie zmluvy. V dodatku k zhrnutiu nie je uvedená výnimka týkajúca sa platobnej podmienky.
Čo sa od študenta žiada. Vysvetlite rozhodnutie (prijať, opraviť alebo eskalovať), uveďte dôkazy zo zmluvy a uveďte, aké ďalšie informácie alebo podporu by potrebovali.
Slabá odpoveď. „Súhrn vyzerá presne a pokrýva hlavné pojmy. Súhlasím.“ Nič neuvádza a nezobrazuje žiadny šek.
Silnejšia reakcia. „Neprijal by som to v súčasnej podobe. Článok 14 uvádza 60 dní na ukončenie zmluvy bez udania dôvodu, ale 30 dní na porušenie zmluvy a v súhrne sa spomína iba 60 dní. Dodatok B obsahuje výnimku z platby, ktorú súhrn nespomína. Opravil by som riadok o ukončení zmluvy a doplnil by som výnimku. Nie som si istý, či sa dodatok vzťahuje na tohto dodávateľa, preto by som sa opýtal vedúceho zmluvy.“
Opakovaný pokus. Študent dostane druhú zmluvu, kde je súhrn umelej inteligencie správny. Správnym krokom je teraz akceptovať a povedať, čo bolo skontrolované. Toto chráni pred tým, aby sa ľudia naučili reflexívnemu podozrievaniu.
Pracovný list s analýzou úloh umelej inteligencie
Pre skutočnú úlohu použite v stĺpci „teraz“ jeden riadok na krok.
| Krok úlohy | Čo teraz robí umelá inteligencia | Čo musí daná osoba ešte urobiť | Na overenie sú potrebné dôkazy | Eskalovať na | Predpokladané znalosti |
|---|---|---|---|---|---|
| Extrahujte kľúčové pojmy | Vypracuje návrh zoznamu | Porovnajte so zdrojom | Samotná zmluva | Zmluvy vedú | Štruktúra zmluvy a typy doložiek |
| Nahlásiť nezvyčajné výrazy | Navrhuje kandidátov | Rozhodnite, čo je v tomto kontexte nezvyčajné | Minulé zmluvy, politika | právnej | Štandardné podmienky pre tento typ dodávateľa |
| Podpíšte súhrn | Nič | Vlastnite výsledok | Skontrolovaný súhrn | Priamy manažér | Limity schválenia |
Rubrika, ktorú si môžete prispôsobiť
Každé kritérium ohodnoťte stupnicou od 0 do 2. Ide o návrh na adaptáciu so špecialistom na danú pozíciu, nie o overený štandard pripravenosti.
| kritérium | Pozorovateľné dôkazy |
|---|---|
| Vykonanie úlohy | Identifikuje, kde umelá inteligencia zmení úlohu overovania a posudzovania. Zaznamenáva akciu a dôkazy, ktoré za ňou stoja. |
| uvažovanie | Vysvetľuje obmedzenia, alternatívy a neistotu. Dôvody na prijatie alebo spochybnenie výstupu sú viazané na zdroj. |
| Hranice | Používa schválené postupy pre prácu s umelou inteligenciou a žiada o pomoc, keď informácie alebo autorita nestačia. |
kotvy: 0 = chýbajúce alebo nepodložené. 1 = čiastočné, s relevantnými opomenutiami. 2 = úplné a odôvodnené podľa dohodnutých kritérií. Kritické chyby definujte samostatne, napríklad schválenie výstupu, ktorý je v rozpore so zdrojom, alebo zdieľanie dôverných údajov s neschváleným nástrojom. Celkové skóre nesmie zakrývať kritické zlyhanie.
Obmedzenia, ktoré môžu pretrvávať
Lepší úsudok v prípade školenia neodstraňuje všetky obmedzenia:
- Časový tlak. Ak objemové ciele nenechávajú priestor na kontrolu, ľudia preskočia kontrolu toho, čo sa naučili.
- Nejasná zodpovednosť. Ak nie je nikto uvedený ako vlastník skontrolovaného výstupu, kontrola nie je ničou úlohou.
- Obmedzenia nástroja. Niektoré nástroje neumožňujú ľuďom vidieť zdroj odpovede, čo spomaľuje overovanie.
- Výmena nástrojov. Systém umelej inteligencie, ktorý mení správanie po aktualizácii, môže narušiť zvyk overovania, ktorý ste si vytvorili v minulom štvrťroku.
Naplánujte si samostatné riešenia pre tieto problémy a povedzte o tom sponzorom. Školenie môže vybudovať zručnosť. Nemôže vytvoriť čas ani autoritu.
Často kladené otázky
Čo by malo zahŕňať školenie zamestnancov v oblasti umelej inteligencie?
Začnite s úlohami, ktoré umelá inteligencia v rámci svojej role mení. Preberte, ako porovnať výstupy s dôkazmi, kedy eskalovať, schválené hranice pre používanie umelej inteligencie a znalosti oblasti potrebné na posúdenie odpovede. Tipy k nástrojom sú na druhom mieste.
Odstraňuje umelá inteligencia potrebu odborných znalostí?
Nie. Ľudia potrebujú dostatok pochopenia, aby si všimli, kedy je výstup nesprávny alebo neúplný. Čo sa mení, je spôsob, akým sa tieto znalosti používajú: menej sa produkuje, viac sa hodnotí.
Ako hodnotíte ľudský úsudok pri práci s pomocou umelej inteligencie?
Poskytnite študentom realistické prípady so správnymi, neúplnými a zavádzajúcimi výstupmi a ohodnoťte ich dôvody pre prijatie, opravu alebo eskaláciu. Potom po vhodnej prestávke pozorujte skutočnú úlohu pod dohľadom.
Kde začať
Vyberte si jednu úlohu, ktorú ľudia vo vašej organizácii v súčasnosti vykonávajú s pomocou umelej inteligencie. Vyplňte pracovný list vyššie s niekým, kto túto prácu vykonáva, a všimnite si tri miesta, kde by nesprávny výstup spôsobil najväčšiu škodu. Vytvorte si svoj prvý praktický prípad okolo jedného z nich.
Ak chcete zistiť, ako by sa pre túto úlohu dala kombinovať kontrola vlastným tempom, interaktívna prax s prípadmi a živý debrief, preskúmajte AhaSlides.
