Analitičar otvara nacrt sažetka ugovora s dobavljačem, koji je u sekundama izradio AI asistent. Dobro se čita. Navodi klauzulu o raskidu i uvjete plaćanja, i cijelo je to samouvjereno. Analitičar je prije provodio jutro čitajući ugovor kako bi pronašao te stvari. Sada je pitanje drugačije: je li ovaj sažetak točan i što bi trebali provjeriti prije nego što ga potpišu?
Ovo je ilustrativni scenarij, a ne dokumentirani slučaj kupca. On prikazuje što se mijenja u mnogim poslovima. Dolazak do odgovora je brži. Odluka o tome može li se odgovoru vjerovati i tko je odgovoran ako nije, i dalje je na osobi.
Ovaj vodič namijenjen je voditeljima obrazovanja i razvoja te instrukcijskim dizajnerima koji planiraju obuku radne snage za umjetnu inteligenciju. Pokazuje kako pronaći zadatke u kojima umjetna inteligencija mijenja ljudski posao, kako izgraditi praksu oko rezultata koji su ponekad pogrešni i kako mjeriti odgovornu upotrebu bez obećavanja povećanja produktivnosti.
Brze činjenice
| Pitanje | Kratak odgovor |
|---|---|
| Što se mijenja kada ljudi koriste umjetnu inteligenciju na poslu? | Izrada prvog nacrta ili odgovora postaje lakša. Provjera, procjena i preuzimanje odgovornosti za rezultat ne nestaju. |
| Što bi trebala naučiti obuka za umjetnu inteligenciju? | Provjera i procjena koje su sada potrebne za zadatak, plus poznavanje domene potrebno za njegovo izvršenje. |
| Mogu li same upute riješiti problem prevelikog povjerenja? | Ne. Istraživanje o pristranosti automatizacije pokazalo je da se javlja i kod početnika i kod stručnjaka te da se ne sprječava samo obukom ili uputama. |
| Što mjeriti? | Promatrana verifikacija na stvarnim zadacima, s odobrenim granicama za korištenje umjetne inteligencije. |
1. Mapirajte kako umjetna inteligencija mijenja radni zadatak
Započnite s jednim stvarnim zadatkom, a ne s alatom. Opišite ga kako se radio prije umjetne inteligencije i kako se radi sada, te usporedite oba zadatka stupac po stupac.
Za primjer ugovora:
- Prije: pročitajte cijeli ugovor, izdvojite ključne uvjete, označite sve neobično, napišite sažetak.
- Sada: pregledati sažetak generiran umjetnom inteligencijom, usporediti ga s izvorom, odlučiti hoće li se na njega osloniti, označiti sve neobično i preuzeti odgovornost za rezultat.
Neki se koraci smanjuju. Izdvajanje pojmova može potrajati nekoliko sekundi. Drugi se pojavljuju ili rastu: provjera rezultata u odnosu na izvor, uočavanje onoga što je sažetak izostavio i odlučivanje kada pitati stručnjaka. Vještina koja se traži pomaknula se s izrade na evaluaciju. Bloomovim riječima, koje opisuju razmišljanje koje zadatak zahtijeva, a ne kako se isporučuje, težina se pomiče prema analizi i evaluaciji. Naš vodič za usklađivanje aktivnosti učenja s Bloomovom taksonomijom objašnjava kako uskladiti cilj, aktivnost i procjenu nakon što znate razinu.
Ova usporedba je srž iskrene analize potreba za obukom za umjetnu inteligenciju. Također sprječava uobičajenu pogrešku: obučavanje svih za korištenje alata kada je prava promjena nova provjera.
2. Utvrdite zahtjeve za provjerom i procjenom
Postavite tri pitanja o svakom koraku u stupcu "sada".
- Kako bi ovdje izgledao pogrešan izlaz? Izmišljena klauzula, propuštena iznimka, uvjerljiva, ali zastarjela brojka.
- Koji bi mi dokazi omogućili da to provjerim? Izvorni dokument, drugi sustav, kolega, politika.
- Kada moram stati i pitati nekog drugog? Granica između "mogu ovo provjeriti" i "za ovo je potreban stručnjak".
Istraživači su desetljećima proučavali što se događa kada ljudi rade s nesavršenim automatiziranim pomagalima. Parasuraman i Manzey u svom pregledu tog istraživanja opisuju pristranost automatizacije, gdje ljudi izostavljaju i čine pogreške jer se oslanjaju na pomagalo za donošenje odluka koje nije uvijek ispravno. Učinak je pronađen i kod početnika i kod stručnjaka te je zaključeno da se to ne može spriječiti samo obukom ili uputama.Parasuraman i Manzey, 2010., Ljudski faktori). To istraživanje prethodi današnjim AI asistentima, stoga ga tretirajte kao upozorenje o ljudskom ponašanju, a ne kao mjerenje bilo kojeg trenutnog alata.
Praktična lekcija za obuku zaposlenika o umjetnoj inteligenciji jest da reći ljudima da "provjere izlaz" nije namjerno. Uvjeti oko osobe također su važni: vrijeme za provjeru, pristup izvoru i radno mjesto koje ih ne kažnjava zbog usporavanja.
3. Izgradite praksu oko nepouzdanih rezultata
Ako zadatak sada uključuje procjenu rezultata, vježbajte procjenu rezultata. Izradite mali skup slučajeva u kojima je odgovor umjetne inteligencije:
- Ispravno i potpuno. Pravi potez je prihvatiti to i reći zašto.
- Nepotpun. Istina je koliko god to bilo, ali izostavlja nešto važno.
- Zabludu. Samouvjereno, dobro napisano i pogrešno na način koji je lako propustiti.
Učenici dobivaju za svaki slučaj izvor s kojim ga mogu provjeriti i izbor: prihvatiti, ispraviti ili eskalirati. Također moraju navesti razlog. Procijenite razloge za slaganje ili osporavanje, ne samo samopouzdanje. Učenik koji prihvati točan odgovor bez provjere nije pokazao vještinu, a učenik koji sve osporava također nije.
Interaktivni formati dobro odgovaraju ovome. Svaka osoba se obvezuje na odluku i razlog prije nego što grupa raspravlja, tako da pretjerano povjerenje i pretjerani oprez postaju vidljivi. Vlastiti tempo izlaganja pokriva prvi prolaz, a uživo debriefing obrađuje dvosmislene slučajeve gdje postoje dva obranjiva čitanja. AhaSlides podržava interaktivno učenje i prelazak između izlaganja uživo i vlastitog tempa izlaganja, tako da jedan skup slučajeva može raditi u oba smjera. Provjerite bilo koju specifičnu funkciju autorstva, povratnih informacija ili izvještavanja u odnosu na vlastiti tijek rada prije nego što planirate oko nje.
4. Očuvanje potrebnog znanja
Ne možete procijeniti rezultat koji ne razumijete. Osoba koja nikada nije naučila kako uvjeti plaćanja djeluju na prava na raskid ugovora neće primijetiti kada ih sažetak pogriješi. Pristup umjetnoj inteligenciji ne uklanja potrebu za tim razumijevanjem. Mijenja se gdje se koristi.
Odlučite o kojem se domenskom znanju oslanja svaki zadatak provjere i provjerite ga prije vježbe kratkom dijagnostikom vlastitim tempom. Provjera prisjećanja poput ove potvrđuje samo preduvjete. Ne pokazuje da svatko može provjeriti rezultat. Carnegie Mellon Eberly Center iznosi istu općenitiju točku dizajna: procjene, ciljevi i nastavne aktivnosti trebaju se uskladiti, a kada procjena mjeri prisjećanje, ali ciljevi zahtijevaju analizu, ne uspijeva mjeriti što su učenici trebali naučiti, a neusklađenost može potkopati i motivaciju i učenje (Eberly Center, usklađivanje ciljeva, procjena i nastave).
5. Mjerite odgovornu upotrebu na stvarnim zadacima
Odaberite zadatak provjere koji ljudi stvarno rade i postavite odobrene granice za korištenje umjetne inteligencije prije nego što izmjerite: što se može delegirati alatu, što se mora provjeriti i što se mora eskalirati.
Američki Centri za kontrolu i prevenciju bolesti odvajaju evaluaciju učenja od evaluacije koliko dobro ljudi to učenje primjenjuju natrag na poslu i preporučuju planiranje za oboje (CDC, evaluacija obuke: mjerenje učinkovitosti). To su smjernice za evaluaciju, a ne prognoza rezultata. Za zadatke umjetne inteligencije to znači dvije mjere:
- Učenje: performanse na novom, neviđenom skupu slučajeva, u usporedbi s početnim stanjem.
- Prijenos: nadzirani radni zadatak ili uzorak stvarnog rada, pregledan prema istoj rubrici nakon što su ljudi imali vremena primijeniti ono što su naučili.
Definirajte tko je uključen, nazivnik i vremenski okvir. Izvještavajte o učinkovitosti samo na temelju izmjerenih dokaza. Ako tim postane brži nakon obuke umjetne inteligencije, provjerite što se još promijenilo u istom razdoblju, poput novog predloška, promjene osoblja ili drugačije kombinacije posla, prije nego što obuku priznate kao zaslužnu.
Za širi pogled na rizik, Nacionalni institut za standarde i tehnologiju objavljuje Okvir upravljanja rizikom AI, objavljen u siječnju 2023., koji organizacije koriste za razmišljanje o riziku umjetne inteligencije. To je početna točka za razgovor o riziku, a ne standard obuke ili certifikacija.
Razrađeni primjer: sažetak ugovora
Ilustrativno. Praktičar koji obavlja ovaj posao trebao bi provjeriti slučaj i kriterije odgovora prije upotrebe.
Slučaj. Učenik prima izmišljeni ugovor s dobavljačem i sažetak napisan umjetnom inteligencijom. U sažetku je naveden otkazni rok od 60 dana. Ugovor navodi 60 dana za otkaz bez razloga i 30 dana za kršenje ugovora. Sažetak također u dodatku izostavlja iznimku u vezi s rokom plaćanja.
Što se od učenika traži da učini. Objasnite odluku (prihvatiti, ispraviti ili eskalirati), navedite dokaze iz ugovora i navedite koje bi im dodatne informacije ili podrška bile potrebne.
Slab odgovor. "Sažetak izgleda točno i pokriva glavne pojmove. Prihvaćam." Ne navodi ništa i ne prikazuje nikakav ček.
Jači odgovor. "Ne bih to prihvatio u sadašnjem obliku. Članak 14 daje 60 dana za raskid bez razloga, ali 30 dana za kršenje ugovora, a sažetak spominje samo 60 dana. Dodatak B ima iznimku plaćanja koju sažetak ne spominje. Ispravio bih redak o raskidu i dodao iznimku. Nisam siguran odnosi li se dodatak na ovog dobavljača, pa bih pitao voditelja ugovora."
Ponovni pokušaj. Učenik dobiva drugi ugovor gdje je sažetak umjetne inteligencije točan. Ispravan potez sada je prihvatiti i reći što je provjereno. To sprječava da se ljudi obuče za refleksnu sumnjičavost.
Radni list za analizu AI zadataka
Za stvarni zadatak koristite jedan redak po koraku u stupcu "sada".
| Korak zadatka | Što umjetna inteligencija sada radi | Što osoba još mora učiniti | Dokazi potrebni za provjeru | Eskalirati na | Preduvjetno znanje |
|---|---|---|---|---|---|
| Izdvojite ključne pojmove | Izrađuje nacrt popisa | Usporedite s izvorom | Sam ugovor | Ugovori o vođenju | Struktura ugovora i vrste klauzula |
| Označi neobične pojmove | Predlaže kandidate | Odlučite što je neobično u ovom kontekstu | Prošli ugovori, pravila | pravni | Standardni uvjeti za ovu vrstu dobavljača |
| Potpišite sažetak | Ništa | Preuzmite kontrolu nad rezultatom | Provjereni sažetak | Voditelj linije | Ograničenja odobrenja |
Rubrika koju možete prilagoditi
Ocijenite svaki kriterij od 0 do 2. Ovo je prijedlog za prilagodbu sa stručnjakom na tom radnom mjestu, a ne validirani standard spremnosti.
| Kriterij | Vidljivi dokazi |
|---|---|
| Izvršenje zadatka | Identificira gdje umjetna inteligencija mijenja zadatak provjere i procjene. Bilježi radnju i dokaze koji stoje iza nje. |
| Rasuđivanje | Objašnjava ograničenja, alternative i neizvjesnost. Razlozi za prihvaćanje ili osporavanje rezultata vezani su uz izvor. |
| Granice | Koristi odobrene postupke za korištenje umjetne inteligencije i traži pomoć kada informacije ili ovlasti nisu dovoljne. |
Sidra: 0 = odsutno ili nije potkrijepljeno. 1 = djelomično, s relevantnim izostavkama. 2 = potpuno i opravdano prema dogovorenim kriterijima. Zasebno definirajte kritične pogreške, na primjer odobravanje rezultata koji je u suprotnosti s izvorom ili dijeljenje povjerljivih podataka s neodobrenim alatom. Ukupni rezultat ne smije skrivati kritični neuspjeh.
Ograničenja koja mogu ostati
Bolja procjena u slučaju obuke ne uklanja svako ograničenje:
- Vremenski pritisak. Ako ciljevi volumena ne ostavljaju prostora za provjeru, ljudi će preskočiti provjeru onoga što su naučili.
- Nejasna odgovornost. Ako nitko nije naveden kao vlasnik provjerenog izlaza, provjeravanje nije ničiji posao.
- Ograničenja alata. Neki alati ne dopuštaju ljudima da vide izvor odgovora, što usporava provjeru.
- Promjena alata. Sustav umjetne inteligencije koji mijenja ponašanje nakon ažuriranja može prekinuti naviku provjere koju ste stekli prošli kvartal.
Planirajte odvojena rješenja za ovo i recite to sponzorima. Obuka može izgraditi vještinu. Ne može stvoriti vrijeme ili autoritet.
Često postavljana pitanja
Što bi trebala obuhvaćati obuka zaposlenika za umjetnu inteligenciju?
Započnite sa zadacima koje umjetna inteligencija mijenja u svojoj ulozi. Obradite kako provjeriti rezultate u odnosu na dokaze, kada eskalirati, odobrene granice za korištenje umjetne inteligencije i poznavanje domene potrebno za procjenu odgovora. Savjeti za alate dolaze na drugo mjesto.
Uklanja li umjetna inteligencija potrebu za domenskim znanjem?
Ne. Ljudima je potrebno dovoljno razumijevanja da bi primijetili kada je rezultat pogrešan ili nepotpun. Ono što se mijenja jest način na koji se to znanje koristi: manje proizvodnje, više evaluacije.
Kako procjenjujete ljudsku prosudbu u radu potpomognutom umjetnom inteligencijom?
Dajte učenicima realne slučajeve s točnim, nepotpunim i obmanjujućim rezultatima te ocjenite njihove razloge za prihvaćanje, ispravljanje ili eskalaciju. Zatim promatrajte nadzirani stvarni zadatak nakon odgovarajuće pauze.
Gdje započeti
Odaberite jedan zadatak koji ljudi u vašoj organizaciji sada obavljaju uz pomoć umjetne inteligencije. Ispunite gornji radni list s nekim tko obavlja taj posao i zabilježite tri mjesta gdje bi pogrešan rezultat nanio najviše štete. Izgradite svoj prvi praktični primjer oko jednog od njih.
Da biste vidjeli kako bi se provjera vlastitim tempom, interaktivna praksa slučaja i analiza uživo mogli uklopiti u taj zadatak, istražite AhaSlides.
