Analītiķis atver piegādātāja līguma melnraksta kopsavilkumu, ko dažu sekunžu laikā izveidojis mākslīgā intelekta asistents. Tas ir labi lasāms. Tajā ir norādīta līguma izbeigšanas klauzula un maksājuma nosacījums, un tas viscaur ir pārliecinošs. Agrāk analītiķis pavadīja visu rītu, lasot līgumu, lai atrastu šīs lietas. Tagad jautājums ir cits: vai šis kopsavilkums ir pareizs, un kas viņam būtu jāpārbauda, pirms parakstās zem tā?
Šis ir ilustratīvs scenārijs, nevis dokumentēts klienta gadījums. Tas atspoguļo izmaiņas daudzos darbos. Atbildes iegūšana ir ātrāka. Lēmums par to, vai atbildei var uzticēties un kas ir atbildīgs, ja tā nav, joprojām ir katra paša ziņā.
Šī rokasgrāmata ir paredzēta mācību un attīstības vadītājiem un mācību iestāžu izstrādātājiem, kas plāno mākslīgā intelekta darbaspēka apmācību. Tajā parādīts, kā atrast uzdevumus, kuros mākslīgais intelekts maina cilvēka darbu, kā veidot praksi, balstoties uz rezultātiem, kas dažkārt ir nepareizi, un kā izmērīt atbildīgu izmantošanu, nesolot produktivitātes pieaugumu.
Īsi fakti
| jautājums | Īsā atbilde |
|---|---|
| Kas mainās, kad cilvēki darbā izmanto mākslīgo intelektu? | Pirmā melnraksta vai atbildes sagatavošana kļūst vienkāršāka. Tā pārbaude, izvērtēšana un rezultāta atbildības uzņemšanās nekur nepazūd. |
| Ko vajadzētu iemācīt mākslīgā intelekta apmācībām? | Pārbaude un spriedums, kas tagad nepieciešams uzdevumam, kā arī nepieciešamās jomas zināšanas, lai to paveiktu. |
| Vai instrukcijas vien var novērst pārmērīgu uzticēšanos? | Nē. Pētījumi par automatizācijas neobjektivitāti atklāja, ka tā rodas gan iesācējiem, gan ekspertiem, un to nevar novērst tikai ar apmācību vai instrukcijām. |
| Ko izmērīt? | Novērotu verifikāciju reālos uzdevumos ar apstiprinātām robežām mākslīgā intelekta lietošanai. |
1. Kartējiet, kā mākslīgais intelekts maina darba uzdevumu
Sāciet ar vienu reālu uzdevumu, nevis ar rīku. Aprakstiet to, kā tas tika darīts pirms mākslīgā intelekta un kā tas tiek darīts tagad, un salīdziniet abas kolonnas pa kolonnām.
Līguma piemēram:
- Pirms: Izlasiet pilnu līgumu, izvelciet galvenos terminus, atzīmējiet visu neparasto un uzrakstiet kopsavilkumu.
- Tagad: pārskatīt mākslīgā intelekta ģenerētu kopsavilkumu, salīdzināt to ar avotu, izlemt, vai uz to paļauties, atzīmēt visu neparasto, uzņemties atbildību par rezultātu.
Daži soļi saīsinās. Terminu iegūšana var aizņemt sekundes. Citi parādās vai aug: izvades salīdzināšana ar avotu, kopsavilkumā izlaistā pamanīšana un lēmuma pieņemšana par speciālista palīdzību. Nepieciešamā prasme ir mainījusies no radīšanas uz izvērtēšanu. Blūma terminoloģijā, kas apraksta domāšanu, ko prasa uzdevums, nevis to, kā tas tiek veikts, svars tiek pārcelts uz analīzi un izvērtēšanu. Mūsu ceļvedis mācību aktivitāšu saskaņošana ar Blūma taksonomiju paskaidro, kā saskaņot mērķi, aktivitāti un novērtējumu, kad līmenis ir zināms.
Šis salīdzinājums ir godīgas apmācības vajadzību analīzes pamatā mākslīgā intelekta jomā. Tas arī novērš izplatītu kļūdu: apmācīt visus darbam ar rīku, ja patiesās izmaiņas ir jauns pārbaudes pienākums.
2. Nosakiet pārbaudes un sprieduma prasības
Uzdodiet trīs jautājumus par katru soli kolonnā “tagad”.
- Kā šeit izskatītos nepareiza izvade? Safabricēts noteikums, neizmantots izņēmums, ticams, bet novecojis skaitlis.
- Kādi pierādījumi ļautu man to pārbaudīt? Avota dokuments, otra sistēma, kolēģis, politika.
- Kad man jāapstājas un jāprasa kādam citam? Robeža starp "es varu to pārbaudīt" un "tam nepieciešams eksperts".
Pētnieki gadu desmitiem ir pētījuši, kas notiek, kad cilvēki strādā ar nepilnīgiem automatizētiem palīglīdzekļiem. Parasuramana un Manzeja šī pētījuma apskats apraksta automatizācijas aizspriedumus, kad cilvēki pieļauj izlaidumu un rīkojumu kļūdas, jo viņi paļaujas uz lēmumu pieņemšanas palīglīdzekli, kas ne vienmēr ir pareizs. Pētījumā tika konstatēta šī ietekme gan iesācējiem, gan ekspertiem, un tika secināts, ka to nevar novērst tikai ar apmācību vai instrukcijām (Parasuraman un Manzey, 2010, Cilvēka faktori). Šis pētījums tika veikts pirms mūsdienu mākslīgā intelekta asistentiem, tāpēc uztveriet to kā brīdinājumu par cilvēka uzvedību, nevis kā kāda pašreizējā rīka mērījumu.
Praktiskā mācība par mākslīgā intelekta apmācību darbiniekiem ir tāda, ka pateikt cilvēkiem "pārbaudīt rezultātus" nav pašsaprotami. Svarīgi ir arī apstākļi ap personu: laiks pārbaudei, piekļuve avotam un darba vieta, kurā darbinieki netiek sodīti par palēnināšanu.
3. Veidojiet praksi, balstoties uz neuzticamiem rezultātiem
Ja uzdevums tagad ietver rezultāta novērtēšanu, praktizējiet rezultātu novērtēšanu. Izveidojiet nelielu gadījumu kopu, kur mākslīgā intelekta atbilde ir:
- Pareizi un pilnīgi. Pareizais solis ir to pieņemt un pateikt, kāpēc.
- Nepabeigts. Ciktāl tas tā ir, tā ir taisnība, taču tajā nav ņemta vērā kaut kas svarīgs.
- Maldinošs. Pārliecināts, labi uzrakstīts un nepareizs tādā veidā, ka to ir viegli nepamanīt.
Studenti saņem katru gadījumu, avotu, ar ko to salīdzināt, un izvēli: pieņemt, labot vai paaugstināt. Viņiem ir arī jānorāda iemesls. Novērtējiet piekrišanas vai apstrīdēšanas iemeslus, nevis tikai pārliecību. Students, kurš pieņem pareizo atbildi bez pārbaudes, nav parādījis prasmes, un arī students, kurš apstrīd visu, nav parādījis šādas prasmes.
Interaktīvie formāti tam ir piemēroti. Katra persona pirms grupas diskusijas pieņem lēmumu un pamato savu lēmumu, tāpēc kļūst redzama gan pārmērīga uzticēšanās, gan pārmērīga piesardzība. Pašmācības temps aptver pirmo posmu, un tiešraides apspriede risina neskaidros gadījumus, kad pastāv divi aizstāvami lasījumi. AhaSlides atbalsta interaktīvu mācīšanos un pāreju starp tiešraides un pašmācības tempu, tāpēc vienu lietu kopu var izmantot abos virzienos. Pirms plānojat, pārbaudiet jebkuru konkrētu autorēšanas, atsauksmju vai ziņošanas funkciju atbilstoši savai darbplūsmai.
4. Saglabājiet nepieciešamās zināšanas
Jūs nevarat novērtēt rezultātu, ko nesaprotat. Persona, kas nekad nav apguvusi, kā maksājumu noteikumi mijiedarbojas ar līguma izbeigšanas tiesībām, nepamanīs, ja kopsavilkumā tie ir nepareizi. Piekļuve mākslīgajam intelektam neatbrīvo no nepieciešamības pēc šīs izpratnes. Tā maina tā lietošanas vietu.
Izlemiet, no kuras jomas zināšanām ir atkarīgs katrs verifikācijas uzdevums, un pārbaudiet to pirms prakses, veicot īsu, patstāvīgi veicamu diagnostiku. Šāda veida atcerēšanās pārbaude apstiprina tikai priekšnosacījumus. Tā nepierāda, ka ikviens var pārbaudīt rezultātu. Kārnegija Melona Eberlija centrs to pašu dizaina domu izvirza vispārīgāk: novērtējumiem, mērķiem un mācību aktivitātēm ir jāsakrīt, un, ja novērtējums mēra atcerēšanos, bet mērķi prasa analīzi, tas neizmēra to, ko skolēniem bija paredzēts apgūt, un neatbilstība var apdraudēt gan motivāciju, gan mācīšanos (Eberlija centrs, mērķu, novērtējumu un norādījumu saskaņošana).
5. Izmēriet atbildīgu lietošanu reālos uzdevumos
Izvēlieties verifikācijas uzdevumu, ko cilvēki patiešām veic, un pirms mērīšanas nosakiet apstiprinātās mākslīgā intelekta lietošanas robežas: ko var deleģēt rīkam, kas ir jāpārbauda un kas ir jāeskalē.
ASV Slimību kontroles un profilakses centri nodala mācību novērtēšanu no tā, cik labi cilvēki tās pielieto darbā, un iesaka plānot abus (CDC, apmācību novērtēšana: efektivitātes mērīšana). Tās ir novērtēšanas vadlīnijas, nevis rezultātu prognoze. Mākslīgā intelekta uzdevumu gadījumā tas nozīmē divus rādītājus:
- Mācīšanās: sniegums jaunā, neredzētā gadījumu kopā, salīdzinot ar sākotnējo līmeni.
- Pārskaitījums: uzraudzīts darba uzdevums vai reāla darba paraugs, kas tiek pārskatīts, izmantojot to pašu rubriku, pēc tam, kad dalībniekiem ir bijis laiks izmantot apgūto.
Definējiet, kas ir iekļauts, saucēju un laiku. Ziņojiet par efektivitāti tikai no izmērītiem datiem. Ja pēc mākslīgā intelekta apmācības komanda kļūst ātrāka, pirms apmācības ieskaitīšanas pārbaudiet, kas vēl ir mainījies tajā pašā laika posmā, piemēram, jauna veidne, personāla izmaiņas vai atšķirīgs darba sadalījums.
Lai iegūtu plašāku ieskatu par risku, Nacionālais standartu un tehnoloģiju institūts publicē AI riska pārvaldības sistēma, kas tika izlaists 2023. gada janvārī un ko organizācijas izmanto, lai pārdomātu mākslīgā intelekta riskus. Tas ir sākumpunkts diskusijai par riskiem, nevis apmācības standarts vai sertifikācija.
Praktisks piemērs: līguma kopsavilkums
Ilustratīvi. Praktizētājam, kurš veic šo darbu, pirms lietošanas ir jāapstiprina gadījums un atbildes kritēriji.
Lieta. Mācību dalībnieks saņem fiktīvu piegādātāja līgumu un mākslīgā intelekta rakstītu kopsavilkumu. Kopsavilkumā norādīts 60 dienu iepriekšējs paziņojums par līguma izbeigšanu. Līgumā ir noteikts 60 dienu termiņš līguma izbeigšanai bez iemesla un 30 dienu termiņš līguma pārkāpuma gadījumā. Kopsavilkuma pielikumā nav iekļauts arī maksājuma termiņa izņēmums.
Kas apmācāmajam tiek lūgts darīt. Paskaidrojiet lēmumu (pieņemt, labot vai nodot tālāk), citējiet pierādījumus no līguma un norādiet, kāda papildu informācija vai atbalsts viņiem būtu nepieciešams.
Vāja atbilde. "Kopsavilkums izskatās precīzs un aptver galvenos terminus. Piekrītu." Tajā nav nekādu citējumu un nav atzīmes.
Spēcīgāka atbilde. "Es to nepieņemtu pašreizējā redakcijā. 14. punktā ir paredzētas 60 dienas līguma izbeigšanai bez iemesla, bet 30 dienas līguma pārkāpuma gadījumā, un kopsavilkumā minētas tikai 60 dienas. B pielikumā ir maksājuma izņēmums, kas kopsavilkumā nav minēts. Es labotu rindu par līguma izbeigšanu un pievienotu izņēmumu. Neesmu pārliecināts, vai pielikums attiecas uz šo piegādātāju, tāpēc es jautātu līgumu vadītājam."
Atkārtots mēģinājums. Mācību dalībnieks saņem otru līgumu, kurā mākslīgā intelekta kopsavilkums ir pareizs. Tagad pareizais solis ir pieņemt un pateikt, kas tika pārbaudīts. Tas pasargā cilvēkus no refleksīvu aizdomu radīšanas.
Mākslīgā intelekta uzdevumu analīzes darblapa
Reālam uzdevumam kolonnā "tagad" izmantojiet vienu rindu katram solim.
| Uzdevuma solis | Ko mākslīgais intelekts tagad dara | Kas cilvēkam joprojām ir jādara | Nepieciešami pierādījumi, lai to pārbaudītu | Eskalēt uz | Nepieciešamās priekšzināšanas |
|---|---|---|---|---|---|
| Izvilkt galvenos terminus | Sagatavo sarakstu | Salīdzināt ar avotu | Pats līgums | Līgumu potenciālo klientu piesaiste | Līguma struktūra un klauzulu veidi |
| Atzīmēt neparastus terminus | Iesaka kandidātus | Izlemiet, kas šajā kontekstā ir neparasts | Iepriekšējie līgumi, politika | juridisks | Standarta noteikumi šim piegādātāja veidam |
| Parakstiet kopsavilkumu | Nekas | Pārņem rezultātu | Pārbaudītais kopsavilkums | Līnijas vadītājs | Apstiprināšanas ierobežojumi |
Rubrika, kuru varat pielāgot
Novērtējiet katru kritēriju no 0 līdz 2. Šis ir priekšlikums pielāgoties ar attiecīgās lomas speciālistu, nevis apstiprināts gatavības standarts.
| Kritērijs | Novērojami pierādījumi |
|---|---|
| Uzdevuma izpilde | Identificē, kur mākslīgais intelekts maina verifikācijas un vērtēšanas uzdevumu. Reģistrē darbību un tās pamatojumu. |
| Pamatojums | Izskaidro ierobežojumus, alternatīvas un nenoteiktību. Iemesli rezultāta pieņemšanai vai apstrīdēšanai ir saistīti ar avotu. |
| Robežas | Izmanto apstiprinātas mākslīgā intelekta lietošanas procedūras un lūdz palīdzību, ja ar informāciju vai pilnvarām nepietiek. |
Enkuri: 0 = nav vai nav pamatots. 1 = daļējs, ar būtiskiem izlaidumiem. 2 = pilnīgs un pamatots atbilstoši saskaņotajiem kritērijiem. Atsevišķi definējiet kritiskas kļūdas, piemēram, tādas izvades apstiprināšanu, kas ir pretrunā ar avotu, vai konfidenciālu datu koplietošanu ar neapstiprinātu rīku. Kopējais punktu skaits nedrīkst slēpt kritisku kļūmi.
Ierobežojumi, kas var palikt
Labāka spriestspēja apmācības gadījumā neatceļ visus ierobežojumus:
- Laika spiediens. Ja apjoma mērķi neatstāj vietu pārbaudēm, cilvēki izlaidīs to, kas viņiem tika mācīts, pārbaudi.
- Neskaidra atbildība. Ja neviens nav norādīts kā pārbaudītās izvades īpašnieks, pārbaude nav neviena uzdevums.
- Instrumentu ierobežojumi. Daži rīki neļauj cilvēkiem redzēt atbildes avotu, kas palēnina verifikāciju.
- Instrumentu maiņa. Mākslīgā intelekta sistēma, kas maina uzvedību pēc atjauninājuma, var izjaukt verifikācijas ieradumu, ko izveidojāt pagājušajā ceturksnī.
Plānojiet atsevišķus risinājumus šiem gadījumiem un informējiet sponsorus. Apmācība var attīstīt prasmes. Tā nevar radīt laiku vai pilnvaras.
Biežāk uzdotie jautājumi
Kas jāiekļauj darbinieku apmācībās par mākslīgo intelektu?
Sāciet ar uzdevumiem, ko mākslīgais intelekts maina savā lomā. Apsveriet, kā salīdzināt rezultātus ar pierādījumiem, kad ir jāeskalē jautājums, kādas ir apstiprinātās mākslīgā intelekta lietošanas robežas un kādas jomas zināšanas ir nepieciešamas, lai spriestu par atbildi. Rīku padomi ir otrajā plānā.
Vai mākslīgais intelekts novērš nepieciešamību pēc zināšanām šajā jomā?
Nē. Cilvēkiem ir nepieciešama pietiekama izpratne, lai pamanītu, kad rezultāts ir nepareizs vai nepilnīgs. Mainās tikai tas, kā šīs zināšanas tiek izmantotas: mazāk radot, vairāk izvērtējot.
Kā jūs vērtējat cilvēka spriestspēju darbā, ko atbalsta mākslīgais intelekts?
Sniedziet studentiem reālistiskus gadījumus ar pareiziem, nepilnīgiem un maldinošiem rezultātiem un novērtējiet viņu iemeslus to pieņemšanai, labošanai vai eskalēšanai. Pēc atbilstoša laika novērojiet uzraudzītā reālā uzdevuma izpildi.
Kur sākt
Izvēlieties vienu uzdevumu, ko jūsu organizācijas darbinieki pašlaik veic ar mākslīgā intelekta palīdzību. Aizpildiet iepriekš minēto darba lapu ar kādu, kurš veic šo darbu, un atzīmējiet trīs vietas, kur nepareiza izvade nodarītu vislielāko ļaunumu. Veidojiet savu pirmo prakses gadījumu ap vienu no tām.
Lai redzētu, kā pašmācības pārbaude, interaktīva gadījuma prakse un tiešraides pārskats varētu iederēties šī uzdevuma veikšanai, izpētiet AhaSlides.
