Analitikas atveria dirbtinio intelekto asistento per kelias sekundes parengtą tiekėjo sutarties juodraštį. Jį lengva skaityti. Joje įvardinta sutarties nutraukimo sąlyga ir mokėjimo terminas, ir jis yra patikimas. Anksčiau analitikas visą rytą skaitydavo sutartį, kad šiuos dalykus surastų. Dabar klausimas kitas: ar ši santrauka teisinga ir ką jis turėtų patikrinti prieš ją pasirašydamas?
Tai iliustracinis scenarijus, o ne dokumentuotas kliento atvejis. Jis atspindi, kas keičiasi daugelyje darbų. Atsakymą gauti galima greičiau. Sprendimą, ar atsakymu galima pasitikėti, o jei negalima, vis tiek turi priimti pats asmuo.
Šis vadovas skirtas mokymo ir tobulinimosi skyrių vadovams ir mokymo dizaineriams, planuojantiems dirbtinio intelekto darbuotojų mokymus. Jame parodyta, kaip nustatyti užduotis, kuriose dirbtinis intelektas keičia žmogaus darbą, kaip kurti praktiką, pagrįstą kartais klaidingais rezultatais, ir kaip išmatuoti atsakingą naudojimą nežadant produktyvumo padidėjimo.
Greiti faktai
| klausimas | Trumpas atsakymas |
|---|---|
| Kas pasikeičia, kai žmonės darbe naudoja dirbtinį intelektą? | Parengti pirmąjį juodraštį ar atsakymą tampa lengviau. Jo tikrinimas, vertinimas ir rezultato atsakomybės prisiėmimas niekur nedingsta. |
| Ko turėtų išmokyti dirbtinio intelekto mokymai? | Užduočiai atlikti dabar reikalingas patikrinimas ir vertinimas, taip pat jai atlikti reikalingos srities žinios. |
| Ar vien instrukcijos gali išspręsti pernelyg didelio pasitikėjimo problemą? | Ne. Tyrimai apie automatizavimo šališkumą parodė, kad jis pasireiškia tiek pradedantiesiems, tiek ekspertams ir jo išvengti neužkirto vien mokymai ar instrukcijos. |
| Ką matuoti? | Stebimas patikrinimas atliekant realias užduotis, laikantis patvirtintų dirbtinio intelekto naudojimo ribų. |
1. Nubraižykite, kaip dirbtinis intelektas keičia darbo užduotį
Pradėkite nuo vienos realios užduoties, o ne nuo įrankio. Aprašykite ją, kaip ji buvo atliekama prieš dirbtinį intelektą ir kaip ji atliekama dabar, ir palyginkite du stulpelius stulpelis po stulpelio.
Dėl sutarties pavyzdžio:
- Prieš: perskaitykite visą sutartį, išskirkite pagrindines sąlygas, atkreipkite dėmesį į viską, kas neįprasta, parašykite santrauką.
- dabar: Peržiūrėkite dirbtinio intelekto sugeneruotą santrauką, palyginkite ją su šaltiniu, nuspręskite, ar ja remtis, pažymėkite bet kokius neįprastus dalykus, prisiimkite atsakomybę už rezultatą.
Kai kurie žingsniai susitraukia. Terminų išskyrimas gali užtrukti kelias sekundes. Kiti atsiranda arba išauga: išvesties tikrinimas pagal šaltinį, santraukoje praleistų dalykų pastebėjimas ir sprendimas, kada kreiptis į specialistą. Reikalingas įgūdis pasikeitė iš kūrimo į vertinimą. Bloomo terminais, kurie apibūdina užduoties reikalaujamą mąstymą, o ne jos atlikimo būdą, svoris perkeliamas į analizę ir vertinimą. Mūsų vadovas mokymosi veiklų derinimas su Bloomo taksonomija paaiškinama, kaip suderinti tikslą, veiklą ir vertinimą, kai žinant lygį.
Šis palyginimas yra sąžiningos DI mokymo poreikių analizės pagrindas. Jis taip pat padeda išvengti dažnos klaidos: visų apmokymo naudotis įrankiu, kai tikrasis pokytis yra nauja tikrinimo pareiga.
2. Nustatykite patikrinimo ir vertinimo poreikius
Užduokite tris klausimus apie kiekvieną žingsnį stulpelyje „dabar“.
- Kaip čia atrodytų neteisingas išėjimas? Išgalvota išlyga, praleista išimtis, tikėtinas, bet pasenęs skaičius.
- Kokie įrodymai leistų man tai patikrinti? Šaltinio dokumentas, antra sistema, kolega, politika.
- Kada turėčiau sustoti ir paklausti ko nors kito? Riba tarp „aš galiu tai patikrinti“ ir „tam reikia eksperto“.
Tyrėjai dešimtmečius tyrinėjo, kas nutinka, kai žmonės dirba su netobulomis automatinėmis priemonėmis. Parasuramano ir Manzey atlikta šio tyrimo apžvalga apibūdina automatizavimo šališkumą, kai žmonės daro praleidimų ir užsakymų klaidas, nes remiasi sprendimų priėmimo priemone, kuri ne visada yra teisinga. Tyrime nustatytas poveikis tiek pradedantiesiems, tiek patyrusiems dalyviams ir padaryta išvada, kad to negalima išvengti vien mokymais ar instrukcijomis (Parasuraman ir Manzey, 2010, Žmogiškieji veiksniai). Šis tyrimas atliktas dar prieš šiandienos dirbtinio intelekto asistentų atsiradimą, todėl jį reikėtų laikyti įspėjimu apie žmogaus elgesį, o ne kokio nors dabartinio įrankio matavimu.
Praktinė pamoka apie dirbtinio intelekto mokymus darbuotojams yra ta, kad liepti žmonėms „patikrinti rezultatus“ nėra sąmoningas sumanymas. Svarbios ir aplinkinės sąlygos: laikas patikrinti, prieiga prie šaltinio ir darbovietė, kurioje darbuotojai nebūtų baudžiami už lėtesnį darbą.
3. Kurkite praktiką, pagrįstą nepatikimais rezultatais
Jei užduotis dabar apima rezultato vertinimą, praktikuokite tai daryti. Sukurkite nedidelį atvejų rinkinį, kai dirbtinio intelekto atsakas yra:
- Teisingas ir pilnas. Teisingas žingsnis yra tai priimti ir pasakyti, kodėl.
- Nebaigtas. Tiesa, kiek tai įmanoma, bet kai ką svarbaus nutyli.
- Klaidinantis. Užtikrintai, gerai parašyta ir neteisinga taip, kad lengva nepastebėti.
Mokiniai gauna kiekvieną atvejį, šaltinį, su kuriuo gali jį patikrinti, ir pasirinkimą: priimti, ištaisyti ar eskaluoti. Jie taip pat turi nurodyti priežastį. Įvertinkite sutikimo ar ginčijimo priežastis, o ne vien pasitikėjimą. Mokinys, kuris priima teisingą atsakymą nepatikrindamas, neparodė įgūdžių, o mokinys, kuris ginčija viską, taip pat neparodė.
Interaktyvūs formatai tam puikiai tinka. Kiekvienas asmuo prieš grupės diskusiją įsipareigoja priimti sprendimą ir nurodyti priežastį, todėl tampa matomas ir per didelis pasitikėjimas, ir per didelis atsargumas. Savarankiškas mokymasis apima pirmąjį etapą, o tiesioginis aptarimas nagrinėja dviprasmiškus atvejus, kai egzistuoja du pagrįsti aiškinimai. „AhaSlides“ palaiko interaktyvų mokymąsi ir perėjimą tarp tiesioginio ir savarankiško mokymosi, todėl vienas atvejų rinkinys gali veikti abiem kryptimis. Prieš planuodami bet kokią konkrečią kūrimo, atsiliepimų ar ataskaitų teikimo funkciją, patikrinkite ją pagal savo darbo eigą.
4. Išsaugokite būtinas žinias
Negalite įvertinti rezultato, kurio nesuprantate. Asmuo, niekada nežinojęs, kaip mokėjimo sąlygos sąveikauja su nutraukimo teisėmis, nepastebės, kada santraukoje jos bus klaidingos. Prieiga prie dirbtinio intelekto nepašalina poreikio suprasti šį supratimą. Ji pakeičia jo naudojimo vietas.
Nuspręskite, nuo kurios srities žinių priklauso kiekviena patikrinimo užduotis, ir patikrinkite tai prieš praktiką, atlikdami trumpą savarankišką diagnostiką. Toks prisiminimo patikrinimas patvirtina tik išankstinius reikalavimus. Jis neįrodo, kad bet kas gali patikrinti rezultatą. Carnegie Mellono Eberly centras tą patį dizaino principą iškelia bendresniu požiūriu: vertinimai, tikslai ir mokymo veikla turėtų sutapti, o kai vertinimas matuoja prisiminimą, bet tikslai reikalauja analizės, jis nematuoja, ko besimokantieji turėjo išmokti, o neatitikimas gali pakenkti tiek motyvacijai, tiek mokymuisi (Eberly centras, tikslų, vertinimų ir nurodymų suderinimas).
5. Atsakingo naudojimo vertinimas atliekant realias užduotis
Pasirinkite tikrinimo užduotį, kurią žmonės iš tikrųjų atlieka, ir prieš pradėdami vertinti nustatykite patvirtintas dirbtinio intelekto naudojimo ribas: kas gali būti deleguota įrankiui, kas turi būti patikrinta ir kas turi būti perduodama aukštesnio lygio specialistams.
JAV Ligų kontrolės ir prevencijos centrai atskiria mokymosi vertinimą nuo vertinimo, kaip gerai žmonės jį pritaiko darbe, ir rekomenduoja planuoti abu aspektus (CDC, vertinkite mokymus: matuokite efektyvumąTai yra vertinimo gairės, o ne rezultatų prognozė. Dirbtinio intelekto užduotims tai reiškia dvi priemones:
- Mokymasis: našumas nagrinėjant naują, nematytą atvejų rinkinį, palyginti su pradiniu scenarijumi.
- Pervedimas: Prižiūrima darbo užduotis arba realaus darbo pavyzdys, peržiūrimas pagal tą pačią vertinimo skalę, kai dalyviai turėjo laiko pritaikyti tai, ko išmoko.
Apibrėžkite, kas įtraukiama, vardiklį ir laiką. Efektyvumą pateikite tik remdamiesi išmatuotais duomenimis. Jei po dirbtinio intelekto mokymų komanda paspartėja, prieš įskaitydami mokymus patikrinkite, kas dar pasikeitė per tą patį laikotarpį, pavyzdžiui, naujas šablonas, personalo pakeitimas ar kitoks darbo derinys.
Platesnį rizikos vaizdą Nacionalinis standartų ir technologijų institutas skelbia AI rizikos valdymo sistema, išleistas 2023 m. sausio mėn., kurį organizacijos naudoja apmąstydamos dirbtinio intelekto riziką. Tai yra atspirties taškas pokalbiui apie riziką, o ne mokymo standartas ar sertifikatas.
Praktinis pavyzdys: sutarties santrauka
Iliustracinis pavyzdys. Šį darbą atliekantis specialistas prieš naudodamas turėtų patvirtinti atvejį ir atsakymo kriterijus.
Byla. Besimokantysis gauna fiktyvią tiekėjo sutartį ir dirbtinio intelekto parašytą santrauką. Santraukoje nurodomas 60 dienų nutraukimo pranešimas. Sutartyje nurodyta 60 dienų nutraukimui be priežasties ir 30 dienų pažeidimui. Santraukos priede taip pat praleista mokėjimo termino išimtis.
Ko prašoma besimokančiojo. Paaiškinkite sprendimą (priimti, ištaisyti ar perduoti nagrinėti aukštesnio lygio klausimus), pacituokite sutarties įrodymus ir nurodykite, kokios papildomos informacijos ar palaikymo jiems reikėtų.
Silpnas atsakas. „Santrauka atrodo tiksli ir apima pagrindinius terminus. Priimtina.“ Joje nėra jokių citatų ir nėra varnelės.
Stipresnis atsakas. „Nepriimčiau dabartinės redakcijos. 14 punkte numatytos 60 dienų sutarties nutraukimui be priežasties, bet 30 dienų sutarties pažeidimui, o santraukoje paminėtos tik 60 dienų. B priede yra mokėjimo išimtis, kurios santraukoje neminima. Pataisyčiau nutraukimo eilutę ir pridėčiau išimtį. Nesu tikras, ar priedas taikomas šiam tiekėjui, todėl paklausčiau sutarčių vadovo.“
Pakartotinis bandymas. Besimokantysis gauna antrą sutartį, kurioje dirbtinio intelekto santrauka yra teisinga. Dabar teisingas žingsnis yra sutikti ir pasakyti, kas buvo patikrinta. Tai apsaugo žmones nuo refleksyvaus įtarumo ugdymo.
Dirbtinio intelekto užduočių analizės darbalapis
Stulpelyje „dabar“ realiai užduočiai naudokite po vieną eilutę kiekvienam žingsniui.
| Užduoties žingsnis | Ką dabar daro dirbtinis intelektas | Ką žmogus vis tiek turi daryti | Reikalingi įrodymai, kad būtų galima tai patikrinti | Eskaluoti į | Būtinos žinios |
|---|---|---|---|---|---|
| Išskirkite pagrindinius terminus | Sudaro sąrašo juodraštį | Palyginkite su šaltiniu | Pati sutartis | Sutarčių potencialas | Sutarties struktūra ir sąlygų tipai |
| Pažymėti neįprastus terminus | Siūlo kandidatus | Nuspręskite, kas šiame kontekste yra neįprasta | Ankstesnės sutartys, politika | Informacija | Šio tiekėjo tipo standartinės sąlygos |
| Pasirašykite santrauką | Niekas | Būkite rezultato savininkai | Patikrinta santrauka | Linijos vadovas | Patvirtinimo ribos |
Rubrika, kurią galite pritaikyti
Įvertinkite kiekvieną kriterijų nuo 0 iki 2. Tai pasiūlymas prisitaikyti prie pareigų specialisto, o ne patvirtintas pasirengimo standartas.
| kriterijus | Stebimi įrodymai |
|---|---|
| Užduoties vykdymas | Nustato, kur dirbtinis intelektas pakeičia tikrinimo ir vertinimo užduotį. Įrašo veiksmą ir jo įrodymus. |
| Priežastys | Paaiškina apribojimus, alternatyvas ir neapibrėžtumą. Rezultato priėmimo arba ginčijimo priežastys yra susijusios su šaltiniu. |
| Ribos | Naudoja patvirtintas dirbtinio intelekto naudojimo procedūras ir prašo pagalbos, kai informacijos ar įgaliojimų nepakanka. |
Inkarai: 0 = nėra arba neparemta. 1 = dalinis, su atitinkamais praleidimais. 2 = išsamus ir pagrįstas pagal sutartus kriterijus. Atskirai apibrėžkite kritines klaidas, pavyzdžiui, prieštaraujančio šaltiniui rezultato patvirtinimas arba konfidencialių duomenų bendrinimas su nepatvirtinta priemone. Bendras balas neturi nuslėpti kritinio gedimo.
Apribojimai, kurie gali likti
Geresnis sprendimas mokomojoje byloje nepašalina visų apribojimų:
- Laiko spaudimas. Jei apimties tikslai nepalieka vietos patikrinimui, žmonės praleis tai, ko buvo mokomi.
- Neaiški atsakomybė. Jei niekas neįvardytas kaip patikrintos išvesties savininkas, tikrinimas nėra niekieno darbas.
- Įrankio ribos. Kai kurie įrankiai neleidžia žmonėms matyti atsakymo šaltinio, todėl patikrinimas lėtas.
- Keičiant priemones. Dirbtinio intelekto sistema, kuri pakeičia elgseną po atnaujinimo, gali sugriauti praėjusį ketvirtį susiformavusį tikrinimo įprotį.
Planuokite atskirus šių problemų sprendimus ir apie tai praneškite rėmėjams. Mokymai gali ugdyti įgūdžius, bet negali sukurti laiko ar įgaliojimų.
Dažnai užduodami klausimai
Ką turėtų apimti darbuotojų DI mokymai?
Pradėkite nuo užduočių, kurias DI pakeičia savo vaidmenyje. Aptarkite, kaip patikrinti rezultatus pagal įrodymus, kada reikia perduoti užduotį, patvirtintas DI naudojimo ribas ir srities žinias, reikalingas atsakymui įvertinti. Antroje vietoje pateikiami įrankių patarimai.
Ar dirbtinis intelektas panaikina srities žinių poreikį?
Ne. Žmonėms reikia pakankamai supratimo, kad pastebėtų, kada rezultatas yra neteisingas arba nepilnas. Keičiasi tai, kaip tos žinios naudojamos: mažiau kuriamos, daugiau vertinamos.
Kaip vertinate žmogaus sprendimus dirbtinio intelekto pagalba?
Pateikite besimokantiesiems realius atvejus su teisingais, neišsamiais ir klaidinančiais rezultatais ir įvertinkite jų priėmimo, pataisymo ar eskalavimo priežastis. Tada, po tinkamo laiko, stebėkite prižiūrimą realią užduotį.
Kur pradėti
Pasirinkite vieną užduotį, kurią jūsų organizacijos žmonės dabar atlieka pasitelkdami dirbtinį intelektą. Užpildykite aukščiau pateiktą darbalapį su asmeniu, atliekančiu šį darbą, ir nurodykite tris vietas, kuriose neteisinga išvestis padarytų didžiausią žalą. Remdamiesi viena iš jų, sukurkite savo pirmąjį praktinį atvejį.
Norėdami sužinoti, kaip savarankiškas patikrinimas, interaktyvi atvejo analizė ir tiesioginis aptarimas galėtų būti derinami atliekant šią užduotį, peržiūrėkite „AhaSlides“.
