Egy elemző megnyit egy beszállítói szerződés tervezetét, amelyet egy mesterséges intelligencia asszisztens másodpercek alatt készít. Jól olvasható. Megnevezi a felmondási záradékot és a fizetési feltételt, és végig magabiztos. Az elemző korábban egy délelőttöt töltött a szerződés elolvasásával, hogy megtalálja ezeket a dolgokat. Most más a kérdés: helyes-e ez az összefoglaló, és mit kellene ellenőriznie, mielőtt aláírná?
Ez egy szemléltető forgatókönyv, nem egy dokumentált ügyféleset. Megragadja, hogy mi változik sok munkakörben. Gyorsabban jutunk el a válaszhoz. Annak eldöntése, hogy a válasz megbízható-e, és ha nem, ki a felelős, továbbra is az adott személytől függ.
Ez az útmutató a mesterséges intelligenciával dolgozó munkaerő képzését tervező képzési vezetők és oktatási tervezők számára készült. Bemutatja, hogyan lehet megtalálni azokat a feladatokat, ahol a mesterséges intelligencia megváltoztatja az emberi munkát, hogyan lehet a gyakorlatot olyan kimenetek köré építeni, amelyek néha hibásak, és hogyan lehet mérni a felelős használatot a termelékenységnövekedés ígérete nélkül.
Gyors tények
| Kérdés | Rövid válasz |
|---|---|
| Mi változik, ha az emberek mesterséges intelligenciát használnak a munkahelyükön? | Egy első vázlat vagy válasz elkészítése könnyebbé válik. Az ellenőrzése, megítélése és az eredményért való felelősségvállalás nem szűnik meg. |
| Mit kellene tanítania a mesterséges intelligencia képzésnek? | Az ellenőrzés és megítélés, amire egy feladatnak most szüksége van, valamint a végrehajtásához szükséges szakterületi ismeretek. |
| Vajon az utasítások önmagukban korrigálhatják a túlzott bizalmat? | Nem. Az automatizálási torzítással kapcsolatos kutatások kimutatták, hogy az kezdőknél és szakértőknél is előfordul, és a képzés vagy az utasítások önmagukban nem akadályozták meg. |
| Mit kell mérni? | Megfigyelésen alapuló ellenőrzés valós feladatokon, jóváhagyott határértékekkel a mesterséges intelligencia használatára vonatkozóan. |
1. Térképezze fel, hogyan változtatja meg a mesterséges intelligencia a munkafeladatot
Kezdj egyetlen valós feladattal, ne egy eszközzel. Írd le, hogyan csinálták a mesterséges intelligencia előtt és hogyan csinálják most, és hasonlítsd össze a kettőt oszlopról oszlopra.
A szerződéses példához:
- Előtt: Olvasd el a teljes szerződést, bontsd ki belőle a legfontosabb feltételeket, jelölj meg minden szokatlan dolgot, és írd meg az összefoglalót.
- Most: áttekint egy mesterséges intelligencia által generált összefoglalót, összeveti a forrással, eldönti, hogy támaszkodik-e rá, megjelöli a szokatlan dolgokat, és felelősséget vállal az eredményért.
Néhány lépés összezsugorodik. A kifejezések kinyerése másodpercekig is eltarthat. Mások megjelennek vagy növekednek: a kimenet összehasonlítása a forrással, annak észrevétele, hogy mi maradt ki az összefoglalóból, és annak eldöntése, hogy mikor kell szakembert megkérdezni. A megkövetelt készség a létrehozásról az értékelésre helyeződött át. Bloom szavaival élve, amelyek a feladat által megkövetelt gondolkodást írják le, és nem azt, hogyan történik a megvalósítás, a súly az elemzésre és az értékelésre helyeződik át. Útmutatónk a... tanulási tevékenységek Bloom taxonómiájához való illesztése elmagyarázza, hogyan lehet összehangolni a célt, a tevékenységet és az értékelést, ha már ismerjük a szintet.
Ez az összehasonlítás a mesterséges intelligencia őszinte képzési igényfelmérésének a lényege. Emellett megakadályozza azt a gyakori hibát is, hogy mindenkit betanítsanak egy eszközre, amikor a valódi változás egy új ellenőrzési feladat.
2. Az ellenőrzési és megítélési igények azonosítása
Tegyél fel három kérdést a „most” oszlop minden egyes lépésével kapcsolatban.
- Hogyan nézne ki itt egy hibás kimenet? Egy kitalált záradék, egy elmulasztott kivétel, egy hihető, de elavult adat.
- Milyen bizonyítékkal tudnám ezt ellenőrizni? A forrásdokumentum, egy második rendszer, egy kolléga, egy szabályzat.
- Mikor kell megállnom és megkérdeznem valaki mást? A határ a „ezt tudom igazolni” és a „ehhez szakértő kell” között.
A kutatók évtizedek óta vizsgálják, mi történik, amikor az emberek tökéletlen automatizált segédeszközökkel dolgoznak. Parasuraman és Manzey áttekintése az automatizálási torzításról szól, ahol az emberek azért követnek el kihagyási és megbízási hibákat, mert egy olyan döntési segédeszközre támaszkodnak, amely nem mindig helyes. A hatást mind a kezdő, mind a szakértő résztvevőknél megfigyelték, és arra a következtetésre jutottak, hogy a hatás nem előzhető meg pusztán képzéssel vagy utasításokkal (Parasuraman és Manzey, 2010, Emberi tényezők). Ez a kutatás a mai mesterséges intelligencia asszisztensek előtti időkből származik, ezért az emberi viselkedéssel kapcsolatos figyelmeztetésként kezeljük, ne pedig valamilyen jelenlegi eszköz méréseként.
A mesterséges intelligencia alkalmazottak számára történő képzésének gyakorlati tanulsága, hogy az, hogy az embereknek azt kell mondaniuk, hogy „ellenőrizzék a kimenetet”, nem szándékos. A személy körüli körülmények is számítanak: az ellenőrzéshez szükséges idő, a forráshoz való hozzáférés és egy olyan munkahely, amely nem bünteti az embereket a lassításért.
3. Építsen gyakorlatot a megbízhatatlan kimenetek köré
Ha a feladat most egy kimenet megítélését is magában foglalja, gyakorold a kimenetek megítélését. Készíts egy kisebb esethalmazt, ahol a mesterséges intelligencia válasza a következő:
- Helyes és teljes. A helyes lépés az, ha elfogadod, és megmondod, miért.
- Befejezetlen. Amennyire ez lehetséges, igaz, de kihagy valamit, ami igazán számít.
- Félrevezető. Magabiztos, jól megírt, és olyan módon hibás, hogy könnyű nem észrevenni.
A tanulók minden egyes esetet megkapnak, egy forrást, amellyel ellenőrizhetik, és egy választási lehetőséget: elfogadják, kijavítják vagy eszkalálják. Meg kell indokolniuk az ügyet is. Az egyetértés vagy a megkérdőjelezés okait is értékeljék, ne csak a magabiztosságot. Az a tanuló, aki ellenőrzés nélkül elfogadja a helyes választ, nem mutatta fel a képességet, és az sem, aki mindent megkérdőjelez.
Az interaktív formátumok jól illenek ehhez. Mindenki elkötelezi magát egy döntés és egy indok mellett, mielőtt a csoport megbeszéli, így a túlzott bizalom és a túlzott óvatosság egyaránt láthatóvá válik. Az önálló tempójú oktatás az első menetet fedi le, az élő kibeszélés pedig a kétértelmű eseteket kezeli, ahol két védhető értelmezés létezik. Az AhaSlides támogatja az interaktív tanulást és az élő és az önálló tempójú oktatás közötti váltást, így egy esettanulmány mindkét irányban futtatható. Ellenőrizze az adott szerzői, visszajelzési vagy jelentéskészítési funkciókat a saját munkafolyamatával szemben, mielőtt megtervezi azokat.
4. Az előfeltételként szükséges ismeretek megőrzése
Nem lehet olyan kimenetet kiértékelni, amelyet nem értesz. Aki soha nem tanulta meg, hogyan hatnak egymásra a fizetési feltételek a felmondási jogokkal, nem fogja észrevenni, ha egy összefoglaló hibásan fogalmaz. A mesterséges intelligenciához való hozzáférés nem szünteti meg ennek a megértésnek az szükségességét. Megváltoztatja a felhasználási területet.
Döntsd el, hogy az egyes ellenőrzési feladatok mely tudásterületen alapulnak, és ellenőrizd ezt a gyakorlás előtt egy rövid, önálló tempójú diagnosztikával. Egy ilyen felidézési ellenőrzés csak az előfeltételeket erősíti meg. Nem mutatja meg, hogy bárki ellenőrizni tud egy kimenetet. Carnegie Mellon Eberly Központja ugyanezt a tervezési szempontot emeli ki általánosabban: az értékeléseknek, a céloknak és az oktatási tevékenységeknek összhangban kell lenniük, és amikor egy értékelés a felidézést méri, de a célok elemzést igényelnek, akkor nem méri azt, hogy mit kellett volna a tanulóknak megtanulniuk, és az eltérés alááshatja mind a motivációt, mind a tanulást.Eberly Központ, a célok, az értékelések és az oktatás összehangolása).
5. A felelős használat mérése valós feladatok során
Válassz egy olyan ellenőrzési feladatot, amelyet az emberek valóban elvégeznek, és a mérés megkezdése előtt határozd meg a mesterséges intelligencia használatának jóváhagyott határait: mi delegálható az eszközre, mit kell ellenőrizni, és mit kell eszkalálni.
Az Egyesült Államok Betegségmegelőzési és Járványvédelmi Központja (CDC) elkülöníti a tanulás értékelését attól, hogy az emberek mennyire jól alkalmazzák a tanultakat a munkahelyükön, és mindkettőre tervezést javasol (CDC, a képzés értékelése: a hatékonyság mérése). Ez egy értékelési útmutató, nem pedig az eredmények előrejelzése. MI-feladatok esetében ez két mérést jelent:
- Tanulás: teljesítmény egy új, még nem látott esetkészleten, egy alapértékhez képest.
- Átutalás: egy felügyelt munkafeladat vagy egy valós munka mintája, amelyet ugyanazon értékelőlap alapján értékelnek, miután a résztvevőknek volt idejük alkalmazni a tanultakat.
Határozza meg, hogy kik tartoznak ide, a nevezőt és az időzítést. A hatékonyságról csak mért adatok alapján számoljon be. Ha egy csapat gyorsabb lesz a mesterséges intelligencia képzés után, ellenőrizze, hogy mi változott még ugyanebben az időszakban, például új sablon, személyzeti változás vagy a munka más összetétele, mielőtt jóváírná a képzést.
A kockázat szélesebb körű áttekintése érdekében a Nemzeti Szabványügyi és Technológiai Intézet közzéteszi a AI kockázatkezelési keretrendszer, amelyet 2023 januárjában adtak ki, és amelyet a szervezetek a mesterséges intelligencia kockázatairól gondolkodnak el. Ez egy kiindulópont a kockázati beszélgetéshez, nem pedig képzési szabvány vagy tanúsítvány.
Egy kidolgozott példa: a szerződésösszefoglaló
Szemléltető példa. Az ilyen munkát végző gyakorló szakembernek használat előtt validálnia kell az esetet és a válaszkritériumokat.
Az eset. A tanuló kap egy kitalált beszállítói szerződést és egy mesterséges intelligencia által írt összefoglalót. Az összefoglaló 60 napos felmondási határidőt tartalmaz. A szerződés 60 napot ír az indoklás nélküli felmondás, és 30 napot a szerződésszegés esetén. Az összefoglalóból a függelékben nem szerepel a fizetési határidőre vonatkozó kivétel.
Amit a tanulótól kérnek. Indokolja meg a döntést (elfogadás, helyesbítés vagy eszkaláció), idézze a szerződésből származó bizonyítékokat, és mondja el, milyen további információkra vagy támogatásra lenne szükségük.
Gyenge válasz. „Az összefoglaló pontosnak tűnik és lefedi a főbb kifejezéseket. Elfogadom.” Nem idéz semmit, és nincs pipa sem látható rajta.
Erősebb válasz. „Nem fogadnám el jelenlegi formájában. A 14. záradék 60 napot ír elő indoklás nélküli felmondásra, de 30 napot szerződésszegésre, és az összefoglaló csak 60 napot említ. A B. függelékben van egy fizetési kivétel, amelyet az összefoglaló nem említ. Javítanám a felmondási sort, és hozzáadnám a kivételt. Nem vagyok biztos benne, hogy a függelék vonatkozik-e erre a szállítóra, ezért megkérdezném a szerződésvezetőt.”
Az újrapróbálkozás. A tanuló kap egy második szerződést, ahol a mesterséges intelligencia által kidolgozott összefoglaló helyes. A helyes lépés most az, hogy elfogadja és kijelenti, amit ellenőriztek. Ez megvéd attól, hogy az embereket reflexszerű gyanakvásba neveljék.
Egy AI-feladatelemző munkalap
Használj egy sort lépésenként a „most” oszlopban egy valós feladathoz.
| Feladat lépése | Mit csinál most a mesterséges intelligencia? | Amit az embernek még meg kell tennie | Bizonyítékra van szükség az ellenőrzéshez | Eszkaláljon ide: | Előfeltételes tudás |
|---|---|---|---|---|---|
| Kulcsszavak kinyerése | Vázlatot készít a listáról | Hasonlítsa össze a forrással | Maga a szerződés | Szerződések ólom | Szerződésszerkezet és záradéktípusok |
| Szokatlan kifejezések megjelölése | Jelölteket javasol | Döntsd el, mi a szokatlan ebben a kontextusban | Korábbi szerződések, szabályzat | Jogi | Standard feltételek ehhez a szállítói típushoz |
| Aláírja az összefoglalót | Semmi | A sajátítsd ki az eredményt | Az ellenőrzött összefoglaló | közvetlen felettes | Jóváhagyási határok |
Egy adaptálható rubrika
Értékeljen minden kritériumot 0-tól 2-ig. Ez egy javaslat a szerepkörben jártas szakemberrel való adaptációra, nem pedig egy validált felkészültségi szabvány.
| Kritérium | Megfigyelhető bizonyítékok |
|---|---|
| Feladat végrehajtása | Azonosítja, hogy a mesterséges intelligencia hol változtatja meg az ellenőrzési és megítélési feladatot. Rögzíti a műveletet és a mögötte álló bizonyítékokat. |
| Érvelés | Elmagyarázza a korlátokat, alternatívákat és a bizonytalanságot. A kimenet elfogadásának vagy megkérdőjelezésének okai a forráshoz kötődnek. |
| Határok | Jóváhagyott eljárásokat alkalmaz a mesterséges intelligencia használatára, és segítséget kér, ha az információ vagy a felhatalmazás nem elegendő. |
Horgonyok: 0 = hiányzik vagy nem alátámasztott. 1 = részleges, releváns hiányosságokkal. 2 = teljes és a megállapodás szerinti kritériumok alapján indokolt. A kritikus hibákat külön kell meghatározni, például a forrással ellentmondó kimenet aláírásával, vagy bizalmas adatok megosztásával nem jóváhagyott eszközzel. Az összpontszám nem rejthet el kritikus hibát.
Maradhatnak korlátok
A jobb ítélőképesség egy képzési esetben nem szüntet meg minden korlátot:
- Időnyomás. Ha a mennyiségi célok nem hagynak teret az ellenőrzésnek, az emberek kihagyják azt, amit tanultak.
- Tisztázatlan elszámoltathatóság. Ha senkit sem neveznek meg egy ellenőrzött kimenet tulajdonosaként, akkor az ellenőrzés senkinek a feladata.
- Eszközkorlátok. Néhány eszköz nem engedi látni a válasz mögötti forrást, ami lelassítja az ellenőrzést.
- Eszközök cseréje. Egy olyan mesterséges intelligenciarendszer, amely egy frissítés után megváltoztatja a viselkedését, megszakíthatja az előző negyedévben kialakított ellenőrzési szokásodat.
Tervezzen külön megoldásokat ezekre, és ezt jelezze a szponzoroknak is. A képzés fejlesztheti a készségeket, de nem teremtheti meg az időt vagy a tekintélyt.
Gyakran Ismételt Kérdések
Mit kellene tartalmaznia az alkalmazottak mesterséges intelligencia képzésének?
Kezdjük azokkal a feladatokkal, amelyeket a mesterséges intelligencia megváltoztat a szerepében. Foglaljuk össze a kimenetek bizonyítékokkal való összehasonlításának módját, a felmerülő kérdések eszkalációját, a mesterséges intelligencia használatának jóváhagyott határait, valamint a válasz megítéléséhez szükséges szakterületi ismereteket. Az eszköztippek csak második helyen állnak.
Vajon a mesterséges intelligencia szükségtelenné teszi a szakterületi ismereteket?
Nem. Az embereknek elegendő tudásra van szükségük ahhoz, hogy észrevegyék, ha egy kimenet hibás vagy hiányos. Ami változik, az a tudás felhasználásának módja: kevesebb alkotás, több értékelés.
Hogyan értékeli az emberi ítélőképességet a mesterséges intelligencia által támogatott munkavégzés során?
Adjon a tanulóknak realisztikus eseteket helyes, hiányos és félrevezető kimenetekkel, és pontozza az elfogadásuk, javításuk vagy eszkalációjuk indokait. Ezután megfelelő késleltetés után figyeljen meg egy felügyelt valós feladatot.
Hol kezdjem
Válassz ki egy olyan feladatot, amelyet a szervezetedben dolgozók jelenleg mesterséges intelligencia segítségével végeznek. Töltsd ki a fenti munkalapot valakivel, aki elvégzi a feladatot, és jelöld meg azt a három területet, ahol a helytelen kimenet a legnagyobb kárt okozná. Az első gyakorlati esetedet ezek köré építsd.
Ha szeretné megtudni, hogyan illeszkedhet össze egy önálló tempójú ellenőrzés, egy interaktív esettanulmány és egy élő kibeszélés ehhez a feladathoz, fedezze fel az AhaSlides oldalt.
