Analyytikko avaa tekoälyavustajaan perustuvan toimittajasopimuksen luonnosyhteenvedon, jonka hän on luonut sekunneissa. Se on helppolukuinen. Siinä mainitaan irtisanomislauseke ja maksuehto, ja se on läpikotaisin varma. Analyytikko käytti aiemmin aamupäivän sopimuksen lukemiseen löytääkseen nämä tiedot. Nyt kysymys on erilainen: onko tämä yhteenveto oikein, ja mitä hänen pitäisi tarkistaa ennen sen allekirjoittamista?
Tämä on havainnollistava skenaario, ei dokumentoitu asiakastapaus. Se kuvaa sitä, mikä muuttuu monissa työpaikoissa. Vastauksen saaminen on nopeampaa. Päätös siitä, voidaanko vastaukseen luottaa ja kuka on vastuussa, jos se ei ole, on edelleen henkilön päätettävissä.
Tämä opas on tarkoitettu oppimis- ja kehitysosastojen johtajille sekä opetussuunnittelijoille, jotka suunnittelevat tekoälytyövoiman koulutusta. Se näyttää, miten löytää tehtävät, joissa tekoäly muuttaa ihmisen työtä, miten rakentaa käytäntöjä joskus virheellisten tuotosten ympärille ja miten mitata vastuullista käyttöä lupaamatta tuottavuuden kasvua.
Nopeita faktoja
| Kysymys | Lyhyt vastaus |
|---|---|
| Mitä muuttuu, kun ihmiset käyttävät tekoälyä työpaikalla? | Ensimmäisen luonnoksen tai vastauksen tuottaminen helpottuu. Sen varmentaminen, arvioiminen ja lopputuloksen omistaminen eivät katoa minnekään. |
| Mitä tekoälykoulutuksen tulisi opettaa? | Tehtävän nyt tarvitsema tarkistus ja arviointi sekä sen suorittamiseen tarvittava toimialaosaaminen. |
| Voivatko pelkät ohjeet korjata liiallisen luottamuksen? | Ei. Automaatioharhaa koskeva tutkimus osoitti, että sitä esiintyi sekä aloittelijoilla että asiantuntijoilla, eikä sitä estänyt pelkästään koulutus tai ohjeet. |
| Mitä mitata? | Havainnoitu varmennus todellisissa tehtävissä, hyväksyttyjen tekoälyn käytölle rajojen ollessa käytössä. |
1. Kartoita, miten tekoäly muuttaa työtehtävää
Aloita yhdestä oikeasta tehtävästä, älä työkalusta. Kuvaile sitä, miten se tehtiin ennen tekoälyä ja miten se tehdään nyt, ja vertaa näitä kahta sarake sarakkeelta.
Sopimusesimerkkiä varten:
- Ennen: Lue koko sopimus, poimi siitä keskeiset termit, merkitse kaikki epätavalliset asiat ja kirjoita yhteenveto.
- Nyt: tarkista tekoälyn luoma yhteenveto, tarkista se lähteestä, päätä, luotatko siihen, merkitse kaikki epätavallinen ja ota vastuu tuloksesta.
Jotkin vaiheet kutistuvat. Termien erottaminen voi kestää sekunteja. Toiset ilmestyvät tai kasvavat: tulosteen tarkistaminen lähteeseen verrattuna, yhteenvedosta puuttuneiden asioiden huomioiminen ja asiantuntijan kysymisen ajankohdan päättäminen. Vaadittu taito on siirtynyt tuottamisesta arviointiin. Bloomin termein, jotka kuvaavat tehtävän edellyttämää ajattelua eivätkä sitä, miten se toteutetaan, painoarvo siirtyy analysointiin ja arviointiin. Oppaamme… oppimistoimintojen yhdistäminen Bloomin taksonomiaan selittää, miten tavoite, aktiviteetti ja arviointi sovitetaan yhteen, kun taso tiedetään.
Tämä vertailu on tekoälyn rehellisen koulutustarveanalyysin ydin. Se myös estää yleisen virheen: kaikkien kouluttamisen työkalun käyttöön, kun todellinen muutos on uusi tarkastusvelvollisuus.
2. Tunnista todentamis- ja harkintavaatimukset
Esitä kolme kysymystä jokaisesta "nyt"-sarakkeen vaiheesta.
- Miltä väärä tuloste näyttäisi tässä? Kekseliäs lauseke, huomiotta jäänyt poikkeus, uskottava mutta vanhentunut luku.
- Millä todisteilla voisin tarkistaa asian? Lähdedokumentti, toinen järjestelmä, kollega, käytäntö.
- Milloin minun pitäisi pysähtyä ja kysyä joltakulta muulta? Raja "voin varmistaa tämän" ja "tähän tarvitaan asiantuntija".
Tutkijat ovat vuosikymmenten ajan selvittäneet, mitä tapahtuu, kun ihmiset työskentelevät epätäydellisten automaattisten apuvälineiden kanssa. Parasuramanin ja Manzeyn katsaus kyseiseen tutkimukseen kuvaa automaatioharhaa, jossa ihmiset tekevät poisjättö- ja tilausvirheitä, koska he nojaavat päätöksentekoapuvälineeseen, joka ei aina ole oikea. Tutkimuksessa havaittiin vaikutus sekä aloittelevilla että kokeneilla osallistujilla ja päädyttiin siihen, että sitä ei voitu estää pelkästään koulutuksella tai ohjeilla (Parasuraman ja Manzey, 2010, Ihmistekijät). Tuo tutkimus edeltää nykyisiä tekoälyavustajia, joten sitä kannattaa pitää varoituksena ihmisen käyttäytymisestä, ei minkään nykyisen työkalun mittana.
Käytännön opetus tekoälykoulutuksesta työntekijöille on, että ihmisten kehottaminen "tarkistamaan tulosteet" ei ole itsestäänselvyys. Myös henkilöä ympäröivät olosuhteet ovat tärkeitä: aika tarkistaa tulokset, pääsy lähteeseen ja työpaikka, joka ei rankaise hidastamisesta.
3. Rakenna käytäntö epäluotettavien tulosten ympärille
Jos tehtävään kuuluu nyt tuotoksen arviointi, harjoittele tuotoksen arviointia. Rakenna pieni joukko tapauksia, joissa tekoälyn vastaus on:
- Oikein ja täydellisesti. Oikea ratkaisu on hyväksyä se ja kertoa miksi.
- Epätäydellinen. Pitää paikkansa siltä osin, mutta se jättää jotain olennaista pois.
- Harhaanjohtava. Varma, hyvin kirjoitettu ja väärin tavalla, joka on helppo olla huomaamatta.
Oppijat saavat jokaisen tapauksen, lähteen, jota vasten sitä tarkistaa, ja valinnanvaraa: hyväksyä, korjata tai viedä asia eteenpäin. Heidän on myös annettava syy. Arvioi samaa mieltä olemisen tai kyseenalaistamisen syitä, älä pelkästään itseluottamusta. Oppija, joka hyväksyy oikean vastauksen tarkistamatta, ei ole osoittanut taitoa, eikä oppija, joka kyseenalaistaa kaiken, ole osoittanut sitä.
Interaktiiviset formaatit sopivat tähän hyvin. Jokainen henkilö sitoutuu päätökseen ja perustelee asian ennen ryhmän keskustelua, joten sekä liiallinen luottamus että liiallinen varovaisuus tulevat näkyviin. Omaan tahtiin tapahtuva toimitus kattaa ensimmäisen kierroksen, ja live-debriefing käsittelee epäselvät tapaukset, joissa on olemassa kaksi puolustettavaa tulkintaa. AhaSlides tukee interaktiivista oppimista ja siirtymistä live- ja omaan tahtiin tapahtuvan toimituksen välillä, joten yksi tapauskokonaisuus voi toimia molempiin suuntiin. Tarkista kaikki tietyt kirjoitus-, palaute- tai raportointitoiminnot omaa työnkulkuasi vasten ennen kuin suunnittelet niiden ympärille.
4. Säilytä ennakkotiedot
Et voi arvioida tuotosta, jota et ymmärrä. Henkilö, joka ei ole koskaan oppinut, miten maksuehdot ovat vuorovaikutuksessa irtisanomisoikeuksien kanssa, ei huomaa, jos yhteenvedossa on virheitä. Tekoälyn käyttö ei poista tämän ymmärryksen tarvetta. Se muuttaa sitä, missä sitä käytetään.
Päätä, minkä osa-alueen tietämyksestä kukin varmennustehtävä riippuu, ja tarkista se ennen harjoittelua lyhyellä, omaan tahtiin suoritettavalla diagnostiikalla. Tällainen muistamistarkistus vahvistaa vain esitiedot. Se ei osoita, että kuka tahansa voi varmistaa tulosteen. Carnegie Mellonin Eberly Center tuo saman suunnitteluperusteen esiin yleisemmin: arviointien, tavoitteiden ja opetustoimintojen tulisi olla linjassa, ja kun arviointi mittaa muistamista, mutta tavoitteet vaativat analyysia, se ei mittaa sitä, mitä oppijoiden oli tarkoitus oppia, ja tämä epäsuhta voi heikentää sekä motivaatiota että oppimista (Eberly Center, tavoitteiden, arviointien ja ohjeiden yhdenmukaistaminen).
5. Mittaa vastuullista käyttöä todellisissa tehtävissä
Valitse varmennustehtävä, jonka ihmiset todella tekevät, ja aseta tekoälyn käytölle hyväksytyt rajat ennen mittaamista: mitä työkalulle voidaan delegoida, mitä on tarkistettava ja mitä on siirrettävä eteenpäin.
Yhdysvaltain tautien torjunta- ja ehkäisykeskukset erottavat oppimisen arvioinnin siitä, miten hyvin ihmiset soveltavat sitä työssä, ja suosittelevat suunnittelua molempiin (CDC, koulutuksen arviointi: tehokkuuden mittaaminen). Se on arviointiohjeita, ei tulosten ennusteita. Tekoälytehtävien osalta se tarkoittaa kahta mittaria:
- Learning: suorituskyky uusissa, aiemmin tuntemattomissa tapauksissa verrattuna lähtötilanteeseen.
- Siirtää: ohjattu työtehtävä tai otos oikeasta työstä, jota tarkastellaan saman arviointiperusteen avulla sen jälkeen, kun osallistujilla on ollut aikaa soveltaa oppimaansa.
Määrittele, ketkä ovat mukana, nimittäjä ja ajoitus. Raportoi tehokkuus vain mitatusta näytöstä. Jos tiimin toiminta nopeutuu tekoälykoulutuksen jälkeen, tarkista, mitä muuta on muuttunut samana aikana, kuten uusi malli, henkilöstömuutokset tai erilainen työtehtävien yhdistelmä, ennen koulutuksen kirjaamista hyväksi.
Laajemman näkökulman saamiseksi riskeistä National Institute of Standards and Technology julkaisee AI Risk Management Framework, joka julkaistiin tammikuussa 2023 ja jota organisaatiot käyttävät tekoälyriskien pohtimiseen. Se on lähtökohta riskikeskustelulle, ei koulutusstandardi tai sertifiointi.
Käytännön esimerkki: sopimustiivistelmä
Havainnollistava. Tätä työtä tekevän ammattilaisen tulee validoida tapaus ja vastauskriteerit ennen käyttöä.
Tapaus. Oppija saa kuvitteellisen toimittajasopimuksen ja tekoälyn kirjoittaman yhteenvedon. Yhteenvedossa mainitaan 60 päivän irtisanomisaika. Sopimuksessa sanotaan 60 päivää irtisanomiselle ilman syytä ja 30 päivää sopimusrikkomukselle. Yhteenvedosta puuttuu myös liitteessä oleva maksuehtoa koskeva poikkeus.
Mitä oppijaa pyydetään tekemään. Selitä päätös (hyväksy, korjaa tai vie eteenpäin), mainitse sopimuksen todisteet ja kerro, mitä lisätietoja tai tukea he tarvitsisivat.
Heikko vastus. "Yhteenveto näyttää oikealta ja kattaa tärkeimmät termit. Hyväksy." Siinä ei ole mitään viittauksia eikä siinä ole rastia.
Vahvempi vastaus. "En hyväksyisi sitä sellaisenaan. Kohta 14 antaa 60 päivää irtisanomiseen ilman syytä, mutta 30 päivää sopimusrikkomukseen, ja yhteenvedossa mainitaan vain 60 päivää. Liitteessä B on maksupoikkeus, jota yhteenvedossa ei mainita. Korjaisin irtisanomisrivin ja lisäisin poikkeuksen. En ole varma, koskeeko liite tätä toimittajaa, joten kysyisin sopimusvetäjältä."
Uudelleenyritys. Oppija saa toisen sopimuksen, jossa tekoälyn yhteenveto on oikein. Oikea siirto on nyt hyväksyä ja sanoa, mitä tarkastettiin. Tämä estää ihmisiä kouluttamasta refleksinomaiseen epäilykseen.
Tekoälytehtäväanalyysin laskentataulukko
Käytä "nyt"-sarakkeessa yhtä riviä vaihetta kohden todellisen tehtävän yhteydessä.
| Tehtävävaihe | Mitä tekoäly tekee nyt | Mitä ihmisen on vielä tehtävä | Todisteita tarvitaan sen tarkistamiseen | Eskaloi asia | Edellytykset |
|---|---|---|---|---|---|
| Poimi keskeiset termit | Laatii listan | Vertaa lähteeseen | Itse sopimus | Sopimukset liidi | Sopimusrakenne ja lauseketyypit |
| Merkitse epätavalliset termit | Ehdottaa ehdokkaita | Päätä, mikä tässä yhteydessä on epätavallista | Aiemmat sopimukset, käytäntö | juridinen | Tämän toimittajatyypin vakioehdot |
| Yhteenvedon hyväksyminen | Ei mitään | Omista tulos | Tarkistettu yhteenveto | esimies | Hyväksymisrajat |
Rubriikki, jota voit mukauttaa
Pisteytä jokainen kriteeri asteikolla 0–2. Tämä on ehdotus mukauttamisesta roolin asiantuntijan kanssa, ei validoitu valmiusstandardi.
| Kriteeri | Havaittavissa oleva näyttö |
|---|---|
| Tehtävän suorittaminen | Tunnistaa, missä kohtaa tekoäly muuttaa varmennus- ja arviointitehtävää. Tallentaa toimenpiteen ja sen taustalla olevat todisteet. |
| perustelut | Selittää rajoitukset, vaihtoehdot ja epävarmuuden. Tuotoksen hyväksymisen tai kyseenalaistamisen syyt liittyvät lähteeseen. |
| Rajat | Käyttää tekoälyn käyttöön hyväksyttyjä menettelytapoja ja pyytää apua, kun tieto tai valtuutus ei riitä. |
ankkurit: 0 = puuttuu tai ei tuettu. 1 = osittainen, olennaisin puuttein. 2 = täydellinen ja perusteltu sovittujen kriteerien perusteella. Määrittele kriittiset virheet erikseen, esimerkiksi lähteen kanssa ristiriidassa olevan tulosteen hyväksyminen tai luottamuksellisten tietojen jakaminen hyväksymättömän työkalun kanssa. Kokonaispistemäärä ei saa peittää kriittistä vikaa.
Rajoitukset, jotka saattavat jäädä
Parempi harkintakyky harjoitustilanteessa ei poista kaikkia rajoitteita:
- Aikapaine. Jos volyymitavoitteet eivät jätä tilaa tarkistamiselle, ihmiset ohittavat opetettujen asioiden tarkistamisen.
- Epäselvä vastuunjako. Jos ketään ei ole nimetty tarkistetun tulosteen omistajaksi, tarkistaminen ei ole kenenkään tehtävä.
- Työkalujen rajoitukset. Jotkin työkalut eivät anna ihmisten nähdä vastauksen takana olevaa lähdettä, mikä hidastaa varmennusta.
- Työkalujen vaihtaminen. Tekoälyjärjestelmä, joka muuttaa toimintaansa päivityksen jälkeen, voi rikkoa viime neljänneksellä luomasi vahvistustavan.
Suunnittele näille erilliset ratkaisut ja kerro siitä sponsoreille. Koulutus voi kehittää taitoa. Se ei voi luoda aikaa tai auktoriteettia.
Usein kysyttyjä kysymyksiä
Mitä työntekijöiden tekoälykoulutuksen tulisi kattaa?
Aloita tehtävistä, joita tekoäly muuttaa roolissaan. Käsittele, miten tuloksia verrataan näyttöön, milloin asia on käsiteltävä eteenpäin, mitkä ovat tekoälyn käytön hyväksytyt rajat ja mitä toimialaosaamista vastauksen arvioimiseksi tarvitaan. Työkaluvihjeet tulevat toisena.
Poistaako tekoäly tarpeen toimialaosaamiselle?
Ei. Ihmiset tarvitsevat riittävästi ymmärrystä huomatakseen, milloin tuotos on virheellinen tai puutteellinen. Muutos tulee siitä, miten tätä tietoa käytetään: vähemmän tuottamista, enemmän arviointia.
Miten arvioit ihmisen harkintakykyä tekoälyavusteisessa työssä?
Anna oppijoille realistisia tapauksia oikeilla, epätäydellisillä ja harhaanjohtavilla tuotoksilla ja pisteytä heidän syynsä hyväksyä, korjata tai viedä asiaa eteenpäin. Tarkkaile sitten ohjattua todellista tehtävää sopivan viiveen jälkeen.
Mistä aloittaa
Valitse yksi tehtävä, jonka organisaatiosi ihmiset tekevät nyt tekoälyn avulla. Täytä yllä oleva laskentataulukko jonkun työn tekijän mukaan ja merkitse kolme kohtaa, joissa väärä tuloste aiheuttaisi eniten haittaa. Rakenna ensimmäinen harjoitustapauksesi yhden niistä ympärille.
Jos haluat nähdä, miten itse tehty tarkistus, interaktiivinen tapauskäytäntö ja live-debriefing voisivat sopia yhteen kyseisessä tehtävässä, tutustu AhaSlides-sivustoon.
