Pilottihanke päättyy. Kaksitoista ihmistä osallistui, ja lähes kaikki heistä sanoivat sen olevan hyödyllistä ja fasilitaattori on tyytyväinen. Sitten operatiivinen johtaja esittää oikeudenmukaisen kysymyksen: "Tekikö kukaan työtään eri tavalla?" Kukaan ei mitannut ihmisten työskentelytapoja ennen pilottihanketta, kukaan ei verrannut heitä kehenkään, ja tiimi muutti prosessiaan saman kuukauden aikana. Pilottihanke tuotti hyvää tahtoa, ei näyttöä.
Tämä on havainnollistava skenaario, ei dokumentoitu asiakastapaus. Se osoittaa yleisen tavan, jolla koulutusohjelmien arviointi menee pieleen: pilottihanke toteutetaan, mutta sitä ei ole koskaan suunniteltu vastaamaan kysymykseen.
Tämä opas on tarkoitettu oppimis- ja kehittämisosastojen johtajille, opetussuunnittelijoille ja koulutuspäälliköille. Se kattaa viisi vaihetta: pilottikysymyksen määrittely, osallistujien ja lähtötason mittareiden valinta, oppimispolun tallentaminen, uusien tehtävien suorituskyvyn ja siirron arviointi sekä tulosten vaikutuksesta käyttöönottoon sopiminen. Se päättyy mukautettavaan mallipohjaan ja jäljellä oleviin rajoituksiin.
Mikä on koulutuslentäjä?
Koulutuspilotti on pieni, ajallisesti rajattu oppimissuunnitelman kokeilu ennen kuin sitoudut siihen laajassa mittakaavassa. Sen tehtävänä on selvittää, onko suunnitelma toteuttamiskelpoinen ja mitä se kannattaa tavoitella, ei todistaa, että se toimii kaikkialla.
Tällä erolla on merkitystä. Yhdysvaltain kansallinen täydentävän ja integroivan terveyden keskus kuvailee pilottitutkimusta pienimuotoiseksi menetelmien ja menettelytapojen testaukseksi laajemmassa mittakaavassa ja varoittaa, että pilottihankkeella ei ole voimaa vastata tehokkuutta koskeviin kysymyksiin, joten kaikki sen osoittamat vaikutukset ovat epävakaita (NCCIH, pilottitutkimukset: Yleisiä käyttötarkoituksia ja väärinkäytöksiä). Tuo ohjeistus on kirjoitettu terveystutkimusta varten, mutta logiikka on sama. Kahdentoista hengen pilottihanke voi kertoa, pystytkö rekrytoimaan, toteuttamaan, mittaamaan ja seuraamaan tuloksia. Se ei voi kertoa varmasti, kuinka suuri vaikutus on koko organisaatiossa.
Nopeita faktoja
| Kysymys | Lyhyt vastaus |
|---|---|
| Mihin lentäjää käytetään? | Oppimis- ja toteutusoletusten testaaminen ennen skaalautumista. |
| Mitä tarvitset ennen kuin se alkaa? | Testattava kysymys, tehtävä, lähtötaso ja päätöksentekokriteerit. |
| Mikä lasketaan siirtotodistukseksi? | Suorituskyky uudessa tehtävässä työkokemuksen jälkeen, ei tyytyväisyys. |
| Tarvitsetko kontrolliryhmää? | Ei aina. Vertailuryhmä tai vaiheittainen käyttöönotto auttaa, kun se on mahdollista ja oikeudenmukaista. |
| Milloin asetat päätöksentekokriteerit? | Ennen kuin katsot mitään tuloksia. |
| Mitä lentäjä ei voi kertoa sinulle? | Kuinka suuri vaikutus on skaalautuvasti. |
1. Määrittele pilottikysymys
Aloita kysymyksellä, johon voi vastata kyllä tai ei tai numerolla, ja nimeä päätös, johon se vaikuttaa.
Heikko kysymys: "Toimiiko uusi perehdytysohjelma?" Testattava kysymys: "Pystyvätkö uudet työntekijät uudistetun perehdytyksen jälkeen selviämään tavanomaisesta asiakaseskalaatiosta ilman apua, ja onko pilottihanke käytännöllinen toteuttaa käytettävissä olevalla valmennusajalla?"
Kirjoita muistiin kolme asiaa:
- Tehtävä. Mitä ihmiset pystyvät tekemään sellaista, mitä he eivät aiemmin pystyneet tekemään tai tehneet hyvin?
- Päätös. Aiotteko tarkistaa suunnittelua, toteuttaa uuden pilottihankkeen vai ottaa sen käyttöön laajemmin?
- Oppimis- ja toteutusoletukset. Mitä oletat pilottihankkeen testaamista edellytyksistä, ajasta, valmennuskapasiteetista ja työkaluista?
Jos et pysty nimeämään päätöstä, et ole valmis suorittamaan pilottihanketta. Tulos saapuu ilman, että kukaan odottaa toimia sen pohjalta.
2. Valitse osallistujat ja lähtötason mittarit
Lähtötaso on näyttö siitä, miten ihmiset suorittavat tehtävän ennen koulutusta. Ilman sitä "parannuksella" ei ole mitään tekemistä sen kanssa.
Valitse osallistujat harkiten. Valitse ihmisiä, jotka tekevät varsinaisen tehtävän ja muistuttavat ryhmää, jolle aiot aloittaa. Pilottihanke, johon osallistuu vain innokkaimmat vapaaehtoisesi, imartelee suunnitelmaa.
Tallenna perusviiva. Käytä samanlaista mittaustapaa kuin myöhemmin, jotta näitä kahta voidaan verrata. Vaihtoehtoja ovat lyhyt työotos, strukturoitu havainnointi, viimeaikaisten tuotosten tarkastelu tai pisteytetty tapaus. Kirjaa ylös, ketkä olivat mukana, kuinka moni oli oikeutettuja ja milloin mittasit.
Mietipä vertailukohtaa. Vahvin suunnittelumalli vertaa pilottivaiheeseen osallistuneita ihmisiä samankaltaisiin ihmisiin, jotka eivät osallistuneet. Tämä ei ole aina mahdollista tai oikeudenmukaista, varsinkin kun koulutusta tarvitaan turvallisuuden tai vaatimustenmukaisuuden vuoksi. Vaiheittainen käyttöönotto on käytännöllinen vaihtoehto: yksi ryhmä aloittaa nyt, samanlainen ryhmä aloittaa myöhemmin ja myöhempi ryhmä toimii vertailukohtana ensimmäiselle. Valitsitpa minkä tahansa valinnan, kerro suunnitelmassa, miksi se on oikeudenmukaista mukana oleville.
3. Toteuta ja dokumentoi oppimismatka
Todisteet ovat hyödyllisiä vain, jos tiedät, mitä toimitettiin. Pidä selkeää kirjaa tapahtuneesta, koska toimituksen kustannukset ja vaiva ovat osa pilottitestausta.
Ennätys:
- Valmistautuminen. Mitä ihmiset tekivät ennen istuntoja, ja kuinka kauan se kesti?
- Harjoitella. Mitä tapauksia tai harjoituksia he työskentelivät läpi, ja millaista palautetta he saivat?
- Valmennus. Kuka valmensi, kuinka kauan ja oliko valmennus livenä vai asynkronisesti?
- Toiminnalliset muutokset. Mikä tahansa muu pilottivaiheen aikana tapahtunut muutos, kuten uusi työkalu, käytännön muutos, kausiluonteinen kiire tai esimiehen vaihtuminen.
- Tuotteen kokoonpano ja kustannukset. Käyttämäsi kokoonpano sekä toimitukseen kulunut aika ja raha.
Kaksi viimeistä ovat tärkeimpiä käyttöönottopäätöksen kannalta. Suunnittelu, joka toimii vain sellaisella valmennuksella, jota et pysty toteuttamaan suuressa mittakaavassa, on opettanut sinulle jotain arvokasta, ja loki osoittaa sen.
4. Arvioi uuden tehtävän suorituskykyä ja siirtoa
Koulutuksen arviointia kuvataan usein Kirkpatrickin mallin neljällä tasolla: reaktio, oppiminen, käyttäytyminen ja tulokset (Kirkpatrick Partners). Pilotin tulisi yltää ensimmäistä tasoa pidemmälle. Reaktiot eli se, pitivätkö ihmiset sitä hyödyllisenä, kerätään nopeasti, mutta ne kertovat vain vähän siitä, toimivatko he eri tavalla.
Testaa oppimista uudessa tehtävässä. Anna osallistujille tapaus, jota he eivät ole harjoitelleet, ja pisteytä se samoilla kriteereillä, joita käytit lähtötilanteessa. Uusi tehtävä osoittaa, osaavatko osallistujat soveltaa oppimaansa, ei sitä, muistavatko he esimerkin.
Seuranta työperäisen altistuksen jälkeen. Siirto tarkoittaa opitun soveltamista työssä ja sen ylläpitämistä ajan kuluessa. Baldwinin ja Fordin usein siteerattu vuoden 1988 katsaus määrittelee siirron sekä opitun materiaalin yleistämiseksi työhön että sen ylläpitämiseksi ajan kuluessa, ja siinä tarkastellaan, miten koulutussuunnittelu, harjoittelijoiden ominaisuudet ja työympäristö vaikuttavat siihen (Baldwin ja Ford, 1988). Suunnittele siis seurantatarkastus sen jälkeen, kun ihmisillä on ollut oikeaa työtä tehtävänä, esimerkiksi muutaman viikon kuluttua, ja mittaa sama tehtävä uudelleen.
Ennätysesteet. Jos joku ei käytä uutta lähestymistapaa työssään, kysy miksi. Vastaus voi olla puuttuva työkalu, esimies, joka odottaa vanhaa tapaa, tai liian vähän aikaa. Nämä ovat havaintoja työympäristöstä, eivät oppijan epäonnistumisista.
Älä päättele siirtoa tyytyväisyyden perusteella. Hyvä palautepistemäärä kannattaa kirjata muistiin. Se ei osoita, että käyttäytyminen on muuttunut.
5. Päätä, miten tulokset vaikuttavat julkaisuun
Kirjoita päätöksentekokriteerit ylös ennen tulosten tarkastelua. Muuten on helppo löytää syy jatkaa näkemäsi perusteella.
Yksinkertainen rakenne:
| Jos lentäjä näyttää | Sitten |
|---|---|
| Tehtävien suorittaminen parani, siirto pidettiin, toimitus oli mahdollista | Suunnittele laajempi käyttöönotto ja jatka mittaamista. |
| Tehtävien suorittaminen parani, mutta työympäristö esti siirtymisen | Korjaa este ja aja sitten toinen pilotti. |
| Pieniä muutoksia uuteen tehtävään | Tarkista suunnitelma ennen jatkoa. |
| Toimituskustannukset tai valmennusaika eivät olleet toimivia | Suunnittele uudelleen sen toteutustapa ja kokeile sitten uudelleen. |
Ole rehellinen siitä, mitä pieni ryhmä voi tukea. Käsittele lukuja suuntaa antavina, ilmoita ryhmän koko ja nimittäjä ja vältä vaikutusten suuruutta tai takeita. Kerro, mitä muita muutoksia tapahtui samaan aikaan ennen kuin mainitset koulutuksen.
Pilottimittausmalli
Havainnollistava. Tätä työtä tekevän ammatinharjoittajan tulisi tarkistaa se ennen käyttöä.
| Osa | Mitä kirjoittaa muistiin |
|---|---|
| Pilottikysymys | Testattava kysymys ja sen pohjalta tehtävä päätös. |
| Tehtävä | Uusi tehtävä, joka ihmisten tulisi suorittaa, ja miten se pisteytetään. |
| osallistujat | Ketkä ovat mukana, kuinka moni oli oikeutettuja ja mahdollinen vertailuryhmä. |
| Lähtötilanne | Mitta, päivämäärä ja pisteet ennen harjoitusta. |
| Oppimismatka | Valmistautuminen, harjoittelu, valmennus, aika ja kustannukset. |
| Samanaikaiset muutokset | Mitä muuta pilottijakson aikana muuttui. |
| Uuden tehtävän tulos | Pisteet tehtävästä, jota ei harjoiteltu pilottivaiheen aikana. |
| Seuranta | Ajoitus, kehen tavoitettiin ja pisteet työkokemuksen jälkeen. |
| Esteet | Mikä esti ihmisiä soveltamasta oppimaansa? |
| Päätöksen perusteet | Kynnysarvot, jotka asetat ennen tulosten tarkastelua. |
| Tulos | Tarkista, pilotoi uudelleen vai ota käyttöön, ja miksi. |
Missä interaktiivinen toimitus auttaa
Interaktiiviset formaatit sopivat pilottivaiheen harjoitteluvaiheeseen, koska jokainen henkilö sitoutuu vastaukseen ennen ryhmän näkemistä, mikä antaa sinulle kirjaa päättelystä pelkän läsnäolon sijaan. Ohjaaja voi johtaa tapausta livenä, ja samaa tapausta voidaan käyttää omaan tahtiin valmisteluun tai seurantaan. AhaSlides tukee interaktiivista oppimista ja siirtymistä liven ja omaan tahtiin tapahtuvan toimituksen välillä. Tarkista kaikki tietyt kirjoitus-, palaute- tai raportointitoiminnot, joihin aiot luottaa omaa työnkulkuasi vasten, ja käsittele tekoäly-, simulointi- ja integrointiominaisuuksia ulkoisina tai vahvistamattomina, kunnes olet nähnyt niiden toimivan. Formaattien valitsemiseksi katso milloin käyttää adaptiivista, interaktiivista ja reaaliaikaista oppimistaYhdistä aktiviteetit mitattavaan ajatteluun oppaastamme. oppimistoimintojen yhdistäminen Bloomin taksonomiaan.
Rajoitukset, jotka saattavat jäädä
Hyvin suunniteltukin pilottihanke jättää joitakin asioita ratkaisematta:
- Pienet luvut. Pilottihanke osoittaa toteutettavuuden ja suunnan, ei sitä, kuinka suuri vaikutus on skaalautuvasti.
- Työympäristö. Ihmiset voivat suoriutua uudesta tehtävästä hyvin ja silti olla käyttämättä sitä työssään, jos heidän esimiehensä, työkalunsa tai kannustimet osoittavat toiseen suuntaan.
- Ajoitus. Muutaman viikon kuluttua tehtävä seuranta ei näytä, mitä jäljellä on kuuden kuukauden kuluttua.
- Samanaikainen muutos. Muut saman ajanjakson muutokset voivat selittää osan parannuksesta.
- Valinta. Vapaaehtoistyöhön ilmoittautuneet ihmiset voivat poiketa niistä, joille lähetät tiedot.
Suunnittele näille erilliset korjaukset ja kerro sponsoreille, mitä kysymyksiä pilotti ei ratkaissut.
Usein kysyttyjä kysymyksiä
Kuinka suuri koulutuslentäjän tulisi olla?
Riittävän suuri testatakseen, onko suunnittelu käytännöllinen toteuttaa ja mitata, ja tarpeeksi pieni, jotta sen voi muuttaa edullisesti. Ei ole olemassa yhtä oikeaa lukua. Ilmoita ryhmän koko ja käsittele kaikkia tuloksia suuntaa antavina.
Tarvitsenko kontrolliryhmän koulutusohjelman arviointiin?
Vertailuryhmä vahvistaa näyttöä, mutta se ei ole aina toteuttamiskelpoinen tai oikeudenmukainen. Käytännöllinen vaihtoehto on lähtötilanne ja vaiheittainen käyttöönotto, jossa samanlainen ryhmä aloittaa myöhemmin.
Milloin siirto pitäisi mitata?
Kun ihmisillä on ollut aikaa ja tilaisuus soveltaa oppimaansa työssä, anna sille aikaa ainakin muutama viikko. Mittaa sama tehtävä uudelleen ja kysy esteistä, jotka estivät jotakuta käyttämästä sitä.
Onko tyytyväisyys hyödyllinen mittari?
Se on hyödyllinen kokemuksen parantamiseksi, mutta se ei ole todiste siirtymisestä. Yhdistä se uuden tehtävän suoritukseen.
Mistä aloittaa
Valitse yksi tärkeä tehtävä ja kirjoita päätös, johon pilottihanke vaikuttaa. Kirjaa lyhyen työesimerkin tai pisteytetyn tapauksen avulla ylös, miten kourallinen ihmisiä suorittaa sen tänään. Kirjoita sitten päätöksentekokriteerisi ennen pilottihankkeen alkua ja varaa seurantapäivä kalenteriin.
Jos haluat nähdä, kuinka harjoitustapaus voitaisiin toteuttaa livenä oman tiimisi kanssa ja käyttää sitä uudelleen omaan tahtiin jälkeenpäin, tutustu AhaSlides-sivustoon.
