Ligoninės komanda pertvarko savo pretenzijų tvarkymo procesą. Ji apmoko administracijos darbuotojus naujo proceso, ir po šešių mėnesių vienos pretenzijos kaina sumažėjo. Finansų skyrius patenkintas ir paklausė skaičiaus: kiek sutaupė mokymai?
Sąžiningas atsakymas yra sunkesnis nei klausimas. Per tuos pačius šešis mėnesius keitėsi personalas, išmokų apimtys ir mokėtojas pakeitė savo taisykles. Dalis sutaupytų lėšų atsirado dėl pertvarkymo, dalis – dėl mokymų, o dalis – dėl nė vieno iš aukščiau išvardytų dalykų. Kokybės gerinimo mokymų investicijų grąža – tai šių dalių atskyrimas ir likusių dalių ataskaitų teikimas su nustatytu patikimumo lygiu.
Tai iliustracinis scenarijus, o ne dokumentuotas atvejis. Šis vadovas skirtas ligoninių mokymo ir tobulinimo direktoriams ir su jais dirbantiems informatikos arba atitikties vadovams. Jame aptariama, kaip apibrėžti palyginimą, išmatuoti faktinę užduotį, susieti šiuos įrodymus su veiklos duomenimis, atmesti kitus paaiškinimus ir pateikti rezultatus neperdedant.
Kas yra kokybės gerinimo mokymų investicijų grąža?
Kokybės gerinimo mokymų investicijų grąža (ROI) lygina su mokymais susijusio tobulinimo projekto naudą su jo sąnaudomis. Jame klausiama, ką organizacija gavo, ko nebūtų gavusi be mokymų, ir ar ta nauda buvo verta mokymų ir projekto kainos. Dažniausia forma yra paprasta: grynoji nauda (nauda atėmus sąnaudas), padalyta iš sąnaudų, parodyta procentais.
Aritmetika yra lengva dalis. Sunkiausia – nuspręsti, kuri nauda priklauso mokymams. ROI institutas, kuris propaguoja penkių lygių vertinimo sistemą, „izoliuoti projekto poveikį“ įvardija kaip atskirą duomenų analizės etapą (ROI institutas). Penki jo lygiai yra reakcija, mokymasis, taikymas, poveikis ir investicijų grąža (ROI). Pasitenkinimas ir užbaigimas yra pirmame lygmenyje. Jie yra naudingi rezultatų rodikliai, tačiau jie nėra santaupų įrodymas.
Greiti faktai
| klausimas | Trumpas atsakymas |
|---|---|
| Kokia užduotis? | Įvertinkite su mokymais susijusio tobulinimo projekto sąnaudas ir naudą. |
| Ką skaičiuoji? | Grynųjų sąnaudų įverčiai ir priskyrimo patikimumas. |
| Ar pakanka pasitenkinimo apklausos? | Ne. Tai rodo, kaip kursas buvo gautas, o ne ką jis išsaugojo. |
| Kas patvirtina metodą? | Finansų partneris ir informatikos arba atitikties vadovas. |
| Ko negali išspręsti treniruotės? | Personalo pokyčiai, apimčių svyravimai ir mokėtojų taisyklės vyksta tuo pačiu metu. |
| Iš kur žinai, kad suveikė? | Pradinių ir tolesnių užduočių bei veiklos duomenų palyginimas, patikrinus kitas priežastis. |
1. Apibrėžkite rezultatą ir palyginimą
Prieš rinkdami bet kokius duomenis, užsirašykite tris dalykus: intervenciją, paveiktus vaidmenis ir sprendimą, kurį turi pagrįsti analizė. „Ar mokymai sutaupė pinigų?“ yra per daug miglotas klausimas. „Ar turėtume išplėsti pretenzijų darbo eigos programą į antrąją vietą?“ yra sprendimas, ir jis nurodo, kokių įrodymų pakaktų.
Tada atskirkite dviejų rūšių išlaidas. Pristatymo kaina viršelio dizaino laikas, fasilitatoriaus ar koučerio laikas, besimokančiųjų valandos, medžiagos ir bet kokia programinė įranga. Veiklos išlaidos Aptarkite paties proceso pakeitimus: naujus įrankius, peržiūrėtas procedūras, laikiną dvigubą procesą, kol darbuotojai mokosi naujo metodo. Mokymų investicijų grąža, kuri atsižvelgia tik į įgyvendinimo išlaidas, yra palanki programai. Investicijų grąža, kuri atsižvelgia į viską, gali būti tinkamas matas tobulinimo projektui, bet neteisinga mokymų atžvilgiu. Nuspręskite, į kurį klausimą atsakote, ir nurodykite tai ataskaitoje.
Darbuotojų laikas nusipelno dėmesio. Mokymams skirtos valandos yra realios išlaidos, net jei niekas nesiunčia sąskaitos faktūros, todėl jas registruokite pagal tarifą, su kuriuo sutinka jūsų finansų partneris.
2. Išmatuokite faktinę užduotį
Užduotis čia nėra „dalyvauti programoje“. Tai kažkas, ką mokinys atlieka darbe, pavyzdžiui, taiso teiginius pagal naują kontrolinį sąrašą, koduoja atmestus atsakymus pagal priežastį arba užfiksuoja išimtį. Įvertinkite tai naudodami stebimus įrodymus.
- Nustatykite bazinę liniją prieš mokymą: realių arba realistiškų užduočių, įvertintų pagal sutartus kriterijus, pavyzdys.
- Atlikite palyginamąjį vertinimą po mokymų, naudojant naujas, panašaus sudėtingumo užduotis, o ne tas, kurias mokiniai praktikavo.
- Išlaikykite užbaigtumą ir pasitenkinimą kaip pristatymo rodikliai, pateikiami atskirai.
Čia užduočių įrodymai užima savo vietą. Jei darbuotojai dabar gali tiksliau atlikti užduotį nematomais atvejais, ryšys tarp mokymų ir bet kokių veiklos pokyčių tampa tikėtinas. Jei jie to negali padaryti, mažai tikėtina, kad sutaupymas bus mokymų nuopelnas. Daugiau informacijos apie rašymo praktiką ir atsiliepimus, susijusius su užduotimi, rasite mūsų vadove. interaktyvios praktikos kūrimas su naudingu grįžtamuoju ryšiu.
3. Susieti užduoties įrodymus su veiklos duomenimis
Dabar užduoties įrodymus pateikite šalia veiklos duomenų. Kiekvienam matavimo vienetui užrašykite keturis dalykus: populiaciją (kas įtraukta), vardiklį (pagal prašymą, vienam darbuotojui arba per mėnesį), laikotarpį ir šaltinį.
Įprasti administracinio tobulinimo projektų matai apima pakartotinio darbo dažnumą, dėl išvengiamų priežasčių atmestų prašymų dalį, užduoties atlikimo laiką ir vienos operacijos kainą. Kiekvieną pakeitimą konvertuokite į pinigus tik su vieneto kaina, kurią patvirtino jūsų finansų partneris. Tada apskaičiuokite svarbų skaičių:
- Numatoma nauda: priemonės pokytis, padaugintas iš sutartos vieneto kainos.
- Mokymams priskirta dalis: pagrįstas procentas, o ne spėjimas, su užrašytais pagrindimais.
- Grynasis įvertinimas: priskirta nauda, atėmus jūsų nuspręstas įtraukti mokymo ir projekto išlaidas.
Tikėtiną ryšį traktuokite kaip tikėtiną ryšį. Pakartotinio apdorojimo sumažėjimas po mokymo atitinka mokymo veiksmingą rezultatą. Tai neįrodo, kad jis veikė.
4. Pateikite alternatyvių paaiškinimų
Išnagrinėkite, kas dar pasikeitė palyginamuoju laikotarpiu. Trumpas kontrolinis sąrašas padės:
- Darbo krūvis. Ar apimtys padidėjo, ar sumažėjo? Ramesnis ketvirtis dažnai reiškia mažiau klaidų.
- Personalas. Ar išėjo patyrę žmonės, ar prisijungė naujų, kurie niekada nebuvo apmokyti?
- Kliento arba mokėtojo derinys. Ar pasikeitė ieškinių rūšys?
- Proceso arba sistemos pakeitimai. Ar tuo pačiu metu pasikeitė dar kas nors, kas susiję su darbo eiga?
Kur galite, naudokite palyginimą. A suderintas palyginimas nagrinėja panašią komandą, kuri dar nebuvo apmokyta. A laipsniškas išleidimas pateikia tą palyginimą beveik nemokamai: vėliau apmokytos komandos veikia kaip kontrolinė grupė pirmiausia apmokytoms komandoms. Ligoninėje, kur kiekvienai komandai gali prireikti pakeitimo iš karto, ne visada tai įmanoma, ir tokiu atveju sąžiningai nurodote mažesnį pasitikėjimo lygį.
Čia naudinga 2022 m. žurnale „BMC Health Services Research“ paskelbta apžvalga apie didelio masto sveikatos priežiūros kokybės gerinimo grąžą. Jos autoriai grąžą apibrėžia plačiai – kaip bet kokią piniginę ar nepiniginę vertę, gautą gerinant kokybę, ir atkreipia dėmesį, kad rezultatai yra tarpusavyje susiję ir sunkiai stebimi. Jie siūlo vertinti indėlį į rezultatus, o ne teigti, kad jie tiesiogiai priskiriami, ir tradicinę investicijų grąžą vadina „distaliniu ir nepilnu QI vertės žymeniu“ (Thusini ir kt., BMC sveikatos paslaugų tyrimai, 2022 m.). Tai tinka ir administraciniams projektams. Pateikite indėlio įrodymus ir pasitikėjimą jais, o ne vieną klaidingai tikslų skaičių.
5. Praneškite apie rezultatus ir pasirinkite kitą veiksmą
Finansų komiteto parengta ataskaita telpa viename puslapyje. Šiame pavyzdiniame makete rezultatų laukai palikti tušti tyčia. Užpildykite juos savo duomenimis, niekada nenaudokite pasiskolintų efektų dydžių.
| Laukas | Ką įrašyti | Pasekmė |
|---|---|---|
| Intervencija ir vaidmenys | Programa, projektas ir kas jame dalyvavo | |
| Populiacija ir laikotarpis | Kas yra įtrauktas, nuo kada iki kada | |
| Pradiniai ir tolesnių užduočių balai | Tie patys kriterijai, skirtingi atvejai | |
| Operacinis matas ir vardiklis | Pavyzdžiui, pakartotinio darbo rodiklis 100 pretenzijų | |
| Numatoma nauda | Pokytis, padaugintas iš patvirtintos vieneto kainos | |
| Mokymams priskirta dalis ir kodėl | Samprotavimas, naudojamas palyginimas | |
| Pristatymo ir eksploatavimo išlaidos | Įtraukta į sąrašą atskirai | |
| Grynasis įvertis ir pasitikėjimas | Aukštas, vidutinis ar žemas, nurodant priežastį | |
| Kiti laikotarpio pokyčiai | Darbo krūvis, personalo aprūpinimas, derinys, procesas | |
| Rekomenduojami veiksmai | Mastelio keitimas, peržiūra arba sustabdymas |
Iš anksto nuspręskite, kas pateisintų kiekvieną veiksmą. Galite keisti programos mastą, kai užduočių balai pagerėja nematomais atvejais, operatyvinės priemonės pasislenka laukiama linkme, kiti paaiškinimai yra patikrinami ir grynasis įvertis išlieka teigiamas remiantis atsargiomis prielaidomis. Galite ją peržiūrėti, kai užduočių balai pagerėja, bet operatyvinės priemonės nepagerėja, o tai rodo su mokymais nesusijusius apribojimus. Galite ją sustabdyti, kai nė vienas iš jų nepasikeičia. Prieš pamatydami skaičius, susitarkite dėl šių taisyklių su savo rėmėju, kad rezultatas nenulemtų kriterijų.
Dirbkite su realiu pavyzdžiu
Iliustracinis pavyzdys. Finansų partneris ir informatikos arba atitikties vadovas prieš naudojimą turėtų patvirtinti atvejį ir atsakymo kriterijus.
Byla. Komanda pertvarko pretenzijų tvarkymo procesą, tuo pačiu metu keičiasi personalas ir apimtys. Per šešis mėnesius po mokymų sumažėjo pakartotinio darbo poreikis. Tuo pačiu laikotarpiu išėjo du patyrę programuotojai, o apimtys antrąjį ketvirtį šiek tiek sumažėjo.
Užduotis. Besimokantysis įvertina, kiek sutaupyti galima pagrįstai remiantis mokymais, paaiškina sprendimą, pateikia įrodymus ir įvardija trūkstamą informaciją.
Pirmas bandymas. „Perdirbimo išlaidos sumažėjo, todėl mokymai sutaupė visą skirtumą. Šį sumažėjimą padauginau iš mūsų perdirbinio kainos ir pateikiau kaip investicijų grąžą.“ Taigi, viskas priskiriama mokymams, o kiti pokyčiai ignoruojami.
Atsiliepimas ir bandymas dar kartą. Koučeris klausia, kas dar pasikeitė, ar skiriasi apmokyti ir neapmokyti darbuotojai ir iš kur atsirado vieneto kaina. Besimokančiojo prašoma padalyti naudą.
Stipresnis bandymas. „Sumažėjo pakartotinio darbo skaičius, bet išėjo du patyrę programuotojai ir sumažėjo apimtis, todėl negaliu viso to priskirti mokymams. Užduočių balai nematomuose atvejuose išaugo, o tai patvirtina mokymų indėlį. Praneščiau apie pastebėtą sutaupymą, sumažintą dalį, kurią galiu pateisinti, ir žemą arba vidutinį pasitikėjimo įvertinimą. Norint padidinti pasitikėjimą, man reikia, kad pakartotinį darbą atliktų apmokyti ir neapmokyti darbuotojai, o vieneto sąnaudos – nuo finansavimo.“ Tai atskiria pastebėtą sutaupymą nuo patirto sutaupymo ir nurodo, kokių įrodymų trūksta.
Įvertinkite gebėjimus naudodami paprastą vertinimo kriterijų
Įvertinkite kiekvieną kriterijų nuo 0 iki 2:
| kriterijus | Stebimi įrodymai |
|---|---|
| Užduoties vykdymas | Įvertina su mokymais susijusio projekto sąnaudas ir naudą ir registruoja kiekvieną skaičių pagrindžiančius įrodymus. |
| Priežastys | Paaiškina apribojimus, alternatyvas ir neapibrėžtumą, tikrina grynųjų sąnaudų įverčius ir priskyrimo patikimumą. |
| Ribos | Naudoja patvirtintas procedūras ir kreipiasi pagalbos, kai nepakanka informacijos ar įgaliojimų. |
Pagrindiniai kriterijai: 0 – nėra arba neparemta, 1 – dalinis su atitinkamais praleidimais, o 2 – išsamus ir pagrįstas pagal sutartus kriterijus. Atskirai apibrėžkite kritines klaidas, pvz., priskirkite visą pakeitimą mokymui netikrindami kitų priežasčių, kad bendras balas negalėtų jų paslėpti. Ši vertinimo skalė yra pasiūlymas, o ne patvirtintas pasirengimo standartas: pritaikykite ją kartu su specialistu ir išbandykite. Norėdami suderinti kiekvieną veiklą su jos reikalaujamu mąstymu, žr. mūsų vadovą. mokymosi veiklų derinimas su Bloomo taksonomija.
Kur padeda interaktyvus pristatymas
Interaktyvūs formatai padeda, kai žmonės turėtų įsipareigoti prieš išgirdę atsakymą. Tiesioginės sesijos metu moderatorius gali parodyti ieškinio atvejį, paprašyti kiekvieno asmens įvesti sutaupymo dalį, kurią jie priskirtų mokymams, ir tada parodyti skirtumą prieš aptariant, kodėl įverčiai skiriasi. Ta pati byla gali būti nagrinėjama savarankišku tempu pasiruošimui. „AhaSlides“ palaiko interaktyvų mokymąsi ir perėjimą tarp tiesioginio ir savarankiško pristatymo. Patikrinkite visas konkrečias kūrimo, atsiliepimų ar ataskaitų teikimo funkcijas, kuriomis planuojate remtis, atsižvelgdami į savo darbo eigą, ir laikykite dirbtinį intelektą, simuliatorius ir sistemų integracijas išorinėmis arba nepatvirtintomis, kol nepamatysite jų veikiančių. Norėdami gauti informacijos apie formatų pasirinkimą, žr. mūsų straipsnį apie... Kada naudoti adaptyvų, interaktyvų ir tiesioginį mokymąsi.
Apribojimai, kurie gali likti
- Priskyrimas Be palyginamosios grupės galite įvertinti indėlį, o ne įrodyti priežastį.
- Užvėlinimas. Kai kurioms santaupoms atsirasti reikia ketvirčių, o per trumpą laiką jų gali ir nebūti.
- Duomenų kokybė. Veiklos duomenys gali būti neišsamūs arba jų apibrėžimai gali pasikeisti laikotarpio viduryje.
- Kiti pakeitimai. Personalo, apimties ir mokėtojų taisyklės gali nustelbti nedidelį mokymo poveikį.
- Perdavimo. Rezultatai mokomosios bylos metu nėra tas pats, kas rezultatai esant kasdieniam spaudimui.
Iš anksto įvardinkite tai rėmėjams. Mokymai pagerina žmonių galimybes. Jie nekeičia darbo sąlygų.
Dažnai užduodami klausimai
Kas yra kokybės gerinimo mokymų investicijų grąža?
Jis lygina su mokymais susijusio tobulinimo projekto naudą su jo sąnaudomis, paprastai kaip grynąją naudą, padalytą iš sąnaudų. Svarbiausias žingsnis yra nustatyti, kiek naudos mokymai gali pagrįstai pareikšti.
Ar galite įrodyti, kad mokymai lėmė santaupas?
Retai. Suderintas palyginimas arba laipsniškas diegimas pateikia tvirtesnių įrodymų, tačiau daugumoje ligoninių nurodomas pagrįstas indėlis ir patikimumo lygis, o ne įrodymas.
Ar pristatymo ir veiklos sąnaudos turėtų būti skaičiuojamos kartu?
Pateikite juos atskirai. Įgyvendinimo išlaidos apibūdina pačius mokymus. Veiklos išlaidos apibūdina platesnį tobulinimo projektą. Nurodykite, kurią bendrą sumą naudoja jūsų investicijų grąža.
Ar pasitenkinimo apklausa įrodo santaupas?
Ne. Pasitenkinimas ir užbaigimas yra pristatymo rodikliai. Taupymui reikalingi užduočių įrodymai ir veiklos duomenys.
Kur pradėti
Pasirinkite vieną patobulinimo projektą, kuris jau turi pradinį planą. Parašykite sprendimą, kurį turi pagrįsti analizė, išvardykite išlaidas, kurias įtrauksite, pasirinkite vieną veiklos priemonę su jos vardikliu ir paprašykite finansų partnerio patvirtinti vieneto kainą. Parašykite vieno puslapio ataskaitą su tuščiais rezultatų laukais ir susitarkite dėl mastelio, peržiūros arba sustabdymo taisyklių prieš gaunant duomenis.
Norėdami sužinoti, kaip toks atvejis galėtų būti įgyvendintas tiesiogiai su jūsų komanda ir vėliau pakartotinai panaudotas savarankiškai, peržiūrėkite „AhaSlides“.
