Nemocničný tím prepracuje svoj pracovný postup pri vybavovaní žiadostí o úhradu. Zaškolí administratívnych pracovníkov v novom procese a o šesť mesiacov neskôr sú náklady na jednu žiadosť nižšie. Finančný úrad je spokojný a pýta sa na číslo: koľko školenie ušetrilo?
Úprimná odpoveď je ťažšia ako otázka. Za tých istých šesť mesiacov sa zmenilo obsadenie personálu, objemy poistných udalostí a jeden z platcov zmenil svoje pravidlá. Časť úspor pochádza z prepracovania, časť zo školenia a časť z ničoho z vyššie uvedeného. Návratnosť investícií do školení o zlepšení kvality je prácou na oddelení týchto častí a vykazovaní toho, čo zostane, s danou úrovňou spoľahlivosti.
Toto je ilustratívny scenár, nie zdokumentovaný prípad. Táto príručka je určená pre riaditeľov oddelení vzdelávania a rozvoja v nemocniciach a vedúcich pracovníkov informatiky alebo dodržiavania predpisov, ktorí s nimi spolupracujú. Zaoberá sa tým, ako definovať porovnanie, merať skutočnú úlohu, prepojiť tieto dôkazy s prevádzkovými údajmi, vylúčiť iné vysvetlenia a hlásiť výsledky bez prehnaného tvrdenia.
Aká je návratnosť investícií do školení na zlepšenie kvality?
Návratnosť investícií (ROI) zameraných na zlepšenie kvality školení porovnáva prínosy projektu zlepšovania spojeného so školením s jeho nákladmi. Pýta sa, čo organizácia získala, čo by nezískala bez školenia, a či tento zisk stál za to, koľko školenie a projekt stáli. Najbežnejšia forma je jednoduchá: čisté prínosy (prínosy mínus náklady) vydelené nákladmi, vyjadrené v percentách.
Aritmetika je tá jednoduchá časť. Ťažká je rozhodnúť sa, ktoré výhody patria do školenia. Inštitút ROI, ktorý propaguje päťúrovňový hodnotiaci rámec, uvádza „izoláciu účinkov projektu“ ako svoj vlastný krok pri analýze údajov (Inštitút návratnosti investícií). Jeho päť úrovní je reakcia, učenie, aplikácia, dopad a návratnosť investícií. Spokojnosť a dokončenie sa nachádzajú na prvej úrovni. Sú to užitočné ukazovatele dosiahnutia, ale nie sú dôkazom úspor.
Rýchle fakty
| Otázka | Stručná odpoveď |
|---|---|
| Aká je úloha? | Zmerajte náklady a prínosy projektu zlepšovania spojeného so školením. |
| Aké skóre dosiahnete? | Odhady čistých nákladov a dôvera v pripisovanie. |
| Stačí prieskum spokojnosti? | Nie. Ukazuje to, ako bol kurz prijatý, nie čo sa vďaka nemu podarilo ušetriť. |
| Kto overuje metódu? | Finančný partner a vedúci oddelenia informatiky alebo dodržiavania predpisov. |
| Čo tréning nedokáže vyriešiť? | Súčasne dochádza k zmenám v obsadení zamestnancov, výkyvom objemu a pravidlám pre platcov. |
| Ako vieš, že to fungovalo? | Porovnanie východiskových a následných úloh plus operačných údajov s kontrolou ďalších príčin. |
1. Definujte výsledok a porovnanie
Pred zhromažďovaním akýchkoľvek údajov si zapíšte tri veci: intervenciu, dotknuté role a rozhodnutie, ktoré musí analýza podporiť. Otázka „Ušetrilo školenie peniaze?“ je príliš vágne. „Mali by sme rozšíriť program pracovného postupu pre reklamácie na druhé miesto?“ je rozhodnutie a hovorí vám, aké dôkazy by boli postačujúce.
Potom oddeľte dva druhy nákladov. náklady na dopravu pokrývajú čas na návrh, čas facilitátora alebo kouča, hodiny študentov, materiály a akýkoľvek softvér. Prevádzkové náklady Zahrňte zmeny v samotnom procese: nové nástroje, revidované postupy, dočasné zdvojené fungovanie, kým sa zamestnanci naučia novú metódu. Návratnosť investícií do školenia, ktorá počíta iba náklady na dodanie, lichotí programu. Návratnosť investícií, ktorá počíta všetko, môže byť správnym meradlom pre projekt zlepšovania, ale je nespravodlivá voči školeniu. Rozhodnite sa, na ktorú otázku odpovedáte, a uveďte to v správe.
Čas zamestnancov si zaslúži pozornosť. Hodiny strávené školením predstavujú skutočné náklady, aj keď nikto nepošle faktúru, preto ich zaznamenávajte pomocou sadzby, s ktorou súhlasí váš finančný partner.
2. Zmerajte skutočnú úlohu
Úlohou tu nie je „zúčastniť sa programu“. Je to niečo, čo študent robí v práci, ako napríklad oprava tvrdení oproti novému kontrolnému zoznamu, kódovanie zamietnutí podľa príčiny alebo zaznamenávanie výnimky. Zmerajte to pomocou pozorovateľných dôkazov.
- Nastavte základnú líniu pred školením: vzorka skutočných alebo realistických úloh hodnotených podľa dohodnutých kritérií.
- Vykonajte porovnateľné hodnotenie po školení používať nové úlohy podobnej náročnosti namiesto tých, na ktorých si študenti precvičovali.
- Udržujte si dokončenie a spokojnosť ako ukazovatele plnenia, vykazované samostatne.
Tu si dôkazy o úlohách zaslúžia svoje miesto. Ak teraz zamestnanci dokážu vykonávať úlohy presnejšie v neviditeľných prípadoch, súvislosť medzi školením a akoukoľvek prevádzkovou zmenou sa stáva pravdepodobnou. Ak to nedokážu, je nepravdepodobné, že by úspora bola výsledkom školenia. Viac informácií o písomnej praxi a spätnej väzbe, ktorá sa vzťahuje na úlohu, nájdete v našom sprievodcovi... navrhovanie interaktívnych cvičení s užitočnou spätnou väzbou.
3. Prepojte dôkazy o úlohe s prevádzkovými údajmi
Teraz umiestnite dôkazy o úlohe vedľa operačných údajov. Pre každé meranie zaznamenajte štyri veci: populáciu (kto je zahrnutý), menovateľa (na nárok, na zamestnanca alebo na mesiac), obdobie a zdroj.
Medzi bežné miery v projektoch administratívneho zlepšenia patrí miera prepracovania, podiel zamietnutých reklamácií z dôvodov, ktorým sa dalo vyhnúť, čas potrebný na dokončenie úlohy a náklady na transakciu. Každú zmenu prepočítajte na peniaze iba s jednotkovou cenou schválenou vaším finančným partnerom. Potom uveďte dôležitú sumu:
- Odhadovaný prínos: zmena miery vynásobená dohodnutými jednotkovými nákladmi.
- Podiel pripísaný odbornej príprave: odôvodnené percento, nie odhad, so zapísaným zdôvodnením.
- Čistý odhad: pripísaný úžitok mínus náklady na školenie a projekt, ktoré ste sa rozhodli zahrnúť.
Pravdepodobné prepojenie považujte za pravdepodobné prepojenie. Pokles v prepracovaní po tréningu je v súlade s fungovaním tréningu. Nedokazuje to, že to tak bolo.
4. Zohľadnite alternatívne vysvetlenia
Preštudujte si, čo sa ešte zmenilo počas porovnávacieho obdobia. Pomôže vám krátky kontrolný zoznam:
- Pracovná záťaž. Zvýšili sa alebo klesli objemy? Tichší štvrťrok často znamená menej chýb.
- Personálne obsadenie. Odišli skúsení ľudia, alebo prišli noví, ktorí nikdy neboli zaškolení?
- Zmes zákazníkov alebo platcov. Zmenili sa typy nárokov?
- Zmeny procesov alebo systémov. Zmenilo sa zároveň aj niečo iné v pracovnom postupe?
Kde je to možné, použite porovnanie. porovnanie pozerá sa na podobný tím, ktorý ešte nemal tréning. A postupné zavádzanie vám toto porovnanie poskytuje takmer zadarmo: tímy vyškolené neskôr slúžia ako kontrola pre tímy vyškolené ako prvé. Ani jedno nie je vždy možné v nemocnici, kde každý tím môže potrebovať zmenu naraz, a v takom prípade úprimne hlásite nižšiu úroveň spoľahlivosti.
Užitočná je tu recenzia z roku 2022 v BMC Health Services Research o návratnosti rozsiahleho zlepšovania kvality zdravotnej starostlivosti. Jej autori definujú návratnosť široko, ako akúkoľvek peňažnú alebo nepeňažnú hodnotu odvodenú zo zlepšenia kvality, a poukazujú na to, že výsledky sú vzájomne prepojené a ťažko sa dajú pozorovať. Navrhujú hodnotiť príspevok k výsledkom, a nie tvrdiť, že ide o priame pripisovanie, a tradičnú návratnosť investícií nazývajú „distálnym a neúplným ukazovateľom hodnoty QI“ (Thusini a kol., Výskum zdravotníckych služieb BMC, 2022). To platí aj pre administratívne projekty. Uveďte dôkazy o príspevku a dôvere, ktorú vň máte, nie jediné číslo s falošnou presnosťou.
5. Nahláste výsledky a vyberte ďalší krok
Správa, o ktorej môže konať finančný výbor, sa zmestí na jednu stranu. Táto vzorová šablóna ponecháva polia s výsledkami zámerne prázdne. Vyplňte ich vlastnými údajmi, nikdy nie požičanými veľkosťami efektov.
| Pole | Čo nahrávať | Výsledok |
|---|---|---|
| Intervencia a úlohy | Program, projekt a kto sa ho zúčastnil | |
| Počet obyvateľov a obdobie | Kto je zahrnutý, odkedy dokedy | |
| Skóre základných a následných úloh | Rovnaké kritériá, rôzne prípady | |
| Operačná miera a menovateľ | Napríklad miera prepracovania na 100 reklamácií | |
| Odhadovaný prínos | Zmena vynásobená schválenými jednotkovými nákladmi | |
| Podiel pripísaný školeniu a prečo | Použité zdôvodnenie, porovnanie | |
| Dodacie a prevádzkové náklady | Uvedené samostatne | |
| Čistý odhad a dôvera | Vysoká, stredná alebo nízka, s uvedením dôvodu | |
| Ďalšie zmeny v danom období | Pracovná záťaž, personálne obsadenie, mix, proces | |
| Odporúčané akcie | Škálovať, revidovať alebo zastaviť |
Vopred sa rozhodnite, čo by odôvodňovalo každú akciu. Program môžete škálovať, keď sa skóre úloh v neviditeľných prípadoch zlepší, operačné ukazovatele sa posunú očakávaným smerom, skontrolujú sa ďalšie vysvetlenia a čistý odhad zostane pozitívny na základe opatrných predpokladov. Môžete ho upraviť, keď sa skóre úloh zlepší, ale operačné ukazovatele nie, čo naznačuje obmedzenia mimo odbornej prípravy. Môžete ho zastaviť, keď sa ani jedno z nich nepohne. Dohodnite sa na týchto pravidlách so svojím sponzorom skôr, ako uvidíte čísla, aby výsledok nerozhodol o kritériách.
Vypracujte si realistický príklad
Ilustrácia. Finančný partner a vedúci oddelenia informatiky alebo dodržiavania predpisov by mali pred použitím overiť prípad a kritériá odpovede.
Púzdro. Tím prepracuje pracovný postup pre reklamácie, pričom sa zmení aj personálne obsadenie a objemy. Prepracovanie sa v priebehu šiestich mesiacov po zaškolení znížilo. V rovnakom období odišli dvaja skúsení programátori a objem v druhom štvrťroku mierne klesol.
Úloha. Študent odhadne úspory, ktoré si školenie môže rozumne nárokovať, vysvetlí svoje rozhodnutie, uvedie dôkazy a pomenuje chýbajúce informácie.
Prvý pokus. „Prepracovanie sa nepodarilo, takže školenie ušetrilo celý rozdiel. Vynásobil som pokles našimi nákladmi na prepracovanie a to som vykázal ako návratnosť investícií.“ Tým sa všetko pripisuje školeniu a ostatné zmeny sa ignorujú.
Spätná väzba a pokus znova. Kouč sa pýta, čo sa ešte zmenilo, či sa líšia vyškolení a nevyškolení zamestnanci a odkiaľ pochádzajú jednotkové náklady. Študent je požiadaný, aby si rozdelil prínos.
Silnejší pokus. „Objem prepracovania klesol, ale odišli dvaja skúsení programátori a objem sa znížil, takže to nemôžem všetko pripísať školeniu. Skóre úloh v neviditeľných prípadoch sa zvýšilo, čo podporuje príspevok školenia. Uviedol by som pozorovanú úsporu, znížený podiel, ktorý môžem zdôvodniť, a nízke až stredné hodnotenie spoľahlivosti. Na zvýšenie spoľahlivosti potrebujem prepracovanie vyškolenými aj neškolenými zamestnancami a jednotkové náklady z hľadiska financovania.“ Toto oddeľuje pozorované úspory od spôsobených úspor a hovorí, aké dôkazy chýbajú.
Posúďte schopnosti pomocou jednoduchej rubriky
Ohodnoťte každé kritérium od 0 do 2:
| kritérium | Pozorovateľné dôkazy |
|---|---|
| Vykonanie úlohy | Meria náklady a prínosy projektu spojeného so vzdelávaním a zaznamenáva dôkazy podporujúce každý údaj. |
| uvažovanie | Vysvetľuje obmedzenia, alternatívy a neistotu a kontroluje odhady čistých nákladov a dôveryhodnosť pripisovania. |
| Hranice | Používa schválené postupy a vyhľadáva pomoc, keď informácie alebo autorita nie sú dostatočné. |
Kotvy: 0 chýba alebo nie je podložené, 1 je čiastočné s relevantnými opomenutiami a 2 je úplné a zdôvodnené podľa dohodnutých kritérií. Kritické chyby definujte samostatne, napríklad pripísanie celej zmeny školeniu bez kontroly iných príčin, aby celkové skóre nemohlo žiadnu z nich skryť. Táto rubrika je návrh, nie validovaný štandard pripravenosti: prispôsobte ju s odborníkom a pilotne ju vyskúšajte. Ak chcete každú aktivitu zosúladiť s myslením, ktoré vyžaduje, pozrite si nášho sprievodcu priraďovanie vzdelávacích aktivít k Bloomovej taxonómii.
Kde pomáha interaktívne doručovanie
Interaktívne formáty pomáhajú ľuďom určiť, kde by sa mali zaviazať skôr, ako si vypočujú odpoveď. V živom stretnutí môže facilitátor ukázať prípadovú štúdiu, požiadať každú osobu, aby zadala podiel úspor, ktorý by pripísala školeniu, a potom ukázať rozpätie predtým, ako bude diskutovať o tom, prečo sa odhady líšia. Ten istý prípad môže prebiehať vlastným tempom na prípravu. AhaSlides podporuje interaktívne učenie a prechod medzi živým a vlastným tempom. Skontrolujte všetky konkrétne funkcie tvorby obsahu, spätnej väzby alebo reportovania, na ktoré sa plánujete spoľahnúť, oproti svojmu vlastnému pracovnému postupu a zaobchádzajte s umelou inteligenciou, simulátormi a systémovými integráciami ako s externými alebo nepotvrdenými, kým ich neuvidíte fungovať. Pokyny k výberu formátov nájdete v našom článku o kedy použiť adaptívne, interaktívne a živé učenie.
Obmedzenia, ktoré môžu pretrvávať
- Attribution. Bez porovnávacej skupiny môžete odhadnúť príspevok, nie dokázať príčinu.
- Časové oneskorenie. Niektoré úspory sa objavia až po dvoch dolároch a krátke obdobie ich nemusí ukázať.
- Kvalita údajov. Prevádzkové údaje môžu byť neúplné alebo sa ich definície môžu v polovici obdobia zmeniť.
- Ďalšie zmeny. Pravidlá týkajúce sa personálneho obsadenia, objemu práce a platieb môžu premôcť malý účinok školení.
- Transfer. Výkon na tréningovom prípade nie je to isté ako výkon pod každodenným tlakom.
Včas ich pomenujte sponzorom. Školenie zlepšuje to, čo ľudia dokážu. Nemení podmienky okolo práce.
Často kladené otázky
Aká je návratnosť investícií do školení na zlepšenie kvality?
Porovnáva prínosy projektu zlepšovania spojeného so školením s jeho nákladmi, zvyčajne ako čisté prínosy delené nákladmi. Kľúčovým krokom je identifikácia toho, aký veľký prínos si školenie môže spravodlivo nárokovať.
Viete dokázať, že úspory spôsobilo školenie?
Zriedkavo. Porovnanie alebo postupné zavádzanie poskytuje silnejšie dôkazy, ale vo väčšine nemocničných prostredí sa uvádza skôr opodstatnený príspevok a úroveň spoľahlivosti než dôkaz.
Mali by sa náklady na doručenie a prevádzkové náklady počítať spolu?
Uveďte ich samostatne. Náklady na doručenie opisujú samotné školenie. Prevádzkové náklady opisujú širší projekt zlepšovania. Uveďte, akú celkovú hodnotu používa vaša návratnosť investícií.
Je prieskum spokojnosti dôkazom úspor?
Nie. Spokojnosť a dokončenie sú ukazovateľmi výkonu. Úspory si vyžadujú dôkazy o úlohách a prevádzkové údaje.
Kde začať
Vyberte si jeden projekt na zlepšenie, ktorý už má východiskovú hodnotu. Napíšte rozhodnutie, ktoré musí analýza podporiť, uveďte náklady, ktoré zahrniete, vyberte jedno prevádzkové opatrenie aj s jeho menovateľom a nechajte si od finančného partnera schváliť jednotkové náklady. Vypracujte jednostranovú správu s prázdnymi poľami s výsledkami a dohodnite sa na pravidlách mierky, revízie alebo zastavenia pred príchodom údajov.
Ak chcete vidieť, ako by sa takýto prípad mohol spustiť naživo s vaším vlastným tímom a následne ho znova použiť vlastným tempom, preskúmajte AhaSlides.
