O echipă a unui spital își reproiectează fluxul de lucru pentru procesarea cererilor de despăgubire. Instruiește personalul administrativ cu privire la noul proces, iar șase luni mai târziu, costul per cerere este mai mic. Biroul financiar este mulțumit și solicită o cifră: cât a economisit instruirea?
Răspunsul sincer este mai greu decât întrebarea. În aceleași șase luni, personalul s-a schimbat, volumele de cereri s-au mutat, iar un plătitor și-a modificat regulile. O parte din economii au provenit din reproiectare, o parte din instruire și o parte din niciuna dintre variantele de mai sus. ROI-ul pentru instruirea privind îmbunătățirea calității este munca de separare a acestor elemente și de raportare a ceea ce rămâne cu un nivel de încredere declarat.
Acesta este un scenariu ilustrativ, nu un caz documentat. Acest ghid este destinat directorilor de formare și dezvoltare din spitale și responsabililor de informatică sau conformitate care lucrează cu aceștia. Acesta prezintă modul de definire a comparației, de măsurare a sarcinii reale, de conectare a dovezilor respective la datele operaționale, de excludere a altor explicații și de raportare a rezultatelor fără a exagera.
Ce este ROI-ul în instruirea pentru îmbunătățirea calității?
ROI-ul pentru instruirea în domeniul îmbunătățirii calității compară beneficiile unui proiect de îmbunătățire legat de instruire cu costurile aferente. Acesta întreabă ce a câștigat organizația și ce nu ar fi câștigat fără instruire și dacă acel câștig a meritat costurile instruirii și ale proiectului. Cea mai comună formă este simplă: beneficiile nete (beneficii minus costuri) împărțite la costuri, prezentate ca procent.
Partea ușoară este aritmetica. Partea dificilă este să decideți ce beneficii aparțin instruirii. Institutul ROI, care promovează un cadru de evaluare pe cinci niveluri, enumeră „efectele izolate ale proiectului” ca pas separat atunci când analizează datele (Institutul ROICele cinci niveluri ale sale sunt reacția, învățarea, aplicarea, impactul și rentabilitatea investiției. Satisfacția și finalizarea se află la primul nivel. Sunt indicatori utili de livrare, dar nu sunt o dovadă a economiilor.
Scurte
| Întrebare | Răspuns scurt |
|---|---|
| Care este sarcina? | Măsurați costurile și beneficiile unui proiect de îmbunătățire legat de instruire. |
| Ce punctaj obții? | Estimările costurilor nete și încrederea în atribuire. |
| Este suficient un sondaj de satisfacție? | Nu. Arată cum a fost primit cursul, nu ce a salvat. |
| Cine validează metoda? | Un partener financiar și un responsabil cu informatica sau conformitatea. |
| Ce nu poate rezolva antrenamentul? | Schimbări de personal, fluctuații de volum și reguli privind plățile care au loc simultan. |
| De unde știi că a funcționat? | O comparație între sarcinile de bază și cele ulterioare, plus datele operaționale, cu verificarea altor cauze. |
1. Definiți rezultatul și comparația
Înainte de a colecta date, notați trei lucruri: intervenția, rolurile afectate și decizia pe care analiza trebuie să o susțină. Întrebarea „A economisit bani instruirea?” este prea vagă. Întrebarea „Ar trebui să extindem programul de flux de lucru pentru daune la a doua locație?” este o decizie și vă spune ce dovezi ar fi suficiente.
Apoi separați două tipuri de costuri. Costuri de livrare acoperă timpul de proiectare, timpul facilitatorului sau instructorului, orele de curs, materialele și orice software. Costuri de operare Acoperiți schimbările aduse procesului în sine: instrumente noi, proceduri revizuite, rulare dublă temporară în timp ce personalul învață noua metodă. ROI-ul pentru instruire care ia în considerare doar costurile de livrare flatează programul. ROI-ul care ia în considerare totul poate fi măsura corectă pentru proiectul de îmbunătățire, dar nedrept pentru instruire. Decideți la ce întrebare răspundeți și menționați acest lucru în raport.
Timpul personalului merită atenție. Orele petrecute în training reprezintă un cost real chiar și atunci când nimeni nu trimite o factură, așa că înregistrați-le folosind o rată convenită de partenerul dumneavoastră financiar.
2. Măsurați sarcina reală
Sarcina aici nu este „participare la program”. Este ceva ce cursantul face la locul de muncă, cum ar fi corectarea afirmațiilor față de noua listă de verificare, codificarea refuzurilor după motiv sau înregistrarea unei excepții. Măsurați acest lucru folosind dovezi observabile.
- Stabiliți o linie de bază înainte de antrenament: un eșantion de sarcini reale sau realiste, evaluate în funcție de criterii convenite.
- Efectuați o evaluare comparabilă după instruire, folosind sarcini noi cu dificultate similară, în loc de cele cu care cursanții au exersat.
- Mențineți finalizarea și satisfacția ca indicatori de livrare, raportați separat.
Aici își câștigă locul dovezile sarcinii. Dacă personalul poate acum îndeplini sarcina mai precis în cazurile nevăzute, legătura dintre instruire și orice schimbare operațională devine plauzibilă. Dacă nu pot, este puțin probabil ca instruirea să facă economii. Pentru mai multe informații despre practica de scriere și feedback-ul care se leagă de o sarcină, consultați ghidul nostru pentru... proiectarea unei practici interactive cu feedback util.
3. Conectați dovezile sarcinii cu datele operaționale
Acum, puneți dovezile sarcinii lângă datele operaționale. Pentru fiecare măsurătoare, înregistrați patru lucruri: populația (cine este inclus), numitorul (per afirmație, per membru al personalului sau per lună), perioada și sursa.
Măsurile comune în proiectele de îmbunătățire administrativă includ rata de reluare a lucrărilor, ponderea cererilor respinse din motive evitabile, timpul necesar pentru finalizarea unei sarcini și costul per tranzacție. Convertiți fiecare modificare în bani doar cu un cost unitar aprobat de partenerul dvs. financiar. Apoi, generați cifra care contează:
- Beneficiu estimat: modificarea măsurii înmulțită cu costul unitar convenit.
- Ponderea atribuită instruirii: un procent justificat, nu o estimare, cu raționamentul scris.
- Estimare netă: beneficiul atribuit minus costurile de instruire și de proiect pe care ați decis să le includeți.
Tratați o legătură plauzibilă ca o legătură plauzibilă. O scădere a reelaborării după antrenament este compatibilă cu funcționarea antrenamentului. Nu dovedește că a funcționat.
4. Luați în considerare explicațiile alternative
Analizați ce s-a schimbat în perioada de comparație. O scurtă listă de verificare vă ajută:
- Volumul de muncă. Au crescut sau au scăzut volumele? Un trimestru mai liniștit înseamnă adesea mai puține erori.
- De personal. Au plecat persoane cu experiență sau s-au alăturat persoane noi care nu au fost niciodată instruite?
- Mix de clienți sau plătitori. S-au schimbat tipurile de cereri?
- Modificări ale procesului sau sistemului. S-a schimbat și altceva în fluxul de lucru în același timp?
Unde poți, folosește o comparație. comparație potrivită se uită la o echipă similară care nu a avut încă pregătirea necesară. A lansare în etape îți oferă această comparație aproape gratuit: echipele antrenate ulterior acționează ca un control pentru echipele antrenate primele. Niciunul dintre acestea nu este întotdeauna posibil într-un spital, unde fiecare echipă poate avea nevoie de schimbare simultan, iar în acest caz raportezi cu sinceritate un nivel de încredere mai scăzut.
O analiză din 2022, publicată în BMC Health Services Research, privind rentabilitatea îmbunătățirii calității asistenței medicale la scară largă, este utilă în acest sens. Autorii definesc rentabilitatea în sens larg, ca orice valoare monetară sau nemonetară derivată din îmbunătățirea calității și subliniază faptul că rezultatele sunt interconectate și greu de observat. Aceștia sugerează evaluarea contribuției la rezultate, mai degrabă decât revendicarea atribuirii directe, și numesc rentabilitatea investiției tradițională „un marker distal și incomplet al valorii QI” (Thusini și colab., BMC Health Services Research, 2022). Asta se aplică și proiectelor administrative. Raportați dovezile contribuției și încrederea pe care o aveți în acestea, nu o singură cifră cu o precizie falsă.
5. Raportați rezultatele și alegeți următoarea acțiune
Un raport pe baza căruia un comitet financiar poate lua măsuri încape pe o singură pagină. Acest exemplu de aspect lasă câmpurile cu rezultate goale în mod intenționat. Completați-le cu propriile date, niciodată cu dimensiuni de efect împrumutate.
| Câmp | Ce să înregistrezi | Rezultat |
|---|---|---|
| Intervenție și roluri | Program, proiect și participanți | |
| Populație și perioadă | Cine este inclus, din când până când | |
| Scorurile sarcinilor de bază și ulterioare | Aceleași criterii, cazuri diferite | |
| Măsură operațională și numitor | De exemplu, rata de reluare la 100 de solicitări | |
| Beneficiu estimat | Schimbarea înmulțită cu costul unitar aprobat | |
| Ponderea atribuită instruirii și motivul | Raționament, comparație utilizată | |
| Costuri de livrare și operaționale | Listate separat | |
| Estimare netă și încredere | Ridicat, mediu sau scăzut, cu motivul | |
| Alte schimbări în perioadă | Volum de muncă, personal, mix, proces | |
| Acțiune recomandată | Scalează, revizuiește sau oprește |
Decideți în avans ce ar justifica fiecare acțiune. Ați putea scala programul atunci când scorurile sarcinilor s-au îmbunătățit în cazurile neobservate, măsurile operaționale s-au mișcat în direcția așteptată, alte explicații au fost verificate și estimarea netă rămâne pozitivă pe baza unor ipoteze prudente. L-ați putea revizui atunci când scorurile sarcinilor s-au îmbunătățit, dar măsurile operaționale nu, ceea ce sugerează constrângeri din afara instruirii. L-ați putea opri atunci când niciuna dintre ele nu s-a mișcat. Stabiliți aceste reguli cu sponsorul înainte de a vedea cifrele, astfel încât rezultatul să nu decidă criteriile.
Lucrează printr-un exemplu realist
Ilustrativ. Un partener financiar și un responsabil de informatică sau de conformitate ar trebui să valideze cazul și criteriile de răspuns înainte de utilizare.
Cazul. O echipă reproiectează un flux de lucru pentru daune, în timp ce personalul și volumele se modifică și ele. Reluarea lucrărilor a scăzut în cele șase luni de la instruire. Doi programatori experimentați au plecat în aceeași perioadă, iar volumul a scăzut ușor în al doilea trimestru.
Sarcina. Cursantul estimează economiile pe care le poate revendica în mod rezonabil în urma instruirii, explică decizia, citează dovezile și numește informațiile care lipsesc încă.
O primă încercare. „Reprelucrarea a fost redusă, așa că instruirea a salvat întreaga diferență. Am înmulțit scăderea cu costul per relucrare și am raportat asta ca fiind rentabilitatea investiției.” Aceasta atribuie instruirii toate modificările și ignoră celelalte modificări.
Feedback și reîncercare. Instructorul întreabă ce s-a mai schimbat, dacă personalul instruit și cel neinstruit diferă și de unde provine costul unitar. Cursantul este rugat să împartă beneficiul.
O încercare mai puternică. „Relucrarea a scăzut, dar doi programatori experimentați au plecat, iar volumul a scăzut, așa că nu pot atribui totul instruirii. Scorurile sarcinilor pentru cazurile nevăzute au crescut, ceea ce susține o contribuție a instruirii. Aș raporta economia observată, o cotă redusă pe care o pot justifica și un rating de încredere scăzut spre mediu. Pentru a crește încrederea, am nevoie de relucrarea efectuată de personal instruit și neinstruit, iar costul unitar din finanțare.” Aceasta separă economiile observate de economiile cauzate și indică ce dovezi lipsesc.
Evaluează capacitatea cu o rubrică simplă
Acordați un punctaj de la 0 la 2 pentru fiecare criteriu:
| Criteriu | Dovezi observabile |
|---|---|
| Executarea sarcinilor | Măsoară costurile și beneficiile unui proiect legat de formare și înregistrează dovezile care susțin fiecare cifră. |
| Raţionament | Explică constrângerile, alternativele și incertitudinea și verifică estimările costurilor nete și încrederea în atribuire. |
| Limite | Folosește proceduri aprobate și solicită ajutor atunci când informațiile sau autoritatea sunt insuficiente. |
Ancore: 0 este absent sau nejustificat, 1 este parțial cu omisiuni relevante, iar 2 este complet și justificat în funcție de criteriile convenite. Definiți separat erorile critice, cum ar fi atribuirea schimbării complete instruirii fără verificarea altor cauze, astfel încât un scor general nu poate ascunde una. Această rubrică este o propunere, nu un standard de pregătire validat: adaptați-o împreună cu practicianul și pilotați-o. Pentru a potrivi fiecare activitate cu gândirea pe care o cere, consultați ghidul nostru pentru... potrivirea activităților de învățare cu taxonomia lui Bloom.
Unde ajută livrarea interactivă
Formatele interactive ajută acolo unde oamenii ar trebui să se angajeze înainte de a auzi răspunsul. Într-o sesiune live, un facilitator poate prezenta cazul de revendicare, poate ruga fiecare persoană să introducă ponderea economiilor pe care ar atribui-o instruirii și apoi poate arăta diferența înainte de a discuta de ce estimările diferă. Același caz poate fi rulat în ritm propriu pentru pregătire. AhaSlides acceptă învățarea interactivă și trecerea de la livrarea live la cea în ritm propriu. Verificați orice funcție specifică de creare, feedback sau raportare pe care intenționați să vă bazați în raport cu propriul flux de lucru și tratați inteligența artificială, simulatoarele și integrările de sistem ca fiind externe sau neconfirmate până când le-ați văzut funcționând. Pentru îndrumări privind alegerea formatelor, consultați articolul nostru despre... când să folosim învățarea adaptivă, interactivă și live.
Constrângeri care pot rămâne
- Atribuire. Fără un grup de comparație, poți estima o contribuție, nu poți dovedi o cauză.
- Decalaj. Unele economii au nevoie de 25 de cenți pentru a apărea, iar o perioadă scurtă de timp le poate rata.
- Calitatea datelor. Datele operaționale pot fi incomplete sau definițiile acestora se pot schimba la mijlocul perioadei.
- Alte modificari. Regulile privind personalul, volumul și plătitorii pot anula un mic efect de instruire.
- Transfer. Performanța într-un caz de instruire nu este aceeași cu performanța sub presiune zilnică.
Numiți-le sponsorilor din timp. Instruirea îmbunătățește ceea ce pot face oamenii. Nu schimbă condițiile din jurul muncii.
Întrebări frecvente
Ce este ROI-ul în instruirea pentru îmbunătățirea calității?
Compară beneficiile unui proiect de îmbunătățire legat de instruire cu costurile sale, de obicei ca beneficii nete împărțite la costuri. Pasul cheie este izolarea proporției din beneficii pe care o poate revendica instruirea.
Poți dovedi că instruirea a cauzat economiile?
Rar. O comparație potrivită sau o implementare etapizată oferă dovezi mai solide, dar în majoritatea mediilor spitalicești se raportează o contribuție justificată și un nivel de încredere, mai degrabă decât o dovadă.
Ar trebui luate în considerare împreună costurile de livrare și costurile operaționale?
Raportați-le separat. Costurile de livrare descriu instruirea în sine. Costurile operaționale descriu proiectul de îmbunătățire mai amplu. Indicați ce ROI total utilizează.
Este un sondaj de satisfacție o dovadă a economiilor?
Nu. Satisfacția și finalizarea sunt indicatori de livrare. Economiile necesită dovezi ale sarcinilor și date operaționale.
Unde să încep
Alegeți un proiect de îmbunătățire care are deja o bază de referință. Scrieți decizia pe care trebuie să o susțină analiza, enumerați costurile pe care le veți include, alegeți o măsură operațională cu numitorul acesteia și rugați un partener financiar să aprobe costul unitar. Redactați raportul de o pagină cu câmpurile pentru rezultate goale și conveniți asupra regulilor de scară, revizuire sau oprire înainte de sosirea datelor.
Pentru a vedea cum un astfel de caz ar putea fi gestionat live cu propria echipă și reutilizat ulterior în ritmul propriu, explorează AhaSlides.
