Zespół szpitalny przeprojektowuje swój obieg roszczeń. Szkoli personel administracyjny z nowego procesu, a sześć miesięcy później koszt rozpatrzenia roszczenia jest niższy. Dział finansowy jest zadowolony i pyta o liczbę: ile zaoszczędzono dzięki szkoleniu?
Szczera odpowiedź jest trudniejsza niż samo pytanie. W ciągu tych samych sześciu miesięcy zmieniła się obsada kadrowa, liczba roszczeń wzrosła, a płatnik zmienił swoje zasady. Część oszczędności wynikała z przeprojektowania, część ze szkoleń, a część z żadnego z powyższych. Zwrot z inwestycji w szkolenia z zakresu poprawy jakości to praca nad oddzieleniem tych elementów i raportowaniem tego, co pozostało, z określonym poziomem wiarygodności.
To przykładowy scenariusz, a nie udokumentowany przypadek. Niniejszy przewodnik jest przeznaczony dla dyrektorów ds. edukacji i rozwoju w szpitalach oraz kierowników ds. informatyki lub zgodności z przepisami, którzy z nimi współpracują. Zawiera on informacje na temat definiowania porównania, pomiaru rzeczywistego zadania, łączenia dowodów z danymi operacyjnymi, wykluczania innych wyjaśnień i raportowania wyników bez przesadnego twierdzenia.
Jaki jest zwrot z inwestycji w szkolenia z zakresu poprawy jakości?
Wskaźnik ROI szkoleń z zakresu poprawy jakości porównuje korzyści projektu doskonalenia powiązanego ze szkoleniem z jego kosztami. Pyta on, co organizacja zyskała, czego nie uzyskałaby bez szkolenia, oraz czy ten zysk był wart kosztów szkolenia i projektu. Najczęściej stosowana forma jest prosta: korzyści netto (korzyści pomniejszone o koszty) podzielone przez koszty, wyrażone w procentach.
Arytmetyka to łatwa część. Trudniejsza część to określenie, które korzyści wynikają ze szkolenia. Instytut ROI, który promuje pięciopoziomowe ramy ewaluacji, wymienia „izolację efektów projektu” jako osobny krok podczas analizy danych (Instytut ROIJego pięć poziomów to reakcja, nauka, zastosowanie, wpływ i zwrot z inwestycji (ROI). Satysfakcja i realizacja znajdują się na pierwszym poziomie. Są to przydatne wskaźniki realizacji, ale nie świadczą o oszczędnościach.
Szybkie fakty
| Question | Krótka odpowiedź |
|---|---|
| Jakie jest zadanie? | Zmierz koszty i korzyści projektu udoskonalenia powiązanego ze szkoleniem. |
| Jaki jest Twój wynik? | Szacunkowe koszty netto i pewność atrybucji. |
| Czy ankieta satysfakcji wystarczy? | Nie. Pokazuje, jak kurs został odebrany, a nie co zapisał. |
| Kto weryfikuje tę metodę? | Partner finansowy i lider ds. informatyki lub zgodności. |
| Czego nie naprawi szkolenie? | Zmiany kadrowe, wahania wolumenu zamówień i zasady dotyczące płatników zachodzące w tym samym czasie. |
| Skąd wiesz, że zadziałało? | Porównanie zadań bazowych i kontrolnych oraz danych operacyjnych, ze szczególnym uwzględnieniem innych przyczyn. |
1. Określ wynik i porównanie
Przed zebraniem jakichkolwiek danych zapisz trzy rzeczy: interwencję, role, których dotyczyła, oraz decyzję, którą analiza musi poprzeć. Pytanie „Czy szkolenie pozwoliło zaoszczędzić pieniądze?” jest zbyt ogólnikowe. Pytanie „Czy powinniśmy rozszerzyć program rozpatrywania roszczeń na drugą lokalizację?” jest decyzją i wskazuje, jakie dowody byłyby wystarczające.
Następnie oddziel dwa rodzaje kosztów. koszty dostawy obejmuje czas poświęcony na projektowanie, czas poświęcony przez animatora lub trenera, godziny poświęcone na naukę, materiały i oprogramowanie. Koszty operacyjne Obejmują zmiany w samym procesie: nowe narzędzia, zmienione procedury, tymczasowe podwójne bieganie, podczas gdy personel uczy się nowej metody. Zwrot z inwestycji (ROI) ze szkolenia, który uwzględnia tylko koszty realizacji, korzystnie wpływa na program. Zwrot z inwestycji (ROI), który uwzględnia wszystko, może być właściwym miernikiem projektu usprawniającego, ale niesprawiedliwym dla szkolenia. Zdecyduj, na które pytanie odpowiadasz i zaznacz to w raporcie.
Czas pracowników zasługuje na uwagę. Godziny spędzone na szkoleniach to realny koszt, nawet jeśli nikt nie wystawia faktury, dlatego rejestruj je według stawki, na którą zgadza się Twój partner finansowy.
2. Zmierz rzeczywiste zadanie
Zadaniem tutaj nie jest „uczestnictwo w programie”. To coś, co uczeń robi w pracy, na przykład koryguje roszczenia względem nowej listy kontrolnej, koduje odmowy według przyczyny lub rejestruje wyjątek. Zmierz to, wykorzystując obserwowalne dowody.
- Ustaw punkt bazowy przed szkoleniem: próbka rzeczywistych i realistycznych zadań ocenianych według ustalonych kryteriów.
- Przeprowadź ocenę porównawczą po szkoleniu, wykorzystując nowe zadania o podobnym stopniu trudności, a nie te, które uczniowie ćwiczyli.
- Utrzymaj kompletność i zadowolenie jako wskaźniki realizacji, raportowane oddzielnie.
To właśnie tutaj dowody z zadań zyskują na znaczeniu. Jeśli pracownicy mogą teraz wykonywać zadania dokładniej w niewidocznych przypadkach, powiązanie między szkoleniem a wszelkimi zmianami operacyjnymi staje się wiarygodne. Jeśli nie, oszczędności prawdopodobnie nie będą efektem szkolenia. Aby dowiedzieć się więcej na temat praktyki pisania i informacji zwrotnej powiązanej z zadaniem, zapoznaj się z naszym przewodnikiem. projektowanie interaktywnej praktyki z użyteczną informacją zwrotną.
3. Połącz dowody zadań z danymi operacyjnymi
Teraz umieść dowód zadania obok danych operacyjnych. Dla każdego pomiaru zanotuj cztery rzeczy: populację (kto jest uwzględniony), mianownik (na roszczenie, na pracownika lub na miesiąc), okres i źródło.
Typowe wskaźniki w projektach usprawnień administracyjnych obejmują wskaźnik poprawek, odsetek roszczeń odrzuconych z przyczyn, których można uniknąć, czas realizacji zadania oraz koszt pojedynczej transakcji. Przelicz każdą zmianę na pieniądze tylko na podstawie kosztu jednostkowego zatwierdzonego przez partnera finansowego. Następnie podaj wartość, która ma znaczenie:
- Szacunkowe korzyści: zmiana miary pomnożona przez uzgodniony koszt jednostkowy.
- Udział przypisany szkoleniu: uzasadniony procent, nie przypuszczenie, z zapisanym uzasadnieniem.
- Szacunek netto: przypisana korzyść pomniejszona o koszty szkolenia i projektu, które zdecydowałeś się uwzględnić.
Traktuj wiarygodne powiązanie jako wiarygodne powiązanie. Spadek liczby poprawek po treningu jest zgodny z działaniem treningu. Nie dowodzi jednak, że tak było.
4. Weź pod uwagę alternatywne wyjaśnienia
Przeanalizuj, co jeszcze zmieniło się w okresie porównawczym. Krótka lista kontrolna może okazać się pomocna:
- Obciążenie pracą. Czy wolumeny wzrosły, czy spadły? Spokojniejszy kwartał często oznacza mniej błędów.
- Personel Czy odeszli doświadczeni ludzie, czy też przybyli nowi, którzy nigdy nie przeszli szkolenia?
- Struktura klientów i płatników. Czy rodzaje roszczeń uległy zmianie?
- Zmiany procesów lub systemów. Czy coś jeszcze w sposobie pracy uległo zmianie?
Jeśli to możliwe, stosuj porównanie. dopasowane porównanie przygląda się podobnemu zespołowi, który nie przeszedł jeszcze szkolenia. stopniowe wdrażanie daje ci to porównanie niemal za darmo: zespoły przeszkolone później stanowią kontrolę dla zespołów przeszkolonych wcześniej. Żadne z tych rozwiązań nie zawsze jest możliwe w szpitalu, gdzie każdy zespół może potrzebować zmiany jednocześnie, a w takim przypadku szczerze zgłaszasz niższy poziom pewności siebie.
Przydatny jest w tym kontekście przegląd z 2022 roku opublikowany w BMC Health Services Research, dotyczący zwrotu z poprawy jakości opieki zdrowotnej na dużą skalę. Jego autorzy definiują zwrot szeroko, jako wszelką wartość pieniężną lub niepieniężną wynikającą z poprawy jakości, i wskazują, że rezultaty są ze sobą powiązane i trudne do zaobserwowania. Sugerują oni ocenę wkładu w rezultaty, zamiast przypisywania im bezpośredniej atrybucji, i nazywają tradycyjny zwrot z inwestycji (ROI) „dystalnym i niekompletnym wskaźnikiem wartości QI” (Thusini i wsp., BMC Health Services Research, 2022). To samo dotyczy projektów administracyjnych. Przedstawiaj dowody swojego wkładu i zaufanie do niego, a nie podawaj pojedynczej liczby z fałszywą precyzją.
5. Zgłoś wyniki i wybierz następną akcję
Raport, którym może zająć się komisja finansowa, mieści się na jednej stronie. Ten przykładowy układ celowo pozostawia pola wyników puste. Wypełnij je własnymi danymi, nigdy pożyczonymi rozmiarami efektu.
| Pole | Co nagrywać | Wynik |
|---|---|---|
| Interwencja i role | Program, projekt i osoby biorące w nim udział | |
| Populacja i okres | Kto jest uwzględniony, od kiedy do kiedy | |
| Wyniki zadań bazowych i kontrolnych | Te same kryteria, różne przypadki | |
| Miara operacyjna i mianownik | Na przykład wskaźnik przeróbek na 100 roszczeń | |
| Szacunkowa korzyść | Zmiana pomnożona przez zatwierdzony koszt jednostkowy | |
| Udział przypisany szkoleniu i dlaczego | Rozumowanie, porównanie użyte | |
| Koszty dostawy i eksploatacji | Wymienione osobno | |
| Szacunek netto i pewność | Wysoki, średni lub niski, z uzasadnieniem | |
| Inne zmiany w okresie | Obciążenie pracą, obsada kadrowa, mieszanka, proces | |
| Zalecane działanie | Skaluj, popraw lub zatrzymaj |
Zdecyduj z wyprzedzeniem, co uzasadniałoby każde działanie. Możesz skalować program, gdy wyniki zadań poprawią się w nieobserwowanych przypadkach, środki operacyjne posuną się w oczekiwanym kierunku, inne wyjaśnienia zostaną sprawdzone, a szacunki netto pozostaną dodatnie przy ostrożnych założeniach. Możesz go zrewidować, gdy wyniki zadań poprawią się, ale środki operacyjne nie, co sugeruje ograniczenia poza szkoleniem. Możesz go przerwać, gdy żadne z nich się nie zmieni. Uzgodnij te zasady ze swoim sponsorem, zanim zobaczysz liczby, aby wynik nie decydował o kryteriach.
Przeanalizuj realistyczny przykład
Przykład. Partner finansowy i kierownik ds. informatyki lub zgodności powinni zweryfikować przypadek i kryteria odpowiedzi przed ich użyciem.
Walizka. Zespół przeprojektowuje proces rozpatrywania roszczeń, jednocześnie zmieniając obsadę kadrową i wolumen. W ciągu sześciu miesięcy od szkolenia liczba poprawek spadła. W tym samym okresie odeszło dwóch doświadczonych programistów, a wolumen nieznacznie spadł w drugim kwartale.
Zadanie. Uczestnik szacuje oszczędności, jakie można racjonalnie uzyskać dzięki szkoleniu, wyjaśnia decyzję, przytacza dowody i podaje informacje, których nadal brakuje.
Pierwsza próba. „Poprawki spadły, więc szkolenie uratowało całą różnicę. Pomnożyłem spadek przez koszt pojedynczej poprawki i zgłosiłem to jako zwrot z inwestycji”. To przypisuje szkoleniem wszystko, ignorując inne zmiany.
Prześlij opinię i spróbuj ponownie. Trener pyta, co jeszcze się zmieniło, czy przeszkolony i nieprzeszkolony personel różnią się między sobą oraz skąd wziął się koszt jednostkowy. Uczeń jest proszony o podzielenie korzyści.
Silniejsza próba. „Liczba poprawek spadła, ale odeszło dwóch doświadczonych programistów, a wolumen spadł, więc nie mogę przypisać tego wszystkiego szkoleniom. Wyniki zadań w nieobserwowanych przypadkach wzrosły, co potwierdza wkład szkoleń. Zgłosiłbym zaobserwowane oszczędności, zmniejszony udział, który mogę uzasadnić, oraz niski lub średni poziom pewności. Aby zwiększyć pewność, potrzebuję poprawek wykonanych przez przeszkolony i nieprzeszkolony personel, a koszt jednostkowy z finansów”. To oddziela zaobserwowane oszczędności od faktycznie poniesionych i wskazuje, jakich dowodów brakuje.
Oceń zdolność za pomocą prostej rubryki
Oceń każde kryterium od 0 do 2:
| Kryterium | Obserwowalne dowody |
|---|---|
| Wykonanie zadania | Mierzy koszty i korzyści projektu powiązanego ze szkoleniem i rejestruje dowody potwierdzające każdą liczbę. |
| Rozumowanie | Wyjaśnia ograniczenia, alternatywy i niepewność, a także sprawdza szacunki kosztów netto i pewność atrybucji. |
| Granice | Stosuje zatwierdzone procedury i szuka pomocy, gdy informacje lub uprawnienia są niewystarczające. |
Kotwice: 0 oznacza brak lub brak uzasadnienia, 1 oznacza częściowe pominięcie istotnych elementów, a 2 oznacza kompletne i uzasadnione w odniesieniu do uzgodnionych kryteriów. Należy zdefiniować błędy krytyczne osobno, takie jak przypisanie całej zmiany do szkolenia bez sprawdzenia innych przyczyn, aby wynik ogólny nie mógł ich ukryć. Niniejsza rubryka jest propozycją, a nie zatwierdzonym standardem gotowości: dostosuj ją wspólnie z praktykiem i przeprowadź pilotaż. Aby dopasować każde ćwiczenie do wymaganego sposobu myślenia, zapoznaj się z naszym przewodnikiem. dopasowywanie działań edukacyjnych do taksonomii Blooma.
Gdzie interaktywna dostawa pomaga
Formaty interaktywne pomagają uczestnikom w podjęciu decyzji, zanim usłyszą odpowiedź. Podczas sesji na żywo prowadzący może przedstawić przypadek, poprosić każdą osobę o wpisanie części oszczędności, jaką przypisałaby szkoleniu, a następnie pokazać różnicę przed omówieniem różnic w szacunkach. Ten sam przypadek można opracować we własnym tempie, aby się przygotować. AhaSlides wspiera interaktywne uczenie się i przełączanie między trybem pracy na żywo a we własnym tempie. Sprawdź każdą konkretną funkcję tworzenia, przekazywania informacji zwrotnych lub raportowania, na której planujesz polegać, w kontekście własnego procesu pracy, i traktuj sztuczną inteligencję, symulatory i integracje systemowe jako zewnętrzne lub niepotwierdzone, dopóki nie przekonasz się, jak działają. Wskazówki dotyczące wyboru formatów znajdziesz w naszym artykule na temat kiedy stosować naukę adaptacyjną, interaktywną i na żywo.
Ograniczenia, które mogą pozostać
- Atrybucja. Bez grupy porównawczej można oszacować wkład, ale nie można udowodnić przyczyny.
- Opóźnienie czasowe. Niektóre oszczędności pojawiają się z upływem kwartałów, a ich pojawienie się może nastąpić w krótkim czasie.
- Jakość danych. Dane operacyjne mogą być niekompletne lub ich definicje mogą ulegać zmianom w trakcie okresu.
- Inne zmiany. Zasady dotyczące obsady kadrowej, wielkości zamówienia i płac mogą przyćmić niewielki efekt szkolenia.
- Transfer. Wydajność w trakcie szkolenia nie jest taka sama, jak wydajność pod presją dnia codziennego.
Poinformuj o tym sponsorów już na początku. Szkolenie poprawia umiejętności ludzi. Nie zmienia warunków pracy.
PYTANIA I ODPOWIEDZI
Jaki jest zwrot z inwestycji w szkolenia z zakresu poprawy jakości?
Porównuje korzyści projektu doskonalenia powiązanego ze szkoleniem z jego kosztami, zazwyczaj jako stosunek korzyści netto do kosztów. Kluczowym krokiem jest określenie, ile korzyści można uczciwie przypisać szkoleniu.
Czy możesz udowodnić, że szkolenia przyniosły oszczędności?
Rzadko. Dopasowane porównanie lub stopniowe wdrażanie dostarczają silniejszych dowodów, ale w większości szpitali zgłasza się uzasadniony wkład i poziom pewności, a nie dowód.
Czy koszty dostawy i koszty operacyjne należy liczyć razem?
Zgłaszaj je osobno. Koszty dostawy opisują samo szkolenie. Koszty operacyjne opisują szerszy projekt usprawnień. Określ, jaka suma jest uwzględniona w Twoim zwrocie z inwestycji (ROI).
Czy badanie satysfakcji jest dowodem oszczędności?
Nie. Satysfakcja i realizacja to wskaźniki realizacji. Oszczędności wymagają dowodów realizacji zadań i danych operacyjnych.
Gdzie zacząć
Wybierz jeden projekt usprawnień, który ma już punkt odniesienia. Zapisz decyzję, którą analiza musi poprzeć, wymień koszty, które uwzględnisz, wybierz jedną miarę operacyjną wraz z jej mianownikiem i poproś partnera finansowego o zatwierdzenie kosztu jednostkowego. Przygotuj jednostronicowy raport z pustymi polami wyników i uzgodnij zasady dotyczące skali, korekty lub wstrzymania przed otrzymaniem danych.
Aby zobaczyć, jak taki przypadek można przeprowadzić na żywo z udziałem własnego zespołu, a następnie wykorzystać go ponownie w indywidualnym tempie, zapoznaj się z AhaSlides.
