Команда лікарні переробляє свій робочий процес подання заяв. Вона навчає адміністративний персонал новому процесу, і через шість місяців вартість однієї заяви знизилася. Фінансовий відділ задоволений і запитує цифру: скільки заощадило навчання?
Чесна відповідь складніша за запитання. За ті ж шість місяців змінився штатний розклад, зросла кількість заявок на відшкодування, а один платник змінив свої правила. Частина економії була отримана завдяки редизайну, частина – завдяки навчанню, а частина – ні в чому з перерахованого вище. Рентабельність інвестицій у навчання з покращення якості – це робота з розділення цих частин та звітування про те, що залишилося, із заявленим рівнем достовірності.
Це ілюстративний сценарій, а не задокументований випадок. Цей посібник призначений для директорів з навчання та розвитку лікарень та керівників відділів інформатики або комплаєнсу, які з ними працюють. У ньому розповідається, як визначити порівняння, виміряти фактичне завдання, пов’язати ці докази з операційними даними, виключити інші пояснення та повідомити про результати без перебільшення.
Що таке рентабельність інвестицій у навчання з покращення якості?
Коефіцієнт рентабельності інвестицій (ROI) у сфері підвищення якості навчання порівнює переваги проекту з покращення, пов'язаного з навчанням, з його витратами. Він запитує, що отримала організація такого, чого б вона не отримала без навчання, і чи вартував цей виграш вартості навчання та проекту. Найпоширеніша форма є простою: чисті вигоди (вигоди мінус витрати), поділені на витрати, показані у відсотках.
Арифметика — це найлегша частина. Найскладніше — вирішити, які переваги належать до навчання. Інститут ROI, який пропагує п'ятирівневу систему оцінювання, вказує «ізолювати ефекти проекту» як свій власний крок під час аналізу даних (Інститут рентабельності інвестицій). Його п'ять рівнів – це реакція, навчання, застосування, вплив та рентабельність інвестицій. Задоволення та завершення знаходяться на першому рівні. Вони є корисними показниками виконання, але не свідчать про економію.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Яке завдання? | Виміряйте вартість та вигоди від проекту з удосконалення, пов'язаного з навчанням. |
| Який бал ви отримуєте? | Оцінка чистої вартості та впевненість в атрибуції. |
| Чи достатньо опитування щодо задоволеності? | Ні. Це показує, як курс був сприйнятий, а не що він заощадив. |
| Хто валідує метод? | Фінансовий партнер та керівник відділу інформатики або комплаєнсу. |
| Чого не можуть виправити тренування? | Зміни у штаті, коливання обсягів та правила платників відбуваються одночасно. |
| Звідки ви знаєте, що це спрацювало? | Порівняння базових та подальших завдань плюс оперативні дані з перевіркою інших причин. |
1. Визначте результат та порівняння
Перш ніж збирати будь-які дані, запишіть три речі: втручання, ролі, на які воно впливає, та рішення, яке має підтверджувати аналіз. «Чи заощадило навчання гроші?» – надто розпливчасте питання. «Чи варто нам поширити програму робочого процесу з врахуванням претензій на другу локацію?» – це питання рішення, яке вказує на те, яких доказів буде достатньо.
Потім розділіть два види витрат. Витрати на доставку охоплюють час розробки, час фасилітатора або коуча, години навчання, матеріали та будь-яке програмне забезпечення. Експлуатаційні витрати Висвітліть зміни в самому процесі: нові інструменти, переглянутий порядок дій, тимчасове дублювання, поки персонал вивчає новий метод. Рентабельність інвестицій у навчання, яка враховує лише витрати на доставку, сприяє програмі. Рентабельність інвестицій, яка враховує все, може бути правильним показником для проекту з покращення, але несправедливою щодо навчання. Визначте, на яке питання ви відповідаєте, і вкажіть це у звіті.
Час персоналу заслуговує на увагу. Години, витрачені на навчання, – це реальні витрати, навіть якщо ніхто не надсилає рахунок, тому обліковуйте їх за ставкою, з якою погоджується ваш фінансовий партнер.
2. Виміряйте фактичне завдання
Завдання тут не полягає в тому, щоб «відвідувати програму». Це те, що учень робить на роботі, наприклад, виправляє заяви щодо нового контрольного списку, кодує відмови за причиною або фіксує виняток. Виміряйте це, використовуючи спостережувані дані.
- Встановіть базову лінію перед навчанням: вибірка реальних або реалістичних завдань, оцінених за узгодженими критеріями.
- Проведіть порівняльну оцінку після навчання, використовуючи нові завдання подібної складності, а не ті, над якими учні практикувалися.
- Зберігайте завершеність та задоволення як показники виконання, про які повідомляється окремо.
Саме тут докази виконання завдання знаходять своє місце. Якщо персонал тепер може виконувати завдання точніше у невидимих випадках, зв'язок між навчанням та будь-якими операційними змінами стає правдоподібним. Якщо вони не можуть, економія навряд чи буде результатом навчання. Щоб дізнатися більше про практику написання та відгуки, що стосуються завдання, див. наш посібник розробка інтерактивної практики з корисним зворотним зв'язком.
3. Зв'яжіть докази виконання завдання з оперативними даними
Тепер помістіть докази завдання поруч з оперативними даними. Для кожного показника запишіть чотири речі: сукупність (хто включено), знаменник (на одну заяву, на одного співробітника або на місяць), період та джерело.
Звичайні показники в проектах адміністративного покращення включають коефіцієнт переробки, частку претензій, відхилених з причин, яких можна уникнути, час виконання завдання та вартість однієї транзакції. Перетворіть кожну зміну в гроші лише з урахуванням вартості одиниці, затвердженої вашим фінансовим партнером. Потім надайте важливу цифру:
- Очікувана вигода: зміна показника, помножена на узгоджену вартість одиниці.
- Частка, що відноситься до навчання: обґрунтований відсоток, а не припущення, із записаним обґрунтуванням.
- Чиста оцінка: приписана вигода мінус витрати на навчання та проект, які ви вирішили включити.
Розглядайте правдоподібний зв'язок як правдоподібний зв'язок. Падіння рівня переробки після навчання узгоджується з тим, що навчання працювало. Це не доводить, що воно так і було.
4. Врахуйте альтернативні пояснення
З’ясуйте, що ще змінилося протягом періоду порівняння. Короткий контрольний список допоможе:
- Навантаження. Обсяги зросли чи впали? Спокійніший квартал часто означає менше помилок.
- Кадровий підбір. Чи пішли досвідчені люди, чи приєдналися нові, які ніколи не проходили навчання?
- Змішаний склад клієнтів або платників. Чи змінилися види позовних вимог?
- Зміни в процесі або системі. Чи щось ще змінилося в робочому процесі одночасно?
Де можливо, використовуйте порівняння. зіставлене порівняння розглядає подібну команду, яка ще не пройшла навчання. А поетапне розгортання дає вам це порівняння майже безкоштовно: команди, навчені пізніше, служать контролем для команд, навчених спочатку. Ні те, ні інше не завжди можливо в лікарні, де кожна команда може потребувати змін одночасно, і в такому випадку ви чесно повідомляєте про нижчий рівень достовірності.
Тут корисним буде огляд 2022 року в BMC Health Services Research, присвячений віддачі від масштабного покращення якості охорони здоров'я. Його автори визначають віддачу в широкому сенсі, як будь-яку грошову або негрошову цінність, отриману в результаті покращення якості, і зазначають, що результати взаємопов'язані та їх важко спостерігати. Вони пропонують оцінювати внесок у результати, а не претендувати на пряме приписування, і називають традиційну рентабельність інвестицій (ROI) «дистальним і неповним маркером значення QI» (Тусіні та ін., Дослідження медичних послуг BMC, 2022). Це також стосується адміністративних проектів. Повідомляйте про докази внеску та вашу впевненість у ньому, а не про окрему цифру з хибною точністю.
5. Повідомте про результати та виберіть наступну дію
Звіт, який може розглянути фінансовий комітет, поміщається на одній сторінці. У цьому зразку макета поля результатів навмисно залишаються порожніми. Заповнюйте їх власними даними, а не запозиченими розмірами ефектів.
| Поле | Що записувати | Результат |
|---|---|---|
| Втручання та ролі | Програма, проєкт та хто брав участь | |
| Населення та період | Хто включений, з якого часу і до якого часу | |
| Базові та подальші бали за завдання | Ті самі критерії, різні випадки | |
| Операційна міра та знаменник | Наприклад, коефіцієнт переробки на 100 заявок | |
| Очікувана вигода | Зміна, помножена на затверджену вартість одиниці | |
| Частка, пов'язана з навчанням, і чому | Міркування, використане порівняння | |
| Витрати на доставку та експлуатацію | Окремо зазначено | |
| Чиста оцінка та довіра | Високий, середній або низький, з поясненням причини | |
| Інші зміни за період | Робоче навантаження, персонал, поєднання, процес | |
| Рекомендовані дії | Масштабування, перегляд або зупинка |
Заздалегідь вирішіть, що виправдовуватиме кожну дію. Ви можете масштабувати програму, коли оцінки завдань покращаться у невидимих випадках, операційні показники змістяться в очікуваному напрямку, інші пояснення будуть перевірені, а чиста оцінка залишиться позитивною на основі обережних припущень. Ви можете переглянути її, коли оцінки завдань покращаться, але операційні показники не покращаться, що свідчить про обмеження поза навчанням. Ви можете зупинити її, коли ні те, ні інше не зміниться. Узгодьте ці правила зі своїм спонсором, перш ніж побачити цифри, щоб результат не визначав критерії.
Опрацювати на реалістичному прикладі
Ілюстрація. Фінансовий партнер та керівник відділу інформатики або відповідності повинні перевірити справу та критерії відповіді перед використанням.
Справа. Команда переробляє робочий процес обробки заявок, одночасно змінюючи штат та обсяги. Переробка скоротилася протягом шести місяців після навчання. Двоє досвідчених кодерів звільнилися протягом того ж періоду, а обсяг дещо знизився у другому кварталі.
Завдання. Учень оцінює економію, яку можна обґрунтовано отримати завдяки навчанню, пояснює своє рішення, наводить докази та називає інформацію, якої ще бракує.
Перша спроба. «Переробка не вдалася, тому навчання врятувало всю різницю. Я помножив падіння на вартість переробки та повідомив про це як рентабельність інвестицій». Це враховує навчання як основну причину всіх змін та ігнорує інші.
Зворотній зв'язок та повторна спроба. Тренер запитує, що ще змінилося, чи відрізняється навчений та ненавчений персонал і звідки взялася собівартість одиниці продукції. Учня просять розділити вигоду.
Сильніша спроба. «Обсяг переробки скоротився, але пішли два досвідчені кодери, і обсяг зменшився, тому я не можу пов’язати це з навчанням. Оцінки завдань за невидимими випадками зросли, що підтверджує внесок навчання. Я б повідомив про спостережувану економію, зменшену частку, яку я можу обґрунтувати, та низький або середній рейтинг достовірності. Щоб підвищити довіру, мені потрібна переробка навченим та ненавченим персоналом, а також вартість одиниці з фінансування». Це відокремлює спостережувану економію від спричиненої економії та вказує, яких доказів бракує.
Оцініть здібності за допомогою простої критерії оцінки
Оцініть кожен критерій від 0 до 2:
| критерій | Спостережувані докази |
|---|---|
| Виконання завдання | Вимірює вартість та вигоди від проекту, пов'язаного з навчанням, та фіксує докази, що підтверджують кожну цифру. |
| Обґрунтування | Пояснює обмеження, альтернативи та невизначеність, а також перевіряє оцінки чистих витрат та впевненість в атрибуції. |
| Межі | Використовує затверджені процедури та звертається за допомогою, коли інформації чи повноважень недостатньо. |
Опорні точки: 0 – відсутній або непідтверджений, 1 – частковий з відповідними пропусками, а 2 – повний та обґрунтований відповідно до узгоджених критеріїв. Визначте критичні помилки окремо, наприклад, повне віднесення змін до навчання без перевірки на інші причини, щоб загальний бал не міг їх приховати. Ця рубрика є пропозицією, а не затвердженим стандартом готовності: адаптуйте її разом із практиком та випробуйте. Щоб узгодити кожну діяльність з необхідним мисленням, див. наш посібник з зіставлення навчальних завдань з таксономією Блума.
Де допомагає інтерактивна доставка
Інтерактивні формати допомагають людям визначити, де саме слід взяти на себе зобов'язання, перш ніж вони почують відповідь. Під час живої сесії фасилітатор може показати кейс, попросити кожну особу ввести частку економії, яку вони б віднесли до навчання, а потім показати розкид, перш ніж обговорити, чому оцінки відрізняються. Той самий кейс може виконуватися у власному темпі для підготовки. AhaSlides підтримує інтерактивне навчання та перехід між живою та самостійною подачею. Звірте будь-яку конкретну функцію створення, зворотного зв'язку чи звітності, на яку ви плануєте покладатися, зі своїм власним робочим процесом та розглядайте штучний інтелект, симулятори та системні інтеграції як зовнішні або непідтверджені, доки ви не побачите їх у роботі. Щоб отримати рекомендації щодо вибору форматів, дивіться нашу статтю про коли використовувати адаптивне, інтерактивне та живе навчання.
Обмеження, які можуть залишитися
- Віднесення. Без групи порівняння можна оцінити внесок, а не довести причину.
- Часовий лаг. Деякі заощадження з'являються лише через 25 центів, і короткий проміжок часу може їх не врахувати.
- Якість даних. Оперативні дані можуть бути неповними, або їх визначення можуть змінитися в середині періоду.
- Інші зміни. Правила щодо персоналу, обсягу та платників можуть звести нанівець незначний ефект від навчання.
- Трансфер Продуктивність у навчальному кейсі не те саме, що продуктивність під щоденним тиском.
Назвіть їх спонсорам заздалегідь. Навчання покращує можливості людей. Воно не змінює умов навколо роботи.
Часті питання
Що таке рентабельність інвестицій у навчання з покращення якості?
Він порівнює переваги проекту з удосконалення, пов'язаного з навчанням, з його витратами, зазвичай як чисті вигоди, поділені на витрати. Ключовим кроком є визначення того, яку частину переваг навчання можна справедливо претендувати на себе.
Чи можете ви довести, що навчання спричинило економію?
Рідко. Порівняльне впровадження або поетапне впровадження дають переконливіші докази, але в більшості лікарняних установ повідомляється про виправданий внесок та рівень достовірності, а не про докази.
Чи варто враховувати витрати на доставку та експлуатаційні витрати разом?
Повідомляйте про них окремо. Витрати на доставку описують саме навчання. Операційні витрати описують ширший проект з удосконалення. Вкажіть, яку загальну суму використовує ваша рентабельність інвестицій.
Чи є опитування щодо задоволеності доказом заощаджень?
Ні. Задоволення та виконання є показниками виконання. Для економії потрібні докази виконання завдань та операційні дані.
З чого почати
Виберіть один проект з покращення, який вже має базову лінію. Запишіть рішення, яке має підтвердити аналіз, перелічіть витрати, які ви включите, виберіть один операційний захід з його знаменником і попросіть фінансового партнера затвердити собівартість одиниці. Складіть односторінковий звіт з порожніми полями результату та узгодьте правила масштабування, перегляду або зупинки до надходження даних.
Щоб побачити, як подібний випадок можна реалізувати у вашій команді та використовувати повторно у власному темпі згодом, ознайомтеся з AhaSlides.
