Окупаемость инвестиций в обучение по повышению качества: как количественно оценить экономию от проектов по улучшению административных процессов.

Команда больницы перестраивает свой процесс обработки заявок. Она обучает административный персонал новому процессу, и через шесть месяцев стоимость одной заявки снижается. Финансовый отдел доволен и просит назвать цифру: сколько удалось сэкономить благодаря обучению?

Ответить честно сложнее, чем задать вопрос. За те же шесть месяцев произошли изменения в штатном расписании, увеличился объем заявок, и одна из страховых компаний изменила свои правила. Часть экономии была достигнута за счет реорганизации, часть — за счет обучения, а часть — без каких-либо дополнительных мер. Оценка рентабельности инвестиций в обучение для повышения качества заключается в разделении этих элементов и представлении отчета о результатах с заявленным уровнем достоверности.

Это иллюстративный сценарий, а не задокументированный случай. Данное руководство предназначено для директоров по обучению и развитию персонала в больницах, а также для руководителей отделов информатики или соответствия нормативным требованиям, работающих с ними. В нем рассматривается, как определить критерии сравнения, измерить фактическую задачу, связать полученные данные с оперативными данными, исключить другие объяснения и представить результаты, не преувеличивая.

Что такое рентабельность инвестиций в обучение по повышению качества?

Показатель рентабельности инвестиций в обучение для повышения качества сравнивает выгоды от проекта по улучшению качества, связанного с обучением, с его затратами. Он задает вопрос, что организация получила такого, чего не получила бы без обучения, и стоило ли это приобретение затрат на обучение и проект. Наиболее распространенная форма проста: чистая выгода (выгода минус затраты), деленная на затраты, выраженная в процентах.

Арифметические вычисления — это легко. Сложнее определить, какие преимущества относятся к обучению. Институт ROI, который продвигает пятиуровневую систему оценки, выделяет «изолирование эффектов проекта» в качестве отдельного этапа при анализе данных.Институт ROIЕго пять уровней — это реакция, обучение, применение, воздействие и рентабельность инвестиций. Удовлетворенность и завершение находятся на первом уровне. Они являются полезными индикаторами выполнения, но не свидетельствуют об экономии.

Интересные факты

1. Определите результат и критерии сравнения.

Прежде чем собирать данные, запишите три вещи: суть вмешательства, затронутые роли и решение, которое должен подтвердить анализ. Вопрос «Сэкономило ли обучение деньги?» слишком расплывчатый. Вопрос «Следует ли распространить программу обработки заявок на второй объект?» — это решение, и оно указывает, каких доказательств будет достаточно.

Затем разделите затраты на два вида. Цена доставки В стоимость входит время, затраченное на разработку дизайна, время, затраченное на работу фасилитатора или тренера, часы обучения, материалы и любое программное обеспечение. Эксплуатационные расходы Опишите изменения в самом процессе: новые инструменты, пересмотренные процедуры, временный двойной запуск, пока персонал осваивает новый метод. Показатель рентабельности инвестиций в обучение, учитывающий только затраты на реализацию, льстит программе. Показатель рентабельности инвестиций, учитывающий все факторы, может быть правильным критерием для проекта по улучшению, но несправедливым по отношению к обучению. Определите, на какой вопрос вы отвечаете, и укажите это в отчете.

Время сотрудников заслуживает внимания. Часы, затраченные на обучение, — это реальные затраты, даже если никто не выставляет счета, поэтому учитывайте их, используя ставку, согласованную с вашим финансовым партнером.

2. Оцените фактическое выполнение задачи.

Задача здесь не в том, чтобы «посетить программу». Это то, что обучающийся делает на работе, например, проверяет заявления по новому контрольному списку, кодирует отказы по причинам или регистрирует исключения. Измерьте это с помощью наблюдаемых данных.

1. Установите исходный уровень Перед началом обучения: выполнение ряда реальных или реалистичных заданий, оцениваемых по согласованным критериям.
2. Проведите аналогичную оценку. После обучения использовались новые задания аналогичной сложности, а не те, на которых обучающиеся тренировались.
3. Сохраняйте завершенность и удовлетворение. в качестве показателей доставки, сообщаемых отдельно.

Именно здесь на помощь приходит анализ результатов выполнения задач. Если сотрудники теперь могут выполнять задачу более точно в случаях, с которыми они раньше не сталкивались, связь между обучением и любыми операционными изменениями становится очевидной. Если же они не могут, то экономия вряд ли будет достигнута благодаря обучению. Более подробную информацию о практике написания текстов и обратной связи, связанной с выполнением задачи, см. в нашем руководстве. разработка интерактивных методов обучения с полезной обратной связью.

3. Сопоставьте данные о выполненной задаче с оперативными данными.

Теперь сопоставьте данные о выполненной задаче с оперативными данными. Для каждого показателя запишите четыре параметра: генеральную совокупность (кто включен), знаменатель (на одно обращение, на одного сотрудника или на месяц), период и источник.

В проектах по улучшению административной работы обычно используются такие показатели, как процент доработок, доля отклоненных заявок по уважительным причинам, время выполнения задачи и стоимость транзакции. Преобразуйте каждое изменение в деньги только с помощью удельной стоимости, утвержденной вашим финансовым партнером. Затем получите показатель, имеющий значение:

• Предполагаемая выгода: Изменение показателя, умноженное на согласованную удельную стоимость.
• Доля, обусловленная обучением: Обоснованный процент, а не предположение, с подробным обоснованием.
• Чистая оценка: Выгода, полученная в результате обучения, за вычетом затрат на обучение и проект, которые вы решили включить.

Рассматривайте правдоподобную связь как правдоподобную связь. Снижение объема доработок после обучения согласуется с тем, что обучение сработало. Но это не доказывает его эффективность.

4. Объясните альтернативные варианты.

Проанализируйте, что еще изменилось за период сравнения. Для этого пригодится короткий контрольный список:

1. Нагрузка. Объемы выросли или упали? Более спокойный квартал часто означает меньшее количество ошибок.
2. Комплектование. Ушли ли опытные сотрудники, или пришли новые, которые не проходили никакого обучения?
3. Состав клиентов или плательщиков. Изменились ли типы претензий?
4. Изменения в процессе или системе. Изменилось ли что-нибудь еще в рабочем процессе одновременно?

По возможности используйте сравнение. сопоставленное сравнение Рассматривается аналогичная команда, которая еще не прошла необходимую подготовку. поэтапное развертывание Это позволяет вам провести такое сравнение практически бесплатно: команды, прошедшие обучение позже, выступают в качестве контрольной группы для команд, прошедших обучение первыми. Ни один из этих вариантов не всегда возможен в больнице, где изменения могут потребоваться всем командам одновременно, и в этом случае вы честно указываете более низкий уровень достоверности.

В данном контексте полезен обзор 2022 года, опубликованный в журнале BMC Health Services Research, посвященный отдаче от масштабных улучшений качества здравоохранения. Авторы определяют отдачу широко, как любую денежную или неденежную ценность, полученную в результате улучшения качества, и указывают на то, что результаты взаимосвязаны и их трудно наблюдать. Они предлагают оценивать вклад в результаты, а не утверждать о прямой связи с ними, и называют традиционный ROI «отдаленным и неполным показателем ценности улучшения качества».Тусини и др., BMC Health Services Research, 2022Это относится и к административным проектам. Сообщайте о доказательствах вашего вклада и вашей уверенности в нем, а не об одной цифре с ложной точностью.

5. Сообщите о результатах и ​​выберите следующее действие.

Отчет, на основании которого финансовый комитет может принять решение, помещается на одной странице. В этом примере поля результатов намеренно оставлены пустыми. Заполняйте их собственными данными, никогда не используйте заимствованные показатели величины эффекта.

Заранее определите, что оправдывает каждое действие. Вы можете масштабировать программу, когда улучшатся результаты выполнения заданий в ранее не встречавшихся случаях, операционные показатели изменятся в ожидаемом направлении, будут проверены другие объяснения, а чистая оценка останется положительной при осторожных предположениях. Вы можете пересмотреть ее, когда улучшатся результаты выполнения заданий, но операционные показатели не изменятся, что указывает на ограничения вне процесса обучения. Вы можете остановить программу, когда ни то, ни другое не изменится. Согласуйте эти правила со своим спонсором до того, как увидите цифры, чтобы результат не определял критерии.

Проработайте реалистичный пример.

Это иллюстративный пример. Перед использованием финансовый партнер и руководитель отдела информатики или соответствия нормативным требованиям должны проверить кейс и критерии ответа.

Дело. Команда перестраивает рабочий процесс обработки заявок, при этом меняются численность персонала и объемы работы. За шесть месяцев после обучения объем доработок сократился. За тот же период уволились два опытных кодировщика, а во втором квартале объем работы немного снизился.

Задача. Обучающийся оценивает потенциальную экономию, которую можно получить благодаря обучению, объясняет принятое решение, приводит подтверждающие доказательства и указывает недостающую информацию.

Первая попытка. «Количество доработок сократилось, поэтому обучение позволило сэкономить всю разницу. Я умножил это снижение на наши затраты на одну доработку и отразил это как рентабельность инвестиций». Таким образом, все расходы приписываются обучению, а остальные изменения игнорируются.

Отправьте отзыв и попробуйте снова. Тренер спрашивает, что еще изменилось, есть ли различия между обученным и необученным персоналом и откуда взялась себестоимость единицы продукции. Учащемуся предлагается разделить полученную выгоду.

Более убедительная попытка. «Объем доработок снизился, но два опытных программиста ушли, и объем работы упал, поэтому я не могу полностью списать это на обучение. Оценки за задачи по ранее не встречавшимся случаям выросли, что подтверждает вклад обучения. Я бы сообщил о наблюдаемой экономии, о снижении доли, которую я могу обосновать, и о низком или среднем уровне достоверности. Для повышения уровня достоверности мне необходима информация о доработках, выполненных обученным и необученным персоналом, а также данные о себестоимости единицы продукции от финансового отдела». Это позволяет отделить наблюдаемую экономию от экономии, достигнутой в результате обучения, и указать, каких доказательств не хватает.

Оцените свои возможности с помощью простой оценочной шкалы.

Оцените каждый критерий по шкале от 0 до 2:

Критерии оценки: 0 означает отсутствие или неподтвержденность, 1 — частичное выполнение с существенными упущениями, 2 — полное выполнение и обоснование в соответствии с согласованными критериями. Критические ошибки определяются отдельно, например, полное отнесение изменений к обучению без проверки других причин, поэтому общая оценка не может скрывать ошибку. Данная рубрика является предложением, а не утвержденным стандартом готовности: адаптируйте ее совместно с практикующим специалистом и проведите пилотное тестирование. Чтобы соотнести каждое задание с требуемым уровнем мышления, см. наше руководство по соответствие учебных мероприятий таксономии Блума.

Где интерактивная доставка помогает

Интерактивные форматы помогают участникам определить свою позицию до получения готового ответа. На онлайн-занятии модератор может показать пример, попросить каждого участника указать долю экономии, которую он считает результатом обучения, а затем показать разницу между оценками и результатами, прежде чем обсуждать причины расхождения. Тот же пример можно пройти в удобном для себя темпе. AhaSlides поддерживает интерактивное обучение и переключение между онлайн-занятиями и самостоятельным обучением. Проверьте любые функции создания контента, обратной связи или отчетности, которые вы планируете использовать, на соответствие вашему рабочему процессу, и рассматривайте ИИ, симуляторы и системную интеграцию как внешние или неподтвержденные, пока не убедитесь в их работоспособности. Рекомендации по выбору форматов см. в нашей статье. Когда использовать адаптивное, интерактивное и обучение в режиме реального времени?.

Ограничения, которые могут остаться

• Attribution. Без контрольной группы можно оценить вклад, но не доказать причинно-следственную связь.
• Время задержки. Некоторые сбережения появляются только через квартал, и за короткий промежуток времени их можно упустить.
• Качество данных. Оперативные данные могут быть неполными, или их определения могут измениться в середине периода.
• Прочие изменения. Штатное расписание, объемы работы и правила плательщиков могут нивелировать небольшой эффект от обучения.
• Перевод. Результаты, достигнутые в ходе обучения, отличаются от результатов, достигнутых в условиях повседневного стресса.

Сообщите об этом спонсорам на раннем этапе. Обучение улучшает навыки людей, но не меняет условий труда.

Часто задаваемые вопросы

Что такое рентабельность инвестиций в обучение по повышению качества?

Он сравнивает выгоды от проекта по улучшению, связанного с обучением, с его затратами, обычно в виде чистой выгоды, деленной на затраты. Ключевым шагом является определение того, какую часть выгоды можно справедливо присвоить обучению.

Можете ли вы доказать, что экономия стала результатом обучения?

Редко. Сравнительный анализ или поэтапное внедрение дают более убедительные доказательства, но в большинстве больничных учреждений вы сообщаете об обоснованном вкладе и уровне уверенности, а не о доказательствах.

Следует ли учитывать затраты на доставку и операционные расходы вместе?

Укажите их отдельно. Затраты на проведение обучения описывают сами затраты на обучение. Операционные расходы описывают более масштабный проект по улучшению. Укажите, какую общую сумму вы используете для расчета рентабельности инвестиций.

Является ли опрос удовлетворенности свидетельством экономии?

Нет. Удовлетворенность и завершенность являются показателями эффективности. Для экономии необходимы подтверждающие данные о выполненной работе и оперативные данные.

Когда начать

Выберите один проект по улучшению, для которого уже существует базовый уровень. Сформулируйте решение, которое должен подтвердить анализ, перечислите затраты, которые вы включите, выберите один операционный показатель с его знаменателем и попросите финансового партнера утвердить удельную стоимость. Составьте одностраничный отчет с пустыми полями для результатов и согласуйте масштаб, правила пересмотра или прекращения до получения данных.

Чтобы увидеть, как подобный пример можно отработать в реальных условиях с вашей командой и затем использовать в удобном для вас темпе, изучите AhaSlides.