В понедельник менеджер по обучению открывает панель управления обучением. Уровень завершения — 96 процентов. Средний уровень удовлетворенности — 4.5 из 5. Затем руководитель группы задает неудобный вопрос: «Менялось ли как-то иначе обрабатывать эти конфликтные ситуации с клиентами?» Панель управления не может ответить. Она фиксирует, что курс завершен, а не то, что что-то изменилось в работе.
Это тот пробел, который оставляют большинство показателей эффективности обучения. Завершение обучения показывает, кто дошел до конца. Оно не показывает, кто освоил навык, кто его использовал или произошел ли прогресс в бизнесе. Это руководство предоставляет вам иерархию доказательств и одностраничный план измерения, который вы можете заполнить для любой программы, не делая вид, что для каждого курса необходимо проводить полное причинно-следственное исследование рентабельности инвестиций.
Приведенный выше начальный сценарий является иллюстративным и не отражает реальное положение дел у клиента.
Интересные факты
| Вопрос | Короткий ответ |
|---|---|
| Что не так с показателями завершения заданий? | Они измеряют участие, а не обучение или изменения на рабочем месте. |
| Что следует измерить вместо этого? | Обучение в соответствии с поставленными целями, перенос полученных знаний на рабочее место, а затем оперативные результаты в контексте. |
| Необходим ли анализ рентабельности инвестиций для каждого курса? | Нет. Необходимо соотнести глубину доказательств с принимаемым решением. |
| Что должно входить в план измерений? | Результат, показатель, источник, знаменатель, сроки и владелец |
1. Определите, какое решение должны поддерживать данные.
Прежде чем выбрать показатель, определите, для какого решения он будет предназначен. Для трех распространенных случаев требуются разные доказательства:
- Улучшите программу. Необходимо понимать, в каких областях у учащихся возникали трудности, поэтому результаты на уровне отдельных заданий и задач имеют большее значение, чем просто проходной балл.
- Подтвердите готовность. Необходимо предоставить доказательства того, что человек способен выполнить определенную задачу в соответствии с согласованными стандартами, обычно это достигается путем наблюдения или оценки результатов.
- Оцените процесс внедрения. Необходимо сравнивать группы или периоды, поэтому наиболее важны согласованные показатели, знаменатели и временные рамки.
Если вы не можете сказать, какое решение подтверждают данные, вы соберете все подряд и сделаете мало выводов. Небольшой тест: если бы результат оказался плохим, что бы вы сделали по-другому? Если ответ «ничего», то этот показатель не оправдывает себя.
2. Оценивайте результаты обучения в соответствии с поставленными целями.
Начинайте с должностных обязанностей, а не с содержания курса. Сформулируйте цель как то, что делает человек («рассмотреть эскалированную жалобу, используя согласованные критерии»), а затем разработайте оценку в соответствии с этим. Центр Эберли при Университете Карнеги-Меллона ясно указывает на основную мысль: оценки, цели и учебные мероприятия должны взаимно усиливать друг друга, а обучение аналитическим навыкам с оценкой только фактического запоминания приводит к тому, что учащиеся практикуют не то, что нужно.Рекомендации Центра Эберли по согласованию оценок, целей и стратегий обучения.).
На практике это дает вам три варианта дизайна:
- Установите базовый уровень. Оцените задачу до начала обучения или используйте краткую диагностику, чтобы знать, с какого уровня начинается обучение у каждого ученика. Без базового уровня хороший результат после обучения может просто отражать предыдущий уровень навыков.
- Используйте соответствующий метод последующего наблюдения. Последующая оценка должна проверять выполнение того же задания и соответствие тому же стандарту, используя новый пример, а не тот, который отрабатывался ранее. Повторение идентичных заданий поощряет запоминание ответов.
- Удовлетворенность следует рассматривать отдельно. Реакции обучающихся помогают улучшить качество обучения, однако Центры по контролю и профилактике заболеваний США (CDC) в своих рекомендациях по оценке обучения четко указывают, что удовлетворенность обучающихся не определяет эффективность обучения.Центр по контролю и профилактике заболеваний (CDC) оценивает обучение: измерение эффективности.Сообщите об этом, но ни в коем случае не используйте это как замену обучению.
Здесь поможет простая трехбалльная шкала. Оцените каждый критерий по шкале от 0 (отсутствует или необоснованно), 1 (частично, с соответствующими упущениями) до 2 (полностью и обосновано), и определите критические ошибки отдельно, чтобы общая оценка не скрывала серьезного недостатка. Адаптируйте критерии вместе со специалистом в данной области; написанная вами самими шкала — это отправная точка, а не проверенный стандарт.
3. Оценка переносимости после воздействия вредных факторов на рабочем месте.
Изучение чего-либо на курсе и применение полученных знаний на рабочем месте — это разные вещи. В рекомендациях CDC разделяется оценка усвоения знаний и оценка переноса знаний, которая касается того, насколько успешно обучающийся применяет полученные знания на рабочем месте.
Для подтверждения навыков требуется время. Запланируйте последующую проверку после того, как у обучающегося появится реальная возможность применить навык, что может занять две недели для повседневных задач и несколько месяцев для редких. Затем соберите доказательства одним или несколькими из следующих способов:
- Наблюдение или анализ выполненной работы в соответствии с той же системой критериев, которая используется в процессе обучения.
- Мнение руководителя или коллеги использовать конкретные вопросы, основанные на поведении, а не вопрос "добились ли они улучшений?".
- Системные доказательства где выполнение задачи оставляет след, например, заполненную форму или зарегистрированное обращение.
Записывайте препятствия так же тщательно, как и результаты. Учащийся, который может выполнить задание на тренинге, но не может сделать это на работе, может испытывать недостаток инструментов, полномочий, времени или поддержки со стороны руководителя. Эти ограничения могут сохраняться даже после улучшения результатов выполнения задания в классе, и именно они, скорее всего, повлияют на ваше следующее решение. Спросите: «Что помешало вам применить это на практике?» и классифицируйте ответы.
4. Интерпретируйте результаты операционной деятельности в контексте.
Операционные показатели, такие как частота ошибок, время обработки или процент решения проблем, важны, потому что именно они волнуют организацию. Кроме того, их легче всего переоценить.
Три привычки помогают оставаться честным:
- Используйте сопоставимую ставку. Подсчеты вводят в заблуждение, когда объемы меняются. Сравнивайте показатели с заявленным знаменателем: количество ошибок на сто случаев, а не общее количество ошибок.
- Перечислите альтернативные объяснения. Сезонные колебания, новый инструмент, кадровые изменения или обновление политики — все это может повлиять на один и тот же показатель в одном и том же квартале. Запишите эти факторы, прежде чем анализировать результаты.
- Укажите, к какому типу претензий относится данное утверждение. Если обученный персонал демонстрирует лучшие результаты, чем необученный, это является наблюдаемой взаимосвязью. Для установления причинно-следственной связи необходима методика, исключающая альтернативные варианты, например, контрольная группа или поэтапное внедрение. Большинству программ такой уровень строгости не требуется, и вполне допустимо прямо заявить: «Результаты изменились в желаемом направлении; вот что еще изменилось».
Избегайте обещаний окупаемости инвестиций только за счет обучения. Сообщите о том, что вы наблюдали, о контексте и ограничениях.
5. Разработайте практический план измерений.
Разместите данные в одной таблице для каждой программы. Каждая строка — это вопрос, на который должны ответить данные.
| Поиск | Что написать | Почему это важно |
|---|---|---|
| Результат | Ожидаемые изменения, выраженные в видимых формах. | Прекращает достижение нечетких целей |
| Мера | Конкретный показатель или оценка по критериям. | Делает его проверяемым |
| Источник | Где данные поступают из | Показывает, существует ли оно и заслуживает ли доверия. |
| Знаменатель | Из кого или из чего измеряется данная мера | Предотвращает получение вводящих в заблуждение результатов подсчета исходных данных. |
| тайминг | Когда его собирают | Разделяет процесс обучения и перенос знаний. |
| Владелец | Ответственное лицо, указанное в документе | Это происходит само собой |
Пример решения задачи (иллюстративный, результаты не показаны)
Представьте себе программу, которая поможет сотрудникам службы поддержки клиентов обрабатывать сложные жалобы. Решение: подтвердить готовность, прежде чем агенты начнут обрабатывать сложные обращения без напарника.
| Результат | Мера | Источник | Знаменатель | тайминг | Владелец |
|---|---|---|---|---|---|
| Сотрудники проводят сортировку и обработку эскалированных обращений, используя согласованные критерии. | Оценка по рубрике (от 0 до 2 баллов по каждому критерию, отсутствие критических ошибок) по новому случаю. | Практика решения кейсов с оценкой. | Агенты, завершившие программу | Завершение программы, по сравнению с исходным уровнем до начала обучения. | руководитель обучения |
| Сотрудники применяют этапы сортировки к реальным случаям. | Оценка по рубрике на основе реальных примеров эскалации конфликта. | Образец для проверки качества | Количество случаев эскалации конфликта на одного агента (по данным выборки) | Через четыре-шесть недель после первого реального инцидента | Руководитель группы |
| Известны препятствия на пути применения этих шагов. | Причины, классифицированные по результатам краткого последующего наблюдения. | Проверка действий агента | Агенты, занимавшиеся разрешением конфликтных ситуаций. | То же самое окно для последующих действий. | руководитель обучения |
| Результаты эскалации отслеживаются в контексте. | Показатель возобновления дел с отмеченными одновременными изменениями | Кейс система | В течение этого периода были закрыты процедуры эскалации. | Квартально, по сравнению с предыдущим периодом | Операционный аналитик |
Обратите внимание на то, чего здесь нет: нет обещанного процентного улучшения и нет утверждения, что одни только тренировки определяют итоговый результат. План обязывает вас собирать достоверные данные, а не искать конкретный ответ.
Где уместны интерактивная и адаптивная доставка
Измерение результатов становится проще, когда сам процесс обучения генерирует доказательства. Интерактивные задания, такие как вопросы с оценкой, опросы по сценариям и короткие проверки знаний, предоставляют данные по каждому обучающемуся и по каждому заданию во время обучения, а адаптивное обучение может направлять людей в зависимости от их успеваемости. Смешанные модели обучения, чередующие занятия в режиме реального времени и самостоятельное обучение, позволяют пройти диагностику в удобное для вас время, попрактиковаться на кейсе в режиме реального времени с обратной связью и провести последующий анализ в асинхронном режиме.
Эти возможности подтверждают данные в первой и второй строках вашего плана. Они не заменяют строки, касающиеся передачи данных и результатов, которые зависят от того, что происходит на рабочем месте. Прежде чем окончательно утвердить дизайн, проверьте, какие именно функции отчетности и создания документов вам необходимы, сравнив их с демонстрацией, и рассматривайте любой внешний инструмент или интеграцию как отдельный от основного рабочего процесса, пока не увидите, как он работает.
Попробуйте это со своей программой.
Заполните план из шести пунктов для одной из программ, которыми вы сейчас управляете, начиная с решения, которое она должна поддерживать.
Чтобы узнать, как можно зафиксировать результаты обучения, указанные в вашем плане, в режиме реального времени или в удобном для вас темпе, изучите AhaSlides.
Часто задаваемые вопросы
Что такое показатели эффективности обучения?
Это критерии, которые используются для оценки того, достигло ли обучение своей цели. Полезный набор критериев включает в себя обучение в соответствии с поставленными целями, перенос полученных знаний на рабочее место и оперативные результаты, рассматриваемые в контексте, а не только завершение обучения и удовлетворенность.
Является ли показатель завершения работ полезным метриком?
Это полезно для отслеживания участия и выявления проблем с доступом. Однако это не может показать, что кто-то усвоил или применил навык, поэтому следует сочетать это с оценкой и последующим контролем.
Через какое время после тренировки следует измерять перенос навыков?
Достаточно долго, чтобы у обучающихся была реальная возможность применить полученные навыки. Для выполнения повседневных задач может потребоваться пара недель, а для редких — больше. Запланируйте этот период до начала обучения.
Нужно ли мне доказывать рентабельность инвестиций для каждого курса?
Нет. Необходимо сопоставлять доказательства с принятым решением. Для многих программ полезно использовать данные об опыте и передаче знаний, а также сообщать о результатах практической деятельности в контексте. Причинно-следственный анализ следует применять только в программах с высокими ставками или высокими затратами, если это позволяет структура программы.
