Пилотный проект завершился. В нем приняли участие двенадцать человек, почти все отметили его полезность, и ведущий остался доволен. Затем руководитель оперативного отдела задает справедливый вопрос: «Кто-нибудь стал выполнять свою работу по-другому?» Никто не измерял эффективность работы участников до пилотного проекта, никто не сравнивал их с кем-либо еще, и команда изменила свой рабочий процесс в течение того же месяца. Пилотный проект создал благоприятное впечатление, а не принес результаты.
Это иллюстративный сценарий, а не задокументированный случай из практики клиента. Он демонстрирует распространенную ошибку при оценке программ обучения: пилотный проект проводится, но он изначально не был предназначен для ответа на поставленный вопрос.
Это руководство предназначено для руководителей отделов обучения и развития персонала, разработчиков учебных программ и менеджеров по обучению. Оно охватывает пять шагов: определение пилотного вопроса, выбор участников и исходных показателей, документирование процесса обучения, оценка выполнения новых задач и их переноса, а также согласование того, как результаты повлияют на внедрение. В заключение предлагается шаблон, который можно адаптировать, и описываются оставшиеся ограничения.
Что такое пилот-инструктор?
Пилотный учебный проект — это небольшой, ограниченный по времени запуск обучающей программы перед тем, как внедрять её в больших масштабах. Его задача — выяснить, осуществима ли данная программа и стоит ли её развивать, а не доказать, что она работает повсеместно.
Это различие имеет значение. Национальный центр комплементарной и интегративной медицины США описывает пилотное исследование как небольшую проверку методов и процедур, которые будут использоваться в более крупном масштабе, и предупреждает, что пилотное исследование не обладает достаточной мощностью, чтобы ответить на вопросы об эффективности, поэтому любой эффект, который оно, по-видимому, демонстрирует, является нестабильным.NCCIH, Пилотные исследования: распространенные способы применения и злоупотребленияЭти рекомендации написаны для медицинских исследований, но логика применима и к другим сферам. Пилотный проект с участием двенадцати человек может показать, сможете ли вы набрать участников, провести исследование, измерить результаты и отследить их. Но он не может с уверенностью сказать, насколько велик будет эффект в масштабах всей организации.
Интересные факты
| Вопрос | Короткий ответ |
|---|---|
| Для чего нужен пилот? | Проверка предположений об обучении и способах обучения перед масштабированием. |
| Что вам понадобится до начала? | Вопрос, подлежащий проверке, задача, базовый уровень и критерии принятия решений. |
| Что считается доказательством передачи права собственности? | Результативность выполнения новой задачи после ознакомления с работой, а не удовлетворенность. |
| Вам нужна контрольная группа? | Не всегда. Контрольная группа или поэтапное внедрение помогают, когда это осуществимо и справедливо. |
| Когда вы устанавливаете критерии принятия решений? | Прежде чем смотреть на результаты. |
| Что пилот не может вам рассказать? | Насколько масштабным будет этот эффект в реальных условиях? |
1. Сформулируйте пилотный вопрос.
Начните с вопроса, на который можно ответить «да» или «нет», или числом, и укажите, на какое решение он повлияет.
Слабый вопрос: «Работает ли новая программа адаптации?» А вот вопрос, который можно проверить: «После переработанной программы адаптации смогут ли новые сотрудники справиться со стандартной ситуацией, требующей вмешательства клиента, без посторонней помощи, и насколько целесообразно проводить пилотный проект с учетом имеющегося у нас времени на обучение?»
Запишите три вещи:
- Задача. Что люди смогут делать такого, чего они не могли или не умели делать хорошо раньше?
- Решение. Вы пересмотрите дизайн, проведете еще один пилотный проект или расширите его внедрение?
- Предположения об обучении и методах преподавания. Какие у вас предположения относительно необходимых условий, времени, возможностей тренера и инструментов, которые должен протестировать пилотный проект?
Если вы не можете сформулировать решение, вы не готовы запустить пилотный проект. Результат появится сам собой, и никто не будет ждать, чтобы принять меры.
2. Выбор участников и исходных показателей.
Базовый уровень — это показатель того, как люди выполняли задачу до начала обучения. Без него «улучшение» не имеет никакого значения.
Выбирайте участников обдуманно. Выберите людей, которые действительно выполняют задачу и похожи на группу, для которой вы планируете запустить проект. Пилотный проект с участием только самых заинтересованных добровольцев будет выглядеть более привлекательно.
Определите исходный уровень. Используйте тот же тип измерения, который вы будете использовать впоследствии, чтобы можно было сравнить результаты. Варианты включают короткий рабочий тест, структурированное наблюдение, анализ последних результатов или оценку по критериям. Запишите, кто был включен в исследование, сколько человек соответствовало критериям и когда проводилось измерение.
Подумайте о сравнении. Наиболее эффективный подход предполагает сравнение участников пилотного проекта с аналогичными участниками, которые в нем не участвовали. Однако это не всегда возможно или справедливо, особенно когда обучение необходимо для обеспечения безопасности или соблюдения нормативных требований. Поэтапное внедрение — практичная альтернатива: одна группа начинает обучение сейчас, аналогичная группа — позже, а группа, прошедшая обучение позже, служит для сравнения с первой. Какой бы вариант вы ни выбрали, в плане необходимо указать, почему он справедлив для всех участников.
3. Провести и задокументировать процесс обучения.
Доказательства полезны только в том случае, если вы знаете, что именно было доставлено. Ведите подробный учет всего произошедшего, поскольку затраты и усилия на доставку являются частью того, что проверяется в ходе пилотного проекта.
Запись:
- Подготовка. Что участники делали перед занятиями и сколько времени это занимало?
- Практикуйтесь. Какие кейсы или упражнения они проработали и какую обратную связь получили?
- Коучинг. Кто был тренером, как долго и проводилось ли обучение в режиме реального времени или асинхронно?
- Операционные изменения. Любые другие изменения, произошедшие во время пилотного проекта, такие как новый инструмент, изменение политики, сезонный наплыв клиентов или смена руководителя.
- Конфигурация продукта и стоимость. Фактическая конфигурация, которую вы использовали, а также время и деньги, затраченные на её реализацию.
Последние два фактора наиболее важны при принятии решения о внедрении. Дизайн, который работает только при уровне обучения, недоступном в больших масштабах, научил вас чему-то ценному, и журнал это подтверждает.
4. Оценка эффективности выполнения новых задач и их переноса на следующий уровень.
Оценка эффективности обучения часто описывается с помощью четырех уровней модели Киркпатрика: реакция, обучение, поведение и результаты.Kirkpatrick PartnersПилот должен выйти за рамки первого уровня. Реакцию, на то, сочли ли люди это полезным, можно собрать быстро, но это мало что говорит о том, будут ли они действовать иначе.
Проверьте усвоение материала на примере новой задачи. Предложите участникам задание, которое они ранее не выполняли, и оцените его по тем же критериям, что и на начальном этапе. Новое задание показывает, могут ли люди применять полученные знания на практике, а не помнят ли они пример.
Последующее наблюдение после воздействия вредных факторов на рабочем месте. Перенос знаний означает применение полученных в ходе работы знаний на практике и поддержание их в течение длительного времени. В часто цитируемом обзоре Болдуина и Форда 1988 года перенос знаний определяется как обобщение усвоенного материала на рабочем месте и его поддержание во времени, а также рассматривается, как на него влияют дизайн обучения, характеристики обучаемых и рабочая среда.Болдуин и Форд, 1988Поэтому запланируйте последующее наблюдение после того, как у людей будет реальная работа, например, через несколько недель, и снова измерьте результаты выполнения той же задачи.
Рекордные барьеры. Если кто-то не использует новый подход на работе, спросите почему. Ответ может заключаться в отсутствии необходимого инструмента, в том, что руководитель ожидает от него использования старого метода, или в нехватке времени. Это выводы об условиях работы, а не о неудачах обучающегося.
Не следует делать вывод о передаче прав на основании удовлетворенности. Хороший показатель обратной связи заслуживает того, чтобы его фиксировать. Он не показывает, что поведение изменилось.
5. Определите, как результаты повлияют на внедрение.
Запишите критерии принятия решения, прежде чем рассматривать результаты. В противном случае легко найти причину для продолжения действия, независимо от того, что вы увидите.
Простая структура:
| Если пилот покажет | Затем |
|---|---|
| Выполнение задачи улучшилось, передача состоялась, доставка стала возможной. | Планируйте более широкое внедрение и продолжайте проводить измерения. |
| Эффективность выполнения задач улучшилась, но перенос этих навыков на новые навыки был затруднен рабочей обстановкой. | Устраните барьер, затем запустите второй пилотный запуск. |
| В новой задаче изменений практически нет. | Перед каждым последующим запуском необходимо пересмотреть конструкцию. |
| Стоимость доставки или время, затраченное на обучение, оказались неприемлемыми. | Переработайте способ его внедрения, а затем проведите пилотный проект еще раз. |
Честно оцените возможности небольшой группы. Рассматривайте цифры как ориентировочные, указывайте размер группы и знаменатель, избегайте оценок эффекта или гарантий. Укажите, какие другие изменения произошли одновременно, прежде чем приписывать результаты обучения.
Шаблон для пилотных измерений
Иллюстративный пример. Специалисту, выполняющему данную работу, следует ознакомиться с ним перед использованием.
| Раздел | Что записать |
|---|---|
| Пилотный вопрос | Вопрос, подлежащий проверке, и решение, которое он определяет. |
| Сложность задачи | Новое задание, которое должны выполнить участники, и система оценки его выполнения. |
| Участниками | Кто был включен в исследование, сколько человек соответствовало критериям отбора и были ли представлены контрольные группы. |
| Базовая линия | Мера, дата и результаты до начала тренировки. |
| Учебное путешествие | Подготовка, практика, тренерская работа, время и затраты. |
| Одновременные изменения | Какие ещё изменения произошли во время пилотного выпуска? |
| Результат новой задачи | Результаты выполнения задания, не отрабатывавшегося во время пилотного проекта. |
| Последующий | Время, с кем удалось связаться, и результаты после ознакомления с работой. |
| Барьеры | Что мешало людям применять полученные знания на практике? |
| Критерии принятия решения | Пороговые значения, которые вы устанавливаете перед просмотром результатов. |
| Результат | Пересмотреть, повторно протестировать или запустить в серийное производство, и почему. |
Где интерактивная доставка помогает
Интерактивные форматы идеально подходят для этапа отработки навыков в пилотном проекте, поскольку каждый участник подтверждает свой ответ до того, как увидит ответ группы, что позволяет зафиксировать ход рассуждений, а не просто отмечать присутствие. Ведущий может провести кейс в режиме реального времени, и тот же кейс можно использовать для самостоятельной подготовки или последующего анализа. AhaSlides поддерживает интерактивное обучение и переключение между режимами реального времени и самостоятельного обучения. Проверьте любые функции создания контента, обратной связи или отчетности, которые вы планируете использовать, на соответствие вашему рабочему процессу, и рассматривайте функции ИИ, моделирования и интеграции как внешние или неподтвержденные, пока не убедитесь в их работоспособности. Чтобы выбрать формат, см. Когда использовать адаптивное, интерактивное и обучение в режиме реального времени?Чтобы подобрать задания, соответствующие желаемому уровню мышления, ознакомьтесь с нашим руководством. соответствие учебных мероприятий таксономии Блума.
Ограничения, которые могут остаться
Даже в хорошо продуманном пилотном эпизоде остаются некоторые нерешенные вопросы:
- Небольшие числа. Пилотный проект демонстрирует осуществимость и направление развития, а не то, насколько масштабным будет эффект в реальном времени.
- Рабочая среда. Люди могут хорошо справляться с новой задачей, но при этом не использовать её на работе, если их руководитель, инструменты или система поощрений указывают на обратное.
- Timing. Повторное обследование через несколько недель не покажет, что останется через шесть месяцев.
- Одновременные изменения. Другие изменения, произошедшие в тот же период, могут частично объяснить наблюдаемое улучшение.
- Выбор. Люди, которые вызвались добровольно, могут отличаться от тех, кому вы будете предлагать свою помощь.
Для этих вопросов необходимо разработать отдельные решения, а также сообщить спонсорам, какие именно проблемы остались нерешенными в ходе пилотного проекта.
Часто задаваемые вопросы
Какими должны быть габариты учебного пилота?
Достаточно большой, чтобы проверить, насколько практична реализация и измерение результатов проекта, и достаточно маленький, чтобы вносить в него изменения с минимальными затратами. Единого оптимального значения не существует. Укажите размер группы и рассматривайте любой полученный результат как ориентировочный.
Нужна ли мне контрольная группа для оценки программы обучения?
Наличие контрольной группы делает доказательства более убедительными, но это не всегда осуществимо или справедливо. Практической альтернативой является базовый уровень с поэтапным внедрением, когда аналогичная группа начинает позже.
Когда следует измерять перенос?
После того, как у людей будет время и возможность применить полученные знания на практике, дайте им хотя бы несколько недель. Повторите то же самое задание и спросите о препятствиях, которые помешали кому-либо его использовать.
Является ли удовлетворенность полезным показателем?
Это полезно для улучшения пользовательского опыта, но не является доказательством переноса навыков. Сопоставьте это с результатами выполнения новой задачи.
Когда начать
Выберите одну важную задачу и запишите критерии принятия решения, которые будут учитываться в ходе пилотного проекта. Проанализируйте, как несколько человек выполняют эту задачу сегодня, используя короткий рабочий пример или оценочный кейс. Затем запишите критерии принятия решения до начала пилотного проекта и запланируйте дату последующего обсуждения.
Чтобы увидеть, как можно провести практическое занятие в режиме реального времени с вашей командой и как его можно будет использовать в дальнейшем в удобном для вас темпе, изучите AhaSlides.
