Пілотний проект завершився. Участь взяли дванадцять осіб, майже всі сказали, що проект був корисним, і фасилітатор задоволений. Потім керівник операційного відділу ставить справедливе запитання: «Чи хтось виконував свою роботу по-іншому?» Ніхто не вимірював, як люди працювали до пілотного проекту, ніхто їх ні з ким не порівнював, і команда змінила свій процес того ж місяця. Пілотний проект створив добру волю, а не докази.
Це ілюстративний сценарій, а не задокументований випадок клієнта. Він показує поширений спосіб, коли оцінювання навчальних програм йде не так: пілотний проект проводиться, але він ніколи не був розроблений для відповіді на запитання.
Цей посібник призначений для керівників відділів навчання та розвитку, розробників навчальних матеріалів та менеджерів з навчання. Він охоплює п'ять кроків: визначення пілотного питання, вибір учасників та базових показників, запис навчального процесу, оцінка виконання нових завдань та їх перенесення, а також узгодження того, як результати вплинуть на впровадження. Він завершується шаблоном, який ви можете адаптувати, та обмеженнями, що залишаються.
Що таке навчальний пілот?
Пілотний навчальний проект — це невеликий, обмежений у часі пробіг навчального проекту, перш ніж ви здійсните його масштабне впровадження. Його завдання полягає в тому, щоб з'ясувати, чи є проект доцільним і що варто до нього впроваджувати, а не в тому, щоб довести, що він працює всюди.
Ця відмінність має значення. Національний центр комплементарної та інтегративної охорони здоров'я США описує пілотне дослідження як невелике випробування методів і процедур, які будуть використовуватися у більшому масштабі, і попереджає, що пілотне дослідження не має достатньої потужності для відповідей на запитання щодо ефективності, тому будь-який ефект, який воно, здається, демонструє, є нестабільним (NCCIH, Пілотні дослідження: поширене використання та неправильне використання). Це керівництво написано для досліджень у галузі охорони здоров'я, але логіка залишається актуальною. Пілотний проект із дванадцяти людей може сказати вам, чи можете ви залучити, провести, виміряти та відстежити результати. Він не може впевнено сказати вам, наскільки великим буде ефект на всю організацію.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Для чого потрібен пілот? | Тестування припущень щодо навчання та реалізації перед масштабуванням. |
| Що вам потрібно перед початком? | Перевірочне питання, завдання, базова лінія та критерії прийняття рішення. |
| Що вважається доказом передачі? | Продуктивність виконання нового завдання після досвіду роботи, а не задоволення. |
| Вам потрібна контрольна група? | Не завжди. Група порівняння або поетапне впровадження допомагають, коли це можливо та справедливо. |
| Коли ви встановлюєте критерії рішення? | Перш ніж дивитися на будь-які результати. |
| Чого пілот не може вам сказати? | Наскільки великим буде ефект у масштабі. |
1. Визначте пілотне питання
Почніть із питання, на яке можна відповісти «так» чи «ні», або ж назвіть число, і назвіть рішення, яке воно прийме.
Слабке питання: «Чи працює нова програма адаптації?» Можливе для перевірки: «Чи зможуть нові співробітники після переробленої програми адаптації впоратися зі стандартною ескалацією клієнтів без сторонньої допомоги, і чи є пілотний проект практичним для виконання з урахуванням часу, який ми маємо на коучинг?»
Запишіть три речі:
- Завдання. Що люди зможуть робити такого, чого вони не могли робити або робили погано раніше?
- Рішення. Чи будете ви переглядати дизайн, запускати ще один пілотний проект чи розгортати його ширше?
- Припущення щодо навчання та проведення. Які ваші припущення щодо попередніх вимог, часу, можливостей коучингу та інструментів, які має протестувати пілотний проект?
Якщо ви не можете назвати рішення, ви не готові запускати пілотний проект. Результат з'явиться, і ніхто не чекатиме, щоб діяти відповідно до нього.
2. Виберіть учасників та базові показники
Базовий рівень – це свідчення того, як люди виконують завдання до навчання. Без нього «покращення» не з чим порівнювати.
Свідомо обирайте учасників. Оберіть людей, які виконують реальне завдання та схожі на групу, для якої ви плануєте розгорнути проект. Пілотний проєкт, у якому працюватимуть лише ваші найентузіазованіші волонтери, буде вигідним для вашого дизайну.
Зафіксуйте базову лінію. Використовуйте той самий тип вимірювання, який ви використовуватимете згодом, щоб їх можна було порівняти. Варіанти включають короткий зразок роботи, структуроване спостереження, огляд нещодавніх результатів або оцінений випадок. Запишіть, хто був включений, скільки відповідали вимогам та коли проводилося вимірювання.
Подумайте про порівняння. Найсильніший дизайн порівнює людей, які пройшли пілотний проект, з подібними людьми, які цього не зробили. Це не завжди можливо або справедливо, особливо коли навчання необхідне для безпеки або дотримання вимог. Поетапне впровадження є практичною альтернативою: одна група починає зараз, подібна група починає пізніше, а пізніша група служить для порівняння з першою. Що б ви не обрали, поясніть у плані, чому це справедливо для всіх учасників.
3. Проведіть та зафіксуйте навчальний процес
Докази корисні лише тоді, коли ви знаєте, що було доставлено. Ведіть простий журнал того, що сталося, оскільки вартість та зусилля, пов'язані з доставкою, є частиною того, що перевіряється в пілотному проекті.
Запис:
- Підготовка. Що люди робили перед сеансами, і скільки часу це тривало?
- Практика. Які кейси або вправи вони опрацьовували, і які відгуки отримали?
- Коучинг. Хто тренував, як довго, і це було в прямому ефірі чи асинхронно?
- Операційні зміни. Будь-що інше, що змінилося під час пілотного проекту, наприклад, новий інструмент, зміна політики, сезонний ажіотаж або зміна менеджера.
- Конфігурація та вартість продукту. Фактична конфігурація, яку ви використовували, а також час і гроші, витрачені на її доставку.
Останні два пункти мають найбільше значення для рішення про розгортання. Дизайн, який працює лише з рівнем коучингу, який ви не можете собі дозволити в такому масштабі, навчив вас чогось цінного, і саме журнал це показує.
4. Оцінка виконання нового завдання та його переведення
Оцінювання навчання часто описують за допомогою чотирьох рівнів моделі Кіркпатріка: реакція, навчання, поведінка та результати (Кіркпатрік Партнерс). Пілотний проект має охоплювати більше, ніж перший рівень. Реакція, тобто чи вважають люди його корисним, збирається швидко, але мало що говорить про те, чи працюватимуть вони інакше.
Перевірте знання на новому завданні. Дайте учасникам кейс, який вони ще не практикували, і оцініть його за тими ж критеріями, що й на початку. Нове завдання показує, чи можуть люди застосувати те, що вони вивчили, а не те, чи пам’ятають вони приклад.
Подальші дії після контакту з працівником. Перенесення означає застосування вивченого на роботі та його підтримку з часом. Часто цитований огляд Болдвіна та Форда 1988 року визначає перенесення як узагальнення вивченого матеріалу на роботу, так і його підтримку з часом, а також розглядає, як на нього впливають структура навчання, характеристики стажерів та робоче середовище (Болдвін і Форд, 1988). Тож сплануйте подальше спостереження після того, як люди матимуть справжню роботу, наприклад, через кілька тижнів, і знову виміряйте те саме завдання.
Рекордні бар'єри. Якщо хтось не використовує новий підхід на роботі, запитайте, чому. Відповіддю може бути брак інструменту, менеджер, який очікує старого способу, або занадто мало часу. Це висновки щодо робочого середовища, а не невдачі учня.
Не робіть висновок про перенесення із задоволення. Гарний бал зворотного зв'язку вартий того, щоб його зафіксувати. Він не показує, що поведінка змінилася.
5. Визначте, як результати впливають на розгортання
Запишіть критерії прийняття рішення, перш ніж переглядати результати. Інакше легко знайти причину продовжувати з тим, що ви бачите.
Проста структура:
| Якщо пілот покаже | Потім |
|---|---|
| Покращено виконання завдань, передачу відбулося, доставка стала можливою | Плануйте ширше розгортання та продовжуйте вимірювати. |
| Виконання завдань покращилося, але перенесення було заблоковано робочим середовищем | Полагодьте бар'єр, а потім запустіть другий пілотний проект. |
| Невеликі зміни в новому завданні | Перегляньте дизайн перед будь-яким подальшим запуском. |
| Вартість доставки або час коучингу були незручними | Переплануйте спосіб його реалізації, а потім знову запустіть пілотний захід. |
Будьте чесними щодо того, що може підтримати невелика група. Ставтеся до цифр як до орієнтовних, повідомляйте розмір групи та знаменник і уникайте розмірів ефекту або гарантій. Вкажіть, які ще зміни відбулися одночасно, перш ніж вказувати результати навчання.
Шаблон пілотного вимірювання
Ілюстрація. Практик, який виконує цю роботу, повинен переглянути її перед використанням.
| розділ | Що записати |
|---|---|
| Пілотне питання | Перевірочне питання та рішення, на якому воно базується. |
| Завдання | Нове завдання, яке люди повинні виконувати, і як воно буде оцінюватися. |
| Учасники | Хто включено, скільки людей мали право на участь та якась група порівняння. |
| Базова лінія | Міра, дата та бали до тренування. |
| Навчальна подорож | Підготовка, практика, коучинг, час та вартість. |
| Одночасні зміни | Щось інше, що змінилося під час пілотного проекту. |
| Результат нового завдання | Бали за завдання, яке не було відпрацьовано під час пілотного проекту. |
| Слідувати за | Час, кого охопили, та оцінки після контакту на робочому місці. |
| Бар'єри | Що заважало людям застосовувати отримані знання на практиці. |
| Критерії прийняття рішень | Порогові значення, які ви встановлюєте перед переглядом результатів. |
| Результат | Переглянути, знову випробувати в пілотному режимі або розгорнути, і чому. |
Де допомагає інтерактивна доставка
Інтерактивні формати підходять для практичного етапу пілотного проекту, оскільки кожна людина зобов'язується відповісти, перш ніж побачити відповідь групи, що дає вам запис про міркування, а не лише про присутність. Фасилітатор може запускати кейс в реальному часі, і той самий кейс можна використовувати у власному темпі для підготовки або подальших дій. AhaSlides підтримує інтерактивне навчання та перехід між живим виступом та власним темпом. Перевірте будь-яку конкретну функцію створення, зворотного зв'язку або звітності, на яку ви плануєте покладатися, порівняно з вашим власним робочим процесом, і розглядайте функції штучного інтелекту, моделювання та інтеграції як зовнішні або непідтверджені, доки ви не побачите їх у роботі. Щоб вибрати між форматами, див. коли використовувати адаптивне, інтерактивне та живе навчанняЩоб зіставити дії з мисленням, яке ви хочете виміряти, див. наш посібник зіставлення навчальних завдань з таксономією Блума.
Обмеження, які можуть залишитися
Навіть добре розроблений пілотний проект залишає деякі речі невирішеними:
- Невеликі числа. Пілотний проект показує доцільність та напрямок, а не те, наскільки великим буде ефект у масштабі.
- Робоче середовище. Люди можуть добре виконувати нове завдання і все одно не використовувати його на роботі, якщо їхній керівник, інструменти чи стимули вказують на це в іншому напрямку.
- Терміни. Подальше спостереження через кілька тижнів не показує, що залишається через шість місяців.
- Одночасна зміна. Інші зміни за той самий період можуть пояснити деяке покращення.
- Вибір. Люди, які зголосилися добровільно, можуть відрізнятися від людей, яким ви пропонуєте допомогу.
Заплануйте окремі виправлення для них та повідомте спонсорам, які питання не вирішив пілотний проект.
Часті питання
Наскільки великим має бути навчальний пілот?
Достатньо велика, щоб перевірити, чи є дизайн практичним для реалізації та вимірювання, і достатньо мала, щоб його можна було легко змінити. Немає єдиного правильного числа. Повідомте про розмір групи та розглядайте будь-який результат як орієнтовний.
Чи потрібна мені контрольна група для оцінки навчальної програми?
Група порівняння робить докази переконливішими, але це не завжди можливо або справедливо. Практичною альтернативою є базовий рівень плюс поетапне впровадження, коли подібна група починає пізніше.
Коли слід вимірювати перенесення?
Після того, як люди матимуть час і можливість застосувати отримані знання на роботі, дайте їм хоча б кілька тижнів. Виміряйте те саме завдання ще раз і запитайте про перешкоди, які завадили комусь його використати.
Чи є задоволення корисним показником?
Це корисно для покращення досвіду, але не є доказом перенесення знань. Поєднуйте це з виконанням нового завдання.
З чого почати
Виберіть одне важливе завдання та запишіть рішення, яке буде прийнято на основі пілотного проекту. Зафіксуйте, як кілька людей виконують його сьогодні, використовуючи короткий зразок роботи або оцінений кейс. Потім запишіть критерії прийняття рішення перед початком пілотного проекту та заплануйте дату подальшого контролю в щоденнику.
Щоб побачити, як практичний кейс може працювати в режимі реального часу з вашою командою та використовуватися повторно у власному темпі згодом, ознайомтеся з AhaSlides.
