Менеджер з навчання відкриває навчальну панель у понеділок. Рівень завершення становить 96 відсотків. Середня задоволеність – 4.5 з 5. Потім керівник команди ставить незручне питання: «Чи справляються люди з цими ескалаціями клієнтів якось інакше?» Панель не може відповісти. Вона фіксує, що курс завершено, а не те, що щось змінилося на роботі.
Це прогалина, яку залишають відкритою більшість показників навчання. Завершення показує, хто досяг кінця. Воно не показує, хто опанував навичку, хто її використав або чи змінився бізнес. Цей посібник надає вам ієрархію доказів та односторінковий план вимірювання, який ви можете заповнити для будь-якої програми, не вдаючи, що кожен курс потребує повного дослідження причинно-наслідкової рентабельності інвестицій.
Початковий сценарій, наведений вище, є ілюстративним, а не задокументованим випадком клієнта.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Що не так з показниками завершення? | Вони вимірюють участь, а не навчання чи зміни на робочому місці |
| Що ж слід вимірювати замість цього? | Навчання відповідно до цілей, перенесення на роботу, а потім операційні результати з урахуванням контексту |
| Чи потрібен аналіз рентабельності інвестицій для кожного курсу? | Ні. Зіставте глибину доказів з рішенням, що приймається. |
| Що входить до плану вимірювань? | Результат, міра, джерело, знаменник, час та власник |
1. Визначте рішення, яке мають підтримувати дані
Перш ніж вибрати метрику, назвіть рішення, яке вона буде враховувати. Три поширені показники потребують різних доказів:
- Удосконалити програму. Вам потрібно знати, де учні мали труднощі, тому результати на рівні елементів та завдань мають більше значення, ніж прохідний бал.
- Підтвердіть готовність. Вам потрібні докази того, що людина може виконати визначене завдання відповідно до узгодженого стандарту, зазвичай шляхом спостереження або оцінювання завдання.
- Оцініть розгортання. Вам потрібно порівнювати групи або періоди, тому найважливіше значення мають узгоджені показники, знаменники та час.
Якщо ви не можете сказати, яке рішення підтверджують дані, ви зберете все і зробите мало висновків. Короткий тест: якби результат виявився поганим, що б ви зробили по-іншому? Якщо відповідь «нічого», метрика не заслуговує на своє місце.
2. Вимірювання навчання відповідно до цілей
Почніть із завдання роботи, а не зі змісту курсу. Запишіть мету як щось, що робить людина («сортуйте загострену скаргу, використовуючи узгоджені критерії»), а потім розробіть оцінювання відповідно до нього. Центр Карнегі-Меллона Еберлі чітко викладає основну думку: оцінювання, цілі та навчальна діяльність повинні підсилювати одне одного, а навчання аналітичним навичкам, оцінюючи лише фактичне пригадування, призводить до того, що учні практикують неправильні речі (Рекомендації Центру Еберлі щодо узгодження оцінювання, цілей та навчальних стратегій).
На практиці це дає вам три варіанти дизайну:
- Встановіть базову лінію. Оцініть завдання перед навчанням або скористайтеся короткою діагностикою, щоб знати, з чого починає кожен учень. Без базової лінії хороший бал після навчання може просто відображати попередні навички.
- Використовуйте узгоджене подальше спостереження. Пізніше оцінювання має перевіряти те саме завдання та стандарт, використовуючи новий випадок, а не той, що вже практикувався. Повторення ідентичних елементів винагороджує запам'ятовування відповідей.
- Тримайте задоволення окремо. Реакція учнів допомагає покращити враження, але Центри контролю та профілактики захворювань США (CDC) у своїх рекомендаціях щодо оцінювання навчання чітко зазначають, що задоволеність учнів не визначає ефективність навчання (CDC, оцінка навчання: вимірювання ефективності). Повідомляйте про це, але ніколи не як про заміну навчання.
Тут допоможе проста трибальна рубрика. Оцініть кожен критерій на 0 (відсутній або непідтверджений), 1 (частково, з відповідними пропусками) або 2 (повний та обґрунтований) та визначте критичні помилки окремо, щоб загальна оцінка не могла приховати серйозний недолік. Адаптуйте критерії разом із спеціалістом у предметній області; рубрика, яку ви написали самостійно, є відправною точкою, а не затвердженим стандартом.
3. Оцінка переведення після впливу на роботу
Вивчення чогось на курсі та виконання цього на роботі – це різні події. Керівництво CDC розмежовує оцінювання навчання від оцінювання перенесення знань, яке запитує, наскільки успішно учень застосовує те, що він вивчив, після повернення на робоче місце.
Для передачі доказів потрібен час. Заплануйте подальший контроль після того, як учень матиме реальну можливість використати навичку, що може тривати два тижні для щоденного завдання та кілька місяців для рідкісного. Потім зберіть докази одним або кількома з цих способів:
- Спостереження або огляд зразка роботи за тією ж рубрикою, що й під час навчання.
- Рекомендації менеджера або колег використання конкретних, поведінкових питань, а не «чи покращилися вони?».
- Системні докази де завдання залишає слід, наприклад, заповнену форму або зареєстровану справу.
Фіксуйте перешкоди так само ретельно, як і результати. Учень, який може виконати завдання на навчанні, але не виконує його на роботі, може не мати інструментів, повноважень, часу або підтримки керівника. Ці обмеження можуть залишатися навіть після того, як виконання завдань покращиться в класі, і саме ці висновки, найімовірніше, вплинуть на ваше наступне рішення. Запитайте себе: «Що завадило вам застосувати це?» і класифікуйте відповіді.
4. Інтерпретуйте операційні результати в контексті
Такі операційні показники, як рівень помилок, час обробки або рівень вирішення проблем, мають значення, оскільки саме вони є важливими для організації. Їх також найлегше переоцінити.
Три звички допомагають вам бути чесними:
- Використовуйте порівнянну ставку. Підрахунки вводять в оману, коли змінюються обсяги. Порівнюйте показники з встановленим знаменником: помилки на сто випадків, а не помилки загалом.
- Перелічіть альтернативні пояснення. Сезонність, новий інструмент, зміна штату або оновлення політики можуть вплинути на одне й те саме число в одному кварталі. Запишіть їх, перш ніж дивитися на результат.
- Скажіть, що це за претензія. Якщо навчений персонал демонструє кращий показник, ніж ненавчений персонал, це спостережуваний зв'язок. Твердження про причинно-наслідковий зв'язок потребує структури, яка виключає альтернативи, наприклад, групи порівняння або поетапного впровадження. Більшість програм не потребують такого рівня ретельності, і можна прямо сказати: «результати рухалися в бажаному напрямку; ось що ще змінилося».
Уникайте обіцянок повернення інвестицій лише від навчання. Повідомте про свої спостереження, контекст та обмеження.
5. Складіть практичний план вимірювань
Розмістіть частини в окремій таблиці для кожної програми. Кожен рядок – це питання, на яке мають відповісти дані.
| Поле | Що писати | Чому це важливо? |
|---|---|---|
| Результат | Зміна, яку ви очікуєте, у спостережуваних термінах | Зупиняє розпливчасті цілі |
| Вимірювати | Конкретний показник або оцінка рубрики | Робить його тестованим |
| Source | Звідки беруться дані | Показує, чи існує воно та чи є воно надійним |
| Знаменник | З кого або з чого вимірюється цей захід | Запобігає введенню в оману необроблених підрахунків |
| Синхронізація | Коли його збирають | Відокремлює навчання від перенесення |
| власник | Названа відповідальна особа | Змушує це статися |
Розроблений приклад (ілюстративний, результати не показані)
Уявіть собі програму, яка допоможе співробітникам служби підтримки клієнтів обробляти ескалаційні скарги. Рішення: підтвердити готовність, перш ніж агенти візьмуться за ескалацію без супроводу.
| Результат | Вимірювати | Source | Знаменник | Синхронізація | власник |
|---|---|---|---|---|---|
| Агенти сортують ескалацію, використовуючи узгоджені критерії | Оцінка рубрики (від 0 до 2 за критерій, без критичних помилок) для нового випадку | Оцінена практика судових справ | Агенти, що завершують програму | Кінець програми, порівняно з базовим показником до навчання | Керівник навчання |
| Агенти застосовують кроки сортування до активних випадків | Оцінка рубрики за вибірковими реальними ескалаціями | Зразок перевірки якості | Вибірка ескалацій для кожного агента | Від чотирьох до шести тижнів після перших ескалацій в реальному часі | Керівник команди |
| Перешкоди для застосування цих кроків відомі | Категоризовані причини з короткого подальшого спостереження | Перевірка подальших дій агента | Агенти, які керували ескалацією | Той самий період подальших дій | Керівник навчання |
| Результати ескалації відстежуються в контексті | Рівень повторно відкритих справ, з відзначеними супутніми змінами | Система корпусів | Ескалації закрито за цей період | Щоквартально, порівняно з попереднім періодом | Операційний аналітик |
Зверніть увагу, чого бракує: жодного обіцяного відсоткового покращення, і жодного твердження, що саме навчання вирішує остаточний результат. План зобов'язує вас збирати чесні докази, а не давати конкретну відповідь.
Де інтерактивне та адаптивне виконання робіт підходить
Вимірювання легше, коли саме навчання генерує докази. Інтерактивні завдання, такі як оцінювані кейс-питання, сценарні опитування та короткі перевірки знань, надають вам дані для кожного учня та кожного елемента під час навчання, а адаптивне навчання може направляти людей відповідно до їхньої успішності. Змішані плани, які переходять між живими сесіями та самостійним навчанням, дозволяють вам проводити діагностику у вільний час, практикувати кейс наживо зі зворотним зв'язком та асинхронно виконувати подальший огляд.
Ці можливості підтверджують докази, наведені в першому та другому рядках вашого плану. Вони не замінюють рядки перенесення та результату, які залежать від того, що відбувається на роботі. Перевірте, які конкретні функції звітності та створення вам потрібні, з демонстрацією, перш ніж приймати рішення щодо розробки дизайну, та розглядайте будь-який зовнішній інструмент чи інтеграцію окремо від основного робочого процесу, доки не побачите, як вони працюють.
Спробуйте це з власною програмою
Заповніть план із шести полів для однієї програми, яку ви зараз проводите, починаючи з рішення, яке він має підтримувати.
Щоб побачити, як навчальні докази у вашому плані можна зафіксувати під час живого або самостійного заняття, ознайомтеся з AhaSlides.
Часті питання
Що таке показники ефективності навчання?
Це показники, які ви використовуєте, щоб оцінити, чи досягло навчання своєї мети. Корисний набір охоплює навчання відповідно до цілей, перенесення на роботу та операційні результати, що розглядаються в контексті, а не лише завершення та задоволення.
Чи є коефіцієнт виконання корисним показником?
Це корисно для відстеження участі та виявлення проблем із доступом. Це не може показати, що хтось опанував або застосував навичку, тому поєднайте це з оцінюванням та подальшим контролем.
Через який час після тренування слід вимірювати перенесення?
Достатньо довго, щоб учні мали реальну можливість використати навичку. Щоденне завдання може зайняти кілька тижнів, тоді як рідкісне завдання потребує більше часу. Встановіть вікно у своєму плані до початку навчання.
Чи потрібно мені доводити рентабельність інвестицій для кожного курсу?
Ні. Зіставте докази з рішенням. Багато програм добре підходять завдяки доказам навчання та передачі знань, а також операційним результатам, про які повідомляється в контексті. Залиште причинно-наслідковий аналіз для програм з високими ставками або високими витратами, якщо це дозволяє структура програми.
