Оценка эффективности обучения в производственной сфере: как измерить эффективность обучения устранению неполадок наряду с сокращением простоев и повышением производительности.

В марте на заводе проводится курс по устранению неполадок для операторов оборудования. В том же квартале служба технического обслуживания завершает модернизацию технологического процесса на упаковочной линии. К июню количество незапланированных простоев на этой линии сокращается. Директор завода задает руководителю обучения вполне резонный вопрос: дело ли в курсе?

Это иллюстративный сценарий, а не задокументированный случай из практики клиента. Однако проблема довольно распространена. Изменения в обучении и операционных процессах происходят одновременно, и цифры не могут показать, что именно повлияло на них. Это руководство предназначено для руководителей обучения персонала предприятий, а также для руководителей отделов технического обслуживания или контроля качества, работающих с ними. В нем показано, как связать наблюдаемые возможности по устранению неполадок с операционными показателями, как честно интерпретировать эту связь и что следует сообщать. Случаи, оценки и пороговые значения должны быть подтверждены владельцами вашего оборудования.

Что такое измерение эффективности обучения в производственной сфере?

Это практика проверки того, изменила ли программа обучения возможности людей в выполнении задачи, а затем отразилась ли эта перемена в оперативных данных, таких как время простоя и производительность, с использованием сравнения, которое делает связь достоверной. Она объединяет два вида доказательств: выполнение задачи (может ли оператор диагностировать неисправность?) и показатели работы оборудования (изменились ли простои или брак?). При этом улучшение одного показателя не рассматривается как доказательство другого.

Интересные факты

1. Определите результат и критерии сравнения.

Перед началом курса запишите три вещи.

1. Решение. Как этот анализ поможет кому-либо принять решение: масштабировать программу, пересмотреть ее или остановить? План измерений без каких-либо решений приводит к появлению отчетов, которые никто не использует.
2. Вмешательство и роли. Какие операторы, техники и руководители смен входят в сферу действия программы, и чему именно они обучены? Обучение устранению неполадок, которое учит операторов считывать историю аварийных сигналов и в первую очередь проверять недорогие и безопасные элементы, отличается от обучения техников настройке датчика.
3. Сравнение. По сравнению с чем? Со своим собственным базовым уровнем, с еще не обученной линией или с той же линией в предыдущем году?

Также существуют отдельные затраты. Затраты на реализацию — это то, сколько стоило запустить программу: время на проектирование, время работы координатора, инструменты. Эксплуатационные расходы — это то, во что обошлось предприятию: простои операторов, неиспользуемый рабочий стол. Если вы планируете говорить о рентабельности инвестиций, то оба показателя должны быть учтены в расчете. Институт ROI описывает свою методологию расчета рентабельности инвестиций.Это добавляет этап, позволяющий изолировать эффекты программы, прежде чем переводить результаты в деньги. Необязательно применять это полностью, но вопрос, заданный в этом случае, вполне уместен.

2. Оцените фактическое выполнение задачи.

Показатели завершения и оценки удовлетворенности описывают качество предоставления услуг. Сохраняйте их, обозначайте как индикаторы качества предоставления услуг и не используйте в качестве доказательства достигнутых результатов.

Критерием, связанным с растением, является выполнение задачи. Используйте наблюдаемые доказательства навыка, на который направлен курс:

1. Базовая линия. Перед началом обучения оцените каждого оператора по безопасному сценарию неисправности, например, по цифровому сценарию с историей сигналов тревоги и несколькими показаниями, которые он может запросить, используя критерии оценки.
2. Аналогичная оценка после обучения. Используйте другой пример той же сложности, чтобы оценить навык, а не память на первый ответ. Наше руководство по... объективная проверка навыков устранения неполадок у операторов станков Включает в себя описание процесса составления кейсов и ответы к ним.
3. Чек на перевод средств. Спросите, проявляется ли такое поведение в реальной работе по прошествии подходящего периода времени, например, при анализе недавних решений по устранению неисправностей, принятых руководителем отдела технического обслуживания.

Модель Киркпатрика Это удобная схема: реакция, обучение, поведение и результаты. По нашему опыту, программы часто описывают первые два уровня, а затем указывают на четвертый. Связь между ними, поведение на рабочем месте, — это то место, где доказательства, как правило, становятся менее убедительными. Для общего случая см. наше руководство по... измерение эффективности обучения после завершения курса.

Несколько слов о когнитивной нагрузке. Диагностика того, какая из нескольких причин соответствует симптомам, — это анализ, а оценка того, какое действие оправдано, — это анализ. Наше руководство по соответствие учебных мероприятий таксономии Блума В нем объясняется, как соотнести тест с этими требованиями. Используйте таксономию Блума для разработки задания. Не используйте ее для прогнозирования простоев: более высокий уровень в тесте — это описание того, что требуется в задании, а не прогноз того, что произойдет на предприятии.

3. Сопоставьте данные о выполненной задаче с оперативными данными.

Теперь сопоставьте два вида доказательств. Большую часть работы выполняют два числа: изменение оценки выполнения задачи и изменение сопоставимого показателя времени простоя.

Для каждого показателя, измеряемого на растении, определите четыре параметра, прежде чем рассматривать результаты.

1. Население. Какая линия, смена и оборудование? Показатель простоя всего предприятия мало что говорит об одной хорошо подготовленной команде.
2. Знаменатель. Количество остановок в минутах на запланированный час работы или количество остановок на тысячу циклов, а не общие итоговые значения. Линия, работающая вдвое дольше, будет останавливаться на более длительное время без изменения уровня квалификации персонала.
3. Период. Период до и после обучения одинаковый, при этом первые недели после обучения рассматриваются отдельно, пока люди адаптируются.
4. Источник. Откуда берутся эти данные, например, из журнала технического обслуживания, записей о простоях оборудования или системы контроля качества, и кому они принадлежат.

Выбирайте показатели, максимально приближенные к требуемому навыку. OEE (общая эффективность оборудования) Он объединяет доступность, производительность и качество. Коэффициент доступности учитывает события, которые останавливают запланированное производство, а коэффициент качества учитывает детали, не соответствующие стандартам, включая доработку. Эти показатели точно соответствуют двум параметрам, которые важны для данного руководства: время простоя и выход годной продукции (доля качественной продукции). Обратите внимание на компоненты, а не на отдельный показатель OEE, поскольку курс по устранению неполадок с большей вероятностью выявит незапланированные остановки, чем, скажем, плановые переналадки, а усреднение этих показателей скрывает важный момент. Коэффициент производительности также учитывает небольшие остановки и медленную работу, которые более короткие простои могут скрывать в данных о доступности.

Затем объясните правдоподобную связь в одном предложении, которое вы сможете обосновать. Например: «Операторы, которые проводят проверки в порядке возрастания сложности, должны быстрее устранять мелкие неполадки, поэтому мы ожидаем сокращения незапланированных остановок на упаковочной линии». Это гипотеза с механизмом. «Результаты повысились, а время простоя сократилось» — это корреляция, и она сохраняется до тех пор, пока вы не исключите конкурирующие объяснения.

4. Объясните альтернативные варианты.

Проанализируйте, что ещё изменилось в окне сравнения. Начните с этого списка.

• Изменения в технологическом процессе или оборудовании. В нашем случае модернизация системы технического обслуживания является очевидным вариантом. К таким вариантам относятся также установка нового датчика, изменение рецептуры, новая пленка или материал.
• Объем работы и ассортимент продукции. Более спокойный квартал или более простая продукция могут снизить количество простоев без изменения квалификации персонала.
• Комплектование. Приём на работу новых сотрудников, увольнение сотрудников, сверхурочная работа и изменение графика смен — всё это приводит к простоям.
• Политика и полномочия. Если операторам будет разрешено расследовать неисправности, это само по себе может сократить время простоя.
• Изменения в методах измерения. Новый способ регистрации остановок может изменить цифры в одночасье.

Два варианта конструкции помогают. А поэтапное развертывание Сначала обучается одна линия или смена, а затем аналогичная, поэтому вторая служит для сравнения, пока она ожидает. сопоставленное сравнение Обучаемые операторы работают в паре с необученными на аналогичных машинах и с аналогичной продукцией. Ни один из вариантов не всегда осуществим: линии различаются, бригады меняются, и предприятие может не захотеть откладывать обучение ради тестирования. Если ни один из вариантов не подходит, укажите это и представьте результат как вероятный вклад рядом с другими изменениями, а не как величину эффекта.

Исследования в области подготовки техников показывают, почему эта задача важна. Шаафсталь, Шрааген и ван Берло разработали курс, который сочетает общую стратегию поиска и устранения неисправностей с функциональным разбором оборудования. В ходе их оценки было установлено, что техники, прошедшие такое обучение, устранили примерно вдвое больше неисправностей за меньшее время, чем те, кто обучался традиционным методом.Шаафсталь и коллеги, 2000Участниками исследования были технические специалисты, проходившие структурированную оценку, а не операторы на работающей линии, поэтому рассматривайте это как повод для оценки выполнения задачи, а не как ожидаемый результат.

5. Сообщите о результатах и ​​выберите следующее действие.

Составляйте небольшую таблицу одинаковым образом каждый квартал. Вот пример с пустыми полями результатов. Ячейки пусты специально: искусственно созданные показатели величины эффекта хуже, чем их отсутствие.

Затем выберите следующее действие из имеющихся данных, согласованных до того, как вы посмотрите на цифры.

• Шкала Если баллы за выполнение задания выросли в ранее не встречавшемся случае, проверка переноса показывает, что поведение соответствует норме, и показатель эффективности установки сместился в ожидаемом направлении по сравнению с предыдущим случаем или при исключении конкурирующих объяснений.
• Пересматривать Если баллы выросли, но поведение участников не изменилось, это обычно указывает на влияние авторитета, используемых инструментов или нехватки времени, а не на сам курс.
• Остановитесь или переосмыслите ситуацию. если баллы не повышались, или если показатель активности растения изменялся, но данные задания не могли это объяснить.

Простая трехкритериальная система оценок от 0 до 2 позволяет придать оценке за задание осмысленный характер.

Критерии оценки: 0 означает отсутствие или отсутствие подтверждения, 1 — частичное соответствие с существенными упущениями, а 2 — полное соответствие и обоснованность в соответствии с согласованными критериями. Критические ошибки, такие как небезопасное действие, следует определять отдельно, чтобы хороший общий результат не скрывал их. Это предлагаемая отправная точка, а не утвержденный стандарт готовности. Наше руководство по Оценка способности принимать решения и решать проблемы в процессе обучения Рассматривается калибровка оценщиков и написание опорных пунктов.

Где интерактивная доставка помогает

Оценка за задание зависит от качества выполненной работы. На интерактивном занятии можно показать историю тревожных сигналов, попросить каждого оператора указать, какую первую проверку он бы провел, затем показать разброс результатов и обсудить его. После этого можно провести самостоятельное тестирование по тому же заданию, задав открытый вопрос о том, почему оценку выставляют два эксперта. AhaSlides Поддерживает интерактивное обучение и переход от обучения в режиме реального времени к самостоятельному обучению. Проверьте любые функции создания контента, обратной связи или отчетности, которые вы планируете использовать, на соответствие вашему собственному рабочему процессу, и рассматривайте симуляторы, ИИ и системную интеграцию как внешние или неподтвержденные, пока не увидите их в действии. Если ваш курс также включает работу с оповещениями, наше руководство по... обучение специалистов по техническому обслуживанию интерпретации предупреждений, генерируемых искусственным интеллектом. показывает, как применить тот же подход, ориентированный на выполнение задачи.

Чего это не исправит

• Ограничения, сохраняющиеся и после повышения уровня навыков. Отсутствие запасных частей, отсутствие полномочий для проведения расследования и система, которая поощряет результативность, а не качество диагностики, ограничат негативные последствия.
• Небольшие выборки. Одна линия, проведенная над одной четвертью, может выявить закономерность, но редко позволяет установить причину.
• Медленная передача. Навыки могут проявиться в данных об остановках только через несколько недель интенсивной эксплуатации линии.
• Отклонение оценщика от нормы. Результаты снова начинают расходиться, если эксперты перестают проводить сравнение.
• Отсутствуют базовые показатели. Если остановки никогда не регистрировались регулярно, начните регистрировать их сейчас и отталкивайтесь от этого.

Сообщите об этих проблемах спонсорам на раннем этапе и договоритесь, кто будет их устранять.

Часто задаваемые вопросы

Что такое измерение эффективности обучения в производственной сфере?

Проверяется, повлияло ли обучение на выполнение задач, а затем, изменились ли показатели работы предприятия, такие как время простоя и производительность, с помощью сравнения, подтверждающего эту связь.

Может ли результат теста предсказать время простоя?

Нет. Показатель отражает возможности оператора при выполнении безопасной задачи. Время простоя зависит от многих других факторов, поэтому используйте показатель как одно из доказательств и сравните его с данными предприятия.

Какие оперативные меры следует использовать?

Выберите параметры, близкие к требуемым, и определите численность населения, знаменатель, период и источник. Обычно в качестве отправных точек используются количество незапланированных остановок в час работы и частота переделок.

Как отличить обучение от модернизации процесса?

Сравните с аналогичной линией или изменением, которые еще не были обучены, или проведите поэтапное внедрение. Если это невозможно, укажите другие изменения рядом с результатом и опишите их как вероятный вклад.

Когда начать

Выберите одну строку и один показатель, например, количество минут незапланированных остановок на час работы. Запишите другие изменения, запланированные на следующий квартал. Попросите руководителя отдела технического обслуживания составить базовый сценарий неисправности и соответствующий ему сценарий последующего контроля, а два эксперта независимо друг от друга оценят пять ответов. Исправьте несоответствия в критериях, затем составьте приведенную выше отчетную таблицу с пустыми полями и заполняйте ее по мере поступления информации.

Чтобы увидеть, как подобный сценарий с ошибкой может быть запущен в реальном времени и впоследствии использован в удобном для вас темпе, изучите... AhaSlides.