В 02:10 срабатывает оповещение. Инженер вносит изменения в конфигурацию, служба проверки начинает выдавать ошибки, и дежурный руководитель отменяет их через 40 минут. На совещании по итогам работы первый вопрос: «Кто внес изменения?» Через несколько минут разговор сводится к оценке одного человека в 2 часа ночи, и никто не спрашивает, почему изменение попало в рабочую среду без предварительного оповещения, почему оповещение так долго реагировало или почему руководство по устранению неполадок устарело.
Это иллюстративный сценарий, а не реальный случай из практики клиента. Он узнаваем, потому что происходит: анализ инцидента, сосредоточенный на последнем участнике, приводит к упорядоченной истории и очень малому количеству извлеченных уроков.
Это руководство предназначено для руководителей инженерных отделов и специалистов по внедрению новых технологий, которые хотят, чтобы сотрудники лучше анализировали данные об инцидентах и согласовывали улучшения, которые можно протестировать. В нем рассматривается, как отделить пробелы в навыках от окружающих условий, как разрабатывать методы работы, как проводить разбор инцидентов и как измерять эффективность проводимых проверок.
Что означает и что не означает слово «безупречный»
В книге Google «Site Reliability Engineering» прямо говорится: чтобы анализ причин инцидента был действительно безобидным, он должен сосредоточиться на выявлении причин, способствовавших происшествию, не обвиняя ни одного человека или команду в плохом или ненадлежащем поведении. В ней также описывается лежащее в основе предположение: все участники действовали из лучших побуждений и поступили правильно, используя имеющуюся информацию.Книга Google SRE "Культура после неудачи": "Учимся на ошибках"..)
Отсутствие вины не означает отсутствие последствий. В той же главе предполагается, что анализ причин произошедшего должен завершаться определением приоритетов и ответственных лиц. Анализ без вины по-прежнему требует привлечения к ответственности, но ответственность смещается от вопроса «кто это вызвал» к вопросу «кто сделает систему безопаснее и к какому сроку». Если ваши обзоры пропускают вторую половину, у вас получается приятная беседа, а не процесс обучения.
1. Определите поведение и его контекст.
Начните с конкретного поведения, которое вы хотите изменить. «В наших отчетах об инцидентах основное внимание уделяется последнему участнику» — это наблюдаемый пример. «В нашей культуре слишком много обвинений» — нет.
Затем спросите себя, является ли это вообще проблемой, связанной с навыками. Обучение может устранить лишь некоторые причины низкой производительности. Прежде чем что-либо создавать, разделите три возможности:
- Недостающий навык. Рецензенты не знают, как составить хронологию событий, отличить причину от сопутствующего фактора или задать вопрос: «Что в тот момент делало это действие разумным?»
- Стимулы. Отзывы влияют на обсуждения эффективности работы, поэтому люди корректируют свои аккаунты, чтобы защитить себя.
- Градиенты авторитета и прошлые реакции. Младший инженер, который в прошлом квартале высказал опасения и получил указание прекратить негативную реакцию, не будет поднимать этот вопрос на этом совещании, каким бы хорошо он ни был подготовлен.
Только первая проблема связана с обучением. Две другие — с условиями. Если вы тренируете навык, не внося изменений в условия, люди будут повторять то, за что наказывают на рабочем месте. Рассматривайте ваше текущее понимание причины как гипотезу и проверьте её, поговорив с инженерами и изучив недавние обзорные документы, прежде чем приступать к реализации программы.
2. Установить условия для проведения практических занятий.
Практика приносит результаты только в том случае, если на нее откликаются на рабочем месте. Прежде чем кто-либо начнет репетицию, необходимо согласовать следующие моменты с теми, кто проводит аттестацию:
- Утвержденные обязанности. Кто выступает в роли фасилитатора, кто составляет график, кто отвечает за последующие действия? Четко обозначьте роли, чтобы фасилитатор не импровизировал, присваивая себе чужие полномочия.
- Как руководители воспринимают опасения. Если инженер говорит: «Инструмент развертывания позволил мне пропустить этап „канареечного тестирования“», что делает директор дальше? Решите ответ заранее, например: поблагодарите его, зафиксируйте это как один из факторов и назначьте соответствующее действие.
- Ответ руководителя. Для проведения инструктажа персоналу необходима соответствующая реакция руководителя. Если вы обучаете инженеров высказываться на совещаниях, но их руководители все равно спрашивают: «Чья это вина?», то обучение окажется неэффективным.
Краткий инструктаж для руководителей по процессу оценки эффективности работы так же важен, как и обучение участников. Включите в него четкое объяснение того, как документы оценки используются и не используются в управлении эффективностью работы.
3. Разработайте программу обучения, основанную на поведенческих принципах.
В рекомендациях Центра Эберли при Университете Карнеги-Меллона относительно целей обучения справедливо отмечается, что цели, оценки и стратегии обучения должны быть согласованы друг с другом.Центр Эберли, Цели обученияЭто рекомендации по проектированию, а не доказательства эффективности какого-либо конкретного инструмента или результата, но это хороший тест для данной программы: если цель состоит в анализе доказательств и согласовании проверяемых улучшений, то одних только вопросов на запоминание недостаточно для оценки.
Таксономия Блума здесь помогает описать когнитивные требования задачи: анализ, оценка, создание. Она описывает, что именно требуется от человека в рамках данной задачи. Она не объясняет, почему человек это делает или не делает, поэтому не следует использовать её для диагностики мотивации.
Осуществимый процесс состоит из трех этапов.
| Этап | действия обучающегося | и сроки сдачи |
|---|---|---|
| Подготовка | Ознакомьтесь с политикой рассмотрения инцидентов и кратким глоссарием (причина, способствующий фактор, смягчение последствий, пункт действий). Краткая диагностическая проверка проверяет необходимые условия. | Самостоятельное обучение. Проверка на усвоение материала подтверждает только наличие необходимых предварительных знаний, а не повторение изученного. |
| Практика | Проанализируйте подготовленный случай инцидента и согласуйте проверяемые улучшения. Требуется обоснованный ответ, а не выбор из нескольких вариантов. | Интерактивная или организованная практика на основе конкретных примеров с обратной связью по качеству анализа факторов, повлиявших на ситуацию, и последующим действиям. |
| Проверка и передача | Обсудите один неоднозначный вариант ответа, затем выполните новый кейс или проведите контролируемое исследование реальных ситуаций. | Онлайн-коучинг или асинхронный обзор. Проверка переноса навыков после того, как у сотрудников будет время применить полученные знания на практике. |
Сформулируйте реалистичный сценарий и поручите опытному инженеру его проверить. Технически некорректный сценарий приучит рецензентов не доверять подобным заданиям.
4. Проработайте сценарий и проведите разбор ситуации.
Вот как может проходить тренировочная сессия со сценарием 02:10. Пакет доказательств содержит журнал развертывания, временную шкалу оповещений, политику пейджинга, запрос на слияние и руководство по выполнению, все это вымышленные данные.
Подсказка участнику. «Объясните, почему инженер настоял на внесении изменений именно в это время. Приведите доказательства, которые вы использовали. Укажите, какая дополнительная информация или поддержка вам потребуется, прежде чем вы сможете быть уверены в правильности изменений».
Слабый ответ звучит примерно так: «Инженер должен был проверить этапы работ». В нем упоминается конкретный человек, ничего не указывается и не предлагается никаких изменений.
Более убедительный ответ звучал бы так: «Журнал развертывания показывает, что изменение было отправлено напрямую, потому что этап «канареечного тестирования» является необязательным в инструменте. Запрос на слияние был одобрен одним рецензентом через 20 минут. Страница сработала через 18 минут после начала ошибок, потому что пороговое значение оповещений было установлено на пятиминутное среднее. Я хотел бы узнать, сколько других изменений в этом месяце пропустили этап «канареечного тестирования», и сообщали ли дежурным инженерам когда-либо о возможности пропуска этого этапа. Предлагаемые действия: сделать этап «канареечного тестирования» обязательным для этого уровня сервиса, ответственный: команда платформы, проверка: попытаться выполнить пропущенное развертывание «канареечного тестирования» на тестовом сервере и подтвердить, что оно заблокировано; уменьшить окно оповещений, ответственный: руководитель дежурной группы, проверка: воспроизвести ошибки прошлой недели с учетом нового порогового значения».
Обратите внимание, что делает его лучше. Он использует доказательства, указывает на ограничения и неопределенность и завершается действиями, которые можно проверить.
Теперь подведение итогов. Не просто ставьте оценки. Спросите:
- Что подтверждали имеющиеся доказательства, и что вы предположили?
- Какие из ваших действий команда действительно имела бы право совершить?
- Что облегчило бы повторение этого поведения на следующем реальном собеседовании? А что усложнило бы его?
Третий вопрос имеет наибольшее значение. Он выявляет условия из раздела 2. Если три участника говорят: «Мой менеджер спросит, кто это сделал», значит, вы обнаружили ограничение, которое невозможно устранить с помощью обучения.
5. Измерение поведения и контроль за его выполнением.
Ключевой вопрос заключается в том, какие доказательства подтвердят способность обучающихся анализировать данные об инцидентах и согласовывать проверяемые улучшения. Вот примерная таблица для начала работы. Это предложение, которое следует адаптировать с помощью опытного инженера, а не утвержденный стандарт готовности.
| Критерий | Наблюдаемые доказательства | 0 | 1 | 2 |
|---|---|---|---|---|
| Выполнение задачи | Анализирует полученные данные и согласовывает улучшения; документирует предпринятые действия и подтверждающие их доказательства. | Отсутствует или не поддерживается | Частичный текст с соответствующими пропусками. | Полное и обоснованное в соответствии с согласованными критериями. |
| аргументация | Объясняет ограничения, альтернативы и неопределенность; факторы, влияющие на это, выходят за рамки последнего действия. | Отсутствует или не поддерживается | Частичный текст с соответствующими пропусками. | Полное и обоснованное |
| Границы | Использует утвержденные процедуры; обращается за помощью, когда отсутствует информация или полномочия. | Отсутствует или не поддерживается | Частичный текст с соответствующими пропусками. | Полное и обоснованное |
Критические ошибки следует определять отдельно, например, не указывать конкретного человека в качестве причины или не предлагать действия, не зная их ответственного лица. Высокий общий балл ни в коем случае не должен скрывать критическую ошибку.
Что касается самого измерения:
- Качество анализа факторов, влияющих на результат. Сравните отзывы, написанные до начала программы, с отзывами, написанными после, оценивая их по одной и той же шкале человеком, который не знает, какой отзыв к какому разделу относится. Используйте как реальные, ранее не встречавшиеся примеры из практики.
- Выполнить. Подсчитайте долю пунктов плана действий, имеющих ответственного, прошедших проверку и выполненных, от общего числа поднятых вопросов. Укажите знаменатель и временной интервал.
- Сочетайте наблюдение с изменениями в процессе. Примите участие в настоящем совещании по итогам работы. Проверьте, что произошло с выполнением пунктов плана действий.
Будьте осторожны с объемом регистрируемых инцидентов. Если после завершения программы регистрируется больше случаев возникновения проблем и инцидентов, близких к аварии, это может означать, что безопасность улучшилась, доверие возросло или новый инструмент упростил регистрацию инцидентов. Падение же может означать меньшее количество проблем или меньшую готовность говорить о них. Прежде чем связывать какие-либо изменения с обучением, проанализируйте, что изменилось за тот же период, и избегайте заявлений о величине эффекта, которую вы не измеряли.
Приведенные выше рекомендации Эберли определяют принцип согласования действий; они не являются доказательством того, что такой подход снижает количество инцидентов. Сохраняйте собственные исходные и последующие данные и рассматривайте их как локальные доказательства.
Какие ограничения могут сохраниться даже после повышения квалификации?
Будьте честны со спонсорами по этим вопросам:
- Документы, прошедшие проверку, по-прежнему могут влиять на решения, касающиеся эффективности работы.
- Команды, работающие в условиях жесткого давления, могут пропускать действия, которые являются дорогостоящими, но разумными.
- Межкомандные действия могут застопориться, потому что ни одна из команд не владеет границей.
- Ведущие инженеры по-прежнему могут доминировать в обсуждении.
Более тщательный анализ не устранит эти проблемы. Для них необходимо запланировать отдельные изменения в процессе.
Применение этого на практике с помощью AhaSlides
AhaSlides Поддерживается адаптивное обучение, интерактивное обучение и переход между обучением в режиме реального времени и самостоятельным темпом. В этом процессе это может означать этап подготовки в самостоятельном темпе, сессию по разбору кейса в режиме реального времени или с участием модератора с вопросами для свободного ответа, чтобы каждый участник взял на себя обязательство провести анализ до группового обсуждения, и задание для выполнения после сессии. Конкретные функции создания, оценки и составления отчетов следует проверить в демонстрации на собственном кейсе, прежде чем полагаться на них, а все, что связано с ИИ, симуляторами или интеграцией с вашими инструментами для обработки инцидентов, следует рассматривать как внешнее до момента демонстрации.
Следующий шаг: Возьмите приведенную выше рубрику, адаптируйте ее вместе с одним из ваших старших инженеров, а затем составьте аргументацию, которую вы будете использовать.
После того, как вы составите описание задачи и критерии оценки, изучите, как можно организовать этот процесс в режиме реального времени и в удобном для вас темпе. AhaSlides.
