Что ИИ меняет в обучении персонала и человеческом суждении?

Аналитик открывает черновой вариант договора с поставщиком, созданный за считанные секунды искусственным интеллектом. Он хорошо читается. В нем указаны пункт о расторжении договора и условия оплаты, и все написано уверенно. Раньше аналитик тратил целое утро на изучение договора, чтобы найти эти моменты. Теперь вопрос другой: верен ли этот черновик, и что ему нужно проверить, прежде чем подписать его?

Это иллюстративный сценарий, а не задокументированный случай из практики клиента. Он отражает изменения во многих сферах деятельности. Получение ответа происходит быстрее. Решение о том, можно ли доверять этому ответу и кто несет ответственность, если это невозможно, по-прежнему остается за самим человеком.

Это руководство предназначено для руководителей отделов обучения и развития персонала, а также для разработчиков учебных программ, планирующих подготовку кадров с использованием ИИ. В нем показано, как выявлять задачи, в которых ИИ меняет работу человека, как выстраивать практику, основанную на результатах, которые иногда оказываются неверными, и как измерять ответственное использование ИИ, не обещая при этом повышения производительности.

Интересные факты

1. Составьте карту того, как ИИ меняет рабочие задачи.

Начните с одной реальной задачи, а не с инструмента. Опишите её так, как она выполнялась до появления ИИ, и так, как она выполняется сейчас, и сравните два варианта по столбцам.

В качестве примера договора:

• До: Внимательно прочтите весь договор, выделите ключевые условия, отметьте все необычное, составьте краткое изложение.
• Сейчас: Проанализировать сгенерированное ИИ резюме, сравнить его с источником, решить, стоит ли ему доверять, отметить любые необычные моменты, взять на себя ответственность за результат.

Некоторые этапы сокращаются. Извлечение терминов может занять секунды. Другие появляются или увеличиваются: проверка результата по отношению к источнику, выявление того, что было упущено в резюме, и принятие решения о необходимости консультации со специалистом. Требуемый навык сместился от создания к оценке. В терминологии Блума, которая описывает мыслительные процессы, требуемые для выполнения задачи, а не способ их выполнения, акцент смещается на анализ и оценку. Наше руководство по соответствие учебных мероприятий таксономии Блума В нем объясняется, как согласовать цель, задание и оценку после определения уровня.

Это сравнение лежит в основе честного анализа потребностей в обучении для ИИ. Оно также предотвращает распространенную ошибку: обучение всех работе с инструментом, когда реальное изменение заключается в новой функции проверки.

2. Определите требования к проверке и оценке.

Задайте по три вопроса о каждом шаге в столбце «сейчас».

1. Как бы выглядел в данном случае некорректный результат? Выдуманное положение, упущенное исключение, правдоподобная, но устаревшая цифра.
2. Какие доказательства позволят мне это проверить? Исходный документ, вторая система, коллега, политика.
3. Когда мне следует остановиться и спросить кого-нибудь другого? Граница между «Я могу это проверить» и «для этого нужен эксперт».

Исследователи десятилетиями изучали, что происходит, когда люди работают с несовершенными автоматизированными средствами. В обзоре этих исследований, проведенном Парасураманом и Манзи, описывается предвзятость автоматизации, когда люди совершают ошибки как упущения, так и совершения действий, поскольку они полагаются на средство принятия решений, которое не всегда оказывается правильным. Эффект был обнаружен как у начинающих, так и у опытных участников, и был сделан вывод, что его нельзя предотвратить только с помощью обучения или инструкций.Парасураман и Манзи, 2010, Человеческий факторЭти исследования проводились задолго до появления современных ИИ-помощников, поэтому рассматривайте их как предостережение относительно поведения человека, а не как оценку какого-либо существующего инструмента.

Практический урок для обучения сотрудников работе с ИИ заключается в том, что указание людям «проверить результат» — это не продуманный подход. Условия, в которых работает человек, также имеют значение: время на проверку, доступ к исходному коду и рабочее место, где его не наказывают за замедление работы.

3. Внедрите практику работы с ненадежными результатами.

Если задача теперь включает в себя оценку результата, попрактикуйтесь в оценке результатов. Создайте небольшой набор примеров, в которых ответ ИИ выглядит следующим образом:

• Правильно и полно. Правильным решением будет принять это и объяснить, почему.
• Неполное. В какой-то степени это правда, но при этом упускается нечто важное.
• Вводя в заблуждение. Уверенный, хорошо написанный текст, ошибочный, но при этом легко упустить его из виду.

Учащиеся получают каждый случай, источник для проверки и выбор: принять, исправить или передать дальше. Они также должны обосновать свое согласие или оспаривание. Оценивайте причины согласия или оспаривания, а не только уверенность. Учащийся, который принимает правильный ответ без проверки, не продемонстрировал навык, как и учащийся, который оспаривает все, тоже.

Интерактивные форматы хорошо подходят для этого. Каждый участник принимает решение и обосновывает его до начала группового обсуждения, поэтому становятся очевидными как чрезмерное доверие, так и чрезмерная осторожность. Самостоятельное обучение охватывает первый этап, а обсуждение в режиме реального времени позволяет разобраться в неоднозначных случаях, когда существуют две обоснованные интерпретации. AhaSlides поддерживает интерактивное обучение и переключение между обучением в режиме реального времени и самостоятельным обучением, поэтому один набор примеров может использоваться в обоих направлениях. Перед планированием проверьте любую конкретную функцию создания контента, обратной связи или отчетности на соответствие вашему собственному рабочему процессу.

4. Сохранение необходимых предварительных знаний.

Невозможно оценить результат, если вы его не понимаете. Человек, который никогда не изучал, как условия оплаты взаимодействуют с правами на расторжение договора, не заметит, если в сводке будут допущены ошибки. Доступ к ИИ не отменяет необходимости в этом понимании. Он меняет сферу его применения.

Определите, от каких именно знаний зависит каждая задача проверки, и проверьте это перед практикой с помощью короткого диагностического теста в удобном для вас темпе. Подобная проверка на запоминание подтверждает только предварительные условия. Она не показывает, что любой может проверить результат. Центр Эберли при Университете Карнеги-Меллона высказывает ту же самую идею в более общем плане: оценки, цели и учебные мероприятия должны совпадать, и когда оценка измеряет запоминание, а цели требуют анализа, она не измеряет то, чему должны были научиться учащиеся, и это несоответствие может подорвать как мотивацию, так и обучение.Центр Эберли: согласование целей, оценок и обучения.).

5. Оцените ответственное использование в реальных задачах.

Выберите задачу проверки, которую действительно выполняют люди, и установите допустимые границы использования ИИ, прежде чем проводить измерения: что можно делегировать инструменту, что необходимо проверить и что необходимо передать на рассмотрение вышестоящим специалистам.

Центры по контролю и профилактике заболеваний США разделяют оценку обучения и оценку того, насколько хорошо люди применяют полученные знания на практике, и рекомендуют планировать и то, и другое.Центр по контролю и профилактике заболеваний (CDC) оценивает обучение: измерение эффективности.Это рекомендации по оценке, а не прогноз результатов. Для задач ИИ это означает две меры:

• Обучение: Результаты на новом, ранее не встречавшемся наборе случаев по сравнению с базовым уровнем.
• Перемещение: Контрольное рабочее задание или образец реальной работы, оцениваемые по той же критерию после того, как у людей было время применить полученные знания на практике.

Определите, кто включен в анализ, знаменатель и временные рамки. Сообщайте об эффективности только на основе измеренных данных. Если команда стала работать быстрее после обучения с помощью ИИ, проверьте, что еще изменилось за тот же период, например, новый шаблон, изменения в штатном расписании или другой набор задач, прежде чем учитывать результаты обучения.

Для более полного понимания рисков Национальный институт стандартов и технологий публикует следующие документы: Структура управления рисками ИИЭтот документ, выпущенный в январе 2023 года, используется организациями для анализа рисков, связанных с ИИ. Он является отправной точкой для обсуждения рисков, а не стандартом обучения или сертификацией.

Пример решения задачи: краткое изложение условий контракта.

Это иллюстративный пример. Специалист, выполняющий эту работу, должен проверить обоснованность случая и критерии ответа перед их использованием.

Дело. Учащийся получает вымышленный договор с поставщиком и составленное искусственным интеллектом резюме. В резюме указано, что уведомление о расторжении договора должно быть предоставлено за 60 дней. В договоре указано 60 дней для расторжения без уважительной причины и 30 дней для нарушения условий договора. В приложении к резюме также отсутствует исключение, касающееся условий оплаты.

Что от обучающегося требуется сделать. Объясните принятое решение (принять, исправить или передать на рассмотрение вышестоящим инстанциям), приведите доказательства из контракта и укажите, какая дополнительная информация или поддержка им потребуется.

Слабый ответ. «Краткое описание выглядит точным и охватывает основные термины. Принять». В нем нет ссылок и отметки «Принять».

Более решительный ответ. «Я бы не принял это в нынешнем виде. Пункт 14 предусматривает 60 дней для расторжения договора без уважительной причины, но 30 дней для нарушения, а в сводке упоминается только 60. В Приложении B есть исключение, касающееся платежей, которое не упоминается в сводке. Я бы исправил строку о расторжении договора и добавил это исключение. Я не уверен, распространяется ли это приложение на данного поставщика, поэтому я бы обратился к руководителю отдела контрактов».

Повторная попытка. Учащийся получает второй контракт, в котором сводка ИИ верна. Правильным шагом сейчас будет принять это и сообщить, что было проверено. Это предотвратит формирование у людей рефлексивной подозрительности.

Рабочий лист для анализа задач искусственного интеллекта

Для выполнения реальной задачи используйте одну строку на каждый шаг в столбце «Сейчас».

Критерии оценки, которые вы можете адаптировать.

Оцените каждый критерий по шкале от 0 до 2. Это предложение, которое можно адаптировать под нужды специалиста в данной области, а не утвержденный стандарт готовности.

Якоря: 0 = отсутствует или не подтверждено. 1 = частично, с существенными упущениями. 2 = полно и обосновано в соответствии с согласованными критериями. Критические ошибки следует определять отдельно, например, утверждение результата, противоречащего источнику, или передача конфиденциальных данных неутвержденному инструменту. Общий балл не должен скрывать критическую ошибку.

Ограничения, которые могут остаться

Более взвешенная оценка ситуации в учебном примере не устраняет всех ограничений:

• Время поджимает. Если целевые показатели объема не оставляют места для проверки, люди будут пропускать проверку того, чему их учили.
• Неясная ответственность. Если в качестве владельца проверяемого результата не указан никто, то проверка никому не поручается.
• Ограничения инструмента. Некоторые инструменты не позволяют пользователям видеть исходный код ответа, что замедляет проверку.
• Смена инструментов. Система искусственного интеллекта, меняющая свое поведение после обновления, может разрушить привычку проверки, которую вы выработали в прошлом квартале.

Для каждого из этих случаев разработайте отдельный план решения проблемы и сообщите об этом спонсорам. Обучение может развить необходимые навыки, но не создаст ни времени, ни полномочий.

Часто задаваемые вопросы

Что должно включать обучение сотрудников работе с ИИ?

Начните с задач, которые ИИ решает в своей роли. Расскажите, как проверять результаты на соответствие доказательствам, когда следует передавать вопрос на рассмотрение вышестоящим инстанциям, какие существуют допустимые границы использования ИИ и какие знания в предметной области необходимы для оценки ответа. Вторым шагом будет обсуждение подсказок по использованию инструментов.

Устраняет ли ИИ необходимость в знаниях в конкретной области?

Нет. Людям необходимо достаточное понимание, чтобы заметить, когда результат неверен или неполный. Меняется лишь то, как эти знания используются: меньше производства, больше оценки.

Как оценивать человеческое суждение в работе с использованием ИИ?

Предложите учащимся реалистичные примеры с правильными, неполными и вводящими в заблуждение результатами и оцените их аргументы в пользу принятия, исправления или эскалации проблемы. Затем, после соответствующей задержки, понаблюдайте за выполнением реального задания под наблюдением преподавателя.

Когда начать

Выберите одну задачу, которую сотрудники вашей организации сейчас выполняют с помощью ИИ. Заполните приведенную выше таблицу, указав человека, который выполняет эту работу, и отметьте три места, где неправильный результат может нанести наибольший вред. Создайте свой первый практический пример на основе одного из них.

Чтобы увидеть, как самостоятельная проверка знаний, интерактивная практика по решению кейсов и обсуждение результатов в режиме реального времени могут сочетаться для решения этой задачи, изучите AhaSlides.