Аналітик відкриває чернетку резюме договору з постачальником, створеного помічником зі штучним інтелектом за лічені секунди. Він добре читається. У ньому названо пункт про розірвання та умови оплати, і він впевнений у собі протягом усього процесу. Раніше аналітик витрачав ранок на читання договору, щоб знайти ці речі. Тепер питання інше: чи правильний цей резюме, і що їм потрібно перевірити, перш ніж підписати його?
Це ілюстративний сценарій, а не задокументований випадок клієнта. Він відображає зміни в багатьох роботах. Отримання відповіді відбувається швидше. Вирішення, чи можна довіряти відповіді, і хто несе відповідальність, якщо ні, все ще залишається за людиною.
Цей посібник призначений для керівників відділів навчання та розвитку, а також для розробників інструкцій, які планують навчання персоналу зі штучного інтелекту. Він показує, як знаходити завдання, де штучний інтелект змінює людську роботу, як будувати практику навколо результатів, які іноді бувають неправильними, та як вимірювати відповідальне використання, не обіцяючи підвищення продуктивності.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Що змінюється, коли люди використовують штучний інтелект на роботі? | Створення першого варіанту або відповіді стає легшим. Перевірка, оцінка та відповідальність за результат нікуди не зникають. |
| Чого має навчити навчання зі штучного інтелекту? | Перевірка та оцінка, які тепер потрібні для виконання завдання, плюс знання предметної області, необхідні для його виконання. |
| Чи можуть самі лише інструкції виправити надмірну довіру? | Ні. Дослідження упередженості автоматизації показало, що вона трапляється як у новачків, так і у експертів, і їй не запобігає лише навчання чи інструкції. |
| Що вимірювати? | Спостережувана перевірка на реальних завданнях із затвердженими межами використання ШІ. |
1. Відобразіть, як штучний інтелект змінює завдання роботи
Почніть з одного реального завдання, а не з інструменту. Опишіть його, як воно виконувалося до появи штучного інтелекту і як воно виконується зараз, і порівняйте два показники стовпчик за стовпчиком.
Для прикладу договору:
- До: прочитайте повний договір, витягніть ключові умови, позначте все незвичайне, напишіть короткий виклад.
- Зараз: переглянути згенерований штучним інтелектом зведений опис, звірити його з джерелом, вирішити, чи варто на нього покладатися, позначити щось незвичне, взяти на себе відповідальність за результат.
Деякі кроки скорочуються. Вилучення термінів може зайняти лічені секунди. Інші з'являються або збільшуються: звірка результату з джерелом, помічання того, що пропущено в резюме, та рішення, коли звернутися до спеціаліста. Необхідна навичка змістилася з виробництва до оцінки. У термінології Блума, яка описує мислення, яке вимагає завдання, а не те, як воно виконується, вага зміщується на аналіз та оцінку. Наш посібник з зіставлення навчальних завдань з таксономією Блума пояснює, як узгодити мету, завдання та оцінювання, коли ви знаєте рівень.
Це порівняння є основою чесного аналізу потреб у навчанні для ШІ. Воно також запобігає поширеній помилці: навчанню всіх користуватися інструментом, коли справжня зміна полягає в новому обов'язку перевірки.
2. Визначте вимоги до перевірки та оцінки
Поставте три запитання щодо кожного кроку в колонці «зараз».
- Як би виглядав тут неправильний вивід? Вигаданий пункт, пропущений виняток, правдоподібна, але застаріла цифра.
- Які докази дозволять мені це перевірити? Вихідний документ, друга система, колега, політика.
- Коли я маю зупинитися та запитати когось іншого? Межа між «я можу це перевірити» та «для цього потрібен експерт».
Дослідники десятиліттями вивчали, що відбувається, коли люди працюють з недосконалими автоматизованими засобами. Огляд цього дослідження Парасураманом і Манзеєм описує упередженість автоматизації, коли люди роблять упущення та роблять помилки, тому що вони покладаються на засіб прийняття рішень, який не завжди правильний. Було виявлено ефект як у новачків, так і у досвідчених учасників, і зроблено висновок, що цьому не можна запобігти лише за допомогою навчання чи інструкцій (Парасураман та Манзей, 2010, Людський фактор). Це дослідження було проведено ще до появи сучасних помічників зі штучним інтелектом, тому ставтеся до нього як до застереження щодо людської поведінки, а не як до вимірювання будь-якого сучасного інструменту.
Практичний урок для навчання співробітників роботі зі штучним інтелектом полягає в тому, що наказ людям «перевіряти результат» — це не задум. Умови навколо людини також мають значення: час для перевірки, доступ до джерела та робоче місце, яке не карає її за уповільнення.
3. Побудуйте практику навколо ненадійних результатів
Якщо завдання тепер включає оцінку результату, потренуйтеся оцінювати результати. Створіть невеликий набір випадків, де відповідь ШІ буде такою:
- Правильно та повно. Правильний крок — прийняти це та пояснити чому.
- Неповне. Це правда, але при цьому не враховується щось важливе.
- Вводить в оману. Впевнено, добре написано та помилково, що легко не помітити.
Учні отримують для кожного випадку джерело для перевірки та вибір: прийняти, виправити або загострити ситуацію. Вони також повинні вказати причину. Оцініть причини згоди чи оскарження, а не лише впевненість. Учень, який приймає правильну відповідь без перевірки, не виявив навичок, а учень, який оскаржує все, також не виявив навичок.
Інтерактивні формати добре для цього підходять. Кожна людина зобов'язується прийняти рішення та обґрунтувати його, перш ніж група почне обговорення, тому надмірна довіра та надмірна обережність стають помітними. Самостійне викладання охоплює перший етап, а живий дебрифінг розглядає неоднозначні випадки, коли існують два виправдані варіанти читання. AhaSlides підтримує інтерактивне навчання та перехід між живим викладанням та викладанням у власному темпі, тому один набір випадків може працювати в обох напрямках. Перевірте будь-яку конкретну функцію створення, зворотного зв'язку чи звітності на відповідність вашому власному робочому процесу, перш ніж планувати її.
4. Збережіть необхідні знання
Ви не можете оцінити результат, якого не розумієте. Людина, яка ніколи не дізнавалася, як умови оплати взаємодіють із правами на розірвання договору, не помітить, коли короткий виклад містить помилки. Доступ до штучного інтелекту не усуває потребу в цьому розумінні. Він змінює те, де він використовується.
Визначте, від яких знань у предметній області залежить кожне завдання перевірки, і перевірте їх перед практикою за допомогою короткої діагностики у власному темпі. Така перевірка на повторення знань підтверджує лише передумови. Вона не показує, що будь-хто може перевірити результат. Центр Еберлі Карнегі-Меллона висуває ту саму точку зору щодо дизайну в більш загальному сенсі: оцінювання, цілі та навчальна діяльність повинні узгоджуватися, і коли оцінювання вимірює повторення знань, але цілі вимагають аналізу, воно не вимірює те, що учні повинні були вивчити, і невідповідність може підірвати як мотивацію, так і навчання (Центр Еберлі, узгодження цілей, оцінювання та навчання).
5. Вимірюйте відповідальне використання на реальних завданнях
Виберіть завдання перевірки, яке люди дійсно виконують, і встановіть затверджені межі використання ШІ, перш ніж вимірювати: що можна делегувати інструменту, що потрібно перевірити, а що потрібно ескалювати.
Центри контролю та профілактики захворювань США відокремлюють оцінювання навчання від оцінювання того, наскільки добре люди застосовують його на роботі, і рекомендують планувати обидва етапи (CDC, оцінка навчання: вимірювання ефективності). Це керівництво з оцінювання, а не прогноз результатів. Для завдань ШІ це означає два показники:
- Навчання: результативність на новому, раніше не баченому наборі випадків порівняно з базовим рівнем.
- Передача: завдання під наглядом або зразок реальної роботи, перевірений за тією ж рубрикою після того, як люди мали час використати отримані знання.
Визначте, хто входить до складу, знаменник та терміни. Повідомляйте про ефективність лише на основі виміряних даних. Якщо команда стає швидшою після навчання ШІ, перевірте, що ще змінилося за той самий період, наприклад, новий шаблон, зміни в штаті або інший поєднання робіт, перш ніж зараховувати навчання.
Для ширшого розуміння ризиків Національний інститут стандартів і технологій публікує Структура управління ризиками ШІ, випущений у січні 2023 року, який організації використовують для обмірковування ризиків, пов'язаних зі штучним інтелектом. Це відправна точка для розмови про ризики, а не стандарт навчання чи сертифікація.
Практичний приклад: короткий виклад договору
Ілюстрація. Практик, який виконує цю роботу, повинен перевірити випадок та критерії відповіді перед використанням.
Справа. Учень отримує вигаданий договір з постачальником та короткий виклад, написаний штучним інтелектом. У короткому викладі зазначено 60-денне попередження про розірвання договору. У договорі зазначено 60 днів для розірвання договору без причини та 30 днів для порушення договору. У додатку до короткого викладу також не згадується виняток щодо терміну оплати.
Що просять зробити учня. Поясніть рішення (прийняти, виправити або передати на ескалацію), наведіть докази з договору та вкажіть, яка додаткова інформація чи підтримка їм знадобиться.
Слабка реакція. «Короткий виклад виглядає точним і охоплює основні терміни. Приймаю». У ньому нічого не згадується і не відображається чек.
Сильніша відповідь. «Я б не прийняв це в нинішньому вигляді. У пункті 14 наведено 60 днів для розірвання договору без причини, але 30 днів для порушення договору, а в резюме згадується лише 60 днів. У Додатку B є виняток щодо оплати, про який у резюме не згадується. Я б виправив рядок про розірвання договору та додав виняток. Я не впевнений, чи застосовується додаток до цього постачальника, тому я б звернувся до керівника контракту».
Повторна спроба. Учень отримує другий контракт, де зведення ШІ правильне. Правильно прийняти та сказати, що було перевірено. Це запобігає формуванню у людей рефлекторної підозри.
Робочий аркуш аналізу завдань ШІ
Використовуйте один рядок на крок у стовпці «зараз» для реального завдання.
| Крок завдання | Що зараз робить ШІ | Що людина все ще повинна зробити | Потрібні докази для перевірки | Ескалувати до | Необхідні знання |
|---|---|---|---|---|---|
| Витяг ключових термінів | Складає чернетки списку | Порівняйте з джерелом | Сам контракт | Контракти | Структура договору та типи пунктів |
| Позначити незвичайні терміни | Пропонує кандидатів | Визначте, що є незвичайним у цьому контексті | Попередні контракти, політика | легальний | Стандартні умови для цього типу постачальника |
| Підпишіть резюме | Нічого | Власний результат | Перевірений зведений виклад | Лінійний менеджер | Обмеження схвалення |
Рубрика, яку ви можете адаптувати
Оцініть кожен критерій за шкалою від 0 до 2. Це пропозиція адаптації зі спеціалістом на цій посаді, а не затверджений стандарт готовності.
| критерій | Спостережувані докази |
|---|---|
| Виконання завдання | Визначає, де ШІ змінює завдання перевірки та оцінки. Фіксує дію та докази, що стоять за нею. |
| Обґрунтування | Пояснює обмеження, альтернативи та невизначеність. Причини прийняття або оскарження результату пов'язані з джерелом. |
| Межі | Використовує затверджені процедури для використання ШІ та просить про допомогу, коли інформації чи повноважень недостатньо. |
Якорі: 0 = відсутнє або непідтверджене. 1 = часткове, з відповідними пропусками. 2 = повне та обґрунтоване відповідно до узгоджених критеріїв. Окремо визначте критичні помилки, наприклад, підписання результату, який суперечить джерелу, або обмін конфіденційними даними з непідтвердженим інструментом. Загальна оцінка не повинна приховувати критичну помилку.
Обмеження, які можуть залишитися
Краще судження у випадку навчання не усуває всіх обмежень:
- Тиск часу. Якщо цільові показники обсягу не залишають місця для перевірки, люди пропускатимуть перевірку того, чого їх навчили.
- Нечітка підзвітність. Якщо нікого не вказано як власника перевіреного виводу, перевірка — це нічия робота.
- Обмеження інструменту. Деякі інструменти не дозволяють людям бачити джерело відповіді, що уповільнює перевірку.
- Зміна інструментів. Система штучного інтелекту, яка змінює поведінку після оновлення, може порушити звичку перевірки, яку ви виробили минулого кварталу.
Плануйте окремі виправлення для цих проблем і повідомте про це спонсорів. Навчання може розвинути навички. Воно не може створити час чи авторитет.
Часті питання
Що має охоплювати навчання співробітників з питань штучного інтелекту?
Почніть із завдань, які ШІ змінює у своїй ролі. Розгляньте, як перевірити результати на відповідність доказам, коли ескалювати, затверджені межі використання ШІ та знання предметної області, необхідні для оцінки відповіді. Підказки щодо інструментів – це друге питання.
Чи усуває ШІ потребу в знаннях предметної області?
Ні. Людям потрібно достатньо розуміння, щоб помічати, коли результат неправильний або неповний. Змінюється те, як ці знання використовуються: менше виробництва, більше оцінки.
Як ви оцінюєте людську оцінку в роботі за допомогою штучного інтелекту?
Дайте учням реалістичні випадки з правильними, неповними та оманливими результатами, а також оцініть їхні причини для прийняття, виправлення або ескалації. Потім спостерігайте за виконанням реального завдання під наглядом після відповідної паузи.
З чого почати
Виберіть одне завдання, яке люди у вашій організації зараз виконують за допомогою штучного інтелекту. Заповніть робочий аркуш вище разом із тим, хто виконує це завдання, і зазначте три місця, де неправильний результат може завдати найбільшої шкоди. Побудуйте свій перший практичний кейс навколо одного з них.
Щоб побачити, як перевірка у самостійному темпі, інтерактивна практика з кейсу та живий дебрифінг можуть поєднуватися для цього завдання, ознайомтеся з AhaSlides.
