人工智慧如何改變員工學習和人類判斷？

一位分析師開啟了由人工智慧助理在幾秒鐘內產生的供應商合約摘要草稿。草稿內容流暢，包含了終止條款和付款期限，並且整體語氣自信。過去，這位分析師需要花一個上午的時間閱讀合約才能找到這些資訊。現在問題不同了：這份摘要是否正確？在簽字之前，他們還需要確認哪些內容？

這是一個範例場景，並非已記錄的客戶案例。它反映了許多工作中正在發生的變化：找到答案的速度更快了。但判斷答案是否可信，以及如果不可信該由誰負責，仍由個人決定。

本指南面向負責學習與發展 (L&D) 的負責人和教學設計師，旨在幫助他們規劃人工智慧 (AI) 員工培訓。指南闡述如何找到 AI 會改變人類工作的任務，如何圍繞有時出錯的輸出結果構建實踐，以及如何在不承諾提高生產力的情況下衡量 AI 的合理使用。

要聞速覽

1. 繪製人工智慧如何改變工作任務的示意圖

先從一個實際任務著手，而不是從某個工具著手。分別描述人工智慧出現之前和現在完成這項任務的方式，然後逐列比較兩者。

以合約為例：

• 之前： 閱讀完整合同，提取關鍵條款，標記任何異常之處，並撰寫摘要。
• 現在： 審核人工智慧產生的摘要，將其與來源進行核對，決定是否採納，標記任何異常情況，並對結果負責。

有些步驟縮短了。提取術語可能只需幾秒鐘。而其他步驟則出現或增加：例如，將輸出結果與來源文字進行比對、注意摘要遺漏的內容，以及決定何時諮詢專家。所需的技能已從產出轉向評估。用布魯姆的術語來說（布魯姆描述的是任務所需的思考方式，而非任務的執行方式），重點已轉移到分析和評估。我們的指南 將學習活動與布魯姆分類法相匹配 說明如何在了解等級後調整目標、活動和評估。

這種對比是進行客觀的人工智慧訓練需求分析的核心。它還能避免一個常見的錯誤：當真正的變化只是新增了一項檢查職責時，卻對所有人進行工具訓練。

2. 確定驗證與判斷需求

針對「現在」欄中的每個步驟提出三個問題。

1. 錯誤的輸出會是什麼樣子？ 捏造的條款、遺漏的例外情況、看似合理但已過時的數字。
2. 我需要哪些證據才能證實這一點？ 來源文件、第二個系統、同事、政策。
3. 我什麼時候該停下來問別人？ 「我可以驗證這一點」和「這需要專家」之間的界線。

幾十年來，研究人員一直在研究人們在使用不完美的自動化輔助工具時會發生什麼事。 Parasuraman 和 Manzey 對這些研究的回顧描述了自動化偏差，即人們由於依賴並非總是正確的決策輔助工具而犯下遺漏錯誤和執行錯誤。研究發現，新手和專家參與者都會出現這種效應，並得出結論：僅靠訓練或指導無法預防這種效應。Parasuraman 與 Manzey，2010，《人類因素》這項研究早於當今的人工智慧助手，因此應將其視為對人類行為的警示，而不是對任何當前工具的衡量。

對員工進行人工智慧培訓的實際經驗是，僅僅告訴他們「檢查輸出結果」並不是一個好方法。員工所處的環境也很重要：檢查所需的時間、取得原始碼的權限，以及不會因為他們工作速度慢而懲罰他們的工作環境。

3.圍繞不可靠的輸出建立練習

如果任務現在涉及判斷輸出結果，那就練習判斷輸出結果。建立一個小型案例集，其中人工智慧的回應為：

• 正確且完整。 正確的做法是接受它，並說明原因。
• 不完整 這話沒錯，但它忽略了一些重要的事。
• 誤導。 自信、文筆流暢，但錯誤之處很容易被忽略。

學習者會收到每個案例、一個可供核對的參考資料，以及一個選擇：接受、糾正或向上級報告。他們也必須給出理由。評估同意或質疑的理由，而不僅僅是他們的自信。不加核實就接受正確答案的學習者沒有展現出相應的技能，而對所有問題都提出質疑的學習者也同樣如此。

互動式教學形式非常適合這種教學方式。每個人在小組討論前都要做出決定並說明理由，這樣一來，過度信任和過度謹慎都會暴露出來。自主學習模式適用於第一輪學習，而即時討論則用於處理存在兩種合理解讀的模糊案例。 AhaSlides 支援互動式學習，並可在即時討論和自主學習模式之間切換，因此一套案例可以同時用於兩種模式。在製定計劃之前，請務必將任何特定的創作、回饋或報告功能與您自己的工作流程進行比對。

4. 保留先修知識

你無法評估自己不理解的輸出結果。如果一個人從未了解過付款條款與終止權之間的關係，那麼當摘要中出現錯誤時，他也不會察覺。人工智慧的普及並不會消除對這種理解的必要性，它只是改變了人工智慧的應用場景。

確定每個驗證任務所依賴的領域知識，並在練習前透過簡短的自定進度診斷進行檢查。這樣的回憶檢查只能確認前提條件，並不能證明任何人都能驗證輸出結果。卡內基美隆大學的艾伯利中心也提出了類似的普遍設計觀點：評估、目標和教學活動應該保持一致。如果評估衡量的是回憶，而目標要求分析，那麼它就無法衡量學習者應該學習的內容，而這種不匹配會削弱學習動機和學習效果。埃伯利中心，目標、評估和教學的協調一致).

5. 在實際任務中衡量負責任的使用

選擇一項人們真正會做的驗證任務，並在進行衡量之前設定人工智慧使用的批准範圍：哪些可以委託給工具，哪些必須檢查，哪些必須上報。

美國疾病管制與預防中心將學習效果評估與人們在工作中應用這些效果的評估區分開來，並建議對兩者都進行規劃（美國疾病管制與預防中心，評估訓練：衡量有效性這是評估指南，而非結果預測。對人工智慧任務而言，這意味著兩項指標：

• 學習： 在一組全新的、未見過的案例上的表現，與基準進行比較。
• 轉讓： 在監督下完成的工作任務或真實工作樣本，在人們有時間運用所學之後，根據相同的評分標準進行審查。

明確納入物件、分母和時間節點。效率報告僅基於可衡量的證據。如果團隊在接受人工智慧訓練後速度提升，在將功勞歸於訓練之前，應檢查同一時期內還有哪些其他變化，例如使用了新的模板、人員變動或工作組合發生了變化。

為了更全面地了解風險，美國國家標準與技術研究院發布了… 人工智能風險管理框架該指南於2023年1月發布，供各組織機構思考人工智慧風險時使用。它只是風險討論的起點，並非訓練標準或認證。

一個實際範例：合約概要

舉例說明。從事這項工作的從業人員在使用前應驗證案例和答案標準。

案子。 學習者收到一份虛構的供應商合約和一份人工智慧產生的摘要。摘要中提到終止通知期為 60 天。而合約中規定，無故終止的通知期為 60 天，違約終止的通知期為 30 天。摘要也遺漏了附錄中付款期限的例外條款。

學習者被要求做什麼。 解釋決定（接受、糾正或回報），引用合約中的證據，並說明他們還需要哪些進一步的資訊或支持。

反應遲鈍。 「摘要看起來準確，涵蓋了主要條款。接受。」但它沒有引用任何內容，也沒有勾選任何選項。

更強硬的回應。 「我不會接受目前的條款。第14條規定，無故終止合約的期限為60天，違約終止合約的期限為30天，而摘要中只提到了60天。附錄B中有一項付款例外條款，但摘要中沒有提及。我會修改終止條款並添加該例外條款。我不確定該附錄是否適用於這家供應商，所以我會諮詢負責人。」

重試。 學習者會收到第二份合同，其中人工智慧的總結是正確的。此時正確的做法是接受並說明檢查結果。這可以防止人們養成條件反射式的懷疑。

人工智慧任務分析工作表

對於實際任務，請在「現在」列中為每個步驟使用一行。

您可以根據自身情況進行調整

每個標準評分 0 到 2 分。這是一份由該領域專家進行調整的建議，並非經過驗證的準備標準。

錨點： 0 分 = 缺失或缺乏支持。 1 分 = 部分缺失，有相關遺漏。 2 分 = 完整且符合既定標準。請單獨定義嚴重錯誤，例如簽署與來源檔案相矛盾的輸出結果，或使用未經批准的工具共用機密資料。總分不得掩蓋嚴重錯誤。

可能存在的限制

在訓練案例中做出更明智的判斷並不能消除所有限制：

• 時間緊迫。 如果成交量目標沒有檢查的空間，人們就會忽略他們被教導要檢查的內容。
• 問責機制不明確。 如果沒有人被指定為已檢查輸出的所有者，那麼檢查就不是任何人的職責。
• 工具的限制。 有些工具不讓使用者看到答案背後的來源，這使得驗證過程很慢。
• 更換工具。 更新後行為改變的人工智慧系統可能會打破你上個季度養成的驗證習慣。

針對這些問題制定單獨的解決方案，並告知贊助商。培訓可以培養技能，但無法創造時間或權力。

常見問題

員工人工智慧培訓應該涵蓋哪些內容？

首先介紹人工智慧在其角色中改變的任務。內容包括如何將輸出結果與證據進行比對、何時需要升級處理、人工智慧使用的核准範圍，以及判斷答案所需的領域知識。工具提示隨後介紹。

人工智慧是否取代了領域知識？

不。人們需要具備足夠的理解力才能察覺輸出結果是否錯誤或不完整。改變的是知識的運用方式：減少生產，增加評估。

如何評價人工智慧輔助工作中人類的判斷力？

給學習者提供包含正確、不完整和誤導性結果的真實案例，並對他們接受、糾正或升級處理的理由進行評分。然後在適當的延遲後，觀察他們在監督下完成的實際任務。

從哪兒開始

選擇貴公司目前藉助人工智慧完成的一項任務。請填寫上方表格，並註明負責此任務的人員姓名，並指出錯誤輸出可能造成最大危害的三個面向。圍繞其中一項，建立您的第一個實踐案例。

要了解自主學習檢查、互動案例練習和現場報告如何結合起來完成這項任務，請探索 AhaSlides。