Trí tuệ nhân tạo (AI) thay đổi như thế nào về việc học tập của lực lượng lao động và khả năng phán đoán của con người?

Một nhà phân tích mở bản tóm tắt dự thảo hợp đồng với nhà cung cấp, được tạo ra bởi trợ lý AI chỉ trong vài giây. Bản tóm tắt này khá tốt. Nó nêu rõ điều khoản chấm dứt hợp đồng và điều khoản thanh toán, và thể hiện sự tự tin xuyên suốt. Trước đây, nhà phân tích này thường mất cả buổi sáng để đọc toàn bộ hợp đồng nhằm tìm ra những điều đó. Giờ đây, câu hỏi đặt ra khác đi: bản tóm tắt này có chính xác không, và họ cần kiểm tra những gì trước khi ký tên vào đó?

Đây là một tình huống minh họa, không phải là trường hợp khách hàng đã được ghi nhận. Nó phản ánh những thay đổi đang diễn ra trong nhiều công việc. Việc tìm ra câu trả lời trở nên nhanh hơn. Tuy nhiên, việc quyết định xem câu trả lời đó có đáng tin cậy hay không, và ai chịu trách nhiệm nếu không đáng tin cậy, vẫn thuộc về người đó.

Hướng dẫn này dành cho các trưởng bộ phận Đào tạo và Phát triển (L&D) và các nhà thiết kế chương trình đào tạo đang lên kế hoạch huấn luyện lực lượng lao động sử dụng AI. Hướng dẫn này chỉ ra cách tìm ra những nhiệm vụ mà AI thay đổi công việc của con người, cách xây dựng thực tiễn xung quanh những kết quả đôi khi không chính xác, và cách đo lường việc sử dụng có trách nhiệm mà không cần hứa hẹn tăng năng suất.

sự kiện nhanh chóng

1. Phác thảo cách trí tuệ nhân tạo (AI) thay đổi nhiệm vụ công việc

Hãy bắt đầu với một nhiệm vụ thực tế, chứ không phải với một công cụ. Mô tả nhiệm vụ đó như cách nó được thực hiện trước khi có AI và như cách nó được thực hiện hiện nay, rồi so sánh hai kết quả đó từng cột một.

Ví dụ về hợp đồng:

• Trước: Đọc kỹ toàn bộ hợp đồng, trích xuất các điều khoản chính, đánh dấu bất kỳ điều gì bất thường, và viết bản tóm tắt.
• Hiện nay: Xem xét bản tóm tắt do AI tạo ra, đối chiếu với nguồn thông tin gốc, quyết định xem có nên tin cậy vào nó hay không, đánh dấu bất kỳ điều gì bất thường và chịu trách nhiệm về kết quả.

Một số bước được rút ngắn. Việc trích xuất thuật ngữ có thể chỉ mất vài giây. Những bước khác xuất hiện hoặc phát triển thêm: kiểm tra kết quả đầu ra so với nguồn, nhận thấy những gì bản tóm tắt đã bỏ sót và quyết định khi nào cần hỏi ý kiến ​​chuyên gia. Kỹ năng cần thiết đã chuyển từ sản xuất sang đánh giá. Theo thang phân loại Bloom, mô tả tư duy mà một nhiệm vụ yêu cầu chứ không phải cách thức thực hiện, trọng tâm chuyển sang phân tích và đánh giá. Hướng dẫn của chúng tôi về... Phù hợp các hoạt động học tập với Phân loại Bloom. Giải thích cách điều chỉnh mục tiêu, hoạt động và đánh giá sao cho phù hợp sau khi đã xác định được trình độ.

Sự so sánh này là cốt lõi của việc phân tích nhu cầu đào tạo một cách trung thực cho AI. Nó cũng giúp tránh một sai lầm phổ biến: đào tạo tất cả mọi người về một công cụ trong khi sự thay đổi thực sự là một nhiệm vụ kiểm tra mới.

2. Xác định các yêu cầu xác minh và đánh giá

Hãy đặt ba câu hỏi về mỗi bước trong cột "hiện tại".

1. Kết quả sai trong trường hợp này sẽ trông như thế nào? Một điều khoản bịa đặt, một ngoại lệ bị bỏ sót, một con số hợp lý nhưng đã lỗi thời.
2. Tôi cần bằng chứng gì để kiểm tra điều đó? Tài liệu nguồn, một hệ thống thứ hai, một đồng nghiệp, một chính sách.
3. Khi nào tôi cần dừng lại và hỏi ý kiến ​​người khác? Ranh giới giữa "Tôi có thể xác minh điều này" và "việc này cần chuyên gia".

Các nhà nghiên cứu đã nghiên cứu điều gì xảy ra khi con người làm việc với các công cụ hỗ trợ tự động không hoàn hảo trong nhiều thập kỷ. Bài đánh giá của Parasuraman và Manzey về nghiên cứu đó mô tả hiện tượng thiên lệch do tự động hóa, trong đó con người mắc lỗi bỏ sót và lỗi sai sót vì họ dựa vào một công cụ hỗ trợ ra quyết định không phải lúc nào cũng chính xác. Nghiên cứu này đã tìm thấy hiệu ứng đó ở cả người tham gia mới bắt đầu và chuyên gia, và kết luận rằng hiện tượng này không thể được ngăn chặn chỉ bằng đào tạo hoặc hướng dẫn.Parasuraman và Manzey, 2010, Yếu tố con ngườiNghiên cứu đó được thực hiện trước khi các trợ lý AI hiện nay xuất hiện, vì vậy hãy xem nó như một lời cảnh báo về hành vi của con người, chứ không phải là một thước đo cho bất kỳ công cụ nào hiện có.

Bài học thực tiễn về đào tạo AI cho nhân viên là việc chỉ bảo mọi người "kiểm tra kết quả" không phải là một thiết kế đúng đắn. Các điều kiện xung quanh người đó cũng rất quan trọng: thời gian để kiểm tra, khả năng truy cập vào nguồn thông tin và một môi trường làm việc không trừng phạt họ vì làm việc chậm lại.

3. Xây dựng thói quen thực hành xoay quanh các kết quả không đáng tin cậy

Nếu nhiệm vụ bây giờ liên quan đến việc đánh giá kết quả đầu ra, hãy luyện tập đánh giá kết quả đầu ra. Xây dựng một tập hợp nhỏ các trường hợp trong đó phản hồi của AI là:

• Chính xác và đầy đủ. Cách làm đúng đắn là chấp nhận điều đó và giải thích lý do.
• Chưa hoàn thiện. Điều đó đúng ở một mức độ nào đó, nhưng nó bỏ sót một điều quan trọng.
• Gây hiểu lầm. Tự tin, văn phong trau chuốt, nhưng lại sai ở một điểm dễ bị bỏ qua.

Người học được cung cấp mỗi trường hợp, một nguồn tham khảo để đối chiếu và một lựa chọn: chấp nhận, sửa chữa hoặc chuyển vấn đề lên cấp cao hơn. Họ cũng phải đưa ra lý do. Đánh giá lý do đồng ý hoặc phản đối, chứ không chỉ dựa vào sự tự tin. Người học chấp nhận câu trả lời đúng mà không kiểm tra lại chưa thể hiện được kỹ năng, và người học phản đối mọi thứ cũng vậy.

Các định dạng tương tác rất phù hợp với điều này. Mỗi người đưa ra quyết định và lý do của riêng mình trước khi nhóm thảo luận, do đó cả sự tin tưởng thái quá và sự thận trọng thái quá đều trở nên rõ ràng. Hình thức tự học bao gồm bước đầu tiên, và phần thảo luận trực tiếp sẽ xử lý các trường hợp mơ hồ khi có hai cách hiểu có thể bảo vệ được. AhaSlides hỗ trợ học tập tương tác và chuyển đổi giữa hình thức trực tiếp và tự học, vì vậy một bộ bài tập có thể được sử dụng theo cả hai cách. Hãy kiểm tra bất kỳ chức năng soạn thảo, phản hồi hoặc báo cáo cụ thể nào so với quy trình làm việc của riêng bạn trước khi lên kế hoạch sử dụng chúng.

4. Bảo tồn kiến ​​thức cần thiết

Bạn không thể đánh giá một kết quả mà bạn không hiểu. Một người chưa từng học về cách các điều khoản thanh toán tương tác với quyền chấm dứt hợp đồng sẽ không nhận ra khi bản tóm tắt đưa ra thông tin sai lệch. Việc tiếp cận với AI không loại bỏ nhu cầu về sự hiểu biết đó. Nó chỉ thay đổi phạm vi sử dụng mà thôi.

Hãy xác định mỗi nhiệm vụ kiểm chứng phụ thuộc vào kiến ​​thức chuyên môn nào, và kiểm tra điều đó trước khi thực hành, bằng một bài kiểm tra chẩn đoán ngắn tự học. Một bài kiểm tra khả năng nhớ lại như vậy chỉ xác nhận các điều kiện tiên quyết. Nó không chứng minh rằng bất kỳ ai cũng có thể kiểm chứng kết quả đầu ra. Trung tâm Eberly của Đại học Carnegie Mellon đưa ra cùng một quan điểm thiết kế tổng quát hơn: các bài đánh giá, mục tiêu và hoạt động giảng dạy cần phải phù hợp với nhau, và khi một bài đánh giá đo lường khả năng nhớ lại nhưng mục tiêu lại yêu cầu phân tích, nó sẽ không đo lường được những gì người học cần học, và sự không phù hợp này có thể làm suy yếu cả động lực và việc học tập.Trung tâm Eberly, sự thống nhất giữa mục tiêu, đánh giá và giảng dạy).

5. Đo lường việc sử dụng có trách nhiệm trong các nhiệm vụ thực tế

Hãy chọn một nhiệm vụ xác minh mà mọi người thực sự thực hiện, và thiết lập các giới hạn được chấp thuận cho việc sử dụng AI trước khi bạn đo lường: những gì có thể được giao cho công cụ, những gì phải được kiểm tra và những gì phải được chuyển lên cấp cao hơn.

Trung tâm Kiểm soát và Phòng ngừa Dịch bệnh Hoa Kỳ (CDC) phân biệt việc đánh giá quá trình học tập với việc đánh giá mức độ áp dụng kiến ​​thức đó vào công việc, và khuyến nghị nên lập kế hoạch cho cả hai khía cạnh này.CDC, đánh giá hiệu quả đào tạo: đo lường hiệu quả). Đây là hướng dẫn đánh giá, không phải dự báo kết quả. Đối với các nhiệm vụ AI, điều đó có nghĩa là hai thước đo:

• Học tập: hiệu suất trên một tập hợp các trường hợp mới, chưa từng thấy, so với mức cơ sở.
• Chuyển khoản: Một bài tập thực hành có sự giám sát hoặc một mẫu công việc thực tế, được đánh giá dựa trên cùng một tiêu chí sau khi mọi người đã có thời gian áp dụng những gì đã học.

Xác định rõ đối tượng tham gia, mẫu số và thời điểm. Chỉ báo cáo hiệu quả dựa trên bằng chứng đo lường được. Nếu một nhóm làm việc nhanh hơn sau khi được đào tạo bằng AI, hãy kiểm tra xem những yếu tố khác có thay đổi trong cùng kỳ hay không, chẳng hạn như mẫu mới, thay đổi nhân sự hoặc sự kết hợp công việc khác nhau, trước khi ghi nhận công lao của việc đào tạo.

Để có cái nhìn toàn diện hơn về rủi ro, Viện Tiêu chuẩn và Công nghệ Quốc gia (NIST) công bố các báo cáo sau: Khung quản lý rủi ro AICông cụ này, được phát hành vào tháng 1 năm 2023, được các tổ chức sử dụng để xem xét rủi ro liên quan đến trí tuệ nhân tạo (AI). Đây là điểm khởi đầu cho cuộc thảo luận về rủi ro, chứ không phải là tiêu chuẩn đào tạo hay chứng nhận.

Ví dụ minh họa: bản tóm tắt hợp đồng

Ví dụ minh họa. Người thực hiện công việc này cần xác thực trường hợp và tiêu chí trả lời trước khi sử dụng.

Trường hợp. Người học nhận được một hợp đồng nhà cung cấp giả định và một bản tóm tắt do AI viết. Bản tóm tắt nêu rõ thông báo chấm dứt hợp đồng trong vòng 60 ngày. Hợp đồng ghi rõ 60 ngày để chấm dứt hợp đồng không cần lý do chính đáng và 30 ngày để vi phạm hợp đồng. Bản tóm tắt cũng bỏ sót một điều khoản ngoại lệ về thời hạn thanh toán trong phụ lục.

Những việc người học được yêu cầu thực hiện. Hãy giải thích quyết định (chấp nhận, sửa chữa hoặc chuyển lên cấp cao hơn), trích dẫn bằng chứng từ hợp đồng và cho biết họ cần thêm thông tin hoặc hỗ trợ gì.

Một phản hồi yếu ớt. "Bản tóm tắt có vẻ chính xác và bao gồm các điều khoản chính. Chấp nhận." Nó không trích dẫn bất cứ nguồn nào và không có dấu kiểm.

Một phản hồi mạnh mẽ hơn. "Tôi sẽ không chấp nhận hợp đồng như hiện tại. Điều khoản 14 quy định 60 ngày để chấm dứt hợp đồng không cần lý do chính đáng nhưng chỉ 30 ngày để vi phạm hợp đồng, trong khi bản tóm tắt chỉ đề cập đến 60 ngày. Phụ lục B có một điều khoản ngoại lệ về thanh toán mà bản tóm tắt không đề cập đến. Tôi sẽ sửa lại dòng về chấm dứt hợp đồng và thêm điều khoản ngoại lệ đó. Tôi không chắc liệu phụ lục có áp dụng cho nhà cung cấp này hay không, vì vậy tôi sẽ hỏi người phụ trách hợp đồng."

Thử lại. Người học nhận được hợp đồng thứ hai, trong đó bản tóm tắt của AI là chính xác. Bước đi đúng đắn lúc này là chấp nhận và nói rõ những gì đã được kiểm tra. Điều này giúp tránh việc hình thành thói quen nghi ngờ một cách phản xạ.

Bảng tính phân tích nhiệm vụ AI

Hãy sử dụng một hàng cho mỗi bước trong cột "hiện tại" đối với một nhiệm vụ thực tế.

Một bảng tiêu chí bạn có thể điều chỉnh

Chấm điểm từng tiêu chí từ 0 đến 2. Đây là đề xuất điều chỉnh với sự tham vấn của chuyên gia trong vai trò này, không phải là tiêu chuẩn sẵn sàng đã được xác nhận.

Neo: 0 = không có hoặc không được hỗ trợ. 1 = một phần, với những thiếu sót liên quan. 2 = đầy đủ và được chứng minh dựa trên các tiêu chí đã thống nhất. Xác định riêng các lỗi nghiêm trọng, ví dụ như phê duyệt kết quả đầu ra mâu thuẫn với nguồn thông tin, hoặc chia sẻ dữ liệu bí mật với một công cụ chưa được phê duyệt. Tổng điểm không được che giấu lỗi nghiêm trọng.

Những ràng buộc có thể vẫn còn

Việc đưa ra phán đoán tốt hơn trong một trường hợp huấn luyện không loại bỏ mọi hạn chế:

• Áp lực thời gian. Nếu mục tiêu về số lượng không cho phép kiểm tra, mọi người sẽ bỏ qua việc kiểm tra bất cứ điều gì họ đã được dạy.
• Trách nhiệm chưa rõ ràng. Nếu không có ai được chỉ định là chủ sở hữu của kết quả đã được kiểm tra, thì việc kiểm tra không phải là nhiệm vụ của ai cả.
• Giới hạn của công cụ. Một số công cụ không cho phép người dùng xem nguồn gốc của câu trả lời, điều này làm chậm quá trình xác minh.
• Thay đổi công cụ. Một hệ thống AI thay đổi hành vi sau khi cập nhật có thể phá vỡ thói quen xác minh mà bạn đã hình thành từ quý trước.

Hãy lên kế hoạch khắc phục riêng cho từng vấn đề và thông báo điều này cho các nhà tài trợ. Đào tạo có thể xây dựng kỹ năng, nhưng không thể tạo ra thời gian hay quyền hạn.

Các câu hỏi thường gặp

Nội dung đào tạo về trí tuệ nhân tạo dành cho nhân viên nên bao gồm những gì?

Hãy bắt đầu bằng việc nêu bật những thay đổi trong vai trò của AI. Nội dung bao gồm cách kiểm tra kết quả đầu ra so với bằng chứng, khi nào cần báo cáo sự việc lên cấp trên, phạm vi cho phép sử dụng AI và kiến ​​thức chuyên môn cần thiết để đánh giá câu trả lời. Các mẹo sử dụng công cụ sẽ được trình bày sau đó.

Liệu trí tuệ nhân tạo có loại bỏ được nhu cầu về kiến ​​thức chuyên môn?

Không. Mọi người cần đủ hiểu biết để nhận ra khi kết quả đầu ra sai hoặc không đầy đủ. Điều thay đổi là cách sử dụng kiến ​​thức đó: ít sản xuất hơn, nhiều đánh giá hơn.

Làm thế nào để đánh giá khả năng phán đoán của con người trong công việc có sự hỗ trợ của trí tuệ nhân tạo?

Cung cấp cho người học các trường hợp thực tế với kết quả đúng, không đầy đủ và gây hiểu nhầm, và chấm điểm lý do họ chấp nhận, sửa chữa hoặc chuyển vấn đề lên cấp cao hơn. Sau đó, quan sát một nhiệm vụ thực tế có sự giám sát sau một khoảng thời gian thích hợp.

Bắt đầu từ đâu

Hãy chọn một nhiệm vụ mà mọi người trong tổ chức của bạn hiện đang thực hiện với sự hỗ trợ của AI. Điền thông tin của người thực hiện công việc đó vào bảng tính ở trên và ghi chú ba điểm mà kết quả sai sẽ gây ra thiệt hại lớn nhất. Xây dựng trường hợp thực hành đầu tiên của bạn xoay quanh một trong ba điểm đó.

Để xem cách kết hợp giữa việc tự kiểm tra theo tốc độ riêng, thực hành tình huống tương tác và thảo luận trực tiếp cho nhiệm vụ đó, hãy khám phá AhaSlides.