인공지능이 인력 학습과 인간의 판단에 어떤 변화를 가져올까요?

한 분석가가 AI 비서가 몇 초 만에 생성한 공급업체 계약서 요약본을 열어봅니다. 내용은 매끄럽습니다. 계약 해지 조항과 지불 조건이 명시되어 있고, 전체적으로 확신에 찬 어조입니다. 예전에는 이런 내용을 찾기 위해 아침 내내 계약서를 읽어야 했습니다. 하지만 이제 문제는 달라졌습니다. 이 요약본이 정확한가? 그리고 서명하기 전에 무엇을 더 확인해야 할까?

이것은 실제 고객 사례가 아니라, 여러 직무에서 일어나고 있는 변화를 보여주는 예시 시나리오입니다. 답을 찾는 속도는 빨라졌지만, 그 답을 신뢰할 수 있는지 여부와 신뢰할 수 없을 경우 누가 책임을 져야 하는지는 여전히 담당자의 몫입니다.

이 가이드는 AI 인력 교육을 계획하는 인재 개발 책임자와 교육 설계자를 위한 것입니다. AI가 인간의 업무를 변화시키는 작업을 찾는 방법, 때때로 오류가 발생하는 결과물을 중심으로 실습을 구성하는 방법, 생산성 향상을 약속하지 않고도 책임 있는 사용을 측정하는 방법을 보여줍니다.

빠른 사실

1. AI가 직무를 어떻게 변화시키는지 파악합니다.

도구가 아닌 실제 작업 하나부터 시작하세요. 인공지능이 등장하기 전과 후의 작업 방식을 설명하고, 각 항목을 비교해 보세요.

계약서 예시는 다음과 같습니다.

• 전에: 계약서 전문을 읽고 핵심 조항을 추출하고 특이한 사항을 표시한 후 요약문을 작성하세요.
• 현재 : AI가 생성한 요약을 검토하고, 원본과 대조하여 확인하고, 신뢰할지 여부를 결정하고, 특이한 사항이 있으면 표시하고, 결과에 대한 책임을 집니다.

일부 단계는 간소화됩니다. 용어 추출은 몇 초밖에 걸리지 않을 수 있습니다. 하지만 다른 단계는 새로 생겨나거나 길어집니다. 예를 들어, 출력 결과를 원본과 대조하고, 요약에서 누락된 부분을 파악하고, 전문가에게 문의해야 할 시점을 결정하는 것 등이 그렇습니다. 요구되는 역량은 생산에서 평가로 옮겨갔습니다. 블룸의 분류 체계는 과제 수행 방식이 아닌 과제에 필요한 사고 과정을 설명하는데, 이러한 관점에서 분석과 평가에 더 큰 비중이 실리게 되었습니다. 이 가이드에서는 이러한 변화에 대해 자세히 설명합니다. 학습 활동을 블룸의 분류 체계에 맞추기 수준을 파악한 후 목표, 활동 및 평가를 어떻게 연계해야 하는지 설명합니다.

이러한 비교는 AI 교육 요구 분석의 핵심이며, 흔히 발생하는 실수, 즉 실제 변화가 새로운 검증 업무인데도 모든 사람에게 특정 도구만 교육하는 것을 방지합니다.

2. 검증 및 판단 요구 사항을 파악합니다.

"현재" 열의 각 단계에 대해 세 가지 질문을 해보세요.

1. 잘못된 출력 결과는 어떤 모습일까요? 조작된 조항, 놓친 예외 사항, 그럴듯하지만 시대에 뒤떨어진 수치.
2. 어떤 증거를 통해 제가 그것을 확인할 수 있을까요? 원본 문서, 두 번째 시스템, 동료, 정책.
3. 언제쯤 멈춰서 다른 사람에게 물어봐야 할까요? "내가 확인할 수 있는 것"과 "전문가의 도움이 필요한 것" 사이의 경계.

연구자들은 사람들이 불완전한 자동화 도구를 사용할 때 어떤 일이 발생하는지 수십 년 동안 연구해 왔습니다. 파라수라만과 만지의 연구 검토에서는 자동화 편향, 즉 사람들이 항상 정확하지 않은 의사결정 보조 도구에 의존하여 누락 오류와 실행 오류를 범하는 현상을 설명합니다. 이 연구는 초보자와 전문가 모두에게서 이러한 효과가 나타나는 것을 발견했으며, 훈련이나 지침만으로는 이를 예방할 수 없다고 결론지었습니다.파라수라만과 만지, 2010, 인간 요소해당 연구는 오늘날의 AI 비서보다 앞서 진행된 것이므로, 현재의 도구를 평가하는 기준으로 삼기보다는 인간 행동에 대한 경고 정도로 받아들이는 것이 좋습니다.

직원들을 위한 AI 교육에서 얻을 수 있는 실질적인 교훈은 "결과를 확인해 보세요"라고 말하는 것이 올바른 설계 방식이 아니라는 점입니다. 개인을 둘러싼 환경 또한 중요합니다. 확인하는 데 필요한 시간, 원본 자료에 대한 접근성, 그리고 업무 속도를 늦추는 것에 대해 불이익을 주지 않는 근무 환경 등이 모두 중요합니다.

3. 신뢰할 수 없는 결과에 대한 대비책을 마련하십시오.

만약 이제 결과물을 평가하는 것이 과제라면, 결과물을 평가하는 연습을 하세요. AI 응답이 다음과 같은 경우들을 몇 가지 만들어 보세요:

• 정확하고 완전합니다. 올바른 대응은 그 사실을 받아들이고 이유를 설명하는 것입니다.
• 불완전한. 맞는 말이긴 하지만, 중요한 한 가지를 빠뜨리고 있습니다.
• 오해의 소지가 있습니다. 자신감 넘치고 글솜씨도 훌륭하지만, 놓치기 쉬운 방식으로 틀린 부분이 있다.

학습자는 각 사례와 검증할 자료를 제공받고, 수용, 수정 또는 이의 제기 중 하나를 선택해야 합니다. 또한 선택 이유를 제시해야 합니다. 단순히 확신 여부가 아니라, 동의 또는 이의 제기 이유를 평가해야 합니다. 확인 없이 정답을 수용하는 학습자는 필요한 기술을 보여주지 못한 것이며, 모든 것에 이의를 제기하는 학습자 또한 마찬가지입니다.

상호작용형 형식은 이러한 목적에 매우 적합합니다. 각 개인은 그룹 토론 전에 결정과 그 이유를 제시해야 하므로, 지나친 신뢰와 지나친 신중함 모두 드러납니다. 자기 주도 학습 방식은 첫 번째 단계에 적합하며, 실시간 토론은 두 가지 타당한 해석이 존재하는 모호한 사례를 다룹니다. AhaSlides는 상호작용형 학습과 실시간 및 자기 주도 학습 방식 간의 전환을 지원하므로, 하나의 사례 세트를 두 가지 방식으로 모두 진행할 수 있습니다. 특정 저작, 피드백 또는 보고 기능을 활용하기 전에 기존 워크플로와 비교하여 적합성을 확인하십시오.

4. 선수 지식을 보존하십시오

이해하지 못하는 결과물을 평가할 수는 없습니다. 지불 조건과 계약 해지 권리가 어떻게 연관되는지 전혀 모르는 사람은 요약본이 잘못된 내용을 담고 있더라도 알아차리지 못할 것입니다. 인공지능에 접근할 수 있다고 해서 그러한 이해의 필요성이 사라지는 것은 아닙니다. 다만 인공지능이 활용되는 방식이 달라질 뿐입니다.

각 검증 작업이 어떤 영역 지식을 필요로 하는지 결정하고, 연습 전에 짧은 자기 주도 진단으로 확인하세요. 이와 같은 회상 점검은 사전 지식만 확인하는 것이며, 결과물을 검증할 수 있다는 것을 보여주는 것은 아닙니다. 카네기 멜론 대학교의 에벌리 센터(Eberly Center)는 이와 같은 설계 원칙을 더욱 일반적으로 강조합니다. 평가, 목표, 그리고 교육 활동은 서로 연계되어야 하며, 평가가 회상을 측정하는데 목표가 분석을 요구하는 경우, 학습자가 배우고자 했던 내용을 제대로 측정하지 못하게 되고, 이러한 불일치는 학습 동기와 학습 모두를 저해할 수 있습니다.에벌리 센터, 목표, 평가 및 교육의 연계).

5. 실제 작업에서 책임감 있는 사용을 측정하십시오.

사람들이 실제로 수행하는 검증 작업을 선택하고, 측정하기 전에 AI 사용에 대한 허용 범위를 설정하세요. 즉, 도구에 위임할 수 있는 작업, 반드시 확인해야 하는 작업, 그리고 상위 관리자에게 보고해야 하는 작업을 명확히 정의하세요.

미국 질병통제예방센터는 학습 평가와 학습 내용을 업무에 얼마나 잘 적용하는지 평가하는 것을 구분하고, 두 가지 모두를 위한 계획을 세울 것을 권장합니다.CDC, 교육 평가: 효과 측정이는 평가 지침이지 결과 예측이 아닙니다. AI 작업의 경우 두 가지 측정 기준이 필요합니다.

• 학습 : 새로운 미공개 사례 세트에 대한 성능을 기준선과 비교했습니다.
• 이전: 감독 하에 수행되는 작업 과제 또는 실제 작업 샘플을, 학습한 내용을 활용할 시간을 가진 후 동일한 평가 기준에 따라 검토합니다.

포함 대상, 분모 및 기간을 명확히 정의하십시오. 효율성은 측정된 증거에 기반하여 보고해야 합니다. AI 학습 후 팀의 작업 속도가 향상되었다면, 학습 효과를 인정하기 전에 새로운 템플릿 도입, 인력 변동 또는 업무 구성 변화와 같이 동일 기간 동안 발생한 다른 변화도 함께 확인해야 합니다.

위험에 대한 보다 폭넓은 관점을 얻으려면 미국 국립표준기술연구소(NIST)에서 발행하는 자료를 참조하십시오. AI 리스크 관리 프레임워크2023년 1월에 발표된 이 지침은 조직들이 AI 위험을 고려할 때 참고하는 자료입니다. 이는 위험에 대한 논의를 시작하는 출발점일 뿐, 교육 표준이나 자격증은 아닙니다.

예시: 계약 요약

예시일 뿐입니다. 이 업무를 수행하는 실무자는 사용 전에 사례와 답변 기준을 검증해야 합니다.

경우. 학습자는 가상의 공급업체 계약서와 AI가 작성한 요약본을 받습니다. 요약본에는 60일 해지 통지 조항이 명시되어 있습니다. 계약서에는 정당한 사유 없는 해지의 경우 60일, 계약 위반의 경우 30일이라고 명시되어 있습니다. 또한 요약본의 부록에는 지불 조건 예외 조항이 누락되어 있습니다.

학습자에게 요구되는 사항. 결정 내용(수락, 수정 또는 상위 부서로 이관)을 설명하고, 계약서상의 근거를 제시하며, 추가적으로 필요한 정보나 지원이 무엇인지 밝히십시오.

미온적인 반응입니다. "요약 내용이 정확하고 주요 내용을 모두 포함하고 있습니다. 승인합니다." 아무런 출처도 명시되어 있지 않고, 검토 표시도 없습니다.

더욱 강력한 대응. "현재 상태로는 받아들일 수 없습니다. 제14조는 정당한 사유 없이 계약을 해지할 경우 60일, 계약 위반 시에는 30일의 기간을 규정하고 있는데, 요약서에는 60일만 언급되어 있습니다. 부록 B에는 요약서에 언급되지 않은 지급 예외 조항이 있습니다. 해지 관련 조항을 수정하고 예외 조항을 추가해야 합니다. 부록이 해당 공급업체에 적용되는지는 확실하지 않으므로 계약 담당자에게 문의해 보시기 바랍니다."

재시도. 학습자는 AI 요약이 정확한 두 번째 계약서를 받습니다. 이때 올바른 조치는 계약서를 수락하고 어떤 부분이 검토되었는지 말하는 것입니다. 이는 사람들이 반사적으로 의심하는 습관을 들이는 것을 방지합니다.

AI 작업 분석 워크시트

실제 작업을 수행할 때는 "현재" 열에 단계별로 한 행씩 사용하세요.

수정 가능한 평가 기준표

각 기준에 0점에서 2점까지 점수를 매기십시오. 이는 검증된 준비 표준이 아니라 해당 역할 전문가와 협의하여 조정하기 위한 제안입니다.

앵커 : 0 = 부재 또는 근거 없음. 1 = 부분적이지만 관련 누락 사항 있음. 2 = 합의된 기준에 따라 완전하고 타당성 있음. 중대한 오류는 별도로 정의해야 합니다. 예를 들어 원본과 모순되는 결과물을 승인하거나 승인되지 않은 도구와 기밀 데이터를 공유하는 경우 등이 있습니다. 총점은 중대한 오류를 숨겨서는 안 됩니다.

남아 있을 수 있는 제약 조건

훈련 사례에서 더 나은 판단력을 발휘한다고 해서 모든 제약 조건이 사라지는 것은 아닙니다.

• 시간에 쫓기고 있다. 목표량에 점검할 여지가 없다면, 사람들은 교육받은 내용을 모두 건너뛰게 될 것입니다.
• 책임 소재가 불분명하다. 검사된 출력물의 소유자가 지정되지 않은 경우, 검사는 누구의 책임도 아닙니다.
• 도구 제한 사항. 일부 도구는 답변의 출처를 확인할 수 없도록 되어 있어 검증 속도가 느립니다.
• 도구를 바꾸다. 업데이트 후 동작 방식이 바뀌는 AI 시스템은 지난 분기에 쌓아온 검증 습관을 무너뜨릴 수 있습니다.

이러한 문제들에 대한 별도의 해결책을 마련하고 후원자에게 알리십시오. 훈련은 기술을 향상시켜 줄 수는 있지만, 시간이나 권한을 만들어 줄 수는 없습니다.

자주하는 질문

직원 대상 AI 교육에는 어떤 내용이 포함되어야 할까요?

AI가 업무에서 어떤 변화를 가져오는지부터 시작하세요. 출력 결과를 증거와 대조하여 검증하는 방법, 문제 발생 시 상위 부서로 보고해야 하는 시점, AI 사용의 허용 범위, 그리고 답변을 판단하는 데 필요한 전문 지식에 대해 다루세요. 툴팁 사용법은 그다음으로 설명하면 됩니다.

인공지능이 해당 분야 지식의 필요성을 없애는가?

아니요. 사람들은 결과물이 잘못되었거나 불완전할 때 그것을 알아차릴 수 있을 만큼의 이해력이 필요합니다. 달라지는 것은 그 지식을 활용하는 방식입니다. 즉, 생산 활동은 줄어들고 평가 활동은 늘어나는 것이죠.

인공지능 지원 작업에서 인간의 판단력을 어떻게 평가하시나요?

학습자에게 정확한 결과, 불완전한 결과, 그리고 오해의 소지가 있는 결과를 포함하는 현실적인 사례를 제시하고, 결과를 수용하거나 수정하거나 보고하는 이유에 점수를 매깁니다. 그런 다음 적절한 시간 간격을 두고 지도하에 실제 과제를 수행하는 모습을 관찰합니다.

어디서 시작하나요

조직 내에서 현재 AI의 도움을 받아 수행하는 업무 하나를 선택하세요. 위의 워크시트에 해당 업무를 담당하는 사람의 정보를 입력하고, 잘못된 결과가 가장 큰 피해를 줄 수 있는 세 가지 지점을 기록하세요. 그중 하나를 바탕으로 첫 번째 연습 사례를 만들어 보세요.

자기 주도 학습 방식의 점검, 대화형 사례 연습, 실시간 사후 검토가 어떻게 결합되어 해당 과제를 수행할 수 있는지 알아보려면 AhaSlides를 살펴보세요.