품질 개선 교육 투자 수익률(ROI): 행정 개선 프로젝트를 통한 절감 효과를 정량화하는 방법

병원 팀이 청구 처리 절차를 재설계했습니다. 행정 직원들에게 새로운 절차에 대한 교육을 실시한 후 6개월이 지나자 청구 건당 비용이 절감되었습니다. 재무 부서는 만족하며 교육을 통해 얼마나 절감했는지 구체적인 수치를 요구했습니다.

솔직한 답변을 내놓는 것은 질문 자체보다 더 어렵습니다. 같은 6개월 동안 인력 변동, 청구량 변화, 보험사 규정 변경 등 여러 변수가 있었습니다. 절감액 중 일부는 시스템 재설계 덕분이고, 일부는 교육 덕분이며, 나머지는 어느 쪽에도 해당되지 않습니다. 품질 개선 교육의 투자 수익률(ROI)을 평가하려면 이러한 요소들을 구분하고, 명확한 신뢰 수준을 제시하여 남은 부분을 보고해야 합니다.

이는 예시 시나리오일 뿐, 실제 사례는 아닙니다. 이 가이드는 병원 교육개발(L&D) 책임자와 이들과 협력하는 정보 시스템 또는 규정 준수 담당자를 위한 것입니다. 비교 대상을 정의하고, 실제 과제를 측정하고, 해당 증거를 운영 데이터와 연결하고, 다른 설명들을 배제하고, 과장 없이 결과를 보고하는 방법을 다룹니다.

품질 개선 교육의 투자 수익률(ROI)이란 무엇인가요?

품질 개선 교육 투자 수익률(ROI)은 교육 연계 개선 프로젝트의 이점과 비용을 비교하는 지표입니다. 즉, 교육을 통해 조직이 얻은 이점이 교육 및 프로젝트 비용 대비 얼마나 가치가 있는지를 평가합니다. 가장 일반적인 형태는 간단한 방식으로, 순이익(이익에서 비용을 뺀 값)을 비용으로 나누어 백분율로 나타냅니다.

산수는 쉬운 부분입니다. 어려운 부분은 어떤 이점이 교육에 기인하는지 결정하는 것입니다. 5단계 평가 프레임워크를 제시하는 ROI 연구소는 데이터 분석 단계에서 "프로젝트 효과 분리"를 하나의 항목으로 제시합니다.ROI 연구소이 모델은 반응, 학습, 적용, 영향, ROI의 다섯 단계로 구성됩니다. 만족도와 완료율은 첫 번째 단계에 해당합니다. 이는 유용한 성과 지표이지만, 비용 절감을 입증하는 증거는 아닙니다.

빠른 사실

1. 결과와 비교 대상을 정의하십시오.

데이터를 수집하기 전에 다음 세 가지를 적어 두세요. 개입 내용, 영향을 받는 역할, 그리고 분석을 통해 뒷받침해야 할 결정입니다. "교육이 비용 절감에 도움이 되었는가?"는 너무 모호합니다. "청구 처리 워크플로 프로그램을 두 번째 사업장으로 확대해야 하는가?"는 결정 사항이며, 어떤 근거가 충분한지 알려줍니다.

그런 다음 두 가지 유형의 비용을 구분합니다. 배송 비용 설계 시간, 진행자 또는 코치 시간, 학습 시간, 자료 및 소프트웨어 비용을 포함합니다. 운영 비용 프로세스 자체의 변화, 즉 새로운 도구, 수정된 절차, 직원들이 새로운 방법을 배우는 동안 일시적으로 두 가지 작업을 병행하는 것 등을 포함해야 합니다. 교육 투자 수익률(ROI)을 단순히 비용만 고려하여 계산하면 프로그램의 효과가 과장될 수 있습니다. 모든 것을 고려한 ROI는 개선 프로젝트에는 적합할 수 있지만 교육 자체에는 불공평할 수 있습니다. 어떤 질문에 대한 답을 찾고자 하는지 결정하고 보고서에 명확히 명시하십시오.

직원들의 시간은 소중하게 관리해야 합니다. 교육에 소요되는 시간은 비록 청구서가 발행되지 않더라도 실질적인 비용이므로, 재무 담당자와 합의한 요율을 사용하여 기록하십시오.

2. 실제 작업을 측정합니다.

여기서의 과제는 단순히 "프로그램에 참석하는 것"이 ​​아닙니다. 학습자가 업무 현장에서 수행하는 활동, 예를 들어 새로운 체크리스트에 따라 청구 내용을 수정하거나, 청구 거부 사유를 코딩하거나, 예외 사항을 기록하는 것 등이 이에 해당합니다. 이러한 활동을 관찰 가능한 증거를 사용하여 측정하십시오.

1. 기준선을 설정하다 훈련 전: 합의된 기준에 따라 평가되는 실제 또는 현실적인 과제 샘플.
2. 비교 평가를 실시하세요 훈련 후에는 학습자들이 연습했던 과제가 아닌, 난이도는 비슷하지만 새로운 과제를 사용합니다.
3. 완료와 만족을 유지하세요 배송 지표는 별도로 보고됩니다.

바로 이런 점에서 과제 증거가 중요한 역할을 합니다. 직원들이 이제 처음 접하는 사례에 대해 과제를 더 정확하게 수행할 수 있다면, 교육과 운영상의 변화 사이의 연관성이 타당해집니다. 반대로 그렇지 못하다면, 비용 절감은 교육 덕분이라고 보기 어렵습니다. 과제와 연계된 실습 및 피드백 작성에 대한 자세한 내용은 저희 가이드를 참조하십시오. 유용한 피드백을 제공하는 상호작용적 연습 설계.

3. 작업 증거를 운영 데이터와 연결합니다.

이제 업무 관련 증거를 운영 데이터 옆에 놓으십시오. 각 측정 항목에 대해 모집단(포함 대상), 분모(청구 건당, 직원 수당 또는 월별), 기간 및 출처, 이렇게 네 가지를 기록하십시오.

행정 개선 프로젝트에서 일반적으로 사용되는 측정 지표에는 재작업률, 피할 수 있는 이유로 거부된 청구 비율, 작업 완료 시간 및 거래당 비용이 포함됩니다. 각 변경 사항은 재무 파트너가 승인한 단가를 사용하여 금액으로 환산하십시오. 그런 다음 중요한 수치를 산출하십시오.

• 예상 혜택: 측정값의 변화량에 합의된 단위 비용을 곱한 값입니다.
• 교육으로 인한 공유율: 추측이 아닌, 근거가 있는 백분율이며, 그 이유가 명시되어 있어야 합니다.
• 순 예상액: 귀속된 이익에서 포함하기로 결정한 교육 및 프로젝트 비용을 뺀 금액입니다.

그럴듯한 연관성은 그럴듯한 연관성으로 취급하십시오. 교육 후 재작업 감소는 교육이 효과가 있었다는 것을 시사하는 일관된 결과일 뿐, 교육이 효과가 있었다는 것을 증명하는 것은 아닙니다.

4. 다른 설명 가능성을 고려하십시오.

비교 기간 동안 어떤 변화가 있었는지 꼼꼼히 살펴보세요. 간단한 체크리스트를 활용하면 도움이 됩니다.

1. 워크로드. 거래량이 증가했나요, 감소했나요? 거래량이 적은 분기는 오류 발생 건수가 적다는 것을 의미하는 경우가 많습니다.
2. 스태핑. 경험이 풍부한 사람들이 떠났나요, 아니면 훈련받지 않은 새로운 사람들이 들어왔나요?
3. 고객 또는 지불자 구성. 청구 유형이 변경되었나요?
4. 프로세스 또는 시스템 변경. 워크플로의 다른 부분도 동시에 변경되었나요?

가능하다면 비교를 사용하세요. 일치 비교 아직 훈련을 받지 않은 유사한 팀을 살펴봅니다. 단계적 출시 이렇게 하면 거의 무료로 비교 결과를 얻을 수 있습니다. 나중에 훈련받은 팀이 먼저 훈련받은 팀의 대조군 역할을 하기 때문입니다. 하지만 모든 팀이 동시에 변화를 필요로 하는 병원 환경에서는 이러한 비교가 항상 가능한 것은 아니며, 그런 경우에는 신뢰도 수준을 낮게 보고하는 것이 솔직한 방법입니다.

2022년 BMC Health Services Research에 발표된 대규모 의료 서비스 품질 개선의 수익률에 대한 연구는 이와 관련하여 유용합니다. 해당 연구의 저자들은 수익률을 품질 개선에서 파생되는 모든 금전적 또는 비금전적 가치로 광범위하게 정의하고, 결과가 서로 연관되어 있고 관찰하기 어렵다는 점을 지적합니다. 그들은 직접적인 귀속을 주장하기보다는 결과에 대한 기여도를 평가할 것을 제안하며, 전통적인 ROI를 "품질 개선 가치를 나타내는 간접적이고 불완전한 지표"라고 부릅니다.Thusini 외, BMC Health Services Research, 2022이는 행정 프로젝트에도 적용됩니다. 허위로 정확한 단일 수치가 아니라, 기여도에 대한 증거와 그 증거에 대한 확신을 보고해야 합니다.

5. 결과를 보고하고 다음 조치를 선택합니다.

재무위원회가 검토할 수 있는 보고서는 한 페이지에 담을 수 있습니다. 이 샘플 레이아웃은 결과 필드를 의도적으로 비워 두었습니다. 해당 필드에는 다른 곳에서 가져온 효과 크기가 아닌, 직접 작성한 데이터를 입력하십시오.

각 조치를 정당화할 기준을 미리 정하십시오. 예를 들어, 미지의 사례에 대한 과제 점수가 향상되고, 운영 지표가 예상 방향으로 움직이며, 다른 설명들을 검증하고, 신중한 가정 하에 순 추정치가 긍정적으로 유지될 때 프로그램을 확대할 수 있습니다. 과제 점수는 향상되었지만 운영 지표는 개선되지 않아 훈련 외적인 제약 요인이 있을 경우에는 프로그램을 수정할 수 있습니다. 두 가지 모두 변화가 없을 경우에는 프로그램을 중단할 수 있습니다. 결과가 기준을 결정하기 전에 스폰서와 이러한 규칙에 대해 합의하십시오.

현실적인 예를 통해 풀어보세요

예시입니다. 재무 담당자와 정보학 또는 규정 준수 책임자는 사용 전에 사례와 답변 기준을 검증해야 합니다.

경우. 한 팀이 인력 및 업무량 변화에 맞춰 청구 처리 워크플로를 재설계했습니다. 교육 후 6개월 동안 재작업 건수가 감소했습니다. 같은 기간 동안 경력 코더 두 명이 퇴사했고, 2분기 업무량은 소폭 감소했습니다.

그 임무. 학습자는 해당 교육을 통해 합리적으로 절감할 수 있는 비용을 추산하고, 결정 이유를 설명하며, 증거를 제시하고, 아직 부족한 정보를 명시합니다.

첫 시도입니다. "재작업률이 감소했으니 교육 덕분에 전체 차액을 만회한 셈입니다. 감소폭에 재작업당 비용을 곱해서 ROI로 계산했습니다." 이는 교육이 모든 것을 해결해 준 것처럼 보이게 하고 다른 변화들은 무시하는 계산 방식입니다.

피드백 후 다시 시도하세요. 코치는 무엇이 바뀌었는지, 훈련받은 직원과 훈련받지 않은 직원 사이에 차이가 있는지, 단위 비용은 어디에서 발생했는지 등을 묻습니다. 학습자는 그 혜택을 나누어 설명하도록 요청받습니다.

좀 더 나은 시도였습니다. "재작업량은 줄었지만, 숙련된 코더 두 명이 퇴사하고 작업량이 감소했기 때문에 모든 것을 교육 덕분이라고 할 수는 없습니다. 미처리 사례에 대한 작업 점수가 상승한 것은 교육의 기여를 뒷받침합니다. 저는 관찰된 절감액, 정당화 가능한 감소된 비율, 그리고 낮음에서 중간 정도의 신뢰도 등급을 보고하겠습니다. 신뢰도를 높이려면 교육을 받은 직원과 받지 않은 직원의 재작업량, 그리고 재무 부서에서 제공하는 단위 비용이 필요합니다." 이는 관찰된 절감액과 원인에 의한 절감액을 구분하고, 부족한 증거를 명시하는 것입니다.

간단한 평가 기준표로 역량을 평가하세요

각 기준에 대해 0점에서 2점까지 점수를 매기세요.

평가 기준: 0은 부재 또는 근거 부족, 1은 관련 누락이 있는 부분적, 2는 합의된 기준에 부합하는 완전하고 타당한 내용입니다. 전체 점수에서 중요한 오류가 드러나지 않도록, 예를 들어 다른 원인에 대한 검토 없이 모든 변화를 교육 탓으로 돌리는 것과 같은 중요한 오류는 별도로 정의해야 합니다. 이 평가 기준표는 제안일 뿐 검증된 준비 표준이 아니므로, 실무자와 협의하여 수정하고 시범 운영해야 합니다. 각 활동에 필요한 사고방식을 파악하려면 관련 가이드를 참조하십시오. 학습 활동을 블룸의 분류 체계에 맞추기.

상호작용적 전달이 도움이 되는 경우

상호작용형 형식은 사람들이 답변을 듣기 전에 결정을 내리도록 유도하는 데 도움이 됩니다. 실시간 세션에서 진행자는 클레임 ​​사례를 보여주고 각 참가자에게 교육을 통해 절감될 것으로 예상되는 금액을 입력하도록 요청한 다음, 추정치가 다른 이유를 논의하기 전에 차이를 보여줄 수 있습니다. 동일한 사례를 자기 주도 학습 방식으로 미리 연습할 수도 있습니다. AhaSlides는 상호작용형 학습을 지원하며 실시간과 자기 주도 학습 방식을 자유롭게 전환할 수 있습니다. 사용하려는 특정 저작, 피드백 또는 보고 기능은 자체 워크플로와 비교하여 확인하고, AI, 시뮬레이터 및 시스템 통합은 작동 방식을 직접 확인하기 전까지는 외부 또는 미확인 기능으로 간주하십시오. 형식 선택에 대한 자세한 내용은 관련 문서를 참조하십시오. 적응형 학습, 상호작용형 학습, 실시간 학습은 언제 사용해야 할까요?.

남아 있을 수 있는 제약 조건

• 속성. 비교 집단이 없으면 기여도를 추정할 수는 있지만 원인을 증명할 수는 없습니다.
• 시간 지연. 일부 저축은 입금되기까지 몇 분기가 걸릴 수 있으며, 시간이 촉박하면 놓칠 수 있습니다.
• 데이터 품질. 운영 데이터가 불완전하거나, 정의가 기간 중간에 변경될 수 있습니다.
• 기타 변경 사항. 인력, 업무량 및 지불 규정은 소규모 교육의 효과를 무색하게 만들 수 있습니다.
• 이전. 훈련 사례에서의 성과는 실제 업무 환경에서의 성과와는 다릅니다.

이러한 사항들을 후원자들에게 미리 알려주세요. 훈련은 사람들이 할 수 있는 능력을 향상시켜 줍니다. 하지만 업무 환경을 바꾸지는 않습니다.

자주하는 질문

품질 개선 교육의 투자 수익률(ROI)이란 무엇인가요?

이는 교육 연계 개선 프로젝트의 이점과 비용을 비교하는 것으로, 일반적으로 순이익을 비용으로 나눈 값입니다. 핵심 단계는 교육이 실제로 얼마나 많은 이점을 가져다주는지 정확하게 파악하는 것입니다.

교육이 비용 절감의 원인이라는 것을 증명할 수 있습니까?

드물게 그렇습니다. 동일한 조건의 비교 또는 단계적 도입이 더 강력한 근거를 제공하지만, 대부분의 병원 환경에서는 증거보다는 타당한 기여도와 신뢰 수준을 보고합니다.

배송비와 운영비를 함께 계산해야 할까요?

각각 별도로 보고하세요. 교육비는 교육 자체에 대한 비용이고, 운영비는 더 광범위한 개선 프로젝트에 대한 비용입니다. 투자 수익률(ROI) 계산 시 어떤 총액을 기준으로 하는지 명시하세요.

만족도 조사는 비용 절감의 증거가 될 수 있을까요?

아니요. 만족도와 완료율은 결과물 전달 지표입니다. 절감액은 업무 증거와 운영 데이터가 필요합니다.

어디서 시작하나요

기준선이 이미 설정된 개선 프로젝트 하나를 선택하세요. 분석을 통해 뒷받침해야 할 의사결정을 작성하고, 포함할 비용을 나열하고, 분모가 되는 운영 지표 하나를 선택한 후 재무 담당자의 승인을 받으세요. 결과 필드를 비워둔 채 1페이지 분량의 보고서 초안을 작성하고, 데이터가 도착하기 전에 척도, 수정 또는 중단 규칙에 대해 합의하세요.

이러한 사례를 팀에서 실제로 실행하고, 이후에도 자율 학습 방식으로 재사용하는 방법을 알아보려면 AhaSlides를 살펴보세요.