Sebuah tim rumah sakit mendesain ulang alur kerja klaimnya. Mereka melatih staf administrasi tentang proses baru tersebut, dan enam bulan kemudian biaya per klaim lebih rendah. Kantor keuangan merasa senang dan meminta angka: berapa banyak penghematan yang dihasilkan dari pelatihan tersebut?
Jawaban jujur lebih sulit daripada pertanyaannya. Dalam enam bulan yang sama, terjadi perubahan staf, volume klaim bergeser, dan pihak pembayar mengubah aturannya. Sebagian penghematan berasal dari perancangan ulang, sebagian dari pelatihan, dan sebagian lagi bukan dari salah satu hal tersebut. ROI pelatihan peningkatan kualitas adalah pekerjaan memisahkan bagian-bagian tersebut dan melaporkan apa yang tersisa dengan tingkat kepercayaan yang dinyatakan.
Ini adalah skenario ilustratif, bukan kasus yang terdokumentasi. Panduan ini ditujukan untuk direktur L&D rumah sakit dan pimpinan informatika atau kepatuhan yang bekerja sama dengan mereka. Panduan ini mencakup cara mendefinisikan perbandingan, mengukur tugas aktual, menghubungkan bukti tersebut dengan data operasional, menyingkirkan penjelasan lain, dan melaporkan hasil tanpa melebih-lebihkan.
Apa itu ROI (Return on Investment) pelatihan peningkatan kualitas?
ROI (Return on Investment) pelatihan peningkatan kualitas membandingkan manfaat dari proyek peningkatan yang terkait dengan pelatihan dengan biayanya. Pertanyaan yang diajukan adalah apa yang diperoleh organisasi yang tidak akan diperoleh tanpa pelatihan, dan apakah keuntungan tersebut sepadan dengan biaya pelatihan dan proyek. Bentuk yang paling umum adalah sederhana: manfaat bersih (manfaat dikurangi biaya) dibagi dengan biaya, yang ditampilkan sebagai persentase.
Perhitungan aritmatika adalah bagian yang mudah. Bagian yang sulit adalah memutuskan manfaat mana yang berasal dari pelatihan. ROI Institute, yang mempromosikan kerangka evaluasi lima tingkat, mencantumkan "mengisolasi dampak proyek" sebagai langkah tersendiri ketika menganalisis data.Institut ROILima tingkatannya adalah reaksi, pembelajaran, penerapan, dampak, dan ROI. Kepuasan dan penyelesaian berada di tingkat pertama. Keduanya merupakan indikator penyampaian yang berguna, tetapi bukan bukti penghematan.
fakta cepat
| Pertanyaan | Jawaban singkat |
|---|---|
| Apa tugasnya? | Ukurlah biaya dan manfaat dari proyek peningkatan yang terkait dengan pelatihan. |
| Berapa skor Anda? | Estimasi biaya bersih dan keyakinan dalam atribusi. |
| Apakah survei kepuasan saja sudah cukup? | Tidak. Ini menunjukkan bagaimana kursus tersebut diterima, bukan berapa banyak penghematan yang didapat. |
| Siapa yang memvalidasi metode tersebut? | Seorang mitra keuangan dan seorang pemimpin bidang informatika atau kepatuhan. |
| Apa yang tidak bisa diperbaiki melalui pelatihan? | Perubahan staf, fluktuasi volume, dan aturan pembayaran terjadi secara bersamaan. |
| Bagaimana Anda tahu itu berhasil? | Perbandingan antara tugas dasar dan tugas tindak lanjut ditambah data operasional, dengan penyebab lain yang diperiksa. |
1. Definisikan hasil dan perbandingannya
Sebelum mengumpulkan data apa pun, catat tiga hal: intervensi, peran yang terpengaruh, dan keputusan yang harus didukung oleh analisis. "Apakah pelatihan tersebut menghemat uang?" terlalu samar. "Haruskah kita memperluas program alur kerja klaim ke lokasi kedua?" adalah sebuah keputusan, dan itu memberi tahu Anda bukti apa yang cukup.
Kemudian pisahkan dua jenis biaya. Ongkos kirim Mencakup waktu desain, waktu fasilitator atau pelatih, jam belajar peserta, materi, dan perangkat lunak apa pun. Biaya operasional Cantumkan perubahan pada proses itu sendiri: alat baru, prosedur yang direvisi, pengoperasian ganda sementara saat staf mempelajari metode baru. ROI pelatihan yang hanya menghitung biaya pelaksanaan akan menguntungkan program tersebut. ROI yang menghitung semuanya mungkin merupakan ukuran yang tepat untuk proyek peningkatan, tetapi tidak adil bagi pelatihan itu sendiri. Tentukan pertanyaan mana yang Anda jawab dan nyatakan hal itu dalam laporan.
Waktu staf layak diperhatikan. Jam yang dihabiskan untuk pelatihan merupakan biaya nyata meskipun tidak ada yang mengirimkan faktur, jadi catatlah menggunakan tarif yang disepakati oleh mitra keuangan Anda.
2. Mengukur tugas sebenarnya
Tugas di sini bukanlah "menghadiri program". Ini adalah sesuatu yang dilakukan peserta didik di tempat kerja, seperti mengoreksi klaim berdasarkan daftar periksa baru, mengkodekan penolakan berdasarkan penyebabnya, atau mencatat pengecualian. Ukurlah hal itu, menggunakan bukti yang dapat diamati.
- Tetapkan garis dasar Sebelum pelatihan: contoh tugas nyata atau realistis yang dinilai berdasarkan kriteria yang telah disepakati.
- Lakukan penilaian yang sebanding Setelah pelatihan, menggunakan tugas-tugas baru dengan tingkat kesulitan serupa, bukan tugas-tugas yang telah dipraktikkan oleh para peserta didik.
- Pertahankan penyelesaian dan kepuasan. sebagai indikator pengiriman, dilaporkan secara terpisah.
Di sinilah bukti tugas berperan. Jika staf sekarang dapat melakukan tugas dengan lebih akurat pada kasus yang belum pernah dilihat sebelumnya, hubungan antara pelatihan dan perubahan operasional apa pun menjadi masuk akal. Jika mereka tidak bisa, penghematan kemungkinan besar bukan hasil dari pelatihan. Untuk informasi lebih lanjut tentang praktik penulisan dan umpan balik yang terkait dengan tugas, lihat panduan kami tentang... merancang praktik interaktif dengan umpan balik yang bermanfaat.
3. Menghubungkan bukti tugas dengan data operasional
Sekarang, letakkan bukti tugas di samping data operasional. Untuk setiap ukuran, catat empat hal: populasi (siapa yang termasuk), penyebut (per klaim, per anggota staf, atau per bulan), periode, dan sumber.
Ukuran umum dalam proyek peningkatan administrasi meliputi tingkat pengerjaan ulang, persentase klaim yang ditolak karena alasan yang dapat dihindari, waktu untuk menyelesaikan tugas, dan biaya per transaksi. Konversikan setiap perubahan ke dalam uang hanya dengan biaya satuan yang telah disetujui oleh mitra keuangan Anda. Kemudian hasilkan angka yang penting:
- Perkiraan manfaat: Perubahan ukuran tersebut dikalikan dengan biaya satuan yang disepakati.
- Bagian yang dialokasikan untuk pelatihan: Persentase yang dapat dibenarkan, bukan tebakan, dengan alasan yang dituliskan.
- Perkiraan bersih: Manfaat yang diatribusikan dikurangi biaya pelatihan dan proyek yang Anda putuskan untuk dimasukkan.
Anggaplah hubungan yang masuk akal sebagai hubungan yang masuk akal. Penurunan pengerjaan ulang setelah pelatihan konsisten dengan keberhasilan pelatihan. Namun, hal itu tidak membuktikan bahwa pelatihan tersebut berhasil.
4. Pertimbangkan penjelasan alternatif.
Telusuri perubahan apa lagi yang terjadi selama periode perbandingan. Daftar periksa singkat dapat membantu:
- Beban kerja. Apakah volume penjualan naik atau turun? Kuartal yang lebih tenang seringkali berarti lebih sedikit kesalahan.
- Kepegawaian. Apakah orang-orang berpengalaman pergi, atau orang-orang baru bergabung yang belum pernah dilatih?
- Campuran pelanggan atau pembayar. Apakah jenis klaimnya berubah?
- Perubahan proses atau sistem. Apakah ada perubahan lain terkait alur kerja pada saat yang bersamaan?
Jika memungkinkan, gunakan perbandingan. A perbandingan yang cocok melihat tim serupa yang belum memiliki pelatihan. A peluncuran bertahap Hal ini memberikan Anda perbandingan tersebut hampir secara cuma-cuma: tim yang dilatih kemudian bertindak sebagai kontrol untuk tim yang dilatih terlebih dahulu. Tidak satu pun dari hal tersebut selalu mungkin dilakukan di rumah sakit, di mana setiap tim mungkin membutuhkan perubahan sekaligus, dan dalam kasus tersebut Anda melaporkan tingkat kepercayaan yang lebih rendah secara jujur.
Sebuah ulasan tahun 2022 di BMC Health Services Research tentang pengembalian investasi (ROI) dari peningkatan kualitas layanan kesehatan skala besar sangat berguna di sini. Para penulisnya mendefinisikan ROI secara luas, sebagai nilai moneter atau non-moneter apa pun yang diperoleh dari peningkatan kualitas, dan menunjukkan bahwa hasil saling terkait dan sulit diamati. Mereka menyarankan untuk menilai kontribusi terhadap hasil daripada mengklaim atribusi langsung, dan menyebut ROI tradisional sebagai "penanda nilai peningkatan kualitas yang jauh dan tidak lengkap" (Thusini dkk., BMC Health Services Research, 2022). Itu juga berlaku untuk proyek-proyek administratif. Laporkan bukti kontribusi dan keyakinan Anda terhadapnya, bukan hanya satu angka dengan ketelitian yang salah.
5. Laporkan hasil dan pilih tindakan selanjutnya
Laporan yang dapat ditindaklanjuti oleh komite keuangan dapat dimuat dalam satu halaman. Tata letak contoh ini sengaja mengosongkan kolom hasil. Isilah kolom tersebut dengan data Anda sendiri, jangan pernah menggunakan ukuran efek yang dipinjam dari sumber lain.
| Bidang | Apa yang perlu direkam | Hasil |
|---|---|---|
| Intervensi dan peran | Program, proyek, dan siapa saja yang berpartisipasi | |
| Populasi dan periode | Siapa yang termasuk, dari kapan sampai kapan | |
| Skor tugas awal dan tindak lanjut | Kriteria yang sama, kasus yang berbeda. | |
| Ukuran operasional dan penyebut | Sebagai contoh, tingkat pengerjaan ulang per 100 klaim. | |
| Perkiraan manfaat | Kembalian dikalikan dengan harga satuan yang disetujui | |
| Bagian yang dikaitkan dengan pelatihan dan alasannya | Penalaran, perbandingan yang digunakan | |
| Biaya pengiriman dan operasional | Terdaftar secara terpisah | |
| Estimasi dan kepercayaan bersih | Tinggi, sedang, atau rendah, dengan alasan tertentu. | |
| Perubahan lain pada periode tersebut | Beban kerja, kepegawaian, komposisi, proses | |
| tindakan yang direkomendasikan | Skalakan, revisi, atau hentikan |
Tentukan terlebih dahulu apa yang akan membenarkan setiap tindakan. Anda mungkin meningkatkan skala program ketika skor tugas meningkat pada kasus yang belum pernah dilihat sebelumnya, ukuran operasional bergerak ke arah yang diharapkan, penjelasan lain diperiksa, dan perkiraan bersih tetap positif dengan asumsi yang hati-hati. Anda mungkin merevisinya ketika skor tugas meningkat tetapi ukuran operasional tidak, yang menunjukkan kendala di luar pelatihan. Anda mungkin menghentikannya ketika tidak ada perubahan. Sepakati aturan ini dengan sponsor Anda sebelum Anda melihat angkanya, sehingga hasilnya tidak menentukan kriteria.
Kerjakan contoh yang realistis.
Sebagai ilustrasi. Mitra keuangan dan penanggung jawab informatika atau kepatuhan harus memvalidasi kasus dan kriteria jawaban sebelum digunakan.
Kasus. Sebuah tim mendesain ulang alur kerja klaim sementara jumlah staf dan volume juga berubah. Pengerjaan ulang menurun dalam enam bulan setelah pelatihan. Dua pengkode berpengalaman meninggalkan perusahaan pada periode yang sama, dan volume sedikit menurun pada kuartal kedua.
Tugas tersebut. Peserta pelatihan memperkirakan penghematan yang dapat diklaim secara wajar dari pelatihan tersebut, menjelaskan keputusan tersebut, mengutip bukti, dan menyebutkan informasi yang masih kurang.
Upaya pertama. "Biaya pengerjaan ulang menurun, jadi pelatihan tersebut menghemat seluruh selisihnya. Saya mengalikan penurunan tersebut dengan biaya per pengerjaan ulang dan melaporkannya sebagai ROI." Ini mengaitkan semuanya dengan pelatihan dan mengabaikan perubahan lainnya.
Berikan masukan dan coba lagi. Pelatih bertanya apa lagi yang berubah, apakah ada perbedaan antara staf terlatih dan tidak terlatih, dan dari mana biaya per unit berasal. Peserta didik diminta untuk membagi manfaatnya.
Upaya yang lebih baik. "Pengerjaan ulang menurun, tetapi dua pemrogram berpengalaman pergi dan volume menurun, jadi saya tidak dapat mengaitkan semuanya dengan pelatihan. Skor tugas pada kasus yang belum pernah dilihat meningkat, yang mendukung kontribusi pelatihan. Saya akan melaporkan penghematan yang diamati, bagian yang lebih kecil yang dapat saya benarkan, dan peringkat kepercayaan rendah hingga menengah. Untuk meningkatkan kepercayaan, saya membutuhkan pengerjaan ulang oleh staf terlatih dan tidak terlatih, dan biaya unit dari keuangan." Ini memisahkan penghematan yang diamati dari penghematan yang disebabkan dan menjelaskan bukti apa yang hilang.
Menilai kemampuan dengan rubrik sederhana
Berikan skor untuk setiap kriteria dari 0 hingga 2:
| Kriterium | Bukti yang dapat diamati |
|---|---|
| Eksekusi tugas | Mengukur biaya dan manfaat dari proyek yang terkait dengan pelatihan dan mencatat bukti yang mendukung setiap angka tersebut. |
| Pemikiran | Menjelaskan kendala, alternatif, dan ketidakpastian, serta memeriksa estimasi biaya bersih dan keyakinan dalam atribusi. |
| Batas | Menggunakan prosedur yang telah disetujui dan mencari bantuan jika informasi atau wewenang tidak mencukupi. |
Nilai acuan: 0 berarti tidak ada atau tidak didukung, 1 berarti sebagian dengan kelalaian yang relevan, dan 2 berarti lengkap dan dibenarkan berdasarkan kriteria yang disepakati. Definisikan kesalahan kritis secara terpisah, seperti mengaitkan seluruh perubahan dengan pelatihan tanpa memeriksa penyebab lain, sehingga skor keseluruhan tidak dapat menyembunyikan satu kesalahan. Rubrik ini adalah usulan, bukan standar kesiapan yang telah divalidasi: sesuaikan dengan praktisi dan lakukan uji coba. Untuk mencocokkan setiap aktivitas dengan pemikiran yang dibutuhkan, lihat panduan kami tentang Mencocokkan aktivitas pembelajaran dengan Taksonomi Bloom.
Di mana penyampaian interaktif membantu
Format interaktif membantu ketika orang harus berkomitmen sebelum mereka mendengar jawabannya. Dalam sesi langsung, fasilitator dapat menunjukkan kasus klaim, meminta setiap orang untuk mengetikkan bagian penghematan yang akan mereka atribusikan untuk pelatihan, dan kemudian menunjukkan sebaran sebelum membahas mengapa perkiraan berbeda. Kasus yang sama dapat dijalankan secara mandiri untuk persiapan. AhaSlides mendukung pembelajaran interaktif dan perpindahan antara penyampaian langsung dan mandiri. Periksa fungsi pembuatan, umpan balik, atau pelaporan spesifik apa pun yang Anda rencanakan untuk diandalkan terhadap alur kerja Anda sendiri, dan perlakukan AI, simulator, dan integrasi sistem sebagai eksternal atau belum dikonfirmasi sampai Anda melihatnya berfungsi. Untuk panduan tentang pemilihan format, lihat artikel kami tentang Kapan menggunakan pembelajaran adaptif, interaktif, dan langsung?.
Kendala yang mungkin masih ada
- Atribusi. Tanpa kelompok pembanding, Anda hanya dapat memperkirakan kontribusi, bukan membuktikan penyebabnya.
- Jeda waktu. Beberapa penghematan membutuhkan waktu beberapa kuartal untuk terlihat, dan jangka waktu yang singkat dapat membuat Anda melewatkannya.
- Kualitas data. Data operasional mungkin tidak lengkap, atau definisinya dapat berubah di tengah periode.
- Perubahan lainnya. Keterbatasan staf, volume pekerjaan, dan aturan pembayaran dapat meniadakan efek pelatihan yang kecil.
- Transfer. Performa pada studi kasus pelatihan tidak sama dengan performa di bawah tekanan sehari-hari.
Sebutkan hal-hal ini kepada sponsor sejak dini. Pelatihan meningkatkan kemampuan seseorang. Namun, pelatihan tidak mengubah kondisi di sekitar pekerjaan.
Pertanyaan yang sering diajukan
Apa itu ROI (Return on Investment) pelatihan peningkatan kualitas?
Metode ini membandingkan manfaat dari proyek peningkatan yang terkait dengan pelatihan dengan biayanya, biasanya sebagai manfaat bersih dibagi dengan biaya. Langkah kuncinya adalah mengisolasi berapa banyak manfaat yang dapat diklaim secara adil oleh pelatihan tersebut.
Bisakah Anda membuktikan bahwa pelatihan tersebut menyebabkan penghematan?
Jarang terjadi. Perbandingan yang sesuai atau peluncuran bertahap memberikan bukti yang lebih kuat, tetapi di sebagian besar lingkungan rumah sakit, Anda melaporkan kontribusi yang dibenarkan dan tingkat kepercayaan, bukan bukti.
Apakah biaya pengiriman dan biaya operasional harus dihitung bersama?
Laporkan secara terpisah. Biaya pengiriman mencakup pelatihan itu sendiri. Biaya operasional mencakup proyek peningkatan yang lebih luas. Sebutkan total mana yang digunakan ROI Anda.
Apakah survei kepuasan pelanggan merupakan bukti penghematan?
Tidak. Kepuasan dan penyelesaian adalah indikator pengiriman. Penghematan membutuhkan bukti tugas dan data operasional.
Mulai dari mana
Pilih satu proyek peningkatan yang sudah memiliki data dasar. Tuliskan keputusan yang harus didukung oleh analisis, cantumkan biaya yang akan Anda sertakan, pilih satu ukuran operasional beserta penyebutnya, dan mintalah persetujuan biaya per unit dari mitra keuangan. Buat draf laporan satu halaman dengan kolom hasil yang kosong, dan sepakati skala, revisi, atau hentikan aturan sebelum data tiba.
Untuk melihat bagaimana studi kasus seperti ini dapat dijalankan secara langsung dengan tim Anda sendiri, dan digunakan kembali secara mandiri setelahnya, jelajahi AhaSlides.
