Une équipe hospitalière repense son processus de traitement des demandes de remboursement. Elle forme le personnel administratif à la nouvelle procédure et, six mois plus tard, le coût par demande est inférieur. Le service financier est satisfait et demande un chiffre : à combien s’élèvent les économies réalisées grâce à la formation ?
La réponse honnête est plus complexe que la question. Au cours de ces six mois, les effectifs ont évolué, le volume des demandes de remboursement a fluctué et un organisme payeur a modifié ses règles. Une partie des économies réalisées est due à la refonte du système, une autre à la formation, et une autre encore à aucun de ces facteurs. Le retour sur investissement des formations d'amélioration de la qualité consiste à distinguer ces différents éléments et à communiquer les résultats obtenus avec un niveau de confiance déterminé.
Il s'agit d'un exemple, et non d'un cas concret. Ce guide s'adresse aux directeurs des formations hospitalières et aux responsables informatiques ou de conformité qui collaborent avec eux. Il explique comment définir la comparaison, mesurer la tâche, relier ces données aux données opérationnelles, écarter d'autres explications et présenter les résultats de manière objective.
Quel est le retour sur investissement d'une formation en amélioration de la qualité ?
Le retour sur investissement (RSI) d'une formation en amélioration de la qualité compare les bénéfices d'un projet d'amélioration lié à la formation à ses coûts. Il s'agit d'évaluer les gains obtenus par l'organisation qu'elle n'aurait pas obtenus sans la formation, et de déterminer si ces gains justifient le coût de la formation et du projet. La méthode la plus courante est simple : bénéfices nets (bénéfices moins coûts) divisés par les coûts, exprimés en pourcentage.
Les calculs sont la partie facile. La difficulté réside dans la détermination des bénéfices attribuables à la formation. Le ROI Institute, qui promeut un cadre d'évaluation à cinq niveaux, considère « l'isolement des effets du projet » comme une étape à part entière de l'analyse des données (Institut ROISes cinq niveaux sont la réaction, l'apprentissage, l'application, l'impact et le retour sur investissement. La satisfaction et l'achèvement se situent au premier niveau. Ce sont des indicateurs de performance utiles, mais ils ne constituent pas une preuve d'économies.
Faits rapides
| Questionne toi | Réponse courte |
|---|---|
| Quelle est la tâche ? | Mesurer les coûts et les avantages d'un projet d'amélioration lié à la formation. |
| Quel est votre score ? | Estimation des coûts nets et niveau de confiance dans l'attribution. |
| Une enquête de satisfaction est-elle suffisante ? | Non. Cela montre comment le cours a été perçu, et non les économies qu'il a permis d'économiser. |
| Qui valide la méthode ? | Un partenaire financier et un responsable informatique ou conformité. |
| Qu'est-ce que la formation ne peut pas résoudre ? | Des changements de personnel, des fluctuations de volume et des règles des payeurs surviennent simultanément. |
| Comment savez-vous que cela a fonctionné ? | Comparaison des tâches de référence et de suivi, ainsi que des données opérationnelles, après vérification des autres causes. |
1. Définir le résultat et la comparaison
Avant toute collecte de données, notez trois éléments : l’intervention, les rôles concernés et la décision que l’analyse doit étayer. « La formation a-t-elle permis de réaliser des économies ? » est trop vague. « Faut-il étendre le programme de gestion des réclamations au deuxième site ? » est une décision qui précise le type de preuves nécessaires.
Ensuite, séparez deux types de coûts. Coûts de livraison couvrir le temps de conception, le temps de l'animateur ou du coach, les heures d'apprentissage, le matériel et tout logiciel. Coûts opérationnels Décrivez les modifications apportées au processus lui-même : nouveaux outils, procédures révisées, double exécution temporaire pendant que le personnel se familiarise avec la nouvelle méthode. Un retour sur investissement de la formation qui ne prend en compte que les coûts de prestation est trompeur. Un retour sur investissement global peut être pertinent pour le projet d’amélioration, mais injuste envers la formation elle-même. Déterminez la question à laquelle vous répondez et indiquez-le clairement dans le rapport.
Le temps du personnel mérite d'être pris en compte. Les heures consacrées à la formation représentent un coût réel, même si elles ne sont pas facturées ; il est donc important de les comptabiliser selon un taux convenu avec votre partenaire financier.
2. Mesurer la tâche réelle
Il ne s'agit pas ici de « participer à la formation ». Il s'agit d'une action que l'apprenant effectue au travail, comme corriger les affirmations à l'aide de la nouvelle grille d'évaluation, coder les refus par motif ou consigner une exception. Il convient d'évaluer cette action à l'aide de preuves observables.
- Définir une ligne de base Avant la formation : un échantillon de tâches réelles ou réalistes évaluées selon des critères convenus.
- Effectuez une évaluation comparable Après la formation, utiliser de nouvelles tâches de difficulté similaire plutôt que celles sur lesquelles les apprenants se sont entraînés.
- Maintenir l'achèvement et la satisfaction en tant qu'indicateurs de livraison, rapportés séparément.
C’est là que les preuves de la tâche prennent tout leur sens. Si le personnel est désormais capable d’accomplir la tâche avec plus de précision sur des cas inédits, le lien entre la formation et tout changement opérationnel devient plausible. Dans le cas contraire, il est peu probable que les économies réalisées soient dues à la formation. Pour en savoir plus sur la pratique de la rédaction et les retours d’information liés à une tâche, consultez notre guide. Concevoir une pratique interactive avec des retours utiles.
3. Relier les preuves relatives aux tâches aux données opérationnelles
Placez maintenant les données relatives aux tâches à côté des données opérationnelles. Pour chaque mesure, notez quatre éléments : la population (qui est concerné), le dénominateur (par demande, par membre du personnel ou par mois), la période et la source.
Les indicateurs courants des projets d'amélioration administrative comprennent le taux de retouche, la part des demandes de remboursement rejetées pour des raisons évitables, le temps d'exécution des tâches et le coût par transaction. Convertissez chaque variation en valeur monétaire uniquement à l'aide d'un coût unitaire approuvé par votre partenaire financier. Produisez ensuite le chiffre qui compte.
- Avantage estimé : la variation de la mesure multipliée par le coût unitaire convenu.
- Part attribuée à la formation : un pourcentage justifié, et non une estimation, avec une justification écrite.
- Estimation nette : avantage attribué moins les coûts de formation et de projet que vous avez décidé d'inclure.
Considérez un lien plausible comme un lien plausible. Une baisse des retouches après la formation est cohérente avec l'efficacité de celle-ci. Cela ne prouve cependant pas son efficacité.
4. Tenir compte des explications alternatives
Examinez les autres changements survenus durant la période de comparaison. Une courte liste de contrôle peut s'avérer utile :
- Charge de travail. Les volumes ont-ils augmenté ou diminué ? Un trimestre plus calme signifie souvent moins d’erreurs.
- Recrutement. Des personnes expérimentées sont-elles parties, ou de nouvelles recrues sans formation ont-elles rejoint l'entreprise ?
- Composition de la clientèle ou des payeurs. Les types de réclamations ont-ils changé ?
- Modifications des processus ou des systèmes. Y a-t-il eu d'autres changements dans le flux de travail en même temps ?
Utilisez une comparaison lorsque c'est possible. comparaison appariée examine une équipe similaire qui n'avait pas encore bénéficié de cette formation. déploiement progressif Cela vous permet d'effectuer cette comparaison presque gratuitement : les équipes formées en second servent de groupe témoin pour celles formées en premier. Or, aucune de ces deux options n'est toujours possible dans un hôpital, où chaque équipe peut avoir besoin du changement simultanément ; dans ce cas, il est préférable de déclarer un niveau de confiance plus faible, en toute honnêteté.
Une étude de 2022 publiée dans BMC Health Services Research sur le retour sur investissement des initiatives d'amélioration de la qualité des soins de santé à grande échelle est pertinente à cet égard. Ses auteurs définissent le retour sur investissement au sens large, comme toute valeur monétaire ou non monétaire découlant de l'amélioration de la qualité, et soulignent que les résultats sont interdépendants et difficiles à observer. Ils suggèrent d'évaluer la contribution aux résultats plutôt que d'affirmer une attribution directe, et qualifient le ROI traditionnel de « marqueur distal et incomplet de la valeur de l'amélioration de la qualité » (Thusini et al., BMC Health Services Research, 2022Cela s'applique aussi aux projets administratifs. Présentez les éléments de preuve de la contribution et le degré de certitude que vous avez à leur égard, et non un chiffre unique d'une précision trompeuse.
5. Signalez les résultats et choisissez la prochaine action.
Un rapport exploitable par un comité des finances tient sur une seule page. Dans cet exemple, les champs de résultats sont volontairement vides. Renseignez-les avec vos propres données, et jamais avec des tailles d'effet empruntées.
| Champ | Que faut-il enregistrer ? | Résultat |
|---|---|---|
| Intervention et rôles | Programme, projet et participants | |
| Population et période | Qui est inclus, et de quand à quand | |
| Scores de référence et de suivi | Mêmes critères, cas différents | |
| Mesure opérationnelle et dénominateur | Par exemple, le taux de retouche pour 100 réclamations | |
| Bénéfice estimé | Change multiplié par le coût unitaire approuvé | |
| Part attribuée à la formation et pourquoi | Raisonnement, comparaison utilisée | |
| Coûts de livraison et d'exploitation | Listé séparément | |
| Estimation nette et niveau de confiance | Élevé, moyen ou faible, avec la raison | |
| Autres changements survenus durant la période | Charge de travail, effectifs, mix, processus | |
| Action recommandée | Échelle, révision ou arrêt |
Déterminez à l'avance ce qui justifierait chaque action. Vous pourriez intensifier le programme si les résultats des tâches s'amélioraient sur des cas inédits, si les indicateurs opérationnels évoluaient dans le sens prévu, si d'autres explications étaient vérifiées et si l'estimation nette restait positive malgré des hypothèses prudentes. Vous pourriez le revoir si les résultats des tâches s'amélioraient mais que les indicateurs opérationnels ne suivaient pas, ce qui suggère des contraintes extérieures à la formation. Vous pourriez l'interrompre si aucun des deux n'évoluait. Convenez de ces règles avec votre commanditaire avant de prendre connaissance des chiffres, afin que le résultat n'influence pas les critères.
Travaillez sur un exemple réaliste
À titre d'exemple, un partenaire financier et un responsable informatique ou conformité doivent valider le cas et les critères de réponse avant toute utilisation.
L'affaire. Une équipe a repensé le processus de traitement des réclamations, tandis que les effectifs et les volumes d'activité évoluaient. Le volume de corrections a diminué dans les six mois suivant la formation. Deux codeurs expérimentés ont quitté l'entreprise durant cette même période, et le volume d'activité a légèrement baissé au deuxième trimestre.
La tâche. L'apprenant évalue les économies que la formation peut raisonnablement générer, explique sa décision, cite les preuves et indique les informations encore manquantes.
Une première tentative. « Les retouches ont diminué, la formation a donc permis de compenser la différence. J'ai multiplié cette baisse par notre coût par retouche et j'ai indiqué le résultat comme étant le retour sur investissement. » Ce calcul attribue tout le mérite à la formation et ignore les autres changements.
Commentaires et nouvelle tentative. Le formateur demande quels autres changements ont eu lieu, s'il existe des différences entre le personnel formé et non formé, et d'où provient le coût unitaire. L'apprenant est invité à partager les bénéfices.
Une tentative plus convaincante. « Le nombre de retouches a diminué, mais deux codeurs expérimentés ont quitté l'entreprise et le volume d'activité a baissé. Je ne peux donc pas attribuer cette baisse entièrement à la formation. Les scores des tâches sur des cas non vus ont augmenté, ce qui confirme l'apport de la formation. Je signalerais l'économie observée, une part réduite que je peux justifier, et un niveau de confiance faible à moyen. Pour renforcer ce niveau de confiance, j'aurais besoin des retouches effectuées par le personnel formé et non formé, ainsi que du coût unitaire fourni par le service financier. » Ceci permet de distinguer les économies observées des économies réelles et d'identifier les éléments de preuve manquants.
Évaluer les compétences à l'aide d'une grille d'évaluation simple
Attribuez à chaque critère une note de 0 à 2 :
| Critère | Preuves observables |
|---|---|
| Exécution des tâches | Mesure les coûts et les avantages d'un projet lié à la formation et consigne les preuves à l'appui de chaque chiffre. |
| Raisonnement | Explique les contraintes, les alternatives et l'incertitude, et vérifie les estimations du coût net et la fiabilité de l'attribution. |
| Frontières | Utilise les procédures approuvées et demande de l'aide lorsque les informations ou l'autorité sont insuffisantes. |
Ancrages : 0 signifie absent ou non étayé, 1 signifie partiel avec des omissions pertinentes, et 2 signifie complet et justifié par rapport aux critères convenus. Définissez les erreurs critiques séparément, comme par exemple attribuer l’intégralité du changement à la formation sans vérifier d’autres causes, afin qu’une note globale ne puisse pas masquer une erreur. Cette grille d’évaluation est une proposition, et non une norme de préparation validée : adaptez-la avec le praticien et testez-la. Pour associer chaque activité à la réflexion qu’elle requiert, consultez notre guide. Faire correspondre les activités d'apprentissage à la taxonomie de Bloom.
Là où la livraison interactive est utile
Les formats interactifs permettent d'inciter les participants à s'engager avant même d'entendre la réponse. Lors d'une session en direct, un animateur peut présenter une étude de cas, demander à chaque participant d'indiquer la part des économies qu'il attribue à la formation, puis afficher la répartition des estimations avant d'en discuter les raisons. Cette même étude de cas peut être réalisée en autonomie pour permettre aux participants de se préparer à leur propre rythme. AhaSlides prend en charge l'apprentissage interactif et permet d'alterner facilement entre formation en direct et formation autonome. Vérifiez la compatibilité de toute fonction de création, de retour d'information ou de reporting que vous prévoyez d'utiliser avec votre flux de travail actuel et considérez l'IA, les simulateurs et les intégrations système comme externes ou non validés tant que vous n'avez pas constaté leur bon fonctionnement. Pour obtenir des conseils sur le choix des formats, consultez notre article sur Quand utiliser l'apprentissage adaptatif, interactif et en direct.
Des contraintes qui pourraient subsister
- Attribution. Sans groupe de comparaison, on peut estimer une contribution, mais pas prouver une relation de cause à effet.
- Décalage horaire. Certaines économies mettent des mois à apparaître, et un court laps de temps peut les manquer.
- Qualité des données. Les données opérationnelles peuvent être incomplètes ou leurs définitions peuvent changer en cours de période.
- Autres changements. Les règles relatives au personnel, au volume d'activité et aux payeurs peuvent anéantir les effets d'une formation, même minime.
- Transfert. Les performances obtenues lors d'un exercice de simulation ne sont pas les mêmes que les performances sous la pression quotidienne.
Signalez-le rapidement à vos sponsors. La formation améliore les compétences, mais ne modifie pas les conditions de travail.
Foire aux questions
Quel est le retour sur investissement d'une formation en amélioration de la qualité ?
Elle compare les avantages d'un projet d'amélioration lié à la formation à ses coûts, généralement en divisant les avantages nets par les coûts. L'étape clé consiste à déterminer la part des avantages que la formation peut légitimement revendiquer.
Pouvez-vous prouver que la formation est à l'origine des économies réalisées ?
Rarement. Une comparaison appariée ou un déploiement progressif fournissent des preuves plus solides, mais dans la plupart des contextes hospitaliers, on rapporte une contribution justifiée et un niveau de confiance plutôt qu'une preuve.
Les coûts de livraison et les coûts opérationnels doivent-ils être comptabilisés ensemble ?
Présentez-les séparément. Les coûts de formation correspondent à la formation elle-même. Les coûts opérationnels correspondent au projet d'amélioration dans son ensemble. Indiquez quel total est utilisé pour votre retour sur investissement.
Une enquête de satisfaction est-elle une preuve d'économies ?
Non. La satisfaction et l'achèvement des travaux sont des indicateurs de performance. Les économies nécessitent des preuves de tâches et des données opérationnelles.
Par où commencer
Choisissez un projet d'amélioration disposant déjà d'une situation de référence. Rédigez la décision que l'analyse doit étayer, listez les coûts à prendre en compte, sélectionnez un indicateur opérationnel et son dénominateur, puis faites valider le coût unitaire par un partenaire financier. Rédigez le rapport d'une page en laissant les champs de résultats vides et définissez l'échelle, les règles de révision et d'arrêt avant la réception des données.
Pour voir comment une telle étude de cas pourrait être mise en œuvre en direct avec votre propre équipe et réutilisée à votre propre rythme par la suite, explorez AhaSlides.
