Une alerte s’affiche dans le dossier médical : risque élevé de complication. L’algorithme a repéré un signal, mais que doit faire l’infirmière, déjà occupée auprès de plusieurs patients ? Appeler le médecin, refaire une mesure, attendre ? Toute la question de l’intelligence artificielle médicale tient dans cet écart entre une prédiction et une décision utile. Un logiciel peut réussir un test statistique sans améliorer les soins. À l’horizon de septembre 2026, le défi n’est donc pas seulement de construire des modèles performants : c’est de prouver qu’ils rendent effectivement service.
Le score ne raconte qu’une partie de l’histoire
Dans une étude, une IA est souvent évaluée sur une collection d’images ou de dossiers dont le diagnostic final est connu. Elle doit reconnaître une tumeur, anticiper une infection ou classer des lésions. Les chercheurs mesurent sa sensibilité, sa spécificité ou sa capacité à distinguer les patients malades des autres. Ces indicateurs sont indispensables. Mais ils ne décrivent pas, à eux seuls, ce qui se passera dans un service.
Une base de données est un monde organisé : les informations y sont disponibles, les catégories définies, les résultats vérifiables. L’hôpital est moins docile. Des examens manquent, les horaires sont irréguliers, les pratiques varient. Un modèle peut aussi exploiter un raccourci : reconnaître la signature d’un appareil ou les habitudes d’un établissement plutôt que la maladie. Et si des données trop proches se retrouvent dans l’entraînement et le test, sa performance paraît artificiellement meilleure.
Autre piège : la fréquence de la maladie. Même avec de bons indicateurs, un outil utilisé dans une population où le problème recherché est rare peut produire beaucoup de fausses alertes. Pour les équipes, cela signifie des vérifications supplémentaires ; pour les patients, parfois de l’anxiété et des examens inutiles. La valeur d’une prédiction dépend de son contexte et de ses conséquences.
Quand les premiers résultats rencontrent le terrain
L’exemple des outils de détection du sepsis, une réaction dangereuse de l’organisme à une infection, illustre cette difficulté. Une validation externe publiée en 2021 dans JAMA Internal Medicine a montré les limites d’un modèle commercial d’Epic dans l’établissement étudié : des cas manqués et une charge d’alertes importante. Ce résultat ne condamne pas toute prédiction automatisée du sepsis. Il rappelle qu’un modèle largement déployé doit encore faire la preuve de sa pertinence locale.
En dépistage du cancer du sein, l’essai suédois MASAI offre une démarche plus instructive qu’un simple concours entre humain et machine. Ses résultats intermédiaires, publiés en 2023 dans The Lancet Oncology, examinaient une lecture des mammographies assistée par IA dans un programme organisé. Ils suggéraient une réduction de la charge de lecture, avec une détection des cancers au moins comparable dans cette analyse. C’est encourageant, sans répondre encore à toutes les questions sur les bénéfices à long terme.
Car détecter davantage n’est pas toujours synonyme de mieux soigner. Certaines lésions découvertes n’auraient peut-être jamais menacé la santé des personnes concernées : c’est le risque de surdiagnostic. À l’inverse, manquer une lésion agressive peut avoir des conséquences graves. Il faut donc regarder la nature des cancers détectés, ceux diagnostiqués entre deux dépistages, les traitements déclenchés et, lorsque le suivi le permet, les effets sur la santé.
Évaluer une organisation, pas seulement un algorithme
La bonne comparaison n’oppose généralement pas « l’IA » au « médecin ». Elle oppose une équipe équipée d’un outil à une équipe travaillant selon les pratiques habituelles. Le résultat dépend de l’interface, du moment où apparaît la recommandation, de la formation et du temps disponible. Une alerte exacte, affichée après la décision thérapeutique, ne sert pas à grand-chose. Une recommandation mal comprise peut même provoquer une erreur.
Le biais d’automatisation complique encore l’équation : sous pression, un professionnel peut accorder trop de crédit au logiciel. À l’inverse, une succession d’alertes sans intérêt peut l’amener à ignorer la bonne. Ces réactions ne sont pas des détails périphériques. Elles font partie du fonctionnement réel du dispositif et doivent être observées pendant son évaluation.
Les étapes d’une démonstration crédible
- Valider ailleurs : tester le modèle dans d’autres établissements, sur des populations et des équipements différents.
- Observer sans intervenir : le faire fonctionner prospectivement, sans montrer ses résultats aux équipes, pour vérifier ses performances sur les flux réels.
- Comparer les parcours : étudier l’outil en situation d’usage, idéalement dans un essai randomisé lorsque c’est pertinent et réalisable.
- Surveiller après déploiement : rechercher les erreurs, les effets indésirables et les baisses de performance dans le temps.
La randomisation peut concerner des patients, des services ou des établissements. Elle limite le risque d’attribuer à l’IA une amélioration due, en réalité, à un renfort d’effectifs ou à un changement de protocole. Quand elle n’est pas réalisable, d’autres méthodes sont possibles, mais leurs limites doivent être explicites. Une comparaison avant-après ne suffit pas toujours à établir un lien causal.
Mesurer ce qui compte pour les patients
Le critère principal doit correspondre à la promesse. Si l’outil vise à accélérer une prise en charge urgente, on mesurera le délai jusqu’au traitement approprié, pas seulement la vitesse de calcul. S’il automatise une tâche administrative, on vérifiera le temps réellement gagné, corrections comprises. S’il promet de prévenir des complications, il faudra observer ces complications, et non se satisfaire d’un meilleur score de risque.
Il n’est pas nécessaire d’exiger une baisse de mortalité pour chaque logiciel. Une diminution démontrée d’examens inutiles, une meilleure qualité de vie ou un accès plus rapide à un spécialiste peuvent constituer des bénéfices pertinents. Mais les critères intermédiaires doivent être présentés comme tels. Une hausse du nombre de lésions repérées ne démontre pas automatiquement une réduction des formes graves de la maladie.
La moyenne peut aussi masquer des inégalités. Il faut examiner les résultats selon les groupes pertinents : âge, sexe, comorbidités, origine géographique ou caractéristiques des équipements. Les effectifs doivent permettre une interprétation prudente. Un outil satisfaisant à l’échelle d’un établissement pourrait être moins fiable pour une partie de ses patients, notamment si elle était peu représentée dans les données d’apprentissage.
Une preuve à entretenir
Une autorisation réglementaire ne répond pas à toutes les questions d’achat, d’organisation ou de remboursement. Chaque établissement doit connaître l’usage prévu, les limites, les conditions de validation et le coût complet : intégration informatique, formation, maintenance, vérifications supplémentaires. Le temps économisé dans un service peut être transféré à un autre plutôt que réellement supprimé.
Et maintenant ? Pour septembre 2026 et au-delà, une évolution souhaitable serait de conditionner davantage les déploiements à des objectifs cliniques vérifiables, avec des règles d’arrêt si les bénéfices ne se confirment pas. Chaque mise à jour importante devrait entraîner une réévaluation proportionnée au risque. La maturité de l’IA médicale ne se mesurera pas au nombre de démonstrations spectaculaires, mais à sa capacité à améliorer durablement les soins, pour les équipes comme pour les patients.
