Quand l’algorithme hérite du biais : l’affaire Optum et ce qu’elle enseigne

Système de santé · Équité algorithmique

En 2019, une étude publiée dans Science a révélé qu’un algorithme largement déployé aux États-Unis orientait moins de patients noirs vers des programmes de soins renforcés, à état de santé égal. L’algorithme n’utilisait pas la variable ethnique. C’est précisément ce qui rend l’affaire instructive.

Le mécanisme, en une phrase

L’algorithme devait répondre à la question « quels patients ont le plus besoin d’un programme d’accompagnement renforcé ? ». Le besoin de soins n’est pas directement mesurable dans une base de données administrative. Les concepteurs ont donc utilisé une variable de substitution : les dépenses de santé prévisibles l’année suivante. L’intuition semble raisonnable — un patient qui va coûter cher est un patient qui va être malade.

Elle est fausse dans un système où l’accès aux soins est inégal. À gravité clinique égale, un patient noir américain dépense en moyenne moins qu’un patient blanc : moindre couverture assurantielle, distance aux structures, méfiance historique fondée, discrimination dans la relation de soin. L’algorithme, entraîné à prédire la dépense, apprenait mécaniquement à considérer ces patients comme moins malades.

Aucune variable ethnique n’entrait dans le modèle. Le biais ne venait pas d’un attribut interdit ; il venait de la définition de la cible. C’est là toute la leçon, et elle est contre-intuitive pour qui croit qu’il suffit de retirer les variables sensibles pour obtenir un algorithme équitable.

Pourquoi supprimer la variable ne suffit jamais

Dans des données riches, l’appartenance à un groupe est reconstituable par corrélation. Le code postal, le type d’assurance, les motifs de consultation, la fréquence des rendez-vous manqués : chacun de ces attributs porte une information partielle sur l’origine sociale et ethnique. Un modèle assez puissant les recombine sans qu’on le lui demande.

C’est ce qu’on appelle la variable proxy. Retirer l’attribut sensible tout en conservant ses corrélats est une politique d’aveuglement, pas d’équité. La méthode qui fonctionne consiste à mesurer les performances par sous-groupe et à exiger qu’elles soient comparables. Ce qui suppose de disposer de l’attribut sensible — paradoxe que le droit français, restrictif sur les statistiques ethniques, rend particulièrement délicat à manier.

Les autres formes de biais, moins spectaculaires

Le biais de la cible n’est qu’un cas parmi plusieurs. Le biais d’échantillonnage survient quand les données d’entraînement proviennent de populations non représentatives : des algorithmes de dermatologie entraînés majoritairement sur des peaux claires performent moins bien sur les peaux foncées, ce qui a été documenté à plusieurs reprises. Le biais de mesure apparaît quand l’instrument lui-même est inégalement fiable : l’oxymètre de pouls surestime la saturation en oxygène chez les patients à peau foncée, avec des conséquences cliniques directes en réanimation.

Le biais d’étiquetage reproduit les décisions humaines passées : un algorithme entraîné à prédire « le médecin a-t-il diagnostiqué une douleur chronique ? » apprend les habitudes de prescription des médecins, y compris leurs disparités documentées dans la prise en charge de la douleur.

Ce que le droit européen impose désormais

Le règlement européen sur l’intelligence artificielle exige, pour les systèmes à haut risque, un examen des biais possibles et une gouvernance des jeux de données d’entraînement, de validation et de test. Il autorise même, par dérogation, le traitement de catégories particulières de données à caractère personnel lorsque c’est strictement nécessaire à la détection et à la correction des biais.

Cette dérogation est essentielle. Sans elle, l’obligation de détecter le biais serait impossible à satisfaire. Elle est aussi périlleuse : elle crée un motif légitime de collecter des attributs sensibles, avec le risque d’usages dérivés. Le texte l’encadre par des garanties — nécessité stricte, limitation, sécurité — dont la mise en œuvre pratique reste à observer.

Ce qu’un établissement peut faire dès maintenant

Trois exigences minimales, énonçables sans expertise technique. Demander à l’éditeur quelle est la variable cible exacte du modèle — pas ce qu’il prétend prédire, ce qu’il prédit réellement. Exiger des performances désagrégées par sous-groupe pertinent, y compris sur la population locale et pas seulement sur les données de développement. Mettre en place une surveillance post-déploiement qui compare régulièrement les recommandations de l’algorithme aux décisions cliniques, et remonte les écarts.

Rien de tout cela ne relève de la haute technologie. Cela relève de la discipline. L’affaire Optum n’a pas été découverte par un audit interne : elle a été découverte par des chercheurs qui ont demandé les données. C’est un enseignement en soi.

À lire aussi : Le triage par IA aux urgences : trier plus vite, au risque de trier mal.

Information générale sur la santé numérique, à but éducatif. Ne constitue pas un avis médical.