Biais de l’IA : quand les algorithmes reproduisent nos préjugés

Chacune de ces étapes peut introduire une déformation.

> Un algorithme peut effectuer un calcul rigoureux tout en partant d’une représentation imparfaite de la réalité.

C’est précisément à cet endroit qu’apparaissent les biais algorithmiques.

Qu’appelle-t-on un biais algorithmique ?

Un biais algorithmique est une tendance systématique d’un système à produire des résultats déséquilibrés, inexacts ou défavorables à certaines personnes ou à certains groupes.

Il ne faut pas confondre un biais avec une simple erreur occasionnelle. Tous les systèmes commettent des erreurs. Le biais apparaît lorsque ces erreurs se répètent davantage dans une direction particulière.

Prenons un logiciel chargé d’examiner des demandes de crédit. S’il commet une erreur aléatoire sur quelques dossiers, nous sommes face à un problème de précision. Mais s’il refuse régulièrement davantage de demandes provenant d’un même quartier, d’une même catégorie sociale ou d’un même type de parcours professionnel, il peut exister un biais.

Le système n’a pas nécessairement reçu une instruction discriminatoire. Il peut avoir découvert, dans ses données, des corrélations qui agissent indirectement comme des critères de sélection.

Le code postal peut, par exemple, renseigner indirectement sur le niveau de vie. Une interruption de carrière peut correspondre à une période consacrée aux enfants ou à l’accompagnement d’un proche. Le choix d’une école peut être lié à l’origine sociale.

Ces informations deviennent alors des variables de substitution : elles permettent de reconstituer indirectement une caractéristique que le système n’était pas censé utiliser.

Un exemple : l’IA qui sélectionne les candidats

Imaginons une entreprise fictive appelée Nova. Elle reçoit plusieurs milliers de candidatures chaque année et décide d’utiliser une IA pour effectuer une première sélection.

Pour entraîner le système, elle lui présente les dossiers de ses anciens salariés. L’algorithme étudie les profils des personnes recrutées, promues ou considérées comme performantes.

À première vue, la méthode paraît logique : utiliser l’expérience passée pour identifier les candidats ayant le plus de chances de réussir.

Mais supposons que l’entreprise ait historiquement recruté principalement des hommes issus des mêmes écoles. L’IA risque alors d’associer ce profil dominant à la réussite professionnelle.

Elle pourra favoriser certains établissements, certains mots employés dans les CV ou certains parcours continus. À l’inverse, elle pourra pénaliser les interruptions de carrière, les formations moins traditionnelles ou les expériences acquises dans d’autres secteurs.

Le sexe du candidat peut avoir été retiré du dossier. Pourtant, d’autres informations permettent parfois au système de retrouver indirectement les mêmes tendances.

Nova ne demande pas explicitement à l’IA de discriminer. Elle lui demande de reproduire les caractéristiques de ses recrutements précédents.

> L’algorithme n’apprend pas nécessairement qui est le meilleur candidat. Il apprend d’abord qui a été choisi par le passé.

C’est toute la différence.

Comment les biais entrent-ils dans l’IA ?

Les biais peuvent apparaître à presque toutes les étapes de la création d’un système.

1. Le biais historique

Les données décrivent un monde qui n’est pas parfaitement équitable.

Si certains groupes ont eu moins facilement accès à un métier, à une formation, à un prêt ou à des soins, les statistiques historiques reflètent cette situation.

Une IA entraînée sur ces données peut interpréter les inégalités passées comme des règles à suivre pour l’avenir.

Elle ne comprend pas que les chiffres résultent parfois de décisions humaines, d’obstacles sociaux ou de discriminations anciennes. Elle observe simplement que certains profils ont été plus souvent sélectionnés que d’autres.

2. Le biais de sélection

Un jeu de données ne représente jamais automatiquement toute la population.

Si une application médicale est surtout entraînée avec les données d’une catégorie de patients, ses performances peuvent être moins bonnes pour les personnes insuffisamment représentées.

Le problème n’est donc pas seulement la quantité de données. On peut disposer de millions d’exemples tout en laissant de côté une partie importante de la réalité.

> Beaucoup de données ne signifient pas nécessairement de bonnes données.

Il faut vérifier qui est présent dans la base, mais aussi qui en est absent.

3. Le biais d’étiquetage

Dans l’apprentissage supervisé, des humains attribuent souvent des catégories aux données : message acceptable ou offensant, dossier risqué ou fiable, image normale ou suspecte.

Ces annotations peuvent être influencées par le contexte culturel, l’expérience personnelle ou la compréhension de chaque personne.

Un mot employé avec humour dans un groupe peut être perçu comme agressif dans un autre. Une attitude considérée comme inhabituelle par un annotateur peut être parfaitement normale dans une autre culture.

Le modèle apprend ensuite à partir de ces classifications comme si elles constituaient une vérité incontestable.

4. Le biais de mesure

Il arrive que l’on ne puisse pas mesurer directement ce qui nous intéresse. On choisit alors un indicateur plus facile à obtenir.

Une entreprise veut évaluer le potentiel d’un candidat, mais le potentiel n’est pas directement mesurable. Elle utilise donc les diplômes, le nombre d’années d’expérience ou les performances passées.

Un système médical souhaite mesurer les besoins d’un patient, mais utilise ses dépenses de santé antérieures. Pourtant, dépenser moins ne signifie pas nécessairement être en meilleure santé. Cela peut aussi indiquer un accès plus difficile aux soins.

Le choix de l’indicateur influence directement le résultat.

5. Le biais introduit par l’objectif

Une IA optimise ce qu’on lui demande d’optimiser.

Si une plateforme cherche uniquement à augmenter le temps passé devant l’écran, l’algorithme pourra privilégier les contenus les plus émotionnels, polémiques ou anxiogènes.

Si un logiciel de recrutement doit réduire au maximum le nombre de candidatures examinées par un humain, il pourra écarter rapidement des profils atypiques mais intéressants.

Le système peut atteindre parfaitement son objectif technique tout en produisant un résultat humainement discutable.

La véritable question devient donc : avons-nous choisi le bon objectif ?

La reconnaissance faciale : des performances inégales

La reconnaissance faciale illustre clairement le problème de représentativité.

Les évaluations menées par le NIST, l’institut américain chargé notamment des normes technologiques, montrent que les performances peuvent varier selon les algorithmes, la qualité des photographies et les groupes démographiques concernés.

Un taux d’erreur apparemment faible à l’échelle générale peut masquer des différences importantes entre plusieurs catégories de personnes.

Les conséquences dépendent ensuite de l’utilisation du système. Une erreur pour déverrouiller un téléphone constitue surtout un désagrément. La même erreur dans un contrôle d’identité, une enquête ou un dispositif de surveillance peut devenir beaucoup plus grave.

La performance moyenne ne suffit donc pas. Il faut examiner la répartition des erreurs :

Recrutement, crédit et santé : quand le score influence une vie

Les biais deviennent particulièrement préoccupants lorsque les résultats conditionnent l’accès à un emploi, à un logement, à un crédit, à une assurance ou à un traitement médical.

Dans le recrutement

Un système peut favoriser les parcours les plus courants parce qu’ils ressemblent davantage aux exemples utilisés pendant son entraînement.

Les profils atypiques, les reconversions professionnelles ou les compétences acquises en dehors des filières traditionnelles risquent alors d’être sous-évalués.

Dans le crédit

Un modèle peut estimer la probabilité de remboursement à partir de nombreuses informations : revenus, situation professionnelle, historique bancaire ou lieu de résidence.

Même lorsqu’une donnée sensible est supprimée, certaines variables peuvent lui être fortement liées. Le risque est d’écarter automatiquement des personnes qui auraient pourtant pu rembourser leur prêt.

Dans la santé

Une IA peut aider à repérer une anomalie, évaluer un risque ou orienter un patient. Mais si ses données d’entraînement représentent mal certains âges, certaines populations ou certaines situations médicales, sa fiabilité peut varier.

L’IA doit alors rester un outil d’aide. Elle ne doit pas transformer un score statistique en diagnostic incontestable.

Le piège des boucles de rétroaction

Un biais peut se renforcer lui-même au fil du temps.

Imaginons qu’un système considère certains profils comme moins susceptibles de réussir. Il leur propose donc moins souvent une opportunité.

Ces personnes apparaissent ensuite moins fréquemment parmi les réussites enregistrées. Lors du prochain entraînement, l’algorithme dispose d’encore moins d’exemples positifs les concernant.

Sa conviction statistique se renforce.

Le mécanisme peut être résumé ainsi :

C’est ce qu’on appelle une boucle de rétroaction.

Dans notre entreprise Nova, l’IA sélectionne surtout les profils proches des salariés déjà en poste. L’entreprise recrute donc moins de parcours atypiques. Quelques années plus tard, ses données internes paraissent confirmer que le profil traditionnel reste le plus fréquent parmi les salariés performants.

Le système n’a pas découvert une loi universelle. Il a contribué à fabriquer la réalité qu’il utilise ensuite comme preuve.

Les IA génératives ont-elles aussi des biais ?

Les outils capables de produire du texte, des images ou des vidéos apprennent à partir d’immenses ensembles de contenus.

Ils peuvent donc reproduire des représentations très présentes dans ces données : métiers associés plus souvent à un genre, fonctions de pouvoir représentées par certains profils, cultures peu visibles ou descriptions stéréotypées.

La réponse générée n’exprime pas une conviction personnelle de l’IA. Elle résulte des associations statistiques apprises pendant l’entraînement et des instructions reçues.

Ces systèmes peuvent également être plus performants dans les langues et les cultures abondamment représentées sur Internet. Une langue disposant de moins de ressources numériques risque de bénéficier de réponses moins précises.

Il faut donc conserver un regard critique, particulièrement lorsqu’une réponse concerne des personnes, des groupes sociaux ou des sujets sensibles.

L’algorithme est-il responsable ?

Un algorithme n’est pas un être moral. Il ne peut pas être félicité, sanctionné ou tenu responsable comme une personne.

La responsabilité reste humaine et organisationnelle. Elle concerne notamment :

Dire « c’est l’algorithme qui a décidé » ne constitue donc pas une réponse satisfaisante.

> On peut automatiser une décision, mais pas la responsabilité qui l’accompagne.

Le contrôle humain ne doit pas se limiter à valider automatiquement la recommandation de la machine. La personne chargée du contrôle doit comprendre le rôle du système, connaître ses limites et pouvoir réellement modifier ou refuser sa conclusion.

Peut-on supprimer tous les biais ?

Supprimer absolument tous les biais est probablement impossible.

Les données ne représentent jamais parfaitement le monde. Les notions de réussite, de risque, de mérite ou d’équité peuvent être interprétées de plusieurs façons. Deux objectifs légitimes peuvent même entrer en conflit.

Par exemple, un système peut chercher à obtenir le même taux d’acceptation pour plusieurs groupes. Un autre peut chercher à atteindre le même taux d’erreur. Selon la répartition initiale des données, ces deux objectifs ne conduisent pas toujours au même résultat.

L’objectif réaliste consiste donc à :

La recherche d’équité n’est pas une correction effectuée une seule fois. C’est un travail continu.

Comment réduire les biais d’une IA ?

Plusieurs précautions peuvent améliorer la fiabilité et l’équité d’un système.

Définir clairement le problème

Avant de construire une IA, il faut préciser ce que l’on souhaite réellement mesurer.

Dans notre exemple, Nova veut-elle identifier les candidats ressemblant à ses salariés actuels, ou rechercher les compétences nécessaires pour réussir dans un poste ?

Ces deux questions ne produisent pas le même modèle.

Examiner les données d’entraînement

Il faut connaître l’origine des données, les conditions de leur collecte et les personnes qu’elles représentent.

Cette vérification permet de repérer les catégories absentes, les erreurs d’annotation, les informations anciennes ou les variables susceptibles de servir de substituts à des caractéristiques sensibles.

Tester séparément plusieurs populations

Un bon résultat moyen ne suffit pas.

Les concepteurs doivent mesurer les faux positifs, les faux négatifs et les autres erreurs pour différents groupes pertinents. Les écarts doivent être analysés et non noyés dans une moyenne générale.

Associer plusieurs compétences

La conception ne devrait pas reposer uniquement sur des informaticiens.

Selon le domaine, il peut être nécessaire d’associer des spécialistes du droit, de la sociologie, de la médecine, des ressources humaines, de l’éthique ou de la protection des données.

Les personnes susceptibles d’être affectées peuvent également révéler des problèmes invisibles pour l’équipe technique.

Prévoir une explication et un recours

Une personne défavorisée par une décision importante doit pouvoir comprendre les critères essentiels utilisés et demander un nouvel examen.

La transparence ne consiste pas forcément à publier des milliers de lignes de code. Elle consiste à fournir une explication utile : quelles données ont compté, quel était le rôle du système et comment contester le résultat.

Surveiller le système dans le temps

Le monde évolue. Les comportements, les populations et les conditions d’utilisation changent.

Un modèle satisfaisant aujourd’hui peut devenir moins fiable après plusieurs mois ou plusieurs années. Il faut surveiller ses performances, détecter les dérives et savoir le suspendre lorsque les risques deviennent trop importants.

Ce que prévoit l’Europe

L’Union européenne a adopté un cadre réglementaire fondé sur le niveau de risque des systèmes d’intelligence artificielle.

Certains usages liés notamment au recrutement, à l’accès à des services essentiels ou à l’évaluation de personnes peuvent être considérés comme présentant un risque élevé. Ils sont alors soumis à des exigences renforcées concernant les données, la documentation, la traçabilité, l’évaluation des risques et le contrôle humain.

Cette approche repose sur une idée simple : une IA qui recommande une chanson et une IA qui influence l’accès à un emploi ne doivent pas être encadrées de la même manière.

Plus les conséquences possibles sont importantes, plus les garanties doivent être solides.

Sept questions à poser avant de faire confiance à une IA

Lorsqu’un système influence une décision importante, quelques questions permettent de prendre du recul :