Explication

Comment et pourquoi les algorithmes discriminent

Les systèmes de prise de décision automatisée peuvent être discriminatoires. Nous expliquons quelles en sont les causes, ce qui peut se passer dans de tels cas et pourquoi les lois existantes ne protègent pas suffisamment contre la discrimination algorithmique.

Estelle Pannatier
Chargée de politique
Moira Daviet
Chercheuse

Les décisions automatisées basées sur des algorithmes sont présentes partout dans notre société. Les systèmes algorithmiques traitent les déclarations d'impôts, évaluent les candidatures, nous proposent de la musique, nous guident dans la ville, prédisent les crimes ou prévoient les chances d'intégration des réfugiés sur le marché du travail. Les décisions prises par ces systèmes ont un impact direct sur la vie des personnes. Certaines personnes sont ainsi victimes de discrimination.

Quelles sont les causes de la discrimination algorithmique?

Les systèmes algorithmiques ne sont ni neutres ni objectifs. Ils reproduisent les schémas de discrimination qui existent dans la société. En effet, les données utilisées pour l'apprentissage automatique des systèmes proviennent du passé. Lorsqu'elles sont utilisées pour faire des prédictions, cela suppose que les actions futures ressemblent aux actions passées. Les données reflètent les rapports sociaux existants. Elles peuvent être obsolètes et reproduire des stéréotypes. Si, par exemple, il y a moins de femmes à des postes de direction dans une entreprise et qu'un algorithme de recrutement est entraîné avec les données du personnel existant, il se peut que le système prenne moins souvent en compte les femmes pour les postes de direction.

Le développement de ces systèmes de prise de décision repose sur un groupe de personnes assez homogène, dans la plupart des cas des hommes blancs. Si les décisions relatives à la conception du système sont influencées par les hypothèses, les croyances, les perspectives et les préjugés d'un tel groupe surreprésenté, cela peut avoir un impact sur les résultats du système. Mais l'objectif et la manière dont un système est utilisé peuvent également être source de discrimination: par exemple, lorsqu'un système mesure les performances des employé·e·s sans tenir compte des besoins spécifiques des personnes handicapées.

Les décisions d'un système affectent souvent un grand nombre de personnes. De nombreuses personnes peuvent donc être affectées par ses conséquences discriminatoires. Ce problème, caractéristique de la discrimination algorithmique, est appelé effet d'échelle. Des boucles de rétroaction peuvent également renforcer les modèles de discrimination existants. Par exemple, les données d'anciennes statistiques criminelles peuvent conduire un système algorithmique de police prédictive à patrouiller davantage dans certains quartiers que dans d'autres. Ces statistiques peuvent à leur tour refléter des hypothèses discriminatoires, en assimilant par exemple un faible niveau de revenu dans un quartier à une probabilité plus élevée de criminalité. Si, sur la base des prévisions d'un système, la police est plus présente dans un quartier, la probabilité qu'elle détecte plus de crimes dans cette zone augmente également. De telles prédictions du système se confirment d'elles-mêmes, comme une prophétie auto-réalisatrice. Elles se renforcent encore lorsque le système est utilisé sur une longue période et qu'il fait des prédictions sur la base des résultats de ses propres prédictions.

Lorsque les algorithmes sont utilisés dans des domaines où il existe déjà de grandes inégalités de pouvoir, le risque de décisions injustes et de discrimination est particulièrement élevé, qu'il s'agisse d'inégalités de pouvoir entre les candidat·e·s et les entreprises, les employé·e·s et les employeurs, les suspect·e·s et la police, les migant·e·s et les autorités de contrôle des frontières, les bénéficiaires de l'aide sociale et les administrations, les élèves et les enseignant·e·s ou les utilisateur·rice·s et les plateformes de médias sociaux. Dans de telles constellations, une partie dépend des décisions de l'autre partie. Si la partie qui a le plus de pouvoir prend des décisions par ou à l'aide d'algorithmes, les personnes concernées ne le savent généralement pas. Elles sont à la merci de ces décisions et ne peuvent guère s'y opposer en raison de l'inégalité de pouvoir.

Exemples de discrimination algorithmique: allocations familiales, monde du travail, scores de risque, application de la loi

Les autorités publiques utilisent également des systèmes algorithmiques qui peuvent discriminer les personnes. Aux Pays-Bas, il a été révélé en 2019 que les autorités fiscales locales avaient utilisé un algorithme d'auto-apprentissage pour créer des profils de risque afin de détecter des cas de fraude aux allocations familiales. Un simple soupçon, basé sur les indicateurs de risque du système, suffisait aux autorités pour sanctionner des familles pour fraude. Des dizaines de milliers de familles, souvent à faible revenu ou appartenant à des «minorités ethniques» ayant une double nationalité, ont dû rembourser des allocations familiales perçues pendant des années, s'enfonçant ainsi dans l'endettement et la pauvreté pour une grande partie d'entre elles. Plus d'un millier d'enfants ont ainsi dû être placés dans des familles d'accueil. L'autorité néerlandaise de protection des données a conclu par la suite que le traitement des données par le système utilisé était discriminatoire.

La discrimination algorithmique dans le monde du travail peut se produire dès les offres d'emploi. Une recherche d'AlgorithmWatch a montré que les stéréotypes de genre déterminent la manière dont les offres d'emploi sont affichées sur Facebook. Les offres d'emploi pour conduire des camions étaient beaucoup plus souvent affichées pour les hommes, celles pour les gardes d'enfants beaucoup plus souvent pour les femmes. Les algorithmes sont également utilisés pour trier et sélectionner des CV ou pour donner des instructions aux employé·e·s. Lorsque l'algorithme devient le «patron», il est souvent difficile de savoir comment les décisions de promotion ou de licenciement sont prises. Un tel manque de transparence est un terreau fertile pour les décisions discriminatoires.

En Allemagne, des entreprises comme la Schufa fournissent des informations sur la «solvabilité» des personnes. Pour ce faire, elles calculent des scores de risque que les banques ou autres entreprises utilisent pour décider d'accorder un crédit à quelqu'un ou de conclure un contrat avec quelqu'un. De telles décisions peuvent avoir un impact énorme sur les personnes si elles sont privées sans raison de la possibilité d'obtenir un crédit ou de contracter une assurance. Mais personne ne sait comment les scores de risque sont calculés et si cela se fait de manière purement automatique. Ce manque de transparence n'a pas seulement un grand potentiel de discrimination, il est également problématique sur le plan juridique. La législation européenne sur la protection des données stipule en effet que les décisions ayant des conséquences juridiques pour les personnes ne peuvent pas être prises de manière purement automatisée. La Cour de justice européenne a tranché: si le score Schufa d'une personne influence de manière déterminante la décision d'une entreprise à son sujet, cela est considéré comme une décision automatisée.

Dans le cadre de la poursuite pénale, la police et les tribunaux utilisent des systèmes algorithmiques pour calculer la probabilité de récidive des personnes ayant commis des délits. Les données introduites à cet effet dans les systèmes algorithmiques ne représentent toutefois la réalité que de manière déformée. Par exemple, si le nombre de contacts généraux avec la police est considéré comme un indicateur de la probabilité de récidive (dans le sens où plus il y a de contacts avec la police, plus la probabilité d'un nouveau délit est élevée), les personnes racisées peuvent être discriminées. Certains membres de la police pratiquent en effet le «profilage racial» et contrôlent beaucoup plus souvent les personnes racisées que les personnes blanches. Si les personnes racisées sont plus souvent soumis à des contrôles de véhicules non fondés, cela augmente le nombre de leurs contacts avec la police. Les scores de récidive constituent la base des conditions imposées aux délinquant·e·s à leur sortie de prison. Lorsque le score calculé automatiquement, sur lequel se basent les décisions de la police ou du tribunal, est plus élevé en raison du « profilage racial » et que les délinquant·e·s doivent de ce fait faire face à des obligations particulièrement élevées, cela constitue une discrimination.

La protection contre la discrimination en Suisse

En Suisse, la discrimination est définie dans le cadre de l'interdiction de discrimination de la Constitution fédérale (Art. 8 al. 2 Cst.) comme une différence de traitement entre des personnes sur la base d'une caractéristique protégée, sans justification par un motif objectif. Les caractéristiques protégées comprennent des caractéristiques biologiques (telles que la «race», le sexe, l’âge, la déficience corporelle, mentale ou psychique) ainsi que des caractéristiques culturelles ou sociales (l’origine, la langue, la situation sociale, le mode de vie, les convictions religieuses, philosophiques ou politiques). Cette énumération n’est pas exhaustive. Les groupes sociaux stigmatisés sont généralement protégés contre la discrimination. Les groupes sociaux stigmatisés sont généralement protégés contre la discrimination. L’article 8 de la Constitution contient deux autres alinéas, qui définissent une égalité entre l’homme et la femme (art. 8 al. 3 Cst.). et prévoient des mesures en vue d’éliminer les inégalités qui frappent les personnes handicapées (art. 8 al. 4 Cst.).

L'interdiction de la discrimination ne concerne en principe que les acteurs étatiques ; une interdiction générale de la discrimination pour les particuliers fait défaut en Suisse. Il découle certes de l'interdiction de discrimination de la Constitution fédérale une obligation de protection de l'Etat, fondée sur les droits fondamentaux, d'empêcher également la discrimination entre les particuliers (art. 8, al. 2, en relation avec l’art. 35, al. 3, Cst.). Cependant, il n'existe pas de loi générale qui interdise de manière générale la discrimination par des particuliers. Il manque des moyens légaux pour lutter contre la discrimination par des systèmes algorithmiques d'acteurs privés.

La protection existante contre la discrimination n'est donc pas suffisante en cas de discrimination algorithmique. Outre l'effet d'échelle et les boucles de rétroaction, l'utilisation de variables de proximité («proxy») engendre également des lacunes dans la loi. Dans les systèmes de décision automatisés, les variables proxy peuvent être utilisées comme base de décision en lieu et place des caractéristiques protégées. Ainsi, un système qui gère les candidatures ne devrait pas rejeter des personnes sur la base de leur âge, puisque l'âge est une caractéristique protégée. Toutefois, le système pourrait utiliser la durée de l'expérience professionnelle antérieure comme variable de substitution afin d'identifier les personnes âgées et de les exclure du processus de candidature.

La discrimination algorithmique nous place également devant de nouveaux défis en ce qui concerne l'application de l'interdiction de discrimination. Il est en effet difficile d'identifier les personnes concernées. En effet, la plupart du temps, elles ne savent pas qu'elles sont discriminées par des décisions automatisées.

AlgorithmNews CH - abonne-toi maintenant à notre newsletter !