Cet article a été rédigé pour Tangram, le magazine de la Commission fédérale contre le racisme (CFR).

La reconnaissance faciale est une technologie impressionnante. N’est-il pas fascinant de pouvoir déverrouiller son téléphone portable juste en lui souriant ? De se rappeler de bons souvenirs grâce aux photographies qui identifient automatiquement les personnes représentées ? La reconnaissance faciale permet de restreindre l’accès à un bâtiment aux seuls ayants droit, sans qu’une clé soit nécessaire. Elle peut aussi servir à identifier des individus qui se trouvent dans un lieu donné sur l’espace public.

Certaines de ces applications sont utiles ou divertissantes. Mais parfois, les systèmes de reconnaissance faciale auxquels elles recourent influencent des décisions qui peuvent être lourdes de conséquences. C’est le cas, par exemple, lorsqu’il ne s’agit plus uniquement de faire correspondre un visage avec une photo préenregistrée, mais d’identifier des individus à partir d’un grand nombre en s’appuyant sur une base de données contenant des photos de visages et les données personnelles qui y sont liées. Le recours à ces systèmes dans l’espace public ouvre la porte à la surveillance de masse.

Dans ce contexte, si la technologie n’offre pas le même niveau de qualité d’une personne à l’autre, cela devient particulièrement problématique. Or c’est justement le cas de la reconnaissance faciale, qui fonctionne mieux pour les hommes blancs que pour d’autres groupes de population.

Pourquoi est-ce un problème ? Parce que cela peut engendrer des discriminations raciales ou sexistes. En effet, si les systèmes sont moins fiables pour les personnes à la peau foncée, celles-ci sont davantage susceptibles d’être identifiées par erreur (c’est ce qu’on appelle des « faux positifs »). Sur le plan pénal, cela peut avoir de graves conséquences, par exemple lorsque des systèmes de reconnaissance faciale sont utilisés lors de manifestations, comme ce fut le cas l’an dernier aux États-Unis pour le mouvement Black Lives Matters. En Europe, la reconnaissance faciale connaît également une croissance rapide. En d’autres termes, nous n’échappons pas non plus à ce phénomène.

Schémas discriminatoires dans les bases de données

Comment se fait-il que les visages féminins ou les carnations foncées soient moins bien reconnus ? Les bases de données de test employées pour « entraîner » les algorithmes de reconnaissance faciale ne sont généralement pas représentatives, car elles contiennent un biais, en l’occurrence un nombre proportionnellement trop élevé de photographies d’hommes blancs. De plus, la plupart du temps, elles sont programmées par des hommes blancs. Ces derniers sont aussi surreprésentés dans les postes de direction des entreprises, de l’administration et de la politique.

Pour tester et entraîner les algorithmes, on utilise des données du passé, ce qui fait que des structures de pouvoir et de décision dépassées, ainsi que des valeurs, normes et préjugés persistants, passent directement dans les algorithmes. Lorsque ceux-ci intègrent ces données dans leurs prévisions, ils absorbent aussi les schémas discriminatoires et les biais de notre société. Si un certain groupe de personnes a été favorisé dans le passé, cela se reflétera dans les prévisions, même si la société désapprouve aujourd’hui ce schéma de pensée. Par exemple, une conception dépassée et dont l’inexactitude est aujourd’hui établie, telle que « les personnes noires supportent mieux la douleur », peut se cacher dans un algorithme moderne qui détermine la gravité d’une affection rénale. Ce phénomène entretient involontairement des préjugés obsolètes. Le fait que les algorithmes s’appuient sur les données du passé ralentit le travail de déconstruction de ces discriminations et, par extension, la progression des valeurs morales.

Parallèlement, en étudiant de près les décisions prises par les algorithmes, nous pourrions également identifier d’autres discriminations qui avancent masquées ; en effet, il n’y a pas que dans l’univers numérique que des appréciations obsolètes influencent les procédures ; c’est aussi le cas dans le monde réel. Un tel examen serait donc l’occasion de prendre conscience de certains modes de pensée ou de discrimination opérant dans le monde réel.

Les algorithmes sont de plus en plus utilisés dans les domaines les plus variés, comme le recrutement ou l’évaluation du personnel. Un autre exemple marquant est l’utilisation de ces outils pour gérer ce que nous voyons sur les timelines de nos réseaux sociaux (voir encadré). En Suisse, un projet pilote actuellement en cours utilise un système algorithmique pour répartir des réfugiés entre les cantons, dans le but d’optimiser leur intégration sur le marché du travail. Les domaines de la mobilité, de la médecine ou de l’octroi de prestations sociales constituent également d’autres champs d’application pour les algorithmes. La reconnaissance faciale doit donc être considérée ici comme un exemple parmi d’autres. Les effets problématiques qui peuvent découler de décisions basées sur des algorithmes ne doivent pas être ignorés, en particulier pour celles qui ont un impact sérieux sur la vie des individus.

Systèmes sociotechnologiques

Quelles solutions envisager ? Beaucoup diront qu’il est utile de veiller à diversifier au maximum la composition des équipes de développement informatique. Il s’agit là d’une démarche certes importante, mais qui ne permet hélas pas à elle seule d’atteindre l’objectif. En effet, les personnes au sein de ces équipes ont elles aussi des préjugés et des opinions, les données tests sur lesquelles elles s’appuient reproduisent des schémas de pensée de la société, et l’utilisation d’outils basés sur des algorithmes s’inscrit elle-même dans un contexte social préexistant : nous sommes donc en présence de véritables systèmes sociotechnologiques qu’il faut toujours considérer dans leur contexte.

D’autres affirmeront que la protection des données constitue la clé du problème. Malheureusement, ce n’est pas non plus le cas. Dans certains cas, paradoxalement, la protection des données fait obstacle à la prévention de la discrimination : en effet, lorsqu’on teste des algorithmes, on ne peut prêter attention qu’aux propriétés pour lesquelles on possède des données. S’il n’existe pas de données, par exemple sur l’orientation sexuelle ou sur la couleur de peau, il est donc impossible de vérifier si une discrimination se produit précisément pour cette raison. Évidemment, cela ne signifie pas pour autant qu’il faut assouplir les normes de protection. Mais dans de tels cas, le difficile compromis entre sécurité des données et protection contre la discrimination appelle de nouvelles solutions.

Par ailleurs, la protection des données ne concerne toujours que les données personnelles. Or, même si aucune donnée personnelle n’est connue, il est possible de glaner des informations sur des individus au moyen de méthodes statistiques. Cela nécessite de grandes quantités de données, mais cette condition est souvent réunie. En Suisse par exemple, plusieurs polices cantonales recourent à des systèmes dits de « police prédictive », basés sur des algorithmes qui utilisent les données des délits antérieurs pour prédire les futures infractions – par exemple, quels quartiers risquent d’être confrontés à des cambriolages. Bien qu’aucune donnée personnelle n’entre en jeu, le système peut s’avérer discriminatoire à plusieurs égards : celui-ci ne tient notamment pas compte du fait qu’en tant qu’institution, la police a eu tendance par le passé à contrôler davantage les minorités, par exemple, ce qui a influencé la base de données et se répercute ensuite sur les prévisions. Si le système prédit une augmentation des délits dans certains quartiers – par exemple peuplés majoritairement de minorités – la police y intensifiera ses contrôles, générant ainsi un système de discrimination circulaire qui s’autonourrit. En effet, en raison de l’augmentation des contrôles, la police détectera certainement aussi plus de délits dans ces quartiers.

De l’éthique dans les algorithmes

Une autre solution avancée est de favoriser l’évolution technologique. En effet, les problèmes de discrimination seraient résolus si les biais des systèmes de reconnaissance faciale étaient corrigés sur le plan technologique et fonctionnaient de manière totalement exacte pour tout le monde. Cependant, tout n’est pas si simple. Car même à ce moment-là, nous devrions nous demander s’il est souhaitable, dans une société démocratique, d’utiliser des technologies qui permettent une surveillance de masse dans la sphère publique, et peuvent donc inciter à s’abstenir d’exprimer son opinion ou de se rendre à une manifestation. Nous ne pouvons tolérer cet effet dissuasif sur l’exercice des droits fondamentaux, qui constituent une condition non négociable de la démocratie.

D’autres encore diront qu’il suffit de programmer les algorithmes pour qu’ils soient éthiques. Or c’est là quelque chose d’impossible, car ceux-ci ne sont pas humains. Seul un être doué de conscience peut agir de façon éthique ; les algorithmes en sont incapables. De même, ils ne sont pas doués d’intelligence, bien qu’ils soient souvent qualifiés d’« intelligence artificielle ». Enfin, les algorithmes ne peuvent assumer la responsabilité de leurs décisions ou des actions qui en résultent. Seuls les êtres humains ont cette capacité. Par ailleurs, la définition du terme même d’algorithme est floue et peu claire, et même les spécialistes ne sont pas encore parvenus à s’entendre sur un emploi uniforme. C’est pourquoi nous préférons parler de « systèmes de décision automatisés », une expression certes un peu compliquée, mais qui indique immédiatement qu’il ne s’agit pas d’intelligence au sens humain du terme, mais de l’automatisation d’un processus qui peut avoir un impact sur l’individu ou sur ses décisions. Une expression qui ne se focalise pas sur la technologie déployée, mais sur le contexte social plus large dans lequel elle est employée.

Néanmoins, ce n’est pas parce que les algorithmes sont incapables de faire preuve d’éthique que l’on doit baisser les bras. Au contraire, il est souhaitable d’appliquer des principes éthiques dans l’usage des algorithmes. Mais lesquels ? Et comment les introduire dans les systèmes de décision automatisés ? Les principes éthiques en jeu ici sont ceux qui relèvent des droits fondamentaux, dont la dignité humaine, la justice et l’autonomie. Toutefois, la manière dont ces principes doivent être mis en œuvre reste floue. Des tentatives ont été faites dans ce sens avec un score ou un label éthique. Jusqu’à présent toutefois, aucun n’a réussi à s’imposer. De plus, les scores manquent hélas souvent d’objectivité et sont susceptibles d’être manipulés. Ils offrent en général un instantané de la situation qui n’engage aucune réflexion sur l’évolution de l’algorithme. Par ailleurs, aucune nouvelle évaluation n’est réalisée lorsque l’algorithme est modifié alors qu’il est déjà en service. Il serait souhaitable d’adopter une approche différente, qui identifie, suit et documente les problèmes aussi bien dans les phases de planification et de test que de mise en œuvre et d’exploitation.

À l’heure actuelle, tous les exemples recensés ont malheureusement en commun le fait qu’ils révèlent l’absence d’un débat ouvert et fondé sur des constats factuels. Personne n’est en mesure d’évaluer l’influence réelle des systèmes de décision automatisés, que ce soit à petite ou à large échelle. L’ensemble manquant singulièrement de transparence, le débat public à ce sujet est encore embryonnaire.

La nécessité d’un large débat

Heureusement, il existe des solutions efficaces qui permettent de garantir que les systèmes de décision automatisés soient utilisés de manière éthique. Dans un premier temps, il faut créer la transparence. À noter toutefois que celle-ci n’est pas une fin en soi, mais un moyen. Le besoin de transparence se manifeste dans des domaines très divers. L’administration publique, par exemple, devrait répertorier tous les systèmes de décision automatisés qu’elle utilise dans un registre public contenant des informations vulgarisées sur l’objectif, le modèle et les acteurs impliqués. Les réseaux sociaux (voir encadré), sur lesquels porte aujourd’hui une part importante du débat public, doivent communiquer clairement la manière dont ils sélectionnent leur contenu ou emploient la publicité ciblée. Pour éclairer ces zones d’ombre, il est indispensable que les spécialistes qui mènent des recherches d’intérêt public puissent avoir accès aux données et aux algorithmes de ces plateformes. S’agissant de la diffusion de théories du complot et de fausses informations en particulier, il faut étudier en priorité la façon dont les plateformes privées influencent l’opinion publique et dans quelle mesure elles contribuent à la diffusion de ces contenus. Sans ces critères de transparence, associés à d’autres encore, aucun débat public, factuel et démocratique sur l’utilisation et l’impact des systèmes de décision automatisés ne sera possible. Et sans un tel débat, aucun contrôle démocratique et scientifiquement fondé de l’utilisation de ces systèmes ne peut être instauré.

Par ailleurs, dans tous les domaines, il doit être possible d’imputer les responsabilités à des personnes définies et de garantir une obligation de rendre des comptes. Nous ne pouvons nous satisfaire de l’excuse qui attribue la faute à « la machine », surtout pas lorsqu’il en va de piliers essentiels de notre vie en société et de la protection de droits fondamentaux.

Les systèmes de décision automatisés comportent indubitablement des avantages, mais il faut veiller à ce que ceux-ci surpassent les inconvénients, à savoir qu’ils augmentent réellement l’autonomie et la liberté individuelles, la participation et le bien commun, et qu’ils profitent au plus grand nombre. Or à l’heure actuelle, nous constatons que la majorité des systèmes employés ne répondent pas à ces exigences. C’est pourquoi nous appelons à l’émergence d’un large débat, porté par la société, les milieux politiques et la communauté scientifique, afin de développer conjointement des solutions pour une utilisation éthique, transparente et responsable des systèmes de décision automatisés.

---

Algorithmes et réseaux sociaux

Lorsque l’on navigue sur les plateformes de réseaux sociaux, les contenus qui nous sont donnés à voir sont sélectionnés par des algorithmes. Or ces derniers se distinguent par leur opacité : personne en dehors des responsables des plateformes en question ne sait exactement comment ils fonctionnent, selon quels critères ils sélectionnent leurs contenus, ni dans quel ordre et selon quelles priorités ils affichent ces contenus. De toute évidence, les préférences personnelles de l’utilisateur jouent un grand rôle. Mais des études ont montré que ce ne sont pas là les seuls critères qui entrent en ligne de compte : par exemple, l’algorithme d’Instagram favorise les photos de femmes à la peau nue par rapport à celles qui sont habillées, et les affiche proportionnellement plus souvent dans les timelines. Et ce phénomène n’est pas uniquement dû au fait que l’utilisateur clique ou « like » davantage les photos de femmes en bikini. Ainsi, dans la logique d’Instagram, il faut se dénuder pour percer.

Il va sans dire que les algorithmes peuvent également diffuser des théories du complot, des discours de haine ou de fausses informations. Dans le cas de YouTube, par exemple, l’algorithme recommande fréquemment aux utilisateurs non anglophones des contenus qui violent même les propres conditions d’utilisation de la plateforme, y compris des informations mensongères. Toutefois, une chose est claire : les algorithmes des réseaux sociaux ne sont pas les seuls moteurs des théories du complot. Il ne faut pas perdre de vue les sphères qui les fomentent dans la « vie réelle », car ce ne sont pas les algorithmes qui sont à l’origine de la désinformation, mais bien des personnes en chair et en os. Les plateformes privées, sur lesquelles se tient aujourd’hui une grande partie du débat public, contribuent sans nul doute de manière significative à la diffusion des théories du complot. Certes, ces plateformes ne devraient pas avoir pour tâche de filtrer les contenus du débat public – tant qu’ils ne sont pas illégaux bien sûr. Mais la sphère publique doit absolument s’atteler à développer sa compréhension du fonctionnement des algorithmes utilisés par ces plateformes, et de leur rôle dans la diffusion, entre autres, des fausses informations.

---