L’administration algorithmique: décisions automatisées dans le secteur public

En Europe et en Suisse, les autorités recourent toujours plus à des algorithmes de prise de décision automatisée (automated decision-making, ADM). Ces derniers sont employés pour traiter automatiquement les déclarations d’impôts ou les demandes d’aide sociale, détecter les tentatives de fraude, créer les profils de placement des personnes en recherche d’emploi, soutenir la police dans ses tâches ou répondre aux requêtes des citoyen·ne·s. L’Intelligence artificielle (IA) doit permettre de décharger les autorités et d'améliorer leur service.

Dans certains pays européens, les processus de numérisation sont déjà plus avancés qu’en Suisse. Pour cette raison, les complications qui peuvent survenir lors de tels travaux d’automatisation y sont observées plus fréquemment.

Erreurs dans le système

Soizic Pénicaud travaillait pour les services sociaux français et organisait des formations destinées aux employé·e·s en contact étroit avec les bénéficiaires de prestations. Un jour, une accompagnatrice lui a expliqué que de nombreuses personnes rencontraient des problèmes après la soumission de demandes numériques. Elle a relaté que, dans de tels cas, elle leur conseillait de s’en accommoder, les individus étant impuissants face à la technologie. Soizic Pénicaud s’y connaît en droit numérique et savait qu’il ne faut pas se résigner lorsque l’on est désavantagé par un système algorithmique. Elle savait même que faire pour y remédier.

De concert avec plusieurs organisations de la société civile, Soizic Pénicaud a déposé des demandes d’information auprès des autorités. En novembre 2023, elle a finalement obtenu des détails concernant l’algorithme en question. Des analyses statistiques ont révélé que le système était erroné. De manière générale, les personnes en situation de handicap, les mères célibataires et les personnes démunies étaient considérées comme potentiellement susceptibles de commettre des fraudes. Les indemnités ont été suspendues automatiquement dans de nombreux cas. Au total, 13 millions de ménages ont été touchés par l’algorithme.

Injustice automatisée en Europe

Dans les pays européens, il est arrivé à plusieurs reprises que des systèmes soient injustes, mal conçus et biaisés à l’égard de certaines personnes.

Au Danemark, les bénéficiaires de l’aide sociale perçoivent des subventions complètes uniquement s’ils ont travaillé moins de 225 heures l’année précédente. Une entreprise de conseil privée a mis au point un outil permettant d’appliquer cette règle de manière automatique. L’étendue des prestations d’innombrables personnes a été réduite à tort en raison d’un défaut du logiciel. Les communes ont dû procéder à des vérifications manuelles pour chaque cas, un contrôle qui durait systématiquement entre trente minutes et trois heures.

En Italie, un algorithme était censé affecter automatiquement les enseignant·e·s avec des contrats à durée déterminée aux établissements qui présentaient des besoins en personnel. Des erreurs de code et de conception ont bouleversé la vie d'instituteur·trice·s, qui devaient, par exemple, voyager des centaines de kilomètres pour aller travailler, alors qu’il existait des postes à pourvoir bien plus proches de leur domicile.

En Autriche, le service de l’emploi a déployé un agent conversationnel fondé sur ChatGPT d’une valeur de 300'000 francs. Il visait à aider les personnes en recherche de travail à répondre à leurs questions sur les possibilités d’emploi et les choix de profession. Il a été révélé que l’outil se faisait une représentation plutôt conservatrice des stéréotypes de genre: il recommandait aux femmes d’entreprendre un cursus dans les études de genre, et aux hommes de se consacrer à l’informatique.

Aux Pays-Bas, l’autorité responsable du paiement des allocations de chômage a employé un algorithme afin de suivre les visiteur·euse·s de son site web. Le logiciel a collecté toutes leurs adresses IP et les a employées pour géolocaliser les utilisateur·trice·s. Il a été jugé illégal et n’a depuis lors plus le droit d’être utilisé.

L’institut néerlandais des droits humains a statué que l’université Vrije d'Amsterdam discriminait ses étudiant·e·s en recourant à un logiciel fondé sur la reconnaissance faciale qui visait à prévenir les tentatives de tricherie lors d’examens. Le système signalait de manière disproportionnée les personnes à la couleur de peau plus foncée.

En Allemagne, certaines autorités ont franchi la limite de la légalité en introduisant de nouveaux outils établis sur l’IA. En février 2023, la Cour constitutionnelle allemande a décrété que les länder de Hesse et de Hambourg n’auraient pas dû utiliser le logiciel Palantir. En novembre 2023, il a été dévoilé que la police bavaroise analysait et exploitait automatiquement les données personnelles contenues dans ses bases de données pendant la phase de test.

En Suisse aussi, des systèmes algorithmiques influencent des décisions au sujet de personnes sont mis en œuvre dans les administrations, par exemple pour prédire le risque de récidive des délinquant·e·s. Toutefois, il n’est souvent pas possible de déterminer où, comment et par qui ils sont exploités. Notre Atlas de l’automatisation répertorie une sélection d’algorithmes employés dans notre pays pour prédire, recommander ou prendre des décisions ainsi que pour produire du contenu pouvant entraîner des répercussions sur des individus. L’une de nos recherches a en outre montré que de nombreux cantons ne sont pas en mesure de fournir des informations complètes sur les systèmes qu'ils utilisent.

Les people on the move comme cobayes

Les migrant·e·s, réfugié·e·s et voyageur·euse·s, aussi appelés people on the move, sont de plus en plus souvent exposé·e·s aux systèmes d’Intelligence artificielle et aux décisions automatisées, sans que ces logiciels n’aient fait l’objet de suffisamment de tests ou que des débats démocratiques aient eu lieu sur leur utilisation. En parallèle, les études soulignant le manque de transparence de l’IA se multiplient: elles montrent à quel point ces systèmes s’avèrent opaques et leur usage se révèle trop peu justifié et contrôlé.

En Suisse, le Secrétariat d’État aux migrations (SEM) expérimente depuis 2018 une méthode reposant sur des bases de données afin d’affecter les requérant·e·s d’asile aux cantons de tout le pays. Elle vise à améliorer l’insertion sur le marché du travail et à accroître le taux d’occupation. De nombreux aspects de l’outil et de ses effets demeurent toutefois inconnus.

En Allemagne, l’office fédéral de la migration et des réfugié·e·s (Bundesamt für Migration und Flüchtlinge, BAMF) constitue un exemple frappant de la précipitation avec laquelle les autorités mettent parfois en place des systèmes d’automatisation problématiques. Le BAMF emploie un logiciel censé reconnaître les dialectes afin de déterminer la nationalité et l’origine des requérant·e·s d’asile. Les scientifiques jugent cette méthode inadéquate. Il est à craindre que les résultats produits par l’outil, qui ne sont pas étayés par des preuves concrètes, influent sur le traitement des demandes d’asile.

Dans les domaines comme la migration, mais aussi dans d’autres secteurs comme le lieu de travail, de grands écarts de pouvoir règnent entre les personnes qui recourent à l’IA et celles qui sont directement concernées par ces systèmes. Ce déséquilibre peut accentuer le risque d’atteinte aux droits fondamentaux. Par exemple, des modèles discriminants peuvent être reproduits si l’IA est destinée à la protection des frontières. Les personnes qui en pâtissent sont celles qui sont déjà victimes de discrimination. Elles manquent généralement de moyens pour s’y opposer et doivent surmonter des obstacles pratiques supplémentaires. Si la Suisse veut défendre ses valeurs et ses principes, elle doit préserver les droits fondamentaux de toutes et de tous, c’est-à-dire aussi des personnes qui ne sont pas (encore) citoyen·ne·s du pays.

Contrôle des risques: les points sensibles de l’administration publique

Les exemples observés à travers l’Europe montrent que l’introduction de systèmes entièrement ou partiellement automatisés, lorsqu’elle n’est pas effectuée avec les précautions nécessaires, s’accompagne souvent de risques élevés. Elles peuvent avoir pour effet de restreindre les droits fondamentaux des personnes ou de leur interdire l'accès aux biens et services publics. Le secteur public est assorti de conditions particulières: nous ne pouvons choisir entre différentes autorités, mais sommes, inévitablement, soumi·e·s aux décisions de l’administration. De plus, les autorités ont accès à des données personnelles et sensibles qui concernent des personnes, et les décisions qu’elles prennent peuvent entraîner des conséquences majeures, par exemple, lorsque l’absence de moyens de susistance de base menace l’existence de quelqu’un.

Si les processus administratifs sont automatisés, il convient de s’assurer qu’ils sont corrects, qu’ils profitent réellement à la population et qu’ils ne provoquent pas de dommages. Ils ne peuvent en aucun cas restreindre la liberté d’action des personnes concernées. Il n’y a lieu de mettre en place des systèmes algorithmiques au sein du secteur public que s’ils remplissent des conditions strictes et sont contrôlés efficacement. Ces prérequis sont toutefois difficiles à remplir, étant donné que les systèmes algorithmiques se révèlent sovuent opaques pour tout le monde: pour les autorités et son personnel, les personnes concernées et la société dans son entier. Le manque de transparence peut également rendre la réflexion critique difficile. Pour évaluer l’influence des systèmes algorithmiques, leur utilisation devrait d’abord être transparente à toutes et à tous, ne serait-ce que pour que les personnes concernées puissent se défendre contre les décisions automatisées. En effet, lorsque les autorités se fient à des décisions adoptées par les algorithmes, nous n’en avons souvent rien.

Que faire contre les erreurs administratives automatisées?

Les personnes concernées doivent obtenir l’accès à toutes les informations pertinentes lorsqu’elles sont ou ont été affectées par un système algorithmique, de sorte qu’elles puissent s’y opposer sous des conditions précises. Des voies de recours facilement disponibles, abordables et efficaces doivent également leur être mises à disposition. Enfin, elles doivent être dédommagées en cas de violations de leurs droits.     

Les risques des systèmes de prise de décision automatisée ne dépendent pas seulement du modèle technique, mais également du contexte dans lequel ils sont mis en place, de leur objectif et de la manière dont ils sont utilisés. Lorsque les autorités recourent à des systèmes qui présentent des risques particuliers, elles devraient ainsi évaluer les retombées éthiques sur les droits fondamentaux et la société, puis rendre ces évaluations publiques. 

Un registre public accessible en ligne pourrait se prêter à la publication de ces résultats. Les entreprises et les administrations obtiendraient un aperçu des systèmes déjà mis en place, et la population serait en mesure d’appréhender les décisions automatisées qui la concerne et de faire valoir ses droits. La société civile et les scientifiques seraient au courant des systèmes dont les autorités se servent. Ces connaissances pourraient jeter les bases d’un débat consacré aux innovations et à l’utilisation des algorithmes que nous souhaitons en tant que société. Un tel registre transparent aiderait les administrations à tirer les leçons des erreurs et des réussites observées dans le cadre d’autres projets.