Décisions automatisées dans le secteur public: quelques recommandations

L'automatisation des processus décisionnels et des services dans l'administration publique prend de plus en plus d'importance. Les autorités y voient un moyen d'augmenter leur efficacité, de faciliter les processus et d'exécuter des prestations de masse ou routinières. Les systèmes algorithmiques, souvent aussi appelés «Intelligence artificielle» (IA), sont notamment utilisés par les administrations pour faire des prévisions, donner des recommandations, prendre des décisions ou générer des contenus qui influencent des décisions sur des personnes. Des exemples d'applications dans l'administration publique sont les algorithmes qui répondent aux demandes de la population (chatbots), traitent automatiquement les déclarations d'impôts ou les demandes d'aide sociale, tentent de détecter les abus en matière de prestations sociales, prédisent les crimes dans le travail de la police (Predictive Policing), évaluent le risque de récidive des délinquant·e·s ou prédisent l'intégration des réfugié·e·s ou des personnes au chômage sur le marché du travail.

L'utilisation de systèmes de prise de décision automatisée («automated decision-making systems», systèmes ADM) dans l'administration publique promet de nombreux avantages. Cependant, ces systèmes comportent également des risques importants, en particulier s'ils ne sont pas utilisés avec la responsabilité qui s’impose. Ils peuvent avoir pour conséquence d'entraver la participation des personnes à la société, de restreindre leurs droits fondamentaux ou de les priver de l'accès aux biens et services publics.

Ces risques ne sont pas limités au secteur public, mais reflètent souvent des risques similaires à ceux rencontrés dans le secteur privé. Toutefois, les conditions sont différentes dans le secteur public: nous n'avons pas le choix entre différents fournisseurs. Nous sommes inévitablement tributaires de l'administration qui est compétente pour nous. De plus, les autorités peuvent avoir accès à des données personnelles sensibles et leurs décisions ont des conséquences importantes pour les personnes concernées. Ces circonstances sont prises en compte dans des cadres juridiques spécifiques auxquels les autorités publiques sont tenues: par exemple, toute action de l'État doit reposer sur une base légale et respecter les droits fondamentaux.

En particulier lorsque les systèmes algorithmiques sont utilisés dans le secteur public pour prendre, recommander ou influencer des décisions concernant des personnes, ces conditions spécifiques doivent être prises en compte. Lorsque des processus administratifs sont automatisés, il faut donc s'assurer que cela génère réellement des avantages et que les dommages sont évités, que l'autonomie des personnes concernées est préservée et que les principes d'équité et de justice sont respectés.

Pour répondre à ces exigences, il convient d'imposer des conditions strictes aux algorithmes et à l’IA dans le secteur public. Ces exigences doivent garantir la traçabilité, la responsabilité et l’obligation de rendre des comptes, et permettre un contrôle individuel et démocratique. À cet effet, l'administration publique devrait être tenue de fixer des conditions dès l'acquisition et le développement des systèmes.

L'un des principaux défis est que les systèmes algorithmiques sont souvent très opaques. Tant qu'aucune mesure n'est prise pour instaurer la transparence, les systèmes resteront des boîtes noires inaccessibles à un examen critique extérieur, tant pour les autorités et leur personnel que pour les personnes concernées et l'ensemble de la société. La transparence est donc une première étape nécessaire pour évaluer l'impact des systèmes algorithmiques, mais elle n'est pas suffisante en soi. La transparence est une condition pour que les personnes concernées puissent se défendre et pour que le public ait la possibilité de débattre de l'utilisation des systèmes algorithmiques sur la base de preuves et de les surveiller publiquement. Les recommandations politiques suivantes décrivent les conditions-cadres nécessaires pour l'utilisation de systèmes de décision algorithmique dans l'administration publique.

Recommandations

Transparence des décisions entièrement ou partiellement automatisés à l'égard des personnes concernées

Au niveau individuel, la personne concernée par une décision prise à l'aide d'un algorithme doit pouvoir comprendre la décision en question. C'est pourquoi les personnes concernées doivent être informées de l'utilisation d'un algorithme pour prendre une décision (totalement ou partiellement automatisé). Elles doivent également avoir le droit de recevoir une explication et d'accéder à toutes les informations nécessaires pour pouvoir introduire un recours. Les décisions prises par les autorités publiques doivent être motivées. L'obligation de motivation fait partie des garanties procédurales constitutionnelles générales et est un aspect de la garantie du droit d'être entendu (art. 29, par. 2, Cst).

La nouvelle loi sur la protection des données (LPD), entrée en vigueur en 2023, prévoit une telle obligation d’information en cas de décisions individuelles automatisées (art. 21 LPD). Ceci est particulièrement important, car les algorithmes et les systèmes d’IA sont de plus en plus utilisés par les entreprises et les autorités suisses pour prendre des décisions concernant les personnes.

Toutefois, cette réglementation présente une lacune importante: elle ne s’applique qu’aux décisions entièrement automatisées. Or, la plupart des systèmes sont aujourd’hui utilisés pour aider à la prise de décision, c’est-à-dire pour fournir des recommandations ou des prévisions qui peuvent ensuite servir de base à la prise de décision par les personnes concernées. Même si ces systèmes ne sont pas entièrement automatisés, mais seulement partiellement automatisés, ils peuvent également avoir un impact sur les droits fondamentaux des personnes. La recherche montre également que les systèmes qui sont censés n’être que des outils d’aide à la prise de décision sont souvent utilisés de facto comme instruments de prise de décision: les utilisateur·rice·s ont tendance à suivre les recommandations (bias d’automatisation). Il est donc important que la réglementation soit complétée de manière à ce qu’une obligation d’information existe également dans le cas de décisions partiellement automatisées.

Registres publics pour les systèmes de prise de décision algorithmique

Sans savoir si et où les systèmes algorithmiques sont utilisés dans l'administration publique, tous les autres efforts visant à rendre leur utilisation conforme aux droits fondamentaux sont voués à l'échec. Aujourd'hui, de nombreux cantons n'ont eux-mêmes pas de vue d'ensemble des systèmes de décision algorithmique qu'ils utilisent. C'est pourquoi nous demandons que des registres publics obligatoires soient établis pour répertorier les systèmes algorithmiques utilisés par l'administration à des fins décisionnelles, au niveau communal, cantonal, national et international. Des analyses juridiques récentes montrent que de telles registres sont pertinents du point de vue juridique, pour garantir la transparence et l'État de droit.

Les autorités responsables doivent être légalement tenues d'inclure dans les registres des informations sur le modèle sous-jacent, les développeur·euse·s et les opérateur·trice·s, l’objectif d’utilisation et les resultats de l'analyse d'impact (voir ci-dessous).

Dans certaines circonstances, il peut être justifié de ne pas accorder un accès public complet à certaines de ces informations, notamment aux résultats de l'analyse d'impact (par exemple pour protéger des données personnelles). Dans ce cas, la transparence doit néanmoins être garantie vis-à-vis de certains organes, par exemple un organe de contrôle. Cela doit être communiqué publiquement dans le registre.

Les informations contenues dans le registre doivent être aisément accessibles et faciles à comprendre. Cela signifie que les données numériques doivent être structurées de manière lisible par machine et selon un protocole normalisé. Il est important que les registres permettent un examen indépendant par des chercheur·e·s externes (scientifiques, représentant·e·s de la société civile, journalistes) en leur donnant accès à toutes les données pertinentes concernant l'utilisation de systèmes algorithmiques dans l'administration publique. Cela contribue au contrôle public et à un débat factuel sur l'automatisation dans le secteur public, et c'est une condition nécessaire pour garantir le contrôle démocratique et l’obligation de rendre des comptes.

Analyses d’impact systématique pour les systèmes algorithmiques dans le secteur public

Les systèmes algorithmiques utilisés pour la prise de décision peuvent avoir un impact considérable sur les individus et la société. Les risques qu'ils comportent ne dépendent toutefois pas uniquement du modèle technique, mais essentiellement du contexte, de l'objectif et de la manière dont ils sont utilisés. Les autorités devraient systématiquement examiner ces risques au cas par cas et rendre les résultats transparents. Par conséquent, les administrations devraient être tenues de réaliser des analyses d’impact lorsqu’un système algorithmique influence les décisions, partiellement ou totalement automatisées à l’égard de personnes. Cette évaluation devrait être menée tout au long du cycle de vie du système, avant et pendant son utilisation.

Pour avoir un impact dans la pratique, les considérations éthiques doivent être traduites en outils opérationnels permettant aux autorités de réaliser de telles analyses. À cette fin, AlgorithmWatch CH a développé un outil d'analyse d'impact pratique, facile d’utilisation et concret, qui permet d'évaluer les systèmes algorithmiques tout au long de leur cycle de vie.

Cette procédure d'analyse d'impact en deux étapes rend transparents les risques liés à l'utilisation de tels systèmes, en se basant sur les principes éthiques décrits ci-dessus. La première étape consiste à évaluer, dans le cadre de ce que l'on appelle le «triage», si un système doit répondre à des exigences de transparence particulières. Les autorités peuvent mettre en œuvre cette étape de manière non bureaucratique. Si des effets potentiellement pertinents du point de vue éthique sont observés, les autorités doivent, dans une deuxième phase, établir un rapport de transparence dans lequel ces risques et les mesures prises pour les atténuer sont communiqués. Plus le nombre de risques identifiés au cours de la première phase est élevé, plus le rapport de transparence de la deuxième phase doit être complet, et plus l'utilisation du système sera exigeante pour l'autorité.

La transparence n’est que le premier pas

En plus des mesures de transparence, il faut des conditions cadres qui garantissent un contrôle individuel et démocratique de l'utilisation des systèmes algorithmiques ainsi qu'une obligation de rendre des comptes vis-à-vis des personnes concernées et du grand public.

Au niveau individuel, cela signifie que l'accès à des recours juridiques doit être garanti formellement et efficacement. Les recours juridiques doivent être accessibles, peu coûteux et efficaces, et les victimes doivent avoir la possibilité de demander une indemnisation. En outre, les victimes doivent pouvoir s'opposer à l'utilisation d'un système de prise de décision automatisée dans certaines circonstances.

Au niveau de la société, il s'agit de permettre une surveillance et un contrôle publics et d'accroître ainsi l’obligation de rendre des comptes des autorités dans l'utilisation de systèmes décisionnels algorithmiques. Outre des analyses d'impact accessibles au public, des centres de compétence indépendants ainsi qu'un accès juridiquement garanti à toutes les données pertinentes à des fins de recherche d’intérêt public y contribueraient.

Enfin, il faut un débat public sur les limites de l'automatisation. Lorsque l'utilisation de systèmes algorithmiques est incompatible avec les droits fondamentaux et les principes démocratiques, elle doit être interdite.

L'objectif final doit être de créer un cadre qui garantisse la transparence et la traçabilité, la surveillance et le contrôle, ainsi que la responsabilité et l'obligation de rendre des comptes lors de l'utilisation de systèmes algorithmiques dans le secteur public. Ce n'est qu'à cette condition qu'il sera possible de garantir que l'utilisation d'algorithmes profite aux individus et à la société au lieu de leur nuire.