Systèmes de prise de décision automatisée dans le secteur public – quelques recommendations

L'automatisation des processus décisionnels et des services dans l'administration publique prend de plus en plus d'importance. Les autorités y voient un moyen d'augmenter leur efficacité, de faciliter les processus et d'exécuter des prestations de masse ou routinières. Les systèmes algorithmiques, souvent aussi appelés « Intelligence artificielle » (IA), sont notamment utilisés par les administrations pour faire des prévisions, donner des recommandations, prendre des décisions ou générer des contenus qui influencent des décisions sur des personnes. Des exemples d'applications dans l'administration publique sont les algorithmes qui répondent aux demandes de la population (chatbots), traitent automatiquement les déclarations d'impôts ou les demandes d'aide sociale, tentent de détecter les abus en matière de prestations sociales, prédisent les crimes dans le travail de la police (Predictive Policing), évaluent le risque de récidive des délinquant·e·s ou prédisent l'intégration des réfugié·e·s ou des personnes au chômage sur le marché du travail.

L'utilisation de systèmes de prise de décision automatisée (« automated decision-making systems », systèmes ADM) dans l'administration publique promet de nombreux avantages. Cependant, ces systèmes comportent également des risques importants, en particulier s'ils ne sont pas utilisés avec la prudence nécessaire. Ils peuvent avoir pour conséquence d'entraver la participation des personnes à la société, de restreindre leurs droits fondamentaux ou de les priver de l'accès aux biens et services publics.

Ces risques ne sont pas limités au secteur public, mais reflètent souvent des risques similaires à ceux rencontrés dans le secteur privé. Toutefois, les conditions sont différentes dans le secteur public : nous n'avons pas le choix entre différents fournisseurs. Nous sommes inévitablement soumis à l'administration qui est compétente pour nous. De plus, les autorités peuvent avoir accès à des données personnelles sensibles et leurs décisions ont des conséquences importantes pour les personnes concernées. Ces circonstances sont prises en compte dans des cadres juridiques spécifiques auxquels les autorités publiques sont tenues : par exemple, toute action de l'État doit reposer sur une base légale et respecter les droits fondamentaux.

En particulier lorsque les systèmes algorithmiques sont utilisés dans le secteur public pour prendre, recommander ou influencer des décisions concernant des personnes, ces conditions spécifiques doivent être prises en compte. Lorsque des processus administratifs sont automatisés, il faut donc s'assurer que cela génère réellement des avantages sans générer de dommages, que l'autonomie des personnes concernées est préservée et que les principes d'équité et de justice sont respectés.

Pour répondre à ces exigences, il convient d'imposer des conditions strictes aux systèmes algorithmiques dans le secteur public. Ces exigences doivent garantir la traçabilité et la responsabilité et permettre un contrôle individuel et démocratique.

L'un des principaux défis est que les systèmes algorithmiques sont souvent très opaques. Tant qu'aucune mesure n'est prise pour instaurer la transparence, les systèmes resteront des boîtes noires inaccessibles à un examen critique extérieur, tant pour les autorités et leur personnel que pour les personnes concernées et l'ensemble de la société. La transparence est donc une première étape nécessaire pour évaluer l'impact des systèmes algorithmiques – mais elle n'est pas suffisante en soi. La transparence est une condition pour que les personnes concernées puissent se défendre et pour que le public ait la possibilité de débattre de l'utilisation des systèmes algorithmiques sur la base de preuves et de les surveiller publiquement. Les recommandations politiques suivantes décrivent les conditions cadres nécessaires à l'utilisation de systèmes de prise décision algorithmique dans l'administration publique.

Recommandations

1. Registres publics pour les systèmes de prise de décision algorithmique

Sans savoir si et où les systèmes algorithmiques sont utilisés dans l'administration publique, tous les autres efforts visant à rendre leur utilisation conforme aux droits fondamentaux sont voués à l'échec. Aujourd'hui, de nombreux cantons n'ont eux-mêmes pas de vue d'ensemble des systèmes de décision algorithmique qu'ils utilisent. C'est pourquoi nous demandons que des registres publics obligatoires soient établis pour répertorier les systèmes algorithmiques utilisés par l'administration à des fins décisionnelles – au niveau communal, cantonal, national et international.

Les responsables de l'utilisation de ces systèmes doivent être légalement tenus d'inclure dans les registres des informations sur le modèle sous-jacent, les développeur·euse·s et les opérateur·trice·s, l’objectif d’utilisation et l'analyse d'impact (et, le cas échéant, un rapport de transparence, plus de détails ci-dessous).

Dans certaines circonstances, il peut y avoir un intérêt légitime à ne pas donner un accès public complet aux rapports de transparence (par exemple pour protéger des données personnelles). Dans ce cas, la transparence doit néanmoins être garantie vis-à-vis de certains organes, par exemple un organe de contrôle. Cela doit être communiqué publiquement dans le registre.

Les informations contenues dans le registre doivent être aisément accessibles et faciles à comprendre. Cela signifie que les données numériques doivent être structurées selon un protocole standardisé. Il est important que les registres permettent un examen indépendant par des chercheur·e·s externes (scientifiques, représentant·e·s de la société civile, journalistes) en leur donnant accès à toutes les données pertinentes concernant l'utilisation de systèmes algorithmiques dans l'administration publique. Cela contribue au contrôle public et à un débat factuel sur l'automatisation dans le secteur public, et c'est une condition nécessaire pour garantir le contrôle démocratique et l’obligation de rendre des comptes.

2. Analyses d’impact systématique pour les systèmes algorithmiques dans le secteur public

Les systèmes algorithmiques utilisés pour la prise de décision peuvent avoir un impact considérable sur les individus et la société. Les risques qu'ils comportent ne dépendent toutefois pas uniquement du modèle technique, mais essentiellement du contexte, de l'objectif et de la manière dont ils sont utilisés. Les autorités devraient systématiquement examiner ces risques au cas par cas et rendre les résultats transparents. Par conséquent, il devrait être obligatoire pour l'administration de procéder à une analyse d'impact avant et pendant l'utilisation de systèmes algorithmiques.

Pour avoir un impact dans la pratique, les considérations éthiques doivent être traduites en outils opérationnels permettant aux autorités de réaliser de telles analyses. À cette fin, AlgorithmWatch CH a développé un outil d'analyse d'impact pratique, facile d’utilisation et concret, qui permet d'évaluer les systèmes algorithmiques tout au long de leur cycle de vie.

Cette procédure d'analyse d'impact en deux étapes rend transparents les risques liés à l'utilisation de tels systèmes, en se basant sur les principes éthiques décrits ci-dessus. La première étape consiste à évaluer, dans le cadre de ce que l'on appelle le « triage », si un système doit répondre à des exigences de transparence particulières. Les autorités peuvent mettre en œuvre cette étape de manière non bureaucratique. Si des signaux de risque apparaissent, les autorités doivent, dans une deuxième phase, établir un rapport de transparence dans lequel ces risques et les mesures prises pour les atténuer sont communiqués. Plus le nombre de risques identifiés au cours de la première phase est élevé, plus le rapport de transparence de la deuxième phase doit être complet – et plus l'utilisation du système sera exigeante pour l'autorité.

3. La transparence n’est que le premier pas

En plus des mesures de transparence, il faut des conditions cadres qui garantissent un contrôle individuel et démocratique de l'utilisation des systèmes algorithmiques ainsi qu'une obligation de rendre des comptes vis-à-vis des personnes concernées et du grand public.

Au niveau individuel, cela implique notamment que les personnes concernées aient accès à toutes les informations pertinentes lorsqu'elles ont été ou sont affectées par l'utilisation d'un système algorithmique ; qu'elles disposent de voies de recours et d'indemnisation facilement accessibles, peu coûteuses et efficaces ; et qu'elles puissent s'opposer à l'utilisation d'un système décisionnel algorithmique dans certaines conditions.

Au niveau de la société, il s'agit de permettre une surveillance et un contrôle publics et d'accroître ainsi l’obligation de rendre des comptes des autorités dans l'utilisation de systèmes décisionnels algorithmiques. Outre des analyses d'impact accessibles au public, des centres de compétence indépendants ainsi qu'un accès juridiquement garanti à toutes les données pertinentes à des fins de recherche d’intérêt public y contribueraient.

Enfin, il faut un débat public sur les limites de l'automatisation. Lorsque l'utilisation de systèmes algorithmiques est incompatible avec les droits fondamentaux et les principes démocratiques, elle doit être interdite.

L'objectif final doit être de créer un cadre qui garantisse la transparence et la traçabilité, la surveillance et le contrôle, ainsi que la responsabilité et l'obligation de rendre des comptes lors de l'utilisation de systèmes algorithmiques dans le secteur public. Ce n'est qu'à cette condition que l'utilisation d'algorithmes pourra profiter aux individus et à la société au lieu de leur nuire.