Utilisation responsable des algorithmes et de l’IA dans l’administration publique

Les systèmes algorithmiques, souvent appelés «intelligence artificielle» (IA), sont utilisés par les administrations notamment pour établir des prévisions, émettre des recommandations ou prendre des décisions, ou encore pour générer des contenus qui influencent les décisions concernant les personnes. Des exemples d'applications dans l'administration publique sont les algorithmes qui répondent aux demandes de la population (chatbots), traitent automatiquement les déclarations d'impôts ou les demandes d'aide sociale, tentent de détecter les abus en matière de prestations sociales, prédisent les crimes dans le travail de police (Predictive Policing), évaluent le risque de récidive des délinquant·e·s ou prédisent l'intégration des réfugié·e·s ou des personnes au chômage sur le marché du travail.

Quels sont les enjeux?

Les autorités considèrent souvent ces systèmes comme un moyen d'accroître leur efficacité et de faciliter leurs processus. Cependant, leur utilisation comporte des risques. Premièrement, ils peuvent nuire à la participation sociale des individus, porter atteinte aux droits fondamentaux ou entraver l'accès aux biens et services publics. Deuxièmement, l'IA est entre les mains d'une poignée de grandes entreprises qui disposent d'une concentration énorme de pouvoir d'opinion et de marché. La dépendance à l'égard de ces entreprises est en contradiction avec l'orientation vers le bien commun et la capacité d'action de l'administration publique.

A quoi l'administration publique doit-elle prêter attention?

Dans sa décision de principe du 12 février 2025, le Conseil fédéral a reconnu que l'IA devait être réglementée afin de protéger les droits fondamentaux. Il a par conséquent signé la convention du Conseil de l'Europe sur l'IA et prépare jusqu'à fin 2026 les propositions législatives nécessaires à sa ratification, notamment dans les domaines de la transparence, de la protection contre la discrimination et de la surveillance. La convention sur l'IA nécessitera des mesures importantes au niveau national et cantonal qui contribueront à la protection des droits fondamentaux. La Suisse doit toutefois la mettre en œuvre avec détermination et ambition pour protéger de manière fiable les droits fondamentaux.

En outre, dans sa stratégie partielle pour l'utilisation de l'IA, la Confédération explique ses principes pour une utilisation responsable des systèmes, tels que la protection des droits fondamentaux et la durabilité écologique, sociale et économique. La stratégie reste toutefois vague à plusieurs égards et doit être concrétisée dans un plan de mise en œuvre.

Nous résumons ici nos recommandations pour une utilisation responsable au niveau national, cantonal et communal:

1. Transparence et traçabilité comme premier pas
   • Transparence envers les personnes concernées: obligation d'information et de justification
   • Transparence envers la société: registres publics
2. Garantir la protection des droits fondamentaux
   • Réduire les risques: analyses d'impact
   • Protéger contre la discrimination: prévention et application de la loi
   • Impliquer les personnes concernées et renforcer la participation
   • Droits des personnes concernées: possibilités de réclamation, voies de recours et possibilités d'opt-out
   • Mesures de protection lors de l'utilisation dans des domaines sensibles
   • Interdictions en cas d'effets inacceptables
3. Concevoir une administration numérique durable
   • Réduire les dépendances et promouvoir les alternatives
   • Acquisition précautionneuse
   • Organismes de surveillance indépendants et coordonnés
   • Développer les capacités au sein de l'administration
   • Renforcer l'expertise et promouvoir la recherche
   • Évaluer la durabilité tout au long du cycle de vie
4. Garantir l'orientation vers le bien commun
   • Utiliser l'IA pour le bien commun
   • Légitimer démocratiquement les approches réglementaires
   • Une approche holistique de la réglementation de l'IA

1. TRANSPARENCE ET TRAÇABILITÉ COMME PREMIER PAS

La transparence concernant l'utilisation des algorithmes et de l'IA ne devrait pas être considérée comme une menace par les autorités, mais plutôt comme une opportunité de renforcer la confiance de la population. Elle est indispensable pour que les personnes concernées et la société dans son ensemble puissent être informées de l'utilisation de ces systèmes, y réfléchir, en débattre et les contrôler. La convention sur l'IA du Conseil de l'Europe reconnaît également cette nécessité. Mais comme l'ont montré nos recherches, les administrations elles-mêmes ignorent souvent où et à quelles fins les systèmes algorithmiques sont utilisés.

Transparence envers les personnes concernées: obligation d'information et de justification

Les personnes concernées doivent être informées lorsqu'un algorithme a contribué (totalement ou partiellement) à une prise de décision automatisée et doivent pouvoir comprendre les décisions prises.

Les personnes concernées ont le droit d'obtenir une justification et d'accéder à toutes les informations dont elles ont besoin pour exercer un recours. Ces informations doivent être présentées de manière à permettre aux personnes concernées de comprendre comment la décision a été prise et comment le système a été utilisé.

Comment la transparence peut-elle être garantie vis-à-vis des personnes concernées ?

La loi sur la protection des données prévoit une obligation d'information en cas de décisions individuelles automatisées (art. 21 LPD). Celle-ci ne s'applique toutefois qu'aux décisions entièrement automatisées. Aujourd'hui, la plupart des systèmes sont utilisés pour aider à la prise de décision, c'est-à-dire pour formuler des recommandations ou des prévisions qui servent de base à la décision. Or, même ces décisions partiellement automatisées peuvent avoir des répercussions sur les droits fondamentaux des personnes. De plus, elles servent souvent de facto à la prise de décision: les utilisateur·rice·s ont tendance à suivre leurs recommandations (biais d'automatisation). La LPD devrait donc être complétée par une obligation d'information en cas de décisions partiellement automatisées.

Transparence envers la société: registres publics

Pour permettre une surveillance sociale, nous devons savoir où et dans quel but l'État utilise des algorithmes. Des registres publics prescrits par la loi permettent cette transparence.

Dans ces registres, les administrations devraient répertorier les systèmes qu'elles utilisent à des fins décisionnelles, au niveau communal, cantonal et national. D'un point de vue juridique, ces registres sont utiles pour garantir la transparence et l'État de droit. Ils permettent en outre aux scientifiques, aux journalistes et à la société civile d'exercer leur fonction de surveillance et de contrôle social, et ainsi d'alimenter le débat sur l'utilisation des algorithmes et de l'IA avec des données factuelles.

À quoi devrait ressembler un registre public?

Les registres devraient contenir des informations sur le modèle sous-jacent, les développeur·euse·s et les opérateur·trice·s, l’objectif d’utilisation et les résultats de l'analyse d'impact (voir ci-dessous). Dans certaines circonstances, il peut être justifié de ne pas rendre publiques certaines informations (par exemple pour protéger les données personnelles). Dans de tels cas, il convient toutefois de mentionner dans le registre l'organe de contrôle auquel une transparence totale est garantie. Ces registres doivent être réellement utiles: les informations qu'ils contiennent doivent être facilement accessibles et compréhensibles. Les données doivent être lisibles par machine et structurées selon un protocole standardisé.

2. GARANTIR LA PROTECTION DES DROITS FONDAMENTAUX

La protection des droits fondamentaux doit être garantie lors du développement et de l'utilisation de l'IA tout au long de la chaîne de valeur.

Réduire les risques: analyses d'impact

Les risques liés à l'utilisation de systèmes algorithmiques dépendent essentiellement du contexte dans lequel ils sont utilisés, de leur finalité et de la manière dont ils sont utilisés. Les autorités devraient donc être tenues d'examiner systématiquement ces risques au cas par cas à l'aide d'analyses d'impact.

Cette évaluation devrait porter sur l'ensemble du cycle de vie d'un système, c'est-à-dire avant et pendant son utilisation. Les résultats devraient être rendus accessibles dans un registre public.

À quoi pourrait ressembler une telle analyse d'impact?

AlgorithmWatch CH a développé un outil d'analyse d'impact pratique qui permet d'évaluer les systèmes algorithmiques tout au long de leur cycle de vie. Dans un premier temps, un «triage» permet de déterminer si le système présente des risques significatifs. Les autorités peuvent mettre en œuvre cette étape sans formalités bureaucratiques. Si des effets potentiellement pertinents sur le plan éthique apparaissent, les autorités doivent, dans un deuxième temps, établir un rapport de transparence. Celui-ci définit les objectifs et les exigences éthiques, présente les mesures à prendre pour les atteindre, attribue les responsabilités et mesure les résultats. Plus le nombre de risques identifiés lors de la première phase est élevé, plus le rapport de transparence de la deuxième phase doit être complet. Vers l'outil d’analyse d'impact d'AlgorithmWatch CH.

Protéger contre la discrimination: prévention et application de la loi

La protection contre la discrimination doit être renforcée tant au niveau de la prévention qu'au niveau de l'application de la loi.

Les systèmes algorithmiques ne sont ni neutres ni objectifs. Ils reflètent les schémas de discrimination structurelle déjà existants dans la société. Or, le cadre juridique actuel en Suisse n'offre pas une protection suffisante et efficace contre la discrimination qui peut résulter de l'utilisation de systèmes algorithmiques. Dans notre papier de position «Protection contre la discrimination algorithmique», nous montrons comment ce cadre peut être renforcé.

Impliquer les personnes concernées et renforcer la participation

Les personnes concernées par des décisions automatisées doivent être entendues et participer aux discussions lorsque les systèmes sont développés, mis en œuvre et évalués.

Les besoins de la population doivent être au cœur des préoccupations des administrations publiques. Celles-ci devraient s'efforcer d'adopter une approche inclusive et participative en garantissant une participation diversifiée des collaborateur·rice·s et des personnes concernées au processus de conception. Cette implication est non seulement importante pour éviter les injustices, mais elle contribue également à améliorer la qualité et l'acceptation des systèmes.

Droits des personnes concernées: possibilités de réclamation, voies de recours et possibilités d'opt-out

Les personnes concernées doivent avoir la possibilité de demander des enquêtes, de déposer des réclamations et d'obtenir des indemnisations.

Les voies de recours doivent être facilement accessibles, peu coûteuses et efficaces. Étant donné que les systèmes algorithmiques touchent souvent un grand nombre de personnes et que leurs effets discriminatoires sont systématiques, les acteurs collectifs devraient également pouvoir déposer des réclamations, demander des enquêtes et exercer des voies de recours. En outre, les personnes concernées devraient pouvoir, sous certaines conditions, s'opposer à l'utilisation d'un système de prise de décision algorithmique.

Mesures de protection lors de l'utilisation dans des domaines sensibles

Lorsque des décisions basées sur l’IA et les algorithmes sont prises dans des domaines sensibles tels que la sécurité nationale, l'armée et la défense, le travail de la police, l'exécution des peines, la justice, les affaires sociales ou la migration et l'asile, des mesures de protection particulières sont nécessaires.

Dans ces domaines, les personnes concernées se trouvent souvent déjà dans des situations où elles ont particulièrement besoin d'une protection fiable de leurs droits fondamentaux et où elles sont généralement moins à même de se défendre.

Interdictions en cas d'effets inacceptables

En tant que société, nous devons fixer des lignes rouges lorsque les applications de l'IA et des algorithmes ont des effets disproportionnés sur les personnes et leurs droits fondamentaux, qui sont fondamentalement incompatibles avec l'idée d'une société démocratique.

Il s'agit notamment de la reconnaissance biométrique dans les espaces accessibles au public, de certaines autres analyses biométriques telles que le scraping d'images faciales, la reconnaissance des émotions (avec des exceptions étroitement définies) et la catégorisation biométrique sur la base de caractéristiques nécessitant une protection particulière. Certaines formes de police prédictive, lorsqu'elles reposent sur des systèmes algorithmiques complexes, ainsi que le scoring social par des acteurs publics et privés devraient également être interdits. En savoir plus: papier de position sur la surveillance biométrique.

3. CONCEVOIR UNE ADMINISTRATION NUMÉRIQUE DURABLE

Lorsqu'elle utilise l'IA et des systèmes algorithmiques, l'administration publique doit toujours être consciente de la chaîne de valeur de l'IA. Elle doit donc créer les conditions-cadres nécessaires pour promouvoir le contrôle démocratique des infrastructures numériques publiques, garantir la résilience de ces infrastructures et orienter durablement les innovations vers le bien commun.

Réduire les dépendances et promouvoir les alternatives

L'administration publique est tenue d'évaluer et de minimiser les risques liés à la dépendance vis-à-vis des grands fournisseurs.

Il est important de garantir à la fois la protection des droits fondamentaux de la population et la capacité d'action de l'État, c'est-à-dire la «souveraineté numérique». À cet égard, il convient notamment d'examiner systématiquement les alternatives aux produits et services proposés par les très grands groupes technologiques. Il faut en outre soutenir le développement et la maintenance de technologies ouvertes et alternatives par des subventions publiques et les conditions d'achat, et poursuivre stratégiquement le développement de l'infrastructure numérique.

Acquisition précautionneuse

L'administration publique devrait fixer des critères clairement définis et axés sur l'intérêt général en matière de marchés publics.

Ces critères devraient notamment garantir la protection des droits fondamentaux, la durabilité, la responsabilité, l'interopérabilité et la capacité d'action démocratique. Des analyses de risques doivent être effectuées, celles-ci doivent être accessibles à l'administration et des mesures doivent être prises pour éviter les risques individuels et sociaux. La transparence concernant les achats les plus importants dans le domaine technologique devrait être la norme et l'expertise interdisciplinaire ainsi que des perspectives diverses devraient être prises en compte dans la décision.

Organismes de surveillance indépendants et coordonnés

Il convient de créer des organismes de contrôle et de médiation disposant de ressources et de compétences suffisantes et dont l'indépendance est garantie.

Idéalement, ces autorités de surveillance devraient être soutenues par un groupe d'accompagnement doté d'une expertise du monde scientifique et de la société civile («comité consultatif sur l'IA»).

Développer les capacités au sein de l'administration

Le développement des compétences dans l'administration est essentiel pour une utilisation responsable de l'IA, notamment pour les employé·e·s qui utilisent des systèmes de prise de décision automatisés.

Les formations correspondantes devraient couvrir les aspects techniques, éthiques, sociaux et juridiques. Les structures de coordination interdépartementales, telles que prévues dans la stratégie partielle relative à l'utilisation de l'IA et envisagées dans le cadre du CNAI – Réseau de compétences en intelligence artificielle, sont importantes pour garantir l'apprentissage à l'échelle de l'administration. Toutefois, pour remplir leur rôle, elles doivent également disposer des ressources nécessaires.

Renforcer l'expertise et promouvoir la recherche

La recherche interdisciplinaire d'intérêt public, le journalisme et la société civile, qui se consacrent aux effets et à l'utilisation responsable des algorithmes et de l'IA doivent être facilités et renforcés.

Évaluer la durabilité tout au long du cycle de vie

Les impacts environnementaux résultant du développement et de l'utilisation d'un système d'IA doivent être pris en compte et minimisés par des mesures appropriées.

En particulier lorsqu'elle utilise des grands modèles d'IA, l'administration publique doit tenir compte du fait que la chaîne d'approvisionnement de l'IA se caractérise par une consommation énorme de ressources telles que l'énergie et l'eau, ainsi que par des émissions de CO2 considérables. Vers les approches d'AlgorithmWatch pour mesurer l'impact environnemental.

4. GARANTIR L'ORIENTATION VERS LE BIEN COMMUN

L'utilisation de l'IA par les autorités doit être mûrement réfléchie et réglementée de manière démocratique afin de garantir un bénéfice pour toutes et tous.

Utiliser l'IA pour le bien commun

L'utilisation de l'IA ne doit pas seulement viser à accroître l'efficacité, mais aussi à atteindre d'autres objectifs, tels que l'amélioration de la durabilité ou l'égalité des chances.

En outre, il faudrait définir au niveau politique comment répartir les gains d'efficacité éventuels, à qui ils profiteront et où les ressources gagnées seront affectées.

Légitimer démocratiquement les approches réglementaires

Les approches réglementaires devraient être ancrées autant que possible au niveau législatif et ne pas être excessivement externalisées vers des processus de standardisation opaques et dominés par l'industrie.

Dans les processus de standardisation, il convient également de prendre en compte, outre les connaissances techniques, les connaissances juridiques, éthiques et surtout celles relatives aux droits fondamentaux. Afin que différents groupes d'intérêt puissent s'impliquer, des subventions et d'autres mesures doivent être envisagées.

Une approche holistique de la réglementation de l'IA

Ces conditions-cadres pour une utilisation responsable des algorithmes et de l'IA dans l'administration publique ne sont qu'une pièce du puzzle d'une stratégie globale pour la gestion de l'IA.

Dans notre papier de position «Quelle IA voulons-nous?», nous montrons pourquoi une approche globale et visionnaire est nécessaire et nous présentons les conditions-cadres indispensables pour concevoir le développement et l'utilisation d'algorithmes et d'IA de manière à prévenir les dommages et à permettre un bénéfice pour toutes et tous.