Un patchwork algorithmique dans les administrations suisses

Les systèmes algorithmiques, souvent aussi appelés « Intelligence artificielle » (IA), font des pronostics ou des recommandations, prennent des décisions ou génèrent des contenus à l'aide d'algorithmes. Les administrations publiques utilisent ces systèmes, par exemple pour répondre aux demandes sous la forme de chatbots, pour le traitement automatique des déclarations d'impôts, pour évaluer le risque de récidive des délinquant·e·s ou pour la prévision de l'intégration des réfugié·e·s ou des personnes au chômage sur le marché du travail. En utilisant de tels systèmes, elles ont une responsabilité particulière vis-à-vis des personnes concernées par les décisions. En effet, les administrations publiques sont les seules à proposer certaines prestations qui font partie du service universel et elles ont un accès particulier aux données sensibles. Par ailleurs, leur marge de manœuvre est clairement limitée par les droits fondamentaux.

Cependant, on ignore en grande partie où et pourquoi les cantons utilisent des systèmes algorithmiques qui influencent les décisions concernant les personnes. Afin de faire la lumière sur ce sujet, nous nous sommes adressés aux chancelleries cantonales.¹

Les cantons eux-mêmes n’ont pas de vue d’ensemble

Les réponses des cantons montrent que le chemin vers une transparence effective est encore long. Seuls cinq cantons (Zurich, Glaris, Bâle-Campagne, Jura et Vaud) ont pu nous transmettre une liste présentée comme exhaustive des systèmes algorithmiques qu'ils utilisent. Dans sa réponse à notre demande, le canton d'Argovie indique qu'une vue d'ensemble des systèmes algorithmiques utilisés par l'administration est disponible dans les réponses à deux interpellations (questions de membres du Parlement). Tant dans la réponse aux questions de Yannick Berner que dans la réponse à l'interpellation de Lelia Hunziker et Alain Burger, le canton indique toutefois que la liste des systèmes qui y est fournie n'est pas exhaustive. Plus frappant encore : cinq cantons (Berne, Soleure, Grisons, Fribourg et Zoug) ont indiqué qu'ils n'avaient eux-mêmes pas une vue d'ensemble des systèmes utilisés. Les réponses détaillées sont disponibles dans notre Atlas de l'automatisation.

Par ailleurs, il faut mentionner la question essentielle de la définition des systèmes algorithmiques. Ainsi, le Service des institutions et du numérique du canton de Genève indique dans sa réponse que le canton utilise environ 2'000 programmes qui contiennent par exemple des algorithmes d'aide à la décision. Cependant, en ce qui concerne les systèmes de prise de décision entièrement automatisée, le service indique qu'il n'a pas connaissance de l'utilisation de tels systèmes au sein de l'administration. Même les systèmes utilisés « uniquement » pour aider à la prise de décision peuvent avoir un impact sur les droits fondamentaux et devraient être rendus transparents, au moins lorsque ces systèmes présentent certains signaux de risque. La question de savoir si c'est le cas devrait être examinée dans le cadre d'une analyse d'impact. Les réponses des cantons montrent l'ampleur du travail interne que les administrations publiques doivent encore accomplir pour rendre les systèmes de décision algorithmiques transparents et compréhensibles – comme la société est en droit de l’attendre.

Zurich et Vaud, les cantons avec le plus de systèmes déclarés

Parmi les cantons qui fournissent des informations sur l'utilisation de systèmes algorithmiques, les cantons de Vaud et de Zurich sont ceux avec le plus de systèmes algorithmiques. Dans le canton de Vaud, la plupart des systèmes sont utilisés pour l'automatisation des procédures fiscales, tandis que dans le canton de Zurich, l'utilisation est davantage répartie entre les différentes unités, par exemple pour la planification du personnel à l'Office des migrations ou pour le matching des postes à l'Office de l'économie et du travail (voir Figure III). De manière générale, les systèmes algorithmiques sont surtout utilisés, selon les indications fournies par les cantons, pour l'automatisation des procédures fiscales et sous la forme de chatbots pour répondre aux demandes adressées aux différentes unités administratives. Ces données doivent toutefois être considérées avec prudence. En effet, un écart flagrant apparaît entre les réponses des cantons qui nous ont été transmises et nos recherches basées sur les informations des médias.

Diversité des utilisations : de l’automatisation des impôts à la police prédictive

Les cantons d'Argovie et de Zurich sont les seuls à déclarer officiellement qu'ils utilisent des systèmes algorithmiques pour le travail de la police. La police cantonale d'Argovie utilise Precobs pour ce que l'on appelle le travail de police prédictif (« predictive policing ») et la police cantonale de Zurich utilise l' « Intelligence artificielle » pour le traitement des informations dans le travail de la police. Selon les recherches d'AlgorithmWatch CH, plus de 30 systèmes algorithmiques, y compris des systèmes de reconnaissance faciale et des systèmes d'analyse de risques comme Dyrias, sont utilisés dans différents cantons pour le travail de police.

---

Systèmes de prise de décision automatisée dans le secteur public – quelques recommendations

---

Ce dont nous avons besoin : transparence et traçabilité des décisions algorithmiques

Les réponses des chancelleries cantonales montrent d'importants déficits, soit parce que les demandes n'ont pas reçu de réponse, soit parce que les informations fournies présentent des lacunes. Ces déficits concernent aussi bien la transparence vis-à-vis du public qu'au sein des administrations elles-mêmes. Celles-ci n'ont souvent elles-mêmes pas de vue d'ensemble des systèmes algorithmiques utilisés. Qu'il s'agisse de systèmes plus simples ou plus complexes, de systèmes d'aide à la décision ou de systèmes entièrement automatisés : l'utilisation d'algorithmes peut avoir un impact considérable sur les droits fondamentaux. C'est pourquoi nous nous engageons en faveur de mécanismes de transparence (notamment par le biais de registres publics) et d'une évaluation d'impact obligatoire lorsque les administrations publiques utilisent des systèmes algorithmiques susceptibles d'avoir une influence sur les personnes.

Figure III Liste des systèmes indiqués par les cantons

Remarque : dans notre demande ainsi que dans notre Atlas de l'automatisation, nous nous focalisons sur les systèmes algorithmiques qui ont une importance particulière pour la société. Sont considérés comme tels les systèmes qui recommandent, prédisent ou prennent des décisions concernant des personnes ou qui génèrent des contenus qui influencent les décisions concernant des personnes. Dans leurs réponses, certains cantons mentionnent des systèmes qui n'entrent pas dans ce cadre et que nous ne répertorions donc pas dans notre atlas (comme par exemple les systèmes de détection des arbres).

Kanton	Einsatz	Verantwortliche Einheit
Argovie	Voicebot	Office de la circulation routière
Argovie	Predictive policying system	Police cantonale
Argovie	Plateforme de connaissances	Service communal du Département de l'économie et de l'intérieur & Service social cantonal du Département de la santé et des affaires sociales
Argovie	Applications de phytosanitaires basées sur la détection	Centre agricole de Liebegg
Argovie	Détection automatisée des arbres	Division Forêts du Département des constructions, des transports et de l'environnement
Argovie	Cartographie des voies de circulation	Division Forêts du Département des constructions, des transports et de l'environnement
Argovie	Anonymisation des décisions judiciaires et administratives	Tribunaux & administration
Bâle-Campagne	Chatbot	Contrôle des véhicules à moteur
Bâle-Campagne	Chatbot	Office de l'état civil
Bâle-Campagne	Chatbot	Office du registre du commerce
Bâle-Campagne	Système de triage	Direction de la construction et de l'environnement
Glaris	Chatbot	Office du registre du commerce
Jura	Automatisation des procédures fiscales	Service des contributions
Vaud	Automatisation des procédures fiscales (au total 10 systèmes algorithmiques)	Direction générale de la fiscalité
Vaud	Facturation automatisée	Service des automobiles et de la navigation
Vaud	Facturation automatisée	Service de la sécurité civile et militaire
Vaud	Profils psychométriques de candidates et candidates	Direction générale des ressources humaines
Valais	Automatisation des procédures fiscales	Service des contributions
Zurich	Chatbot	Service informatique
Zurich	Matching de postes	Office de l'économie et du travail
Zurich	Robot de paiement	Caisse de chômage
Zurich	Suivi de l’imperméabilisation du sol	Direction de la construction Office de l'aménagement du territoire
Zurich	Végétalisation de toitures	Direction de la construction Office de l'aménagement du territoire
Zurich	Reconnaissance d’informations	Centre comptable de l'administration des finances
Zurich	Traitement de l'information dans le travail de la police	Police cantonale
Zurich	Planification du personnel	Office des migrations
Zurich	Système de triage	Chancelleries & Office des statistiques
Zurich	Reconnaissance d’écriture manuscrite	Archives cantonales
Zurich	Plausibilité des résultats des élections et des votes	Office des statistiques
Zurich	Recherche sémantique	Office des statistiques
Zurich	Imputations (lors de la collecte des données)	Office des statistiques

---

1. Ci-dessous les textes originaux de nos communications avec les chancelleries cantonales. ↩︎

Notre demande aux chancelleries du 16 mai 2023

• « Les systèmes de prise de décision automatisée sont de plus en plus utilisés dans tous les secteurs pour, à l’aide d’algorithmes, faire des pronostics ou des recommandations, ou prendre des décisions. Dans l’administration publique, ces systèmes sont utilisés dans des contextes variés, comme par exemple la réponse à des demandes par des chatbots, le traitement automatique des déclarations d'impôts ou des demandes d'aide sociale, la détection des abus en matière de prestations sociales, le travail prédictif de la police pour évaluer le risque de récidive des délinquant·e·s ou encore le pronostic de l'intégration des réfugié·e·s ou des personnes au chômage sur le marché du travail.

• L’administration publique est l'unique prestataire de certains services qui font partie du service universel et a un accès particulier à des données sensibles. C’est pourquoi, elle est soumise à des obligations spécifiques (notamment le respect, la protection et la réalisation des droits fondamentaux). Il est particulièrement important que les personnes concernées puissent comprendre les décisions prises par des systèmes automatisés. Mais pour cela, elles doivent d'abord savoir où et dans quel but de tels systèmes automatisés sont utilisés.

• En tant qu'organisation de la société civile qui s'occupe des conséquences sociales de tels systèmes, il nous importe d'instaurer la transparence à ce sujet. Celle-ci doit permettre à la population de savoir où des systèmes automatisés sont utilisés et de développer ainsi un débat public basé sur des preuves. En vertu du principe de transparence, nous vous prions donc de nous indiquer quels systèmes algorithmiques sont utilisés par votre administration cantonale, où, dans quel but et par qui. Nous utiliserions ces informations pour établir une vue d'ensemble à l'échelle suisse accessible au public. »

Notre précision du 9 juin 2023 suite à la demande de clarification d’une chancellerie cantonale

• « Dans quelles unités administratives et organes du canton de Genève des systèmes algorithmiques sont-ils utilisés pour générer des contenus ou pour prendre, proposer ou influencer des décisions concernant des personnes, et ce d'une manière qui influe sur la décision qui sera prise ?

• À quelles décisions les systèmes algorithmiques contribuent-ils dans l'administration du canton de Genève ? »