Mis en lumière
Un patchwork algorithmique dans les administrations suisses
Les administrations publiques utilisent des systèmes algorithmiques qui ont une influence sur les décisions concernant les individus. Où et pourquoi sont-ils utilisés ? Nous avons posé cette question aux 26 chancelleries cantonales et analysé leurs réponses. Spoiler : de nombreux cantons ne sont pas en mesure de fournir des informations complètes sur les systèmes qu'ils utilisent.
Les systèmes algorithmiques, souvent aussi appelés « Intelligence artificielle » (IA), font des pronostics ou des recommandations, prennent des décisions ou génèrent des contenus à l'aide d'algorithmes. Les administrations publiques utilisent ces systèmes, par exemple pour répondre aux demandes sous la forme de chatbots, pour le traitement automatique des déclarations d'impôts, pour évaluer le risque de récidive des délinquant·e·s ou pour la prévision de l'intégration des réfugié·e·s ou des personnes au chômage sur le marché du travail. En utilisant de tels systèmes, elles ont une responsabilité particulière vis-à-vis des personnes concernées par les décisions. En effet, les administrations publiques sont les seules à proposer certaines prestations qui font partie du service universel et elles ont un accès particulier aux données sensibles. Par ailleurs, leur marge de manœuvre est clairement limitée par les droits fondamentaux.
Cependant, on ignore en grande partie où et pourquoi les cantons utilisent des systèmes algorithmiques qui influencent les décisions concernant les personnes. Afin de faire la lumière sur ce sujet, nous nous sommes adressés aux chancelleries cantonales.1
Les cantons eux-mêmes n’ont pas de vue d’ensemble
Les réponses des cantons montrent que le chemin vers une transparence effective est encore long. Seuls cinq cantons (Zurich, Glaris, Bâle-Campagne, Jura et Vaud) ont pu nous transmettre une liste présentée comme exhaustive des systèmes algorithmiques qu'ils utilisent. Dans sa réponse à notre demande, le canton d'Argovie indique qu'une vue d'ensemble des systèmes algorithmiques utilisés par l'administration est disponible dans les réponses à deux interpellations (questions de membres du Parlement). Tant dans la réponse aux questions de Yannick Berner que dans la réponse à l'interpellation de Lelia Hunziker et Alain Burger, le canton indique toutefois que la liste des systèmes qui y est fournie n'est pas exhaustive. Plus frappant encore : cinq cantons (Berne, Soleure, Grisons, Fribourg et Zoug) ont indiqué qu'ils n'avaient eux-mêmes pas une vue d'ensemble des systèmes utilisés. Les réponses détaillées sont disponibles dans notre Atlas de l'automatisation.
Par ailleurs, il faut mentionner la question essentielle de la définition des systèmes algorithmiques. Ainsi, le Service des institutions et du numérique du canton de Genève indique dans sa réponse que le canton utilise environ 2'000 programmes qui contiennent par exemple des algorithmes d'aide à la décision. Cependant, en ce qui concerne les systèmes de prise de décision entièrement automatisée, le service indique qu'il n'a pas connaissance de l'utilisation de tels systèmes au sein de l'administration. Même les systèmes utilisés « uniquement » pour aider à la prise de décision peuvent avoir un impact sur les droits fondamentaux et devraient être rendus transparents, au moins lorsque ces systèmes présentent certains signaux de risque. La question de savoir si c'est le cas devrait être examinée dans le cadre d'une analyse d'impact. Les réponses des cantons montrent l'ampleur du travail interne que les administrations publiques doivent encore accomplir pour rendre les systèmes de décision algorithmiques transparents et compréhensibles – comme la société est en droit de l’attendre.
Zurich et Vaud, les cantons avec le plus de systèmes déclarés
Parmi les cantons qui fournissent des informations sur l'utilisation de systèmes algorithmiques, les cantons de Vaud et de Zurich sont ceux avec le plus de systèmes algorithmiques. Dans le canton de Vaud, la plupart des systèmes sont utilisés pour l'automatisation des procédures fiscales, tandis que dans le canton de Zurich, l'utilisation est davantage répartie entre les différentes unités, par exemple pour la planification du personnel à l'Office des migrations ou pour le matching des postes à l'Office de l'économie et du travail (voir Figure III). De manière générale, les systèmes algorithmiques sont surtout utilisés, selon les indications fournies par les cantons, pour l'automatisation des procédures fiscales et sous la forme de chatbots pour répondre aux demandes adressées aux différentes unités administratives. Ces données doivent toutefois être considérées avec prudence. En effet, un écart flagrant apparaît entre les réponses des cantons qui nous ont été transmises et nos recherches basées sur les informations des médias.
Diversité des utilisations : de l’automatisation des impôts à la police prédictive
Les cantons d'Argovie et de Zurich sont les seuls à déclarer officiellement qu'ils utilisent des systèmes algorithmiques pour le travail de la police. La police cantonale d'Argovie utilise Precobs pour ce que l'on appelle le travail de police prédictif (« predictive policing ») et la police cantonale de Zurich utilise l' « Intelligence artificielle » pour le traitement des informations dans le travail de la police. Selon les recherches d'AlgorithmWatch CH, plus de 30 systèmes algorithmiques, y compris des systèmes de reconnaissance faciale et des systèmes d'analyse de risques comme Dyrias, sont utilisés dans différents cantons pour le travail de police.
Ce dont nous avons besoin : transparence et traçabilité des décisions algorithmiques
Les réponses des chancelleries cantonales montrent d'importants déficits, soit parce que les demandes n'ont pas reçu de réponse, soit parce que les informations fournies présentent des lacunes. Ces déficits concernent aussi bien la transparence vis-à-vis du public qu'au sein des administrations elles-mêmes. Celles-ci n'ont souvent elles-mêmes pas de vue d'ensemble des systèmes algorithmiques utilisés. Qu'il s'agisse de systèmes plus simples ou plus complexes, de systèmes d'aide à la décision ou de systèmes entièrement automatisés : l'utilisation d'algorithmes peut avoir un impact considérable sur les droits fondamentaux. C'est pourquoi nous nous engageons en faveur de mécanismes de transparence (notamment par le biais de registres publics) et d'une évaluation d'impact obligatoire lorsque les administrations publiques utilisent des systèmes algorithmiques susceptibles d'avoir une influence sur les personnes.
Figure III Liste des systèmes indiqués par les cantons
Remarque : dans notre demande ainsi que dans notre Atlas de l'automatisation, nous nous focalisons sur les systèmes algorithmiques qui ont une importance particulière pour la société. Sont considérés comme tels les systèmes qui recommandent, prédisent ou prennent des décisions concernant des personnes ou qui génèrent des contenus qui influencent les décisions concernant des personnes. Dans leurs réponses, certains cantons mentionnent des systèmes qui n'entrent pas dans ce cadre et que nous ne répertorions donc pas dans notre atlas (comme par exemple les systèmes de détection des arbres).
Kanton | Einsatz | Verantwortliche Einheit |
---|---|---|
Argovie | Voicebot | Office de la circulation routière |
Argovie | Predictive policying system | Police cantonale |
Argovie | Plateforme de connaissances | Service communal du Département de l'économie et de l'intérieur & Service social cantonal du Département de la santé et des affaires sociales |
Argovie | Applications de phytosanitaires basées sur la détection | Centre agricole de Liebegg |
Argovie | Détection automatisée des arbres | Division Forêts du Département des constructions, des transports et de l'environnement |
Argovie | Cartographie des voies de circulation | Division Forêts du Département des constructions, des transports et de l'environnement |
Argovie | Anonymisation des décisions judiciaires et administratives | Tribunaux & administration |
Bâle-Campagne | Chatbot | Contrôle des véhicules à moteur |
Bâle-Campagne | Chatbot | Office de l'état civil |
Bâle-Campagne | Chatbot | Office du registre du commerce |
Bâle-Campagne | Système de triage | Direction de la construction et de l'environnement |
Glaris | Chatbot | Office du registre du commerce |
Jura | Automatisation des procédures fiscales | Service des contributions |
Vaud | Automatisation des procédures fiscales (au total 10 systèmes algorithmiques) | Direction générale de la fiscalité |
Vaud | Facturation automatisée | Service des automobiles et de la navigation |
Vaud | Facturation automatisée | Service de la sécurité civile et militaire |
Vaud | Profils psychométriques de candidates et candidates | Direction générale des ressources humaines |
Valais | Automatisation des procédures fiscales | Service des contributions |
Zurich | Chatbot | Service informatique |
Zurich | Matching de postes | Office de l'économie et du travail |
Zurich | Robot de paiement | Caisse de chômage |
Zurich | Suivi de l’imperméabilisation du sol | Direction de la construction Office de l'aménagement du territoire |
Zurich | Végétalisation de toitures | Direction de la construction Office de l'aménagement du territoire |
Zurich | Reconnaissance d’informations | Centre comptable de l'administration des finances |
Zurich | Traitement de l'information dans le travail de la police | Police cantonale |
Zurich | Planification du personnel | Office des migrations |
Zurich | Système de triage | Chancelleries & Office des statistiques |
Zurich | Reconnaissance d’écriture manuscrite | Archives cantonales |
Zurich | Plausibilité des résultats des élections et des votes | Office des statistiques |
Zurich | Recherche sémantique | Office des statistiques |
Zurich | Imputations (lors de la collecte des données) | Office des statistiques |
- Ci-dessous les textes originaux de nos communications avec les chancelleries cantonales. ↩︎
Notre demande aux chancelleries du 16 mai 2023
- « Les systèmes de prise de décision automatisée sont de plus en plus utilisés dans tous les secteurs pour, à l’aide d’algorithmes, faire des pronostics ou des recommandations, ou prendre des décisions. Dans l’administration publique, ces systèmes sont utilisés dans des contextes variés, comme par exemple la réponse à des demandes par des chatbots, le traitement automatique des déclarations d'impôts ou des demandes d'aide sociale, la détection des abus en matière de prestations sociales, le travail prédictif de la police pour évaluer le risque de récidive des délinquant·e·s ou encore le pronostic de l'intégration des réfugié·e·s ou des personnes au chômage sur le marché du travail.
- L’administration publique est l'unique prestataire de certains services qui font partie du service universel et a un accès particulier à des données sensibles. C’est pourquoi, elle est soumise à des obligations spécifiques (notamment le respect, la protection et la réalisation des droits fondamentaux). Il est particulièrement important que les personnes concernées puissent comprendre les décisions prises par des systèmes automatisés. Mais pour cela, elles doivent d'abord savoir où et dans quel but de tels systèmes automatisés sont utilisés.
- En tant qu'organisation de la société civile qui s'occupe des conséquences sociales de tels systèmes, il nous importe d'instaurer la transparence à ce sujet. Celle-ci doit permettre à la population de savoir où des systèmes automatisés sont utilisés et de développer ainsi un débat public basé sur des preuves. En vertu du principe de transparence, nous vous prions donc de nous indiquer quels systèmes algorithmiques sont utilisés par votre administration cantonale, où, dans quel but et par qui. Nous utiliserions ces informations pour établir une vue d'ensemble à l'échelle suisse accessible au public. »
Notre précision du 9 juin 2023 suite à la demande de clarification d’une chancellerie cantonale
- « Dans quelles unités administratives et organes du canton de Genève des systèmes algorithmiques sont-ils utilisés pour générer des contenus ou pour prendre, proposer ou influencer des décisions concernant des personnes, et ce d'une manière qui influe sur la décision qui sera prise ?
- À quelles décisions les systèmes algorithmiques contribuent-ils dans l'administration du canton de Genève ? »