Algorithmischer Flickenteppich in Schweizer Verwaltungen

Algorithmische Systeme, oft auch «Künstliche Intelligenz» (KI) genannt, erstellen Prognosen, machen Empfehlungen, fällen Entscheidungen und generieren Inhalte. Auch öffentliche Verwaltungen nutzen diese Systeme, beispielsweise als Chatbots zur Beantwortung von Anfragen, für die automatische Verarbeitung von Steuererklärungen, für die Bewertung des Rückfallrisikos von Straftäter*innen oder für die Prognose der Arbeitsmarktintegration von Geflüchteten oder Arbeitslosen. Beim Einsatz solcher Systeme tragen sie dabei eine besondere Verantwortung den Menschen gegenüber, die von den Entscheidungen betroffen sind. Denn öffentliche Verwaltungen sind die Einzigen, die bestimmte Dienstleistungen anbieten, die Teil der Grundversorgung sind. Zudem haben sie einen besonderen Zugang zu sensiblen Daten. Nicht zuletzt wird ihrem Handlungsspielraum durch Grundrechte klare Schranken gesetzt.

Wo und wozu die Kantone aber algorithmische Systeme einsetzen, die Entscheidungen über Menschen beeinflussen, ist weitgehend unbekannt. Um hier Licht ins Dunkel zu bringen, haben wir uns an die kantonalen Staatskanzleien gewandt.¹

Den Kantonen selbst fehlt der Überblick

Die Antworten der Kantone zeigen, dass der Weg zu vollständiger Transparenz noch lange ist. Nur fünf Kantone (Zürich, Glarus, Basel-Landschaft, Jura und Waadt) konnten uns eine zumindest als vollständig dargestellte Liste der von ihnen verwendeten algorithmischen Systeme übermitteln. Der Kanton Aargau gibt in seiner Antwort zu unsere Anfrage an, dass eine Übersicht über die von der Verwaltung eingesetzten algorithmischen Systeme in den Antworten zu zwei Interpellationen (Anfragen von Parlamentsmitgliedern) vorhanden sei. Sowohl in der Antwort auf die Fragen von Yannick Berner als auch bei der Beantwortung der Anfrage von Lelia Hunziker und Alain Burger weist der Kanton jedoch darauf hin, dass die Liste der Systeme nicht abschliessend sei. Noch auffallender: Fünf Kantone (Bern, Solothurn, Graubünden, Fribourg und Zug) haben angegeben, dass sie selbst keinen Überblick über die verwendeten Systeme haben. Die detaillierten Antworten sind in unserem Atlas der Automatisierung verfügbar.

Darüber hinaus ist die wesentliche Frage zu erwähnen, wie algorithmische Systeme definiert werden. So gibt das Amt für Institutionen und Digitales vom Kanton Genf in seiner Antwort an, dass der Kanton etwa 2'000 Programme nutzt, die beispielsweise Algorithmen zur Entscheidungshilfe beinhalten. In Bezug auf vollautomatisierte Entscheidungsfindungssysteme teilt das Amt jedoch mit, dass es keine Kenntnis davon habe, dass solche Systeme innerhalb der Verwaltung eingesetzt würden. Auch Systeme die «nur» als Entscheidungshilfe benützt werden, können jedoch Auswirkungen auf Grundrechte haben und sollten transparent gemacht werden. Dies gilt zumindest dann, wenn die Systeme gewisse Risikosignale zeigen. Ob das der Fall ist, sollte im Rahmen einer Folgenabschätzung geprüft werden. Die Stellungnahmen der Kantone zeigen, wie viel interne Arbeit die öffentlichen Verwaltungen noch leisten müssen, um algorithmische Entscheidungssysteme transparent und nachvollziehbar zu machen – so, wie es der Gesellschaft zusteht.

Zürich und Waadt, die Kantone mit den meisten angegebenen Systemen

Von den Kantonen, die Angaben zum Einsatz algorithmischer Systeme machen, sind die Kantone Waadt und Zürich diejenigen mit den meisten algorithmischen Systemen. Im Kanton Waadt werden die meisten Systeme für die Automatisierung des Steuerverfahrens verwendet, während im Kanton Zürich die Nutzung stärker auf die verschiedenen Einheiten verteilt ist, etwa für die Personalplanung im Migrationsamt oder fürs Stellen-Matching im Amt für Wirtschaft und Arbeit (siehe Figure III). Für alle Kantone gilt: Algorithmische Systeme werden, gemäss ihren Angaben, vor allem zur Automatisierung des Steuerverfahrens verwendet sowie in Form von Chatbots, die Anfragen an verschiedene Verwaltungseinheiten beantworten. Die Angaben sind jedoch mit Vorsicht zu geniessen. Denn es zeigt sich eine klare Lücke zwischen den uns zugestellten Antworten der Kantone und unseren auf Medienberichten basierenden Recherchen.

Vielschichtige Anwendung: Von der Steuerautomatisierung zur vorausschauenden Polizeiarbeit

Der Kanton Aargau und der Kanton Zürich sind die Einzigen, die offiziell angeben, dass sie algorithmische Systeme für die Polizeiarbeit verwenden. Die Kantonspolizei Aargau benützt Precobs für die sogenannte Vorausschauende Polizeiarbeit («predictive policing») und bei der Kantonspolizei Zürich wird «Künstliche Intelligenz» für die Informationsaufbereitung in der Polizeiarbeit eingesetzt. Gemäss Recherchen von AlgorithmWatch CH sind es jedoch, über 30 algorithmische Systeme, einschliesslich Gesichtserkennungssystemen und Risikoanalysesystemen wie Dyrias, die in verschiedenen Kantonen für die Polizeiarbeit zur Anwendung kommen.

---

Automatisierte Entscheidungssysteme im öffentlichen Sektor – einige Empfehlungen

---

Was wir brauchen: Transparenz und Nachvollziehbarkeit von algorithmischen Entscheidungen

Die Antworten der Kantonskanzleien deuten auf erhebliche Defizite hin – entweder, weil die Anfragen nicht beantwortet wurden oder weil die bereitgestellten Informationen Lücken aufweisen. Diese Defizite betreffen sowohl die Transparenz gegenüber der Öffentlichkeit, als auch innerhalb der Verwaltungen selbst. Diese haben oft selbst keine Übersicht über die verwendeten algorithmischen Systeme. Ob einfachere oder komplexere Systeme, ob sie Entscheidungen unterstützen oder vollautomatisieren: Der Einsatz von Algorithmen kann erhebliche Auswirkungen auf die Grundrechte haben. Deshalb setzen wir uns für Transparenzmechanismen (unter anderem durch öffentliche Verzeichnisse) und eine verpflichtende Folgenabschätzung ein, wenn öffentliche Verwaltungen algorithmische Systeme verwenden, die Einfluss auf Menschen haben können.

Figure III: Liste der von den Kantonen mitgeteilten algorithmischen Systeme

Hinweis: Bei unserer Anfrage sowie mit unserem Atlas der Automatisierung fokussieren wir auf algorithmische Systeme mit gesellschaftlich besonderer Relevanz. Als solche erachten wir Systeme, die Entscheidungen über Menschen empfehlen, voraussagen oder treffen, oder Inhalte generieren, die Entscheidungen über Menschen beeinflussen. In ihren Antworten führen einige Kantone Systeme auf, die nicht in diesen Fokus fallen und wir daher nicht in unserem Atlas indexieren (wie beispielsweise Systeme zur Baumarterkennung).

Kanton	Einsatz	Verantwortliche Einheit
Aargau	Voicebot	Strassenverkehrsamt
Aargau	Predictive policying System	Kantonspolizei
Aargau	Wissensplattform	Gemeindeabteilung des Departements Volkswirtschaft und Inneres & Kantonaler Sozialdienst des Departements Gesundheit und Soziales
Aargau	Detektionsbasierte Pflanzenschutzmittelapplikationen	Landwirtschaftliches Zentrum Liebegg
Aargau	Automatische Baumarterkennung	Abteilung Wald des Departements Bau, Verkehr und Umwelt
Aargau	Fahrspurenkartierung	Abteilung Wald des Departements Bau, Verkehr und Umwelt
Aargau	Anonymisierung von Gerichts- und Verwaltungsentscheiden	Gerichte & Verwaltung
Basel-Landschaft	Chatbot	Motorfahrzeugkontrolle
Basel-Landschaft	Chatbot	Zivilstandsamt
Basel-Landschaft	Chatbot	Handelsregisteramt
Basel-Landschaft	Triage-System	Bau und Umweltschutzdirektion
Glarus	Chatbot	Handelsregisteramt
Jura	Automatisierung des Steuerverfahrens	Steueramt
Waadt	Automatisierung des Steuerverfahrens (insgesamt 10 algorithmische Systeme)	Steueramt
Waadt	Rechnungsstellung	Strassenverkehrsamt
Waadt	Rechnungsstellung	Dienst für zivile und militärische Sicherheit
Waadt	Profilerstellung	Generaldirektion für Personalwesen
Wallis	Automatisierung des Steuerverfahrens	Steueramt
Zürich	Chatbot	Amt für Informatik
Zürich	Stellen-Matching	Amt für Wirtschaft und Arbeit
Zürich	Auszahlungsroboter	Arbeitslosenkasse
Zürich	Monitoring Versiegelung	Baudirektion Amt für Raumentwicklung
Zürich	Dachbegrünung	Baudirektion Amt für Raumentwicklung
Zürich	Erkennung von Informationen	Buchungszentrum der Finanzverwaltung
Zürich	Informationsaufbereitung in der Polizeiarbeit	Kantonspolizei
Zürich	Personalplanung	Migrationsamt
Zürich	Triage-System	Staatskanzlei Statistisches Amt
Zürich	Handschrifterkennung	Staatsarchiv
Zürich	Plausibilisierung von Wahl- und Abstimmungsergebnissen	Statistisches Amt
Zürich	Semantische Suche	Statistisches Amt
Zürich	Imputationen (bei der Datenerhebung)	Statistisches Amt

---

1. Nachfolgend sind die Originalwortlaute unserer Kommunikation mit den Staatskanzleien aufgeführt. ↩︎

Unsere Anfrage an die Staatskanzleien vom 16. Mai 2023

• Automatisierte Entscheidungssysteme werden immer häufiger und in allen Bereichen eingesetzt, um, mithilfe von Algorithmen, Prognosen zu erstellen, Empfehlungen zu machen oder Entscheidungen zu fällen. In der öffentlichen Verwaltung werden diese Systeme in unterschiedlichen Kontexten verwendet, zum Beispiel bei der Beantwortung von Anfragen mit Chatbots, der automatischen Verarbeitung von Steuererklärungen oder Sozialhilfeanträgen, der Erkennung von Sozialleistungsmissbrauch, in der vorhersagenden Polizeiarbeit, zur Bewertung des Rückfallrisikos von Straftäter*innen oder zur Prognose der Arbeitsmarktintegration von Flüchtlingen oder Arbeitslosen.
• Die öffentliche Verwaltung ist die einzige Anbieterin bestimmter Dienstleistungen, die Teil der Grundversorgung sind, und hat einen besonderen Zugang zu sensiblen Daten. Entsprechend unterliegt sie besonderen Verpflichtungen (u.a. zur Achtung, zum Schutz und zur Erfüllung der Grundrechte). Es ist besonders wichtig, dass die betroffenen Personen ihre Entscheidungen nachvollziehen können. Dafür müssen sie aber zuerst wissen, wo und zu welchem Zweck solche automatisierten Systeme eingesetzt werden.
• Als zivilgesellschaftliche Organisation, die sich mit den gesellschaftlichen Auswirkungen solcher Systeme befasst, ist es uns ein Anliegen, hierzu Transparenz zu schaffen. Diese soll dazu führen, dass die Bevölkerung weiss, wo automatisierte Systeme eingesetzt werden, und sich so auch eine evidenzbasierte öffentliche Debatte zu diesem Einsatz entwickeln kann. Im Sinne des Grundsatzes der Transparenz bitten wir Sie daher um eine Auskunft dazu, welche algorithmischen Systeme von Ihrer kantonalen Verwaltung wo, wozu und von wem eingesetzt werden. Diese Angaben würden wir für eine schweizweite und öffentlich zugängliche Übersicht verwenden.

Unsere Präzisierung bei Klärungsbedarf einer Staatskanzlei vom 9. Juni 2023

• In welchen Verwaltungseinheiten und Organen des Kantons XX werden algorithmische Systeme eingesetzt, um Inhalte zu generieren oder um Entscheidungen über Personen zu treffen, vorzuschlagen oder zu beeinflussen, und zwar in einer Weise, die die zu treffende Entscheidung beeinflusst?
• Zu welchen Entscheidungen tragen algorithmische Systeme in der Verwaltung XX bei?