Die algorithmische Verwaltung: Automatisierte Entscheidungssysteme im öffentlichen Sektor

In Europa und in der Schweiz werden Algorithmen zum automatisierten Entscheiden (automated decision-making, ADM) in Behörden immer häufiger eingesetzt. Sie sollen Steuererklärungen oder Sozialhilfeanträge automatisch bearbeiten und Betrugsversuche erkennen, Vermittlungsprofile von Arbeitslosen erstellen, die Polizeiarbeit unterstützen oder durch Chatbots Bürgeranfragen beantworten. KI kann hier bestenfalls Behörden entlasten und ihren Service verbessern.

So weit, so gut. In einigen europäischen Ländern sind Digitalisierungsprozesse bereits weiter fortgeschritten als in der Schweiz. Dort zeigen sich deshalb aber auch häufiger die Probleme, die bei so einer Automatisierung auftreten können.

Fehler im System

Soizic Pénicaud arbeitete für das französische Sozialamt und organisierte Schulungen für Personen, die in engem Kontakt mit Leistungsempfänger*innen stehen. So eine Begleiterin erzählte ihr, dass die Menschen oft Probleme hätten, nachdem sie digital Anträge gestellt haben. Sie rate ihnen in solchen Fällen, sich damit abzufinden, weil nichts gegen die Technik zu machen sei. Soizic Pénicaud kennt sich mit digitalen Rechten aus und wusste daher, dass die Menschen nicht resignieren müssen, wenn ein algorithmisches System sie benachteiligt. Und sie wusste sogar, was zu tun ist.

Gemeinsam mit mehreren zivilgesellschaftlichen Organisationen stellte Soizic Pénicaud Anträge auf Informationsfreiheit bei der Sozialbehörde. Im November 2023 erhielt sie schliesslich die Details zum betreffenden Algorithmus. Statistische Analysen ergaben, dass das System fehlerhaft ist. Menschen mit Behinderungen, alleinerziehende Mütter und ärmere Menschen im Allgemeinen galten generell als potenzielles Betrugsrisiko, was in vielen Fällen dazu führte, dass automatisch Leistungen eingestellt wurden. Von dem Algorithmus betroffen waren 13 Millionen Haushalte.

Automatisierte Ungerechtigkeit in Europa

In europäischen Ländern ist es immer wieder vorgekommen, dass Systeme schlecht konzipiert, gegen bestimmte Menschen gerichtet und ungerecht waren.

In Dänemark erhalten Sozialhilfeempfänger*innen nur dann die volle Unterstützung, wenn sie im Vorjahr weniger als 225 Stunden gearbeitet haben. Ein privates Beratungsunternehmen hatte ein Tool entwickelt, mit dem diese Regel automatisch umgesetzt werden sollte. Durch einen Software-Fehler wurde aber dann fälschlicherweise der Leistungsumfang vieler Menschen gekürzt. Deshalb mussten Gemeinden jeden einzelnen Fall per Hand prüfen, was jeweils zwischen 30 Minuten und drei Stunden dauerte.

In Italien sollten Lehrer*innen mit befristeten Verträgen mit einem Algorithmus effektiv an Schulen mit Personalbedarf zugeteilt werden. Code- und Designfehler führten dazu, dass die Leben der Lehrkräfte erheblich beeinträchtigt wurden. Die Lehrer*innen sollten zum Beispiel Hunderte von Kilometer pendeln, obwohl es offene Stellen gab, die längst nicht so weit weg von ihrem Wohnort lagen.

In Österreich hat der Arbeitsmarktservice einen auf ChatGPT basierenden Chatbot im Wert von 300'000 Franken eingeführt, um Arbeitssuchenden bei Fragen zu Jobmöglichkeiten und zur Berufswahl zu helfen. Es stellte sich heraus, dass der Bot eine eher konservative Vorstellung von Geschlechterrollen verbreitet: Er riet Frauen dazu, Gender Studies zu studieren, Männern dagegen, in die IT zu gehen.

In den Niederlanden hat die für die Auszahlung von Arbeitslosengeld verantwortliche Behörde algorithmisch Besucher*innen ihrer Website getrackt. Der Algorithmus sammelte all ihre IP-Adressen und verwendete sie zur Geolokalisierung. Er wurde deswegen als unrechtmässig eingestuft und darf seither nicht mehr eingesetzt werden.

Das niederländische Institut für Menschenrechte hat entschieden, dass die Vrije Universiteit Amsterdam Studierende durch den Einsatz einer Gesichtserkennung-Software gegen Betrugsversuche bei Prüfungen diskriminiert. Das System meldet überproportional häufig Menschen mit einer dunkleren Hautfarbe.

In Deutschland traten einige Fälle auf, in denen Behörden bei neu eingeführten KI-Systemen die Grenzen der Rechtmässigkeit überschritten haben. Im Februar 2023 hatte das deutsche Bundesverfassungsgericht entschieden, dass die in Hessen und Hamburg eingesetzte Palantir-Software nicht hätte verwendet werden dürfen. Im November 2023 wurde aufgedeckt, dass die bayerische Polizei während dieser Testphase die personenbezogenen Daten aus den eigenen Datenbanken automatisch analysiert und verwertet.

Auch in der Schweiz werden algorithmische Systeme, die Entscheidungen über Menschen beeinflussen, in den Verwaltungen eingesetzt – etwa, um die Rückfallswahrscheinlichkeit von Straftäter*innen zu beurteilen. Wo, wie und von wem sie verwendet werden, ist aber oft nicht ersichtlich. In unserem Atlas der Automatisierung verzeichnen wir eine Auswahl von algorithmischen Systemen, die in der Schweiz zum Einsatz kommen, um Entscheidungen vorherzusagen, zu empfehlen oder zu treffen, oder um Inhalte zu generieren, die Auswirkungen auf Menschen haben. Eine unserer Recherchen hat ausserdem gezeigt, dass viele Kantone nicht in der Lage sind, vollständige Informationen über die von ihnen genutzten Systeme zur Verfügung zu stellen.

People on the Move: Wehrlose Versuchsobjekte

Gerade People on the Move – Migrant*innen, Geflüchtete und Reisende – werden immer häufiger Systemen Künstlicher Intelligenz und automatisierter Entscheidungen ausgesetzt, ohne dass diese Systeme ausreichend getestet worden wären oder eine demokratische Diskussion über ihren Einsatz stattgefunden hätte. Gleichzeitig häufen sich die Untersuchungen darüber, wie intransparent diese Systeme sind und wie unzureichend ihr Einsatz legitimiert und kontrolliert wird.

In der Schweiz testet das Staatssekretariat für Migration (SEM) seit 2018 eine datengestützte Methode für die Zuweisung von Asylbewerbern an Kantone im ganzen Land. Ziel ist es, ihre Arbeitsmarktintegration zu verbessern und die Beschäftigungsquote zu erhöhen. Viel ist aber über das System und seine Auswirkungen nicht bekannt.

In Deutschland gibt das Bundesamt für Migration und Flüchtlinge (BAMF) ein prominentes Beispiel dafür ab, wie überstürzt Behörden manchmal problematische Automatisierungssysteme einsetzen. Das BAMF nutzt eine Software, die Dialekte erkennen soll, um damit die Identität und Herkunft von Asylsuchenden zu ermitteln. Diese Methode wird von Wissenschaftler*innen als untauglich eingeschätzt. Trotzdem ist zu befürchten, dass die unwissenschaftlichen Ergebnisse der Software Einfluss darauf haben, wie über die Asylanträge entschieden wird.

In Bereichen wie der Migration – aber auch in anderen Bereichen wie dem Arbeitsplatz – herrscht ein sehr grosses Machtgefälle zwischen denjenigen, die KI einsetzen, und denjenigen, die davon betroffen sind. Das kann das Risiko erhöhen, dass Grundrechte beeinträchtigt werden. Wenn KI zum Beispiel beim Grenzschutz eingesetzt wird, können Diskriminierungsmuster reproduziert werden. Leidtragende sind Menschen, die ohnehin bereits von Diskriminierung betroffen sind. Ihnen fehlen typischerweise die Mittel, um sich dagegen zu wehren. Ausserdem haben sie weitere praktische Hürden zu überwinden. Wenn die Schweiz ihre Werte und Prinzipien in die Praxis umsetzen will, muss sie die Grundrechte aller Menschen schützen – also auch die Rechte der Menschen, die (noch) keine Schweizer Bürger*innen sind.

Risikokontrolle: Wunde Punkte der öffentlichen Verwaltung

Die europäischen Fallbeispiele zeigen, dass das Einführen von voll- und teilautomatisierten Systemen grosse Risiken mit sich bringen kann – wenn sie nicht mit der nötigen Vorsicht eingesetzt werden. Sie können zur Folge haben, dass die Grundrechte von Menschen beschnitten werden oder dass ihnen der Zugang zu öffentlichen Gütern und Dienstleistungen verwehrt wird. Im öffentlichen Sektor sind spezielle Voraussetzungen gegeben: Wir haben keine Wahl zwischen verschiedenen Behörden, sondern sind unausweichlich den Entscheidungen der für uns zuständigen Verwaltung unterworfen. Zudem können Behörden auf sensible personenbezogene Daten zugreifen und ihre Entscheidungen haben für die betroffenen Personen weitreichende Folgen, zum Beispiel wenn das Ausbleiben der finanziellen Grundsicherung Menschen existenziell bedroht.

Wenn Verwaltungsprozesse automatisiert werden, muss sichergestellt werden, dass dies auch für die Bevölkerung tatsächlich einen Nutzen bringt, keine Schäden verursacht und fair ist. Es darf ausserdem nicht die Handlungsfreiheit der Betroffenen einschränken. Deshalb sollten algorithmische Systeme nur dann im öffentlichen Sektor eingesetzt werden, wenn sie strenge Auflagen erfüllen und wirksam kontrolliert werden. Das ist allerdings schwierig, da algorithmische Systeme oft sehr undurchsichtig sind: für die Behörden und deren Personal, für die Betroffenen und die gesamte Gesellschaft. Die mangelnde Nachvollziehbarkeit kann dann auch eine kritische Auseinandersetzung mit den Systemen erschweren. Um den Einfluss von algorithmischen Systemen zu beurteilen, müsste deren Einsatz also zuerst einmal transparent werden – allein schon damit betroffene Personen sich gegen automatisierte Entscheidungen wehren können. Wir wissen nämlich oft gar nicht, wenn Behörden Entscheidungen Algorithmen überlassen.

Was tun gegen automatisierte Verwaltungsirrtümer?

Betroffene müssen Zugang zu allen relevanten Informationen erhalten, wenn sie vom Einsatz eines algorithmischen Systems betroffen waren oder sind, so dass sie unter bestimmten Bedingungen dagegen widersprechen können. Ihnen müssen auch einfach zugängliche, kostengünstige und effektive Rechtsmittel zur Verfügung stehen und sie müssen entschädigt werden, wenn ihre Rechte verletzt wurden.

Die Risiken von automatisierten Entscheidungssystemen hängen nicht nur vom technischen Modell ab, sondern auch davon, in welchem Kontext, wozu und wie sie eingesetzt werden. Deswegen sollten Behörden beim Einsatz von Systemen, bei denen sich gewisse Risikosignale zeigen, deren ethisch relevante Auswirkungen auf die Grundrechte und die Gesellschaft bewerten und diese Bewertungen öffentlich zugänglich machen.

Ein allgemein einsehbares Online-Verzeichnis könnte sich zur Veröffentlichung der Ergebnisse eignen. Unternehmen und Verwaltung würden durch ein solches Verzeichnis einen Überblick über Systeme erhalten, die bereits zum Einsatz kommen, und Menschen könnten automatisierte Entscheidungen, von denen sie betroffen sind, besser nachvollziehen und von Schutzrechten Gebrauch machen. Nicht zuletzt würden auch die Zivilgesellschaft und Wissenschaftler*innen erfahren, welche Automatisierungssysteme verwendet werden. Dieses Wissen könnte als Grundlage für eine Debatte darüber dienen, welche Innovationen und welchen Einsatz der Systeme wir uns als Gesellschaft wünschen. Ausserdem würde ein Transparenzverzeichnis den Verwaltungen helfen, aus den Fehlern und Erfolgen anderer Projekte zu lernen.