Automatisierte Entscheidungssysteme im öffentlichen Sektor – einige Empfehlungen
Beim Einsatz von automatisierten Entscheidungssystemen im öffentlichen Sektor tragen Behörden eine besondere Verantwortung den Menschen gegenüber, die von diesen Entscheidungen betroffen sind. Deshalb sollte ihre Verwendung strikten Transparenzpflichten unterworfen sein, etwa durch öffentliche Verzeichnisse und eine verpflichtende Folgenabschätzung.
Die Automatisierung von Entscheidungsverfahren und von Dienstleistungen in der öffentlichen Verwaltung gewinnt zunehmend an Bedeutung. Behörden sehen darin ein Mittel, um ihre Effizienz zu steigern, Prozesse zu erleichtern sowie um massenhaft anfallende oder routiniert durchzuführende Leistungen auszuführen. Algorithmische Systeme, oft auch benannt als «Künstliche Intelligenz» (KI), werden von Verwaltungen unter anderem eingesetzt, um Prognosen zu treffen, Empfehlungen zu geben, oder Entscheidungen zu fällen – oder um Inhalte zu generieren, die Entscheidungen über Menschen beeinflussen. Beispiele für Anwendungen in der öffentlichen Verwaltung sind Algorithmen, die Anfragen aus der Bevölkerung beantworten (Chatbots), Steuererklärungen oder Sozialhilfeanträge automatisiert verarbeiten, Sozialleistungsmissbrauch zu erkennen versuchen, in der Polizeiarbeit Verbrechen vorhersagen (Predictive Policing), das Rückfallrisiko von Straftäter*innen bewerten oder die Arbeitsmarktintegration von Geflüchteten oder Arbeitslosen prognostizieren.
De Einsatz von automatisierten Entscheidungssystemen («automated decision-making systems», ADM-Systeme) in der öffentlichen Verwaltung viele Vorteile. Allerdings bringen diese Systeme gleichzeitig erhebliche Risiken mit sich – vor allem, wenn sie nicht mit der gebührenden Vorsicht eingesetzt werden. Sie können zur Folge haben, dass Menschen in ihrer gesellschaftlichen Teilhabe beeinträchtigt werden, dass ihre Grundrechte beschnitten werden oder dass ihnen der Zugang zu öffentlichen Gütern und Dienstleistungen verwehrt wird.
Solche Risiken sind nicht auf den öffentlichen Sektor beschränkt, sondern spiegeln häufig ähnliche Risiken wider, die im privaten Sektor anzutreffen sind. Gleichzeitig sind im öffentlichen Sektor andere Voraussetzungen gegeben: Wir haben keine Wahl zwischen verschiedenen Anbieter*innen, sondern sind unausweichlich der für uns zuständigen Verwaltung unterworfen. Zudem können Behörden auf sensible personenbezogene Daten zugreifen und ihre Entscheidungen haben für die betroffenen Personen weitreichende Folgen. Diese Umstände werden in spezifischen rechtlichen Rahmenbedingungen berücksichtigt, an die öffentliche Behörden gebunden sind: zum Beispiel, dass jegliches staatliches Handeln auf einer gesetzlichen Grundlage beruhen muss und an Grundrechte gebunden ist.
Insbesondere dann, wenn algorithmische Systeme im öffentlichen Sektor eingesetzt werden, um Entscheidungen über Personen zu treffen, zu empfehlen oder zu beeinflussen, müssen diese besonderen Voraussetzungen berücksichtigt werden. Wenn Verwaltungsprozesse automatisiert werden, muss daher sichergestellt werden, dass dies tatsächlich einen Nutzen generieren und Schaden vermieden wird, dass die Autonomie der Betroffenen gewahrt bleibt, und dass Grundsätze der Fairness und Gerechtigkeit eingehalten werden.
Um diesen Ansprüchen gerecht zu werden, sollten strenge Anforderungen an algorithmische Systeme im öffentlichen Sektor gestellt werden. Diese Anforderungen müssen Nachvollziehbarkeit und Verantwortlichkeit sicherstellen und individuelle sowie demokratische Kontrolle ermöglichen.
Eine zentrale Herausforderung ist, dass algorithmische Systeme oft sehr undurchsichtig sind. Solange keine Massnahmen ergriffen werden, um Transparenz herzustellen, bleiben die Systeme sowohl für die Behörden und deren Personal, als auch für die Betroffenen und die gesamte Gesellschaft Black Boxes, die für eine kritische Auseinandersetzung von aussen nicht zugänglich sind. Transparenz ist deshalb ein notwendiger erster Schritt, um den Einfluss von algorithmische Systeme zu beurteilen – aber sie alleine reicht nicht aus. Transparenz ist eine Bedingung dafür, dass betroffene Personen sich wehren können und dass für die Öffentlichkeit die Möglichkeit besteht, den Einsatz von algorithmische Systemen evidenzbasiert zu debattieren und öffentlich zu überwachen. Die folgenden politischen Handlungsempfehlungen beschreiben die notwendigen Rahmenbedingungen für den Einsatz von algorithmischen Entscheidungssystemen in den öffentlichen Verwaltung.
Handlungsempfehlungen
1. Öffentliche Verzeichnisse für algorithmische Entscheidungssysteme
Ohne Kenntnis darüber, ob und wo algorithmische Systeme in der öffentlichen Verwaltung eingesetzt werden, sind alle anderen Bemühungen, ihren Einsatz im Einklang mit den Grundrechten zu gestalten, zum Scheitern verurteilt. Heute haben viele Kantone selbst keinen Überblick über die algorithmischen Entscheidungssysteme, die sie einsetzen. Wir fordern deshalb gesetzlich vorgeschriebene öffentliche Verzeichnisse, in denen algorithmische Systeme, die von der Verwaltung zu Entscheidungszwecken eingesetzt werden, erfasst sind – auf kommunaler, kantonaler, nationaler und internationaler Ebene.
Die für den Einsatz dieser Systeme Verantwortlichen müssen gesetzlich dazu verpflichtet werden, in den Verzeichnissen Informationen zum zugrundeliegenden Modell, zu den Entwickler*innen und Betreiber*innen, zum Verwendungszweck und zur Folgenabschätzung (und ggf. Transparenzbericht, mehr dazu weiter unten).
Unter bestimmten Umständen kann ein berechtigtes Interesse bestehen, keinen vollständigen öffentlichen Zugang zu Transparenzberichten zu gewähren (zum Beispiel zum Schutz von persönlichen Daten). In solchen Fällen muss dennoch bestimmten Gremien gegenüber Transparenz gewährleistet sein, zum Beispiel einer Kontrolleinrichtung. Dies wiederum muss im Verzeichnis öffentlich kommuniziert werden.
Die im Verzeichnis enthaltenen Informationen müssen leicht zugänglich und einfach verständlich sein. Dies bedeutet, dass die digitalen Daten nach Vorgabe eines standardisierten Protokolls strukturiert sein müssen. Wichtig ist, dass die Verzeichnisse eine unabhängige Prüfung durch externe Forscher*innen (Wissenschafter*innen, Vertreter*innen der Zivilgesellschaft, Journalist*innen) ermöglichen, indem diese Zugang zu allen relevanten Daten über den Einsatz von algorithmischen Systemen in der öffentlichen Verwaltung erhalten. Dies trägt zur öffentlichen Kontrolle und zu einer faktengestützten Debatte zu Automatisierung im öffentlichen Sektor bei – und ist eine notwendige Voraussetzung, um demokratische Kontrolle und Rechenschaftspflicht zu gewährleisten.
2. Systematische Folgenabschätzung von algorithmischen Systeme im öffentlichen Sektor
Algorithmische Systeme, die für die Entscheidungsfindung eingesetzt werden, können einen weitreichenden Einfluss auf einzelne Menschen und die Gesellschaft haben. Die Risiken, die sie mit sich bringen, hängen jedoch nicht nur vom technischen Modell ab, sondern wesentlich davon, in welchem Kontext, wozu und wie sie eingesetzt werden. Behörden sollten diese Risiken im Einzelfall systematisch untersuchen und die Ergebnisse transparent machen. Folglich sollte es für die Verwaltung verpflichtend sein, vor und während des Einsatzes von algorithmischen Systemen eine Folgenabschätzung durchzuführen.
Um in der Praxis etwas bewirken zu können, müssen ethische Überlegungen in einsatzfähige Instrumente übersetzt werden, mit denen Behörden solche Analysen durchführen können. Zu diesem Zweck hat AlgorithmWatch CH ein praktisches, anwendungsfreundliches und konkretes Instrument zur Folgenabschätzung entwickelt, mit dem algorithmische Systeme über ihren gesamten Lebenszyklus hinweg evaluiert werden können.
Dieses zweistufige Verfahren zur Folgenabschätzung macht – basierend auf den oben skizzierten ethischen Prinzipien – potenzielle Risiken, die mit dem Einsatz solcher Systeme einhergehen, transparent. In der ersten Phase wird im Rahmen einer sogenannten «Triage» bewertet, ob ein System besondere Transparenzanforderungen erfüllen muss. Behörden können diesen Schritt unbürokratisch umsetzen. Falls Risikosignale deutlich werden, müssen die Behörden in einer zweiten Phase einen Transparenzbericht erstellen, in dem diese Risiken und die zu ihrer Eindämmung ergriffenen Massnahmen offengelegt werden. Je mehr Risiken in der ersten Phase ausfindig gemacht werden, desto umfassender muss der Transparenzbericht in der zweiten Phase ausfallen – und umso anspruchsvoller wird für die Behörde der Einsatz des Systems.
3. Transparenz ist nur der erste Schritt
Zusätzlich zu Transparenzmassnahmen, braucht es Rahmenbedingungen, die individuelle und demokratische Kontrolle bei der Nutzung von algorithmische Systemen sowie Rechenschaftspflichten gegenüber Betroffenen und der breiten Öffentlichkeit gewährleisten.
Auf der individuellen Ebene beinhaltet dies unter anderem, dass Betroffene Zugang zu allen relevanten Informationen erhalten, wenn sie vom Einsatz eines algorithmischen Systems betroffen waren oder sind; dass ihnen einfach zugängliche, kostengünstige und effektive Rechtsmittel sowie Entschädigungsmöglichkeiten zur Verfügung stehen; und dass sie unter bestimmten Voraussetzungen der Nutzung eines algorithmischen Entscheidungssystems widersprechen können.
Auf der gesellschaftlichen Ebene geht es darum, öffentliche Aufsicht und Kontrolle zu ermöglichen und damit die Rechenschaftspflicht von Behörden beim Einsatz von algorithmischen Entscheidungssystemen zu erhöhen. Dazu beitragen würden nebst öffentlich zugänglichen Folgenabschätzungen auch unabhängige Kompetenzzentren sowie ein rechtlich abgesicherter Zugang zu allen relevanten Daten zum Zwecke der Forschung im öffentlichen Interesse.
Schliesslich braucht es eine öffentliche Debatte darüber, wo die Grenzen der Automatisierung liegen. Wenn der Einsatz von algorithmischen Systemen mit Grundrechten und demokratischen Prinzipien unvereinbar ist, muss er untersagt werden.
Letztlich muss das Ziel sein, Rahmenbedingungen zu schaffen, die beim Einsatz von algorithmischen Systemen im öffentlichen Sektor Transparenz und Nachvollziehbarkeit, Aufsicht und Kontrolle sowie Verantwortlichkeit und Rechenschaft gewährleisten. Nur dann kann der Einsatz von Algorithmen Mensch und Gesellschaft nützen, statt ihnen zu schaden.