Video: Veröffentlichung der Schweizer Länderausgabe des Automating Society Reports 2020

Dieses Video wurde anlässlich des Anlasses zur Veröffentlichung der Schweizer Länderausgabe des Automating Society Reports 2020 am 28. Januar 2021 aufgezeichnet.

Programm

Begrüssung | Anna Mätzener (AlgorithmWatch Schweiz) und Carla Hustedt (Bertelsmann Stiftung) Vortrag: Automatisierte Entscheidungen - Chancen und Risiken in der Schweiz | Nadja Braun Binder (Universität Basel) Podiumsdiskussion | mit Nadja Braun Binder, Peppino Giarritta (Beauftragter Digitale Verwaltung Schweiz), Balthasar Glättli (Präsident GRÜNE Schweiz, Nationalrat ZH), Anna Mätzener. Moderation: Nicolas Zahn Im Folgenden die schriftliche Fassung des Vortrages von Prof. Dr. Nadja Braun Binder:

Automatisierte Entscheidungen – Chancen und Risiken in der Schweiz

Schriftliche Fassung des Vortrags von Prof. Dr. Nadja Braun Binder

Sehr geehrte Damen und Herren, Was erwartet uns in fünf bis zehn Jahren in Sachen Digitalisierung, insbesondere in Sachen Automatisierung? Das ist eine Frage, die Sie sich vielleicht auch des Öfteren stellen. Als Professorin für öffentliches Recht interessiert mich diesbezüglich natürlich vor allen die Frage, wie denn die öffentliche Verwaltung in den nächsten fünf bis zehn Jahren aussieht.  Ich frage mich zum Beispiel, ob wir in zehn Jahren überhaupt noch persönlichen Kontakt mit Verwaltungsmitarbeitenden haben werden, ob wir also immer noch einen Behördengang tätigen. Vielleicht wird das nicht so sein. Vielleicht werden wir unsere Anliegen nur noch bei Robotern deponieren, unsere Fragen an Chatbots richten und von diesen Chatbots dann nicht nur einfach irgendeine allgemeine Standardantwort erhalten, sondern eine individuell auf uns und unsere Situation zugeschnittene konkrete Handlungsanleitung. Oder vielleicht wird es so sein, dass wir gar nicht mehr aktiv werden müssen als Bürgerinnen und Bürger, sondern die Verwaltung von sich aus merkt, wenn sich etwas in unserem Leben ändert: wenn wir zum Beispiel plötzlich Anspruch auf Kinderzulagen haben, dann ist am Ende oder Anfang des Monats das Geld einfach auf unserem Konto. Das wäre dann nicht mehr der Behördengang, sondern quasi der Kundengang: die Behörde kommt auf uns zu. Oder wie sieht es mit der Justiz aus in zehn Jahren? Werden in zehn Jahren noch menschliche Richterinnen und Richter Urteile fällen? Falls ja, werden sie das ganz alleine tun, oder werden sie dabei von Algorithmen unterstützt? Oder werden vielleicht künftig je länger je mehr ADM-Systeme, also Maschinen, Urteile fällen? Diese Entwicklungen und diese Fragen mögen noch etwas utopisch anmuten. Aber dass es sinnvoll und notwendig ist, heute schon darüber zu diskutieren – auch in der Schweiz – das zeigt uns der Bericht Automating Society von AlgorithmWatch. In meinem Kurzvortrag möchte ich drei Punkte ansprechen: Zunächst werde ich Ihnen drei Beispiele von ADM in der Schweiz geben. Danach möchte ich dem Titel des Vortrags entsprechend auf Chancen und Risiken eingehen. Ich beginne mit den Problembereichen, um mit etwas positivem, den Chancen, enden zu können.

Beispiele

Wo finden wir ADM in der Schweiz? Wer mich ein bisschen kennt, wird nicht erstaunt darüber sein, dass mein erstes Beispiel das Steuerverfahren ist. Ich bin überzeugt davon, dass dies ein Anwendungsbereich ist, in welchem immer mehr Verfahren vollautomatisiert ablaufen werden. Dies hat teilweise bereits angefangen. Vollautomatisiert meint dabei: es schaut kein Sachbearbeiter, keine menschliche Sachbearbeiterin mehr auf das Dossier. Wir geben unsere Daten ein, der Algorithmus veranlagt und prüft auf Risiken. Am Ende, wenn wir nicht risikobehaftet sind, erhalten wir einfach automatisiert die Steuerveranlagung. Exemplarisch dafür möchte ich auf ein Projekt des Kantons Obwalden und des Informatikdienstleisters BEDAG verweisen. Hier ist mit Hilfe von Data Analytics geplant, die Zahl der heute schon völlig standardisiert und automatisch bewältigten Veranlagungsverfahren von 5-8% auf künftig 20% zu erhöhen. Das bedeutet also, dass in 20% der Steuerverfahren komplett regelbasiert, ohne menschliches Mitwirken, veranlagt werden soll. Ein zweites Beispiel ist der Chatbot, der in drei Kantonen in Sozialversicherungsanstalten eingesetzt wird: im Kanton St. Gallen, im Kanton Aargau und im Kanton Luzern. Chatbots kennen Sie vermutlich alle in der einen oder anderen Version. Meistens sind dies keine ADM-Systeme, da sie keine Entscheidungen fällen, sondern es sind Frage-Antwort-Tools, mit denen Sie vorgegebene Antworten abrufen können. Es gibt allerdings bereits Sozialversicherungsanstalten, bei welchen weitere Funktionalitäten angeboten werden, beispielsweise im Bereich der Prämienverbilligung. Der Chatbot soll helfen, abzuklären, ob man einen Anspruch auf Prämienverbilligung hat. Falls ja, leistet der Chatbot Unterstützung bei der Anmeldung dieses Anspruchs oder bei der Meldung von Änderungen. Als drittes Beispiel möchte ich Predictive Policing erwähnen. Der Begriff Predictive Policing umfasst verschiedene Verfahren zur Vorhersage von Straftaten auf der Grundlage von Wahrscheinlichkeitsberechnungen. Solche Verfahren basieren meist auf der Annahme, dass Straftaten statistischen Regelmässigkeiten unterliegen, und deshalb auf der Grundlage von Daten der Vergangenheit Aussagen über die künftige Entwicklung gewonnen werden können. Man unterscheidet einerseits zwischen personenbezogenem Predictive Policing, bei welchem es darum geht, zu eruieren, ob eine Person als Gefährder in Erscheinung treten könnte, oder umgekehrt, zu erfahren, ob bestimmte Personen gefährdet sein könnten. Andererseits kennen wir das sogenannte raum- oder zeitbezogene Predictive Policing: hier geht es darum, vorherzusagen, wo bzw. zu welchem Zeitpunkt eine Straftat mit einer gewissen Wahrscheinlichkeit geschehen könnte. Beispiel für ein raumbezogenes Predictive Policing ist Precobs. Dieses wird im Kanton Aargau, im Kanton Basel-Landschaft und in der Stadt Zürich eingesetzt. Bei Precobs geht es darum, Prognosen zur Wahrscheinlichkeit von Wohnungseinbruchdiebstahl-Delikten zu machen, basierend auf dem sogenannten «near repeat»-Ansatz. Dabei werden im Anschluss an ein Einbruchsdelikt Gebiete identifiziert, bei denen man aufgrund der Geschehnisse der Vergangenheit davon ausgeht, dass die Wahrscheinlichkeit für zukünftige Einbruchsdiebstähle erhöht ist.

Problembereiche

Das Bias-Problem: ADM-Systeme sind auf eine Vielzahl von Daten angewiesen, unter anderem auch auf Trainingsdaten, mit denen diese Systeme überhaupt entwickelt werden können. Je nach Art des Entscheidungsproblems können sich aber in den Daten Einseitigkeiten oder Befangenheiten verbergen, die dann das Verhalten des ADM-Systems prägen. Das Problem ist dabei nicht nur, dass die Datenqualität vielleicht nicht stimmt, sondern auch, dass ein Verhalten aus der Vergangenheit, welches durch gewisse Einseitigkeiten geprägt war, die sich in den Daten wiederfinden, durch algorithmische Systeme perpetuiert wird. Das Blackbox-Problem: Wir haben Mühe, bei ADM-Systemen, die zum Beispiel maschinelle Lernverfahren nutzen oder ein neuronales Netz nutzen, überhaupt noch nachzuvollziehen, wie diese Systeme arbeiten. Am Schluss ist selbst den Entwicklerinnen und Entwicklern nicht immer ganz klar, wie der Algorithmus zu einer bestimmten Lösung kommt. Das Fairness-Problem: Hier geht es nicht so sehr um die Daten, sondern um die genutzten Algorithmen. Denn auch diese Algorithmen sind nicht unbedingt unproblematisch. Wer programmiert, muss diesen Algorithmen gewisse Vorgaben machen, das heisst es stehen normative Annahmen hinter diesen Algorithmen. Wichtige Parameter müssen aufgrund von Entscheidungen festgelegt werden und das kann in die eine oder in die andere Richtung gehen. Soll zum Beispiel der Parameter Geschlecht mitberücksichtigt werden? Wollen wir das? Müssen wir das? In der Medizin beispielsweise müssen wir das häufig. Oder soll vielleicht dieser Parameter gerade nicht berücksichtigt werden, weil wir befürchten, dass aufgrund dieses Parameters dann vielleicht wieder eine Diskriminierung stattfinden könnte? Das sind Abwägungsprobleme, die aber wiederum zu Verschiebungen im Resultat der Algorithmen führen können. Das Vertrauens-Problem: Die drei gerade beschriebenen Probleme kommen im Vertrauens-Problem zusammen. Hier geht es darum, dass ADM-Systeme, oder überhaupt algorithmische Systeme, wenn sie von Menschen genutzt werden, auf zwei verschiedene Konstellationen stossen können. Entweder vertrauen wir diesen, vielleicht sogar zu sehr, weil wir sagen, die Maschine ist immer perfekt, sie ist immer objektiv.  Andererseits gibt es in der Empirie auch Evidenz dafür, dass gerade das Umgekehrte passiert, dass Menschen algorithmischen Systemen geradezu permanent misstrauen, und sagen: Nein, ich will, dass immer ein Mensch entscheidet - sogar in bestimmten Problemkomplexen, in welchen die Maschine nachweisbar bessere Resultate erzielt. Auch damit müssen wir uns auseinandersetzen: Wie gehen wir mit ADM-Systemen als Menschen um? Mehr zu den Problembereichen

Chancen

Ich sehe auch positive Effekte: Beginnen lässt sich mit der Feststellung, dass ADM-Systeme aus der Perspektive der Verwaltung immer mit Hoffnungen und Vorteilen verbunden sind, genauso wie auch andere Verwaltungs-IT-Systeme. Man erhofft sich zum Beispiel eine Effizienzsteigerung oder eine Kostensenkung. Ebenfalls ein zentrales Element ist die Bürgerinnen- und Bürgerfreundlichkeit: wenn man rund um die Uhr eine Entscheidung erhalten kann, dann entspricht das unseren gegenwärtigen Lebensrealitäten eher, als wenn man noch an starre Büro- und Schalteröffnungszeiten gebunden ist. Das ist aber nicht sehr spezifisch auf ADM bezogen, sondern das sind einfach Vorteile, die man sich überhaupt von IT in der Verwaltung versprechen darf. Spezifischer mit Blick auf ADM-Systeme gerichtet ist die Hoffnung, dass solche Systeme neutraler oder objektiver entscheiden. Wie wir gehört haben, gibt es beispielsweise bei Gesichtserkennungssoftware das Problem, dass ADM-Systeme diskriminierend entscheiden können. Das stimmt natürlich, aber andererseits lässt sich ein Algorithmus nicht von menschlichen Befindlichkeiten lenken. Denken wir zum Beispiel an das eingangs erwähnte Beispiel der Justiz: Für einen Algorithmus spielt es keine Rolle, ob er vor oder nach dem Mittagessen entscheidet. Für die richterliche Entscheidung kann das unter Umständen einen Unterschied machen, wie Studien belegt haben. Und last but not least: für mich ist in den letzten Tagen, auch gerade im Kontext des Projekts für den Kanton Zürich, erkennbar geworden, dass wir dank ADM-Systemen vertieft über Transparenz der Verwaltungstätigkeit diskutieren. AlgorithmWatch etwa setzt sich für Transparenz ein. Das führt dazu, dass die Verwaltung, bereits wenn sie über ADM-Systeme nachzudenken beginnt, von Anfang an diese Transparenz mitdenkt. Ich glaube, das ist eine grosse Chance und das ist ein grosser Nutzen, der hier indirekt über ADM-Systeme erzeugt werden kann.

Fazit

Lassen Sie mich mit einem Zitat aus dem englisch-sprachigen Automating Society Report schliessen: «In dem Moment, in dem automatisierte Entscheidungsfindungssysteme bei der Verteilung von Rechten und Dienstleistungen in Europa in den Mittelpunkt rücken, erkennen Institutionen in der gesamten Region zunehmend ihre Rolle im öffentlichen Leben, sowohl in Bezug auf Chancen als auch auf Herausforderungen.» Was Kristina Penner und Fabio Chiusi hier mit Blick auf Europa schreiben, gilt nicht minder in der Schweiz. Chancen und Herausforderungen von ADM-Systemen sind nicht einfach Selbstläufer oder gegebene Umstände, mit denen man jetzt leben muss. Es liegt in unseren Händen, die Chancen zu nutzen, die Risiken zu sehen und bei diesen Risiken einzuschreiten; Lösungen aufzuzeigen, wie man mit diesen Risiken umgehen kann.