Automatisierte Entscheidungssysteme im öffentlichen Sektor – Ein Impact-Assessment-Tool für die öffentliche Verwaltung

Wie können wir gewährleisten, dass automatisierte Entscheidungssysteme (automated decision-making systems, ADMS) in der öffentlichen Verwaltung vertrauenswürdig eingesetzt werden? AlgorithmWatch und AlgorithmWatch Schweiz haben ein Instrument zur Folgenabschätzung (Impact Assessment Tool) erarbeitet, das von Behörden verschiedener Verwaltungsebenen für die Analyse spezifischer ADMS verwendet werden kann.

Beim Einsatz automatisierter Entscheidungssysteme (automated decision-making system, ADMS) in der öffentlichen Verwaltung soll das Vertrauen von Bürger·innen und der Gesellschaft in die öffentliche Hand das höchste Ziel sein. Angesichts des speziellen Kontextes, in dem Behörden agieren, muss der Einsatz von ADMS mit Blick auf ethische Fragen systematisch begleitet werden. So werden Transparenz und Rechenschaftspflicht gegenüber den Betroffenen sichergestellt.

Wir skizzieren zunächst die ethischen Grundlagen unseres Ansatzes. Daraus leiten wir dann die spezifischen Fragestellungen für die Analyse von ADM-Systemen ab. Um die ethischen Prinzipien der Schadensvermeidung, der Autonomie, der Gerechtigkeit und Fairness sowie des Gemeinwohls zu wahren, müssen Transparenz, Kontrolle und Rechenschaftspflicht gewährleistet sein. Letztere sind keine Ziele an sich, sondern unumgängliche Mittel, um einen ethischen Einsatz von ADMS im öffentlichen Sektor zu gewährleisten und die Rechenschaftspflicht sicherzustellen. Auf dieser Grundlage führen wir ein zweistufiges Verfahren zur Folgenabschätzung (Impact Assessment) ein. Es ermöglicht eine systematische Analyse von ADMS und zeigt auf, ob ein System zusätzliche Transparenzanforderungen erfüllen muss. Ist dies der Fall, müssen die Behörden einen umfassenden Transparenzbericht vorlegen. Abschliessend veranschaulichen wir die Anwendung des Tools anhand eines fiktiven Beispiels.

Das Impact Assessment Tool ist im Rahmen der Studie «Einsatz Künstlicher Intelligenz in der Verwaltung: rechtliche und ethische Fragen» entstanden, welche im Auftrag des Kanton Zürichs durchgeführt wurde. Dabei handelte es sich um eine Zusammenarbeit von Prof. Dr. Nadja Braun Binder (Universität Basel) und ihrem Team entstanden mit AlgorithmWatch.

Der vollständige Bericht ist auf Englisch verfügbar.

Dr. Michele Loi

Senior Research Advisor

Foto: Julia Bornkessel
Dr. Michele Loi ist Senior Research Advisor bei AlgorithmWatch Schweiz. Er ist Senior Researcher am Institut für Biomedizinische Ethik und Medizingeschichte, sowie Research Fellow bei der Digital Society Initiative an der Universität Zürich. In 2015-2016 hat er als Consultant bei der World Health Organization das Verfassen der Guidance For Managing Ethical Issues In Infectious Disease Outbreaks koordiniert und half beim Entwurf der Guidelines on Ethical Issues in Public Health Surveillance bei der World Health Organization.