Milestone: Der Kanton Zürich plant ein Register für automatisierte Entscheidungssysteme
Wenn die öffentliche Verwaltung algorithmische Systeme einsetzt, muss sie ihrer besonderen Verantwortung gerecht werden. Dies tut sie unter anderem, indem sie transparent macht, welche Systeme sie nutzt. AlgorithmWatch setzt sich seit Langem dafür ein, dass Verwaltungen dies im Rahmen eines öffentlichen Registers tun. Auch im Kanton Zürich haben wir uns dafür stark gemacht – und das hat sich gelohnt: Der Kanton plant die Einführung eines solchen Registers.
Wenn Sie mehr über unsere Policy- und Advocacy-Arbeit im öffentlichen Sektor erfahren möchten, wenden Sie sich bitte an:
Im Rahmen der Revision des Informations- und Datenschutzgesetzes schlägt der Regierungsrat vor, ein Verzeichnis für automatisierte Entscheidsysteme (ADM-Systeme) einzurichten und damit den Vorstoss von Kantonsrätin Nicola Yuste – die von fünf Parteien von links bis rechts unterstützt wurde – umzusetzen. AlgorithmWatch Schweiz hat diesen Prozess aktiv unterstützt und begrüsst diesen Meilenstein sehr. Ein solches Verzeichnis wird wesentlich dazu beitragen, Transparenz und damit öffentliche Aufsicht über den Einsatz algorithmischer Systeme zu gewährleisten, wie wir in unserer Vernehmlassungsantwort betonen.
Die Regierung hat bestätigt, dass algorithmische Entscheidungssysteme in der Verwaltung des Kantons Zürich bereits in verschiedenen Bereichen im Einsatz sind: im Justizvollzug, im Arbeitslosenbereich oder in der Polizeiarbeit. Die Verwaltung sieht weiteres Potential z. B. im Kindesschutz, zur Gefährdungserkennung oder Personalrekrutierung. Vor diesem Hintergrund bedauern wir, dass weitere Empfehlungen der von der Verwaltung in Auftrag gegebenen Studie «Einsatz Künstlicher Intelligenz in der Verwaltung: rechtliche und ethische Fragen», die AlgorithmWatch Schweiz mitverfasst hat, nicht umgesetzt wurden. Die Studie hat ein unbürokratisch anwendbares Instrument zur Folgenabschätzung beim Einsatz von ADM-Systemen entwickelt, das eine Triage von risikoarmen und -reichen Systemen ermöglicht und Risiken für Grundrechte transparent macht. Es ist nicht nachvollziehbar, warum der Kanton sich dieses Instrument nicht zunutze macht, indem er es verpflichtend zur Begleitung von ADM-Systemen einführt. Das öffentliche Verzeichnis wäre auch der Ort, um die Ergebnisse der Folgenabschätzung zu dokumentieren.
An anderer Stelle des Gesetzesentwurf haben wir zudem grosse Bedenken. Im neuen §22 Abs. 2 lit b. wird nämlich vorgeschlagen, dass öffentliche Organe für besondere Personendaten keine Grundlage in einem formellen Gesetz brauchen, «wenn dies zur Erfüllung einer in einem Gesetz hinreichend bestimmten Aufgabe notwendig und die Datenbearbeitung in einer Verordnung geregelt ist.»
Zuallererst ist sehr unklar, was genau eine «hinreichend bestimmte» Aufgabe ist. Von der Bevölkerung kann nicht erwartet werden, zu wissen, wann eine Aufgabe in einem Gesetz «hinreichend bestimmt» ist und was zu ihrer Erfüllung «notwendig» ist. Die Delegation von der Gesetzes- auf die Verordnungsstufe führt zudem dazu, dass ein wesentliches Element politischer Kontrolle umgangen wird, die bei der Bearbeitung von besonders schützenswerten Personendaten zentral ist. Vor diesem Hintergrund lehnen wir die neue Regelung klar ab.
Ein wichtiges Beispiel an dieser Stelle ist die Identifikation mittels biometrischen Erkennungssystemen (wie z.B. Gesichtserkennungssystemen). Es ist aus Sicht von AlgorithmWatch Schweiz klar, dass diese nicht zugelassen werden darf mit Verweis auf diesen Absatz 2b. Aber: Für die Bevölkerung wird wiederum nicht klar, ob dies unter eine «in einem Gesetz hinreichend bestimmte Aufgabe» fällt oder nicht. Die Bewohner*innen des Kantons Zürich können grundsätzlich davon ausgehen, dass eine Personenidentifikation auch mittels biometrischer Systeme möglich wäre. Nur schon diese Befürchtung kann sodann abschreckende Auswirkungen auf ihr Verhalten haben: Denn gehen sie davon aus, dass sie im öffentlichen Raum nicht nur überwacht, sondern auch automatisiert erkannt und somit verfolgt werden können, kann dies ihr Verhalten beeinflussen: Sie könnten etwa davon absehen, sich frei im öffentlichen Raum zu bewegen, an Demonstrationen teilzunehmen oder Lokale aufzusuchen, die etwas über ihre Religion oder sexuelle Orientierung aussagen könnten.
Entsprechend muss explizit gemacht werden, dass dieser Artikel nicht als gesetzliche Grundlage für den Einsatz automatisierter biometrischer Erkennungssysteme im öffentlich zugänglichen Raum dient. Damit würde auch einer vor Kurzem eingereichten Motion im Kantonsrat entsprochen, die ein Verbot von biometrischer Erkennung im öffentlichen Raum fordert.
Lesen Sie hier unsere Vernehmlassungsantwort:
Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zu ADM im öffentlichen Sektor.