Einigung zum AI Act: Wichtiger Schutz und gefährliche Schlupflöcher

Im Vergleich zum ursprünglichen Entwurf der Europäischen Kommission vom Frühjahr 2021 haben die EU-Gesetzgeber gestern entscheidende Garantien zum Schutz von Grundrechten im Kontext von KI-Anwendungen eingeführt. Dank der intensiven Lobbyarbeit zivilgesellschaftlicher Organisationen sieht das Gesetz nun vor, dass eine grundrechtliche Folgenabschätzung und öffentliche Transparenz beim Einsatz von Hochrisiko-KI durch Behörden verpflichtend sind – zentrale Forderungen, für die AlgorithmWatch in den letzten drei Jahren gekämpft hat. Betroffene Personen haben zudem das Recht auf eine Erklärung, wenn ihre Rechte durch eine Hochrisiko-KI-basierte Entscheidung beeinträchtigt wurden, und können dagegen Beschwerde einlegen.

Gleichzeitig stehen diesen grossen Erfolgen auch grosse Schlupflöcher gegenüber, wie etwa die Tatsache, dass die KI-Entwickler selbst ein Mitspracherecht haben, ob ihre Systeme als Hochrisiko-KI gelten. Ausserdem gibt es verschiedene Ausnahmen für Hochrisikosysteme, wenn sie im Rahmen nationaler Sicherheit, der Strafverfolgung oder der Migration eingesetzt werden. Dort können Behörden wesentliche Kernbestimmungen des Gesetzes umgehen.

«Was wir schon jetzt sagen können: Der AI Act allein wird nicht ausreichen. Er ist nur ein Puzzlestück unter vielen, die wir brauchen werden, um Menschen und Gesellschaften vor den grundlegenden Auswirkungen zu schützen, die KI-Systeme auf unsere Rechte, unsere Demokratie und die gesellschaftliche Machtverteilung haben können. Und genau auf diesen Schutz sollte sich auch die Schweiz konzentrieren, wenn der Bundesrat wie geplant nächstes Jahr den Regulierungsbedarf zu KI analysiert. Die Schweiz sollte sich nicht darauf verlassen, dass Trittbrettfahren bei der EU und ihrer KI-Verordnung ausreichen wird, um Grundrechte im Kontext von KI auch hierzulande zu schützen.»

Angela Müller, Leiterin AlgorithmWatch CH

Zu den umstrittensten Fragen der letzten Verhandlungsrunde, die mehr als 36 Stunden dauerte, gehörten die Verbote bestimmter KI-Systeme. Während das EU-Parlament klar Stellung bezogen hatte, dass gewisse KI-Anwendungen nicht mit einem der Hauptziele der Verordnung – Grundrechte zu schützen – vereinbar seien, verfolgten die Mitgliedstaaten offenbar eine andere Agenda. Die endgültige Liste der Verbote ist zwar wesentlich länger als im ursprünglichen Vorschlag der EU-Kommission und enthält so etwa auch ein teilweises Verbot von «Predictive Policing»-Systemen, ein Verbot von KI, die Menschen auf der Grundlage sensibler Daten (wie ihrer politischen Gesinnung oder sexuellen Orientierung) kategorisieren, oder das Verbot, Emotionserkennungssysteme am Arbeitsplatz und in der Bildung einzusetzen. All diese Schutzmassnahmen sind wichtig, um die Menschen vor der Verwendung fehlgeleiteter und gefährlicher KI-Systeme zu schützen.

Gleichzeitig sehen aber die EU-Gesetzgeber auch grosse Schlupflöcher vor, um solche fehlgeleiteten Anwendungen durch die Hintertür dann doch wieder zu ermöglichen. KI-Systeme, die eingesetzt werden, um die Emotionen von Asylbewerbenden zu ‘erkennen’, oder KI, die eingesetzt wird, um die Gesichter von Menschen im öffentlichen Raum in Echtzeit zu identifizieren, wann immer es um die Suche nach Verdächtigen schwerer Verbrechen geht – diese und andere gefährlichen KI-Anwendungen werden über den Umweg detaillierter Ausnahmen legalisiert, die die Liste der Verbote offenbar vorsieht. Inwieweit die im AI Act vorgesehenen Verbote also tatsächlich Schutz bieten, lässt sich daher erst beurteilen, wenn wir den endgültigen Text kennen.

Die Einigung von Freitagnacht enthält auch Bestimmungen zur Regulierung sogenannter «General Purpose AI Systems» (GPAI) und der Modelle, auf denen sie basieren. Hier haben die Gesetzgeber einen zweistufigen Ansatz gewählt, der umfassendere Verpflichtungen für grosse, folgenreiche Systeme vorsieht. Deren Anbieter müssen die systemischen Risiken bewerten und abmildern, die von ihren KI-Systemen ausgehen, ihre Modelle bewerten und testen und schwerwiegende Vorfälle sowie die Energieeffizienz der Systeme melden.

«Wir begrüssen, dass grosse KI-Systeme wie ChatGPT nicht nur der Selbstregulierung überlassen werden, sondern dass ihre Anbieter systemische Risiken mindern sollen und transparent machen müssen, wie viel Energie sie verbrauchen – auch wenn wir uns nachdrücklich für weitreichendere Verpflichtungen eingesetzt haben, unter anderem um die Rechte von Clickworkern zu schützen, die Rechte von Betroffenen zu stärken und die Rechenschaftspflicht entlang der gesamten Wertschöpfungskette zu gewährleisten. Es bleibt jedoch abzuwarten, wie diese Bestimmungen in der Praxis umgesetzt werden und inwieweit Big Tech in der Lage sein wird, sie zu umgehen. In Anbetracht der Aufmerksamkeit, die dieses Thema in den letzten Wochen erhalten hat, und gemessen an der Dynamik der letzten Verhandlungsrunde, kann es ebenso sein, dass diese Bestimmungen nun als ‘Kompromiss’ dargestellt werden, während sie tatsächlich eher minimal sind.»

Angela Müller, Leiterin AlgorithmWatch CH

Zwar wurde gestern kurz nach Mitternacht eine Einigung zur KI-Verordnung verkündet, doch werden auch die eher detaillierten Ausführungen, die in den nächsten Wochen verfasst werden, entscheidend sein. Derzeit handelt es sich in erster Linie um eine Einigung auf politischer Ebene, die unter grossem Druck zustande gekommen ist. Es ist zu erwarten, dass einige Fragen noch auf der sogenannten «technischen Ebene» von Expert*innen der EU-Kommission, des Parlaments und der Mitgliedstaaten diskutiert werden. Danach müssen sowohl das Parlament als auch der Rat den Gesetzestext formell verabschieden.

Gemeinsam mit unseren Partnern aus der Zivilgesellschaft wird AlgorithmWatch somit auch in dieser nächsten Phase den Druck auf die Gesetzgeber aufrechterhalten, um eine weitere Aushöhlung des Grundrechtsschutzes zu verhindern.