Verantwortungsvoller Einsatz von Algorithmen und KI in der öffentlichen Verwaltung

Algorithmische Systeme, oft auch benannt als «Künstliche Intelligenz» (KI), werden von Verwaltungen unter anderem eingesetzt, um Prognosen zu treffen, Empfehlungen zu geben oder Entscheidungen zu fällen – oder um Inhalte zu generieren, die Entscheidungen über Menschen beeinflussen. Beispiele für Anwendungen in der öffentlichen Verwaltung sind Algorithmen, die Anfragen aus der Bevölkerung beantworten (Chatbots), Steuererklärungen oder Sozialhilfeanträge automatisiert verarbeiten, Sozialleistungsmissbrauch erkennen sollen, in der Polizeiarbeit Verbrechen vorhersagen (Predictive Policing), das Rückfallrisiko von Straftäter*innen bewerten oder die Arbeitsmarktintegration von Geflüchteten oder Arbeitslosen prognostizieren.

Welche Herausforderungen bestehen?

Behörden sehen solche Systeme oft als Mittel, um ihre Effizienz zu steigern und Prozesse zu erleichtern. Allerdings bringt ihr Einsatz Risiken mit sich. Erstens können sie Menschen in ihrer gesellschaftlichen Teilhabe beeinträchtigen, Grundrechte tangieren oder den Zugang zu öffentlichen Gütern und Dienstleistungen behindern. Zweitens ist KI in den Händen einiger weniger Grosskonzerne, die über eine enorme Konzentration an Meinungs- und Marktmacht verfügen. Die Abhängigkeit von diesen Unternehmen steht im Spannungsverhältnis zur Gemeinwohlorientierung und Handlungsfähigkeit der öffentlichen Verwaltung.

Was muss die öffentliche Verwaltung beachten?

Der Bundesrat hat in seinem Grundsatzentscheid vom 12. Februar 2025 anerkannt, dass KI zum Schutz der Grundrechte reguliert werden muss. Entsprechend hat er die Konvention zu KI des Europarates unterzeichnet und bereitet bis Ende 2026 die für deren Ratifizierung notwendigen Gesetzesvorschläge vor, insbesondere in den Bereichen Transparenz, Diskriminierungsschutz und Aufsicht. Die KI-Konvention wird wichtige Massnahmen auf nationaler und kantonaler Ebene erforderlich machen, die zum Grundrechtsschutz beitragen. Die Schweiz muss sie aber entschlossen und ambitioniert umsetzen, um Grundrechte verlässlich zu schützen.

Zudem erklärt der Bund in seiner Teilstrategie für den Einsatz von KI seine Prinzipien für die verantwortungsvolle Nutzung der Systeme, etwa den Schutz der Grundrechte sowie die ökologische, soziale und ökonomische Nachhaltigkeit. Die Strategie bleibt jedoch an verschiedenen Stellen vage und muss in einem Umsetzungsplan konkretisiert werden.

Unsere Empfehlungen für einen verantwortungsvollen Einsatz auf nationaler, kantonaler und kommunaler Ebene fassen wir hier zusammen:

1. Transparenz und Nachvollziehbarkeit als ersten Schritt
   • Transparenz gegenüber Betroffenen: Informations- und Begründungspflicht
   • Transparenz gegenüber der Gesellschaft: Öffentliche Verzeichnisse
2. Grundrechtsschutz gewährleisten
   • Risiken mindern: Folgenabschätzungen
   • Vor Diskriminierung schützen: Prävention und Rechtsdurchsetzung
   • Betroffene einbeziehen und Beteiligung stärken
   • Rechte für Betroffene: Beschwerdemöglichkeiten, Rechtsmittel und Opt-Out Möglichkeiten
   • Schutzmassnahmen beim Einsatz in sensitiven Bereichen
   • Verbote bei unvertretbaren Auswirkungen
3. Digitale Verwaltung nachhaltig gestalten
   • Abhängigkeiten reduzieren und Alternativen fördern
   • Sorgfältige Beschaffung
   • Unabhängige und koordinierte Aufsichtsgremien
   • Capacity-Building innerhalb der Verwaltung
   • Expertise stärken und Forschung fördern
   • Nachhaltigkeit über den Lebenszyklus hinweg beurteilen
4. Gemeinwohlorientierung sicherstellen
   • KI für das Gemeinwohl einsetzen
   • Regulierungsansätze demokratisch legitimieren
   • KI-Regulierung ganzheitlich denken

1. TRANSPARENZ UND NACHVOLLZIEHBARKEIT ALS ERSTEN SCHRITT

Transparenz im Umgang mit Algorithmen und KI sollte von den Behörden nicht als Bedrohung, sondern als Chance verstanden werden, um das Vertrauen der Bevölkerung zu stärken. Sie ist eine Bedingung dafür, dass sowohl betroffene Personen als auch die Gesellschaft als Ganzes vom Einsatz der Systeme weiss, ihn reflektieren, debattieren und kontrollieren kann. Dies wird auch in der KI-Konvention des Europarates anerkannt. Doch wie unsere Recherche gezeigt hat, wissen Verwaltungen heute oft selbst nicht, wo und wozu algorithmische Systeme eingesetzt werden.

Transparenz gegenüber Betroffenen: Informations- und Begründungspflicht

Betroffene sollten darüber informiert werden, wenn ein Algorithmus (vollständig oder teilweise) zur automatisierten Entscheidungsfindung beigetragen hat, und müssen Entscheidungen nachvollziehen können.

Betroffene haben das Recht auf eine Begründung und auf Zugang zu allen Informationen, die sie benötigen, um Rechtsmittel zu ergreifen. Diese Informationen müssen so aufbereitet sein, dass es für Betroffene nachvollziehbar wird, wie die Entscheidung getroffen wurde und wie das System zum Einsatz kam.

Wie kann Transparenz gegenüber Betroffenen gewährleistet werden?

Im Datenschutzgesetz ist eine Informationspflicht im Falle von automatisierten Einzelentscheidungen (Art. 21 DSG) vorgesehen. Diese gilt jedoch nur für vollautomatisierte Entscheidungen. Die meisten Systeme werden heute jedoch zur Entscheidungsunterstützung eingesetzt, also für Empfehlungen oder Prognosen, die als Entscheidungsgrundlage dienen. Auch solche teilautomatisierten Entscheidungen können jedoch Auswirkungen auf die Grundrechte von Menschen haben. Zudem dienen sie de facto oft der Entscheidungsfindung: Nutzende neigen dazu, ihren Empfehlungen zu folgen (Automation Bias). Das DSG sollte daher um eine Informationspflicht im Falle von teilautomatisierten Entscheiden ergänzt werden.

Transparenz gegenüber der Gesellschaft: Öffentliche Verzeichnisse

Um gesellschaftliche Aufsicht zu ermöglichen, müssen wir wissen, wo und wozu der Staat Algorithmen einsetzt. Gesetzlich vorgeschriebene öffentliche Verzeichnisse ermöglichen diese Transparenz.

In diesen Verzeichnissen sollten Verwaltungen Systeme erfassen, die sie zu Entscheidungszwecken einsetzen – auf kommunaler, kantonaler und nationaler Ebene. Solche Verzeichnisse sind aus juristischer Perspektive sinnvoll, um Transparenz herzustellen und Rechtsstaatlichkeit sicherzustellen. Zudem ermöglichen sie Forschenden, Journalist*innen und der Zivilgesellschaft, ihre gesellschaftliche Aufsichts- und Kontrollfunktion wahrzunehmen – und so die Debatte rund um den Einsatz von Algorithmen und KI evidenzbasierter zu gestalten.

Wie sollte ein öffentliches Verzeichnis aussehen?

Die Verzeichnisse sollten Informationen zum zugrundeliegenden Modell, zu den Entwickler*innen und Betreiber*innen, zum Verwendungszweck und zu den Resultaten der Folgenabschätzung (siehe unten) enthalten. Unter bestimmten Umständen kann ein berechtigtes Interesse bestehen, gewisse Informationen nicht öffentlich zu machen (zum Beispiel zum Schutz persönlicher Daten). In solchen Fällen sollte jedoch im Verzeichnis das Aufsichtsgremium erwähnt werden, gegenüber dem vollständige Transparenz gewährt wird. Wichtig ist, dass die Verzeichnisse tatsächlich nützlich sind: Die darin enthaltenen Informationen müssen leicht zugänglich und einfach verständlich sein. Die Daten sollten maschinenlesbar aufbereitet und nach Vorgabe eines standardisierten Protokolls strukturiert sein.

2. GRUNDRECHTSSCHUTZ GEWÄHRLEISTEN

Der Grundrechtsschutz muss bei der Entwicklung und dem Einsatz von KI entlang der ganzen Wertschöpfungskette sichergestellt werden.

Risiken mindern: Folgenabschätzungen

Die Risiken beim Einsatz algorithmischer Systeme hängen wesentlich davon ab, in welchem Kontext, wozu und wie sie eingesetzt werden. Behörden sollten daher verpflichtet sein, diese Risiken im Einzelfall systematisch anhand von Folgenabschätzungen zu untersuchen.

Diese Evaluation sollte über den gesamten Lebenszyklus eines Systems erfolgen, also vor und während des Einsatzes. Die Ergebnisse sollten im öffentlichen Verzeichnis zugänglich gemacht werden.

Wie könnte eine solche Folgenabschätzung aussehen?

AlgorithmWatch CH hat ein praktisches Instrument zur Folgenabschätzung entwickelt, mit dem algorithmische Systeme über ihren gesamten Lebenszyklus hinweg evaluiert werden können. Zuerst wird im Rahmen einer sogenannten «Triage» bewertet, ob mit dem System relevante Risiken einhergehen. Behörden können diesen Schritt unbürokratisch umsetzen. Falls sich potenziell ethisch relevante Auswirkungen zeigen, müssen die Behörden als zweiten Schritt einen Transparenzbericht erstellen. In diesem werden Ziele und ethische Anforderungen definiert, Massnahmen aufgezeigt, um diese zu erreichen, Verantwortlichkeiten zugewiesen und Resultate gemessen. Je mehr Risiken in der ersten Phase ausfindig gemacht werden, desto umfassender muss der Transparenzbericht in der zweiten Phase ausfallen. Zum AlgorithmWatch CH Impact Assessment Tool.

Vor Diskriminierung schützen: Prävention und Rechtsdurchsetzung

Der Schutz vor Diskriminierung muss sowohl auf der Ebene der Prävention als auch auf der Ebene der Rechtsdurchsetzung gestärkt werden.

Algorithmische Systeme sind weder neutral noch objektiv. In einer Gesellschaft bereits existierende strukturelle Diskriminierungsmuster werden sich in ihnen wiederfinden. Der aktuelle gesetzliche Rahmen in der Schweiz bietet jedoch keinen ausreichenden und wirksamen Schutz vor Diskriminierung, die durch den Einsatz von algorithmischen Systemen entstehen kann. Wie dieser gestärkt werden kann, zeigen wir in unserem Positionspapier «Schutz vor algorithmischer Diskriminierung».

Betroffene einbeziehen und Beteiligung stärken

Menschen, die von automatisierten Entscheidungen betroffen sind, müssen angehört werden und mitsprechen können, wenn die Systeme entwickelt, eingesetzt und evaluiert werden.

Die Bedürfnisse der Bevölkerung müssen für die öffentliche Verwaltung im Vordergrund stehen. Diese sollte auf eine integrative und partizipative Gestaltung hinarbeiten, indem sie eine vielfältige Beteiligung von Mitarbeitenden und Betroffenen am Gestaltungsprozess sicherstellen. Dieser Einbezug ist nicht nur wichtig, um Ungerechtigkeiten zu vermeiden, sondern trägt auch zur besseren Qualität und Akzeptanz der Systeme bei.

Rechte für Betroffene: Beschwerdemöglichkeiten, Rechtsmittel und Opt-Out Möglichkeiten

Betroffene müssen die Möglichkeit haben, Untersuchungen zu beantragen, Beschwerden einzureichen und Entschädigungen zu erhalten.

Rechtsmittel müssen einfach zugänglich, kostengünstig und effektiv sein. Weil von algorithmischen Systemen oft sehr viele Menschen betroffen sind und etwa diskriminierende Auswirkungen systematisch erfolgen, sollten auch kollektive Akteure Beschwerden einreichen, Untersuchungen beantragen und Rechtsmittel ergreifen können. Weiter sollten Betroffene unter bestimmten Voraussetzungen der Nutzung eines algorithmischen Entscheidungssystems widersprechen können.

Schutzmassnahmen beim Einsatz in sensitiven Bereichen

Wenn KI und algorithmenbasierte Entscheidungen in sensitiven Bereichen wie der nationalen Sicherheit, dem Militär und der Verteidigung, der Polizeiarbeit, dem Strafvollzug, der Justiz, im Sozialwesen oder im Migrations- und Asylbereich getroffen werden, bedarf es besonderer Schutzmassnahmen.

In diesen Bereichen befinden sich betroffene Menschen oft bereits in Situationen, in denen sie besonders auf verlässlichen Grundrechtsschutz angewiesen sind und sich typischerweise weniger gut zur Wehr setzen können.

Verbote bei unvertretbaren Auswirkungen

Als Gesellschaft sollten wir rote Linien dort ziehen, wo Anwendungen von KI und Algorithmen unverhältnismässige Auswirkungen auf Menschen und ihre Grundrechte haben, die mit der Idee einer demokratischen Gesellschaft grundsätzlich unvereinbar sind.

Dazu gehören die biometrische Erkennung im öffentlich zugänglichen Raum, bestimmte weitere biometrische Analysen wie das Scraping von Gesichtsbildern, Emotionserkennung (mit eng definierten Ausnahmen) und biometrische Kategorisierung anhand besonders schützenswerter Merkmale. Auch bestimmte Formen des Predictive Policings, wenn dieses auf komplexen algorithmischen Systemen beruht, sowie des Social Scorings durch öffentliche und private Akteure sollten verboten werden. Mehr dazu in unserem Positionspapier zu biometrischer Überwachung.

3. DIGITALE VERWALTUNG NACHHALTIG GESTALTEN

Beim Einsatz von KI und algorithmischen Systemen muss die öffentliche Verwaltung sich stets auch der KI-Wertschöpfungskette bewusst sein. Entsprechend muss sie Rahmenbedingungen schaffen, um die demokratische Kontrolle über öffentliche digitale Infrastrukturen zu fördern, die Belastbarkeit dieser Infrastrukturen zu gewährleisten und Innovationen nachhaltig am Gemeinwohl auszurichten.

Abhängigkeiten reduzieren und Alternativen fördern

Die öffentliche Verwaltung ist aufgefordert, Risiken zu prüfen und zu minimieren, die sich durch Abhängigkeiten von grossen Anbietern ergeben.

Dies ist wichtig, um sowohl den Grundrechtsschutz der Bevölkerung als auch die staatliche Handlungsfähigkeit, die «Digitale Souveränität», zu gewährleisten. Hier sind insbesondere auch Alternativen zu den Produkten und Dienstleistungen sehr grosser Technologiekonzerne standardmässig zu prüfen. Zudem ist die Entwicklung und Pflege offener und alternativer Technologien durch öffentliche Zuschüsse und Beschaffungsbedingungen zu unterstützen und die Entwicklung der digitalen Infrastruktur strategisch zu verfolgen.

Sorgfältige Beschaffung

Die öffentliche Verwaltung sollte in der Beschaffung klar definierte, gemeinwohlorientierte Kriterien setzen.

Diese Kriterien sollten insbesondere Grundrechtsschutz, Nachhaltigkeit, Rechenschaft, Interoperabilität sowie demokratische Handlungsfähigkeit gewährleisten. Risikoanalysen müssen durchgeführt werden, diese müssen für die Verwaltung einsehbar sein und Massnahmen müssen getroffen werden, um individuelle und gesellschaftliche Risiken zu vermeiden. Transparenz zu den wichtigsten Einkäufen im Technologiebereich sollte standardmässig gegeben sein und interdisziplinäre Expertise sowie vielfältige Perspektiven sollten in die Entscheidung miteinbezogen werden.

Unabhängige und koordinierte Aufsichtsgremien

Es sind Aufsichts- und Ombudsstellen zu schaffen, die über ausreichende Ressourcen und Fachkenntnisse verfügen und deren Unabhängigkeit gewährleistet ist.

Optimalerweise werden diese Aufsichtsstellen durch eine Begleitgruppe mit Expertise aus Wissenschaft und Zivilgesellschaft («KI-Beirat») unterstützt.

Capacity-Building innerhalb der Verwaltung

Der Aufbau von Kompetenzen in der Verwaltung ist zentral für einen verantwortungsvollen Einsatz von KI – insbesondere auch von Mitarbeitenden, die automatisierte Entscheidungssysteme anwenden.

Entsprechende Schulungen sollten technische, ethische, soziale und rechtliche Aspekte umfassen. Departementsübergreifende Koordinationsstrukturen, wie in der Teilstrategie zum Einsatz von KI vorgesehen und im CNAI – Kompetenznetzwerk für Künstliche Intelligenz angedacht, sind wichtig, um verwaltungsweites Lernen sicherzustellen. Um ihre Rolle auszuüben, müssen sie aber auch über die entsprechenden Ressourcen verfügen.

Expertise stärken und Forschung fördern

Interdisziplinäre Forschung im öffentlichen Interesse, Journalismus und Zivilgesellschaft, die sich den Auswirkungen und dem verantwortungsvollen Umgang von Algorithmen und KI widmen, müssen ermöglicht und gestärkt werden.

Nachhaltigkeit über den Lebenszyklus hinweg beurteilen

Die Umweltauswirkungen, die sich aus der Entwicklung und dem Einsatz eines KI-Systems ergeben, müssen berücksichtigt und durch geeignete Massnahmen minimiert werden.

Insbesondere bei der Verwendung grosser KI-Modelle muss die öffentliche Verwaltung beachten, dass die KI-Lieferkette von einem enormen Verbrauch an Ressourcen wie Energie und Wasser und beträchtlichen CO2-Emissionen geprägt ist. Zu den Ansätzen von AlgorithmWatch zur Messung von Umweltauswirkungen.

4. GEMEINWOHLORIENTIERUNG SICHERSTELLEN

Der Einsatz von KI durch Behörden muss sorgfältig durchdacht und demokratisch angemessen geregelt sein, um einen Nutzen für alle zu gewährleisten.

KI für das Gemeinwohl einsetzen

Der Einsatz von KI sollte nicht nur erfolgen, um Effizienz zu steigern, sondern auch, um andere Ziele zu erreichen: etwa, um die Nachhaltigkeit zu verbessern oder die Chancengerechtigkeit zu erhöhen.

Zudem sollte politisch festgelegt werden, wie allfällige Effizienzgewinne verteilt werden, wem sie zugutekommen und wo gewonnene Ressourcen hinfliessen.

Regulierungsansätze demokratisch legitimieren

Regulierungsansätze sollten so weit wie möglich auf Gesetzesebene verankert werden und nicht übermässig in undurchsichtige und industriedominierte Standardisierungsprozesse ausgelagert werden.

In den Standardisierungsprozessen sollte zudem nebst technischem auch juristisches, ethisches und vor allem grundrechtliches Fachwissen einfliessen. Damit verschiedene Anspruchsgruppen sich einbringen können, sind Förderungen und andere Massnahmen zu prüfen.

KI-Regulierung ganzheitlich denken

Diese Rahmenbedingungen für einen verantwortungsvollen Einsatz von Algorithmen und KI in der öffentlichen Verwaltung sind nur ein Puzzleteil einer ganzheitlichen Strategie für den Umgang mit KI.

In unserem Positionspapier «Welche KI wollen wir?» zeigen wir umfassend auf, dass es einen ganzheitlichen und weitsichtigen Ansatz braucht und welche Rahmenbedingungen notwendig sind, um die Entwicklung und den Einsatz von Algorithmen und KI so zu gestalten, dass Schaden verhindert und Nutzen für alle ermöglicht wird.