Künstliche Intelligenz: In der Schweiz diskriminieren Algorithmen ungestraft

Automatisierte Entscheidungen dringen zunehmend in unser tägliches Leben ein – zum Beispiel, wenn Algorithmen unsere Stellenbewerbungen aussortieren, Steuererklärungen automatisch bearbeiten, Krankheiten mittels sogenannter Künstlicher Intelligenz diagnostizieren, Verbrechen vorhersagen, das Rückfallrisiko von Straftäter*innen bewerten oder die Arbeitsmarktintegrationschancen von Geflüchteten vorhersagen sollen. Werden algorithmische Systeme eingesetzt, kann das allerdings zu Diskriminierungen führen.

«Systeme, die auf Algorithmen oder sogenannter KI beruhen, sind weder neutral noch objektiv und können gesellschaftliche Machverhältnisse und Ungerechtigkeiten widerspiegeln. Wenn Algorithmen diskriminieren, erfolgt dies zudem oft systematisch. Dadurch ist potenziell eine grosse Anzahl von Menschen betroffen», sagt Angela Müller, Leiterin von AlgorithmWatch CH. Beispielsweise kann der Einsatz von Algorithmen im Arbeitsbereich zu einem ungleichen Zugang zu Stellenangeboten führen. So hat eine Recherche von AlgorithmWatch aufgedeckt, dass auf Facebook Stellenausschreibungen nach Gender-Stereotypen angezeigt werden. Die Anzeige für Lastwagenfahrer*innen wurde eher Männern angezeigt, die Anzeige für Kinderbetreuer*innen eher Frauen. Weitere Beispiele und Herausforderungen algorithmischer Diskriminierung und was dagegen unternommen werden kann, legt AlgorithmWatch CH in ihrem heute veröffentlichten Positionspapier dar.

Besondere Herausforderungen algorithmischer Diskriminierung

«Der bestehende gesetzliche Rahmen reicht nicht aus, um den besonderen Merkmalen der algorithmischen Diskriminierung zu begegnen. In der Schweiz können Algorithmen ungestraft diskriminieren», stellt Estelle Pannatier, Policy & Advocacy Managerin bei AlgorithmWatch CH, fest. Während mehrere europäische Staaten wie etwa Deutschland darüber nachdenken, ihren Schutz gegen algorithmische Diskriminierung zu stärken, hinkt die Schweiz hinterher. Gemäss Bundesrat ist diesbezüglich nämlich keine Anpassung des bestehenden Rechtsrahmens im Bereich der Antidiskriminierung vorgesehen. Dies verkennt jedoch die besonderen Eigenschaften algorithmischer Diskriminierung. Etwa ergibt sich algorithmische Diskriminierung oft aus Proxy-Variablen, also Variablen die stellvertretend für diskriminierungsrechtlich geschützte Merkmale stehen können: Aus der Angabe «30 Jahre Arbeitserfahrung» lässt sich beispielsweise ablesen, dass die Person mindestens Mitte 40 sein muss. Von der Postleitzahl lassen sich oft Annahmen über den sozioökonomischen Status oder einen Migrationshintergrund ableiten. So können Proxy-Variablen einen entscheidenden Einfluss auf die Entscheidungen eines algorithmischen Systems haben, was wiederum zu Diskriminierungen führen kann.

So kann der Schutz vor algorithmischer Diskriminierung gestärkt werden

Wo, von wem und wozu algorithmische Systeme eingesetzt werden, ist sowohl den Betroffenen als auch der Gesellschaft weitgehend unbekannt. Dies macht es für Betroffene auch schwierig, überhaupt erst zu erkennen, dass sie von einem Algorithmus diskriminiert wurden. Transparenz ist daher ein notwendiger, jedoch kein ausreichender Schritt, um algorithmische Diskriminierung zu bekämpfen. Da sich algorithmische Systeme rasant in der gesamten Gesellschaft verbreiten, fordert AlgorithmWatch CH unter anderem einen gesetzlichen Rahmen, der auch Diskriminierung durch Algorithmen, die von privaten Akteuren wie Unternehmen verwendet werden, erfasst. Denn im Gegensatz zu Frankreich und Deutschland kennt die Schweiz keinen spezifischen Schutz vor Diskriminierung durch private Akteure.

Um den Herausforderungen algorithmischer Diskriminierung zu begegnen, fordert AlgorithmWatch CH die folgenden Massnahmen:

1. Anwendungsbereich des Antidiskriminierungsrechts ausweiten: Der Schutz vor Diskriminierung muss auch gewährleistet sein, wenn die Diskriminierung systematisch erfolgt und Betroffene nicht eindeutig identifizierbar sind.
2. Diskriminierungsmerkmale ausweiten: Der Schutz vor Diskriminierung muss auch im Falle von Proxy-Variablen greifen – also dann, wenn vermeintlich neutrale Kategorien (wie etwa die Postleitzahl) stellvertretend für diskriminierungsrechtlich geschützte Kategorien (wie etwa der sozialen Stellung) stehen.
3. Allgemeines Diskriminierungsverbot für Private einführen: Das Diskriminierungsverbot muss auch für Private gelten, da diese in grosser Zahl algorithmische Systeme entwickeln und einsetzen, die relevante Auswirkungen auf das Leben von Menschen haben.
4. Intersektionale Diskriminierung in das Antidiskriminierungsrecht aufnehmen: Der Schutz vor Diskriminierung muss auch gegeben sein, wenn ein Algorithmus sich durch eine Kombination geschützter Kategorien diskriminierend auf Menschen auswirkt.
5. Transparente, unabhängige und regelmässige Folgenabschätzungen verpflichtend machen: Wer algorithmische Systeme entwickelt oder einsetzt, sollte eine Folgenabschätzung vornehmen, die darauf zielt, Diskriminierungsrisiken und weitere Auswirkungen für die Grundrechte zu erkennen und Massnahmen dagegen zu ergreifen. Zumindest im Falle von öffentlichen Behörden sollte eine solche Folgenabschätzung verpflichtend sein und ihre Ergebnisse öffentlich zugänglich publiziert werden. Auch bei Privaten ist dies angezeigt, wenn Systeme Auswirkungen auf Grundrechte haben können.
6. Einfacherer Zugang zu Rechtsmitteln sicherstellen: Einerseits müssen praktische und formale Hürden abgebaut werden, die Menschen davon abschrecken könnten, Rechtsmittel zu ergreifen – etwa indem die Beweislast auf Seiten der Betroffenen reduziert wird. Anderseits braucht es kollektive Rechtsmittel, um die für Betroffene anfallenden Hürden und Kosten weiter zu reduzieren und um der Tatsache gerecht zu werden, dass algorithmische Diskriminierung oft eine grosse Anzahl von Personen betrifft und für Betroffene schwer erkennbar ist.
7. Forschung und Debatte zu algorithmischer Diskriminierung fördern: Um die evidenzbasierte Debatte zu gesellschaftlichen Auswirkungen von Algorithmen zu fördern, sollten Behörden auf das Thema und die damit verbundenen Herausforderungen sensibilisiert werden und Kompetenzen dazu aufbauen. Auch die interdisziplinäre Forschung zu algorithmischer Diskriminierung muss gefördert werden. Dabei ist wichtig, die Herausforderungen nicht als eine rein technische zu verstehen und die Lösungsansätze nicht auf die technische Ebene zu begrenzen.
8. Betroffene einbeziehen: Betroffene von algorithmischen Systemen sollten bei der Entwicklung und dem Einsatz von Systemen, aber auch bei Folgenabschätzungen, in der öffentlichen Debatte und im politischen Entscheidungsprozess aktiv miteinbezogen werden.

Die Forderungen sind in unserem Positionspapier mit weiteren Ausführungen auffindbar.