Diskriminierende Algorithmen: So gelingt der Schutz

Automatisierte Entscheidungen dringen zunehmend in unser tägliches Leben ein – zum Beispiel, wenn Algorithmen unsere Stellenbewerbungen aussortieren, Steuererklärungen automatisch bearbeiten, Krankheiten mittels sogenannter Künstlicher Intelligenz diagnostizieren, Verbrechen vorhersagen, das Rückfallrisiko von Straftäter*innen bewerten oder die Arbeitsmarktintegrationschancen von Geflüchteten vorhersagen sollen. Werden algorithmische Systeme eingesetzt, kann das allerdings zu Diskriminierungen führen. Zu den Herausforderungen der algorithmischen Diskriminierung sowie unseren Forderungen für einen besseren Schutz davor in der Schweiz haben wir ein Positionspapier verfasst. Die wichtigsten Aspekte davon haben wir nachfolgend kurz zusammengefasst.

Zum Positionspapier

Wie Algorithmen diskriminieren

Algorithmische Systeme sind weder neutral noch objektiv. In einer Gesellschaft bereits existierende strukturelle Diskriminierungsmuster werden sich in ihnen wiederfinden. Denn die Datengrundlage von denen Algorithmen «lernen» bzw. auf der sie aufbauen spiegelt gesellschaftliche Machtverhältnisse wieder. So können gewisse Gruppen in den Daten über- oder unterrepräsentiert sein, was zu Verzerrungen der Realität und den von Algorithmen getroffenen Entscheidungen führt.

Eine besondere Herausforderung algorithmischer Diskriminierung ist der Skalierungseffekt: Wenn Algorithmen diskriminieren, erfolgt dies systematisch, da dies im System selbst verankert ist. Dadurch sind potentiell eine grosse Anzahl von Menschen betroffen. Durch sogenannte Rückkopplungsschleifen können sich zudem bestehende Diskriminierungsmuster verstärken. Werden Daten – die per se auf der Vergangenheit beruhen – benutzt, um Voraussagen für die Zukunft zu treffen, basiert dies auf der Annahme, dass die Zukunft der Vergangenheit ähnelt. Wenn dann etwa ein algorithmisches System für vorausschauende Polizeiarbeit (auch: «predictive policing») der Polizei vorschlägt, in bestimmten Vierteln mehr zu patrouillieren, wird die Polizei dort tendenziell auch mehr Verbrechen aufdecken als anderswo. Das wiederum verstärkt die Vorhersagen des Systems.

Letztlich drohen Ungerechtigkeiten und Diskriminierung besonders dann, wenn Algorithmen in Bereichen eingesetzt werden, in denen bereits ein Machtgefälle besteht – sei es zwischen Stellenbewerber*innen und Unternehmen, Arbeitnehmenden und Arbeitgeberinnen, Verdächtigen und Polizei, Flüchtenden und Grenzschutzbehörden, Sozialhilfebezüger*innen und Behörden, Schüler*innen und Lehrpersonen oder Einzelperson und Social Media-Plattform. Es droht, dass insbesondere jene Seite davon profitiert, die bereits über mehr Macht und Mittel verfügt – während die andere Seite den Entscheidungen der Systeme – und damit potenziell auch ihren ungerechten Auswirkungen – verstärkt und oft unwissentlich ausgeliefert ist.

Lücken im Schutz vor Diskriminierung

In der Schweiz wird Diskriminierung im Rahmen des Diskriminierungsverbots der Bundesverfassung als Ungleichbehandlung von Personen aufgrund eines geschützten Merkmals, ohne Rechtfertigung durch einen sachlichen Grund definiert. Als geschützte Merkmale zählen sowohl biologische Merkmale («Rasse», Geschlecht, Alter, körperliche, geistige oder psychische Behinderung) wie auch kulturelle oder anderweitige Merkmale (Herkunft, Sprache, soziale Stellung, Lebensform, religiöse, weltanschauliche oder politische Überzeugung). Diese Aufzählung ist allerdings nicht abschliessend: Vor Diskriminierung geschützt sind generell stigmatisierte gesellschaftliche Gruppen.

Der aktuelle gesetzliche Rahmen in der Schweiz bietet jedoch keinen ausreichenden und wirksamen Schutz vor Diskriminierung, die durch den Einsatz von algorithmischen Systemen entstehen kann. So betrifft das Diskriminierungsverbot grundsätzlich nur staatliche Akteure wie etwa Behörden. Denn in der Schweiz existiert kein allgemeines Gesetz, das in genereller Weise Diskriminierung durch Private untersagt. Algorithmische Systeme verbreiten sich jedoch schnell in der gesamten Gesellschaft und werden in grosser Zahl von Privaten entwickelt und eingesetzt. Daher braucht es hier eine gesetzliche Anpassung. Der bestehende Schutz gegen Diskriminierung reicht zudem nicht aus, um den besonderen Merkmalen der algorithmischen Diskriminierung zu begegnen (wie etwa Skalierungseffekte und Rückkopplungsschleifen; siehe oben). Darüber hinaus stellt uns algorithmische Diskriminierung bei der Durchsetzung des Diskriminierungsverbots vor neue Herausforderungen. Denn die aktuellen Gesetze basieren auf einer klaren Identifizierung der diskriminierten Personen. In der Realität ist es jedoch im Falle von algorithmischer Diskriminierung schwierig, die betroffenen Personen zu identifizieren. Denn diese sind sich der Diskriminierung oft selbst nicht bewusst, da sie nicht von der Anwendung des Systems wussten oder weil die Diskriminierung systematisch erfolgt.

So stärken wir den Schutz vor algorithmischer Diskriminierung

Damit der Schutz vor Diskriminierung den Herausforderungen algorithmischer
Diskriminierung gerecht werden kann, fordern wir:

1. Anwendungsbereich des Antidiskriminierungsrechts ausweiten: Der Schutz vor Diskriminierung muss auch gewährleistet sein, wenn die Diskriminierung systematisch erfolgt und Betroffene nicht eindeutig identifizierbar sind.
2. Diskriminierungsmerkmale ausweiten: Der Schutz vor Diskriminierung muss auch im Falle von Proxy-Variablen greifen – also dann, wenn vermeintlich neutrale Kategorien (wie etwa die Postleitzahl) stellvertretend für diskriminierungsrechtlich geschützte Kategorien (wie etwa der sozialen Stellung) stehen.
3. Allgemeines Diskriminierungsverbot für Private einführen: Das Diskriminierungsverbot muss auch für Private gelten, da diese in grosser Zahl algorithmische Systeme entwickeln und einsetzen, die relevante Auswirkungen auf das Leben von Menschen haben.
4. Intersektionale Diskriminierung in das Antidiskriminierungsrecht aufnehmen: Der Schutz vor Diskriminierung muss auch gegeben sein, wenn ein Algorithmus sich durch eine Kombination geschützter Kategorien diskriminierend auf Menschen auswirkt.
5. Transparente, unabhängige und regelmässige Folgenabschätzungen verpflichtend machen: Wer algorithmische Systeme entwickelt oder einsetzt, sollte eine Folgenabschätzung vornehmen, die darauf zielt, Diskriminierungsrisiken und weitere Auswirkungen für die Grundrechte zu erkennen und Massnahmen dagegen zu ergreifen. Zumindest im Falle von öffentlichen Behörden sollte eine solche Folgenabschätzung verpflichtend sein und ihre Ergebnisse öffentlich zugänglich publiziert werden. Auch bei Privaten ist dies angezeigt, wenn Systeme Auswirkungen auf Grundrechte haben können.
6. Einfacherer Zugang zu Rechtsmitteln sicherstellen: Einerseits müssen praktische und formale Hürden abgebaut werden, die Menschen davon abschrecken könnten, Rechtsmittel zu ergreifen – etwa indem die Beweislast auf Seiten der Betroffenen reduziert wird. Anderseits braucht es kollektive Rechtsmittel, um die für Betroffene anfallenden Hürden und Kosten weiter zu reduzieren und um der Tatsache gerecht zu werden, dass algorithmische Diskriminierung oft eine grosse Anzahl von Personen betrifft und für Betroffene schwer erkennbar ist.
7. Forschung und Debatte zu algorithmischer Diskriminierung fördern: Um die evidenzbasierte Debatte zu gesellschaftlichen Auswirkungen von Algorithmen zu fördern, sollten Behörden auf das Thema und die damit verbundenen Herausforderungen sensibilisiert werden und Kompetenzen dazu aufbauen. Auch die interdisziplinäre Forschung zu algorithmischer Diskriminierung muss gefördert werden. Dabei ist wichtig, die Herausforderungen nicht als eine rein technische zu verstehen und die Lösungsansätze nicht auf die technische Ebene zu begrenzen.
8. Betroffene einbeziehen: Betroffene von algorithmischen Systemen sollten bei der Entwicklung und dem Einsatz von Systemen, aber auch bei Folgenabschätzungen, in der öffentlichen Debatte und im politischen Entscheidungsprozess aktiv miteinbezogen werden.

Die Forderungen sind in unserem Positionspapier mit weiteren Ausführungen auffindbar.