
Einfach erklärt
Wie und warum Algorithmen diskriminieren
Automatisierte Entscheidungssysteme können diskriminieren. Wir erklären, welche Ursachen das hat, was in solchen Fällen passieren kann und warum die bestehenden Gesetze nicht ausreichend vor algorithmischer Diskriminierung schützen.

Automatisierte Entscheidungen, die auf Algorithmen beruhen, sind überall in unserer Gesellschaft zu finden. Die algorithmischen Systeme bearbeiten Steuererklärungen, bewerten Bewerbungen, schlagen uns Musik vor, leiten uns durch die Stadt, sagen Verbrechen voraus oder prognostizieren die Integrationschancen von Geflüchteten auf dem Arbeitsmarkt. Die von den Systemen getroffenen Entscheidungen wirken sich direkt auf das Leben von Menschen aus. Manche Menschen werden dabei diskriminiert.
Was sind die Ursachen für algorithmische Diskriminierung?
Algorithmische Systeme sind weder neutral noch objektiv. Sie reproduzieren dieselben Diskriminierungsmuster, die in der Gesellschaft existieren. Denn die Daten, die zum „Maschinellen Lernen“ der Systeme verwendet werden, stammen zwangsläufig aus der Vergangenheit. Wenn sie für Voraussagen verwendet werden, unterstellt das, dass zukünftige Handlungen den vergangenen gleichen. Die Daten spiegeln bestehende gesellschaftliche Verhältnisse wider. Sie könnten veraltet sein und Stereotype abbilden. Wenn etwa in einem Unternehmen weniger Frauen in Führungspositionen vertreten sind und ein Rekrutierungsalgorithmus mit den Daten der bestehenden Belegschaft trainiert wird, kann das System Frauen für Führungspositionen seltener berücksichtigen.
An der Entwicklung von solchen Entscheidungssystemen arbeitet eine recht homogene Gruppe von Menschen – in den meisten Fällen Weisse Männer. Wenn Entscheidungen zum Systemdesign von den Annahmen, Überzeugungen, Perspektiven und Vorurteilen solch einer überrepräsentierten Gruppe geprägt sind, kann sich das auf den Output der Systeme auswirken. Aber auch der Zweck und die Art und Weise, wie ein System eingesetzt wird, können Quelle von Diskriminierung sein: zum Beispiel, wenn ein System die Leistungen von Mitarbeitenden misst, aber dabei nicht die besonderen Bedürfnisse von Menschen mit Beeinträchtigungen berücksichtigt.
Wenn die Entscheidungen eines Systems insgesamt viele Menschen betreffen, sind potenziell auch viele Menschen von dessen diskriminierenden Folgen betroffen. Dieses besonders mit algorithmischer Diskriminierung verbundene Problem wird Skalierungseffekt genannt. Durch sogenannte Rückkopplungsschleifen können sich ausserdem bestehende Diskriminierungsmuster verstärken. Daten alter Kriminalstatistiken können beispielsweise bei einem algorithmischen System für vorausschauende Polizeiarbeit dazu führen, dass in bestimmten Nachbarschaften mehr patrouilliert wird als in anderen. Diese Statistiken wiederum können diskriminierende Annahmen widerspiegeln, indem sie beispielsweise ein niedriges Einkommensniveau in einer Nachbarschaft mit einer höheren Kriminalitätswahrscheinlichkeit gleichsetzen. Wenn dann aufgrund der Prognose eines Systems in einer Nachbarschaft die Polizei stärker präsent ist, steigt allerdings wiederum die Wahrscheinlichkeit, dass sie in diesem Gebiet auch mehr Verbrechen aufdeckt. Solche Voraussagen des Systems bestätigen sich wie bei einer selbsterfüllenden Prophezeiung selbst. Sie verstärken sich noch, wenn das System über einen längeren Zeitraum hinweg eingesetzt wird und Voraussagen auf der Grundlage von Ergebnissen eigener Voraussagen trifft.
Wenn Algorithmen in Bereichen eingesetzt werden, in denen bereits grosse Machtgefälle bestehen, ist das Risiko für ungerechte Entscheidungen und Diskriminierung besonders gross – seien es Machtgefälle zwischen Bewerber*innen und Unternehmen, Arbeitnehmenden und Arbeitgeber*innen, Verdächtigen und der Polizei, Flüchtenden und Grenzschutzbehörden, Empfänger*innen von Sozialhilfe und Ämtern, Schüler*innen und Lehrkräften oder einzelnen Nutzer*innen und Social-Media-Plattformen. Es gibt in solchen Konstellationen eine Seite, die von den Entscheidungen der anderen Seite abhängig ist. Wenn die Seite, die mit mehr Macht ausgestattet ist, Entscheidungen durch oder mithilfe von Algorithmen fällt, wissen die Betroffenen es meistens nicht. Sie sind diesen Entscheidungen ausgeliefert und können sich durch das Machtgefälle kaum dagegen wehren.
Fallbeispiele für algorithmische Diskriminierung: Kindergeld, Arbeitswelt, Risiko-Scores, Strafverfolgung
Auch der Staat setzt algorithmische Systeme ein, die Menschen diskriminieren können. In den Niederlanden wurde im Jahr 2019 bekannt, dass die dortigen Steuerbehörden einen selbstlernenden Algorithmus zur Erstellung von Risikoprofilen verwendet hatten, um Betrugsfälle bei einem Kindergeldzuschlag aufzudecken. Ein blosser Verdacht, der auf den Risikoindikatoren des Systems beruhte, reichte den Behörden, um Familien wegen Betrug zu bestrafen. Zehntausende Familien – oft mit einem geringen Einkommen oder Angehörige „ethnischer Minderheiten“ mit doppelter Staatsbürgerschaft – mussten über Jahre erhaltene Kindergeldzuschläge zurückzahlen, versanken dadurch in Schulden und ein Grossteil von ihnen verarmte. Mehr als tausend Kinder mussten deswegen in Pflegefamilien untergebracht werden. Die niederländische Datenschutzbehörde kam später zum Schluss, dass die Verarbeitung der Daten durch das eingesetzte System diskriminierend war.
Algorithmische Diskriminierung in der Arbeitswelt kann schon bei Stellenanzeigen anfangen. Eine Recherche von AlgorithmWatch beweist, dass Gender-Stereotypen bestimmen, wie auf Facebook Stellenausschreibungen angezeigt werden: Stellenanzeigen für Lastwagenfahrer*innen wurden viel häufiger Männern angezeigt, Anzeigen für Kinderbetreuer*innen viel häufiger Frauen. Algorithmen werden auch zum Sortieren und Auswählen von Lebensläufen eingesetzt oder um Arbeitnehmer*innen Anweisungen zu geben. Wenn der Algorithmus zum „Boss“ wird, ist oft unklar, wie Entscheidungen über Beförderungen oder Entlassungen zustande kommen. So eine Intransparenz ist ein Nährboden für diskriminierende Entscheidungen.
In Deutschland geben Unternehmen wie die Schufa Auskunft darüber, wie „kreditwürdig“ Menschen sind. Sie berechnen dazu Risiko-Scores, mit denen Banken oder andere Unternehmen entscheiden, ob sie einen Kredit an jemanden vergeben oder einen Vertrag mit jemandem abschliessen. Solche Entscheidungen können enorme Auswirkungen auf Personen haben, wenn ihnen unbegründet die Möglichkeit genommen wird, einen Kredit aufzunehmen oder eine Versicherung abzuschliessen. Aber niemand weiss, wie die Risiko-Scores errechnet werden und ob es rein automatisch geschieht. Diese Intransparenz hat nicht nur ein grosses Diskriminierungspotenzial, sondern ist auch rechtlich problematisch. Das europäische Datenschutzrecht besagt nämlich, dass Entscheidungen mit rechtlichen Auswirkungen für Menschen nicht rein automatisiert getroffen werden dürfen. Der Europäische Gerichtshof hat entschieden: Wenn der Schufa-Score einer Person massgeblich die Entscheidung eines Unternehmens über sie beeinflusst, dann gilt das als automatisierte Entscheidung.
In der Strafverfolgung berechnen Polizei und Gerichte mit Hilfe von algorithmischen Systemen die Wahrscheinlichkeit der Rückfallrate von Straftäter*innen. Die Daten, die dazu in algorithmische Systeme eingespeist werden, stellen die Realität allerdings meistens nur verzerrt dar. Wenn etwa die Zahl der generellen Polizeikontakte als Indikator für die Rückfallwahrscheinlichkeit gilt (im Sinne von: je mehr Polizeikontakte, desto wahrscheinlicher eine erneute Straftat), können dadurch Schwarze Menschen diskriminiert werden. Manche Polizist*innen praktizieren nämlich „racial profiling“ und kontrollieren viel häufiger Schwarze als Weisse. Wenn Schwarze häufiger unbegründet in Fahrzeugkontrollen geraten, erhöht sich dadurch die Zahl ihrer Kontakte mit der Polizei. Die Rückfall-Scores bilden die Grundlage dafür, wie hoch die Auflagen für Straftäter*innen nach der Haftentlassung sind. Sie werden diskriminiert, wenn der automatisiert ermittelte Score, auf dem die polizeilichen oder gerichtlichen Entscheidungen beruhen, wegen „racial profiling“ höher ausfällt und die Straftäter*innen deswegen mit besonders hohen Auflagen zurechtkommen müssen.
Der Schutz gegen Diskriminierung in der Schweiz
In der Schweiz wird Diskriminierung im Rahmen des Diskriminierungsverbots der Bundesverfassung (Art. 8 Abs. 2 BV) als Ungleichbehandlung von Personen aufgrund eines geschützten Merkmals ohne Rechtfertigung durch einen sachlichen Grund definiert. Eine Ungleichbehandlung ist gegeben, wenn eine Person oder eine Personengruppe eine im Vergleich mit einer anderen Person oder Personengruppen schlechtere Behandlung erfährt, obwohl sie sich in derselben oder in einer vergleichbaren Situation befindet. Die Bundesverfassung nennt in Art. 8 Abs. 2 BV biologische Merkmale («Rasse», Geschlecht, Alter, körperliche, geistige oder psychische Behinderung) wie auch kulturelle oder anderweitige Merkmale (Herkunft, Sprache, soziale Stellung, Lebensform, religiöse, weltanschauliche oder politische Überzeugung). Diese Aufzählung ist bewusst nicht abschliessend, da neue Gruppen, die systematischer Ausgrenzung ausgesetzt sind, erkannt werden und neue Abgrenzungsmechanismen entstehen können. Vor Diskriminierung geschützt sind generell stigmatisierte gesellschaftliche Gruppen. Zwei weitere Absätze des Artikels 8 der Bundesverfassung verlangen die Gleichstellung von Frauen und Männern in allen Lebenssituationen (Art. 8 Abs. 3 BV) und die Bekämpfung der Benachteiligung von Menschen mit Behinderungen (Art. 8 Abs. 4 BV).
Das Diskriminierungsverbot betrifft grundsätzlich nur staatliche Akteure; ein allgemeines Diskriminierungsverbot für Private fehlt in der Schweiz. Aus dem Diskriminierungsverbot der Bundesverfassung folgt zwar eine grundrechtliche Schutzpflicht des Staates, Diskriminierung auch zwischen Privaten zu verhindern (Art. 8 Abs. 2 i.V.m. Art. 35 Abs. 3 BV). Jedoch existiert kein allgemeines Gesetz, das in genereller Weise Diskriminierung durch Private untersagt. Es fehlen gesetzliche Mittel, um auch gegen Diskriminierung durch algorithmische Systeme von privaten Akteuren vorzugehen.
Der bestehende Schutz gegen Diskriminierung reicht bei algorithmischer Diskriminierung also nicht aus. Neben dem Skalierungseffekt und Rückkopplungsschleifenweist auch der Einsatz sogenannter Proxy-Variablen auf Gesetzeslücken hin. In automatisierten Entscheidungssystemen können stellvertretend für geschützte Merkmale Proxy-Variablen als Entscheidungsgrundlage genutzt werden. So dürfte ein System, das Bewerbungen verwaltet, zwar keine Personen auf der Grundlage ihres Alters ablehnen, da Alter ein geschütztes Merkmal ist. Als Proxy-Variable könnte das System aber die Dauer der bisherigen Berufserfahrung nutzen, um dennoch ältere Menschen zu identifizieren und aus dem Bewerbungsprozess auszuschliessen.
Auch bei der Durchsetzung des Diskriminierungsverbots stellt algorithmische Diskriminierung uns vor neue Herausforderungen. Es ist nämlich schwierig, die betroffenen Personen zu identifizieren. Sie wissen nämlich meistens nicht, dass sie durch automatisierte Entscheidungen diskriminiert werden.