Was ist algorithmische Diskriminierung?
Diskriminierung durch Algorithmen und Künstliche Intelligenz (KI): Wir geben einen Überblick über das Thema.
Algorithmische Systeme können Entscheidungen treffen, die Menschen diskriminieren, sei es bei der Vergabe von Sozialleistungen oder bei der Jobsuche. Wenn die Systeme auf der Grundlage von Daten Entscheidungen treffen, in denen Vorurteile stecken, fliessen diese Vorurteile in die Entscheidungen ein – wenn nichts dagegen getan wird. Weitere Quellen von Diskriminierung können die Annahmen sein, die in die Entwicklung eines Modells einfliessen, dessen Zweck oder auch die Art und Weise, wie ein System verwendet wird. Das ist dann der Fall, wenn zum Beispiel ein Gesichtserkennungssystem vor allem Schwarze Personen identifiziert oder wenn ein System die Leistungen von Mitarbeitenden misst und dabei nicht die besonderen Bedürfnisse von Menschen mit Behinderungen berücksichtigt. Technisch gesteuerte Entscheidungen liefern also nicht zwangsläufig „neutralere“ oder „objektivere“ Ergebnisse, denn die Systeme selbst sind nicht neutral. Menschen mit ihren Annahmen und Interessen beeinflussen die Entwicklung und den Einsatz der Systeme.
Oft diskriminieren algorithmische Systeme Menschen, die ohnehin schon benachteiligt werden. Prinzipiell können aber alle betroffen sein. Schwarze Menschen werden durch Systeme benachteiligt, die Bewährungsmassnahmen für Straftäter*innen ermitteln; Personen aus ärmeren Wohnvierteln werden bei der Kreditvergabe als risikoreicher eingestuft; Frauen können in automatisierten Bewerbungsprozessen wegen ihres Geschlechts trotz vorhandener Qualifizierung von Algorithmen aussortiert werden. Die Folgen der Diskriminierung bleiben meistens unbemerkt, wenn nicht sichtbar ist, wie automatisierte Entscheidungen zustande kommen. Betroffene können sich aus diesem Grund oft nicht dagegen wehren.
