Algorithmenbasierte Diskriminierung in Job-Auswahlverfahren vermeiden

Wie lassen sich aus einem grossen Bewerbungspool die am besten geeigneten Kandidat*innen finden? Bewerbungs- und Einstellungsprozesse sind eine Herausforderung und mit viel Aufwand verbunden. Da liegt der Wunsch nahe, bei diesen Prozessen einen Teil der Arbeit algorithmischen Entscheidungssystemen zu überlassen. Mit solchen ADM-Systemen (ADM steht für automated decision-making) können beispielsweise Bewerbungen mittels der Lebensläufe vorsortiert oder Rangfolgen von Bewerbenden mithilfe von Online-Tests erstellt werden. Ihr Einsatz verspricht, Zeit zu sparen und die Effektivität zu steigern, und trotzdem die besten Bewerbenden zu finden. Die bisherigen Erfahrungen mit ihnen haben aber gezeigt, dass bei ihrer Anwendung Diskriminierungsmuster reproduziert und diskriminierende Hürden auf dem Arbeitsmarkt sogar noch vergrößert werden können. 

Eines der bekanntesten Beispiele dafür ist eine Bewerbungssoftware, die Amazon entwickelt haben soll. Sie sollte Einstellungsprozesse effizienter machen. Noch in der Testphase der Software stellte sich aber Berichten zufolge heraus, dass der Empfehlungsalgorithmus der Software Frauen diskriminierte, indem ihre Lebensläufe aussortiert wurden. Amazon beendete das Projekt nach eigener Aussage, bevor die Software zum Einsatz kam, da Versuche, die Benachteiligung von Frauen abzustellen, keinen Erfolg hatten.

Was muss bei der Entwicklung und beim Einsatz von Personalauswahl-Software beachtet werden, damit Diskriminierung von Beginn an ausgeschlossen ist? In dem Projekt FINDHR – Fairness and Intersectional Non-Discrimination in Human Recommendation sollen Antworten auf diese Frage erarbeitet werden. Das EU-geförderte Projekt hat zum Ziel, mit einem kontextsensitiven Ansatz faire Algorithmen für die Personalauswahl zu entwickeln. Bei diesem Ansatz werden nicht nur die technischen Aspekte von ADM-Systemen berücksichtigt, sondern beispielsweise auch der Kontext der Entstehung oder die sozialen Folgen, die sich aus ihrem Einsatz ergeben. Das interdisziplinäre und internationale Forschungskonsortium, zu dem AlgorithmWatch CH gehört, arbeitet seit November 2022 an neuen Instrumenten, die: (1) Diskriminierungsrisiken messen, (2) fairnessbewusste Rankings und Interventionen erstellen sowie (3) verschiedenen Interessengruppen Interpretationen bereitstellen, die sie als Handlungsgrundlage nutzen können. Darüber hinaus werden neue technische Anleitungen für die Durchführung von Folgeabschätzungen und algorithmischen Audits, ein Protokoll für die Überwachung von Gleichstellung und ein Leitfaden für die Entwicklung von fairnessorientierter ADM-Software erarbeitet. Die Konzeption und Durchführung spezieller Schulungen für Entwickler*innen und Prüfer*innen von ADM-Systemen wird ein weiteres Projektziel sein.

Die Entwicklung diskriminierungssensibler KI-Anwendungen erfordert die Verarbeitung sensibler Daten. Deshalb wird das Projekt eine rechtliche Analyse beinhalten, in der die Spannungen zwischen den Datenschutzvorschriften und den Antidiskriminierungsvorschriften in Europa erörtert werden. In dem Projekt werden potenziell von Diskriminierung betroffene Gruppen einbezogen werden.

AlgorithmWatch CH wird sich gemeinsam mit anderen Projektpartner*innen auf die Entwicklung von Werkzeugen konzentrieren, die sicherstellen, dass der Einsatz von Algorithmen in Personalauswahlverfahren auf ethischen Grundsätzen beruht und keine diskriminierenden Vorurteile reproduziert. Zudem wird AlgorithmWatch CH mit seiner evidenzbasierten Policy-Arbeit zum Projekt beitragen und es mit Kommunikationsmassnahmen unterstützen.

Alle Ergebnisse werden als Open-Access-Publikationen, Open-Source-Software, offene Datensätze und offene Kursunterlagen veröffentlicht werden. Wir werden regelmässig in den Social Media-Kanälen und auf der Website von AlgorithmWatch CH dazu berichten.

Diese Partner sind am Projekt FINDHR beteiligt:

• Universitat Pompeu Fabra
• Universiteit van Amsterdam
• Universitá di Pisa
• May-Planck-Institut für Sicherheit und Privatsphäre
• Radboud Universiteit
• Erasmus Universiteit Rotterdam
• Women in Development Europe+
• Praksis Association
• European Trade Union Confederation
• Eticas Research and Consulting
• Randstadt
• Adevinta

This article is part of a project that has received funding from the European Union's Horizon Europe research and innovation program under grant agreement No 101070212.

Views and opinions expressed are however those of the author(s) only and do not necessarily reflect those of the European Union. Neither the European Union nor the granting authority can be held responsible for them.

This work is supported by the Swiss State Secretariat for Education, Research and Innovation (SERI) under contract number 22.00151.