Schutz vor Diskriminierung: Rahmenbedingungen für die automatisierte Personalauswahl

Zwei Bewerbungen, gleiche Qualifikationen, ähnliche Erfahrungen – und doch wird die eine Bewerbung der anderen gegenüber bevorzugt, da der Name weniger «fremd» klingt: Das hat ein Experiment von Bloomberg aus dem Jahr 2024 gezeigt. Es kommt zum Schluss, dass generative KI-Modelle wie GPT 3.5 bei der Bewertung von Bewerbungen diskriminierende Muster reproduzieren können. Namen, die Assoziationen mit bestimmten Bevölkerungsgruppen wecken, wurden im Bloomberg-Experiment häufiger bevorzugt. Wenn gewisse Namen bevorzugt werden, werden andere benachteiligt. Wenn algorithmische Systeme diskriminierende Muster reproduzieren oder verschärfen, sind davon allerdings nicht nur einzelne Personen betroffen. Das System kann ganze Gruppen benachteiligen, und das in grossem Massstab. Da die Entscheidungslogik solcher Systeme oft unbekannt ist, lässt sich schwer nachvollziehen, warum manche Bewerber*innen für eine Stelle oder Beförderung als geeignet eingestuft werden und andere nicht.

Auch in der Schweiz werden algorithmische und KI-basierte Systeme immer öfter in der Personalauswahl verwendet. So nutzen zum Beispiel die SBB zur Auswahl von Bewerbungen einen Algorithmus, der automatisierte Entscheidungen trifft. Anhand von Fragen wird festgestellt, ob die Kandidat*innen bestimmte Kriterien erfüllen. Auch die Schweizerische Post nutzt ein KI-System, das einen Pool von Bewerber*innen mit einem Stellenprofil matchen soll. Oft bleibt aber die automatisierte Personalauswahl eine Blackbox: Bewerber*innen wissen nicht, wann ihre Bewerbung von einem KI-System analysiert wird und welchen Einfluss dieses auf die finale Entscheidung hat.

Wie regelt das Schweizer Recht die automatisierte Personalauswahl?

Das Schweizer Recht sieht nur punktuell Garantien gegen die Risiken vor, die mit dem Einsatz von KI im Bereich der Personalbeschaffung verbunden sind. Das Datenschutzgesetz (DSG) und das Obligationenrecht (OR) regeln, wie der Arbeitgeber Daten in Arbeitsverhältnissen erheben und verarbeiten darf. Auch vor der Einstellung darf er Daten über Bewerber*innen nur insofern bearbeiten, wenn es darum geht, ihre Eignung für die Stelle und die damit verbundenen Aufgaben zu beurteilen (Art. 328b OR). Das bedeutet beispielsweise auch, dass der Arbeitgeber nur Informationen aus Social Media und Suchmaschinen berücksichtigen darf, deren Erhebung verhältnismässig und für die Stelle erforderlich ist.

Bei einer vollständig automatisierten Entscheidung muss der Arbeitgeber gemäss Art. 21 DSG grundsätzlich die betroffene Person über diese Entscheidung informieren. Allerdings trifft dies nicht zu, wenn es um die automatisierte Bearbeitung im Rahmen einer Vorselektion von Bewerber*innen innerhalb des Rekrutierungsprozesses und eine automatisierte Zu- oder Absage für ein erstes Bewerbungsgespräch geht. Dies fällt gemäss einer Analyse des Bundesrates nicht unter den Begriff einer vollautomatisierten Entscheidung, da die daraus folgende Entscheidung weder mit einer Rechtsfolge noch einer erheblichen Beeinträchtigung i.S.v. Art. 21 Abs. 1 DSG verbunden sei (sektorielle Analyse, S. 26).

Wenn der Verdacht auf eine geschlechtsspezifische Diskriminierung bei der Personalauswahl besteht, haben Bewerber*innen zudem Anspruch auf eine detaillierte Erklärung des Entscheids. (Art. 8 Abs. 1 GlG). Dies betrifft aber nur die Diskriminierung aufgrund des Geschlechts und nicht die Diskriminierung aufgrund anderer geschützter Merkmale, die in Art. 8 Abs 2 der Bundesverfassung vorgesehen sind, wie beispielsweise die Herkunft, die «Rasse» oder die soziale Stellung. Nach Art. 328 OR ist es jedoch verboten, Bewerber*innen bei der Einstellung aufgrund eines dieser Merkmale zu diskriminieren. Wenn die Rekrutierung aber durch Algorithmen erfolgt, wissen Bewerber*innen dies oft gar nicht und können sich entsprechend kaum auf diese rechtlichen Garantien berufen.

Im Rahmen seiner Auslegeordnung zur KI-Regulierung hat der Bundesrat die Herausforderungen von KI in Bezug auf Transparenz, Nichtdiskriminierung und Datenschutz analysiert, auch im Bereich der Personalbeschaffung (Auslegeordnung, S 11). Er hat den Regulierungsbedarf anerkannt und bereitet bis Ende 2026 entsprechende Gesetzesentwürfe vor. Diesen Regulierungsprozess stellen wir in unserem Leitfaden vor.

Wie kann Automatisierung in der Personalauswahl besser reguliert werden?

Im Horizon-Europe-Projekt «FINDHR – Fairness and Intersectional Non-Discrimination in Human Recommendation» haben wir mit einem europäischen, interdisziplinären Konsortium aus Wissenschaft, Industrie und Zivilgesellschaft Empfehlungen und Lösungsansätze dazu erarbeitet. Daraus ist unter anderem ein Toolkit für Policymaker entstanden, welches folgende Handlungsempfehlungen enthält.

KI-basierte Personalbeschaffungssysteme entlang ihres gesamten Lebenszyklus systematisch testen, überprüfen und bewerten

• Bevor KI-Rekrutierungssysteme auf den Markt gebracht werden, sollten sie in der Entwicklungsphase ausführlich auf Risiken getestet werden. Dies sollte idealerweise auch eine externe Überprüfung durch unabhängige Forscher*innen und Aufsichtbehörden beinhalten.
• Zudem sollte eine Grundrechte-Folgenabschätzung vor dem Einsatz eines KI-Systems obligatorisch und zur Standardpraxis werden. Dazu gehört auch, die Systeme auf potenzielle Risiken für Diskriminierung zu evaluieren. Auch regelmässige Audits der Rekrutierungsalgorithmen durch unabhängige Expert*innen sollten obligatorisch sein, einschliesslich Abschätzungen hinsichtlich der Fairness, Verzerrungen und Ungleichheiten sowie der möglichen sozialen Auswirkungen. Schliesslich sollte jede Regulierung von KI ausdrücklich vorschreiben, KI-Systeme auf Diskriminierung zu überprüfen, während sie real im Einsatz sind (Monitoring).

Transparenz, Datenschutz und Selbstbestimmung im Einstellungsprozess wahren

• Es muss klar definiert werden, welche Daten (Inhalte, Online-Profile, personenbezogene Daten) für die Bewertung von Kandidat*innen in einer bestimmten Branche aus rechtlicher Sicht erfasst und bearbeitet werden dürfen. Arbeitgeber müssen transparent machen, wenn sie solche Daten verwenden, auch wenn diese von Rekrutierungsplattformen stammen. Wenn sie beispielsweise Persönlichkeitstests oder -bewertungen einsetzen, müssen sie aufzeigen, inwiefern ihre Modelle mit den Datenschutzbestimmungen vereinbar sind.
• Zudem sollten Personalverantwortliche verpflichtet werden offenzulegen, wenn sie algorithmische Systeme in Einstellungsprozessen einsetzen und wie sie dies tun. Relevante Informationen zum System müssen sie für Betroffene zugänglich machen.

Die Verwendung sensibler Daten zur Minderung von Diskriminierungsrisiken muss rechtlich geklärt werden

• Um wirksam beurteilen zu können, ob ein KI-Rekrutierungssystem diskriminierende Ergebnisse liefert, müssen in der Regel bestimmte personenbezogene Daten wie Alter und Geschlecht verarbeitet werden, aber auch besonders schützenswerte Personendaten wie die ethnische Zugehörigkeit oder sexuelle Orientierung. Ohne solche Informationen ist es schwierig, Diskriminierung – etwa gegenüber Minderheiten – zuverlässig zu erkennen; alternative Methoden ohne personenbezogene Daten sind meist weniger genau und wirksam. Gleichzeitig müssen sensible Daten geschützt werden. Es braucht rechtliche Klarheit, wie mit diesem Dilemma zwischen Anti-Diskriminierungsmassnahmen und Datenschutz umzugehen ist. Letztlich müssen sinnvolle Rahmenbedingungen ermöglichen, Systeme effizient und über den Lebenszyklus hinweg auf Diskriminierung zu überprüfen – ohne dass dabei die Rechte von Bewerber*innen verletzt werden, wenn es um ihre sensiblen Daten geht.

Betroffene Personen brauchen mehr und wirksamere Rechte und Rechtsbehelfungsmechanismen

• Dazu gehört das Recht, informiert zu werden, wenn algorithmische Systeme verwendet und wenn persönliche Daten bearbeitet werden. Ebenfalls sollten Betroffene das Recht haben auf eine angemessene Erklärung von auf Algorithmen gestützten Entscheidungen. Arbeitssuchende sollten über praktische und formelle Mittel verfügen, um zu verlangen, dass die Entscheidung von Menschen überprüft wird, und um diese Entscheidung anzufechten. Sie müssen zudem auch ablehnen können, dass personenbezogene Daten erhoben, verarbeitet oder weitergegeben werden. Und nicht zuletzt sollten sie Personalvermittler*innen für Fehlverhalten zur Rechenschaft ziehen können.
• Da algorithmische Diskriminierung oft eine systematische Dimension hat und in hohem Masse skalierbar ist, ist es für Einzelpersonen schwierig zu beweisen, dass sie diskriminiert wurden. Entsprechend müssen leicht zugängliche Rechtsbehelfsmechanismen für Einzelpersonen geschaffen werden, um dem entgegenzuwirken. Zudem sind auch kollektive Rechtsbehelfe erforderlich, wie beispielsweise das Recht auf Vertretung bei der Einreichung von Beschwerden oder die Möglichkeit für gemeinnützige Organisationen, Beschwerden bei den nationalen Kontrollbehörden einzureichen.

Intersektionale Diskriminierung soll im Gesetz angemessen berücksichtigt werden

• Intersektionale Diskriminierung entsteht, wenn die Kombination mehrerer persönlicher Merkmale – etwa Geschlecht, Alter, Religion, Herkunft oder sexuelle Orientierung – zu neuen Formen der Benachteiligung führt oder bestehende Diskriminierungen verstärkt. Das Gesetz sollte dieses Phänomen ausdrücklich und angemessen berücksichtigen.

Unterschiedliche Perspektiven einbeziehen

• Verschiedene Stakeholder einzubeziehen, ist entscheidend, um Diskriminierungsrisiken zu verringern: Von Diskriminierung betroffene Personen müssen in die Entwicklung, Gestaltung, Nutzung und Evaluation von KI-Einstellungssystemen einbezogen werden, damit ihre Situation, ihre Perspektiven und ihre Bedürfnisse angemessen berücksichtigt werden können. Eine solche Beteiligung wird auch für alle anderen relevanten Stakeholder empfohlen, die an den algorithmischen Einstellungsprozessen beteiligt sind, wie z.B. Rechtsanwält*innen, Personalverantwortliche, Ethikberater*innen, Software Entwickler*innen usw.
• Die Ergebnisse von Tests, Prüfungen und Audits von KI-Einstellungssystemen, die darauf abzielen, Diskriminierung zu erkennen und zu mindern, sollten von interdisziplinären Teams analysiert werden.
• Das Bewusstsein für potenzielle Diskriminierungsrisiken bei der KI-gestützten Personalauswahl sollte proaktiv geschärft werden. Entsprechend müssen innerhalb von Organisationen, die KI entwickeln oder die sie im Recruiting einsetzen, Kompetenzen aufgebaut werden, um diese Risiken zu reduzieren.

Neben Rahmenbedingungen auf politischer Ebene sind auch Massnahmen in der Softwareentwicklung sowie in den Personalabteilungen, die KI einsetzen, wichtig, um Bewerbende besser vor Diskriminierung zu schützen. In zwei weiteren FINDHR Toolkits zeigen wir auf, wie Software-Entwickler*innen, HR- und Personalverantwortliche Diskriminierung durch KI-Systeme am Arbeitsplatz gezielt reduzieren können. Weitere Empfehlungen, um den Schutz vor Diskriminierung durch Algorithmen und KI generell – über den Bereich der Personalauswahl hinaus – zu stärken, fassen wir in unserem Positionspapier «Schutz vor algorithmischer Diskriminierung» zusammen.