Protection contre la discrimination: conditions-cadres pour la sélection automatisée du personnel

Deux candidatures, mêmes qualifications, expériences similaires, et pourtant, l'une est préférée à l'autre parce que son nom semble moins «étranger»: c'est ce qu'a montré une expérience menée par Bloomberg en 2024. Elle conclut que les modèles d'IA générative tels que GPT 3.5 peuvent reproduire des schémas discriminatoires lors de l'évaluation des candidatures. Les noms qui évoquent des associations avec des groupes de population spécifiques ont été plus souvent privilégiés dans l'expérience de Bloomberg. Lorsque certains noms sont privilégiés, d'autres sont désavantagés. Cependant, lorsque les systèmes algorithmiques reproduisent ou exacerbent des schémas discriminatoires, cela ne touche pas seulement des individus isolés. Le système peut désavantager des groupes entiers, et ce à grande échelle. La logique de prise de décision de ces systèmes étant souvent inconnue, il est difficile de comprendre pourquoi certain·e·s candidat·e·s sont jugé·e·s aptes à occuper un poste ou à obtenir une promotion et d'autres non.

En Suisse aussi, les systèmes algorithmiques et basés sur l'IA sont de plus en plus utilisés dans la sélection du personnel. Les CFF, par exemple, utilisent un algorithme qui prend des décisions automatisées pour sélectionner les candidatures. Une série de questions permet de déterminer si les candidat·e·s répondent à certains critères. La Poste suisse utilise également un système d'IA destiné à mettre en correspondance un pool de candidat·e·s avec un profil de poste. La sélection automatisée du personnel reste cependant souvent une boîte noire: les candidat·e·s ne savent pas quand leur candidature est analysée par un système d'IA ni quelle influence celui-ci a sur la décision finale.

Comment le droit suisse réglemente-t-il la sélection automatisée du personnel?

Le droit suisse ne prévoit que des garanties ponctuelles contre les risques liés à l'utilisation de l'IA dans le domaine du recrutement. La loi sur la protection des données (LPD) et le code des obligations (CO) régissent la manière dont l'employeur peut collecter et traiter les données dans le cadre des relations de travail. Même avant l'embauche, il peut uniquement traiter les données des candidat·e·s si cela est nécessaire pour évaluer leur aptitude à occuper le poste et à accomplir les tâches qui y sont liées (art. 328b CO). Cela signifie par exemple que l'employeur ne peut prendre en compte que les informations provenant des réseaux sociaux et des moteurs de recherche dont la collecte est proportionnée et nécessaire pour le poste.

En cas de décision entièrement automatisée, l'employeur doit, conformément à l'art. 21 LPD, informer la personne concernée de cette décision. Toutefois, cela ne s'applique pas au traitement automatisé dans le cadre d'une présélection de candidat·e·s au cours du processus de recrutement et à une acceptation ou un refus automatisé pour un premier entretien d'embauche. Selon une analyse du Conseil fédéral, cela ne relève pas de la notion de décision entièrement automatisée, car la décision qui en résulte n'est associée ni à une conséquence juridique ni à une atteinte importante au sens de l'art. 21, al. 1, LPD (analyse sectorielle, p. 26).

En cas de suspicion de discrimination fondée sur le sexe lors de la sélection du personnel, les candidat·e·s ont également droit à une explication détaillée de la décision (art. 8, al. 1, LEg). Cela ne concerne toutefois que la discrimination fondée sur le sexe et non la discrimination fondée sur d'autres caractéristiques protégées prévues à l'art. 8, al. 2, de la Constitution fédérale, telles que l'origine, la «race» ou la position sociale. Selon l'art. 328 CO, il est toutefois interdit de discriminer les candidat·e·s lors du recrutement sur la base de l'un de ces critères. Mais lorsque le recrutement est effectué à l'aide d'algorithmes, les candidat·e·s n'en ont souvent pas conscience et peuvent donc difficilement invoquer ces garanties juridiques.

Dans le cadre de son état des lieux sur la réglementation de l'IA, le Conseil fédéral a analysé les défis posés par l'IA en matière de transparence, de non-discrimination et de protection des données, y compris dans le domaine du recrutement (état des lieux, p. 11). Il a reconnu la nécessité d'une réglementation et prépare des projets de loi à cet effet d'ici fin 2026. Nous présentons ce processus de réglementation dans notre guide.

Comment mieux réglementer l'automatisation dans la sélection du personnel?

Dans le cadre du projet Horizon Europe «FINDHR – Fairness and Intersectional Non-Discrimination in Human Recommendation», nous avons élaboré des recommandations et des solutions avec un consortium européen interdisciplinaire composé de représentant·e·s des milieux scientifiques, industriels et de la société civile. Cela a notamment donné lieu à la création d'une boîte à outils pour les décisionnaires politiques, qui contient les recommandations suivantes.

Tester, contrôler et évaluer systématiquement les systèmes de recrutement basés sur l'IA tout au long de leur cycle de vie

• Avant d'être commercialisés, les systèmes de recrutement basés sur l'IA devraient faire l'objet de tests approfondis visant à évaluer les risques pendant leur phase de développement. Idéalement, cela devrait également inclure un examen externe par des chercheur·e·s indépendant·e·s et des autorités de contrôle.
• En outre, une analyse d'impact sur les droits fondamentaux devrait devenir obligatoire et constituer une pratique normalisée avant toute utilisation d'un système d'IA. Cela implique également d'évaluer les risques potentiels de discrimination liés à ces systèmes. Des audits réguliers des algorithmes de recrutement par des expert·e·s indépendant·e·s devraient également être obligatoires, y compris des évaluations de l'équité, des biais et des inégalités, ainsi que des éventuelles répercussions sociales. Enfin, toute réglementation de l'IA devrait expressément prescrire de contrôler les systèmes d'IA afin de détecter toute discrimination pendant leur utilisation réelle (monitoring).

Garantir la transparence, la protection des données et l'autodétermination dans le processus de recrutement

• Il convient de définir clairement quelles données (contenus, profils en ligne, données à caractère personnel) peuvent être collectées et traitées d'un point de vue juridique pour l'évaluation des candidat·e·s dans un secteur donné. Les employeurs doivent faire preuve de transparence lorsqu'ils utilisent de telles données, même si celles-ci proviennent de plateformes de recrutement. S'ils ont recours à des tests ou à des évaluations de personnalité, par exemple, ils doivent démontrer dans quelle mesure leurs modèles sont compatibles avec les dispositions relatives à la protection des données.
• En outre, les responsables des ressources humaines devraient être tenus de divulguer s'ils utilisent des systèmes algorithmiques dans les processus de recrutement et comment ils le font. Ils doivent mettre les informations pertinentes sur le système à la disposition des personnes concernées.

Clarifier l'utilisation de données sensibles pour réduire les risques de discrimination sur le plan juridique

• Pour pouvoir évaluer efficacement si un système de recrutement basé sur l'IA produit des résultats discriminatoires, il faut généralement traiter certaines données personnelles telles que l'âge et le genre, mais aussi des données particulièrement sensibles telles que l'origine ethnique ou l'orientation sexuelle. Sans ces informations, il est difficile de détecter de manière fiable la discrimination, par exemple à l'égard des minorités; les méthodes alternatives qui ne recourent pas aux données personnelles sont généralement moins précises et moins efficaces. Dans le même temps, les données sensibles doivent être protégées. Il faut clarifier sur le plan juridique la manière de gérer ce dilemme entre les mesures de lutte contre la discrimination et la protection des données. En fin de compte, des conditions-cadres appropriées doivent permettre de contrôler efficacement les systèmes tout au long de leur cycle de vie afin de détecter toute discrimination, sans pour autant porter atteinte aux droits des candidat·e·s en matière de données sensibles.

Doter les personnes concernées de davantage de droits et de mécanismes de recours plus efficaces

• Cela comprend le droit d'être informé·e lorsque des systèmes algorithmiques sont utilisés et lorsque des données à caractère personnel sont traitées. Les personnes concernées devraient également avoir le droit d'obtenir une explication appropriée des décisions fondées sur des algorithmes. Les personnes en recherche d’emploi devraient disposer de moyens pratiques et formels pour demander que la décision soit réexaminée par des personnes et pour la contester. Elles doivent également pouvoir refuser que leurs données personnelles soient collectées, traitées ou transmises. Enfin, elles devraient pouvoir demander des comptes aux personnes en charge du recrutement en cas de faute professionnelle.
• La discrimination algorithmique ayant souvent une dimension systématique et étant largement modulable, il est difficile pour les personnes de prouver qu’elles ont été discriminées. Il convient donc de mettre en place des mécanismes de recours facilement accessibles aux individus afin de lutter contre ce phénomène. Des recours collectifs sont également nécessaires, tels que le droit à être représenté lors du dépôt d'une plainte ou la possibilité pour les organisations à but non lucratif de déposer des plaintes auprès des autorités nationales de contrôle.

Prendre en compte la discrimination intersectionnelle de manière appropriée dans la loi

• La discrimination intersectionnelle survient lorsque la combinaison de plusieurs caractéristiques personnelles, telles que le genre , l'âge, la religion, l'origine ou l'orientation sexuelle, entraîne de nouvelles formes de discrimination ou renforce les discriminations existantes. La loi devrait tenir compte de ce phénomène de manière explicite et appropriée.

Intégrer différentes perspectives

• Il est essentiel d'impliquer différentes parties prenantes afin de réduire les risques de discrimination: les personnes concernées par la discrimination doivent être associées au développement, à la conception, à l'uilisation et à l'évaluation des systèmes de recrutement basés sur l'IA afin que leur situation, leurs perspectives et leurs besoins puissent être pris en compte de manière appropriée. Une telle participation est également recommandée pour toutes les autres parties prenantes qui interviennent dans les processus de recrutement algorithmiques, telles que les avocat·e·s, les responsables des ressources humaines, les conseiller·ère·s en éthique, les développeur·euse·s de logiciels, etc.
• Les résultats des tests, contrôles et audits des systèmes de recrutement basés sur l'IA visant à détecter et à réduire la discrimination devraient être analysés par des équipes interdisciplinaires.
• Il convient de sensibiliser de manière proactive aux risques potentiels de discrimination liés à la sélection du personnel assistée par l'IA. Par conséquent, les organisations qui développent l'IA ou l'utilisent dans le cadre du recrutement doivent acquérir les compétences nécessaires pour réduire ces risques.

Outre les conditions-cadres au niveau politique, des mesures dans le domaine du développement de logiciels et dans les services des ressources humaines qui utilisent l'IA sont également importantes pour mieux protéger les candidat·e·s contre la discrimination. Dans deux autres boîtes à outils FINDHR, nous montrons comment les développeur·euse·s de logiciels, les responsables des ressources humaines et les responsables du personnel peuvent réduire de manière ciblée la discrimination par les systèmes d'IA sur le lieu de travail. Nous résumons d'autres recommandations visant à renforcer la protection contre la discrimination par les algorithmes et l'IA en général, au-delà du domaine de la sélection du personnel, dans notre papier de position «Protection contre la discrimination algorithmique».