Automatiquement rejeté·e? Quand l’IA discrimine dans les processus de recrutement

La recherche de personnel est chronophage et coûteuse. Les employeurs et responsables des ressources humaines doivent souvent traiter des centaines de candidatures par offre d’emploi dans des délais très courts. De plus en plus d’organisations, publiques comme privées, utilisent des systèmes de décision algorithmiques, appelés Applicant Tracking Systems (ATS), qui les aident à présélectionner les candidatures. Les services RH et les agences de recrutement espèrent ainsi gagner du temps et réduire leurs coûts. Ces systèmes intègrent de plus en plus souvent des fonctions basées sur l’IA.

Les algorithmes ne sont pas exempts de préjugés

Les systèmes algorithmiques sont réputés pour leur plus grande «objectivité» ou «neutralité»: ils sont censés rendre les processus de candidature plus équitables. Toutefois, les systèmes de recrutement peuvent reproduire des schémas discriminatoires existants, les aggraver et même créer de nouvelles formes de discrimination. 

Si, par exemple, les postes de direction dans une entreprise sont depuis longtemps principalement occupés par des hommes, les systèmes algorithmiques risquent de reproduire cette inégalité et de considérer d’emblée les candidates comme moins aptes à occuper ces postes lors du processus de sélection.

Un exemple frappant est le système de candidature développé par Amazon. Dès la phase de test, il serait apparu que le système désavantageait les candidates en attribuant systématiquement de moins bonnes notes à leurs CV. Selon Amazon, le projet a été abandonné avant d’être mis en œuvre. Les mesures de correction sont apparemment restées sans effet.

Les données avec lesquelles les algorithmes sont entraînés reflètent les schémas de pensée, les stéréotypes ainsi que les préjugés sociaux et structurels existants. De plus, les décisions prises par les équipes de développement de logiciels et par les utilisateur·rice·s de ces systèmes influencent fortement les résultats, car leurs valeurs sont intégrées aux systèmes. En résumé, de tels systèmes ne sont en aucun cas neutres ni objectifs.

La discrimination algorithmique est complexe et subtile

La discrimination par l’IA et les algorithmes passe très souvent inaperçue. Personne ne sait dans quelle mesure les systèmes peuvent désavantager certaines personnes en recherche d’emploi. La discrimination algorithmique peut affecter tout le monde, mais elle frappe particulièrement les personnes déjà confrontées à des discriminations liées au sexe, à l’origine, à l’âge, à l’orientation sexuelle ou à la religion. Une personne peut également être discriminée sur plusieurs critères simultanément, subissant ainsi des formes de discrimination amplifiées, ce que l’on appelle la discrimination intersectionnelle. Les équipes qui développent les systèmes de recrutement algorithmiques sont confrontées à des difficultés particulières lorsqu’il s’agit d’éviter la discrimination intersectionnelle. 

Sur la seule base du nom ou de la photo d’un·e candidat·e, un système d’IA peut entraîner un traitement injuste de la candidature. Des personnes en recherche d’emploi ont rapporté qu’après plusieurs candidatures infructueuses, elles ont essayé d’obtenir de meilleurs résultats en modifiant leur nom ou son orthographe pour qu’il paraisse «plus occidental» ou plus facile à lire. Certaines personnes retouchent leurs photos pour paraître plus jeunes ou plus âgées, ou minimisent délibérément leur expérience professionnelle, craignant d’être écartées en raison de leur surqualification ou de leur âge. 

Mais même dans le cas de candidatures anonymisées, il arrive que les systèmes de recrutement algorithmiques déduisent certaines caractéristiques démographiques des candidat·e·s (comme la nationalité, l’âge ou le sexe), bien que celles-ci ne figurent pas explicitement sur le CV. Les candidatures contiennent souvent des indices subtils, appelés proxies, qui permettent ces inférences. Les compétences linguistiques, l’expérience professionnelle ou le parcours scolaire peuvent refléter l’origine ethnique, l’âge ou le sexe de la personne qui postule. Comme la discrimination se cache derrière ces variables appelées proxies, il est difficile de la détecter et de la prévenir. 

Les processus de candidature en ligne peuvent exclure certaines personnes dès le départ

L’automatisation intervient à plusieurs étapes du processus de recrutement: lors de la publication de l’offre d’emploi, de la présélection des candidatures, sous la forme d’outils d’évaluation numériques lors des entretiens d’embauche ou lors de l’évaluation finale des candidat·e·s.

La discrimination algorithmique peut intervenir avant même que les candidat·e·s postulent à un emploi. Le choix de la plateforme et l’optimisation algorithmique du public cible déterminent de manière significative qui verra l’offre d’emploi.

Une expérience d’AlgorithmWatch a par exemple montré que les plateformes en ligne, dans ce cas précis Facebook, diffusent les annonces de manière discriminatoire. Même lorsqu’elles n’étaient pas destinées à un groupe cible précis, les offres d’emploi étaient automatiquement optimisées de manière à être diffusées principalement auprès des hommes ou des femmes, selon les stéréotypes. Une offre d’emploi pour un poste de conducteur·rice de poids lourd a été principalement rendue visible par des hommes, tandis qu’une annonce pour des gardes d’enfants a été presque exclusivement rendue visible par des femmes, bien que nous n’ayons pas spécifié de groupe cible en fonction du genre.

Facebook utilise notamment le contenu visuel des annonces pour prédire qui sera susceptible de cliquer dessus. Afin de prévenir toute discrimination, une offre d’emploi doit être rédigée de manière à éviter les stéréotypes, car les systèmes algorithmiques pourraient les reproduire dans leurs décisions. Si une entreprise utilise dans une offre d’emploi une image montrant un groupe spécifique de personnes, les algorithmes de recommandation pourraient principalement diffuser l’annonce auprès des personnes issues de ce groupe. Cela risque de restreindre dès le départ la diversité des candidat·e·s potentiel·le·s.

L’utilisation de systèmes algorithmiques dans le processus de candidature n’est guère transparente. Les candidat·e·s savent donc rarement si leurs documents sont en premier lieu examinés par un système ou par une personne. Cependant, la «première impression» laissée par un CV repose sur des critères différents selon qu’il soit lu par un algorithme ou un être humain: alors que les éléments graphiques tels que les couleurs, les arrière-plans ou les retours à la ligne peuvent attirer l’attention des responsables RH, ils peuvent rendre la lisibilité du contenu plus difficile pour les systèmes algorithmiques. Une expérience a montré que des candidat·e·s, pourtant qualifié·e·s, étaient écarté·e·s en raison de la mise en forme de leur CV – donc en raison de facteurs qui n’avaient rien à voir avec leurs qualifications. L’efficacité et la capacité du système à analyser un CV (parsability) se sont avérées être un facteur décisif pour le résultat de l’évaluation.

La discrimination algorithmique est difficile à détecter ou à comprendre pour les personnes concernées. Il serait donc urgent d’assurer la transparence quant à l’utilisation des systèmes de candidature algorithmiques et de proposer des formations ciblées aux personnes en recherche d’emploi afin qu’elles puissent optimiser leurs candidatures en ligne. 

En raison du manque de transparence de nombreux systèmes algorithmiques, il est souvent difficile de comprendre à quel moment, comment et pourquoi la discrimination se produit. Cependant, les conséquences sont problématiques pour toutes les parties concernées.

Les droits fondamentaux des personnes ou groupes de personnes concernés sont bafoués lorsqu’ils subissent un désavantage lié à des caractéristiques protégées, entravant leur accès à l’emploi. Dans le même temps, cela engendre des coûts considérables pour les employeurs: outre les risques liés à la réputation, le risque de passer à côté de talents qualifiés et compétents, écartés par les systèmes d’IA, est réel. Cette situation peut avoir un impact négatif sur la diversité des employé·e·s et, en fin de compte, sur les performances de l’entreprise.

Des solutions existent pour réduire la discrimination

L’accès au marché du travail a malheureusement toujours été marqué par la discrimination. Les modèles discriminants existants ne sont pas automatiquement compensés par des processus numériques. La bonne nouvelle: la discrimination peut être réduite lorsque l’ensemble des personnes impliquées assument leurs responsabilités.

Les responsables RH peuvent sensibiliser leurs équipes aux risques liés à la discrimination. En outre, il est possible de faire examiner de manière critique le processus de candidature et les systèmes impliqués, tant en interne qu’en externe, afin de détecter toute discrimination potentielle.

Grâce à une conception logicielle inclusive et équitable et à une logique décisionnelle compréhensible et transparente, les équipes de développement de logiciels peuvent contribuer de manière significative à rendre les systèmes algorithmiques plus transparents et donc plus faciles à contrôler. Il est par exemple possible de tenir compte des besoins des différentes parties prenantes qui seront en contact avec le système dans le processus de développement et de conception et de recueillir différents points de vue. Cela implique, par exemple, de concevoir l’interface utilisateur de manière à ce qu’elle soit aussi accessible que possible et facile à utiliser pour les personnes ayant peu de connaissances techniques. En outre, les équipes de développement doivent être en mesure d’expliquer clairement les facteurs qui ont conduit à l’évaluation correspondante. Cela aide les responsables RH à mieux classer les recommandations algorithmiques et les candidat·e·s à créer leur profil en fonction de critères spécifiques.

Les décisionnaires politiques peuvent enfin veiller à renforcer les cadres juridiques et politiques afin de mieux protéger les personnes en recherche d’emploi et les travailleur·euse·s contre la discrimination algorithmique, par exemple en mettant en place, au niveau national et/ou européen, des mécanismes de plainte permettant de signaler les cas de discrimination algorithmique dans les procédures de recrutement. De même, les entreprises et les autorités qui développent, proposent ou utilisent des systèmes algorithmiques devraient être tenues de réaliser régulièrement des analyses d’impact et des audits indépendants standardisés afin de vérifier que ces systèmes ne présentent pas de risques discriminatoires. Dans notre prise de position «Protection contre la discrimination: conditions-cadres pour la sélection automatisée du personnel», nous indiquons les mesures qui devraient être prises en Suisse à cet effet.