Qu’est ce que la discrimination algorithmique?
Discrimination par les algorithmes et l'Intelligence artificielle (IA): nous donnons un aperçu du sujet.
Les systèmes algorithmiques peuvent prendre des décisions discriminatoires à l'encontre des personnes, que ce soit pour l'attribution de prestations sociales ou lors de la recherche d'emploi. Lorsque les systèmes prennent des décisions basées sur des données qui contiennent des préjugés, ces préjugés sont intégrés dans les décisions, si rien n'est fait pour les éviter. D'autres sources de discrimination peuvent être les hypothèses utilisées dans l'élaboration d'un modèle, sa finalité ou encore la manière dont un système est utilisé. C'est le cas, par exemple, lorsqu'un système de reconnaissance faciale identifie principalement les personnes racisées ou lorsqu'un système mesure les performances des employé·e·s sans tenir compte des besoins spécifiques des personnes handicapées. Les décisions guidées par la technique ne donnent donc pas nécessairement des résultats plus «neutres» ou plus «objectifs», car les systèmes eux-mêmes ne sont pas neutres. Les personnes, avec leurs hypothèses et leurs intérêts, influencent le développement et l'utilisation des systèmes.
Souvent, les systèmes algorithmiques discriminent les personnes qui sont déjà désavantagées. Mais en principe, tout le monde peut être concerné. Les personnes racisées sont désavantagées par des systèmes qui déterminent les mesures de probation pour les délinquant·e·s ; les personnes issues de quartiers plus pauvres sont considérées comme plus risquées lors de l'octroi de crédits ; les femmes peuvent être éliminées par des algorithmes dans des processus de candidature automatisés en raison de leur genre, malgré leurs qualifications. Les conséquences de la discrimination passent généralement inaperçues lorsque la manière dont les décisions automatisées sont prises n'est pas visible. C'est pourquoi les personnes concernées ne peuvent souvent pas se défendre.
