Discrimination par des algorithmes : comment assurer la protection ?

La prise de décision automatisée s’immisce de plus en plus dans notre vie quotidienne. Elle intervient, par exemple, lorsque des algorithmes évaluent nos candidatures, traitent nos déclarations d’impôts, établissent des diagnostics médicaux par l’intermédiaire d’Intelligences artificielles, prévoient les crimes, évaluent les risques de récidive des délinquant·e·s ou estiment les chances d’insertion des personnes réfugiées sur le marché du travail. L'utilisation de systèmes algorithmiques peut toutefois conduire à des discriminations. Nous avons rédigé un papier de position sur les enjeux de la discrimination algorithmique et sur nos revendications pour une meilleure protection contre la discrimination en Suisse. Nous en avons brièvement résumé les principaux aspects ci-dessous.

Vers la prise de position

Comment les algorithmes peuvent discriminer

Les systèmes algorithmiques ne sont ni neutres ni objectifs. Les modèles de discrimination structurelle déjà existants dans une société se reproduisent dans les systèmes. En effet, les données à partir desquelles les algorithmes «apprennent» ou sur lesquelles ils se basent reflètent les rapports de force présents dans la société. Ainsi, certains groupes peuvent être surreprésentés ou sous-représentés dans les données, ce qui entraîne des distorsions de la réalité et des décisions prises par les algorithmes.

Un enjeu particulier de la discrimination algorithmique est l'effet d'échelle : lorsque les algorithmes discriminent, ils le font systématiquement, car le fonctionnement discriminatoire est ancré dans le système lui-même. De ce fait, un grand nombre de personnes sont potentiellement concernées. Les boucles de rétroaction peuvent également renforcer les modèles de discrimination existants. L'utilisation de données - qui, par définition, sont basées sur le passé - pour faire des prédictions sur l'avenir repose sur l'hypothèse que l'avenir est similaire au passé. Lorsqu’un système algorithmique utilisé en police prédictive propose d’intensifier la présence de patrouilles dans certains quartiers, la police y constatera plus de délits qu’ailleurs. Ces résultats consolideront à leur tour les prédictions du système.

Finalement, les risques d'injustice et de discrimination sont particulièrement élevés lorsque les algorithmes sont utilisés dans des domaines où il existe déjà un déséquilibre de pouvoir, par exemple entre les personnes postulant pour un poste et l’entreprise, entre les salarié·e·s et les employeur·euse·s, entre les suspect·e·s et la police, entre les migrant·e·s et les autorités chargées de surveiller les frontières, entre les personnes bénéficiant de l’aide sociale et l’administration, entre les élèves et le corps enseignant, ou encore entre les individus et les plateformes de réseaux sociaux. Le risque est que ce soit surtout la partie qui dispose déjà de plus de pouvoir et de moyens qui en profite - tandis que l'autre partie est davantage à la merci des décisions des systèmes - et donc potentiellement aussi de leurs effets injustes - souvent sans le savoir.

Des lacunes dans la protection contre la discrimination

En Suisse, la discrimination est définie dans le cadre de l'interdiction de discrimination de la Constitution fédérale comme une différence de traitement entre des personnes sur la base d'une caractéristique protégée, sans justification par un motif objectif. Les caractéristiques protégées comprennent des caractéristiques biologiques (telles que la « race », le sexe, l’âge, la déficience corporelle, mentale ou psychique) ainsi que des caractéristiques culturelles ou sociales (l’origine, la langue, la situation sociale, le mode de vie, les convictions religieuses, philosophiques ou politiques). Cette énumération n’est pas exhaustive. Les groupes sociaux stigmatisés sont généralement protégés contre la discrimination.

Le cadre juridique actuel en Suisse n'offre cependant pas une protection suffisante et efficace contre la discrimination qui peut résulter de l'utilisation de systèmes algorithmiques. Ainsi, l'interdiction de la discrimination ne concerne en principe que les acteurs étatiques. En effet, il n'existe pas en Suisse de loi cadre interdisant la discrimination par des personnes privées. Les systèmes algorithmiques se généralisent toutefois rapidement dans l'ensemble de la société et sont développés et utilisés en grand nombre par des acteurs privés. Une adaptation du cadre juridique est donc nécessaire. Actuellement, la protection contre la discrimination n’est pas suffisante pour faire face aux caractéristiques spécifiques de la discrimination algorithmique (comme notamment l’effet d’échelle et les boucles de rétroaction, voir ci-dessus). La discrimination algorithmique pose de nouveaux enjeux pour l’application de l’interdiction de discrimination. En effet, les lois actuelles se basent sur une identification claire des personnes discriminées. Or, dans la réalité, en cas de discrimination algorithmique, il est difficile d'identifier les personnes concernées. En effet, celles-ci ne sont souvent pas elles-mêmes conscientes de la discrimination, soit parce qu'elles n'étaient pas au courant de l'utilisation du système, soit parce que la discrimination est systématique.

Comment nous pouvons renforcer la protection contre la discrimination algorithmique

Afin que la protection contre la discrimination s’adapte aux enjeux liés à la discrimination algorithmique, nous demandons :

1. Élargir le champ d'application de l’interdiction de discrimination : La protection contre la discrimination doit également être garantie quand la discrimination a lieu de manière systématique et que les personnes concernées ne sont pas clairement identifiables.
2. Élargir les critères de la discrimination : La protection contre la discrimination doit également s'appliquer dans le cas de variables de substitution (Proxy) - c'est-à-dire lorsque des catégories prétendument neutres (comme le code postal) représentent des catégories protégées par le droit de la discrimination (comme la position sociale).
3. Introduire une interdiction générale de la discrimination pour les privés : La protection contre la discrimination doit également s'appliquer aux privés, car ceux-ci développent et utilisent de nombreux systèmes algorithmiques qui ont un impact important sur la vie des personnes.
4. Inclure la discrimination intersectionnelle : La protection contre la discrimination doit également être assurée lorsqu'un algorithme a un effet discriminatoire sur les personnes au travers de la combinaison de plusieurs catégories protégée.
5. Rendre obligatoires des analyses d'impact transparentes, indépendantes et régulières : Quiconque développe ou utilise des systèmes algorithmiques devrait procéder à une analyse d'impact visant à identifier les risques de discrimination et d'autres conséquences pour les droits fondamentaux et à prendre des mesures pour y remédier. Au minimum dans le cas des autorités publiques, une telle analyse d'impact devrait être obligatoire et ses résultats devraient être publiés de manière accessible au public. Pour acteurs privés, cela est également indiqué lorsque des systèmes peuvent avoir un impact sur les droits fondamentaux.
6. Garantir un accès plus facile aux recours juridiques : D'une part, il convient de supprimer les obstacles pratiques et formels qui pourraient dissuader les personnes d'intenter un recours – notamment en réduisant la charge de la preuve pour les personnes concernées. D'autre part, des procédures de recours collectifs sont nécessaires pour réduire encore les obstacles et les coûts pour les personnes concernées et pour tenir compte du fait que la discrimination algorithmique concerne souvent un grand nombre de personnes et est difficilement identifiable pour les personnes concernées.
7. Promouvoir la recherche et le débat sur la discrimination algorithmique : Afin de promouvoir un débat fondé sur des preuves concernant l'impact sociétal des algorithmes, les autorités devraient être sensibilisées à ce sujet et aux défis qu'il pose, et développer des compétences en la matière. La recherche interdisciplinaire sur la discrimination algorithmique doit également être encouragée. Il est important de ne pas considérer les défis comme purement techniques et de ne pas limiter les solutions au seul niveau technique.
8. Impliquer les personnes concernées : Les personnes concernées par les systèmes algorithmiques devraient être activement impliquées dans le développement et l'utilisation des systèmes, mais aussi dans les analyses d'impact, le débat public et le processus de décision politique.

Les revendications se trouvent dans notre papier de position avec des explications supplémentaires.

Lire la suite

Publication

Discrimination 2.0 : ces algorithmes qui discriminent

Positions