Intelligence artificielle : en Suisse, les algorithmes discriminent en toute impunité

La prise de décision automatisée s’immisce de plus en plus dans notre vie quotidienne. Elle intervient, par exemple, lorsque des algorithmes évaluent nos candidatures, traitent nos déclarations d’impôts, établissent des diagnostics médicaux par l’intermédiaire d’Intelligences artificielles, prévoient les crimes, évaluent les risques de récidive des délinquant·e·s ou estiment les chances d’insertion des personnes réfugiées sur le marché du travail. L'utilisation de systèmes algorithmiques peut toutefois conduire à des discriminations.

« Les systèmes basés sur des algorithmes ou ce que l'on appelle l'IA ne sont ni neutres ni objectifs et peuvent refléter des rapports de force et des injustices sociales. De plus, lorsque les algorithmes discriminent, ils le font souvent de manière systématique. Un grand nombre de personnes sont ainsi potentiellement concernées », explique Angela Müller, directrice d’AlgorithmWatch CH. Par exemple, l'utilisation d'algorithmes dans le domaine du travail peut conduire à un accès inégal aux offres d'emploi. Ainsi, une recherche d'AlgorithmWatch a révélé que sur Facebook, les offres d'emploi étaient affichées selon des stéréotypes de genre. L'annonce pour la conduite de camions était plutôt affichée aux hommes, celle pour les gardes d'enfants plutôt aux femmes. AlgorithmWatch CH présente d'autres exemples et défis de la discrimination algorithmique et ce qui peut être fait pour y remédier dans sa prise de position publiée aujourd'hui.

Enjeux particuliers de la discrimination algorithmique

« Le cadre juridique existant n'est pas suffisant pour faire face aux caractéristiques particulières de la discrimination algorithmique. En Suisse, les algorithmes peuvent discriminer en toute impunité », constate Estelle Pannatier, chargée de politique & plaidoyer chez AlgorithmWatch CH. Alors que plusieurs pays européens, comme l'Allemagne, réfléchissent à renforcer leur protection contre la discrimination algorithmique, la Suisse est à la traîne. En effet, selon le Conseil fédéral, aucune adaptation du cadre juridique existant en matière de protection contre la discrimination n'est prévue à ce sujet. Cela ne tient pas compte des caractéristiques particulières de la discrimination algorithmique. Par exemple, la discrimination algorithmique résulte souvent de variables de substitution (proxy), c'est-à-dire de variables qui peuvent remplacer des caractéristiques protégées par le droit contre la discrimination : par exemple, l'indication « 30 ans d'expérience professionnelle » permet de déduire que la personne doit avoir au moins la quarantaine. Le code postal permet souvent de déduire des hypothèses sur le statut socio-économique ou sur un contexte migratoire. Ainsi, les variables proxy peuvent exercer une influence décisive sur les décisions d'un système algorithmique, ce qui peut à son tour conduire à des discriminations.

Voici comment renforcer la protection contre la discrimination algorithmique

Où, par qui et dans quel but les systèmes algorithmiques sont utilisés est largement inconnu, tant des personnes concernées que de la société. Il est donc difficile pour les personnes concernées de se rendre compte qu'elles ont été discriminées par un algorithme. La transparence est donc une étape nécessaire, mais pas suffisante, pour lutter contre la discrimination algorithmique. Comme les systèmes algorithmiques se répandent rapidement dans l'ensemble de la société, AlgorithmWatch CH demande entre autres un cadre légal qui couvre également la discrimination par des algorithmes utilisés par des acteurs privés comme les entreprises. Car contrairement à la France et à l'Allemagne, la Suisse ne connaît pas de protection spécifique contre la discrimination par des acteurs privés.

Afin que la protection contre la discrimination s’adapte aux enjeux liés à la discrimination algorithmique, nous demandons :

1. Élargir le champ d'application de l’interdiction de discrimination : La protection contre la discrimination doit également être garantie quand la discrimination a lieu de manière systématique et que les personnes concernées ne sont pas clairement identifiables.
2. Élargir les critères de la discrimination : La protection contre la discrimination doit également s'appliquer dans le cas de variables de substitution (Proxy) - c'est-à-dire lorsque des catégories prétendument neutres (comme le code postal) représentent des catégories protégées par le droit de la discrimination (comme la position sociale).
3. Introduire une interdiction générale de la discrimination pour les privés : La protection contre la discrimination doit également s'appliquer aux privés, car ceux-ci développent et utilisent de nombreux systèmes algorithmiques qui ont un impact important sur la vie des personnes.
4. Inclure la discrimination intersectionnelle : La protection contre la discrimination doit également être assurée lorsqu'un algorithme a un effet discriminatoire sur les personnes au travers de la combinaison de plusieurs catégories protégées.
5. Rendre obligatoires des analyses d'impact transparentes, indépendantes et régulières : Quiconque développe ou utilise des systèmes algorithmiques devrait procéder à une analyse d'impact visant à identifier les risques de discrimination et d'autres conséquences pour les droits fondamentaux et à prendre des mesures pour y remédier. Au minimum dans le cas des autorités publiques, une telle analyse d'impact devrait être obligatoire et ses résultats devraient être publiés de manière accessible au public. Pour acteurs privés, cela est également indiqué lorsque des systèmes peuvent avoir un impact sur les droits fondamentaux.
6. Garantir un accès plus facile aux recours juridiques : D'une part, il convient de supprimer les obstacles pratiques et formels qui pourraient dissuader les personnes d'intenter un recours – notamment en réduisant la charge de la preuve pour les personnes concernées. D'autre part, des procédures de recours collectifs sont nécessaires pour réduire encore les obstacles et les coûts pour les personnes concernées et pour tenir compte du fait que la discrimination algorithmique concerne souvent un grand nombre de personnes et est difficilement identifiable pour les personnes concernées.
7. Promouvoir la recherche et le débat sur la discrimination algorithmique : Afin de promouvoir un débat fondé sur des preuves concernant l'impact sociétal des algorithmes, les autorités devraient être sensibilisées à ce sujet et aux défis qu'il pose, et développer des compétences en la matière. La recherche interdisciplinaire sur la discrimination algorithmique doit également être encouragée. Il est important de ne pas considérer les défis comme purement techniques et de ne pas limiter les solutions au seul niveau technique.
8. Impliquer les personnes concernées : Les personnes concernées par les systèmes algorithmiques devraient être activement impliquées dans le développement et l'utilisation des systèmes, mais aussi dans les analyses d'impact, le débat public et le processus de décision politique.

Les revendications se trouvent dans notre papier de position avec des explications supplémentaires.

Lire la suite

Position

Discrimination par des algorithmes : comment assurer la protection ?