Empêcher les violences sexualisées dans l’espace numérique – maintenant

Tu es concerné·e par des violences ou tu connais des personnes qui le sont? Tu trouveras ici de l'aide.

Les cas où l'IA générative est utilisée à des fins de violence sexualisée se multiplient et se ressemblent: des utilisateurs créent des deepfakes sexualisants non consentis à l'aide de l'IA pour nuire à l'intégrité et à la réputation de personnes ou pour leur faire du chantage, notamment dans le cadre de ce qu'on appelle la «sextorsion». Des jeunes hommes créent, à l'aide de l'IA, des images et des vidéos à caractère sexuel, dont certaines mettant en scène des influenceuses suisses. Ils diffusent ensuite parfois ces contenus, notamment sur les réseaux sociaux, dont les algorithmes, conçus pour maintenir les utilisateur·rice·s connecté·e·s le plus longtemps possible, amplifient encore leur propagation. Des utilisateurs, majoritairement des hommes, déshabillent des femmes et des enfants via Grok AI sur X, comme cela a été révélé début 2026. Ou ils génèrent des insultes sexistes et des discours haineux via des chatbots d'IA. C'est ce qu'illustre la plainte déposée récemment par la conseillère fédérale Karin Keller-Sutter: sur X, un utilisateur a demandé à Grok d'insulter Karin Keller-Sutter. Le chatbot d'IA a généré des discours haineux sexistes et les a publiés sur X.

Ces actes de violence sexualisée et ces actes sexistes ne se produisent pas ex nihilo. Le sexisme et la misogynie sont encore très présents en ligne. Nous observons notamment sur les réseaux sociaux une tendance croissante à la radicalisation misogyne, au sein de ce qu’on appelle la «manosphère». Il s’agit d’un ensemble de communautés en ligne qui propagent des conceptions rigides et agressives de la masculinité. Parallèlement, ces communautés diffusent l’idée fausse selon laquelle le féminisme et l’égalité des sexes se seraient développés au détriment des droits des hommes.

Ce qui se manifeste dans l'espace numérique n'est pas un problème isolé, mais le prolongement des structures de pouvoir patriarcales et de la violence sexiste par de nouveaux moyens. Les contenus portant atteinte à l'intégrité des personnes existaient bien avant l'apparition des deepfakes générés par l'IA. La violence sexualisée et les contenus sexistes et misogynes sont toutefois amplifiés lorsque les technologies sont utilisées à cette fin. Les femmes et les enfants sont particulièrement victimes de violences sexualisées. En mars 2026, le Conseil de l’Europe à Strasbourg a exprimé dans une déclaration sa préoccupation face au fait que la violence à l'égard des femmes et des filles favorisée par la technologie prend de plus en plus d'ampleur en raison de l'évolution technologique rapide, notamment de l'intelligence artificielle.

Si nous voulons que les systèmes algorithmiques et d'intelligence artificielle profitent à toutes et tous, nous devons, en tant que société, nous mobiliser pour que ces technologies ne soient pas utilisées ou détournées à des fins de violence et d'oppression. Cela nécessite une approche globale qui prévienne la violence, garantisse des espaces de débat constructif en ligne et permette aux personnes concernées de faire valoir leurs droits.

Nos recommandations en bref:

• Empêcher la création: interdire les outils de deepfakes sexualisés
• Empêcher la diffusion: demander enfin des comptes aux plateformes
• Soutenir les personnes concernées: renforcer la protection légale contre la violence sexualisée dans l’espace numérique
• Aborder la violence sexualisée de manière globale

Empêcher la création: interdire les outils de deepfakes sexualisés

Les outils basés sur l'IA facilitent aujourd'hui plus que jamais la création de deepfakes à caractère sexuel non consentis. Cela va des applications qui vantent explicitement leur capacité à sexualiser des images de personnes réelles jusqu'aux logiciels généraux, tels que les applications de «face-swapping», qui peuvent être détournés à ces fins.

• Les fournisseurs d'outils d'IA devraient être tenus de prouver qu'ils ont respecté leurs obligations de diligence et pris toutes les mesures raisonnables à leur disposition pour prévenir les effets néfastes et ne pas favoriser la création de contenus illégaux. Cette question devrait être abordée dans le cadre de la réglementation sur l'IA prévue par le Conseil fédéral.
• Si les systèmes d'IA ne disposent pas de mesures de sécurité adéquates et facilitent clairement la création de deepfakes sexualisants non consentis, ils devraient être interdits.
• Les exploitants de plateformes, de sites internet et d'applications devraient être tenus, quelle que soit leur taille, de supprimer les systèmes d'IA utilisés pour créer des deepfakes sexuels non consentis, appelés «Non-consensual Sexualisation Tools» (NSTs).

L'UE examine actuellement une telle interdiction dans le cadre du règlement sur l'IA. En Suisse, deux interventions à ce sujet sont en suspens au Conseil national (motion 24.4025 et motion 24.4018).

Empêcher la diffusion: demander enfin des comptes aux plateformes

Les réseaux sociaux jouent un rôle clé dans la diffusion des discours de haine et des contenus sexualisants non consentis. Lorsque les algorithmes des plateformes sont conçus pour mettre en avant les contenus qui génèrent beaucoup d'interactions et suscitent des réactions émotionnelles, les deepfakes sexuels sont présentés à un public encore plus large, ce qui cause un préjudice supplémentaire aux personnes concernées. Les grandes plateformes sont également utilisées pour partager des liens vers des applications problématiques, en faire la promotion et échanger des astuces sur la manière de créer des deepfakes sexuels à l’aide de chatbots d'IA courants.

Le Conseil fédéral a élaboré une proposition visant à réglementer les réseaux sociaux et les moteurs de recherche (avant-projet de loi fédérale sur les plateformes de communication et les moteurs de recherche, AP-LPCom). Celui-ci présente toutefois certaines lacunes en matière de prévention de la violence sexualisée et sexiste. Afin de combler ces lacunes, la loi doit être complétée comme suit:

• Les fournisseurs de plateformes en ligne doivent être tenus juridiquement responsables lorsqu'ils ont été informés de contenus illicites mais ne les ont pas supprimés. Ils ne devraient toutefois pas être tenus pénalement ou civilement responsables de contenus spécifiques dont ils n'avaient pas connaissance, afin d'éviter la suppression prématurée de contenus («overblocking»).
• Les fournisseurs de plateformes en ligne devraient être tenus d'analyser et de réduire les risques de violence sexualisée et de genre liés à leurs plateformes et à leurs activités. Ils devraient prendre des mesures concrètes face à ces risques et en rendre compte publiquement. Ces risques comprennent notamment les discours de haine, les deepfakes sexualisants non consentis, ainsi que la radicalisation misogyne et d'autres formes de radicalisation.
• Les systèmes d'IA générative devraient également être soumis à la réglementation des plateformes lorsqu'ils sont utilisés comme moteurs de recherche ou intégrés à des plateformes de réseaux sociaux. C'est précisément lorsque les utilisateur·rice·s peuvent générer et diffuser directement du contenu sur les plateformes de réseaux sociaux que la distinction entre la création et la diffusion de contenu s'estompe, comme le montre l'exemple de l'IA Grok sur X. Dans ces cas, les plateformes ne servent plus uniquement à diffuser des contenus. Elles ne devraient donc plus pouvoir se contenter d'invoquer le fait qu'elles ne peuvent être tenues responsables des contenus de tiers. Les plateformes devraient être davantage tenues pour responsables lorsqu'elles mettent à disposition des outils pouvant être utilisés directement pour créer des contenus sexualisants ou sexistes.
• Il faut garantir un accès efficace aux données pour la recherche et la société civile, afin de permettre la réalisation d'études approfondies sur les violences sexualisées dans l'espace numérique.

Soutenir les personnes concernées: renforcer la protection légale contre la violence sexualisée dans l’espace numérique

La Suisse ne dispose pas de réglementation spécifique concernant les deepfakes. Il existe toutefois des dispositions légales qui peuvent être invoquées contre les deepfakes à caractère sexuel réalisés sans le consentement de la personne concernée. Le droit pénal sanctionne notamment l'usurpation d'identité (art. 179 CP) et la transmission indue d’un contenu non public à caractère sexuel (art. 197a CP), bien que, dans ce dernier cas, il soit controversé de savoir si cette disposition couvre également les deepfakes ou si elle se limite aux contenus réels. Si un deepfake à caractère sexuel représente un enfant, il peut s'agir d'un cas de pornographie interdite (art. 197 CP). En droit civil, il est également possible d'intenter une action pour violation des droits de la personnalité (art. 28 CC), notamment le droit à l'image et à la voix, le droit au respect de la vie intime et privée et le droit à l'honneur. Dans sa réponse à la motion 23.3563, le Conseil fédéral ne voit pas la nécessité d’une réglementation concernant les deepfakes. Les juristes se demandent toutefois si les normes existantes sont suffisantes ou s’il faudrait une réglementation spécifique pour les deepfakes sexualisants réalisés sans le consentement des personnes concernées.

• Les normes et les éléments constitutifs d'infraction existants doivent être réinterprétés à la lumière des nouvelles évolutions et leur application doit être renforcée. Il convient d'examiner s'il est nécessaire de créer une infraction pénale distincte qui punisse non seulement la diffusion, mais aussi la création de deepfakes sexualisants non consentis. En outre, les personnes concernées par ces deepfakes devraient pouvoir se voir accorder des dommages-intérêts et une réparation morale pour l'atteinte à leur réputation.
• Les personnes doivent pouvoir se défendre de manière efficace et accessible contre les contenus illégaux qui discriminent, incitent à la haine et à la violence à l'encontre d'un groupe particulier ou qui montrent des représentations de violence à caractère sexuel ou autre. Il faut notamment étendre l'art. 261bis du Code pénal à la protection contre la discrimination fondée sur l'identité de genre, car les femmes, par exemple, sont souvent victimes de discours de haine. Cet ajout est actuellement demandé au Parlement fédéral par plusieurs initiatives parlementaires (21.513, 21.514, 21.515, 21.522, 21.527).

Aborder la violence sexualisée de manière globale

L'utilisation des technologies, en particulier de l'IA, pour renforcer la violence sexualisée et les contenus misogynes et sexistes doit être considérée dans un contexte plus large. La violence sexualisée et sexiste ne commence pas dans l’espace numérique et ne s’y arrête pas non plus. Il est donc d’autant plus important de promouvoir, outre des mesures juridiques, un changement sociétal dans la manière d’aborder la violence de genre, le sexisme, la misogynie et les personnes concernées. Les femmes touchées par des deepfakes sexualisants ne sont en rien responsables: la responsabilité incombe aux entreprises d’IA, aux plateformes de réseaux sociaux et aux auteurs de ces actes. Pourtant, elles sont souvent exposées à la stigmatisation et à la honte et atteintes dans leur réputation, ce qui peut les dissuader de chercher de l’aide ou de porter plainte. Les approches visant à éliminer la violence sexualisée sont multiples et complémentaires. Outre les recommandations susmentionnées, d’autres mesures sont nécessaires. Parmi celles-ci figurent notamment:

• Des structures d'accueil sûres, où l'on croit les personnes concernées, et un accès facile à un accompagnement thérapeutique – même pendant les procédures judiciaires en cours.
• Une prise de conscience sociale du fait que les deepfakes sexualisés non consentis constituent un délit pour lequel ce ne sont pas les personnes concernées qui doivent se justifier, mais les auteurs.
• La prévention de la violence sexualisée et de genre ainsi que de la radicalisation misogyne (manosphère) – notamment par des mesures d’éducation et de sensibilisation.
• La promotion de la recherche et du monitoring, ainsi que la réalisation d'études indépendantes sur l'ampleur et l'évolution de la violence sexualisée dans l'espace numérique.
• Le soutien aux organisations de la société civile qui luttent contre la violence sexualisée.
• Une stratégie nationale globale et contraignante contre la violence sexualisée et la violence de genre, dotée d'un financement suffisant (notamment pour la mise en œuvre de la Convention d'Istanbul).

Aide aux personnes concernées et formulaires de signalement

• Tu as été concerné·e par des violences sexualisées ou de genre? L'Aide aux victimes Suisse te propose des consultations confidentielles et gratuites, qui peuvent également se faire de manière anonyme si tu le souhaites, et t'aide à trouver un centre de consultation adapté près de chez toi.
• Tu es concerné·e par des discours haineux? Stop Hate Speech te propose des conseils pour trouver l'aide et les ressources dont tu as besoin.
• Solutions numériques contre la violence: Tech against Violence apporte son soutien aux personnes concernées, aux organisations et aux professionnel·le·s.
• Que faire lorsqu'un jeune bascule dans la «manosphère»? La plateforme «Attention à la manosphère» propose des informations et des conseils aux parents, aux proches et aux professionnel·le·s.
• Tu as rencontré des contenus pédopornographiques? Tu peux les signaler de manière anonyme sur clickandstop.ch.
• As-tu vu des applications, des sites web ou des comptes contenant des «Non-consensual Sexualisation Tools» (NST), par exemple pour créer des deepfakes sexualisants? Signale-les-nous. AlgorithmWatch, notre organisation sœur à Berlin, les signale aux opérateurs de plateformes afin qu’ils soient supprimés, conformément à la législation européenne: Formulaire de signalement comprenant des questions et des réponses sur les «Non-consensual Sexualisation Tools» (NSTs)
• Tu as des raisons de penser que toi-même ou une autre personne avez été traité·e·s de manière injuste ou discriminé·e·s par des algorithmes ou l'IA?? Alors, signale-le-nous. AlgorithmWatch CH mène des enquêtes pour mettre en évidence où et comment la discrimination algorithmique peut se produire: Formulaire de signalement comprenant des questions et des réponses sur la discrimination algorithmique