Les règles de Meta concernant le traitement des deepfakes d'images à caractère sexuel non consenties ciblées par une nouvelle décision

25 juillet 2024

Dans deux cas d'images explicites générées par l'IA représentant des femmes dont les traits rappellent ceux de personnages publics connus en Inde et aux États-Unis, le Conseil de surveillance estime que les deux publications auraient dû être supprimées des plateformes Meta. Les deepfakes à caractère pornographique bouleversent profondément les femmes et les jeunes filles. Ils portent atteinte à leurs droits à la protection de la vie privée ainsi qu'à la protection contre les préjudices mentaux et physiques. Il est légitime d'imposer des restrictions sur ces types de contenus afin de protéger les individus contre la création et la diffusion d'images à caractère sexuel sans leur consentement. Au vu de la gravité du préjudice, la suppression de tels contenus constitue le seul moyen efficace de protéger les personnes concernées. L'ajout de la mention « contenu manipulé » n'est pas approprié dans ce cas de figure, dans la mesure où le préjudice provient du partage et de la visualisation de ces images, et n'est pas uniquement lié au fait de tromper le public quant à leur authenticité. Les recommandations du Conseil visent à rendre plus intuitives les règles de Meta face à ce type de contenu et à permettre aux utilisateurs de signaler plus facilement des images sexualisées non consenties.

À propos des cas

Deux cas mettent en cause des images générées par l'IA, représentant des femmes nues, l'une ressemblant à une personnalité publique indienne, l'autre à une personnalité publique américaine. Dans le premier cas, une image du dos d'une femme nue, le visage visible, a été publiée parmi un ensemble d'images à partir d'un compte Instagram qui partageait uniquement des images manipulées ou générées par l'IA représentant des femmes indiennes. Cet ensemble d'images contenait également une photo similaire de cette femme en maillot de bain, qui a été très probablement utilisée comme support pour la manipulation explicite par l'IA. Le second cas implique également une image explicite générée par l'IA, ressemblant à une personnalité publique, cette fois des États-Unis. Sur cette image, publiée sur un groupe Facebook dédié aux créations d'IA, la femme nue subit des attouchements. Le nom du personnage célèbre qu'elle rappelle est cité dans la légende.

Dans le premier cas (personnalité publique indienne), un utilisateur a signalé à Meta la présence de ce contenu à caractère pornographique, mais ce signalement n'ayant pas été examiné dans un délai de 48 heures, le dossier a été automatiquement clos. L'utilisateur a fait appel de cette décision à Meta, mais le dossier a été là encore automatiquement clôturé. L’utilisateur a fini par se tourner vers le Conseil. Après que le Conseil a sélectionné ce cas, Meta a reconnu que sa décision initiale de laisser le contenu sur Instagram était une erreur, et l'entreprise a supprimé la publication au motif d'une violation du standard de la communauté relatif à l'intimidation et au harcèlement. Plus tard, après le début des délibérations du Conseil, Meta a désactivé le compte à l'origine de la publication du contenu et a ajouté l'image explicite dans une base de données des services de mise en correspondance du contenu multimédia (MMS).

Dans le second cas (celui de la personnalité publique américaine), l'image explicite avait déjà ajoutée à une base MMS pour violation de la politique relative à l'intimidation et au harcèlement ; de ce fait, l'image avait été automatiquement supprimée. Ces bases permettent d'identifier et supprimer automatiquement les images déjà identifiées lors d’examens manuels comme enfreignant la politique de Meta. L'utilisateur qui a publié l'image générée par l'IA a fait appel de cette décision, mais le dossier a été automatiquement clôturé. L’utilisateur a ensuite décidé de faire appel auprès du Conseil pour demander la restauration de sa publication.

Les deepfakes d'images à caractère pornographique comprennent des supports de synthèse manipulés à l'aide de technologies numériques afin de représenter des personnes réelles de manière sexualisée. Comme le nombre de photos nécessaires pour générer une image réaliste tend à diminuer, il devient de plus en plus facile de créer de telles images. Selon un rapport, le nombre de vidéos deepfake en ligne aurait augmenté de 550 % par rapport à 2019, et la grande majorité d'entre elles représenteraient des personnes réelles, et plus particulièrement des femmes, dans des mises en scène sexualisées.

Principaux constats

Le Conseil estime que les deux images sont contraires aux règles de Meta qui, en vertu de la politique relative à l'intimidation et au harcèlement, interdit le « photoshopage sexualisé de nature insultante »–. Il apparaît clairement que les images ont été retouchées afin de montrer les visages de personnalités publiques réelles avec un corps nu différent (réel ou fictif), accompagnés d'indices contextuels (notamment des hashtags et des indications sur les sites où le contenu a été publié) qui suggèrent également que ces images avaient été générées par l'IA. Dans le second cas (celui de la personnalité publique américaine), il apparaît sur l'image explicite que la poitrine de la femme est serrée, ce qui constitue également une violation de la politique relative à la nudité et aux activités sexuelles chez les adultes. La suppression de ces publications était en accord avec les responsabilités de Meta en matière de droits de l'homme.

Le Conseil estime que les utilisateurs des plateformes Meta devraient être capables de comprendre ces règles. Bien que la mention « photoshopage sexualisé de nature insultante » aurait dû être suffisamment limpide pour les deux auteurs de ces publications, elle n'est pas suffisamment claire pour les utilisateurs en général. Lorsque le Conseil a demandé sa signification à Meta, l'entreprise a expliqué que cette expression renvoyait à des « images manipulées, sexualisées de sorte qu'il est peu probable qu'elles aient été consenties, et par conséquent perçues comme une insulte ». Le Conseil note qu'un terme différent, comme « non consenti » pourrait expliquer plus clairement l'idée de manipulations d'images sexualisées non consenties. En outre, le Conseil estime que le terme « photoshopage » est trop limité pour couvrir l'étendue des techniques de manipulation multimédia disponibles actuellement, en particulier l'IA générative. Meta doit préciser dans cette règle que l'interdiction imposée sur ce type de contenu s'étend à un éventail plus large de techniques de retouche.

Afin de rendre plus intuitives les règles interdisant les images sexualisées non consenties, le Conseil estime qu'elles devraient être intégrées au standard de la communauté relatif à l'exploitation sexuelle des adultes, plutôt qu'à la politique régissant l'intimidation et le harcèlement. Dans ces deux cas, il est peu probable que les utilisateurs auraient pu percevoir ces situations comme relevant d'un problème d'intimidation et de harcèlement. Une étude indépendante révèle que les utilisateurs publient ce type de contenu pour de nombreuses autres raisons qui dépassent le simple cadre du harcèlement et du trolling, motivés par exemple par la volonté d'attirer l'attention du public, de monétiser des pages ou de rediriger les utilisateurs vers d'autres sites, notamment des sites pornographiques. Les règles de Meta concernant le traitement de telles images seraient par conséquent plus éloquentes si elles se concentraient davantage sur l'absence de consentement et sur le préjudice lié à la prolifération de ces contenus, qu'à l'impact d'attaques directes qu'implique leur mise en application en vertu de la politique relative à l'intimidation et au harcèlement. En toute logique, ces règles devraient être incorporées dans la politique relative à l'exploitation sexuelle des adultes. Cette politique proscrit déjà les images intimes non consenties, qui relève d'un problème d'une nature similaire puisque les deux cas sont des exemples de violence sexuelle fondée sur l'utilisation d'images. Meta pourrait donc envisager de renommer sa politique sous la formulation « Contenu à caractère sexuel non consenti ».

Le Conseil note que les images rappelant une personnalité publique indienne n'avaient pas été ajoutées à une base MMS avant que le Conseil n'ait demandé des explications à Meta. En réponse, Meta a affirmé s'être appuyé sur des rapports médiatiques pour ajouter à la base l'image représentant la personnalité publique américaine, mais que le premier cas n'avait pas été relayé dans les médias. Cette situation est préoccupante, car de nombreuses victimes de deepfakes d'images à caractère sexuel ne sont pas connues du public et sont par conséquent contraintes soit d'accepter que leurs représentations non consenties se propagent, soit de rechercher et signaler chaque fait. Les rapports médiatiques de fuites d'images pornographiques non consenties constituent l'un des actuels signaux d'absence de consentement en vertu de la politique relative à l'exploitation sexuelle des adultes. Ces signalements peuvent se révéler utiles dans le cas de publications mettant en cause des personnalités publiques, mais ne se révèlent d'aucune aide pour les personnes inconnues du public. Il est donc recommandé à Meta de ne pas se fier outre mesure à ces signaux. Le Conseil suggère également de considérer comme un signe d'absence de consentement tout contexte indiquant que les aspects nus ou sexualisés du contenu ont été générés par l'IA, retouchés par Photoshop ou manipulés d'une quelque autre manière.

Enfin, le Conseil exprime certaines préoccupations concernant la clôture automatique des recours pour violence sexuelle fondée sur l'utilisation d'images. Un délai d'attente de 48 heures pour examen peut même se révéler préjudiciable au vu des dommages causés. Pour l'heure, le Conseil ne dispose pas d'informations suffisantes sur la procédure de Meta en matière de clôture automatique des appels, mais estime qu'une évaluation et une atténuation des risques s'imposent, ce problème étant susceptible d'affecter lourdement les droits de l'homme.

Décision du Conseil de surveillance

Dans le premier cas (personnalité publique indienne), le Conseil a annulé la décision initiale de Meta de conserver la publication. Dans le second cas (personnalité publique américaine), le Conseil a maintenu la décision initiale de Meta de supprimer la publication.

Le Conseil recommande à Meta de :

• déplacer l'interdiction relative au « photoshopage sexualisé de nature insultante » dans le standard de la communauté relatif à l'exploitation sexuelle des adultes ;
• remplacer le terme « de nature insultante » dans l'interdiction relative au « photoshopage sexualisé de nature insultante » par « non consenti » ;
• remplacer le terme « photoshopage » dans l'interdiction relative au « photoshopage sexualisé de nature insultante » par un terme plus généralisé couvrant les supports manipulés ;
• harmoniser ses politiques en matière de contenu non consenti en ajoutant un nouveau signal d'absence de consentement dans la politique relative à l'exploitation sexuelle des adultes : tout contexte indiquant qu'un contenu a été généré par l'IA ou manipulé. Pour du contenu associé à ce contenu spécifique, la politique doit également stipuler que ledit contenu ne doit pas nécessairement être « de nature non commerciale ou produit dans un environnement privé » pour être contraire à la politique.

Pour plus d'informations

To read a synopsis of public comments for this case, please click here.

Retour Aux Actualités