Nova decisão aborda as regras da Meta sobre deepfakes não consensuais envolvendo imagens íntimas

25 de Julho de 2024

O Comitê de Supervisão determinou que em dois casos envolvendo representações explícitas geradas por inteligência artificial de figuras públicas femininas da Índia e dos Estados Unidos, ambas as publicações deveriam ter sido retiradas das plataformas da Meta. As imagens falsas de conteúdo íntimo afetam desproporcionalmente mulheres e meninas, violando seus direitos à privacidade e à proteção contra danos físicos e mentais. Restrições a esse tipo de conteúdo são consideradas legítimas para proteger indivíduos contra a criação e disseminação de imagens sexuais feitas sem o consentimento da pessoa. Devido à severidade dos danos envolvidos, a remoção do conteúdo é vista como a única medida eficaz para proteger as pessoas afetadas. Nesse caso, rotular o conteúdo manipulado não é apropriado, pois os danos resultam principalmente da disseminação e visualização das imagens, não apenas do engano quanto à sua autenticidade. As recomendações do Comitê visam tornar as diretrizes da Meta sobre esse tipo de conteúdo mais compreensíveis e facilitar aos usuários a denúncia de imagens íntimas não consensuais sexualizadas.

Sobre os casos

Nos dois casos mencionados, foram utilizadas imagens de mulheres nuas geradas por inteligência artificial, uma delas semelhante a uma figura pública indiana e a outra a uma figura pública estadunidense. No primeiro caso, uma conta do Instagram que exclusivamente compartilhava imagens de mulheres indianas geradas ou manipuladas por IA publicou uma foto das costas de uma mulher nua, com o rosto visível, como parte de um conjunto de imagens. Esse conjunto também incluía uma imagem semelhante da mesma mulher usando roupas de praia, que provavelmente serviu como material original para a manipulação explícita realizada pela IA. O segundo caso também envolve uma imagem explícita gerada por IA semelhante a uma figura pública feminina, desta vez dos Estados Unidos. Nessa imagem, publicada em um grupo do Facebook dedicado a criações de IA, a mulher nua está sendo apalpada. A legenda menciona a famosa figura com quem ela se assemelha.

No primeiro caso, envolvendo a figura pública indiana, um usuário reportou o conteúdo à Meta por conter pornografia. No entanto, como a denúncia não foi revisada dentro de 48 horas, foi automaticamente fechada. O usuário então recorreu à Meta, mas esse recurso também foi automaticamente encerrado. Por fim, o usuário recorreu ao Comitê. Como resultado da revisão desse caso pelo Comitê, a Meta reconheceu que sua decisão inicial de permitir a permanência do conteúdo no Instagram foi um erro. A empresa removeu a publicação por violar o Padrão da Comunidade sobre Bullying e Assédio. Posteriormente, após o início das deliberações do Comitê, a Meta desativou a conta que publicou o conteúdo e adicionou a imagem explícita a um banco de dados do Serviço de Correspondência de Mídia (MMS).

No segundo caso, envolvendo a figura pública estadunidense, a imagem explícita já havia sido adicionada anteriormente ao banco do MMS devido à violação da política de Bullying e Assédio da Meta, o que resultou na sua remoção automática. Esses bancos de dados são projetados para identificar e remover automaticamente imagens que foram previamente identificadas por revisores humanos como violando as políticas da Meta. O usuário que fez a publicação da imagem gerada por IA recorreu, mas a apelação foi encerrada automaticamente. O usuário então apelou ao Comitê para que a sua publicação fosse restaurada.

Imagens íntimas deepfake são mídias sintéticas digitalmente manipuladas para retratar pessoas reais de maneira sexualizada. O processo de criação está se simplificando, exigindo menos fotos para gerar uma representação realista. Um relatório aponta para um aumento de 550% nos vídeos deepfake online desde 2019, sendo a maioria representações sexualizadas de indivíduos reais, principalmente mulheres.

Principais descobertas

O Comitê determinou que as duas imagens violaram a regra da Meta que proíbe o “photoshop sexualizado depreciativo”, conforme estabelecido na política de Bullying e Assédio. Claramente, as imagens foram manipuladas para apresentar rostos de figuras públicas reais em corpos nus diferentes (reais ou fictícios). Pistas contextuais, como hashtags e o local de publicação, também indicam que foram criadas por IA. No segundo caso, envolvendo a figura pública americana, houve uma violação adicional da política de Nudez Adulta e Atividade Sexual, pois a imagem explícita mostra a mulher sendo tocada no seio. A decisão de remover as duas publicações estava em conformidade com os compromissos da Meta em relação aos direitos humanos.

O Comitê salienta que é fundamental que os usuários das plataformas da Meta compreendam claramente as regras estabelecidas. Embora o termo “photoshop sexualizado depreciativo” devesse ter sido claro o suficiente para os dois usuários que fizeram as publicações nesses casos específicos, ele não é tão compreensível para os usuários em geral. Quando questionada pelo Comitê sobre o significado do termo, a Meta explicou que se refere a “imagens manipuladas sexualizadas de maneiras que provavelmente serão indesejadas pelo alvo e, portanto, encaradas como depreciativas”. O Comitê observa que um termo alternativo, como “não consensual”, seria mais claro para descrever a ideia de manipulações indesejadas e sexualizadas de imagens. Além disso, o Comitê considera que o termo “photoshop” é muito restrito para abranger a ampla gama de técnicas de manipulação de mídia disponíveis atualmente, especialmente aquelas baseadas em IA generativa. A Meta deve especificar nessa regra que a proibição desse conteúdo abrange várias técnicas de edição.

Para tornar as regras que proíbem imagens sexualizadas não consensuais mais compreensíveis, o Comitê sugere que elas sejam incorporadas ao Padrão da Comunidade de Exploração Sexual Adulta, em vez de estar sob a categoria de Bullying e Assédio. Nos dois casos, é improvável que os usuários percebam essas publicações como questões de Bullying e Assédio. Pesquisas externas indicam que os usuários publicam esse tipo de conteúdo por motivos que vão além de simplesmente assédio e provocação, como o desejo de aumentar o público, monetizar páginas ou redirecionar os usuários para outros sites, incluindo os de natureza pornográfica. Portanto, as diretrizes da Meta sobre essas imagens seriam mais compreensíveis se o foco estivesse na ausência de consentimento e nos danos resultantes da disseminação desse conteúdo, em vez do impacto de ataques diretos, como implicitamente sugerido na aplicação de Bullying e Assédio. A política de Exploração Sexual Adulta seria um contexto mais apropriado para essas diretrizes. Essa política já aborda a proibição de imagens íntimas não consensuais, que é uma questão semelhante, pois ambos os casos envolvem abuso sexual baseado em imagens. Assim, a Meta poderia considerar a possibilidade de renomear a política para “Conteúdo Sexual Não Consensual”.

O Comitê observa que a Meta não havia adicionado a imagem semelhante à figura pública indiana a um banco de dados do MMS até que o Comitê questionasse sobre isso. A Meta explicou que dependia de relatos da mídia para adicionar ao banco de dados a imagem semelhante à figura pública americana, mas que não havia tais referências na mídia no primeiro caso. Isso é preocupante porque muitas vítimas de imagens íntimas falsas não são amplamente reconhecidas pelo público e são obrigadas a tolerar a disseminação de suas representações não consensuais ou a identificar e denunciar cada caso individualmente. Um dos indicadores existentes de falta de consentimento dentro da política de Exploração Sexual Adulta são os relatos na mídia sobre vazamentos de imagens íntimas não consensuais. Isso pode ser útil quando as publicações envolvem figuras públicas, mas não são relevantes para figuras não públicas. Portanto, a Meta não deve depender excessivamente desse indicador. O Comitê também propõe que o contexto indicando que os aspectos nus ou sexualizados do conteúdo foram gerados por IA, photoshop ou manipulação similar seja considerado como um sinal de falta de consentimento.

Por fim, o Comitê expressa preocupação com o encerramento automático de recursos relacionados ao abuso sexual baseado em imagens. Mesmo aguardar 48 horas por uma revisão pode ser prejudicial, considerando os danos causados. O Comitê ainda carece de informações suficientes sobre o uso geral do encerramento automático pela Meta. No entanto, considera que essa questão pode ter um impacto significativo nos direitos humanos, exigindo uma avaliação cuidadosa e a implementação de medidas para mitigar os riscos associados.

A decisão do Comitê de Supervisão 

No primeiro caso, envolvendo a figura pública indiana, o Comitê invalida a decisão original da Meta de manter a publicação. No segundo caso, relacionado à figura pública americana, o Comitê mantém a decisão da Meta de remover a publicação.

O Comitê recomenda que a Meta:

• Transfira a proibição do “photoshop sexualizado depreciativo” para o Padrão da Comunidade de Exploração Sexual Adulta.
• Altere a palavra “depreciativo” na proibição de “photoshop sexualizado depreciativo” para “não consensual”.
• Substitua a palavra “photoshop” na proibição de “photoshop sexualizado depreciativo” por um termo mais abrangente envolvendo mídia manipulada.
• Harmonize suas políticas sobre conteúdo não consensual, adicionando um novo indicativo de falta de consentimento na política de Exploração Sexual Adulta: contexto em que o conteúdo é gerado ou manipulado por IA. No caso de conteúdo com esse contexto específico, a política também deve especificar que não é necessário que o conteúdo seja “não comercial ou produzido em ambiente privado” para violar as regras.

Para obter mais informações

To read a synopsis of public comments for this case, please click here.

Voltar às Notícias