Imagens explícitas de figuras públicas femininas criadas por IA

Resumo

Em dois casos de imagens explícitas geradas por IA que se assemelham a figuras públicas femininas da Índia e dos Estados Unidos, o Comitê de Supervisão concluiu que ambas as publicações deveriam ter sido removidas das plataformas da Meta. Imagens íntimas com deepfake afetam desproporcionalmente mulheres e meninas, minando seus direitos à privacidade e à proteção contra danos físicos e mentais. As restrições a este conteúdo são legítimas para proteger os indivíduos da criação e disseminação de imagens sexuais feitas sem consentimento deles. Considerando a gravidade dos danos, a remoção do conteúdo é a única forma eficaz de proteger as pessoas afetadas. Rotular conteúdo manipulado não é adequado nesse caso porque os danos decorrem do compartilhamento e da visualização dessas imagens, e não apenas do ato de enganar as pessoas sobre sua autenticidade. As recomendações do Comitê buscam tornar as regras da Meta sobre esse tipo de conteúdo mais intuitivas e facilitar aos usuários a denúncia de imagens sexualizadas não consensuais.

Sobre os casos

Esses dois casos envolvem imagens de mulheres nuas geradas por IA, uma delas parecida com uma figura pública indiana e a outra com uma figura pública americana. No primeiro caso, uma conta do Instagram que compartilhava apenas imagens de mulheres indianas geradas ou manipuladas por IA publicou uma foto das costas de uma mulher nua com o rosto visível, como parte de um conjunto de imagens. Esse conjunto também apresentava uma imagem semelhante da mulher em trajes de praia, provavelmente o material de origem para a manipulação explícita da IA. O segundo caso também envolve uma imagem explícita gerada por IA semelhante a uma figura pública feminina, desta vez dos Estados Unidos. Nessa imagem, publicada em um grupo do Facebook para criações de IA, a mulher nua está sendo apalpada. A figura famosa com a qual ela se parece é mencionada na legenda.

No primeiro caso (figura pública indiana), um usuário denunciou o conteúdo à Meta por pornografia, mas como a denúncia não foi analisada em 48 horas, ela foi automaticamente encerrada. O usuário então fez uma apelação à Meta, mas ela também foi encerrada automaticamente. Finalmente, o usuário fez uma apelação ao Comitê. Como resultado da seleção desse caso pelo Comitê, a Meta determinou que sua decisão original de deixar o conteúdo no Instagram foi um erro, e a empresa removeu a publicação por não seguir os Padrões da Comunidade sobre Bullying e Assédio. Mais tarde, após o Comitê iniciar suas deliberações, a Meta desabilitou a conta que publicou o conteúdo e adicionou a imagem explícita a um banco do Serviço de Correspondência de Mídias (MMS, na sigla em inglês)

No segundo caso (figura pública americana), a imagem explícita já havia sido adicionada a um banco do MMS por não seguir a Política sobre Bullying e Assédio da Meta e, portanto, foi removida automaticamente. Esses bancos encontram e removem automaticamente imagens que já foram identificadas por analistas humanos como violando as regras da Meta. O usuário que publicou a imagem gerada por IA fez uma apelação, mas ela foi encerrada automaticamente. O usuário então fez uma apelação ao Comitê para que sua publicação fosse restaurada.

Imagens íntimas com deepfake compreendem mídia sintética manipulada digitalmente para retratar pessoas reais de forma sexualizada. A criação delas está se tornando mais fácil, com menos fotos necessárias para gerar uma imagem realista. Um relatório aponta para um aumento de 550% de vídeos com deepfake online desde 2019, a grande maioria dos quais são representações sexualizadas de indivíduos reais e têm como alvo mulheres.

Principais conclusões

O Comitê conclui que ambas as imagens não seguem a regra da Meta que proíbe “photoshop sexualizado depreciativo” conforme a Política sobre Bullying e Assédio. Está claro que as imagens foram editadas para mostrar os rostos de figuras públicas reais com corpos nus diferentes (reais ou fictícios), enquanto pistas contextuais, incluindo hashtags e onde o conteúdo foi publicado, também indicam que foram geradas por IA. No segundo caso (figura pública americana), há uma violação adicional da Política sobre Nudez e Atividade Sexual de Adultos, pois a imagem explícita mostra a mulher tendo o seio apertado. A remoção de ambas as publicações estava de acordo com as responsabilidades de direitos humanos da Meta.

O Comitê acredita que as pessoas que usam as plataformas da Meta devem ser capazes de entender as regras. Embora o termo “photoshop sexualizado depreciativo” devesse ter sido claro o suficiente para os dois usuários que publicaram nesses casos, não é suficientemente claro para os usuários de forma mais geral. Quando o Comitê perguntou à Meta sobre o significado, a empresa disse que o termo se refere a “imagens manipuladas que são sexualizadas de maneiras que provavelmente não são desejadas pelo alvo e, portanto, percebidas como depreciativas”. O Comitê observa que um termo diferente, como “não consensual”, seria uma descrição mais clara para explicar a ideia de manipulações sexualizadas indesejadas de imagens. Além disso, o Comitê considera que “photoshop” é muito restrito para abranger a gama de técnicas de manipulação de mídia disponíveis hoje, especialmente IA generativa. A Meta precisa especificar nessa regra que a proibição desse conteúdo abrange essa gama mais ampla de técnicas de edição.

Para garantir que as regras que proíbem imagens sexualizadas não consensuais sejam mais intuitivas, o Comitê considera que elas devem fazer parte dos Padrões da Comunidade sobre Exploração Sexual de Adultos, e não dos Padrões da Comunidade sobre Bullying e Assédio. Em ambos os casos, é improvável que os usuários as enxerguem como um problema de bullying e assédio. Pesquisas externas mostram que os usuários publicam esse tipo de conteúdo por muitos motivos além de assédio e trolagem, incluindo o desejo de construir um público, monetizar páginas ou direcionar usuários para outros sites, incluindo os pornográficos. Portanto, as regras da Meta sobre essas imagens seriam mais claras se o foco estivesse na falta de consentimento e nos danos causados ​​pela disseminação desse conteúdo, em vez do impacto de ataques diretos, que é o que está implícito na aplicação do Padrão ou da Política sobre Comunidade sobre Bullying e Assédio. A Política sobre Exploração Sexual de Adultos seria um lugar mais lógico para essas regras. Essa política já proíbe imagens íntimas não consensuais, o que é um problema semelhante, pois ambas são exemplos de abuso sexual baseado em imagens. Então, a Meta também poderia considerar renomear a política para “Conteúdo Sexual Não Consensual”.

O Comitê observa que a imagem semelhante a uma figura pública indiana não foi adicionada a um banco do MMS pela Meta até o Comitê ter perguntado o motivo. A Meta respondeu dizendo que se baseou em reportagens da mídia para adicionar a imagem semelhante à figura pública americana ao banco, mas não houve esses sinais na mídia no primeiro caso. Isso é preocupante porque muitas vítimas de imagens íntimas com deepfake não são figuras públicas e são forçadas a aceitar a disseminação de suas representações não consensuais ou a procurá-las e denunciar cada ocorrência. Um dos sinais existentes de falta de consentimento conforme a Política sobre Exploração Sexual de Adultos são as reportagens da mídia sobre vazamentos de imagens íntimas não consensuais. Isso pode ser útil quando as publicações envolvem figuras públicas, mas não é útil para pessoas físicas. Portanto, a Meta não deve recorrer demais a esse sinal. O Comitê também sugere que o contexto que indica que os aspectos nus ou sexualizados do conteúdo são gerados por IA, editados ou manipulados de outra forma seja considerado um sinal de não consentimento.

Por fim, o Comitê está preocupado com o encerramento automático de apelações relacionadas a abuso sexual baseado em imagem. Até mesmo esperar 48 horas por uma análise pode ser prejudicial, considerando os danos causados. O Comitê ainda não tem informações suficientes sobre o uso do encerramento automático pela Meta em geral, mas considera que essa é uma questão que pode ter um impacto significativo nos direitos humanos, exigindo avaliação de risco e mitigação.

Decisão do Comitê de Supervisão

No primeiro caso (figura pública indiana), o Comitê anulou a decisão original da Meta de deixar ativa a publicação. No segundo caso (figura pública americana), ele manteve a decisão da Meta de remover a publicação.

Ele recomenda que a Meta:

• Mova a proibição de “photoshop sexualizado depreciativo” para os Padrões da Comunidade sobre Exploração Sexual de Adultos.
• Altere a palavra “depreciativo” na proibição de “photoshop sexualizado depreciativo” para “não consensual”.
• Substitua a palavra “photoshop” na proibição de “photoshop sexualizado depreciativo” por um termo mais generalizado para mídia manipulada.
• Harmonize suas políticas sobre conteúdo não consensual adicionando um novo sinal para falta de consentimento na Política sobre Exploração Sexual de Adultos: contexto de que o conteúdo é gerado ou manipulado por IA. Para conteúdo com esse contexto específico, a política também deve especificar que ele não precisa ser “não comercial ou produzido em um ambiente privado” para ser considerado uma violação.

*Os resumos de casos fornecem uma visão geral dos casos e não têm valor de precedente.

Decisão completa sobre o caso

1. Descrição do caso e histórico

O Comitê de Supervisão analisou dois casos juntos, um publicado no Facebook e outro no Instagram, por usuários diferentes.

O primeiro caso envolve uma imagem manipulada por IA de uma mulher nua mostrada de costas com o rosto visível. Publicada no Instagram, a imagem lembra uma figura pública feminina da Índia e fazia parte de um conjunto de imagens que apresentavam uma foto semelhante da mulher, em trajes de praia, que provavelmente foi o material de origem para a manipulação da IA. A conta que publicou esse conteúdo se descreve como uma conta que apenas compartilha imagens de mulheres indianas geradas por IA, e a legenda inclui hashtags indicando que a imagem foi criada usando essa tecnologia.

Um usuário denunciou o conteúdo à Meta por considerar pornográfico. Essa denúncia foi encerrada automaticamente porque não foi analisada em 48 horas. O usuário apelou da decisão da Meta de deixar o conteúdo ativo, mas essa apelação também foi encerrada automaticamente, e o conteúdo permaneceu ativo. Em seguida, o usuário fez uma apelação ao Comitê. Como resultado da seleção desse caso pelo Comitê, a Meta determinou que sua decisão de deixar o conteúdo ativo foi um erro e removeu a publicação por não seguir os Padrões da Comunidade sobre Bullying e Assédio. Mais tarde, depois que o Comitê selecionou o caso, a Meta desabilitou a conta que publicou o conteúdo e o adicionou a um banco do Serviço de Correspondência de Mídias.

O segundo caso diz respeito a uma imagem publicada em um grupo do Facebook para criações de IA. Trata-se de uma imagem gerada por IA de uma mulher nua tendo os seios apalpados. A imagem foi criada com a tecnologia para se assemelhar a uma figura pública americana, citada na legenda.

Nesse segundo caso, a imagem foi removida por não seguir a Política sobre Bullying e Assédio da Meta. Um usuário diferente já havia publicado uma imagem idêntica, o que fez com que ela fosse encaminhada para especialistas da política da Meta ou do assunto, que decidiram que o conteúdo não seguia a Política sobre Bullying e Assédio, especificamente por "photoshop ou desenhos sexualizados depreciativos" e a removeram. Essa imagem foi então adicionada a um banco do MMS. Esses bancos encontram e removem automaticamente imagens que já foram identificadas como violadoras. A imagem gerada por IA no segundo caso foi removida automaticamente porque havia sido adicionada a um banco do MMS. O usuário que publicou o conteúdo fez uma apelação em relação à remoção, mas a denúncia foi encerrada automaticamente. Ele então fez uma apelação ao Comitê para que seu conteúdo fosse restaurado.

O Comitê observou o seguinte contexto para tomar sua decisão nesses casos:

Imagens íntimas com deepfake são mídias sintéticas que foram manipuladas digitalmente para retratar pessoas reais de maneira sexualizada. A percepção sobre pornografia pode variar entre países e culturas. Um comentário público enviado ao Comitê pela Witness, uma ONG internacional de direitos humanos, dá o exemplo de um deepfake de Bangladesh de uma mulher política usando biquíni, o que pode ser particularmente prejudicial devido ao contexto cultural, embora possa não ser alvo de denúncia em outro cenário cultural (ver PC-27095).

Imagens íntimas com deepfake estão se tornando mais fáceis de serem criadas usando ferramentas de IA, com menos fotos necessárias para gerar uma imagem realista. A Women in International Security ( WIIS) explica: “Isso significa que praticamente todas as pessoas que tiraram uma selfie ou publicaram uma foto delas mesmas online correm o risco hipotético de ter um deepfake criado em sua imagem.” O The Guardianrelatou que a empresa de IA Deeptrace analisou 15 mil vídeos com deepfake encontrados online em setembro de 2019, observando que 96% eram pornográficos e 99% deles mapeavam rostos de celebridades femininas em artistas pornôs. Segundo relatos, houve um aumento de 550% no número de vídeos com deepfake online desde 2019, com representações sexualizadas de indivíduos reais representando 98% de todos os vídeos com deepfake online e mulheres representando 99% dos indivíduos como alvo ​​(Relatório da Home Security Heroes 2023). Os 10 principais sites dedicados a imagens íntimas com deepfake receberam coletivamente mais de 34 milhões de visitas mensais.

Foi demonstrado que o abuso sexual baseado em imagens tem um impacto significativo nas vítimas. O relatório de 2019 do Reino Unido sobre ódio, assédio e abuso online de adultos cita uma série de estudos sobre abuso sexual baseado em imagens (incluindo imagens íntimas com deepfake) que analisaram as experiências das vítimas. Esses estudos descobriram que elas podem sofrer com sentimentos de vergonha, impotência, constrangimento, autoculpabilização, raiva, remorso, paranoia, isolamento, humilhação e impotência; além de sentirem perda de integridade, dignidade, segurança, autoestima, autorrespeito e autovalor. Pesquisadores sobre abuso sexual online sugerem que os danos das imagens sexuais com deepfake podem ser tão graves quanto aqueles associados às imagens sexuais reais não consensuais.

Imagens íntimas com deepfake são um problema global. Houve relatos de mulheres políticas sendo alvos em Bangladesh, no Paquistão, na Itália, nos Estados Unidos, na Irlanda do Norte e na Ucrânia. Jornalistas, ativistas dos direitos humanos e celebridades também são alvos rotineiros. No entanto, qualquer pessoa pode ser vítima de imagens íntimas com deepfake. Houve incidentes recentes nos Estados Unidos e na Espanha de crianças e adolescentes sendo alvos de imagens íntimas com deepfake. Especialistas consultados pelo Comitê observaram que esse conteúdo pode ser particularmente prejudicial em comunidades socialmente conservadoras. Por exemplo, uma mulher de 18 anos foi supostamente morta a tiros pelo pai e o tio na remota região de Kohistan, no Paquistão, depois de uma foto digitalmente adulterada dela com um homem ter se tornado viral.

Tanto a Índia quanto os Estados Unidos consideraram leis e anunciaram novos planos para regulamentar os deepfakes. Um comentário público de Rakesh Maheshwari, um ex-representante do governo de alto escalão em direito cibernético, explica como as leis atuais da Índia sobre redes sociais podem ser aplicadas ao conteúdo do primeiro caso (ver PC-27029). No entanto, o Comitê recebeu muitos comentários públicos enfatizando o quão importante é as plataformas de rede social serem a primeira linha de defesa, porque os meios legais podem não agir com rapidez suficiente para impedir a disseminação desse conteúdo. Um comentário público da ONG indiana Breakthrough Trust também explica que, na Índia, “as mulheres frequentemente enfrentam vitimização secundária” nas delegacias ou nos tribunais ao serem questionadas sobre o motivo de terem colocado as próprias fotos na internet em primeiro lugar, mesmo quando as imagens tinham deepfake (ver PC-27044).

A Meta tem se mostrado ativa no desenvolvimento de tecnologias para abordar um problema relacionado, o compartilhamento de imagens íntimas não consensuais (NCIIs). Especialistas independentes consultados pelo Comitê elogiaram os esforços da Meta em encontrar e remover as NCIIs, chamando-a de líder do setor e afirmaram que suas tecnologias de correspondência de imagem são valiosas. Embora as NCIIs sejam diferentes das imagens íntimas com deepfake, pois as primeiras envolvem imagens reais, enquanto as segundas envolvem imagens criadas ou alteradas digitalmente, ambas são exemplos de abuso sexual baseado em imagens.

2. Envios de usuários

O usuário que denunciou o conteúdo no primeiro caso disse ter visto imagens explícitas de celebridades geradas por IA no Instagram e estava preocupado com o fato de isso estar disponível em uma plataforma que os adolescentes poderiam usar. O criador do conteúdo não forneceu uma declaração do usuário ao Comitê.

O usuário que compartilhou a publicação no segundo caso afirmou em sua apelação que sua intenção não era intimidar, assediar ou degradar a imagem de ninguém, mas sim entreter as pessoas.

3. Políticas de conteúdo e envios da Meta

I. Políticas de conteúdo da Meta

Padrões da Comunidade sobre Bullying e Assédio

Os Padrões da Comunidade sobre Bullying e Assédio afirmam, no Nível 1 (Proteções universais para todos), que todos (incluindo figuras públicas) são protegidos contra “Photoshop ou desenhos sexualizados depreciativos”.

Orientações internas adicionais fornecidas aos moderadores de conteúdo definem “photoshop ou desenhos sexualizados depreciativos” como conteúdo que foi manipulado ou editado para sexualizá-lo de maneiras que provavelmente não são desejadas pelo alvo e, portanto, percebido como depreciativo, por exemplo, colocando a cabeça de uma pessoa real em um corpo nu ou quase nu.

Política sobre Nudez e Atividade Sexual de Adultos

Essa política proíbe, entre outras representações de nudez e atividade sexual, “imagens aproximadas de nádegas totalmente descobertas”, bem como o ato de “apertar seios femininos”. Esse ato é definido como o movimento de pegar neles com os dedos curvados, deixando marcas e uma mudança nítida no formato dos seios. Permitimos o ato em contextos de amamentação.”

Política sobre Exploração Sexual de Adultos

Essa política proíbe:

Pessoas “compartilhando, oferecendo ou pedindo imagens íntimas não consensuais (assim como ameaçando fazê-lo, ou declarando a intenção de compartilhá-las) que preencham as três seguintes condições:

• Imagens não comerciais ou tiradas em um ambiente privado.
• A pessoa nas imagens está (praticamente) nua, em uma pose sexual ou envolvida em atividades sexuais.
• A falta de consentimento para compartilhar as imagens é atestada com qualquer um dos seguintes sinais:
  • Contexto vingativo (como legenda, comentários ou título da Página).
  • Fontes independentes (como registros de autoridades de aplicação da lei), inclusive meios de entretenimento (como vazamento de imagens confirmadas pela mídia).
  • Uma correspondência visível entre a pessoa retratada na imagem e a pessoa que denunciou o conteúdo.
  • Uma correspondência entre o nome da pessoa que denunciou o conteúdo e a pessoa retratada na imagem.”

II. Envios da Meta

A Meta avaliou ambas as publicações de acordo com sua Política sobre Bullying e Assédio e a Política sobre Nudez e Atividade Sexual de Adultos. A empresa constatou que ambas violavam a Política sobre Bullying e Assédio, mas apenas a publicação no segundo caso (figura pública americana) violava os Padrões da Comunidade sobre Nudez e Atividade Sexual de Adultos.

Padrões da Comunidade sobre Bullying e Assédio

A Política sobre Bullying e Assédio protege figuras públicas e privadas de “photoshop ou desenhos sexualizados [d]epreciativos”, pois esse tipo de conteúdo “impede que as pessoas se sintam seguras e respeitadas no Facebook, no Instagram e no Threads”. Em resposta à pergunta do Comitê sobre como a empresa identifica conteúdo “photoshopado” ou gerado por IA, a Meta explicou que a avaliação é feita “caso a caso” e depende de vários sinais, incluindo “sinais de contexto, incluindo os de fontes confiáveis, como artigos de verificadores de fatos terceirizados, fontes de mídia confiáveis, avaliações de Parceiros Confiáveis ​​integrados e outras organizações apartidárias ou parceiros governamentais”.

A Meta determinou que a imagem no primeiro caso não seguiu essa política porque foi criada usando IA para se assemelhar a uma figura pública da Índia e foi manipulada ou editada para fazer a figura parecer quase nua em uma "pose sexualmente sugestiva". A empresa também considerou o identificador do usuário e as hashtags, ambos os quais indicam claramente que a imagem foi gerada por IA.

A Meta determinou que a imagem no segundo caso também não seguia essa política. A empresa considerou os seguintes fatores para determinar que essa imagem foi gerada por IA: o rosto parece estar combinado com um corpo quase nu e a “coloração, textura e clareza da imagem sugeriram que o vídeo [imagem] foi gerado por IA”; houve relatos externos pela mídia sobre a disseminação dessas imagens geradas; e o conteúdo foi publicado em um grupo dedicado ao compartilhamento de imagens criadas usando inteligência artificial.

Padrões da Comunidade sobre Nudez e Atividade Sexual de Adultos

A Meta informou ao Comitê que a empresa determinou que a imagem do segundo caso (figura pública americana) também não seguiu a Política sobre Nudez e Atividade Sexual de Adultos. Como o conteúdo do segundo caso mostra alguém “agarrando” a figura pública feminina da imagem gerada por IA, ele não seguiu a regra sobre a proibição de imagens que mostrassem o ato de apertar seios femininos.

Segundo a empresa, a imagem do primeiro caso (figura pública indiana) segue a política porque, embora imagens aproximadas de nádegas totalmente descobertas sejam proibidas, essa imagem não é aproximada conforme definido pela empresa.

A empresa também explicou que a decisão de remover ambas as publicações atingiu o equilíbrio certo entre seus valores de segurança, privacidade, dignidade e voz porque “a Meta avaliou o valor criativo do conteúdo nesse pacote como mínimo”. Olhando as hashtags e legendas em ambas as publicações, a empresa concluiu que “a intenção era sexual e não artística”. A empresa concluiu ainda que a “preocupação de segurança com a remoção desse conteúdo superou qualquer valor expressivo do discurso”. Citando a contribuição das partes interessadas de um fórum de políticas anterior sobre “Ataques contra figuras públicas”, a Meta destacou preocupações sobre abuso e assédio que figuras públicas enfrentam online e argumentou que isso gera autocensura e silenciamento de pessoas que testemunham o assédio.

Em maio de 2024, a Meta atualizou seus Padrões da Comunidade sobre Nudez e Atividade Sexual de Adultos, esclarecendo que a política se aplica a todas as “imagens fotorrealistas” e que “[s]e não estiver claro se uma imagem ou vídeo é fotorrealista”, eles “presumem que é”. O Comitê entende que isso significa que imagens realistas de pessoas reais, celebridades ou outras, geradas por IA, serão removidas de acordo com os Padrões da Comunidade sobre Nudez e Atividade Sexual de Adultos quando contiverem nudez ou atividade sexual e não se qualificarem para uma gama restrita de exceções. A empresa cita a prevenção do “compartilhamento de conteúdo não consensual ou com menores de idade” como justificativa para a remoção de imagens sexuais fotorrealistas. O Comitê recebe com satisfação o esclarecimento da Meta em relação aos Padrões da Comunidade sobre Nudez e Atividade Sexual de Adultos e apoia os esforços da empresa em adotar a mesma postura contra imagens e vídeos fictícios de aparência realista que adotaria contra os reais.

Os resultados para ambos os itens de conteúdo nesse caso permaneceriam os mesmos conforme as políticas atualizadas: ambos ainda seriam removidos com base na proibição de photoshop sexualizado depreciativo nos termos dos Padrões da Comunidade sobre Bullying e Assédio, e a publicação apresentando a figura pública americana não seguiria os Padrões da Comunidade sobre Nudez e Atividade Sexual de Adultos por mostrar seios sendo apertados em um contexto que não é permitido.

Embora essas mudanças representem um esclarecimento bem-recebido, elas não são suficientes para lidar com a disseminação de imagens íntimas não consensuais geradas por IA. O Comitê reafirma a importância de uma linha política dedicada à conteúdo sexualizado não consensual gerado ou manipulado por IA que existe como parte dos Padrões da Comunidade sobre Exploração Sexual de Adultos da Meta.

Bancos do Serviço de Correspondência de Mídias

De acordo com a Meta, os bancos do Serviço de Correspondência de Mídias identificam e agem em relação a mídias (neste caso, imagens) publicadas em suas plataformas. Quando um conteúdo é identificado para inserção no banco de dados, ele é convertido em uma sequência de dados, ou “hash”. Em seguida, o hash é associado a um banco de dados específico. Os bancos do MMS da Meta são criados para se alinharem a políticas específicas de Padrões da Comunidade e não são projetados em torno de comportamentos ou tipos de conteúdo específicos, como conteúdo com photoshop sexualizado e depreciativo. Esses bancos podem identificar e remover automaticamente imagens que já foram identificadas por analistas humanos como violadoras das regras da empresa.

A imagem no segundo caso (figura pública americana) foi removida porque uma imagem idêntica já havia sido encaminhada para análise humana e adicionada a um banco do MMS. A imagem no primeiro caso (figura pública indiana) não foi inicialmente adicionada a um banco do MMS. A Meta afirmou que: “Nem todas as instâncias de conteúdo consideradas violadoras por ter photoshop sexualizado e depreciativo são adicionadas a um banco do MMS. Solicitações para armazenar conteúdo geralmente devem ser aprovadas, em escala, por nossas equipes internas. Isso ocorre porque o banco do MMS é uma ferramenta poderosa de monitoramento que pode acarretar riscos de over-enforcement.” A Meta só mudou sua decisão de arquivar a imagem no primeiro caso depois que o Comitê perguntou por que isso não havia sido feito.

O Comitê fez 13 perguntas sobre os Bancos do MMS, o encerramento automático de apelações, a proibição de photoshop sexualizado depreciativo na Política sobre Bullying e Assédio e outras políticas que podem ser relevantes para esse caso. A Meta respondeu a todos elas.

4. Comentários públicos

O Comitê de Supervisão recebeu 88 comentários públicos que cumpriam os termos para envio. Dessas, 14 eram da Ásia-Pacífico e Oceania, 24 da Ásia Central e Meridional, 15 da Europa, cinco da América Latina e do Caribe e 30 dos Estados Unidos e do Canadá. Para ler comentários públicos enviados com consentimento de publicação, clique aqui.

Os envios abordaram os seguintes temas: a prevalência e as implicações culturais dos deepfakes na Índia, o impacto das imagens íntimas com deepfake nas mulheres em geral e nas figuras públicas femininas, por que o encerramento automático de recursos relacionados a abuso sexual baseado em imagens é problemático e a necessidade de combinar sistemas humanos e automatizados de análise para detectar e remover imagens íntimas com deepfakes.

5. Análise do Comitê de Supervisão

O Comitê analisou a decisão da Meta nesse caso em relação às políticas de conteúdo, aos valores e às responsabilidades de direitos humanos da Meta. Também avaliou as implicações desse caso quanto à abordagem mais ampla da Meta em relação à governança de conteúdo.

5.1 Conformidade com as políticas de conteúdo da Meta

I. Regras sobre conteúdo

Está claro para o Comitê que ambas as imagens não seguiram a proibição da Meta sobre “photoshop sexualizado depreciativo” conforme a Política sobre Bullying e Assédio. Ambas foram editadas para mostrar a cabeça ou o rosto de uma pessoa real com um corpo real ou fictício, nu ou quase nu. Ambos os casos também contêm sinais contextuais de que o conteúdo foi gerado por IA. A publicação do primeiro caso (figura pública indiana) inclui uma lista de hashtags indicando que foi gerada por IA e foi publicada por uma conta dedicada à publicação dessas imagens. A publicação do segundo caso (figura pública americana) foi feita em um grupo do Facebook para imagens de IA.

O Comitê concorda com a Meta que apenas a publicação no segundo caso não seguiu a Política sobre Nudez e Atividade Sexual de Adultos, pois retrata a mulher tendo o seio apertado. A outra imagem segue essa política atualizada porque não é uma imagem aproximada de nádegas descobertas, conforme definido pela empresa. O Comitê observa que isso significa que, de acordo com a política atual, imagens semelhantes que não contenham pistas contextuais óbvias que indiquem que são geradas por IA não seriam removidas. O impacto disto nas vítimas é discutido na seção 5.2 abaixo.

5.2 Conformidade com as responsabilidades da Meta relativas aos direitos humanos

Tanto no primeiro caso (figura pública indiana) quanto no segundo caso (figura pública americana), o Comitê conclui que a remoção do conteúdo das plataformas da Meta é consistente com as responsabilidades de direitos humanos dela.

Liberdade de expressão (Artigo 19 PIDCP)

O artigo 19 do PIDCP prevê ampla proteção da expressão, incluindo a expressão que pode ser considerada “profundamente ofensiva” (Comentário Geral 34, parágrafo 11, ver também parágrafo 17 do relatório de 2019 do Relator Especial da ONU sobre liberdade de expressão, A/74/486). Quando um Estado aplica restrições à expressão, elas devem atender aos requisitos de legalidade, objetivo legítimo e necessidade e proporcionalidade, segundo o parágrafo 3 do Artigo 19 do PIDCP, Comentário Geral 34, parágrafo 34. Esses requisitos costumam ser chamados de "teste tripartite". O Comitê usa essa estrutura para interpretar as responsabilidades de direitos humanos da Meta de acordo com os Princípios Orientadores da ONU sobre Empresas e Direitos Humanos, com os quais a própria Meta se comprometeu em sua Política Corporativa sobre Direitos Humanos. O Comitê faz isso tanto em relação à decisão de conteúdo individual sob análise quanto ao que isso diz sobre a abordagem mais ampla da empresa à governança de conteúdo. Como afirmou o Relator Especial da ONU sobre liberdade de expressão, embora “as empresas não tenham obrigações governamentais, seu impacto é do tipo que exige que avaliem o mesmo tipo de questões sobre a proteção do direito de seus usuários à liberdade de expressão” ( A/74/486, parágrafo 41).

I. Legalidade (clareza e acessibilidade das regras)

O princípio da legalidade exige que as regras que limitam a expressão sejam acessíveis e claras, formuladas com precisão suficiente para permitir que um indivíduo regule sua conduta de acordo com elas (Comentário Geral nº 34, parágrafo 25). Além disso, essas regras “podem não conceder liberdade de ação irrestrita para a restrição da liberdade de expressão aos encarregados de [sua] execução” e devem “fornecer instrução suficiente aos encarregados de sua execução para permitir-lhes determinar quais tipos de expressão são propriamente restritas e quais tipos não são” (Ibid). O Relator Especial da ONU sobre a liberdade de expressão declarou que, quando aplicadas à governação do discurso online por parte de intervenientes privados, as regras devem ser claras e específicas (A/HRC/38/35, parágrafo 46). As pessoas que usam as plataformas da Meta devem ser capazes de acessar e entender as regras, e os moderadores de conteúdo devem ter orientações claras sobre sua aplicação.

O Comitê conclui que, embora nesse contexto o termo “photoshop sexualizado depreciativo” devesse ter sido claro para os usuários que publicam esses itens de conteúdo, ele geralmente não é suficientemente claro para os usuários. Em resposta à pergunta do Comitê sobre o significado desse termo, a Meta declarou que: “‘Photoshop ou desenhos sexualizados depreciativos’ se referem a imagens manipuladas que são sexualizadas de maneiras que provavelmente não são desejadas pelo alvo e, portanto, percebidas como depreciativas (por exemplo, colocar a cabeça de uma pessoa real em um corpo nu ou quase nu).” O Comitê observa que um termo como “não consensual” seria uma descrição mais clara do que “depreciativo” para transmitir a ideia de manipulações sexualizadas indesejadas em imagens.

Além disso, o Comitê considera que o termo “photoshop” na proibição de “photoshop sexualizado depreciativo” é datado e muito restrito para abranger a gama de técnicas de manipulação de mídia disponíveis aos usuários, particularmente as com tecnologia de IA generativa. Embora o termo “photoshop” não implique mais necessariamente o uso de um software de edição específico, ele ainda se refere comumente à edição manual de imagens usando ferramentas digitais. Por outro lado, muitas das imagens sexualizadas não consensuais disseminadas online hoje são criadas usando modelos de IA generativa que editam automaticamente imagens existentes ou criam imagens totalmente novas. A Meta deve garantir que sua proibição de conteúdo sexual depreciativo abranja essa gama mais ampla de técnicas de edição, de uma forma que seja clara tanto para os usuários quanto para os moderadores da empresa.

O Comitê também considera que as linhas políticas que proíbem essas imagens seriam mais adequadamente localizadas nos Padrões da Comunidade sobre Exploração Sexual de Adultos do que nos Padrões da Comunidade sobre Bullying e Assédio. As regras precisam ser intuitivas para facilitar aos usuários a compreensão do que é proibido e por quê. Isso é particularmente importante nos casos em que o conteúdo estaria em conformidade com as regras se a imagem tivesse sido criada e compartilhada consensualmente, como no primeiro caso (figura pública indiana). Se um usuário olhar as imagens em ambos os casos, é improvável que as veja como uma questão envolvendo bullying e assédio.

Um comentário público da RATI Foundation for Social Change (uma ONG indiana que auxilia vítimas de violência sexual online e offline) declarou que, embora uma das maneiras pelas quais auxilia as vítimas seja ajudando a remover imagens sexuais geradas por IA das plataformas da Meta, ela nunca tinha ouvido falar da proibição de "photoshop sexualizado depreciativo" e nunca havia denunciado uma imagem explícita de IA conforme o Padrão da Comunidade sobre Bullying e Assédio. Em vez disso, denunciou essas imagens de acordo com outras políticas, como a sobre Nudez e Atividade Sexual de Adultos e a sobre Exploração Infantil e Exploração Sexual de Adultos (ver PC-27032).

A inclusão dessa proibição nos Padrões da Comunidade sobre Bullying e Assédio pressupõe que os usuários estão publicando essas imagens para atacar pessoas. No entanto, isso pode não refletir com precisão o motivo pelo qual um determinado usuário publicou uma imagem explícita gerada por IA. Isso é confuso para todos os usuários, desde as pessoas que publicam esse conteúdo até as que o denunciam. Uma pesquisa externa encomendada pelo Comitê mostra que os usuários publicam imagens íntimas com deepfake por uma série de razões que podem não envolver uma intenção expressa de praticar bullying ou assédio. Embora assédio e trolagem sejam duas das razões, os usuários geralmente também são motivados pelo desejo de construir um público na plataforma, monetizar sua página ou direcionar os usuários para sites fora da plataforma, como sites e serviços pornográficos ou sites com isca de cliques; Um estudo de Powell et. al de 2020 também descobriu que os autores de abuso sexual baseado em imagens frequentemente relatam motivações como “diversão” ou “flerte”, inclusive “troca de imagens”. As linhas políticas que proíbem essas imagens seriam mais claras se o foco estivesse na falta de consentimento e nos danos da disseminação desse conteúdo, em vez do impacto dos ataques diretos implícitos em uma designação de bullying e assédio.

A Política sobre Exploração Sexual de Adultos seria, portanto, um lugar mais claro e lógico para incluir essas proibições. Essa política se concentra em imagens compartilhadas sem consentimento e contém a proibição de compartilhamento de imagens íntimas não consensuais (NCIIs), que é claramente um problema muito semelhante. A Meta também deve considerar renomear essa política para algo mais detalhado e claro para os usuários, como “Conteúdo Sexual Não Consensual”.

II. Objetivo legítimo

Qualquer restrição à liberdade de expressão também deve perseguir um ou mais dos objetivos legítimos listados no PIDCP, o que inclui a proteção dos direitos de terceiros.

O Comitê de Direitos Humanos interpretou o termo “direitos” de forma a incluir os direitos humanos reconhecidos no PIDCP e, em geral, no direito internacional dos direitos humanos ( Comentário Geral 34, no parágrafo 28).

A decisão da Meta de proibir imagens íntimas com deepfake na plataforma busca proteger o seguinte: os direitos à saúde física e mental, já que esse conteúdo é extremamente prejudicial às vítimas (Artigo 12 do PIDESC); a liberdade de não sofrer discriminação, já que há evidências irrefutáveis mostrando que esse conteúdo afeta desproporcionalmente mulheres e meninas (Artigo 2 do PIDCP e do PIDESC); e o direito à privacidade, já que afeta a capacidade das pessoas de manter uma vida privada e autorizar a criação e divulgação das próprias imagens (Artigo 17 do PIDCP).

O Comitê conclui que as restrições da plataforma em relação a imagens íntimas com deepfake são criadas para proteger indivíduos da criação e disseminação de imagens sexuais feitas sem seu consentimento, e dos danos resultantes às vítimas e seus direitos. Isso representa um objetivo legítimo para restringir esse conteúdo.

III. Necessidade e proporcionalidade

Nos termos do artigo 19(3) do PIDCP, a necessidade e a proporcionalidade exigem que as restrições à expressão “devem ser adequadas para atingir sua função de proteção; devem ser o instrumento menos intrusivo entre aqueles que podem atingir sua função de proteção; devem ser proporcionais ao interesse a ser protegido” (Comentário Geral n.º 34, parágrafo 34).

A gravidade dos danos nesse conteúdo:

O Comitê considera que a proibição e a remoção são medidas necessárias e proporcionais para proteger os direitos das pessoas afetadas por esse conteúdo. Os danos causados ​​por esse conteúdo são graves para as pessoas retratadas nele. Os direitos à privacidade e à proteção delas contra danos mentais e físicos são violados pelo uso não consensual da própria imagem para criar outras imagens sexualizadas.

Dada a gravidade desses danos, a remoção do conteúdo é o único meio eficaz disponível para proteger as vítimas. Não há medidas menos intrusivas que seriam suficientes. Na decisão do caso Vídeo adulterado do presidente Biden, o Comitê recomendou a rotulagem de conteúdo manipulado como um meio de evitar que os usuários sejam enganados sobre a autenticidade do conteúdo. No entanto, a rotulagem não seria suficiente para resolver o dano aqui, pois ele decorre do compartilhamento e da visualização da imagem em si, e não apenas de pessoas enganadas quanto à sua autenticidade.

Como a grande maioria das pessoas retratadas nessas imagens são mulheres ou meninas, esse tipo de conteúdo também tem impactos discriminatórios e é um dano altamente baseado em gênero (ver PC-27045).

A aplicação dos bancos do MMS a esse conteúdo:

O Comitê também considerou o uso de bancos do MMS pela Meta. A imagem no segundo caso (figura pública americana) já havia sido adicionada ao banco do MMS, mas a imagem no primeiro (figura pública indiana) não foi adicionada até o Comitê perguntar à Meta por que isso aconteceu. A Meta declarou em sua resposta que se baseou em reportagens da mídia para indicar que a imagem do segundo caso estava circulando nas redes sociais e que “o banco era necessário para abordar a questão mais ampla da disseminação desse conteúdo”. O texto prosseguiu dizendo que não houve sinais da mídia no primeiro caso.

O Comitê destaca que pode haver muitas vítimas de imagens íntimas não consensuais com deepfake, cujas imagens são compartilhadas inúmeras vezes nas plataformas. No entanto, elas não têm um perfil público e são forçadas a aceitar a disseminação de suas imagens não consensuais ou a pesquisar e denunciar cada ocorrência, o que consumiria muitos recursos e seria traumatizante. Um comentário público da Witness pede para a Meta “evitar colocar o fardo da denúncia sobre as vítimas, incluindo denúncias repetidas do mesmo conteúdo” (ver PC-27095). O Comitê reitera essa preocupação, especialmente devido aos impactos sobre as vítimas em regiões ou comunidades com alfabetização midiática limitada. A Meta declarou que um dos sinais de falta de consentimento conforme a Política sobre Exploração Sexual de Adultos são reportagens da mídia sobre vazamentos de NCIIs. Embora essa informação possa ser útil para conteúdo referente a figuras públicas, é importante que a Meta não recorra demais a esse sinal, pois ele não é útil para conteúdo referente a pessoas físicas, que provavelmente não serão noticiadas em reportagens da mídia. A Meta também precisa recorrer a sinais que ajudem a identificar representações não consensuais de pessoas físicas.

Ao determinar a proporcionalidade das medidas aplicadas pela Meta, o Comitê também discutiu o ato de sancionar usuários, em particular se todos (não apenas o primeiro usuário) que compartilharam essas imagens deveriam receber uma advertência. Um comentário público da RATI Foundation for Social Change declarou que, em sua experiência de ajudar vítimas de imagens íntimas com deepfake, “muitos desses vídeos são publicados em colaboração com outra conta. Entretanto, quando a publicação é denunciada, apenas uma das contas é penalizada. A outra conta, que é uma conta alternativa do infrator, permanece ativa e volta a publicar.” Ela também afirmou que viu muitas cópias do mesmo vídeo, o que parece indicar que os bancos do MMS seriam úteis para abordar esse conteúdo (ver PC-27032). É claro que, como observa a Digital Rights Foundation, os bancos do MMS são “restritos pelo banco de dados de imagens conhecidas” e sempre terão uma utilidade mais limitada contra imagens geradas por IA, pois novas podem ser facilmente criadas (consulte PC-27072). Os bancos do MMS, portanto, podem ser apenas uma ferramenta no arsenal da Meta para combater imagens íntimas com deepfake. Embora a aplicação de advertências em todas as instâncias possa tornar o monitoramento mais eficaz, isso também pode levar os usuários a serem penalizados em situações em que isso não é justificado, como compartilhar imagens que eles não sabem que foram geradas por IA ou não são consensuais. O Comitê reconhece essa tensão. A Meta informou ao Comitê que o banco do MMS nesse caso não estava configurado para aplicar advertências devido ao risco de over-enforcement. Entretanto, em algumas circunstâncias, isso mudou e os usuários agora podem fazer uma apelação dessas decisões. Dada essa mudança nas circunstâncias, o Comitê solicita que a Meta reconsidere se a aplicação de advertências pode ser justificada.

A distinção artificial entre compartilhamento de imagens íntimas não consensuaise imagens íntimas com deepfake:

Por fim, o Comitê considerou se o compartilhamento de imagens íntimas não consensuais (NCIIs) e as imagens íntimas com deepfake deveriam ser tratadas separadamente nas políticas da Meta. Quando questionada sobre a possibilidade de mover a proibição de photoshopping sexualizado depreciativo (que, como discutido na seção Legalidade acima, seria melhor descrito com um termo mais preciso) para a Política sobre Exploração Sexual de Adultos, a Meta disse ao Comitê que as duas categorias de conteúdo são muito diferentes porque as regras sobre o monitoramento das NCIIs exigem um sinal de falta de consentimento (como uma declaração de vingança ou reportagens da mídia sobre um vazamento), enquanto as regras sobre photoshopping sexualizado depreciativo não. No entanto, esta é uma escolha de monitoramento que poderia teoricamente ser remediada ao considerar o contexto que indica que os aspectos nus ou sexualizados do conteúdo são gerados por IA, editados ou manipulados de outra forma para ser um sinal de não consentimento, e especificando que esse conteúdo não precisa ser "não comercial ou produzido em um ambiente privado" para violar a política.

Já existe uma combinação significativa entre as políticas que pode não estar clara para os usuários. A Meta declarou em sua resposta às perguntas do Comitê que, no momento do monitoramento do conteúdo nesses casos, sua definição de imagens íntimas para a Política sobre Exploração Sexual de Adultos foi definida internamente como (i) capturas de tela de conversas sexuais privadas e (ii) imagens de uma ou mais pessoas em um ambiente privado, incluindo imagens manipuladas que contenham nudez, quase nudez ou pessoas envolvidas em atividade sexual.

Criar uma presunção de que imagens sexuais geradas por IA não são consensuais pode, ocasionalmente, levar à remoção de uma imagem feita consensualmente. O Comitê está profundamente preocupado com a over-enforcement da permissão para nudez e quase nudez, conforme demonstrado pelos casos Sintomas de câncer de mama e nudez e Identidade de gênero e nudez, e as decisões sumárias dos casos Autoexame de mama e Infográficos de autoexame de câncer testicular. No entanto, no caso de deepfakes sexualizados, essa presunção já está subjacente ao monitoramento de photoshopping sexualizado depreciativo pela Meta, pois a empresa presume que toda sexualização coberta por essa política e criada por meio de IA ou photoshopping é indesejada. É inevitável que nem todo conteúdo gerado por IA seja abrangido por essa nova linha política (assim como não é abrangido agora), mas ao combinar as duas categorias de conteúdo não consensual, a Meta pode aproveitar seu êxito no combate a NCIIs e usar aspectos de sua abordagem para avaliar o consentimento a fim de reduzir imagens íntimas com deepfake em suas plataformas.

O Comitê também explorou se, para fornecer melhor proteção para pessoas cujos direitos são afetados por esse tipo de conteúdo, a Meta deveria alterar sua abordagem às proibições das NCIIs e do photoshop sexualizado depreciativo para começar com uma presunção de que essas imagens não são consensuais, em vez da abordagem atual de presumir que as imagens são consensuais e exigir sinais de não consentimento para removê-las. No entanto, após avaliar a viabilidade e o impacto dessa abordagem proposta, o Comitê concluiu que essa abordagem corria o risco de impor uma over-enforcement contra conteúdo não violador e não seria operacionalmente viável no contexto de ferramentas automatizadas que a Meta usa para seu monitoramento.

Direito ao recurso

O Comitê está preocupado com as apelações que foram encerradas automaticamente no primeiro caso. Tanto a denúncia original quanto a apelação contra a decisão da Meta de manter o conteúdo na plataforma foram encerradas automaticamente. A Meta informou ao Comitê que “o conteúdo denunciado por qualquer tipo de violação (com exceção de material com abuso sexual infantil) é qualificado para automação de encerramento automático se nossa tecnologia não detectar uma alta probabilidade de violação e não for analisado em 48 horas”.

Os usuários podem não estar cientes do processo de encerramento automático e do fato de que, quando enviam conteúdo para apelação, ele pode nunca ser realmente analisado. Enquanto isso, como no primeiro caso, vítimas e outras pessoas que buscam remover imagens íntimas com deepfake podem denunciar o conteúdo, mas não têm direito a qualquer análise real. Quando elas fazem uma apelação dessa decisão, elas podem se encontrar na mesma posição, com o mesmo processo de encerramento automático acontecendo novamente.

Muitos dos comentários públicos recebidos nesse caso criticaram o uso do encerramento automático das apelações relativas a abuso sexual baseado em imagem. Os danos causados ​​por essas imagens são tão graves que até mesmo esperar 48 horas por uma análise pode ser prejudicial. O American Sunlight Project, que deu o exemplo de imagens íntimas com deepfake direcionadas a mulheres políticas durante eleições, afirma que “esse conteúdo pode receber centenas de milhares de visualizações, ser noticiado na imprensa nacional e prejudicar a percepção pública de uma candidata política, colocando-a em posição desigual quando comparada a seus oponentes. Em alguns países, incluindo a Índia, onde esse caso ocorreu, isso poderia até mesmo colocar a vida dela em risco” (ver PC-27058). Um ponto relacionado foi levantado pelo Centre for Protecting Women Online, que alertou que o dano dessas imagens em uma eleição será particularmente grave “em contextos em que a alfabetização digital da população em geral é baixa e onde a influência de mensagens e imagens publicadas nas redes sociais tem grande probabilidade de influenciar os eleitores como a fonte quase exclusiva de notícias e informações” (PC-27088). É claro que, independentemente do status público ou privado das vítimas, uma demora na remoção dessas imagens prejudica gravemente sua privacidade e pode ser catastrófico. O Comitê considerou se o conteúdo que causa danos tão graves às suas vítimas (por meio de deepfake e NCIIs) deveria ser isento do processo de encerramento automático. O Comitê reconhece os desafios da moderação de conteúdo em larga escala e a necessidade de usar processos automatizados para gerenciar o conteúdo sinalizado para análise, mas está preocupado com a gravidade dos danos que podem resultar de seu uso em áreas de políticas como essa. O Comitê não tem informações suficientes sobre o uso do encerramento automático em todas as políticas da Meta para fazer uma recomendação sobre o uso do encerramento automático nos sistemas de monitoramento mais amplos da Meta, mas considera que é uma questão que pode ter impactos significativos nos direitos humanos que exigem avaliação cuidadosa de risco e mitigação.

6. Decisão do Comitê de Supervisão

O Comitê de Supervisão anula a decisão original da Meta de deixar ativo o conteúdo no primeiro caso (figura pública indiana), exigindo que a publicação seja removida, e mantém a decisão da empresa de remover o conteúdo no segundo caso (figura pública americana).

7. Recomendações

Política de Conteúdo

1. Para aumentar a certeza para os usuários e combinar suas políticas sobre conteúdo não consensual, a Meta deve mover a proibição de “photoshop sexualizado depreciativo” para os Padrões da Comunidade sobre Exploração Sexual de Adultos.

O Comitê considerará essa recomendação implementada quando essa seção for removida da Política sobre Bullying e Assédio e incluída na Política sobre Exploração Sexual de Adultos disponível ao público.

2. Para aumentar a certeza para os usuários, a Meta deve mudar a palavra “depreciativo” na proibição de “photoshop sexualizado depreciativo” para “não consensual”.

O Comitê considerará essa recomendação implementada quando a palavra “não consensual” substituir a palavra “depreciativo” na proibição de conteúdo sexualizado depreciativo nos Padrões da Comunidade disponíveis publicamente.

3. Para aumentar a certeza para os usuários e garantir que suas políticas abordem uma ampla gama de técnicas de edição e geração de mídia, a Meta deve substituir a palavra “photoshop” na proibição de “photoshop sexualizado depreciativo” por um termo mais generalizado para mídia manipulada.

O Comitê considerará essa recomendação implementada quando a palavra “photoshop” for removida da proibição de conteúdo “sexualizado depreciativo” e substituída por um termo mais generalizado, como “mídia manipulada”.

4. Para harmonizar suas políticas sobre conteúdo não consensual e ajudar a garantir que o conteúdo violador seja removido, a Meta deve adicionar um novo sinal para falta de consentimento na Política sobre Exploração Sexual de Adultos: contexto em que o conteúdo é gerado ou manipulado por IA. Para conteúdo com esse contexto específico, a política também deve especificar que ele não precisa ser “não comercial ou produzido em um ambiente privado” para ser considerado uma violação.

O Comitê considerará essa recomendação implementada quando as diretrizes internas públicas e privadas forem atualizadas para refletir essa mudança.

Nota processual:

As decisões do Comitê de Supervisão são tomadas por painéis de cinco membros e aprovadas por maioria de votos do Comitê inteiro. As decisões dele não representam, necessariamente, as opiniões de todos os membros.

De acordo com seu Estatuto, o Comitê de Supervisão pode analisar apelações de usuários cujo conteúdo foi removido pela Meta, apelações de usuários que denunciaram conteúdo que a Meta manteve ativo e decisões que a Meta encaminha a ele (Seção 1 do Artigo 2 do Estatuto). O Comitê tem autoridade vinculativa para manter ou anular as decisões de conteúdo da Meta (Seção 5 do Artigo 3 e 4 do Estatuto). O Comitê pode emitir recomendações não vinculativas às quais a Meta é obrigada a responder (Seção 4 do Artigo 3 e 4 do Estatuto). Quando a Meta se compromete a agir de acordo com as recomendações, o Comitê monitora sua implementação.

Para a decisão sobre o caso em questão, uma pesquisa independente foi encomendada em nome do Comitê. O Comitê recebeu assistência da Duco Advisors, uma empresa de consultoria especializada na intercessão entre as áreas de geopolítica, confiança e segurança, e tecnologia. A Memetica, um grupo de investigações digitais que fornece serviços de consultoria de risco e inteligência contra ameaças para mitigar danos online, também forneceu pesquisas.

Voltar para Decisões de Casos e Pareceres Consultivos sobre Políticas