En la nueva decisión, se abordan las reglas de Meta sobre las imágenes íntimas sintéticas sin consentimiento
25 de julio de 2024
En dos casos de imágenes explícitas generadas por IA que se parecen a figuras públicas femeninas de la India y de Estados Unidos, el Consejo asesor de contenido considera que las dos publicaciones deberían haber sido eliminadas de las plataformas de Meta. Las imágenes íntimas sintéticas afectan de manera desproporcionada a mujeres y niñas, socavando su derecho a la privacidad y a la protección contra daños físicos y psicológicos. Las restricciones a estos contenidos son legítimas para proteger a las personas de la creación y difusión de imágenes sexuales realizadas sin su consentimiento. Dada la gravedad de los daños, eliminar el contenido es la única forma eficaz de proteger a las personas afectadas. Catalogar contenido manipulado no es conveniente en este caso, ya que los daños surgen de compartir y ver estas imágenes, y no sólo de engañar a las personas sobre su autenticidad. Con estas recomendaciones, el Consejo pretende que las reglas de Meta sobre este tipo de contenido sean más razonables y que a los usuarios les resulte más fácil denunciar las imágenes sexualizadas sin consentimiento.
Sobre los casos
En estos dos casos se abordan imágenes de mujeres desnudas generadas por IA, una se parece a una figura pública india y la otra a una figura pública estadounidense. En el primer caso, una cuenta de Instagram que solo comparte imágenes manipuladas o generadas por IA de mujeres de la India publicó una imagen de la espalda de una mujer desnuda con el rostro visible, como parte de un conjunto de imágenes. En este conjunto de imágenes también aparece una imagen similar de una mujer en traje de baño, muy probablemente el material de origen para la manipulación explícita con IA. En el segundo caso también se aborda una imagen explícita generada por IA que se parece a una figura pública femenina, esta vez de Estados Unidos. En esta imagen, publicada en un grupo de Facebook para creaciones con IA, se observa que manosean a la mujer desnuda. En el pie de foto se nombra a la figura famosa a la que se parece.
En el primer caso (figura pública india), un usuario denunció el contenido a Meta por pornografía, pero como la denuncia no se revisó en un plazo de 48 horas, se cerró automáticamente. Entonces, el usuario presentó una apelación ante Meta, pero también se cerró automáticamente. Finalmente, el usuario presentó una apelación ante el Consejo. Como resultado de la selección de este caso por parte del Consejo, Meta determinó que su decisión original de dejar el contenido en Instagram era errónea y la empresa eliminó la publicación por infringir su norma comunitaria sobre bullying y acoso. Más tarde, después de que el Consejo comenzara sus deliberaciones, Meta desactivó la cuenta que publicó el contenido y agregó la imagen explícita al banco de Servicio de coincidencias (MMS).
En el segundo caso (figura pública estadounidense), la imagen explícita ya había sido agregada al banco de MMS por infringir la política de bullying y acoso de Meta y, por lo tanto, se eliminó automáticamente. Estos bancos identifican y eliminan automáticamente las imágenes que ya han sido identificadas durante las revisiones manuales como infractoras de las reglas de Meta. El usuario que publicó la imagen generada por IA presentó una apelación, pero se cerró automáticamente. Entonces, el usuario presentó una apelación ante el Consejo para recuperar su publicación.
Las imágenes íntimas sintéticas incluyen medios sintéticos manipulados digitalmente para representar a personas reales de manera sexualizada. Cada vez son más fáciles de crear, ya que se necesitan menos fotografías para generar una imagen realista. Según un informe, se destaca un aumento del 550 % en los videos sintéticos en línea desde 2019; la gran mayoría son representaciones sexualizadas de personas reales y se centran en mujeres.
Conclusiones clave
El Consejo determinó que ambas imágenes infringen las reglas de Meta que prohíben el "photoshop sexualizado despectivo" en virtud de la política de bullying y acoso. Es evidente que las imágenes se editaron para mostrar los rostros de figuras públicas reales en un cuerpo desnudo distinto (real o ficticio), mientras que las pistas contextuales, incluidos los hashtags y el lugar donde se publicó el contenido, también indican que están generadas por IA. En el segundo caso (figura pública estadounidense), existe una infracción adicional a la política de Desnudos y actividad sexual de adultos, ya que en la imagen explícita se observa que a la mujer le están apretando el pecho. La eliminación de las dos publicaciones cumplía con las responsabilidades de Meta en materia de derechos humanos.
El Consejo cree que las personas que usan las plataformas de Meta deben poder comprender las reglas. Si bien el término "photoshop sexualizado despectivo" debería haber sido suficientemente claro para los dos usuarios que realizaron sus publicaciones en estos casos, no lo es en términos más generales para los usuarios. Cuando el Consejo le preguntó a Meta sobre el significado, la empresa dijo que el término hace referencia a "imágenes manipuladas que están siendo sexualizadas de maneras que probablemente no sean deseadas por la víctima y, por tanto, se perciben como despectivas". El Consejo señala que un término distinto, como "sin consentimiento", sería una descripción más clara para explicar la idea de manipulación sexualizada no deseada de imágenes. Además, el Consejo determina que "photoshop" es un término muy limitado para abarcar el abanico de técnicas de manipulación de medios disponibles hoy en día, especialmente la IA generativa. Meta debe especificar en esta regla que la prohibición de este contenido abarca esta gama más amplia de técnicas de edición.
Para garantizar que las reglas que prohíben las imágenes sexualizadas sin consentimiento sean más razonables, el Consejo determina que estas deben ser parte de la norma comunitaria de explotación sexual de adultos y no de bullying y acoso. En estos dos casos, los usuarios difícilmente las habrían percibido como un problema de bullying y acoso. En una investigación externa, se muestra que los usuarios publican este tipo de contenido por muchas razones, además del acoso y el "trolling", incluidos el deseo de conseguir audiencia, monetizar páginas o dirigir a los usuarios a otros sitios, incluidos sitios pornográficos. Por lo tanto, las reglas de Meta sobre estas imágenes serían más claras si se centraran en la falta de consentimiento y en los daños derivados de la propagación de estos contenidos, en lugar de centrarse en el impacto de los ataques directos, que es lo que implica hacer cumplir la política de bullying y acoso. La política sobre explotación sexual de adultos sería un lugar más lógico para estas reglas. Esta política ya prohíbe las imágenes íntimas sin consentimiento, que es un problema similar, ya que ambos son ejemplos de abuso sexual basado en imágenes. Entonces, Meta también podría considerar cambiar el nombre de la política a "Contenido sexual sin consentimiento".
El Consejo señala que Meta no agregó la imagen que se parece a una figura pública india al banco de MMS hasta que el Consejo preguntó por qué. Meta respondió diciendo que se basó en los informes periodísticos para agregar la imagen que se parecía a la figura pública estadounidense al banco, pero que en el primer caso no había tales señales. Esto es preocupante porque muchas víctimas de imágenes intimas sintéticas no están en el ojo público, y están obligadas a aceptar la difusión de sus representaciones sin consentimiento o buscar y denunciar cada caso. Una de las señales existentes de falta de consentimiento en virtud de la política sobre explotación sexual de adultos son los informes periodísticos sobre filtraciones de imágenes íntimas sin consentimiento. Esto puede ser útil cuando las publicaciones implican figuras públicas, pero no lo es para personas comunes y corrientes. Por lo tanto, Meta no debe depender demasiado de esta señal. El Consejo también sugiere que se considere como señal de no consentimiento el contexto que indica que las partes desnudas o sexualizadas del contenido son generadas por IA, editadas o manipuladas de otro modo.
Finalmente, al Consejo le preocupa el cierre automático de las apelaciones por abuso sexual basado en imágenes. Incluso esperar 48 horas por una revisión puede ser perjudicial teniendo en cuenta el daño causado. El Consejo todavía no tiene suficiente información sobre el uso del cierre automático de Meta en general, pero lo considera un problema que podría afectar considerablemente los derechos humanos, lo que requiere una evaluación y mitigación del riesgo.
La decisión del Consejo asesor de contenido
En el primer caso (figura pública india), el Consejo anuló la decisión original de Meta de dejar la publicación. En el segundo caso (figura pública estadounidense), el Consejo mantuvo la decisión original de Meta de eliminar la publicación.
El Consejo recomienda que Meta haga lo siguiente:
- Trasladar la prohibición del "photoshop sexualizado despectivo" a la norma comunitaria sobre explotación sexual de adultos.
- Cambiar la palabra "despectivo" en la prohibición del "photoshop sexualizado despectivo" por "sin consentimiento".
- Sustituir la palabra "photoshop" en la prohibición del "photoshop sexualizado despectivo" por un término más generalizado para medios manipulados.
- Unificar sus políticas sobre el contenido sin consentimiento agregando una nueva señal para la falta de consentimiento en la política sobre explotación sexual de adultos: contexto en el que el contenido es manipulado o generado por IA. En el caso del contenido con este contexto específico, la política también debería especificar que no es necesario que sea "no comercial o producido en un entorno privado" para que sea una infracción.
Para obtener más información
To read a synopsis of public comments for this case, please click here.
