Imágenes de IA explícitas de figuras públicas femeninas

Resumen

En los dos casos sobre imágenes explícitas generadas con IA que se asemejan a mujeres que son figuras públicas de la India y los Estados Unidos, el Consejo asesor de contenido concluye que ambas publicaciones deberían haberse eliminado de las plataformas de Meta. Las imágenes íntimas deepfake afectan de forma desproporcionada a mujeres y niñas, y vulneran sus derechos a la privacidad y a la protección frente a daños físicos y psicológicos. Las restricciones de este contenido son legítimas para la protección de los individuos contra la creación y difusión de imágenes sexuales creadas sin su consentimiento. Dada la gravedad de los daños, eliminar el contenido es la única forma eficaz de proteger a las personas afectadas. Etiquetar el contenido manipulado no es apropiado en este caso porque los daños provienen del intercambio y la visualización de estas imágenes y no solo del engaño a las personas sobre su autenticidad. Las recomendaciones del Consejo apuntan a que las reglas de Meta sobre este tipo de contenido sean más intuitivas y que sea más fácil para los usuarios reportar imágenes sexualizadas no consensuadas.

Información de los casos

Estos dos casos involucran imágenes generadas con IA de mujeres desnudas, una que se asemeja a una figura pública de la India y la otra a una figura pública de los Estados Unidos. En el primer caso, una cuenta de Instagram que solo compartía imágenes de mujeres indias generadas o manipuladas con IA publicó una foto de una mujer desnuda de espaldas con el rostro visible como parte de un conjunto de imágenes. En este conjunto también se mostraba una foto similar de la mujer en ropa de playa, que probablemente sea el material de origen para la manipulación explícita con IA. El segundo caso también está relacionado con una imagen explícita generada con IA que se asemeja a una mujer que es una figura pública, esta vez de los Estados Unidos. En esta imagen publicada en un grupo de Facebook dedicado a compartir creaciones generadas con IA, se ve a la mujer desnuda siendo manoseada. La persona famosa a la que se asemeja aparece nombrada en el texto.

En el primer caso (figura pública india), un usuario reportó el contenido a Meta como pornografía, pero como el reporte no se revisó en un plazo de 48 horas, se cerró automáticamente. El usuario luego apeló a Meta, pero la apelación también se cerró automáticamente. Finalmente, el usuario apeló al Consejo. Luego de que el Consejo seleccionara este caso, Meta determinó que había cometido un error en su decisión original de conservar el contenido en Instagram y eliminó la publicación por infringir la norma comunitaria sobre bullying y acoso. Después de que el Consejo comenzara sus deliberaciones, Meta inhabilitó la cuenta que publicó el contenido y agregó la imagen explícita al banco de Media Matching Service (MMS).

En el segundo caso (figura pública estadounidense), la imagen explícita ya se había agregado al banco de MMS por infringir la política de bullying y acoso de Meta, y se eliminó automáticamente. Estos bancos se dedican a encontrar y eliminar automáticamente las imágenes que los revisores ya identificaron como infractoras de las reglas de Meta. El usuario que publicó la imagen generada con IA apeló, pero el reporte se cerró automáticamente. El usuario luego apeló al Consejo para que se restaure la publicación.

Las imágenes íntimas deepfake comprenden medios sintéticos manipulados digitalmente para representar a personas reales de manera sexualizada. Crearlas se está volviendo cada vez más sencillo y se necesitan menos fotos para generar una imagen realista. Un informe señala un aumento del 550% de los videos deepfake online desde 2019; su gran mayoría son representaciones sexualizadas de individuos reales y tienen como objetivo a mujeres.

Conclusiones principales

El Consejo determinó que ambas imágenes infringieron la regla de Meta que prohíbe el "retoque fotográfico sexualizado y despectivo" conforme a la política de bullying y acoso. Es claro que las imágenes se editaron para mostrar los rostros de las figuras públicas reales con un cuerpo desnudo diferente (real o ficticio), a la vez que los indicios contextuales, entre los que se incluyen los hashtags y el lugar donde se publicó el contenido, también indican que fueron generadas con IA. En el segundo caso (figura pública estadounidense), existe un incumplimiento adicional de la política de desnudos y actividad sexual de adultos porque la imagen explícita muestra cómo le estrujan el pecho a la mujer. Eliminar ambas publicaciones es coherente con las responsabilidades de Meta en materia de derechos humanos.

El Consejo cree que las personas que usan las plataformas de Meta deben tener la capacidad de entender las reglas. Aunque el concepto de "retoque fotográfico sexualizado y despectivo" debería haber sido lo suficientemente claro para los dos usuarios que publicaron las imágenes en estos casos, no es lo suficientemente claro en términos generales para los demás usuarios. Cuando el Consejo le preguntó el significado a Meta, la empresa respondió que el concepto se refiere a "imágenes manipuladas que están sexualizadas de maneras probablemente no deseadas por el individuo objetivo y que, por lo tanto, se perciben como despectivas". El Consejo considera que un concepto diferente como "no consensuadas" es una descripción más clara para explicar la idea de manipulación de imágenes sexualizadas no deseadas. Además, el Consejo determinó que "retoque fotográfico" es un término demasiado limitado para abarcar la variedad de técnicas de manipulación de contenido multimedia disponibles hoy en día, en particular la IA generativa. Meta debe explicar en esta regla que la prohibición de este contenido abarca esta variedad más amplia de técnicas de edición.

Con el fin de asegurar que las reglas que prohíben la publicación de imágenes sexualizadas no consensuadas sean más intuitivas, el Consejo determinó que deberían estar incluidas en la norma comunitaria sobre explotación sexual de adultos, en lugar de la norma comunitaria sobre bullying y acoso. En ambos casos, es poco probable que los usuarios las hayan percibido como un tema de bullying y acoso. Las investigaciones externas muestran que los usuarios que publican dicho contenido tienen varios motivos más allá del acoso y la intención de molestar, entre los que se incluyen la intención de ampliar el público, monetizar páginas o dirigir a los usuarios a otros sitios, incluidos los pornográficos. Por lo tanto, las reglas de Meta sobre estas imágenes serían más claras si se centraran en la falta de consentimiento y los daños que genera la difusión de dicho contenido en lugar del impacto de los ataques directos, que es lo que se entiende de la aplicación de la política de bullying y acoso. Un lugar más lógico para estas reglas sería la política de explotación sexual de adultos. Esta política ya prohíbe las imágenes íntimas no consensuadas, lo que representa un problema similar al de ambos ejemplos de abuso sexual basado en imágenes. A continuación, Meta también podría considerar cambiar el nombre de la política a "contenido sexual no consensuado".

El Consejo señaló que Meta no agregó la imagen que se asemeja a una figura pública india al banco de MMS hasta que se le preguntó por qué no lo había hecho. Meta respondió que se basó en informes de los medios para agregar la imagen que se asemeja a la figura pública estadounidense al banco, pero que no hubo tales indicios de los medios en el primer caso. Esto genera preocupación debido a que muchas víctimas de imágenes íntimas deepfake no son figuras públicas y se ven obligadas a aceptar la difusión de las representaciones no consensuadas o a buscar y reportar cada instancia. Uno de los indicios existentes que evidencian falta de consentimiento en virtud de la política de explotación sexual de adultos son los informes de los medios de filtraciones de imágenes íntimas no consensuadas. Esto puede ser útil cuando las publicaciones involucran a figuras públicas, pero no sirve cuando se trata de individuos no públicos. Por lo tanto, Meta no debería depender excesivamente de este indicio. El Consejo también sugiere que el contexto que indique que los aspectos desnudos o sexualizados del contenido fueron generados con IA, intervenidos con un programa de retoque fotográfico o manipulados de alguna otra manera se considere como un indicio de falta de consentimiento.

Finalmente, al Consejo le preocupa el cierre automático de las apelaciones de abuso sexual basado en imágenes. Incluso esperar 48 horas para la revisión puede ser perjudicial dado el daño que se causa. El Consejo aún no cuenta con suficiente información sobre el uso por parte de Meta de los cierres automáticos en general, pero considera que es un problema que podría tener un impacto considerable sobre los derechos humanos y que requiere la evaluación y mitigación de riesgos.

La decisión del Consejo asesor de contenido

En el primer caso (figura pública india), el Consejo anuló la decisión original de Meta de conservar la publicación. En el segundo caso (figura pública estadounidense), el Consejo ratificó la decisión de Meta de eliminar la publicación.

El Consejo le recomendó a Meta:

• Trasladar la prohibición de "retoque fotográfico sexualizado y despectivo" a la norma comunitaria sobre explotación sexual de adultos.
• Cambiar la palabra "despectivo" que se usa en la prohibición sobre "retoque fotográfico sexualizado y despectivo" por "no consensuado".
• Reemplazar la palabra "retoque fotográfico" que se usa en la prohibición sobre "retoque fotográfico sexualizado y despectivo" por un concepto más generalizado para contenido multimedia manipulado.
• Armonizar las políticas sobre contenido no consensuado agregando un nuevo indicio de falta de consentimiento a la política de explotación sexual de adultos: contexto que indique que el contenido fue generado o manipulado con IA. Para contenido con este contexto específico, la política debe especificar también que no hace falta que sea "sin fines comerciales o realizado en un contexto privado" para infringir las normas.

* Los resúmenes de casos ofrecen información general sobre los casos y no sientan precedentes.

Decisión del caso completa

1. Descripción y contexto del caso

El Consejo asesor de contenido revisó dos casos juntos, uno publicado en Facebook y el otro publicado en Instagram por usuarios diferentes.

El primer caso involucra una imagen manipulada con IA de una mujer desnuda que se muestra de espalda con el rostro visible. La imagen que se publicó en Instagram se asemeja a una mujer que es una figura pública de la India y formaba parte de un conjunto de imágenes entre las que había una similar en la que se ve a la mujer con ropa de playa, que probablemente sea el material de origen para la manipulación con IA. La cuenta que publicó este contenido se describe a sí misma como una cuenta que solo comparte imágenes generadas con IA de mujeres indias y el texto incluye hashtags que indican que la imagen se creó con IA.

Un usuario reportó el contenido a Meta por incluir pornografía. El reporte se cerró automáticamente porque no se revisó en un plazo de 48 horas. El usuario apeló la decisión de Meta de conservar el contenido, pero la apelación también se cerró automáticamente, por lo que se mantuvo publicado. El usuario entonces apeló al Consejo. Luego de que el Consejo seleccionara este caso, Meta determinó que había cometido un error en su decisión de mantener publicado el contenido y eliminó la publicación por infringir la norma comunitaria sobre bullying y acoso. Después de que el Consejo seleccionara este caso, Meta inhabilitó la cuenta que publicó el contenido y lo agregó al banco de Media Matching Service (MMS).

El segundo caso está relacionado con una imagen publicada en un grupo de Facebook dedicado a compartir creaciones generadas con IA. Se muestra una imagen generada con IA de una mujer desnuda a quien le manosean el pecho. La imagen se creó con IA para que se asemeje a una figura pública estadounidense cuyo nombre también aparece en el texto.

En este segundo caso, la imagen se eliminó por infringir la política de bullying y acoso de Meta. Otro usuario ya había publicado una imagen idéntica, lo que causó que se escalara a expertos en el tema o en la política de Meta que decidieron que el contenido infringía la política de bullying y acoso, en especial, por incluir "dibujos o imágenes con retoque fotográfico sexualizados o despectivos" y lo eliminaron. Luego, la imagen se agregó al banco de MMS. Estos bancos se dedican a encontrar y eliminar automáticamente las imágenes que ya se identificaron como infractoras. La imagen generada con IA del segundo caso se eliminó automáticamente porque ya estaba agregada al banco de MMS. El usuario que publicó el contenido apeló la eliminación, pero el reporte se cerró automáticamente. Luego apeló al Consejo para que se restaure el contenido.

El Consejo destacó el siguiente contexto en cuanto a la decisión que tomó en estos casos:

Las imágenes íntimas deepfake son medios sintéticos manipulados digitalmente para representar a personas reales de forma sexualizada. La percepción de lo que es pornografía puede diferir según el país y la cultura. Un comentario público enviado al Consejo por Witness, una ONG internacional de derechos humanos, presenta el ejemplo de un deepfake bangladesí de una mujer política en bikini, lo cual podría ser particularmente dañino debido al contexto cultural, aunque podría no ser motivo de medidas en otro entorno cultural (ver PC-27095).

La creación de imágenes íntimas deepfake se está volviendo cada vez más sencilla con el uso de las herramientas de IA y se necesitan menos fotos para generar una imagen realista. Women in International Security (WIIS) explicó lo siguiente: "Esto significa que prácticamente todas las personas que alguna vez se tomaron una selfie o publicaron una foto de sí mismas corren el riesgo hipotético de que se cree un deepfake con su imagen". The Guardianinformó que la empresa de IA Deeptrace analizó 15.000 videos deepfake que encontró online en septiembre de 2019 e indicó que el 96% eran pornográficos y que en el 99% de esos videos se superpusieron los rostros de celebridades femeninas en actrices pornográficas. Se informó sobre un aumento del 550% en la cantidad de videos deepfake online desde 2019, con representaciones sexualizadas de individuos reales que constituyen el 98% de todos los videos deepfake online y las mujeres comprenden el 99% de los individuos objetivo (según el informe de 2023 de Home Security Heroes). Los diez sitios web principales dedicados a imágenes íntimas deepfake recibieron colectivamente más de 34 millones de visitas mensuales.

El abuso sexual basado en imágenes demostró tener un impacto significativo en las víctimas. El informe sobre acoso y abuso de 2019 de Adult Online Hate del Reino Unido cita una variedad de estudios sobre abuso sexual basado en imágenes (incluidas las imágenes íntimas deepfake) en los que se estudiaron las experiencias de las víctimas. Según estos estudios, las víctimas pueden tener dificultades relacionadas con sentimientos de pena, impotencia, vergüenza, autorreproche, ira, culpa, paranoia, aislamiento, humillación e impotencia, además de sentir pérdida de la integridad, dignidad, seguridad, autoestima, respeto y amor propios. Los investigadores del abuso sexual online sugieren que los daños causados por imágenes sexuales deepfake pueden ser tan graves como aquellos relacionados con imágenes sexuales reales no consensuadas.

Las imágenes íntimas deepfake son un problema mundial. Hay informes sobre mujeres políticas de Bangladesh, Pakistán, Italia, Estados Unidos, Irlanda del Norte y Ucrania que fueron víctimas de esto. Periodistas, defensores de derechos humanos y celebridades también son blancos habituales. Sin embargo, cualquier persona puede ser víctima de las imágenes íntimas deepfake. Hace poco hubo incidentes en Estados Unidos y España en los que niños y adolescentes fueron víctimas de imágenes íntimas deepfake. Los expertos a los que consultó el Consejo destacaron que este contenido puede ser particularmente dañino en comunidades socialmente conservadoras. Por ejemplo, se informó que una mujer de 18 años murió porque su padre y su tío le dispararon en Kohistan, una región remota de Pakistán, luego de que se hiciera viral una foto alterada digitalmente de ella con un hombre.

Tanto la India como Estados Unidos consideraron la sanción de leyes y anunciaron la elaboración de planes adicionales para regular el contenido deepfake. En un comentario público, Rakesh Maheshwari, un alto exfuncionario del Gobierno especialista en derecho cibernético, explicó cómo las leyes actuales de la India sobre medios sociales podrían aplicarse al contenido del primer caso (ver PC-27029). Sin embargo, el Consejo recibió una gran cantidad de comentarios públicos que enfatizaron sobre la importancia de que las plataformas de medios sociales sean la primera línea de defensa porque es posible que los regímenes legales no actúen con la celeridad suficiente para detener la proliferación de este contenido. En un comentario público, la ONG Breakthrough Trust también explicó que en la India "las mujeres con frecuencia enfrentan victimización secundaria" cuando acceden a los servicios de policía o tribunales donde les preguntan por qué subieron fotos de ellas mismas a internet en primer lugar, incluso cuando se trata de imágenes deepfake (ver PC-27044).

Meta ha estado activa en el desarrollo de tecnologías para abordar un problema relacionado, el intercambio de imágenes íntimas no consensuadas (NCII). Los expertos independientes consultados por el Consejo elogiaron los esfuerzos de Meta por encontrar y eliminar las imágenes íntimas no consensuadas, considerándola líder en la industria, y calificaron sus tecnologías de coincidencia de imágenes como valiosas. Aunque las imágenes íntimas no consensuadas son diferentes de las imágenes íntimas deepfake, ya que las primeras involucran imágenes reales mientras que el material deepfake implica imágenes creadas o alteradas digitalmente, ambas son ejemplos de abuso sexual basado en imágenes.

2. Respuestas del usuario

El usuario que reportó el contenido en el primer caso afirmó que había visto imágenes explícitas de celebridades generadas con IA en Instagram y que le preocupaba que estén disponibles en una plataforma que podía ser usada por adolescentes. El creador de contenido no proporcionó una declaración del usuario al Consejo.

El usuario que compartió la publicación del segundo caso declaró en la apelación que su intención no era hacer bullying, acosar ni degradar a nadie, sino entretener a las personas.

3. Respuestas y políticas de contenido de Meta

I. Políticas de contenido de Meta

Norma comunitaria sobre bullying y acoso

La norma comunitaria sobre bullying y acoso establece en virtud del nivel 1 (medidas de protección universales para todas las personas) que todas las personas (incluidas las figuras públicas) gozan de protección contra "dibujos o imágenes con retoque fotográfico sexualizados y despectivos".

Las recomendaciones internas adicionales proporcionadas a los moderadores de contenido definen "dibujos o imágenes con retoque fotográfico sexualizados y despectivos" como contenido que se manipuló o editó para sexualizarlo de maneras probablemente no deseadas por el individuo objetivo y que, por lo tanto, se percibe como despectivo. Por ejemplo, la combinación de la cabeza de una persona real con un cuerpo desnudo o semidesnudo.

Política de desnudos y actividad sexual de adultos

Esta política prohíbe, entre otras representaciones de desnudos o actividad sexual, "primeros planos de nalgas completamente desnudas" así como también el "estrujamiento de pechos femeninos". El estrujamiento de pechos femeninos "se define como un movimiento de agarre con los dedos que muestra marcas y un claro cambio en el aspecto de los senos. Admitimos el estrujamiento en contextos de lactancia".

Política de explotación sexual de adultos

Esta política prohíbe:

"Compartir, amenazar con compartir, declarar la intención de compartir, ofrecer o pedir imágenes íntimas no consensuadas que cumplan las tres siguientes condiciones:

• La imagen no tiene un carácter comercial o se realizó en un contexto privado.
• La persona que aparece está desnuda (o casi desnuda), participa en una actividad sexual o adopta una pose de carácter sexual.
• La presencia de estos indicios indica que no hubo consentimiento para que se compartieran las imágenes:
  • Contexto de venganza (p. ej., texto, comentarios o título de la página).
  • Fuentes independientes (p. ej., registros de autoridades), incluidos los medios de entretenimiento (p. ej., la filtración de imágenes confirmadas por los medios).
  • Coincidencia clara entre la persona que aparece en la imagen y la que reportó el contenido.
  • Mismo nombre entre la persona que reportó el contenido y la que aparece en la foto".

II. Respuestas de Meta

Meta evaluó ambas publicaciones según sus políticas de bullying y acoso, y desnudos y actividad sexual de adultos. La empresa concluyó que ambas infringieron la política de bullying y acoso, pero solo la publicación del segundo caso (figura pública estadounidense) infringió la norma comunitaria sobre desnudos y actividad sexual de adultos.

Norma comunitaria sobre bullying y acoso

La política de bullying y acoso protege tanto a las figuras públicas como a las no públicas frente a "dibujos o imágenes con retoque fotográfico sexualizados y despectivos" dado que este tipo de contenido "impide que las personas se sientan seguras y respetadas en Facebook, Instagram y Threads". En respuesta a la pregunta del Consejo sobre cómo identifica la empresa el contenido "con retoque fotográfico" o generado con IA, Meta explicó que realiza una evaluación "caso por caso" y se basa en varios indicios, incluidos "detalles sobre el contexto, así como indicios de orígenes creíbles, como artículos de verificadores de datos externos, fuentes de medios de comunicación confiables, evaluaciones de socios de confianza registrados y otras organizaciones no partidarias o socios gubernamentales".

Meta determinó que la imagen del primer caso infringió esta política porque se creó con IA para asemejarse a una figura pública de la India y se manipuló o editó para que la figura aparezca semidesnuda y en una "pose sexualmente sugerente". La empresa también consideró el nombre de usuario y los hashtags del usuario, que indicaban claramente que la imagen fue generada con IA.

Meta determinó que la imagen del segundo caso también infringió esta política. La empresa consideró los siguientes factores para determinar que esta imagen se generó con IA: el rostro parece estar combinado con un cuerpo semidesnudo y "los colores, la textura y la claridad de la imagen sugieren que el video [imagen] se generó con IA"; hubo informes externos a través de los medios sobre la proliferación de tales imágenes generadas; y el contenido se publicó en un grupo dedicado a compartir imágenes creadas con inteligencia artificial.

Norma comunitaria sobre desnudos y actividad sexual de adultos

Meta le informó al Consejo que la empresa determinó que la imagen del segundo caso (figura pública estadounidense) también infringió la política de desnudos y actividad sexual de adultos. Dado que el contenido del segundo caso muestra a una persona "agarrando" la imagen generada con IA de la figura pública femenina, esta infringió la prohibición de mostrar estrujamiento de pechos femeninos.

Según la empresa, la imagen del primer caso (figura pública india) no infringe esta política porque, a pesar de que los primeros planos de nalgas completamente desnudas están prohibidos, la imagen no constituye un primer plano según la definición de la empresa.

La empresa también explicó que la decisión de eliminar ambas publicaciones logró el equilibrio adecuado entre sus valores de seguridad, privacidad, dignidad y expresión porque "Meta evaluó el valor creativo del contenido en este caso como mínimo". Luego de observar los hashtags y el texto de ambas publicaciones, la empresa concluyó que "la intención fue sexual en lugar de artística". La empresa también concluyó que "la preocupación por la seguridad al eliminar este contenido superaba cualquier valor expresivo del discurso". Basándose en la opinión de las partes interesadas en un foro de políticas anterior sobre ataques contra figuras públicas, Meta destacó las preocupaciones sobre el abuso y acoso que enfrentan las figuras públicas online, y argumentó que esto conduce a la autocensura y al silenciamiento de quienes presencian el acoso.

En mayo de 2024, Meta actualizó la norma comunitaria sobre desnudos y actividad sexual de adultos, y aclaró que la política se aplica a todas las "imágenes fotorrealistas" y que "[c]uando no esté claro si una imagen o video es fotorrealista, se presumirá que lo es". El Consejo entiende que esto significa que las imágenes realistas generadas con IA de personas reales, sean celebridades o no, se eliminarán de conformidad con la norma comunitaria sobre desnudos y actividad sexual de adultos cuando contengan desnudos o actividad sexual y no cumplan con los requisitos de un limitado número de excepciones. La empresa aduce la prevención del "intercambio de contenido no consensuado o de menores de edad" como la razón para eliminar imágenes sexuales fotorrealistas. El Consejo acoge con satisfacción la aclaración de la norma comunitaria sobre desnudos y actividad sexual de adultos por parte de Meta y apoya sus esfuerzos por hacer cumplir las reglas contra imágenes y videos ficticios de apariencia realista de la misma manera que lo haría con los reales.

Los resultados de ambos contenidos en este caso se mantendrían iguales de conformidad con las políticas actualizadas: ambos se eliminarían de acuerdo con la prohibición sobre retoque fotográfico sexualizado y despectivo en virtud de la norma comunitaria sobre bullying y acoso; y la publicación donde aparece la figura pública estadounidense infringiría la norma comunitaria sobre desnudos y actividad sexual de adultos por mostrar estrujamiento de pechos en un contexto no permitido.

A pesar de que estos cambios se acogen con satisfacción, no resultan suficientes para abordar la proliferación de imágenes íntimas no consensuadas generadas con IA. El Consejo reafirma la importancia de contar con una disposición normativa específica contra el contenido sexualizado no consensuado generado o manipulado con IA que forme parte de la norma comunitaria sobre explotación sexual de adultos de Meta.

Bancos de Media Matching Service

Según Meta, los bancos de Media Matching Service (MMS) identifican el contenido publicado en sus plataformas, en este caso imágenes, y toman medidas al respecto. Una vez que se determina que cierto contenido se debe incluir en el banco, se convierte en una cadena de datos, es decir, se cifra. Los datos cifrados luego se asocian con un banco en particular. Los bancos de MMS de Meta se crearon para alinearse con políticas específicas de las Normas comunitarias y no están diseñados en torno a comportamientos específicos o tipos de contenido como aquel con retoque fotográfico sexualizado y despectivo. Estos bancos pueden identificar y eliminar automáticamente imágenes que los revisores determinan que infringen las reglas de la empresa.

La imagen del segundo caso (figura pública estadounidense) se eliminó porque una imagen idéntica ya había sido derivada para revisión manual y agregada a un banco de MMS. La imagen del primer caso (figura pública india) en un principio no se agregó a un banco de MMS. Meta declaró lo siguiente: "No todas las instancias de contenido infractor por ser retoque fotográfico sexualizado y despectivo se agregan a un banco de MMS. En general, las solicitudes para agregar contenido al banco se derivan a nuestros equipos internos para que las aprueben. Esto se debe a que los bancos de MMS son una herramienta de aplicación de políticas avanzada que puede conllevar riesgos de excederse con dicha aplicación". Meta solo cambió la decisión de enviar la imagen al banco en el primer caso después de que el Consejo le preguntara por qué no lo había hecho.

El Consejo realizó 13 preguntas sobre los bancos de MMS, el cierre automático de apelaciones, la prohibición sobre retoque fotográfico sexualizado y despectivo en la política de bullying y acoso y otras políticas que podrían ser relevantes para este caso. Meta respondió a todas ellas.

4. Comentarios del público

El Consejo asesor de contenido recibió 88 comentarios del público dentro de los plazos de presentación. De estos comentarios, 14 fueron de Asia-Pacífico y Oceanía, 24 de Asia central y meridional, 15 de Europa, cinco de Latinoamérica y el Caribe, y 30 de Estados Unidos y Canadá. Para leer los comentarios del público enviados con consentimiento de publicación, haz clic aquí.

Los comentarios enviados se referían a los siguientes temas: la prevalencia e implicaciones culturales del material deepfake en la India, el impacto de las imágenes íntimas deepfake en las mujeres en general y en aquellas que son figuras públicas, por qué el cierre automático de las apelaciones relacionadas con abuso sexual basado en imágenes es un problema y la necesidad de combinar sistemas manuales y automatizados de revisión para detectar y eliminar las imágenes íntimas deepfake.

5. Análisis del Consejo asesor de contenido

El Consejo analizó la decisión de Meta en este caso en relación con sus políticas de contenido, valores y responsabilidades en materia de derechos humanos. Asimismo, el Consejo evaluó las implicaciones de este caso para el enfoque más general de Meta en cuanto a la gobernanza de contenido.

5.1 Cumplimiento de las políticas de contenido de Meta

I. Reglas de contenido

Está claro que el Consejo considera que ambas imágenes infringieron la prohibición de Meta sobre "retoque fotográfico sexualizado y despectivo" conforme a la política sobre bullying y acoso. Ambas fueron editadas para mostrar la cabeza o el rostro de una persona real con un cuerpo real o ficticio desnudo o semidesnudo. Ambos casos también presentaron indicios contextuales de que el contenido fue generado con IA. La publicación del primer caso (figura pública india) incluye una lista de hashtags que indican que se trata de una imagen generada con IA y la cuenta que realizó la publicación estaba dedicada a publicar estas imágenes. La publicación del segundo caso (figura pública estadounidense) se hizo en un grupo de Facebook dedicado a compartir imágenes generadas con IA.

Sin embargo, el Consejo coincide con Meta en que solo la publicación del segundo caso infringió la política de desnudos y actividad sexual de adultos, ya que muestra el estrujamiento del pecho de la mujer. La otra imagen no infringe esta política en su forma actual dado que no se trata de un primer plano de nalgas desnudas según la definición de la empresa. El Consejo señala que esto significa que, en virtud de la política actual, las imágenes similares que no presenten indicios contextuales obvios de que son generadas con IA no serían eliminadas. El impacto de esto en las víctimas se menciona en la sección 5.2 debajo.

5.2 Cumplimiento de las responsabilidades de Meta en materia de derechos humanos

Tanto en el primer caso (figura pública india) como en el segundo (figura pública estadounidense), el Consejo determinó que la eliminación del contenido de las plataformas de Meta es coherente con las responsabilidades de Meta en materia de derechos humanos.

Libertad de expresión (artículo 19 del ICCPR)

El artículo 19 del ICCPR proporciona una amplia protección de la expresión, incluida aquella que podría considerarse "profundamente ofensiva" (observación general n.° 34, párrafo 11; ver también párrafo 17 del informe de 2019 de la Relatora Especial de la ONU sobre la libertad de expresión, A/74/486). Si un Estado impone restricciones sobre la libertad de expresión, estas deben cumplir los requisitos de legalidad, fin legítimo y necesidad y proporcionalidad (artículo 19, párrafo 3, del ICCPR, observación general n.° 34, párrafo 34). Se suele hacer referencia a estos requisitos como "prueba de tres partes". El Consejo utiliza este marco para interpretar las responsabilidades de Meta en materia de derechos humanos en línea con los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas a los que Meta se comprometió en su Política corporativa de derechos humanos. El Consejo lo usa tanto respecto de la decisión sobre el contenido en particular en revisión como de lo que esto pone de manifiesto acerca del enfoque más amplio de Meta en relación con la gestión del contenido. Como indicó la Relatora Especial de la ONU sobre libertad de expresión, "las empresas no tienen las obligaciones de los gobiernos, pero sus efectos son de un tipo que les obliga a evaluar el mismo tipo de cuestiones sobre la protección del derecho de sus usuarios a la libertad de expresión" (A/74/486, párrafo 41).

I. Legalidad (claridad y accesibilidad de las reglas)

El principio de legalidad exige que las reglas que limitan la expresión sean accesibles y claras, y estén formuladas con precisión suficiente para que el individuo pueda regular su comportamiento de conformidad con ellas (observación general n.º 34, párrafo 25). Asimismo, estas reglas "no pueden conferir una discrecionalidad absoluta para restringir la libertad de expresión a los encargados de su implementación" y deben "proporcionar suficientes pautas para aquellos que están a cargo de su implementación, de manera que puedan definir qué tipos de expresión pueden restringirse de forma adecuada y cuáles no" (ibidem). La Relatora Especial de la ONU sobre la libertad de expresión dijo que cuando se aplican a la gobernanza del discurso online por parte de actores privados, las reglas deben ser claras y específicas (A/HRC/38/35, párrafo 46). Las personas que usan las plataformas de Meta deben ser capaces de acceder a las reglas y entenderlas, y los revisores de contenido deben tener pautas claras para su aplicación.

El Consejo determinó que, a pesar de que en este contexto el concepto de "retoque fotográfico sexualizado y despectivo" debería haber sido claro para los dos usuarios que publicaron estos contenidos, no es suficientemente claro en términos generales para los demás usuarios. En respuesta a la pregunta del Consejo sobre el significado de este concepto, Meta declaró que los "dibujos o imágenes con retoque fotográfico sexualizados y despectivos" se refieren a imágenes manipuladas o editadas para ser sexualizadas de maneras probablemente no deseadas por el individuo objetivoy que, por lo tanto, se perciben como despectivas (por ejemplo, la combinación de la cabeza de una persona real con un cuerpo desnudo o semidesnudo)". El Consejo considera que un concepto como "no consensuadas" es una descripción más clara que "despectivas" para transmitir la idea de manipulación de imágenes sexualizadas no deseadas.

Además, el Consejo determinó que el concepto de "retoque fotográfico" en la prohibición sobre "retoque fotográfico sexualizado y despectivo" está desactualizado y es demasiado limitado para abarcar la variedad de técnicas de manipulación de contenido multimedia disponibles para los usuarios, en particular aquellas impulsadas por la IA generativa. Aunque el término "retoque fotográfico" ya no implica necesariamente el uso de un software de edición específico, todavía se refiere comúnmente a la edición manual de imágenes utilizando herramientas digitales. En cambio, gran parte de las imágenes sexualizadas no consensuadas que se difunden online hoy en día son creadas utilizando modelos de IA generativa que editan automáticamente imágenes existentes o crean imágenes completamente nuevas. Meta debe asegurarse de que su prohibición sobre contenido sexualizado y despectivo cubra esta amplia variedad de técnicas de edición, de una manera que sea clara tanto para los usuarios como para los moderadores de la empresa.

El Consejo también determinó que sería más apropiado que las disposiciones de la política que prohíben estas imágenes se encuentren en la norma comunitaria sobre explotación sexual de adultos en lugar de aquella sobre bullying y acoso. Es necesario que estas reglas sean intuitivas para facilitar a los usuarios la comprensión de qué está prohibido y por qué. Esto cobra particular importancia en aquellos casos en los que el contenido cumpliría con las reglas si la imagen se hubiera realizado y compartido con consentimiento, como en el primer caso (figura pública india). En ambos casos, es poco probable que los usuarios que vean estas imágenes las consideren como un problema de bullying y acoso.

En un comentario público, la RATI Foundation for Social Change (una ONG india que asiste a víctimas de violencia sexual tanto online como offline) afirmó que, a pesar de que una de las maneras en que asiste a las víctimas es ayudándolas a eliminar las imágenes sexuales generadas con IA de las plataformas de Meta, no tenía conocimiento de la existencia de una prohibición sobre "retoque fotográfico sexualizado y despectivo" y nunca había reportado las imágenes explícitas creadas con IA conforme a la política de bullying y acoso. En lugar de eso, reportó las imágenes en virtud de otras políticas como las de desnudos y actividad sexual de adultos, explotación sexual de niños y explotación sexual de adultos (ver PC-27032).

Incluir esta prohibición en la norma comunitaria sobre bullying y acoso supone que los usuarios publican estas imágenes para acosar a las personas. Sin embargo, es posible que esto no refleje de forma precisa por qué un usuario determinado publicó una imagen explícita generada con IA. Esto es confuso para todos los usuarios, desde las personas que publican este contenido hasta las que lo reportan. La investigación externa encargada por el Consejo muestra que los usuarios publican imágenes íntimas deepfake por diversas razones que pueden no implicar una intención explícita de hacer bullying o acosar. Aunque el acoso y la intención de molestar son dos de esas razones, los usuarios a menudo también están motivados por el deseo de aumentar el público en la plataforma, monetizar su página o dirigir a los usuarios a sitios fuera de la plataforma, como sitios y servicios de pornografía o sitios web de clickbait. Un estudio de Powell y otros de 2020 descubrió que los perpetradores de abuso sexual basado en imágenes a menudo tienen motivaciones como generar algo "divertido" o "coquetear", así como también "intercambiar imágenes". Las disposiciones de la política que prohíben estas imágenes serían más claras si se centraran en la falta de consentimiento y los daños que genera la difusión de dicho contenido en lugar del impacto de los ataques directos que implica una designación de bullying y acoso.

Por lo tanto, la política de explotación sexual de adultos sería un lugar más claro y lógico donde incluir estas prohibiciones. Esta política se centra en imágenes que se comparten sin consentimiento y contiene la prohibición sobre el intercambio de imágenes íntimas no consensuadas que evidentemente es un problema muy similar. Meta también debería considerar cambiar el nombre de esta política a uno más detallado y claro para los usuarios como "contenido sexual no consensuado".

II. Fin legítimo

Cualquier restricción sobre la libertad de expresión debe procurar uno o más de los fines legítimos mencionados en el ICCPR, entre ellos, proteger los derechos de los demás.

El Comité de Derechos Humanos interpretó que el término "derechos" incluye derechos humanos según se reconocen en el ICCPR y, de forma más general, en la legislación internacional de derechos humanos (observación general n.º34, párrafo 28).

La decisión de Meta de prohibir las imágenes íntimas deepfake en la plataforma tiene el fin de proteger los derechos a la salud física y mental, dado que este contenido es extremadamente dañino para las víctimas (artículo 12 del ICESCR); la libertad frente a la discriminación, ya que existen pruebas abrumadoras que demuestran que este contenido afecta de manera desproporcionada a mujeres y niñas (artículo 2 del ICCPR y ICESCR); y el derecho a la privacidad, ya que afecta la capacidad de las personas de mantener una vida privada y autorizar cómo se crean y se publican imágenes de ellos mismos (artículo 17 del ICCPR).

El Consejo concluye que las restricciones de la plataforma sobre imágenes íntimas deepfake están diseñadas para proteger a los individuos de la creación y difusión de imágenes sexuales creadas sin consentimiento (y de los daños que les causan a las víctimas y sus derechos). Esto representa un objetivo legítimo para restringir este contenido.

III. Necesidad y proporcionalidad

El principio de necesidad y proporcionalidad previsto en el artículo 19(3) del ICCPR exige que las restricciones que se apliquen a la expresión "deben ser adecuadas para desempeñar su función protectora; deben ser el instrumento menos perturbador de los que permitan conseguir el resultado deseado, y deben guardar proporción con el interés que debe protegerse" (observación general n.º 34, párrafo 34).

Gravedad de los daños de este contenido:

El Consejo determinó que la prohibición y eliminación son medidas necesarias y proporcionales para proteger los derechos de las personas afectadas por este contenido. Los daños causados por este contenido son graves para las personas representadas en él. El uso de la imagen de las víctimas para crear imágenes sexualizadas no consensuadas socava sus derechos a la privacidad y a la protección de daños físicos y mentales.

Dada la gravedad de estos daños, el único medio eficaz disponible para proteger a las víctimas es la eliminación del contenido; no hay medidas menos intrusivas que sean suficientes. En el video alterado de la decisión del presidente Biden, el Consejo recomendó etiquetar el contenido manipulado como medida para evitar que los usuarios sean engañados sobre la autenticidad del contenido. Sin embargo, el etiquetado no resulta suficiente para abordar el daño en este caso, ya que deriva del intercambio y la visualización de la imagen en sí, no solo del engaño a las personas sobre su autenticidad.

Como la gran mayoría de las personas representadas en estas imágenes son mujeres o niñas, este tipo de contenido también tiene impactos discriminatorios y genera un daño estrechamente relacionado con el género (ver PC-27045).

Aplicación de bancos de MMS a este contenido:

El Consejo también consideró el uso por parte de Meta de los bancos de MMS. La imagen del segundo caso (figura pública estadounidense) ya se había agregado al banco de MMS, pero la del primer caso (figura pública india) no se agregó hasta después de que el Consejo le preguntara a Meta por qué no lo había hecho. Meta respondió que se basó en informes de los medios que indicaban que la segunda imagen estaba circulando en los medios sociales y que "agregarla al banco era necesario para abordar el problema mayor de la proliferación de este contenido". Continuó diciendo que no hubo indicios de los medios en el primer caso.

El Consejo destaca que puede haber muchas víctimas de imágenes íntimas deepfake no consensuadas cuyas imágenes se comparten muchas veces en las plataformas. Sin embargo, no tienen un perfil público y se ven obligadas a aceptar la difusión de sus representaciones no consensuadas o a buscar y reportar cada instancia, lo cual consumiría muchos recursos y sería traumático. En un comentario público, Witness instó a Meta a "no imponer la carga de hacer el reporte a las víctimas, incluido el reporte repetido del mismo contenido" (ver PC-27095). El Consejo reiteró esta preocupación, sobre todo teniendo en cuenta el impacto en las víctimas que pertenecen a religiones o comunidades con alfabetización mediática limitada. Meta declaró que uno de los indicios existentes que evidencian falta de consentimiento conforme a la política de explotación sexual de adultos son los informes de los medios de filtraciones de imágenes íntimas no consensuadas. A pesar de que esta información puede ser útil respecto del contenido relacionado con figuras públicas, es importante que Meta no dependa excesivamente de este indicio dado que no sirve para el contenido relacionado con personas no públicas que probablemente no aparezcan en los informes de los medios. Meta también necesita basarse en indicios que ayuden a identificar representaciones no consensuadas de individuos privados.

Para determinar la proporcionalidad de las medidas aplicadas por Meta, el Consejo también trató la sanción a los usuarios, en particular, si se les debe aplicar una falta a todos los que compartieron las imágenes (no solo al primer usuario). En un comentario público, la RATI Foundation for Social Change explicó que, según su experiencia en asistencia a víctimas de imágenes íntimas deepfake, "muchos de estos videos se publican en colaboración con otra cuenta. Sin embargo, cuando se toman medidas sobre la publicación, solo se penaliza a una de las cuentas, mientras que la otra (que es una cuenta alternativa del infractor) sigue activa y continúa publicando". También mencionó que encontró muchas copias del mismo video, lo que parece indicar que los bancos de MMS pueden ser útiles para abordar este contenido (ver PC-27032). Por supuesto, como señala la Digital Rights Foundation, los bancos de MMS están "restringidos por la base de datos de imágenes conocidas" y siempre tendrán una utilidad más limitada en relación con las imágenes generadas con IA, ya que se pueden crear nuevas con gran facilidad (ver PC-27072). Por lo tanto, los bancos de MMS solo pueden servir como una herramienta más en el arsenal de Meta para combatir las imágenes íntimas deepfake. A pesar de que la aplicación de faltas en todas las instancias podría hacer que el cumplimiento de normas sea más efectivo, también podría dar lugar a penalizaciones de usuarios en situaciones donde no esté justificado, como por compartir imágenes que no saben que están generadas con IA o que no son consensuadas. El Consejo reconoció esta tensión. Meta le explicó al Consejo que el banco de MMS no estaba configurado para aplicar faltas en este caso dado el riesgo de sobreaplicación de políticas. Sin embargo, en algunos casos esto cambió y ahora los usuarios pueden apelar las decisiones. Debido a este cambio, el Consejo le indicó a Meta que reconsidere si aplicar faltas podría estar justificado.

Distinción artificial entre la difusión de imágenes íntimas no consensuadasy las imágenes íntimas deepfake:

Por último, el Consejo consideró si el intercambio de imágenes íntimas no consensuadas y las imágenes íntimas deepfake deberían tratarse de forma separada en las políticas de Meta. Cuando se le preguntó acerca de la posibilidad de trasladar la prohibición sobre retoque fotográfico sexualizado y despectivo (que tal como se mencionó anteriormente en la sección de legalidad, se podría describir mejor con un concepto más preciso) a la política de explotación sexual de adultos, Meta le explicó al Consejo que las dos categorías de contenido son muy diferentes porque las reglas de aplicación de políticas sobre imágenes íntimas no consensuadas requieren la existencia de un indicio de falta de consentimiento (tal como una declaración de venganza o informes de los medios sobre una filtración), mientras que las reglas sobre imágenes con retoque fotográfico sexualizado y despectivo no incluyen ese requisito. Sin embargo, esta es una elección de aplicación de políticas que teóricamente podría solucionarse considerando el contexto que indique que los aspectos desnudos o sexualizados del contenido son generados con IA, agregados con retoque fotográfico o manipulados de otra manera, como un indicio de falta de consentimiento, y especificando que no es necesario que dicho contenido sea "sin fines comerciales o realizado en un entorno privado" para infringir la política.

Ya existe una superposición significativa entre las políticas que puede no ser clara para los usuarios. En su respuesta a las preguntas del Consejo, Meta indicó que, al momento de aplicar las normas al contenido de estos casos, su definición de imágenes íntimas para la política de explotación sexual de adultos se definía internamente como (i) capturas de pantalla de conversaciones sexuales privadas e (ii) imágenes de una o más personas en un contexto privado, incluidas aquellas manipuladas en las que se vieran desnudos, semidesnudos o personas participando en actividades sexuales.

Crear la presunción de que las imágenes sexuales generadas con IA no son consensuadas podría conllevar ocasionalmente a que se eliminen imágenes realizadas con consentimiento. El Consejo está profundamente preocupado por una sobreaplicación de las políticas de desnudos y semidesnudos permitidos, como se demuestra en las decisiones resumidas de los casos sobre síntomas de cáncer de mama y desnudos, identidad de género y desnudos y los de autoexamen de mamas e infografías sobre el autoexamen testicular para la detección de cáncer. Sin embargo, en el caso del contenido deepfake sexualizado, esta presunción ya fue la base de la aplicación de la política de Meta sobre retoque fotográfico sexualizado y despectivo, dado que la empresa presume que toda sexualización comprendida en esta política y creada mediante IA o retoque fotográfico no es deseada. Es inevitable que no todo el contenido generado con IA quedará abarcado por esta nueva disposición de la política (así como ocurre en este momento), pero al combinar las dos categorías de contenido no consensuado, Meta podrá aprovechar sus éxitos en la lucha contra las imágenes íntimas no consensuadas y utilizar aspectos de su enfoque para evaluar el consentimiento con el fin de reducir las imágenes íntimas deepfake en sus plataformas.

El Consejo también analizó si, con el fin de brindar una mejor protección a las personas afectadas por este tipo de contenido, Meta debería cambiar su enfoque sobre las prohibiciones de imágenes íntimas no consensuadas y retoque fotográfico sexualizado y despectivo y partir de la presunción de que dichas imágenes no son consensuadas, en lugar del enfoque actual de presumir que las imágenes son consensuadas y requerir indicios de falta de consentimiento para eliminarlas. Sin embargo, después de evaluar la viabilidad y el impacto de este enfoque propuesto, el Consejo llegó a la conclusión de que podría suponer un riesgo significativo de sobreaplicación de políticas con contenidos no infractores y que actualmente no sería viable desde el punto de vista operativo en el contexto de las herramientas automatizadas en las que se basa Meta para la aplicación de políticas.

Acceso a mecanismos de reparación

El Consejo muestra preocupación por el cierre automático de las apelaciones en el primer caso. Tanto el reporte original como la apelación de la decisión de Meta de conservar el contenido en la plataforma se cerraron automáticamente. Meta le informó al Consejo que "el contenido reportado por cualquier tipo de infracción (con la excepción del material sobre abuso sexual infantil) cumple con los requisitos para el cierre automático si nuestra tecnología no detecta una alta probabilidad de infracción y no se revisa en un plazo máximo de 48 horas".

Es posible que los usuarios no tengan conocimiento del proceso de cierre automático y del hecho de que cuando envían contenido para una apelación, este podría no ser revisado jamás. Mientras tanto, como en el primer caso, las víctimas y otras personas que buscan eliminar imágenes íntimas deepfake pueden reportar el contenido, pero se les niega cualquier revisión real. Al apelar esa decisión, pueden terminar en la misma situación, experimentando nuevamente el proceso de cierre automático.

Muchos de los comentarios del público recibidos en este caso criticaron el uso del cierre automático de apelaciones relacionadas con abuso sexual basado en imágenes. El daño que causan estas imágenes es tan grave que incluso la espera de 48 horas para la revisión puede ser perjudicial. El American Sunlight Project, que proporcionó el ejemplo de las imágenes íntimas deepfake cuyo blanco son mujeres políticas durante las elecciones, indicó que "dicho contenido podría recibir cientos de miles de vistas, ser reportado en la prensa nacional y hundir la imagen pública de una candidata política, poniéndola en desventaja frente a sus oponentes. En algunos países como la India, donde ocurrió este caso, podría incluso poner en peligro su vida" (ver PC-27058). El Centre for Protecting Women Online señaló un punto relacionado, advirtiendo que el daño de estas imágenes en una elección será particularmente grave "en contextos donde la alfabetización digital de la población general es baja y donde la influencia de los mensajes e imágenes publicados en los medios sociales es muy probable que influya en los votantes como la fuente casi exclusiva de noticias e información" (PC-27088). Por supuesto, independientemente del estado público o no público de las víctimas, un retraso en la eliminación de estas imágenes socava gravemente su privacidad y puede ser catastrófico. El Consejo consideró si el contenido que causa dichos daños graves a las víctimas (tanto a través de deepfake como de imágenes íntimas no consensuadas) debería estar exento de los procesos de cierre automático. El Consejo reconoce los desafíos de la moderación de contenido a gran escala y la necesidad de depender de procesos automatizados para gestionar el contenido reportado para revisión, pero le preocupa la gravedad del daño que puede resultar de su uso en áreas relacionadas con políticas como esta. El Consejo no cuenta con información suficiente sobre el uso del cierre automático respecto de todas las políticas de Meta para dictar una recomendación sobre su uso en relación con los sistemas de aplicación de políticas más amplios de Meta, pero considera que es un problema que puede tener impactos significativos en materia de derechos humanos y que requiere una evaluación y mitigación de riesgos minuciosa.

6. La decisión del Consejo asesor de contenido

El Consejo asesor de contenido anuló la decisión original de Meta de mantener publicado el contenido en el primer caso (figura pública india) y exigió que se eliminara la publicación, y ratificó la decisión de Meta de eliminar el contenido en el segundo caso (figura pública estadounidense).

7. Recomendaciones

Política de contenido

1. Con el fin de brindar mayor certeza a los usuarios y combinar sus políticas sobre contenido no consensuado, Meta debe trasladar la prohibición sobre "retoque fotográfico sexualizado y despectivo" a la norma comunitaria sobre explotación sexual de adultos.

El Consejo considerará que la recomendación está implementada cuando esta sección sea eliminada de la política de bullying y acoso y se incluya en la política de explotación sexual de adultos de manera que esté disponible públicamente.

2. Con el fin de brindar mayor certeza a los usuarios, Meta debe cambiar la palabra "despectivo" que se usa en la prohibición sobre "retoque fotográfico sexualizado y despectivo" por "no consensuado".

El Consejo considerará que la recomendación está implementada cuando la palabra "no consensuado" reemplace a "despectivo" en la prohibición de contenido sexualizado despectivo dentro de las Normas comunitarias disponibles públicamente.

3. Para brindar mayor certeza a los usuarios y asegurar que las políticas aborden una amplia variedad de técnicas de edición y generación de contenido multimedia, Meta debe reemplazar la palabra "retoque fotográfico" en la prohibición sobre "retoque fotográfico sexualizado y despectivo" por un concepto más generalizado para contenido multimedia manipulado.

El Consejo considerará que la recomendación está implementada cuando se elimine la palabra "retoque fotográfico" de la prohibición sobre contenido con "retoque fotográfico sexualizado y despectivo" y se reemplace por un concepto más generalizado, como "contenido multimedia manipulado".

4. Con el fin de armonizar las políticas sobre contenido no consensuado y ayudar a asegurar que el contenido infractor sea eliminado, Meta debe agregar un nuevo indicio de falta de consentimiento en la política de explotación sexual de adultos: contexto de que el contenido fue generado o manipulado con IA. Para contenido con este contexto específico, la política debe especificar también que no hace falta que sea "sin fines comerciales o realizado en un contexto privado" para infringir las normas.

El Consejo considerará que la recomendación está implementada cuando tanto las normas de acceso público como las internas privadas se actualicen para reflejar este cambio.

Nota de procedimiento:

La preparación de las decisiones del Consejo asesor de contenido está a cargo de paneles conformados por cinco miembros, quienes deben aprobarlas por mayoría. Las decisiones del Consejo no necesariamente representan las opiniones de todos los miembros.

En virtud de su acta constitutiva, el Consejo asesor de contenido tiene la facultad de revisar apelaciones de usuarios cuyo contenido fue eliminado por Meta, apelaciones de usuarios que reportaron contenido que Meta mantuvo publicado y decisiones que Meta le presente (artículo 2, sección 1, del acta constitutiva). El Consejo tiene autoridad vinculante para ratificar o anular las decisiones sobre contenido de Meta (artículo 3, sección 5 y artículo 4 del acta constitutiva). El Consejo podrá emitir recomendaciones no vinculantes a las que Meta deberá responder (artículo 3, sección 4 y artículo 4 del acta constitutiva). Cuando Meta se compromete a tomar medidas respecto de las recomendaciones, el Consejo supervisa su implementación.

En cuanto a la decisión del caso, se encargó una investigación independiente en nombre del Consejo. El Consejo recibió asistencia de Duco Advisors, una empresa asesora dedicada a la intersección de geopolítica, confianza, seguridad y tecnología. Memetica, un grupo de investigaciones digitales que brinda asesoría en materia de riesgos y servicios de inteligencia sobre amenazas para mitigar los riesgos online, también colaboró en la investigación.

Volver a Decisiones de casos y opiniones consultivas sobre políticas