الإشراف على المحتوى في عصر جديد للذكاء الاصطناعي والأتمتة

مقدمة

لقد تطورت الطرق التي تطبق بها شركات التواصل الاجتماعي قواعد المحتوى الخاصة بها وتنظم مواجز الأشخاص بشكل كبير على مدار 20 عامًا منذ إطلاق فيسبوك في عام 2004. واليوم، تقوم المصنفات الآلية بتحليل المحتوى وتحديد ما يجب تركه أو حذفه أو إرساله للمراجعة البشرية. تقوم أنظمة الذكاء الاصطناعي (AI) بتحليل سلوك المستخدمين لتخصيص تجاربهم عبر الإنترنت من خلال تصنيف المنشورات.

وفي الوقت نفسه، تحسنت جودة الأدوات التي يستخدمها الأشخاص في جميع أنحاء العالم لإنشاء المحتوى وتغييره بشكل ملحوظ. من التصحيح التلقائي على لوحة مفاتيح الهاتف إلى فلاتر الوجوه وتحرير الفيديو وروبوتات الدردشة التوليدية، أصبحت أدوات المحتوى الذي ينشئه المستخدم أكثر تطورًا بشكل ملحوظ مقارنةً ببداية وسائل التواصل الاجتماعي.

تمثل هذه التطورات تحولاً كبيرًا يؤثر على مليارات الأشخاص على وسائل التواصل الاجتماعي. إن التوافر الجماعي للأدوات الجديدة القوية له آثار عميقة، بالنسبة للقرارات التي تتخذها الشركات لتصميم هذه التقنيات وتطويرها ودمجها في منتجاتها، وكذلك للسياسات المتعلقة بالمحتوى المفروضة على المحتوى الأعلى جودة الذي ينشئه المستخدمون.

يتم اتخاذ معظم قرارات الإشراف على المحتوى الآن بواسطة الآلات، وليس البشر، ومن المتوقع أن تتسارع وتيرة هذا الأمر. تعمل الأتمتة على تضخيم الخطأ البشري، مع وجود تحيزات مضمنة في بيانات التدريب وتصميم النظام، في حين أن قرارات الإنفاذ تُتخذ بسرعة، ما يترك فرصًا محدودة للرقابة البشرية.

يمكن أن تعزز خوارزميات الذكاء الاصطناعي التحيزات المجتمعية القائمة أو تميل إلى جانب واحد من الانقسامات الأيديولوجية. من الضروري للمنصات أن تتأكد من تضمين اعتبارات حرية التعبير وحقوق الإنسان في هذه الأدوات في وقت مبكر ومن خلال التصميم، مع الأخذ في الاعتبار التحديات المؤسسية والتكنولوجية الهائلة لتحديث الأنظمة التي تعمل بالفعل على نطاق واسع.

قام مجلس الإشراف، وهو هيئة مستقلة تضم 21 خبيرًا في مجال حقوق الإنسان من جميع أنحاء العالم، بالتحقيق في حالات رمزية تتعلق بكيفية تطبيق السياسات المتعلقة بالمحتوى الخاصة بشركة Meta بواسطة خوارزميات الذكاء الاصطناعي وتقنيات الأتمتة. يتجاوز النهج القائم على حقوق الإنسان الذي يتبعه المجلس إلى ما هو أبعد من مجرد تحديد المحتوى المعين الذي يجب تركه أو حذفه. تتعمق حالاتنا في تصميم أنظمة Meta المؤتمتة ووظيفتها لتسليط الضوء على العوامل التي تؤدي إلى قرارات الإشراف على المحتوى، وكيف يمكن تحسين هذه الأدوات.

تستكشف هذه الحالات مشكلات رئيسية مثل أنظمة إزالة المحتوى المؤتمتة، بما في ذلك ما تطلق عليه Meta بنوك خدمة مطابقة الوسائط؛ وسياسات الصور الصريحة التي تم إنشاؤها بواسطة الذكاء الاصطناعي وغيرها من الوسائط التي تم التلاعب بها؛ وكيف تكافح أنظمة الذكاء الاصطناعي والأنظمة المؤتمتة لفهم السياق، ما يؤدي إلى تطبيقات غير صحيحة للقواعد. ومن خلال الاستفادة من مجموعة أعمالنا في دراسة الحالات الفردية والمشاركة المستمرة مع المجتمع المدني والمجالات التي نجح فيها المجلس في إحداث تغيير عبر منصات Meta، تشارك هذه الورقة البحثية دروسنا الرئيسية للصناعة والمنظمين والخبراء والمستخدمين بشكل عام.

دروس رئيسية للصناعة

• للمساعدة في مواجهة انتشار الصور الحميمية المزيفة على وسائل التواصل الاجتماعي، يجب أن تركز المنصات سياساتها على تحديد عدم موافقة المستهدفين بهذا المحتوى. يجب اعتبار التوليد أو التلاعب بواسطة الذكاء الاصطناعي إشارة إلى أن مثل هذه الصور قد تكون من دون موافقة.
• يجب أن تستفيد المنصات من الأتمتة لتمكين الأشخاص من فهم السياسات بشكل أفضل ومنع الإزالة الخاطئة للمحتوى الخاص بهم، بما في ذلك من خلال إشعارات المستخدم المفيدة. يستحق الأشخاص تفسيرًا لسبب حذف المحتوى الخاص بهم وما إذا كان هذا قرارًا بشريًا أم آليًا. عند الطعن في المحتوى الذي تم حذفه، يجب أيضًا منح الأشخاص فرصًا لتقديم سياق حول منشوراتهم التي ربما لم يفسرها المشرفون على المحتوى، سواء كانوا بشرًا أو ذكاءً اصطناعيًا، بشكل صحيح، على سبيل المثال السخرية والتوعية والإدانة. وقد دفع المجلس شركة Meta إلى إطلاق ميزات جديدة لتحقيق هذه الغاية، والتي تساعد بالفعل ملايين المستخدمين.
• يجب أن يتم تقاسم فوائد نماذج الذكاء الاصطناعي التوليدية الجديدة بشكل منصف من قبل قواعد المستخدمين العالمية لشركات التواصل الاجتماعي - خارج البلدان الناطقة باللغة الإنجليزية أو الأسواق في الغرب حيث تركز المنصات عادةً معظم الموارد. قد تشمل هذه التحسينات شفافية أكبر، وحسابًا أكثر دقة للسياق وتحديد الانتهاكات على مستوى أكثر دقة. هذا الأمر مهم بشكل خاص لأن انخفاض الكفاءة اللغوية والسياق يمكن أن يؤدي إلى الإفراط في الإنفاذ أو الإنفاذ بشكل غير كافٍ.
• يجب أن تخضع أنظمة الإشراف والتنظيم الآلي للتقييم الدقيق والمستمر لأدائها بالنسبة للمستخدمين الأكثر ضعفًا والأكثر عرضة للخطر. ومع نشر النماذج الجديدة، من المهم بشكل خاص التأكد من أنها لا تؤدي إلى تفاقم التحيزات المجتمعية القائمة التي قد تؤثر سلبًا على الفئات المهمشة وغيرها.
• يجب استشارة الخبراء العالميين في مجال حقوق الإنسان وحرية التعبير والأخلاقيات عند تصميم أدوات جديدة للإشراف على المحتوى المدعوم بالذكاء الاصطناعي ونشرها في مرحلة مبكرة من العملية. وينبغي إدراج تدابير التخفيف من المخاطر وغيرها من التدابير الوقائية للمنتجات، التي يوصي بها هؤلاء الخبراء، في تصميمها.
• الشفافية أمر بالغ الأهمية. يجب أن يُتاح للباحثين من جهات خارجية، من جميع أنحاء العالم، إمكانية الوصول إلى البيانات التي تسمح لهم بتقييم تأثير الإشراف على المحتوى الخوارزمي وتنظيم المواجز وأدوات الذكاء الاصطناعي للمحتوى الذي ينشئه المستخدم.
• يمكن أن تساعد المعلومات في معالجة المعلومات المضللة والمعلومات الخاطئة. يجب على المنصات تطبيق ملصقات تشير إلى المستخدمين عندما يتم تغيير المحتوى بشكل كبير ويمكن أن يؤدي إلى التضليل، مع تخصيص موارد كافية للمراجعة البشرية التي تدعم هذا العمل.

تحديات الإشراف على المحتوى في عصر الذكاء الاصطناعي التوليدي

هناك العديد من الأسباب التي تدعو إلى الحماس والتفاؤل بشأن الذكاء الاصطناعي التوليدي. مما لا شك فيه أنه حقق فوائد لمنشئي المحتوى والشركات، بدءًا من إمكانات تحرير الصور بشكل أفضل إلى الترجمة اللغوية وروبوتات الدردشة لخدمة العملاء.

كما أشار الاتحاد الأمريكي للحريات المدنية (ACLU) في تعليق عام موجه إلى المجلس، ليست كل وسائل الإعلام المتلاعب بها ضارة بطبيعتها: "على العكس من ذلك، هناك استخدامات لوسائل الإعلام المتلاعب بها تضيف قيمة للخطاب العام - بما في ذلك المحاكاة الساخرة والتهكم... وكذلك الخطاب الخالي من الفكاهة والكاذب المعلن الذي يكون مع ذلك توضيحيًا أو محفزًا للتفكير..." تتحمل المنصات مسؤولية حماية مثل هذا الخطاب.

ومع ذلك، يمكن للذكاء الاصطناعي التوليدي، بما في ذلك النماذج اللغوية الكبيرة المصممة لإنشاء النصوص والصوت والصور، أن يساهم في الأضرار الموجودة على الإنترنت، على سبيل المثال الإساءة الجنسية القائمة على الصور أو المحتوى المضلل للأشخاص حول كيفية أو موعد التصويت. ربما يكون الجانب الأكثر تهديدًا لهذه الأدوات الجديدة التي تعمل بالذكاء الاصطناعي هو سهولة الإنتاج، ما يسهل من الجودة والكمية على حد سواء. يمكن إنشاء محتوى واقعي مخادع في غضون ثوانٍ وبدون خبرة كبيرة.

في الوقت الذي يستخدم فيه الأشخاص الذكاء الاصطناعي لإنشاء المحتوى، تستخدمه المنصات للإشراف على المحتوى. ومع انتشار هذه التكنولوجيا الجديدة، يجب على شركات التواصل الاجتماعي أن تراقب ما إذا كانت هذه الأدوات تساهم في عدم التوازن القائم الذي يقوض المجتمع المدني. افترض الباحثون أنه يمكن تحسين الإشراف على المحتوى من خلال استخدام أدوات الذكاء الاصطناعي التوليدي الجديدة. ومع ذلك، يمكن أن يعني هذا أن المنصات تستخدم نماذج الذكاء الاصطناعي التوليدي لحل مشكلات الإشراف على المحتوى التي تتفاقم أحيانًا بسبب الذكاء الاصطناعي التوليدي.

سيتعين على هذه الأنظمة أن تثبت نفسها في الميزات الرئيسية التي عانت منها النماذج السابقة، مثل تمييز الفروق الثقافية واللغوية الدقيقة في المحتوى. يعد الوصول إلى البيانات لأبحاث الجهات الخارجية أمرًا بالغ الأهمية لفهم كيفية أداء هذه الأنظمة. تم اقتراح حلول محتملة للسماح للمجتمع المدني بتقييم التحيزات الكامنة التي تغذي أدوات الذكاء الاصطناعي التوليدية هذه، وهو ما يصبح أكثر أهمية مع اعتماد هذه الأنظمة للإشراف على المحتوى.

الإساءة الجنسية القائمة على الصور

إن الإساءة الجنسية القائمة على الصور ليس بالأمر الجديد، ولكن انفجار أدوات الذكاء الاصطناعي التوليدي الجديدة لتمكينها يمثل حقبة جديدة للتحرش القائم على أساس النوع الاجتماعي. مقابل تكلفة قليلة أو بدون تكلفة، يمكن لأي شخص لديه اتصال بالإنترنت وصورة لشخص ما أن ينتج صورًا جنسية لهذا الشخص، والتي يمكن أن تنتشر بعد ذلك دون موافقته أو علمه. يشير الباحثون في مجال الإساءة الجنسية عبر الإنترنت إلى أن أضرار الصور الحميمية بتقنية التزييف العميق قد تكون بنفس شدة الأضرار المرتبطة بالصور الجنسية الحقيقية التي تمت مشاركتها دون موافقة.

تستهدف الغالبية العظمى من هذا المحتوى النساء والفتيات، بدءًا من المراهقات إلى السياسيين والشخصيات العامة الأخرى، بما في ذلك المشاهير. في تعليق عام للمجلس، أشار مركز الديمقراطية والتكنولوجيا إلى أن التزييف العميق الذي يستهدف النساء في السياسة "يهدف إلى تحدي وجودهن في مساحات السلطة العامة والسيطرة عليهن ومهاجمتهن".

وفي الوقت نفسه، فإن انتشار الصور الحميمية بتقنية التزييف العميق كشكل من أشكال التنمر في سن المراهقة يثير مخاوف خطيرة على الصحة النفسية للفتيات. نشرت صحيفة نيويورك تايمز تقريرًا عن تنامي الصور بتقنية التزييف العميق كشكل من أشكال المضايقات التي يمكن أن تؤدي إلى أذى عاطفي شديد، وتضر بالسمعة وتهدد السلامة الجسدية. تضمنت إحدى الحالات حالة بارزة تتعلق بطالبة من إحدى المدارس الثانوية في الولايات المتحدة الأمريكية تم استهدافها من قبل زملائها في الصف.

كما حذر الخبراء الذين استشارهم المجلس من أن هذا المحتوى يمكن أن يكون ضارًا بشكل خاص في المجتمعات المحافظة اجتماعيًا. على سبيل المثال، أفادت التقارير أن امرأة تبلغ من العمر 18 عامًا قتلت بالرصاص على يد والدها وعمها في منطقة كوهستان النائية في باكستان بعد انتشار صورة لها مع رجل تم تعديلها رقميًا.

ويوضح تعليق عام من منظمة Breakthrough Trust الهندية غير الحكومية أن "النساء في الهند غالبًا ما يواجهن العقوبة الظالمة الثانوية" عند اللجوء إلى الشرطة أو المحاكم بسؤالهن عن سبب وضع صورهن على الإنترنت في المقام الأول - حتى عندما تكون الصور مزيفة بتقنية التزييف العميق من دون موافقتهن.

في يوليو 2024، أصدر المجلس قرارًا بشأن قضيتين تتعلقان بصور لامرأتين عاريتين تم إنشاؤها والتلاعب بها بواسطة الذكاء الاصطناعي، إحداهما تشبه شخصية عامة هندية، والأخرى شخصية عامة أمريكية. في حين أن شركة Meta كانت قد أزالت المنشور المتعلق بالشخصية العامة الأمريكية من فيسبوك، إلا أنها لم تقم بإزالة المنشور من الهند حتى اختار المجلس القضية. في هذا السياق، فإن الإزالة مبررة لحماية الأفراد من مشاركة الصور الجنسية التي تم التقاطها دون موافقتهم. وأشار المجلس إلى أن تصنيف الصور الحميمية التي تم إنشاؤها بتقنية التزييف العميق ليس كافيًا لأن الأضرار تنبع من مشاركة هذه الصور ومشاهدتها، وليس فقط من تضليل الناس بشأن صحتها.

وما يثير القلق، أن الصورة التي تشبه شخصية عامة هندية لم تتم إضافتها إلى بنك خدمة مطابقة الوسائط (مزيد من التفاصيل أدناه) من قبل Meta حتى سأل المجلس عنها. ردت Meta بالقول إنها اعتمدت على تقارير إعلامية لإضافة الصورة التي تشبه الشخصية العامة الأمريكية إلى البنك، ولكن لم تكن هناك مثل هذه التغطية الإعلامية في الحالة الهندية. وهذا أمر مثير للقلق لأن العديد من ضحايا الصور الحميمية بتقنية التزييف العميق من دون الموافقة عليها ليسوا تحت أنظار العامة، ويضطرون إما لقبول انتشار صورهم أو البحث عن كل حالة والإبلاغ عنها.

على الرغم من أن تقارير وسائل الإعلام قد تكون إشارة مفيدة بأن هذا النوع من المحتوى غير مقبول بالنسبة للشخصيات العامة، إلا أن ذلك لا يفيد الأفراد العاديين. لذلك، يجب ألا تعتمد شركات وسائل التواصل الاجتماعي بشكل مفرط على التغطية الإخبارية. تحتاج المنصات إلى أن تكون واضحة في سياساتها بشأن إشارات عدم الموافقة التي من شأنها أن تؤدي إلى إزالة هذا النوع من المحتوى، وضمان وجود مسارات ملائمة للمستخدمين للإبلاغ عن ذلك.

The Board’s cases suggest that social media companies should focus their policies on the lack of consent and harms of such content proliferating. With this focus in mind, context indicating the nude or sexualized aspects of a post are AI-generated or otherwise manipulated should be considered as a signal of non-consent. Setting a standard that AI generation or manipulation of intimate images are inherently indicators of non-consent would be major step forward given the rapid increase of deepfakes. 

في نهاية المطاف، يجب على منصات التواصل الاجتماعي تحديد هذا النوع من المحتوى وإزالته بشكل سريع مع تسهيل إبلاغ المستخدمين عنه. وقد نظرت كل من الهند والولايات المتحدة في سن قوانين وأعلنت عن خطط أخرى لتنظيم عمليات التزييف العميق. ومع ذلك، تلقى المجلس العديد من التعليقات العامة التي تؤكد على مدى أهمية أن تكون المنصات خط الدفاع الأول لأن الأنظمة القانونية قد لا تتحرك بالسرعة الكافية لوقف انتشار هذا المحتوى.

‬‏‫الانتخابات

في حين أنه تم اقتراح أن الاستخدامات الأكثر تقليدية للذكاء الاصطناعي، مثل خوارزميات التصنيف، تساهم في الاستقطاب السياسي، فإن ظهور الذكاء الاصطناعي التوليدي يفتح سبلاً جديدة لإساءة الاستخدام أثناء الانتخابات.

في تايوان، ظهر تسجيل صوتي تم إنشاؤه بتقنية التزييف العميق على موقع يوتيوب لسياسي يؤيد مرشحًا آخر، وهو ما لم يحدث أبدًا. في المملكة المتحدة، تم إنشاء المقاطع الصوتية ومقاطع الفيديو المزيفة والتي استهدفت السياسيين من مختلف الأطياف السياسية. في الهند، حيث ذهب أكثر من نصف مليار ناخب إلى صناديق الاقتراع لانتخابات 2024، أفادت تقارير بإغراقهم بمقاطع مزيفة بتقنية التزييف العميق، بما في ذلك التأييدات المزيفة من المشاهير والسياسيين المتوفين.

قام المجلس بالتحقيق في قضية تتعلق بـ فيديو تم التلاعب به للرئيس الأمريكي جو بايدن، حيث تم التلاعب بلقطات له وهو يضع ملصق "لقد قمت بالتصويت" على حفيدته ليبدو وكأنه يلمسها بشكل غير لائق. وتجدر الإشارة إلى أن الفيديو في قضية بايدن لم يتم تعديله بواسطة الذكاء الاصطناعي، بل تم تعديله بتكرار لحظة ملامسة يد الرئيس لصدر حفيدته.

That the content was altered by more primitive editing tools underscores how the variety of technologies available – whether generative AI or something else – makes the precise method of manipulation less important than the risk that viewers will be misled. As such, social media companies should orient their content policies to protect against the harms they seek to prevent, rather than focusing on the technology used to produce content.

في تلك الحالة، وجد المجلس أيضًا أنه في بعض الحالات يمكن للمنصات منع الضرر الذي يلحق بالمستخدمين بسبب تضليلهم بشأن صحة المحتوى من خلال إرفاق ملصق. تعمل الملصقات على تمكين الأشخاص من خلال السياق، ما يسمح لهم بالتوصل إلى استنتاجاتهم الخاصة. هذا أيضًا نهج أقل تدخلاً من عمليات الإزالة، لذا يمكن ترك المزيد من المحتوى، ما يسمح لشركات التواصل الاجتماعي بحماية حرية التعبير لدى المستخدمين.

بعد قرار المجلس، أعلنت Meta عن خطط للبدء في وضع ملصقات على مجموعة واسعة من الصور ومقاطع الفيديو والصوت التي تم تغييرها بواسطة الذكاء الاصطناعي. هذه توصية واضحة يجب على المنصات الأخرى النظر في اعتمادها.

التفاوت اللغوي

مع استخدام الأجيال الجديدة من الذكاء الاصطناعي من قبل منصات التواصل الاجتماعي، من الضروري أن تضمن الشركات أن هذه التكنولوجيا يمكن أن تخدم الناس بشكل عادل. وجدت تحقيقاتنا أن موارد الإشراف على المحتوى لا يتم توزيعها دائمًا بشكل عادل. على سبيل المثال، في الرأي الاستشاري بشأن سياسة المجلس الخاصة بالمعلومات المضللة حول كوفيد-19، سلط أصحاب المصلحة الضوء على أن معظم اللغات، إلى جانب اللغة الإنجليزية، لديها تغطية أقل بكثير في مجال التحقق من الحقائق. ومرة أخرى، في حالة أخرى تتعلق بالتقارير الإخبارية عن طالبان، أعرب مركز برينان للعدالة عن قلقه في التعليق العام التالي: "تفشل أدوات Meta المؤتمتة مرارًا وتكرارًا في مراعاة السياق، لا سيما في اللغات الأخرى غير الإنجليزية."

يُعد التفاوت اللغوي مصدر قلق رئيسي في الوقت الذي تتطلع فيه المنصات إلى تضمين نماذج الذكاء الاصطناعي اللغوية الكبيرة. وتفيد التقارير أن بعض شركات التكنولوجيا تميل إلى نهج الحياد اللغوي في نماذجها اللغوية الكبيرة، بسبب محدودية النص التدريبي لبعض اللغات. ووفقًا لمطوّري ومؤيدي هذه النماذج متعددة اللغات فإنهم قادرون على الاستفادة من أدائها في بعض اللغات "عالية الموارد" لتعويض النقص النسبي في بيانات التدريب على اللغات "منخفضة الموارد".

غير أن منتقدي هذه النماذج متعددة اللغات يشيرون إلى وجود تفاوتات محتملة بين اللغات ذات الموارد العالية واللغات ذات الموارد المنخفضة من حيث دقة اكتشاف الانتهاكات وإنفاذها. على الرغم من التطورات في تكنولوجيا الترجمة المدعومة بالذكاء الاصطناعي، لا يزال من غير الواضح مدى فعالية النموذج المدرّب بشكل أساسي على اللغة الإنجليزية المترجمة آليًا في مراعاة الفروق الدقيقة الثقافية أو الفكاهية في اللغة الأمهرية على سبيل المثال، والتي يتحدث بها عشرات الملايين من الناس في إثيوبيا.

وبغض النظر عن كيفية بنائها، إذا كان لنماذج الذكاء الاصطناعي الجديدة أن تفي بوعدها بإنفاذ أكثر دقة وشفافية، فيجب توزيع هذه الفوائد بشكل مناسب عبر قواعد المستخدمين العالمية للمنصات. يجب ألا تقوم الشركات بتقييم أداء النموذج بناءً على نتائج معايير اللغة الإنجليزية فقط، أو الاختبارات المجمعة التي تكون فيها اللغة الإنجليزية ممثلة بشكل غير متناسب، بل يجب أن تضع في اعتبارها اتساع نطاق جمهورها العالمي.

كيف تحكم الأتمتة المنصات

المنصات تعتمد بشكل متزايد على الأتمتة في الإشراف على المحتوى. هذا يعني أن الأنظمة المؤتمتة، من خلال فرض السياسات، وتحديد المحتوى والتوصية به، تقرر ما يستهلكه البشر أو لا يستهلكونه كمستخدمين لوسائل التواصل الاجتماعي.

للتوضيح، عند مناقشة الأتمتة، يشمل ذلك الأدوات التي تستند إلى القواعد وتلتزم بالمهام المتكررة مثل الإبلاغ عن المنشورات التي تحتوي على كلمات معينة أو حظر المستخدمين الذين ينتهكون القواعد بشكل متكرر. وبالمقارنة، فإن أدوات الإشراف على محتوى الذكاء الاصطناعي أكثر قابلية للتكيف. فهي تستخدم التعلم الآلي ويمكنها محاولة اتخاذ القرارات بناءً على تحليل الأنماط.

الجانب الإيجابي في الأتمتة هو قابلية التوسع، ولكن المخاوف (على الأقل في الوقت الحالي) هي ما إذا كانت هذه الأدوات قادرة على تحقيق التوازن بين الحجم والدقة ومنع التحيزات المنهجية. هذا التوازن هو أحد الشواغل الرئيسية التي غالبًا ما تثيرها منظمات المجتمع المدني والأفراد إلى المجلس.

السياق المفقود: كيف تتسبب الآلات في الإفراط في الإنفاذ- و
الإنفاذ بشكل غير كافٍ

الإفراط في الإنفاذ:

بدون عمليات تدقيق وإعادة تدريب منتظمة، يمكن أن تكون المصنفات الآلية في كثير من الأحيان أداة إنفاذ غير حادة. في واحدة من أوائل الحالات، نظر المجلس في صورة نُشرت على إنستجرام للتوعية بأعراض سرطان الثدي. كانت الصورة وردية اللون، تماشيًا مع حملة "أكتوبر الوردي"، وهي حملة دولية شائعة في البرازيل للتوعية بسرطان الثدي. أظهرت ثماني صور فوتوغرافية ضمن صورة واحدة أعراض سرطان الثدي مع أوصاف مقابلة مثل "تموجات" و"تكتلات" و"جروح". تضمنت خمس من الصور حلمات أنثوية ظاهرة ومكشوفة. تضمنت الثلاث صور المتبقية ثديي أنثى، مع وجود حلمات إما خارج نطاق اللقطة أو مغطاة بيد.

على الرغم من الإشارات العديدة التي تشير إلى الطبيعة غير الضارة والمفيدة للمنشور، فقد تم اكتشافه وإزالته بواسطة مصنف تعلم آلي مدرب على تحديد العري في الصور. تحظر معايير مجتمع Meta بشكل عام حلمات الإناث المكشوفة، ولكن هناك سماح "للأغراض التعليمية أو الطبية"، بما في ذلك التوعية بسرطان الثدي. لسوء الحظ، فشلت أنظمة Meta الآلية في التعرف على السياق المهم، بما في ذلك عبارة "سرطان الثدي" التي ظهرت أعلى الصورة باللغة البرتغالية.

نصح المجلس Meta بتحسين الكشف الآلي للصور مع تراكب النص لضمان عدم وضع علامة بالخطأ على المنشورات التي تزيد الوعي بأعراض سرطان الثدي لمراجعتها. واستجابةً لذلك، حسّنت Meta تقنيات إنستجرام‬ لتحديد الإشارات السياقية، بما في ذلك من خلال النص، ذات الصلة بسرطان الثدي. وقد قامت الشركة بنشر هذه التغييرات في يوليو 2021، مع تطبيق هذه التحسينات منذ ذلك الحين. ولإعطاء لمحة سريعة عن تأثير هذه التحسينات، ساهمت هذه التحسينات في الثلاثين يومًا بين 26 فبراير و27 مارس 2023، في إرسال 2500 قطعة إضافية من المحتوى للمراجعة البشرية التي كانت ستتم إزالتها سابقًا.

نظرًا لحجم ونطاق وسرعة انتشار المحتوى على وسائل التواصل الاجتماعي، يقبل المجلس أن الأتمتة ضرورية للكشف عن المحتوى الذي يحتمل أن يكون مخالفًا. ومع ذلك، فإن الإنفاذ الذي يعتمد فقط على الأتمتة، عند استخدام تقنيات ذات قدرة محدودة على فهم السياق، يمكن أن يؤدي إلى الإفراط في الإنفاذ الذي يتعارض بشكل غير متناسب مع حرية التعبير.

للتوضيح، تنجح الأتمتة في جزء كبير من الإشراف على المحتوى، ولكنها غالبًا ما تفشل في حالات متخصصة ومهمة للغاية مثل المثال الموضح سابقًا. يمكن أن تكون الأتمتة أفضل في فهم السياق، لكن الأمر يتطلب إشرافًا وموارد لضبط هذه الأدوات كما في حالة سرطان الثدي. مع وجود أجيال جديدة من الذكاء الاصطناعي والأتمتة، يجب أن تلتزم المنصات بتحسين جودة الإنفاذ لموضوعات المحتوى المهمة (على سبيل المثال، التوعية الصحية) وحيثما توجد معدلات عالية من الأخطاء في الإنفاذ.

• العقوبات: كما أن المجلس يساوره القلق بشأن العقوبات المرتبطة بالإفراط في الإنفاذ بواسطة الأتمتة. يمكن أن تتم إزالة المنشورات بشكل خاطئ عن طريق الأتمتة، مع فرض عقوبة على الحسابات ذات الصلة أو تخفيض تصنيف محتواها. يمكن لسجل انتهاكات الحساب أن يحدد ما إذا كان سيتم فرض عقوبات أكثر صرامة، بما في ذلك قيود النشر. لأن الأتمتة تتحرك بسرعة كبيرة، يمكن أن تتراكم الانتهاكات وتعطل الحسابات. حقق المجلس نجاحًا في دفع Meta لإصلاح نظام الإنذارات، بما في ذلك من خلال الإشعارات الجديدة التي تشرح سبب إزالة المحتوى وتوفير قدر أكبر من الشفافية حول النظام وعقوباته. ومع ذلك، هناك مجال أكبر للتحسين فيما يتعلق بالانتهاكات الأكثر خطورة، والتي يمكن أن تؤثر بشدة على الصحفيين والنشطاء. ولهذا السبب طلب المجلس المزيد من الشفافية بشأن "الإنذارات الصارمة" وسيستمر في ذلك.

الإنفاذ بشكل غير كافٍ:

اللغة المشفرة ليست جديدة أو غير مألوفة. على الإنترنت، يمكن أن تعني عبارات مثل "غير حي" الموت، ويطلق على مجموعات الفيسبوك المناهضة للقاح اسم "حفلات العشاء،" ويشار إلى المشتغلين بالجنس باسم "المحاسبين". غالبًا ما يخطئ المستخدمون عمدًا في كتابة الكلمات (c0vid) أو يستخدمون الرموز التعبيرية، مثل شرائح البطيخ عند الإشارة إلى فلسطين للتهرب من الكشف الخوارزمي وإنفاذه.

ولكن عندما يتم ترميز خطاب يحض على الكراهية للتهرب من اكتشافه بواسطة الأنظمة المؤتمة، يمكن أن يساهم ذلك في خلق بيئة غير آمنة على الإنترنت.

يشير مركز ويلسون، وهو مركز أبحاث مقره واشنطن العاصمة، إلى الخطاب الذي يحض على الكراهية المشفّر على أنه "إبداع خبيث"، ويقول إنه أكبر عقبة أمام اكتشاف الهجمات القائمة على أساس الجنس على الإنترنت وإنفاذها. يمكن أن يأتي في شكل هجاء أو صور مرئية مستندة إلى السياق تتطلب معرفة ظرفية لفهمها، وعادةً ما تكون الأدوات المؤتمة غير مهيأة لاكتشافه.

في حالة المنشور باللغة البولندية الذي يستهدف المتحولين جنسيًا الخاصة بالمجلس، ألغى مجلس الإشراف قرار Meta الأصلي بترك منشور على فيسبوك استهدف فيه مستخدمٌ المتحولين جنسيًا بخطاب عنيف يدعو إلى الانتحار. احتوى المنشور على صورة لستارة مخططة بألوان علم المتحولين جنسيًا الأزرق والوردي والأبيض، مع نص باللغة البولندية. فشلت أنظمة Meta المؤتمة في ملاحظة القرائن السياقية الرئيسية، بما في ذلك الإشارة إلى الانتحار ("الستائر التي تشنق نفسها")، ودعم موت المتحولين جنسيًا ("التنظيف الربيعي") وحتى الاعتراف الذاتي في السيرة الذاتية للمستخدم بأنه معادٍ للمتحولين جنسيًا.

لم تكن المشكلة الأساسية في هذه الحالة تتعلق بسياسات شركة Meta، بل بإنفاذها. تحتاج الأنظمة المؤتمتة التي تعمل على إنفاذ السياسات المتعلقة بالمحتوى وتحديد أولويات المحتوى للمراجعة إلى التدريب لتتمكن من التعرف على نوع اللغة المشفرة والصور القائمة على السياق التي تم تناولها في هذه الحالة. من المهم للغاية أن تقوم المنصات بمراجعة دقة هذه الأنظمة، خاصة فيما يتعلق بالمراجع المشفرة.

الإشراف على المحتوى أثناء الصراعات

يمكن أن يشكل الاعتماد على الأتمتة تحديًا خاصًا عندما تؤدي حالات الطوارئ إلى زيادة الضغط على هذه الأنظمة. غالبًا ما يكون هناك تدفق للمحتوى من المناطق التي تعاني من الصراعات أو الأزمات. هذا يضع ضغطًا على أنظمة الإشراف على المحتوى التي تستخدم الذكاء الاصطناعي والأتمتة لتحديد الانتهاكات، ما قد يزيد من معدل الأخطاء في الإنفاذ.

تستخدم أنظمة التصنيف المؤتمتة (المصنفات) الخاصة بـ Meta مجموعة متنوعة من الميزات عند تحديد الإجراء الذي يجب اتخاذه بشأن المحتوى، بما في ذلك تعزيز فرص احتمالية حدوث انتهاك وخطورة الانتهاك المحتمل وسرعة انتشار المحتوى. في أول القرارات العاجلة للمجلس في عام 2023 حول النزاع بين إسرائيل وغزة، ألغى المجلس قرار Meta الأصلي بإزالة منشورين من منصاته.

كجزء من استجابتها الأولية للنزاع، خفضت Meta مؤقتًا عتبات الثقة لمصنفاتها التي تحدد وتزيل المحتوى الذي ينتهك سياساتها المتعلقة بالمحتوى العنيف والتصويري والخطاب الذي يحض على الكراهية والعنف والتحريض والتنمر والإساءة. تنطبق التدابير المؤقتة على المحتوى الصادر من إسرائيل وغزة بجميع اللغات.

وهذا يعني أن Meta استخدمت أدواتها المؤتمتة من أجل الإزالة القوية للمحتوى الذي قد ينتهك سياساتها ولو بشكل طفيف. في حين أن هذا قلل من احتمالية فشل Meta في إزالة المحتوى المخالف الذي قد يفلت من الاكتشاف، إلا أنه أدى أيضًا إلى إزالة المحتوى غير المخالف المتعلق بالنزاع بشكل كبير.

وقد أظهرت قضية مستشفى الشفاء، التي ركزت على محتوى يحتوي على لقطات فيديو لغارة أثناء العمليات العسكرية الإسرائيلية في غزة، كيف يمكن أن يؤدي غياب الرقابة البشرية أثناء الاستجابة للأزمات إلى حذف غير صحيح لخطاب قد يكون ذا أهمية كبيرة للجمهور. تم اتخاذ القرار المبدئي بإزالة هذا المحتوى ورفض استئناف المستخدم تلقائيًا بناءً على درجة التصنيف، دون أي مراجعة بشرية.

وقد أبرزت حالة عاجلة أخرى تتعلق بشريط فيديو يظهر رهائن اختطفوا من إسرائيل خلال الهجوم الإرهابي الذي نفذته حماس في 7 تشرين الأول/ أكتوبر، المخاوف من تخفيض تصنيف المحتوى. بعد أن حدد المجلس هذه الحالة، ألغت Meta قرارها الأصلي بإزالة المنشور وأعادته مع وضع شاشة تحذير "وضع علامة باعتباره محتوى مزعج". أدى ذلك إلى تقييد رؤية المحتوى للأشخاص الذين تزيد أعمارهم عن 18 عامًا وحذفه من التوصيات لمستخدمي فيسبوك الآخرين.

إن إزالة المحتوى من أنظمة التوصيات يعني تقليل مدى الوصول الذي كان سيحصل عليه بخلاف ذلك. قد لا يكون تخفيض التصنيف أو تطبيق أنواع أخرى من "الإجراءات الناعمة" على هذه الأنواع من المنشورات، التي لها مصلحة عامة وتهدف إلى لفت الانتباه إلى انتهاكات حقوق الإنسان، تقييدًا ضروريًا أو متناسبًا لحرية التعبير. وهذا يدعو أيضًا إلى التساؤل حول عدم شفافية قرارات تخفيض تصنيف بعض المنشورات، والتي يتم اتخاذها دون تفسير وبطريقة غير شفافة.

تؤكد هذه الحالات على أن المنصات بحاجة إلى اتباع نهج متماسك وشفاف للإشراف على المحتوى أثناء النزاعات. لا يمكن لشركات وسائل التواصل الاجتماعي أن ترتجل القواعد أثناء الأزمات. يمكن أن يكون لانعدام الشفافية حول اتخاذ القرارات تأثير مخيف على الأشخاص الذين قد يخشون إزالة المحتوى الخاص بهم وفرض عقوبة على حساباتهم إذا ارتكبوا خطأً.

أنظمة إنفاذ المحتوى التلقائية

بنوك خدمة مطابقة الوسائط لدى Meta، وهي نوع من أنظمة إنفاذ المحتوى التلقائية، هي في الأساس مستودعات للمحتوى الذي اتخذت Meta قرار الإشراف عليه بالفعل. تقوم مكتبات المحتوى هذه - "البنوك" - تلقائيًا بتحديد الصور ومقاطع الفيديو التي سبق أن حددها المراجعون البشريون على أنها إما تنتهك أو لا تنتهك السياسات المتعلقة بالمحتوى، وتتصرف في المحتوى اللاحق بناءً على قواعد ذلك البنك.

في حالة كاريكاتير الشرطة الكولومبية لدى المجلس، ألغى المجلس قرار Meta الأصلي بإزالة منشور على فيسبوك لرسم كاريكاتيري يصور عنف الشرطة في كولومبيا. تمت إضافة الرسم الكاريكاتوري بشكل خاطئ من قبل مراجع بشري إلى بنك خدمة مطابقة الوسائط في Meta، ما أدى إلى إزالة الصورة من المنصة بشكل جماعي وغير متناسب. وقد وجد المجلس أن 215 مستخدمًا قد طعنوا في عمليات الإزالة هذه، ونجح 98% منهم في الطعن. كان من المفترض أن يؤدي هذا المعدل المرتفع من الإلغاء إلى إجراء مراجعة، ولكن Meta لم تقم بإزالة الرسم الكاريكاتوري من هذا البنك حتى وصلت الحالة إلى المجلس.

توضح هذه الحالة كيف يمكن لأنظمة إزالة المحتوى التلقائية تضخيم تأثير القرارات غير الصحيحة التي يتخذها المراجعون البشريون الأفراد. تكون مخاطر الإضافات الخاطئة إلى مثل هذه الأنظمة عالية بشكل خاص عندما يكون المحتوى، كما في هذه الحالة، عبارة عن خطاب سياسي يهدف إلى الاحتجاج ضد الجهات الحكومية.

الخاتمة

إن شركات التواصل الاجتماعي تعتمد بشكل كبير على الذكاء الاصطناعي والأنظمة المؤتمتة. تُظهر التقارير ذات الصلة من السنوات الأخيرة زيادة هائلة في كمية المحتوى الذي يتم اكتشافه وإزالته تلقائيًا من المنصات الرقمية. حتى الآن، لا تزال الأدوات الأكثر شيوعًا تفشل أحيانًا في مراعاة السياق ولا تقدم دائمًا أسبابًا مفصلة لإزالة المحتوى.

تقدم نماذج الذكاء الاصطناعي التوليدي الجديدة تحسينات محتملة كبيرة في القدرة على تحديد انتهاكات خطوط سياسة محددة تلقائيًا. من الممكن أن تكون أدوات الذكاء الاصطناعي التوليدي الجديدة أكثر قدرة على تفسير معنى المحتوى وتفسير إجراءات الإنفاذ للمستخدمين. ولكن هناك الكثير من العمل الذي يجب القيام به لفهم التحيزات والأخطاء في هذه الأنظمة لتطوير عمليات رقابة كافية.

على الرغم من أن شركات وسائل التواصل الاجتماعي قد أشارت إلى استجابتها لمخاوف أخلاقيات الذكاء الاصطناعي والتحديات المرتبطة بالذكاء الاصطناعي التوليدي، إلا أنه يجب عليها أن توضح تمامًا كيف تعتزم مواءمة تطويرها لتقنيات الذكاء الاصطناعي الجديدة واستجاباتها لها مع مسؤولياتها في احترام حقوق الإنسان. والأهم من ذلك، تظل المساءلة الصارمة من جهة خارجية ضرورية، بما في ذلك القضايا الرئيسية مثل معالجة المخاطر النظامية التي تهدد حرية التعبير، والوصول إلى البيانات التي تتيح تقييم مدى دقة عمل أنظمة الإشراف على المحتوى بشكل عام (بخلاف حالات المحتوى المحددة)، والشفافية حول العقوبات مثل تخفيض تصنيف المحتوى أو "حظر الظل".

شكر وتقدير

قام بكتابة هذه الورقة البحثية مجموعة عمل من أعضاء مجلس الرقابة.

العودة إلى قيادة الفك