एआई और ऑटोमेशन के लिए नए युग में कंटेंट मॉडरेशन

परिचय

2004 में Facebook के शुरू होने के बाद से पिछले 20 वर्षों में, सोशल मीडिया कंपनियों द्वारा अपने कंटेंट के नियमों को लागू करने और लोगों के संदेश-विचार आदि को संवारने के तरीकों में नाटकीय रूप से बदलाव आया है। आज ऑटोमेटेड क्लासिफ़ायर, कंटेंट का विश्लेषण करते हैं और यह तय करते हैं कि किसे रखा जाना चाहिए और क्या हटाया जाना चाहिए या किसे मानवीय रिव्यू के लिए भेजा जाना चाहिए। आर्टिफ़‍िशियल इंटेलीजेंस (एआई) सिस्टम्‍स, पोस्टों की रैंकिंग करते हुए, ऑनलाइन अनुभवों को अनुकूलित करने के लिए, यूज़र्स के आचरण का विश्लेषण करता है।

इस बीच, कंटेंट बनाने और उसमें परिवर्तन करने के लिए, दुनिया भर के लोगों द्वारा उपयोग किए जाने वाले टूल्‍स की गुणवत्‍ता उल्‍लेखनीय रूप से बेहतर हुई है। फ़ोन कीपैड पर ऑटोकरेक्ट से लेकर फ़ेस फ़‍िल्टर, वीडियो एडिटिंग और जनरेटिव चैटबॉट्स तक, यूज़र्स द्वारा बनाए जाने वाले कंटेंट में उपयोग किए जाने वाले टूल्स, आज सोशल मीडिया की शुरुआत की तुलना में उल्लेखनीय रूप से कहीं अधिक परिष्कृत हैं।

टूल्स में हुए ये विकास, एक बड़े बदलाव का प्रतिनिधित्व करते हैं, जो सोशल मीडिया पर करोड़ों लोगों को प्रभावित कर रहे हैं। इन नए शक्तिशाली टूल्स की व्यापक उपलब्धता के गंभीर निहितार्थ हैं और ये निहितार्थ, इन प्रौद्योगिकियों को डिज़ाइन करने, इन्हें विकसित करने और इन्हें अपने प्रोडक्ट में शामिल करने के लिए कंपनियों द्वारा लिए जाने वाले निर्णयों के साथ-साथ उच्च गुणवत्ता वाले यूज़र-जेनरेटेड कंटेंट के विरुद्ध लागू की गई कंटेंट पॉलिसीज़ के लिए भी हैं।

कंटेंट मॉडरेशन के अधिकतर फ़ैसले अब व्यक्तियों द्वारा नहीं, बल्कि मशीनों द्वारा लिए जाते हैं और इसमें तेज़ी आने वाली है। प्रशिक्षण डेटा और सिस्टम डिज़ाइन में जो पूर्वाग्रह अंतर्निहित होते हैं, उसके कारण ऑटोमेशन, मानवीय भूल में वृद्धि करता है, जबकि एन्‍फ़ोर्समेंट संबंधी निर्णय तेज़ी से लिए जाते हैं, जिससे मानव द्वारा निरीक्षण करने के मौके सीमित हो जाते हैं।

एआई का एल्गोरिदम, मौजूदा सामाजिक पूर्वाग्रहों को और मज़बूत कर सकता है या वैचारिक विभाजन की स्थिति में किसी एक ओर झुक सकता है। प्लेटफ़ॉर्म के लिए यह सुनिश्चित करना अनिवार्य है कि अभिव्यक्ति की स्वतंत्रता और मानवाधिकारों से संबंधित विचारों को इन टूल्स में आरंभ से ही और डिज़ाइन के द्वारा शामिल कर लिया जाए और साथ ही बड़े पैमाने पर पहले से ही संचालित हो रहे जो सिस्टम्‍स हैं, उनमें सुधार लाने के लिए संस्थागत और तकनीकी चुनौतियों को भी ध्यान में रखा जाए।

दुनिया भर के 21 मानवाधिकार विशेषज्ञों के स्वतंत्र निकाय ओवरसाइट बोर्ड ने, Meta की कंटेंट पॉलिसी को एआई एल्गोरिदम और ऑटोमेशन तकनीकों द्वारा कैसे लागू किया जाता है, इससे जुड़े प्रतीकात्मक केसेज़ की जाँच की है। बोर्ड का दृष्टिकोण मानवाधिकार-आधारित है, जो इस बात का निर्णय लेने से कहीं बढ़कर है कि किस विशिष्ट कंटेंट को रखा जाना चाहिए या किसे हटाया जाना चाहिए। हमारे केसेज़, Meta के ऑटोमेटेड सिस्टम्‍स के डिज़ाइन और कार्य की प्रणाली की गहराई से जांच करते है, ताकि इस बात पर प्रकाश डाला सके कि कौन से फ़ैक्‍टर, कंटेंट मॉडरेशन के निर्णयों को प्रभावित करते हैं और उन टूल्स को कैसे बेहतर बनाया जा सकता है।

ये केसेज़ प्रमुख मुद्दों की पड़ताल करते हैं, जैसे कि कंटेंट को हटाने के ऑटोमेटेड सिस्टम्‍स, जिनमें Meta का मीडिया मैचिंग सर्विस बैंक शामिल है; एआई द्वारा जेनरेट की गई प्रकट तस्वीरें और अन्य हेरफेर वाले मीडिया के लिए पॉलिसी; और कैसे एआई और ऑटोमेटेड सिस्टम संदर्भ को समझ पाने के लिए संघर्ष करता है, जिसके कारण नियमों का गलत प्रयोग होता है। केसवर्क के हमारे पोर्टफ़ोलियो, नागरिक समाज के साथ सतत जुड़ाव और वे क्षेत्र, जिनमें बोर्ड ने Meta के विभिन्न प्लेटफ़ॉर्मों पर सफलतापूर्वक परिवर्तन लागू किया है, का लाभ लेते हुए यह दस्‍तावेज़, उद्योग, नियामकों, विशेषज्ञों और यूज़र्स के लिए हमारे मुख्‍य सबकों को साझा करता है।

इंडस्ट्री के लिए मुख्य लेसन

• सोशल मीडिया पर डीपफ़ेक प्रकृति की अंतरंग तस्वीरों के प्रसार का मुकाबला करने में मदद के लिए, प्लेटफ़ॉर्म को ऐसे कंटेंट द्वारा लक्षित लोगों के बीच सहमति की कमी की पहचान हेतु अपनी पॉलिसी को केंद्रित करना चाहिए। एआई जनरेशन या हेरफेर को इस बात का संकेत मानना चाहिए कि ऐसी तस्वीर बिना सहमति वाली हो सकती है।
• प्लेटफ़ॉर्म को ऑटोमेशन तकनीक का लाभ उठाना चाहिए, जिससे कि लोगों को पॉलिसी को बेहतर ढंग से समझने में सक्षम बनाया जा सके और सूचनात्मक यूज़र अधिसूचना के द्वारा उनके अपने कंटेंट को गलत तरीके से हटाए जाने समेत, कंटेंट को हटाए जाने से रोका जा सके। लोगों को इस बात का स्पष्टीकरण मिलना चाहिए कि उनके कंटेंट को क्यों हटाया गया और क्या यह कार्रवाई मानवीय थी या यह ऑटोमेटेड निर्णय था। जो कंटेंट हटाया गया है, उसके लिए अपील करते समय, लोगों को अपनी पोस्ट के बारे में संदर्भ प्रदान करने का अवसर भी दिया जाना चाहिए, जिस संदर्भ को कंटेंट मॉडरेटर, चाहे वह मानव हो या एआई हो, सही ढंग से समझ न सके हों, उदाहरण के लिए व्यंग्य, जागरूकता बढ़ाने और निंदा के संदर्भ। बोर्ड ने Meta को इस उद्देश्य के लिए नए फ़ीचर्स शुरू करने के लिए प्रेरित किया है और इस पहल से लाखों यूज़र्स को मदद मिल भी रही है।
• नए जनरेटिव एआई मॉडल के लाभों को सोशल मीडिया कंपनियों के वैश्विक यूज़र बेस द्वारा समान रूप से साझा किया जाना चाहिए - अंग्रेजी भाषा वाले देश या पश्चिम के बाज़ारों से परे, जहाँ आमतौर पर प्लेटफ़ॉर्म के सर्वाधिक संसाधन केंद्रित हैं। इन सुधारों में अधिक पारदर्शिता, संदर्भ के लिए अधिक सटीक अकाउंटिंग तथा उल्लंघनों की कहीं अधिक सूक्ष्मता से पहचान शामिल हो सकती है। यह विशेष तौर पर महत्वपूर्ण है, क्योंकि भाषा और संदर्भ से संबंधित अल्प सक्षमता के कारण एन्‍फ़ोर्समेंट, आवश्यकता से अधिक या कम हो सकता है।
• ऑटोमेटेड मॉडरेशन और क्यूरेशन सिस्टम्‍स का मूल्यांकन, उनके प्रदर्शन के आधार पर लगातार कठोरतापूर्वक किया जाना चाहिए, खासकर ऐसे यूज़र्स के लिए, जो सबसे अधिक असुरक्षित हैं और जोखिम में हैं। जैसे-जैसे नए मॉडल उपयोग किए जाते हैं, यह सुनिश्चित करना विशेष रूप से महत्वपूर्ण है कि ये मॉडल उन मौजूदा सामाजिक पूर्वाग्रहों में इजाफ़ा न करें, जो हाशिए पर खड़े समूहों और अन्य लोगों पर प्रतिकूल प्रभाव डाल सकते हों।
• प्रक्रिया के आरंभ में, नए एआई-संचालित कंटेंट मॉडरेशन टूल को डिज़ाइन और उपयोग करते समय, वैश्विक मानवाधिकार, अभिव्यक्ति की स्वतंत्रता और नैतिक विषयों के विशेषज्ञों से परामर्श किया जाना चाहिए। ऐसे विशेषज्ञों द्वारा सुझाए गए जोखिम कम करने के और अन्य प्रोडक्ट सुरक्षा उपायों को उनके डिज़ाइन में शामिल किया जाना चाहिए।
• पारदर्शिता सर्वोपरि है। दुनिया भर के तीसरे पक्ष के अनुसंधानकर्ताओं को डेटा एक्सेस करने की सुविधा दी जानी चाहिए, ताकि वे यूज़र जनरेटेड कंटेंट के लिए एल्गोरिदमिक कंटेंट मॉडरेशन, फ़ीड क्यूरेशन और एआई टूल्स के प्रभाव का आकलन कर सकें।
• जानकारी होने से, गलत और भ्रामक जानकारी से निपटने में मदद मिल सकती है। प्लेटफ़ॉर्म को, यूज़र्स को यह बताने के लिए लेबल का इस्तेमाल करना चाहिए कि कब कंटेंट में उल्‍लेखनीय रूप से परिवर्तन किया गया है और यह भ्रामक भी हो सकता है, साथ ही इस कार्य में सहायता करने वाले मानवीय रिव्यू के लिए पर्याप्त संसाधन भी उपलब्ध कराए जाने चाहिए।

जनरेटिव एआई युग में कंटेंट मॉडरेशन की चुनौतियाँ

जनरेटिव एआई को लेकर उत्साहित और आशावादी होने के कई कारण हैं। इस बात में संदेह नहीं कि इसने बेहतर फ़ोटो संपादन क्षमताओं से लेकर भाषा अनुवाद और ग्राहक सेवा चैटबॉट्स तक, कंटेंट निर्माताओं और व्यवसायों को लाभ पहुँचाया है।

जैसा कि अमेरिकन सिविल लिबर्टीज़ यूनियन (एसीएलयू) ने बोर्ड को दी गई एक पब्लिक कमेंट में बताया, सभी हेरफेर वाले मीडिया, स्वाभाविक रूप से हानिकारक नहीं होते हैं: "इसके विपरीत, हेरफेर वाले मीडिया के कुछ ऐसे उपयोग भी होते हैं, जो सार्वजनिक विमर्श के मूल्य को बढ़ाते हैं - जिसमें पैरोडी और व्यंग्य शामिल हैं... साथ ही हास्यविहीन, स्पष्ट रूप से गलत भाषण, जो फिर भी उदाहरणात्मक या विचारोत्तेजक हो..." ऐसे भाषण की रक्षा करना प्लेटफ़ॉर्मों की जिम्मेदारी है।

हालाँकि, जनरेटिव एआई, जिसमें टेक्स्ट, ऑडियो और चित्र बनाने के लिए डिज़ाइन किए गए लार्ज-लैंग्वेज मॉडल शामिल हैं, इंटरनेट पर मौजूदा नुकसान की स्थिति में योगदान कर सकते हैं और करते भी हैं, उदाहरण के लिए तस्वीर-आधारित यौन शोषण या लोगों को कैसे या कब वोट देना है, इसे लेकर गुमराह करने वाले कंटेंट। शायद इन नए एआई-संचालित टूल्स का सबसे खतरनाक पहलू है, निर्माण की आसानी, जो गुणवत्ता और मात्रा, दोनों को सुविधाजनक बनाता है। भ्रामक यथार्थवादी कंटेंट कुछ ही सेकंड में और बिना किसी विशेष विशेषज्ञता के तैयार किया जा सकता है।

एक ओर जहाँ लोग एआई का उपयोग कंटेंट बनाने में कर रहे हैं, वहीं दूसरी ओर प्लेटफ़ॉर्म इसका उपयोग कंटेंट को मॉडरेट करने में कर रहे हैं। जैसे-जैसे यह नई प्रौद्योगिकी उपयोग में लाई जा रही है, सोशल मीडिया कंपनियों को इस बात पर नज़र रखनी चाहिए कि कहीं ये टूल्स उन मौजूदा असंतुलनों को बढ़ावा तो नहीं दे रहे हैं, जो नागरिक समाज को कमजोर करते हैं। अनुसंधानकर्ताओं ने यह माना है नए जनरेटिव एआई टूल्स के उपयोग से, कंटेंट मॉडरेशन में सुधार की संभावना हो सकती है। वैसे, इसका अर्थ यह हो सकता है कि प्लेटफ़ॉर्म, कंटेंट मॉडरेशन के मसले को हल करने के लिए जनरेटिव एआई मॉडल का उपयोग करते हैं, जो कभी-कभी जनरेटिव एआई द्वारा बढ़ा दिए जाते हैं।

इन सिस्टम्‍स को उन प्रमुख फ़ीचर्स के मद्देनजर स्वयं को सिद्ध करना होगा, जहाँ पिछले मॉडल को संघर्ष करना पड़ा है, जैसे कि कंटेंट की सांस्कृतिक और भाषायी बारीकियों को समझना। ये सिस्टम्‍स किस प्रकार काम कर रहे हैं, इसे समझने के लिए तीसरे पक्ष के अनुसंधान के लिए डेटा का एक्सेस गंभीर रूप से महत्वपूर्ण है। नागरिक समाज को इन जनरेटिव एआई टूल्स को बढ़ावा देने वाले अंतर्निहित पूर्वाग्रहों का आकलन करने की अनुमति देने के लिए, संभावना युक्त समाधान के प्रस्ताव दिए गए हैं, जो तब और भी महत्वपूर्ण हो जाते हैं, जब इन सिस्टम्‍स को कंटेंट मॉडरेशन के लिए अपनाया जाता हो।

तस्वीर आधारित यौन शोषण

तस्वीर-आधारित यौन शोषण कोई नई बात नहीं है, लेकिन इसे सक्षम बनाने वाले नए जनरेटिव एआई टूल्स का विस्फोट लिंग-आधारित उत्पीड़न के मद्देनजर एक नए युग का संकेत करता है। बहुत कम लागत या बिना किसी लागत के, इंटरनेट कनेक्शन की सुविधा और किसी व्यक्ति की तस्वीर से, कोई भी व्‍यक्ति, उस व्यक्ति का यौन चित्रण मीडिया बना सकता है, जिसे बाद में उस व्यक्ति की सहमति या जानकारी के बिना फैलाया जा सकता है। ऑनलाइन यौन शोषण के मामले पर अनुसंधान करने वालों का सुझाव है कि डीपफ़ेक अंतरंग चित्रों के नुकसान उतने ही गंभीर हो सकते हैं, जितने कि बिना सहमति के साझा की गई प्रामाणिक यौन तस्वीरों के नुकसान हैं।

ऐसे कंटेंट के अधिकांश हिस्‍सा महिलाओं और लड़कियों को लक्षित करता है, जिनमें किशोरी से लेकर राजनेता और सेलिब्रिटीज़ सहित अन्य सार्वजनिक हस्तियाँ भी शामिल हैं। बोर्ड को की गई एक पब्लिक कमेंट में, सेंटर फ़ॉर डेमोक्रेसी एंड टेक्नोलॉजी ने उल्लेख किया कि राजनीति में सक्रिय महिलाओं पर निशाना साधने वाले डीपफ़ेक का उद्देश्य “सार्वजनिक प्राधिकरण के स्थानों में उनकी उपस्थिति को चुनौती देना, नियंत्रित करना और हमला करना है।”

इधर किशोरों को डराने-धमकाने के रूप में, डीपफ़ेक अंतरंग तस्वीरों का प्रसार, लड़कियों में मानसिक स्वास्थ्य संबंधी चिंताओं को जन्म देता है। द न्यूयॉर्क टाइम्स ने बताया कि किस प्रकार डीपफ़ेक तस्वीरें, उत्पीड़न के एक रूप के तौर पर उभरी हैं, जिनसे गंभीर भावनात्मक क्षति हो सकती है, प्रतिष्ठा को नुकसान पहुँच सकता है तथा शारीरिक सुरक्षा को खतरा हो सकता है। एक प्रमुख केस संयुक्त राज्य अमेरिका (यू.एस.) के एक हाई स्कूल के छात्र से संबंधित था, जिसे उसके सहपाठियों द्वारा निशाना बनाया गया था।

बोर्ड ने जिन विशेषज्ञों से संपर्क किया, उन्होंने चेतावनी दी है कि यह कंटेंट सामाजिक रूप से रूढ़िवादी समुदायों के लिए विशेष रूप से हानिकारक हो सकता है। उदाहरण के लिए, पाकिस्तान के सुदूर कोहिस्तान क्षेत्र में एक 18 वर्षीय महिला की हत्या कथित रूप से उसके पिता और चाचा ने गोली मारकर कर दी, जब हेरफेर से बनाई गई उस किशोरी की एक डिजिटल तस्वीर वायरल हो गई थी, जिसमें वह एक पुरुष के साथ थी।

भारतीय गैर सरकारी संगठन ब्रेकथ्रू ट्रस्ट की एक पब्लिक कमेंट के अनुसार, भारत में पुलिस या न्यायिक सेवाओं का उपयोग करते समय “महिलाओं को अक्सर द्वितीयक उत्पीड़न का सामना करना पड़ता है”, जब उनसे पूछा जाता है कि उन्होंने इंटरनेट पर अपनी तस्वीरें क्यों डालीं - तब भी जबकि ये तस्वीरें बिना सहमति वाले डीपफ़ेक हों।

जुलाई 2024 में, बोर्ड ने नग्न महिलाओं की एआई-जनरेटेड और एआई द्वारा छेड़छाड़ से बनी तस्वीरों से जुड़े दो केस पर फैसला जारी किया, जिनमें से एक तस्वीर एक भारतीय सार्वजनिक हस्‍ती से मिलती जुलती थी, जबकि दूसरी, एक अमेरिकी सार्वजनिक व्यक्ति से। वैसे Meta ने Facebook पर से अमेरिकी सार्वजनिक व्यक्ति से संबंधित पोस्ट को हटा दिया, लेकिन बोर्ड द्वारा केस का चयन किए जाने तक उसने भारत वाली पोस्ट को नहीं हटाया था। इस संदर्भ में, व्यक्तियों को, उनकी सहमति के बिना बनाई गई यौन तस्‍वीरों को साझा किए जाने से बचाने के लिए, ऐसी तस्‍वीरों को हटाना आवश्यक है। बोर्ड ने कहा कि डीपफ़ेक अंतरंग तस्वीरों को लेबल करना ही पर्याप्त नहीं है, क्योंकि नुकसान इन तस्वीरों को साझा करने और देखने से होता है, न कि केवल उनकी प्रामाणिकता के बारे में लोगों को गुमराह करने से।

चिंता की बात यह है कि भारतीय सार्वजनिक हस्‍ती की तरह दिखने वाली तस्वीर को Meta द्वारा मीडिया मैचिंग सर्विस बैंक (अधिक विवरण नीचे है) में तब तक नहीं जोड़ा गया, जब तक कि बोर्ड ने इसके बारे में नहीं कहा। Meta ने अपनी प्रतिक्रिया में कहा कि उसने बैंक में अमेरिकी सार्वजनिक व्यक्ति जैसी तस्वीर जोड़ने के लिए मीडिया रिपोर्टों पर भरोसा किया था, लेकिन भारतीय केस में ऐसी कोई मीडिया कवरेज नहीं हुई। यह चिंताजनक है, क्योंकि बिना सहमति वाली डीपफ़ेक अंतरंग तस्वीर के कई पीड़ित, लोगों की नज़रों में नहीं होते, और उन्हें या तो ऐसी गैर-सहमति वाली तस्वीर के प्रसार को स्वीकार करने या हर घटना की तलाश करने और रिपोर्ट करने के लिए मजबूर होना पड़ता है।

वैसे तो मीडिया रिपोर्टिंग इस बात के लिए एक उपयोगी संकेत हो सकती है कि इस प्रकार का कंटेंट सार्वजनिक हस्तियों के लिए गैर-सहमतिपूर्ण है, लेकिन यह निजी व्यक्तियों के लिए उपयोगी नहीं है। इसलिए, सोशल मीडिया कंपनियों को समाचार कवरेज पर अत्यधिक निर्भर नहीं होना चाहिए। प्लेटफ़ॉर्म को अपनी पॉलिसी में इसे लेकर स्पष्ट होना चाहिए कि गैर-सहमति के किन संकेतों के आधार पर इस प्रकार के कंटेंट को हटाया जाएगा तथा यह सुनिश्चित करना चाहिए कि यूज़र्स के लिए इसकी रिपोर्ट करने हेतु सुविधाजनक रास्ते उपलब्ध हों।

The Board’s cases suggest that social media companies should focus their policies on the lack of consent and harms of such content proliferating. With this focus in mind, context indicating the nude or sexualized aspects of a post are AI-generated or otherwise manipulated should be considered as a signal of non-consent. Setting a standard that AI generation or manipulation of intimate images are inherently indicators of non-consent would be major step forward given the rapid increase of deepfakes. 

आखिरकार, सोशल मीडिया प्लेटफ़ॉर्म को इस प्रकार के कंटेंट को शीघ्रतापूर्वक पहचान कर हटाना होगा, साथ ही यूज़र्स के लिए इसकी रिपोर्ट करने की प्रक्रिया को भी आसान बनाना होगा। भारत और अमेरिका, दोनों देशों ने डीपफ़ेक के नियमन के लिए कानून बनाने पर विचार किया है और आगे की योजनाओं की घोषणा की है। हालाँकि, बोर्ड को कई पब्लिक कमेंट प्राप्त हुईं, जिनमें इस पर बल दिया गया कि यह कितना महत्वपूर्ण है कि प्लेटफ़ॉर्म, रक्षा की पहली पंक्ति बनें, क्योंकि कानूनी व्यवस्थाएँ ऐसे कंटेंट के फैलाव को रोकने के लिए पर्याप्त तेज़ी से कदम नहीं उठा सकती हैं।

चुनाव

वैसे तो यह सुझाव दिया गया है कि एआई के अधिक पारंपरिक उपयोग, जैसे कि रैंकिंग एल्गोरिदम, राजनीतिक ध्रुवीकरण में योगदान करते हैं, लेकिन जनरेटिव एआई का उभार, चुनावों के दौरान दुरुपयोग के नए रास्ते खोलता है।

ताइवान में, YouTube पर एक राजनेता द्वारा दूसरे उम्मीदवार को समर्थन देने का डीपफ़ेक ऑडियो सामने आया, जो कि कभी हुआ ही नहीं। यूनाइटेड किंगडम में, फर्जी ऑडियो और वीडियो क्लिपों ने विभिन्न राजनीतिक दायरों के राजनेताओं को निशाना बनाया। भारत में, जहाँ 2024 के चुनाव में आधा अरब से अधिक मतदाताओं ने मतदान किया, लोगों के सामने कथित तौर पर राजनीतिक डीपफ़ेक की बौछार की गई, जिसमें मशहूर हस्तियों और दिवंगत राजनेताओं द्वारा फर्जी समर्थन भी शामिल था।

बोर्ड ने अमेरिकी राष्ट्रपति जो बिडेन के एक छेड़छाड़ किए हुए वीडियो से संबंधित एक केस की जाँच की, जिसमें उनके द्वारा अपनी पोती पर “मैंने मतदान किया” स्टिकर लगाए जाने के फ़ुटेज को इस तरह से संपादित किया गया था कि ऐसा प्रतीत हो कि वे उसे अनुचित तरीके से स्पर्श कर रहे हों। ध्यान देने योग्य बात यह कि बिडेन के केस में वीडियो में एआई द्वारा हेरफेर नहीं की गई थी, बल्कि उस क्षण को लूप करके हेरफेर की गई थी, जब राष्ट्रपति का हाथ, उनकी पोती की छाती को स्पर्श करता है।

That the content was altered by more primitive editing tools underscores how the variety of technologies available – whether generative AI or something else – makes the precise method of manipulation less important than the risk that viewers will be misled. As such, social media companies should orient their content policies to protect against the harms they seek to prevent, rather than focusing on the technology used to produce content.

उस केस में, बोर्ड ने यह भी पाया कि कुछ मामलों में प्लेटफ़ॉर्म, लेबल लगाकर कंटेंट की प्रामाणिकता को लेकर गुमराह होने से यूज़र्स को होने वाले नुकसान को रोक सकते हैं। लेबल, संदर्भ देकर लोगों को सशक्त बनाते हैं और उन्हें अपना निष्कर्ष निकालने की सुविधा देते हैं। कंटेंट को हटाने की तुलना में यह कम हस्तक्षेप वाला दृष्टिकोण है, इसलिए अधिक कंटेंट को बनाए रखा जा सकता है, जिससे सोशल मीडिया कंपनियाँ, यूज़र्स की स्वतंत्र अभिव्यक्ति की रक्षा कर सकती हैं।

बोर्ड के निर्णय के बाद Meta ने, एआई द्वारा हेरफेर की गई तस्वीरों, वीडियो और ऑडियो की एक विस्तृत शृंखला को लेबल करने की योजना की घोषणा की। यह एक स्पष्ट सुझाव है, जिसे अपनाने का विचार अन्य प्लेटफ़ॉर्म कर सकते हैं।

भाषायी असमानता

सोशल मीडिया प्लेटफ़ॉर्म द्वारा एआई की नई पीढ़ी को उपयोग में लाए जाने के साथ, यह आवश्यक है कि कंपनियाँ यह सुनिश्चित करें कि यह तकनीक लोगों की सेवा निष्पक्ष रूप से कर सके। हमने अपने अन्वेषणों में पाया कि कंटेंट मॉडरेशन के संसाधन हमेशा समान रूप से वितरित नहीं होते हैं। उदाहरण के लिए कोविड-19 संबंधी गलत जानकारी पर बोर्ड की पॉलिसी से संबंधित सलाह में, हितधारकों ने इस बात पर प्रकाश डाला कि अंग्रेजी के अलावा अधिकांश भाषाओं में तथ्य-जाँच का कवरेज काफी कम है। पुनः, तालिबान पर समाचार रिपोर्टिंग से संबंधित एक अन्य केस में ब्रेनन सेंटर फ़ॉर जस्टिस ने निम्नलिखित पब्लिक कमेंट में चिंता व्यक्त की: "Meta के ऑटोमेटेड टूल्स बार-बार संदर्भ को ध्यान में रखने में विफल होते हैं, विशेष रूप से अंग्रेजी के अलावा अन्य भाषाओं में"।

भाषायी असमानता, चिंता का एक प्रमुख विषय है, क्योंकि प्लेटफ़ॉर्म, लार्ज लैंग्‍वेज एआई मॉडल को शामिल करने पर विचार कर रहे हैं। कुछ तकनीकी कंपनियाँ कथित तौर पर अपने लार्ज लैंग्‍वेज मॉडल में भाषा-शंशय के दृष्टिकोण की ओर झुक रही हैं, क्योंकि कुछ भाषाओं के लिए प्रशिक्षण पाठ्य सामग्री सीमित है। इन बहुभाषी मॉडलों के डेवलपर्स और समर्थकों के अनुसार, वे कुछ "उच्च-संसाधन" युक्त भाषाओं में अपने प्रदर्शन का लाभ उठाकर, "कम-संसाधन" युक्त भाषा प्रशिक्षण डेटा के सापेक्ष, इस कमी की भरपाई करने में सक्षम हैं।

हालाँकि इन बहुभाषी मॉडलों के आलोचक, उल्लंघनों का पता लगाने और उन्हें लागू करने की सटीकता क्या है, इस संदर्भ में उच्च और निम्न संसाधन युक्त भाषाओं के बीच संभावित असमानताओं का इशारा करते हैं। एआई-संचालित अनुवाद प्रौद्योगिकी में प्रगति होने के बावजूद, यह स्पष्ट नहीं है कि मुख्य रूप से मशीन-अनुवादित अंग्रेजी पर प्रशिक्षित मॉडल, सांस्कृतिक या विनोदी बारीकियों को कितने प्रभावी ढंग से समझ सकता है, उदाहरण के लिए, अम्हारिक, जिसे इथियोपिया में करोड़ों लोगों द्वारा बोला जाता है।

चाहे वे जैसे भी बनाए गए हों, यदि नए एआई मॉडल को अधिक सटीक और पारदर्शी एन्फ़ोर्समेंट के वादे को पूरा करना है, तो उन लाभों को प्लेटफ़ॉर्म के वैश्विक यूज़र्स बेस में उचित रूप से वितरित किया जाना चाहिए। मॉडल के प्रदर्शन का मूल्यांकन, कंपनियों को केवल अंग्रेजी भाषा के तय मानक या समेकित परीक्षणों के परिणामों के आधार पर नहीं करना चाहिए, जिनमें अंग्रेजी का अनुपातहीन प्रतिनिधित्व हो, बल्कि कंपनियों को अपने वैश्विक दर्शकों की जो व्यापकता है, उसे ध्यान में रखना चाहिए।

ऑटोमेशन किस प्रकार प्लेटफ़ॉर्म को नियंत्रित करता है

प्लेटफ़ॉर्म, कंटेंट मॉडरेशन के लिए ऑटोमेशन पर तेज़ गति से निर्भर होते जा रहे हैं। इसका यह मतलब है कि ऑटोमेटेड सिस्टम्‍स, पॉलिसी को लागू करके तथा कंटेंट की पहचान और उसकी अनुशंसा करके यह तय कर रहे हैं कि सोशल मीडिया के यूज़र्स के रूप में व्यक्ति किस चीज़ को देखें और किसे नहीं।

अगर स्पष्ट रूप से कहें, तो ऑटोमेशन पर चर्चा करते समय, इसमें नियम-आधारित टूल्स शामिल होते हैं, जो दोहराए जाने वाले कार्यों पर ही सिमटे रहते हैं, जैसे कि कुछ शब्दों वाले पोस्ट को चिह्नित करना या बार-बार नियमों का उल्लंघन करने वाले यूज़र्स को ब्लॉक करना। तुलनात्मक रूप से एआई कंटेंट मॉडरेशन टूल्‍स कहीं अधिक अनुकूलन योग्य हैं। वे मशीनी शिक्षण का उपयोग करते हैं और पैटर्न के विश्लेषण के आधार पर निर्णय लेने का प्रयास कर सकते हैं।

ऑटोमेशन का लाभ यह है कि यह मापने योग्य है, लेकिन चिंता की बात यह है (कम से कम फ़‍िलहाल) कि क्या ये टूल्स सटीकता के साथ मापने की क्षमता को संतुलित कर सकते हैं और प्रणालीगत पूर्वाग्रहों को रोक सकते हैं। यह संतुलन, चिंता का एक प्रमुख विषय है, जिसे नागरिक समाज संगठनों और व्यक्तियों द्वारा अक्सर बोर्ड के समक्ष रखा जाता है।

संदर्भ की चूक: मशीन कैसे अति- और
अल्प-एन्फ़ोर्समेंट की स्थिति उत्पन्न करती है

अति-एन्फ़ोर्समेंट:

नियमित ऑडिट और पुनर्प्रशिक्षण के बिना, मशीन क्लासिफ़ायर अक्सर एक कुंद एन्फ़ोर्समेंट टूल हो सकता है। अपने शुरुआती केसेज़ में, बोर्ड ने स्तन कैंसर के लक्षणों के बारे में जागरूकता बढ़ाने के लिए Instagram पर पोस्ट की गई एक तस्वीर पर गौर किया था। यह तस्वीर गुलाबी रंग में थी, जो कि स्तन कैंसर के प्रति जागरूकता बढ़ाने के लिए ब्राज़ील के लोकप्रिय अंतरराष्ट्रीय अभियान "पिंक अक्टूबर" की तर्ज़ पर थी। एक ही तस्वीर में, स्तन कैंसर के लक्षणों को दर्शाती आठ तस्वीरें थीं, साथ ही उनके साथ “रिपल्स”, “क्लस्टर” और “घाव” जैसे विवरण भी थे। इनमें से पाँच तस्वीरों में महिलाओं के दिखाई देने वाले और बिना ढँके निप्‍पल्स शामिल थे। शेष तीन तस्वीरों में महिलाओं के स्तन शामिल थे, जिनके निप्पल या तो तस्‍वीर से बाहर थे या हाथ से ढँके हुए थे।

यह पोस्ट हानिरहित और सूचनाप्रद प्रकृति की है, इसे दर्शाने वाले अनेक संकेतों के बावजूद, इसकी पहचान प्रशिक्षित मशीन लर्निंग क्लासिफ़ायर द्वारा तस्वीरों में नग्नता के रूप में की गई और पोस्ट को हटा दिया गया। Meta के कम्युनिटी स्टैंडर्ड सामान्यतः खुले महिला निप्पलों पर प्रतिबंध लगाते हैं, लेकिन स्तन कैंसर जागरूकता सहित "शैक्षणिक या चिकित्सा के उद्देश्यों" के मामले में छूट दी गई है। दुर्भाग्यवश, Meta के ऑटोमेटेड सिस्टम्‍स महत्वपूर्ण संदर्भ को पहचानने में विफल रहे, जिसमें पुर्तगाली भाषा में तस्वीर के शीर्ष पर दिखाई देने वाले शब्द “स्तन कैंसर” की पहचान में हुई विफलता भी शामिल थी।

बोर्ड ने Meta को सुझाव दिया कि वह टेक्स्ट-ओवरले वाली तस्वीरों की ऑटोमेटेड पहचान में सुधार करे, ताकि यह सुनिश्चित हो सके कि स्तन कैंसर के लक्षणों के बारे में जागरूकता बढ़ाने वाली पोस्टों को रिव्यू के लिए गलत तरीके से चिह्नित न किया जाए। प्रतिक्रिया में, Meta ने स्तन कैंसर से संबंधित प्रासंगिक संकेतों की पहचान करने के लिए Instagram की तकनीकों को उन्नत किया, जिसमें टेक्स्ट के माध्यम से संकेतों की पहचान का कार्य भी शामिल है। कंपनी ने जुलाई 2021 में ये परिवर्तन लागू किए थे, और तब से ये सुधार लागू हैं। इन सुधारों के प्रभाव पर संक्षिप्त विवरण देने के लिए, 26 फरवरी से 27 मार्च 2023 के बीच 30 दिनों में इन सुधारों के कारण ऐसे 2,500 अतिरिक्त कंटेंट के पीसेस को मानवीय रिव्यू के लिए भेजा गया, जिन्हें पहले ही हटा दिया गया था।

सोशल मीडिया पर कंटेंट के प्रसार की मात्रा, पैमाने और रफ़्तार को देखते हुए, बोर्ड यह स्वीकार करता है कि संभावित उल्लंघनकारी कंटेंट का पता लगाने के लिए ऑटोमेशन आवश्यक है। हालाँकि, जब संदर्भ को समझने में सीमित क्षमता वाली प्रौद्योगिकियों का उपयोग किया जाता है, तो केवल ऑटोमेशन पर निर्भर एन्फ़ोर्समेंट, अति-एन्फ़ोर्समेंट को जन्म दे सकता है, जो अभिव्यक्ति की स्वतंत्रता में अतार्किक रूप से हस्तक्षेप करता है।

अगर स्पष्ट कहें, तो ऑटोमेशन, कंटेंट मॉडरेशन के एक बड़े हिस्से के लिए काम में लाया जाता है, लेकिन अक्सर विशिष्ट, गंभीर रूप से महत्वपूर्ण स्थितियों में यह विफल हो जाता है, जैसे कि पहले उदाहरण में इसकी व्याख्या की गई है। ऑटोमेशन, संदर्भ को बेहतर ढंग से समझ सकता है, लेकिन स्तन कैंसर के मामले की ही तरह इन टूल्स को बेहतर बनाने के लिए निगरानी और संसाधनों की आवश्यकता होती है। एआई और ऑटोमेशन की नई पीढ़ियों के साथ, प्लेटफ़ॉर्मों को कंटेंट के महत्वपूर्ण विषयों (उदाहरण के लिए, स्वास्थ्य शिक्षा) के मद्देनजर एन्फ़ोर्समेंट की गुणवत्ता को परिष्कृत करने के लिए प्रतिबद्ध होना चाहिए और वहाँ, जहाँ एन्फ़ोर्समेंट एरर की उच्च दर है।

• दंड: बोर्ड, ऑटोमेशन द्वारा अति-एन्‍फ़ोर्समेंट से जुड़े दंड को लेकर भी चिंतित है। ऑटोमेशन के द्वारा पोस्ट को गलत रूप से हटाया जा सकता है, संबंधित खातों को प्रतिबंधित किया जा सकता है या उनके कंटेंट को डिमोट किया जा सकता है। किसी खाते के उल्लंघन इतिहास से यह निर्धारित किया जा सकता है कि पोस्ट करने पर प्रतिबंध सहित अधिक गंभीर दंड लगाया जाएगा या नहीं। चूँकि ऑटोमेशन बहुत तेज़ गति से काम करता है, इसलिए उल्लंघनों की संख्‍या बढ़ सकती है और खाते अक्षम हो सकते हैं। Meta को अपने स्ट्राइक सिस्टम में सुधार करने के लिए प्रेरित करने में बोर्ड को सफलता मिली है, जिसमें नई अधिसूचनाओं के माध्यम से यह स्पष्ट किया जाना कि कंटेंट को क्यों हटाया गया और सिस्टम और उसके दंड के बारे में अधिक पारदर्शिता प्रदान करना शामिल है। वैसे, अत्यधिक गंभीर उल्लंघनों के मामले में, जो कि पत्रकार और एक्टिविस्ट को गंभीर रूप से प्रभावित कर सकते हैं, सुधार की और गुंजाइश है। यही कारण है कि बोर्ड ने "गंभीर स्ट्राइक" को लेकर अधिक पारदर्शिता के लिए कहा है और बोर्ड यह काम जारी रखेगा।

अल्प-एन्फ़ोर्समेंट:

कोडित भाषा कोई नई बात नहीं है या असामान्य नहीं है। इंटरनेट पर, "अनलाइव” जैसे उक्ति का मतलब मौत हो सकता है, एंटी-वैक्सीन Facebook समूहों को “डिनर पार्टी” कहा जाता है और सेक्स वर्कर्स को “अकाउंटेंट” कहा जाता है। यूज़र्स अक्सर जान-बूझकर शब्दों की गलत वर्तनी (c0vid) लिखते हैं या फिलिस्तीन का संदर्भ देते समय इमोजी का उपयोग करते हैं, जैसे कि तरबूज के स्लाइस, ताकि एल्गोरिदमिक पहचान और एन्फ़ोर्समेंट से बचा जा सके।

लेकिन, जब नफ़रत फैलाने वाली भाषा को ऑटोमेटेड सिस्टम्‍स से बचने के लिए कोडित किया जाता है, तो यह असुरक्षित ऑनलाइन वातावरण को और खराब कर सकता है।

वाशिंगटन डी.सी. स्थित थिंक टैंक विल्सन सेंटर ने कोडित, नफ़रत फैलाने वाली भाषा को "घातक रचनात्मकता" बताया है और कहा है कि यह ऑनलाइन लिंग-आधारित हमलों का पता लगाने और उन्हें लागू करने में सबसे बड़ी बाधा है। यह व्यंग्य या संदर्भ-आधारित दृश्यों के तौर पर आ सकती है, जिसे समझने के लिए परिस्थितिजन्य ज्ञान की आवश्यकता होती है, और ऑटोमेटेड टूल आमतौर पर उन्हें पहचानने के लिए तैयार किए हुए नहीं होते हैं।

बोर्ड की, पोलिश भाषा में ट्रांस लोगों को लक्षित करने वाली पोस्ट के केस में, ओवरसाइट बोर्ड ने Facebook पोस्ट को बनाए रखने के Meta के मूल निर्णय को बदल दिया, जिसमें एक यूज़र ने आत्महत्या की वकालत करते हुए हिंसक भाषण के साथ ट्रांसजेंडर लोगों पर निशाना साधा था। इस पोस्ट में ट्रांसजेंडर फ्लैग के नीले, गुलाबी और सफेद रंग के धारीदार पर्दे की तस्वीर थी, जिस पर पोलिश भाषा में टेक्स्ट लिखा हुआ था। Meta के ऑटोमेटेड सिस्टम्‍स, महत्वपूर्ण संदर्भ संकेतों को नोटिस करने में विफल रहे, जिसमें आत्महत्या का संदर्भ ("पर्दे, जो खुद को लटकाते हैं"), ट्रांस लोगों की मृत्यु के लिए समर्थन ("स्प्रिंग क्लीनिंग") और यहाँ तक कि यूज़र के निजी विवरण में स्वयं यह स्वीकार करना कि वे ट्रांसफ़ोबिक है, शामिल थे।

इस केस में जो मूल मसला था, वह Meta की पॉलिसी नहीं थी, बल्कि इसका एन्फ़ोर्समेंट था। ऑटोमेटेड सिस्टम्‍स को, जो कि कंटेंट पॉलिसी को लागू करते हैं तथा रिव्यू के लिए कंटेंट को प्राथमिकता देते हैं, इस केस में प्रस्तुत कोडित भाषा और संदर्भ-आधारित तस्वीरों को पहचानने में सक्षम होने के लिए प्रशिक्षण की आवश्यकता है। यह बहुत ही महत्वपूर्ण है कि प्लेटफ़ॉर्म इन सिस्टम्‍स की सटीकता का ऑडिट करें, खासकर कोडित संदर्भों में।

संघर्ष के दौरान कंटेंट मॉडरेशन

ऑटोमेशन पर निर्भरता तब विशेष रूप से चुनौतीपूर्ण हो सकती है, जब आपातकालीन स्थितियों के कारण इन सिस्टम्‍स पर बहुत अधिक दबाव रहता है। अक्सर संघर्ष या संकट का सामना कर रहे क्षेत्रों से कंटेंट की बाढ़ आ जाती है। इससे उल्लंघनों की पहचान करने के लिए एआई और ऑटोमेशन का उपयोग करने वाले कंटेंट मॉडरेशन सिस्टम्‍स पर दबाव पड़ता है, जिससे एन्फ़ोर्समेंट त्रुटि की दर में वृद्धि का खतरा रहता है।

सिस्टम्‍स (क्लासिफ़ायर्स), कंटेंट पर क्या कार्रवाई की जाए, इस बात का निर्धारण करते समय विभिन्न प्रकार के फ़ीचर का उपयोग करते हैं, जिनमें उल्लंघन की संभावना, संभावित उल्लंघन की गंभीरता और कंटेंट के वायरल होने की संभावना की स्कोरिंग शामिल है। 2023 में इज़राइल-गाज़ा संघर्ष के बारे में बोर्ड के पहले त्वरित निर्णयों में, बोर्ड ने अपने प्लेटफ़ॉर्म से दो पोस्ट हटाने के Meta के मूल निर्णय को बदल दिया।

संघर्ष के प्रति अपनी प्रारंभिक प्रतिक्रिया के एक हिस्से के तौर पर, Meta ने अपने क्‍लासीफ़ायर्स के लिए विश्वास सीमा को अस्थायी रूप से कम कर दिया, जो इसकी हिंसक और ग्राफ़‍िक कंटेंट, नफ़रत फैलाने वाली भाषा, हिंसा और उकसावे, तथा डराना-धमकाना और उत्पीड़न संबंधी पॉलिसी का उल्लंघन करने वाले कंटेंट की पहचान करते हैं और उसे हटाते हैं। ये अस्थायी उपाय, इज़राइल और गाज़ा से सभी भाषाओं में पोस्ट किए जाने वाले कंटेंट पर लागू होंगे।

इसका अर्थ यह था कि Meta ने अपने ऑटोमेटेड टूल्स के उपयोग से, ऐसे कंटेंट को आक्रामक तरीके से हटा दिया, जिसमें उसकी पॉलिसी का थोड़ा भी उल्लंघन करने की संभावना थी। हालाँकि इस कार्रवाई से इस बात की संभावना कम हो गई कि Meta उल्लंघनकारी कंटेंट को हटाने में विफल रहेगा, जो अन्यथा पता लगने से बच सकते थे, लेकिन इससे संघर्ष से संबंधित गैर-उल्लंघनकारी कंटेंट को भी बड़े पैमाने पर हटाने का मार्ग प्रशस्त हुआ।

अल-शिफ़ा अस्पताल केस, जिसमें गाज़ा में इज़राइली सैन्य अभियानों के दौरान हमले के वीडियो फ़ुटेज पर ध्यान केंद्रित किया गया था, ने दिखाया कि कैसे संकट के समय की प्रतिक्रिया के दौरान मानवीय निगरानी की कमी से, भाषण को गलत तरीके से हटाया जा सकता है, जो महत्वपूर्ण सार्वजनिक हित से संबंधित हो सकता है। इस कंटेंट को हटाने और यूज़र्स की अपील को अस्वीकार करने का प्रारंभिक निर्णय, बिना किसी मानवीय रिव्यू के, क्लासिफ़ायर स्कोर के आधार पर ऑटोमेटेड रूप से लिया गया था।

एक अन्य त्वरित केस में, जिसमें 7 अक्टूबर को हमास द्वारा किए गए आतंकवादी हमले के दौरान इज़राइल से बंधकों के अपहरण को दिखाने वाला एक वीडियो शामिल था, कंटेंट को डिमोट करने के संबंध में चिंताएँ रेखांकित हुईं। बोर्ड द्वारा इस केस की पहचान करने के बाद, Meta ने पोस्ट को हटाने के अपने मूल निर्णय को पलटा और इसे "विचलित करने वाले कंटेंट के रूप में चिह्नित" चेतावनी स्क्रीन के साथ रिस्टोर कर दिया। इससे कंटेंट की दृश्यता 18 वर्ष से अधिक आयु के लोगों तक सीमित हो गई तथा इसे अन्य Facebook यूज़र्स के लिए सुझाव से हटा दिया गया।

सुझाव सिस्टम्‍स से कंटेंट को हटाने का अर्थ कंटेंट की पहुँच कम करना था, जो कि यह अन्यथा प्राप्त करता। इस प्रकार की पोस्ट, जो सार्वजनिक हित में हो तथा जिनका उद्देश्य मानवाधिकारों के हनन की ओर ध्यान आकर्षित करना हो, को डिमोट करना या उन पर अन्य प्रकार की 'नरम कार्रवाइयाँ' करना, अभिव्यक्ति की स्वतंत्रता पर आवश्यक या सापेक्ष प्रतिबंध नहीं हो सकता है। इससे कुछ पोस्ट को डिमोट करने के निर्णयों की अस्पष्टता पर भी प्रश्न उठता है, जो बिना किसी स्पष्टीकरण के तथा अपारदर्शी तरीके से लिए गए।

ये केसेज़ इस बात को रेखांकित करते हैं कि विवादों के दौरान प्लेटफ़ॉर्म को कंटेंट मॉडरेशन के लिए सुसंगत और पारदर्शी दृष्टिकोण अपनाने की आवश्यकता है। सोशल मीडिया कम्पनियाँ, संकट के समय नियमों में अप्रत्याशित बदलाव नहीं कर सकतीं। निर्णय लेने में पारदर्शिता की कमी का लोगों पर नकारात्मक प्रभाव पड़ सकता है, क्योंकि उन्हें डर रहता है कि यदि वे कोई गलती करेंगे तो उनके कंटेंट को हटा दिया जाएगा और खाते को दंडित किया जाएगा।

ऑटोमैटिक कंटेंट एन्फ़ोर्समेंट सिस्टम्‍स

Meta के मीडिया मैचिंग सर्विस बैंक्‍स, जो एक प्रकार के ऑटोमैटिक कंटेंट एन्फ़ोर्समेंट सिस्टम हैं, मूलतः उस कंटेंट के भंडार हैं, जिस पर Meta ने पहले ही मॉडरेशन का निर्णय ले रखा है। कंटेंट की ये लाइब्रेरीज़ - "बैंक्‍स" - ऑटोमैटिक रूप से उन तस्वीरों और वीडियो की पहचान करती हैं, जिन्हें मानव रिव्यूअर्स द्वारा पहले से ही कंटेंट पॉलिसी का उल्लंघन करने वाले या उल्लंघन न करने वाले के रूप में चिह्नित किया गया है, और उस बैंक के नियमों के आधार पर बाद के कंटेंट पर कार्रवाई करती हैं।

बोर्ड के कोलंबियाई पुलिस कार्टून केस में, बोर्ड ने कोलंबिया में पुलिस हिंसा को दर्शाने वाले एक कार्टून के Facebook पोस्ट को हटाने के Meta के मूल निर्णय को बदल दिया। इस कार्टून को एक मानव रिव्यूअर द्वारा Meta के मीडिया मैचिंग सर्विस बैंक में गलत तरीके से जोड़ दिया गया था, जिसके कारण प्लेटफ़ॉर्म से तस्वीर को बड़े पैमाने पर और असंगत रूप से हटा दिया गया। बोर्ड ने पाया कि 215 यूज़र्स ने पोस्ट हटाने की इस कार्रवाई के विरुद्ध अपील की, जिनमें से 98% सफल रहे। इतनी अधिक संख्या में बदलने की घटना के बाद रिव्यू की जानी चाहिए थी, लेकिन Meta ने इस बैंक से कार्टून को तब तक नहीं हटाया, जब तक कि केस, बोर्ड के समक्ष नहीं आया।

यह केस इस बात को दर्शाता है कि कैसे कंटेंट को हटाने वाले ऑटोमैटिक सिस्टम्‍स, व्यक्ति विशेष मानव रिव्यूअर्स द्वारा लिए गए गलत निर्णयों के प्रभाव में इजाफ़ा कर सकते हैं। ऐसे सिस्टम्‍स में गलत जोड़-तोड़ की संभावना खासकर तब अधिक होती है, जैसे कि इस केस में, जब कंटेंट में राजनीतिक भाषण शामिल हो, जिसका उद्देश्य सरकारी अधिकारियों के विरुद्ध विरोध प्रदर्शन करना हो।

निष्कर्ष

सोशल मीडिया कंपनियाँ, एआई और ऑटोमेटेड सिस्टम्‍स पर बहुत अधिक निर्भर हैं। हाल के वर्षों की जो प्रासंगिक रिपोर्टें हैं, वे डिजिटल प्लेटफ़ॉर्म से ऑटोमैटिक रूप से पता लगाई गई और हटाई गई सामग्री की मात्रा में भारी वृद्धि के ट्रेंड को दर्शाती हैं। अब तक की स्थित यह है कि सर्वाधिक सामान्य टूल्स कभी-कभी संदर्भ को ध्यान में रखने में विफल हो जाते हैं और हमेशा इस बात का विस्तृत कारण नहीं बताते कि कंटेंट क्यों हटाया गया।

नए जनरेटिव एआई मॉडल विशिष्ट पॉलिसी लाइन के उल्लंघन को ऑटोमैटिक रूप से पहचानने की क्षमता में बड़े संभावित सुधार प्रस्तुत करते हैं। ऐसा संभव है कि नए जनरेटिव एआई टूल्स, कंटेंट के अर्थ को बेहतर रूप से समझने और यूज़र्स को एन्फ़ोर्समेंट एक्शन के विषय में समझाने में सक्षम होंगे। लेकिन, इन सिस्टम्‍स में पूर्वाग्रहों और त्रुटियों को समझने तथा पर्याप्त निरीक्षण प्रक्रियाएँ विकसित करने के लिए अभी बहुत काम करना शेष है।

वैसे तो सोशल मीडिया कंपनियों ने जनरेटिव एआई से जुड़ी एआई की नैतिकता संबंधी चिंताओं और चुनौतियों के प्रति अपनी जवाबदेही का संकेत दिया है, फिर भी कंपनियों को स्पष्ट रूप से बताना होगा कि वे नई एआई प्रौद्योगिकियों के विकास और उनके प्रति अपनी प्रतिक्रियाओं को मानव अधिकारों का सम्मान करने की अपनी जिम्मेदारियों के साथ किस प्रकार अलाइन करना चाहती हैं। महत्वपूर्ण बात यह है कि तीसरे पक्ष की कठोर जवाबदेही आवश्यक बनी हुई है, जिसमें प्रमुख मुद्दे शामिल हैं, जैसे कि स्‍वतंत्र अभिव्यक्ति के लिए प्रणालीगत जोखिमों का समाधान करना, डेटा के एक्सेस को सक्षम करना, ताकि यह मूल्यांकन किया जा सके कि कंटेंट मॉडरेशन सिस्टम्‍स सामान्य रूप से कितना सटीक काम कर रहे हैं (विशिष्ट कंटेंट केसेज़ से परे), और कंटेंट डिमोशन या "शैडो प्रतिबंध" जैसे दंडों के बारे में कितनी पारदर्शिता रखते हैं।

आभार

यह दस्‍तावेज़ ओवरसाइट बोर्ड मेंबर्स के एक कार्य समूह द्वारा लिखा गया था।

विचार नेतृत्व को लौटें