महिला सार्वजनिक हस्तियों की AI से बनीं अश्लील तस्वीरें

सारांश

अश्लील AI फ़ोटो के ऐसे दो केस में, जिनमें फ़ोटो भारत और अमेरिका की महिला सार्वजनिक हस्ती से मिलते-जुलते हैं, ओवरसाइट बोर्ड ने यह माना कि दोनों ही पोस्ट को Meta के प्लेटफ़ॉर्म से निकाला जाना चाहिए था. डीपफ़ेक अंतरंग तस्वीरें सबसे ज़्यादा महिलाओं और लड़कियों को प्रभावित करती हैं – इनसे उन्हें मानसिक और शारीरिक रूप से होने वाले नुकसान से बचाने के अधिकार और उनकी प्राइवेसी से जुड़े अधिकार का हनन होता है. इन कंटेंट पर लगाए गए प्रतिबंध कानूनी रूप से सही हैं, ताकि लोगों की सहमति के बिना उनकी अश्लील फ़ोटो बनाकर वायरल करने पर रोक लगाई जा सके. पीड़ितों को पहुँचने वाले नुकसान की गंभीरता को देखते हुए, ऐसे कंटेंट को प्लेटफ़ॉर्म से हटाना ही पीड़ितों को बचाने का एकमात्र कारगर उपाय है. इस मामले में छेड़छाड़ करके बनाए गए कंटेंट पर बस लेबल लगा देने भर से कुछ नहीं होगा, क्योंकि यह नुकसान फ़ोटो को शेयर करने और देखने से हो रहा है, न कि सिर्फ़ इसलिए कि लोगों को इस बारे में गुमराह किया जा रहा था कि यह कंटेंट असली है या नकली. बोर्ड ने सुझाव देते हुए कहा कि Meta इस तरह के कंटेंट से जुड़े नियमों को समझने में और आसान बनाने के साथ-साथ यूज़र्स के लिए बिना सहमति के बनाई गई अश्लील फ़ोटो की रिपोर्ट करना भी आसान बनाए.

केस की जानकारी

इन दो केस में AI-जेनरेटेड नग्न महिलाओं की फ़ोटो शामिल हैं, जिसमें से एक भारतीय सार्वजनिक हस्ती है और दूसरी अमेरिकी सार्वजनिक हस्ती है. पहला केस एक Instagram अकाउंट से जुड़ा हुआ है, जिससे सिर्फ़ AI-जेनरेटेड या छेड़छाड़ करके बनाई गई महिलाओं की फ़ोटो शेयर की जाती हैं, उस अकाउंट से एक महिला की नग्न फ़ोटो शेयर की गई, जिसमें शरीर का पिछला हिस्सा और उस महिला का चेहरा दिखाई दे रहा है. इस फ़ोटो को कई और फ़ोटो के साथ शेयर किया गया था. फ़ोटो के इसी सेट में उस महिला की स्विमिंग कॉस्ट्यूम वाली ऐसी ही फ़ोटो भी थी. पूरी आशंका है कि यही वह सोर्स मटेरियल हो, जिसमें AI के ज़रिए छेड़छाड़ करके वह अश्लील फ़ोटो बनाई गई. दूसरा केस भी AI-जेनरेटेड अश्लील फ़ोटो का है, जो एक महिला सार्वजनिक हस्ती से मिलती-जुलती है. ये फ़ोटो अमेरिकी महिला की है. इस फ़ोटो को ऐसे Facebook ग्रुप में पोस्ट किया गया था, जिसमें AI से बना कंटेंट होता है, इस फ़ोटो में दिखाई दे रही नग्न महिला को ज़बर्दस्ती छुआ जा रहा है. जिस मशहूर हस्ती से इस महिला का चेहरा मिलता-जुलता है, उसका नाम कैप्शन में दिया गया है.

पहले केस में (भारतीय सार्वजनिक हस्ती), एक यूज़र ने Meta को पोर्नोग्राफ़ी के मामले में कंटेंट की रिपोर्ट की, लेकिन रिपोर्ट का रिव्यू 48 घंटे में नहीं होने की वजह से उसे ऑटोमेटिक ही क्लोज़ कर दिया गया. फिर उसी यूज़र ने Meta से अपील की, लेकिन वह अपील भी ऑटोमेटिक तरीके से क्लोज़ हो गई. आखिर में उस यूज़र ने बोर्ड से अपील की. बोर्ड ने जब इस केस को चुना, तब Meta को लगा कि उस कंटेंट को Instagram से नहीं हटाने का उसका मूल फ़ैसला गलत था और कंपनी ने उस पोस्ट को धमकाने और उत्पीड़न करने से जुड़े कम्युनिटी स्टैंडर्ड का उल्लंघन करने के लिए हटा दिया. बाद में, जब बोर्ड ने इस अपील पर विचार-विमर्श करना शुरू किया, तो Meta ने उस कंटेंट को पोस्ट करने वाले अकाउंट को बंद कर दिया और उस अश्लील फ़ोटो को मीडिया मैचिंग सर्विस (MMS) बैंक में जोड़ दिया.

दूसरे केस (अमेरिकी सार्वजनिक हस्ती) से जुड़ी अश्लील फ़ोटो, धमकाने और उत्पीड़न करने के खिलाफ़ बनाई गई Meta की पॉलिसी का उल्लंघन करने की वजह से पहले ही MMS बैंक में थी, इसलिए वह ऑटोमेटिक तरीके से ही हट गई थी. ये बैंक ऑटोमेटिक तरीके से ऐसी फ़ोटो ढूँढकर हटा देते हैं, जिन्हें पहले ही कोई ह्यूमन रिव्यूअर Meta के नियमों का उल्लंघन करने वाली मान चुका है. AI-जेनरेटेड उस फ़ोटो को पोस्ट करने वाल यूज़र ने भी अपील की, लेकिन उसे ऑटोमेटिक तरीके से क्लोज़ कर दिया गया. उस यूज़र ने फिर अपनी पोस्ट रीस्टोर करवाने के लिए बोर्ड से अपील की.

डीपफ़ेक अंतरंग फ़ोटो में सिंथेटिक मीडिया होता है, जिसे डिजिटल रूप से बदलकर वास्तविक लोगों को अश्लील स्थिति में दिखाया जाता है. ऐसा कंटेंट बनाना अब आसान होता जा रहा है क्योंकि अब इसमें वास्तविक लगने वाले फ़ोटो जेनरेट करने के लिए सोर्स के तौर पर बहुत ही कम असली फ़ोटो की ज़रूरत पड़ती है. एक रिपोर्ट में बताया गया कि 2019 से लेकर अब तक ऑनलाइन डीपफ़ेक वीडियो में 550% की बढ़ोतरी हो चुकी है. इनमें से अधिकतर में वास्तविक लोगों को अश्लील स्थिति में दिखाया गया है और ज़्यादातर महिलाओं को टार्गेट किया गया है.

मुख्य निष्कर्ष

बोर्ड ने यह माना कि दोनों फ़ोटो में धमकाने और उत्पीड़न करने से जुड़ी पॉलिसी के तहत “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” पर रोक लगाने वाले Meta के नियम का उल्लंघन किया गया है. यह स्पष्ट है कि फ़ोटो को एडिट किया गया है जिससे कि वास्तविक सार्वजनिक हस्ती के चेहरे किसी दूसरे (वास्तविक या काल्पनिक) नग्न शरीर के साथ दिखाए जा सकें. इसी के साथ संदर्भ से जुड़े संकेत, हैशटैग और फ़ोटो को पोस्ट करने की जगह, इन सब से भी पता चलता है कि फ़ोटो AI-जेनरेटेड हैं. दूसरे केस में (अमेरिकी सार्वजनिक हस्ती) वयस्क नग्नता और अश्लील गितिविधि से जुड़ी पॉलिसी का भी उल्लंघन किया गया है, क्योंकि अश्लील फ़ोटो में किसी व्यक्ति महिला के स्तन दबाते हुए दिखाया है. दोनों पोस्ट को हटाना, मानवाधिकारों से जुड़ी Meta की ज़िम्मेदारियों के अनुरूप है.

बोर्ड का मानना है कि Meta के प्लेटफ़ॉर्म का उपयोग करने वाले लोगों को इस प्लेटफ़ॉर्म से जुड़े नियम समझ में आने चाहिए. इन दोनों ही केस में पोस्ट करने वाले यूज़र्स को “फ़ोटोशॉप से बनाए गए अपमानजनक अश्लील कंटेंट” का मतलब पूरी तरह से समझ में आ जाना चाहिए था, लेकिन ऐसा नहीं हो पाया, क्योंकि इसका मतलब आम यूज़र्स को ही पूरी तरह से समझ नहीं आता है. जब बोर्ड ने Meta से इस पूरे वाक्यांश का मतलब पूछा, तो कंपनी का कहना था कि इसका मतलब है: “छेड़छाड़ करके बनाई गई फ़ोटो, जिन्हें इस तरह से अश्लील बनाया गया है, जो उस फ़ोटो से टार्गेट किए गए व्यक्ति को भद्दा लग सकता है और इसलिए इसे अपमानजनक माना जाए.” बोर्ड ने माना कि “बिना सहमति” जैसे किसी दूसरे शब्द का उपयोग करके फ़ोटो में किए जाने वाले अनचाहे अश्लील बदलावों के बारे में बेहतर तरीके से बताया जा सकता है. साथ ही, बोर्ड ने पाया कि “फ़ोटोशॉप” शब्द बहुत ही पुराना है और आज यूज़र्स के लिए मार्केट में उपलब्ध मीडिया कंटेंट में हेरफेर करने की कई तकनीकों (खास तौर से जेनरेटिव AI) को अपने दायरे में लेने के लिए काफ़ी नहीं है. यह ज़रूरी है कि Meta इस नियम में यह साफ़ तौर से बताए कि इस कंटेंट पर लागू प्रतिबंध के दायरे में इस तरह की कई एडिटिंग तकनीकें आ जाती हैं.

बिना-सहमति बनाई गई अश्लील फ़ोटो पर प्रतिबंध लगाने वाले नियम समझने में और आसान हों, यह सुनिश्चित करने के लिए बोर्ड यह मानता है कि इन्हें धमकाने और उत्पीड़न करने से जुड़ी पॉलिसी के बजाय वयस्कों के यौन शोषण से जुड़े कम्युनिटी स्टैंडर्ड में शामिल किया जाना चाहिए. दोनों ही केस में, यूज़र शायद ही इन फ़ोटो को धमकाने और उत्पीड़न करने से जुड़ी पॉलिसी का मसला मानते. बाहरी रिसर्च से यह पता चलता है कि यूज़र्स उत्पीड़न या ट्रोल करने के अलावा और भी कई कारणों से इस तरह के कंटेंट पोस्ट करते हैं. इन कारणों में ऑडियंस बढ़ाना, पेज मॉनेटाइज़ करना या यूज़र्स को पोर्नोग्राफ़ी जैसी दूसरी साइट पर भेजना भी शामिल है. इसलिए इन फ़ोटो को लेकर Meta के नियम तब स्पष्ट होते जब वे सहमति नहीं लेने और ऐसे कंटेंट के वितरण से होने वाले नुकसान पर केंद्रित होने चाहिए थे, न कि धमकाने और उत्पीड़न करने से जुड़ी पॉलिसी के एन्फ़ोर्समेंट के तहत आने चाहिए थे, जिसे पीड़ित पर सीधे तौर पर किए जाने वाले हमले के असर को देखते हुए लागू किया जाता है. वयस्क यौन शोषण से जुड़ी पॉलिसी में इन नियमों को शामिल करना ज़्यादा तर्कसंगत होगा. इस पॉलिसी के तहत बिना सहमति वाली अंतरंग फ़ोटो पहले से ही प्रतिबंधित हैं और इन केस में भी इसी तरह के मसले हैं, क्योंकि दोनों ही केस फ़ोटो के ज़रिए यौन उत्पीड़न किए जाने के उदाहरण हैं. इसके बाद Meta इस पॉलिसी का नाम बदलकर “बिना सहमति वाला अश्लील कंटेंट” करने पर विचार कर सकता है.

बोर्ड ने यह भी देखा कि Meta ने भारतीय सार्वजनिक हस्ती जैसी दिखने वाली फ़ोटो को MMS बैंक में तब तक नहीं जोड़ा था, जब तक बोर्ड ने इस बारे में सवाल नहीं उठाया. Meta ने जवाब में कहा कि उसने मीडिया रिपोर्ट सामने आने के बाद अमेरिकी सार्वजनिक हस्ती के जैसी दिखने वाली महिला की फ़ोटो बैंक में जोड़ी थी, लेकिन पहले वाले केस में उन्हें मीडिया रिपोर्ट जैसा कोई संकेत देखने को नहीं मिला था. यह चिंताजनक बात है क्योंकि डीपफ़ेक से पीड़ित कई लोग सार्वजनिक हस्ती नहीं हैं और इसलिए या तो उन्हें बिना सहमति के बनाई गई उनकी फ़ोटो का वितरण होने पर, स्थिति से समझौता करना पड़ता है या फ़ोटो को हर बार शेयर किए जाने पर उसे सर्च करके उसकी रिपोर्ट करनी पड़ती है. वयस्क यौन शोषण से जुड़ी पॉलिसी के तहत सहमति नहीं होने के मुद्दे के लिए एक मौजूदा संकेत है, बिना सहमति वाली अंतरंग फ़ोटो के वितरण की मीडिया रिपोर्ट. यह तब उपयोगी हो सकता है जब पोस्ट में कोई सार्वजनिक हस्ती हो लेकिन किसी आम व्यक्ति के लिए यह मददगार नहीं है. इसलिए, Meta को इन सिग्नल पर ज़्यादा निर्भर नहीं रहना चाहिए. बोर्ड ने सुझाव दिया कि ऐसा संदर्भ, जिसमें यह संकेत मिलते हों कि कंटेंट के नग्न या अश्लील हिस्से AI-जेनरेटेड, फ़ोटोशॉप किए गए या किसी और तरीके से छेड़छाड़ करके बनाए गए हैं, तो इन्हें सहमति नहीं होने का संकेत माना जाना चाहिए.

अंत में, बोर्ड ने फ़ोटो के ज़रिए यौन उत्पीड़न किए जाने के खिलाफ़ होने वाली अपीलों के ऑटोमेटिक रूप से क्लोज़ हो जाने को लेकर चिंता जताई. नुकसान की स्थिति देखते हुए, रिव्यू के लिए 48 घंटे लगना भी हानिकारक है. बोर्ड के पास अब तक Meta द्वारा ऑटोमेटिक रूप से बंद किए जाने के उपयोग के बारे में पर्याप्त जानकारी नहीं है, लेकिन बोर्ड मानता है कि इस समस्या की वजह से काफ़ी हद तक मानवाधिकार प्रभावित हो सकते हैं. इसलिए इसके लिए जोखिम का आकलन करना और उसे कम ज़रूरी है.

ओवरसाइट बोर्ड का फ़ैसला

पहले केस में (भारतीय सार्वजनिक हस्ती), बोर्ड ने Meta के पोस्ट को बने रहने वाले मूल फ़ैसले को बदला. दूसरे केस में (अमेरिकी सारवजनिक हस्ती), बोर्ड ने Meta के पोस्ट को हटाने वाले फ़ैसले का समर्थन किया.

बोर्ड ने Meta को सुझाव दिया है कि वह:

• “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” को यौन शोषण से जुड़े कम्युनिटी स्टैंडर्ड में जोड़े.
• “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” से जुड़े प्रतिबंध में “अपमानजनक” की जगह “बिना सहमति वाला” शब्द लिखे.
• “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” से जुड़े प्रतिबंध में “फ़ोटोशॉप करके बनाए गए” की जगह पर छेड़छाड़ करके बनाए गए मीडिया के लिए किसी दूसरे व्यापक शब्द का उपयोग करे.
• वयस्क यौन शोषण से जुड़ी पॉलिसी में सहमति नहीं होने का नया संकेत जोड़कर बिना सहमति वाले कंटेंट को लेकर अपनी पॉलिसी में एकरूपता लाए: कंटेंट के AI-जेनरेटेड या छेड़छाड़ किए जाने का संदर्भ. इस विशेष संदर्भ वाले कंटेंट के लिए, पॉलिसी में यह भी बताया जाना चाहिए कि इसे उल्लंघन करने वाला मानने के लिए यह ज़रूरी नहीं कि वह “नॉन-कमर्शियल हो या किसी निजी जगह पर बनाया गया हो”.

*केस के सारांश से केस का ओवरव्यू मिलता है और भविष्य में लिए जाने वाले किसी फ़ैसले के लिए इसको आधार नहीं बनाया जा सकता है.

केस का पूरा फ़ैसला

1. केस की जानकारी और बैकग्राउंड

ओवरसाइट बोर्ड ने दो केस का एक साथ रिव्यू किया, जिसमें से एक केस में यूज़र ने Facebook पर पोस्ट की थी और दूसरे केस में एक अलग यूज़र ने Instagram पर कंटेंट जारी किया था.

पहला केस एक नग्न महिला की AI से बनाई गई फ़ोटो से जुड़ा है, जिसमें शरीर का पिछला हिस्सा दिखाया गया है और चेहरा भी दिख रहा है. Instagram पर पोस्ट की गई इस फ़ोटो में दिखाई गई महिला एक भारतीय महिला के जैसी लगती है, जो एक सार्वजनिक हस्ती है और यह फ़ोटो उसी महिला के उन फ़ोटो में से एक थी, जिसमें महिला स्विमिंग कॉस्ट्यूम में है और शायद AI से कंटेंट बनाते समय सोर्स मटेरियल के लिए इसी फ़ोटो का उपयोग किया गया था. जिस अकाउंट से यह कंटेंट पोस्ट किया गया था, उसके विवरण में लिखा हुआ है कि इस पर केवल भारतीय महिलाओं की AI-जेनरेटेड फ़ोटो शेयर की जाती हैं और कैप्शन में ऐसा हैशटैग जोड़ा गया है जिससे पता चलता है कि फ़ोटो को AI के ज़रिए बनाया है.

इस केस में यूज़र ने पोर्नोग्राफ़ी के लिए Meta को कंटेंट की रिपोर्ट की. यह रिपोर्ट अपने आप क्लोज़ हो गई थी, क्योंकि 48 घंटे के अंदर इसका रिव्यू नहीं हुआ था. फिर उसी यूज़र ने उस कंटेंट को नहीं हटाने के Meta के फ़ैसले के खिलाफ़ अपील की, लेकिन यह अपील भी अपने आप क्लोज़ हो गई और इसलिए वह कंटेंट प्लेटफ़ॉर्म से नहीं हटाया गया. इसके बाद उस यूज़र ने बोर्ड को इस फ़ैसले के खिलाफ़ अपील की. बोर्ड ने जब इस केस को चुना, तब Meta को लगा कि इस कंटेंट को नहीं हटाने का उसका फ़ैसला गलत था और उसने इस पोस्ट को धमकाने और उत्पीड़न करने से जुड़े कम्युनिटी स्टैंडर्ड का उल्लंघन करने के लिए हटा दिया. बाद में, जब बोर्ड ने इस केस को चुना, Meta ने उस अकाउंट को बंद कर दिया जिससे कंटेंट पोस्ट किया गया था और कंटेंट को मीडिया मैचिंग सर्विस (MMS) बैंक में जोड़ दिया.

दूसरा केस AI क्रिएशन के लिए बने Facebook ग्रुप पर पोस्ट की गई एक फ़ोटो से जुड़ा है. इसमें नग्न महिला की AI-जेनरेटेड फ़ोटो दिखाई गई है, जिसके स्तनों को ज़बरदस्ती छुआ जा रहा है. इस फ़ोटो को AI से बनाया गया है और यह महिला एक अमेरिकी सार्वजनिक हस्ती की तरह दिखाई दे रही है, जिसका नाम भी कैप्शन में दिया गया है.

इस दूसरे केस में, फ़ोटो को धमकाने और उत्पीड़न करने से जुड़ी Meta की पॉलिसी का उल्लघंन करने की वजह से हटा दिया गया था. किसी दूसरे यूज़र ने पहले भी ऐसी ही फ़ोटो पोस्ट की थी, जिसके बाद यह केस Meta की पॉलिसी या विषय से जुड़े विशेषज्ञों को भेजा गया था, जिन्होंने इसे धमकी और उत्पीड़न करने से जुड़ी पॉलिसी के तहत, खास तौर से “फ़ोटोशॉप या ड्रॉइंग करके बनाए गए अपमानजनक अश्लील कंटेंट” के लिए उल्लंघन करने वाला माना और उसे हटाने का फ़ैसला लिया था. फिर उस फ़ोटो को MMS बैंक में जोड़ दिया गया था. ये बैंक ऑटोमेटिक तरीके से ऐसी फ़ोटो को ढूँढकर हटा देते हैं, जिन्हें पहले ही उल्लंघन करने वाला माना गया है. दूसरे केस में AI-जेनरेटेड फ़ोटो को ऑटोमेटिक तरीके से हटा दिया गया क्योंकि इसे MMS बैंक में जोड़ दिया गया था. पोस्ट करने वाले यूज़र ने उस कंटेंट को हटाने के फ़ैसले के खिलाफ़ अपील की, लेकिन वह रिपोर्ट अपने आप क्लोज़ हो गई. यूज़र ने फिर अपना कंटेंट रीस्टोर करवाने के लिए बोर्ड से अपील की.

बोर्ड ने इस संदर्भ को देखते हुए इन केस में अपना फ़ैसला दिया.

डीपफ़ेक अंतरंग फ़ोटो में सिंथेटिक मीडिया होता है, जिसे डिजिटल रूप से बदलकर वास्तविक लोगों को कामुक तरीके से दिखाया जाता है. पोर्नोग्राफ़ी की धारणा सभी देशों और संस्कृतियों में अलग हो सकती है. अंतरराष्ट्रीय मानवाधिकार NGO, Witness की ओर से बोर्ड को सबमिट किए गए एक पब्लिक कमेंट में, बांग्लादेश की एक महिला राजनेता के डीपफ़ेक का उदाहरण दिया गया है, जिसमें उन्हें बिकनी में दिखाया गया है. यह सांस्कृतिक संदर्भ में खास रूप से नुकसान पहुँचाने वाला हो सकता है, भले ही यह किसी दूसरे सांस्कृतिक परिदृश्य में उचित हो (PC-27095 देखें).

AI टूल का उपयोग करके डीपफ़ेक अंतरंग फ़ोटो बनाना अब आसान होता जा रहा है, क्योंकि अब इसमें वास्तविक लगने वाले फ़ोटो जेनरेट करने के लिए कम फ़ोटो की ज़रूरत पड़ती है. Women in International Security ( WIIS)के अनुसार: “इसका अर्थ है कि व्यवहारिक रूप से जिस किसी ने भी सेल्फ़ी ली है या अपनी फ़ोटो ऑनलाइन पोस्ट की है, देखा जाए तो उन सभी के लिए उनकी फ़ोटो से डीपफ़ेक बनाए जाने का जोखिम है.” The Guardianकी रिपोर्ट के अनुसार AI फ़र्म Deeptrace ने सितंबर 2019 में ऐसे 15,000 डीपफ़ेक का विश्लेषण किया, जो उसे ऑनलाइन मिले और देखा कि उनमें से 96% वीडियो पोर्नोग्राफ़िक थे और उनमें से भी 99% में पोर्न एक्टर के चेहरे पर किसी महिला सेलेब्रिटी के चेहरे लगाए गए थे. 2019 से लेकर अब तक ऑनलाइन डीपफ़ेक वीडियो में 550% की बढ़ोतरी हुई है, जिसमें ऑनलाइन मौजूद सभी डीपफ़ेक वीडियो में 98% वास्तविक लोगों को अश्लील तरीके से दिखाया गया है और इनमें टार्गेट बनाए गए लोगों में 99% महिलाएँ हैं ( Home Security Heroes 2023 की रिपोर्ट). डीपफ़ेक अंतरंग फ़ोटो से जुड़ी वेबसाइट में से मुख्य 10 वेबसाइट पर हर महीने 34 मिलियन लोग विज़िट करते हैं.

फ़ोटो के ज़रिए किए जाने वाले यौन उत्पीड़न से पीड़ित व्यक्ति पर बहुत ज़्यादा प्रभाव पड़ता है. यूके की 2019 में जारी की गई Adult Online Hate, Harassment and Abuse रिपोर्ट में फ़ोटो के ज़रिए यौन उत्पीड़न (जिसमें डीपफ़ेक अंतरंग तस्वीर भी शामिल है) पर किए गए कई तरह के ऐसे अध्ययन के बारे में बताया गया है, जिनमें पीड़ित व्यक्ति के अनुभवों का आकलन किया है. इन अध्ययनों से पता चला कि पीड़ित व्यक्ति शर्म, मजबूरी, शर्मिंदगी, खुद को दोषी मानना, गुस्सा, पछतावा, पागलपन, अलगाव, अपमान और शक्तिहीनता, इन भावनाओं से गुज़रता है; साथ ही, मान-सम्मान, सुरक्षा, स्वाभिमान, खुद का महत्व आदि, इन सभी की कमी महसूस करता है. ऑनलाइन यौन उत्पीड़न पर रिसर्च करने वालों के अनुसार डीपफ़ेक का उपयोग कर बनाई गई अश्लील फ़ोटो के नुकसान भी बिना सहमति वाली वास्तविक अश्लील फ़ोटो के नुकसान जितने ही गंभीर हो सकते हैं.

डीपफ़ेक अंतरंग तस्वीरों की यह समस्या दुनिया भर में देखने को मिलती है. बांग्लादेश, पाकिस्तान, इटली, अमेरिका, नॉदर्न आयरलैंड और यूक्रेन में महिला राजनेताओं को टार्गेट बनाए जाने की खबरें मिली हैं. इसमें पत्रकारों, मानवाधिकार के संरक्षकों और सेलेब्रिटी को अक्सर टार्गेट किया जाता है. हालाँकि, कोई भी डीपफ़ेक अंतरंग तस्वीरों का शिकार हो सकता है. हाल ही में अमेरिका और स्पेन में ऐसी कुछ घटनाएँ हुई हैं, जिनमें बच्चों और किशोरों को डीपफ़ेक से बनाई गई अंतरंग तस्वीरों के ज़रिए टार्गेट बनाया गया. बोर्ड ने जिन विशेषज्ञों से सलाह ली, उन्होंने देखा कि यह कंटेंट खास कर रूढ़िवादी सोच वाले समुदायों में हानि पहुँचा सकता है. जैसे कि खबरों के मुताबिक पाकिस्तान के सुदूर इलाके कोशिस्तान में 18 साल की एक लड़की को उसके पिता और रिश्तेदार ने गोली मार दी, क्योंकि वह वायरल हुई एक फ़ोटो में किसी आदमी के साथ दिखाई दी थी, जबकि बाद में पता चला था कि वह फ़ोटो सही नहीं थी, उसे डिजिटल रूप से छेड़छाड़ करके बनाया गया था.

भारत और अमेरिका दोनों ही देशों ने इस बारे में कानूनों पर विचार किया है और डीपफ़ेक पर रोक लगाने वाली आगामी योजनाओं की घोषणा की है. राकेश माहेश्वरी, साइबर लॉ में एक पूर्व वरिष्ठ सरकारी अधिकारी, ने बताया कि किस तरह से भारत के मौजूदा सोशल मीडिया कानून को पहले केस के कंटेंट पर लागू किया जा सकता है (PC-27029 देखें). हालाँकि, बोर्ड को कई पब्लिक कमेंट मिले, जिनमें इस बात पर ज़ोर दिया गया कि बचाव के लिए पहली सीढ़ी सोशल मीडिया प्लेटफ़ॉर्म होना चाहिए क्योंकि कानूनी व्यवस्था उतनी तेज़ गति से नहीं चलती कि उससे कंटेंट के वितरण को रोका जा सके. भारतीय NGO Breakthrough Trust की पब्लिक कमेंट में यह भी बताया गया है कि भारत में पुलिस सहायता या कोर्ट की सेवाएँ लेने के दौरान “महिलाएँ अक्सर दोबारा शिकार बन जाती हैं” क्योंकि उनसे पूछा जाता है कि उन्होंने अपनी फ़ोटो इंटरनेट पर डाली ही क्यों – तब भी जब फ़ोटो में डीपफ़ेक के ज़रिए छेड़छाड़ की गई हो (PC-27044 देखें).

Meta ऐसी तकनीकें विकसित करने में सक्रिय रहा है, जिससे बिना सहमति वाली अंतरंग फ़ोटो (NCII) शेयर करने वाली संबंधित समस्या का हल निकाला जा सके. बोर्ड ने जिन निष्पक्ष विशेषज्ञों से सलाह ली, उन्होंने NCII ढूँढने और हटाने के काम में Meta की कोशिशों की सराहना की और इसे इंडस्ट्री के लिए पथप्रदर्शक माना, साथ ही फ़ोटो मैच करने की तकनीक को काफ़ी मूल्यवान माना. हालाँकि NCII और डीपफ़ेक आंतरिक फ़ोटो अलग हैं, NCII में वास्तविक फ़ोटो होती हैं वहीं डीपफ़ेक में डिजिटल रूप से बनाई गई या छेड़छाड़ की गई फ़ोटो होती हैं, लेकिन दोनों ही फ़ोटो के ज़रिए यौन उत्पीड़न किए जाने के उदाहरण हैं.

2. यूज़र सबमिशन

पहले केस में जिस यूज़र ने कंटेंट की रिपोर्ट की, उसने कहा कि उन्होंने Instagram पर सेलेब्रिटी की AI-जेनरेटेड अश्लील फ़ोटो देखी थीं और वे इस बात को लेकर चिंतित थे कि ये फ़ोटो ऐसे प्लेटफ़ॉर्म पर भी उपलब्ध हो सकती हैं, जिन्हें किशोर उपयोग कर सकते हैं. इस कंटेंट क्रिएटर ने बोर्ड को कोई यूज़र स्टेटमेंट नहीं दिया.

दूसरे केस में जिस यूज़र ने पोस्ट शेयर की थी, उसने अपनी अपील में कहा कि उसका इरादा किसी को धमकाने, उत्पीड़ित या अपमान करने का नहीं था, बल्कि वह लोगों का मनोरंजन करना चाहता था.

3. Meta की कंटेंट पॉलिसी और सबमिशन

I. Meta की कंटेंट पॉलिसी

धमकाने और उत्पीड़न करने से जुड़ा कम्युनिटी स्टैंडर्ड

धमकाने और उत्पीड़न करने से जुड़े कम्युनिटी स्टैंडर्ड में टीयर 1 के तहत (सभी के लिए व्यापक सुरक्षा) उल्लेख है कि सभी की (जिसमें सार्वजनिक हस्ती भी शामिल है) “फ़ोटोशॉप या ड्रॉइंग करके बनाए गए अपमानजनक अश्लील कंटेंट” से सुरक्षा की जाएगी.

कंटेंट मॉडरेटर को दिए गए अतिरिक्त आंतरिक गाइडेंस में “फ़ोटोशॉप या ड्रॉइंग करके बनाए गए अपमानजनक अश्लील कंटेंट” को ऐसे कंटेंट के रूप में परिभाषित किया गया है जिसमें छेड़छाड़ या एडिटिंग करके उसे ऐसे तरीकों से अश्लील बनाया गया हो, जो टार्गेट के लिए अनचाहा हो और इसलिए उसे अपमानजनक माना जाए – एक उदाहरण के तौर पर जैसे किसी वास्तविक व्यक्ति के सिर को नग्न या लगभग नग्न शरीर के साथ जोड़ना.

वयस्क नग्नता और यौन गतिविधि से जुड़ी पॉलिसी

इस पॉलिसी के तहत नग्नता और यौन गतिविधि के अन्य चित्रण के साथ ही, “पूरी तरह से नग्न नितंबों को पास से दिखाना” और “महिलाओं के स्तनों का दबाना” प्रतिबंधित है. महिला के स्तनों को कसकर दबाना, जिसे “उंगलियों को मोड़कर हाथ में जकड़ने के रूप में परिभाषित किया गया है, जो स्तनों के निशानों और आकार में स्पष्ट बदलाव, दोनों दिखाता हो. हम स्तनपान के संदर्भों में स्तन दबाने की परमिशन देते हैं.”

वयस्क यौन शोषण से जुड़ी पॉलिसी

इस पॉलिसी के तहत ये चीज़ें प्रतिबंधित हैं:

बिना सहमति के निजी पलों की फ़ोटो शेयर करना, शेयर करने की धमकी देना, शेयर करने का इरादा जताना, इनकी पेशकश करना या माँग करना, जिनमें नीचे दी गई तीनों शर्तें पूरी होती हों:

• फ़ोटो नॉन-कमर्शियल हो और निजी जगहों पर ली गई हो.
• फ़ोटो में मौजूद व्यक्ति (लगभग) नग्न हो, यौन गतिविधि में शामिल हो या किसी यौन मुद्रा में हो.
• फ़ोटो शेयर करने की सहमति न होना, इनमें से किसी भी संकेत से व्यक्त हो सकती है:
  • बदले की भावना वाला संदर्भ (जैसे कि कैप्शन, कमेंट या पेज का नाम).
  • स्वतंत्र सोर्स (जैसे कि कानूनी रिकॉर्ड) जिनमें मनोरंजन मीडिया भी शामिल हैं (जैसे मीडिया द्वारा फ़ोटो लीक कन्फ़र्म करना).
  • फ़ोटो में दिख रहे व्यक्ति और हमें कंटेंट की रिपोर्ट करने वाले व्यक्ति के बीच स्पष्ट समानता दिखाई देती हो.
  • हमें कंटेंट की रिपोर्ट करने वाले व्यक्ति का वही नाम हो जो फ़ोटो में दिखाए गए व्यक्ति का है.

II. Meta के सबमिशन

Meta ने धमकी और उत्पीड़न, वयस्क नग्नता और यौन गतिविधि से जुड़ी अपनी पॉलिसी के तहत दोनों पोस्ट का आकलन किया. कंपनी ने पाया कि दोनों ही पोस्ट से धमकी और उत्पीड़न की पॉलिसी का उल्लंघन होता है, लेकिन केवल दूसरे केस में (अमेरिकी सार्वजनिक हस्ती) वयस्क नग्नता और यौन गतिविधि के कम्युनिटी स्टैंडर्ड का भी उल्लंघन होता है.

धमकाने और उत्पीड़न करने से जुड़ा कम्युनिटी स्टैंडर्ड

धमकी और उत्पीड़न से जुड़ी पॉलिसी, सार्वजनिक हस्ती और व्यक्ति विशेष दोनों की “फ़ोटोशॉप या ड्रॉइंग करके बनाए गए अपमानजनक कामुक कंटेंट,” से रक्षा करती है, चूँकि इस तरह के कंटेंट से “लोग Facebook, Instagram और Threads” पर सुरक्षित और सम्मानित महसूस नहीं करते. बोर्ड के इस सवाल के जवाब में कि कंपनी “फ़ोटोशॉप की गई” या AI-जेनरेटेड कंटेंट की पहचान कैसे करती है, Meta ने बताया कि आकलन “हर एक केस के आधार” पर होता है और कई तरह के सिग्नल की सहायता ली जाती है जिसमें “संदर्भ की जानकारी के साथ ही विश्वसनीय सोर्स के सिग्नल, जैसे थर्ड पार्टी फ़ैक्ट-चेकर के लेख, विश्वसनीय मीडिया सोर्स, ऑनबोर्ड विश्वसनीय पार्टनर्स और अन्य निष्पक्ष संगठन या सरकारी पार्टनर” शामिल हैं.

Meta ने तय किया कि पहले केस की फ़ोटो से इस पॉलिसी का उल्लंघन हुआ क्योंकि इसे AI का उपयोग करके ऐसा बनाया गया कि वह भारतीय सार्वजनिक हस्ती जैसा दिखे और फ़ोटो से छेड़छाड़ करके या एडिट करके उन्हें “कामुक अश्लील मुद्रा” में लगभग नग्न दिखाया गया. कंपनी ने यूज़र के हैंडल और हैशटैग को भी ध्यान से देखा, जिनसे साफ़ पता चलता है कि फ़ोटो AI जेनरेटेड है.

Meta ने तय किया कि दूसरे केस की फ़ोटो से भी इस पॉलिसी का उल्लंघन होता है. यह फ़ोटो AI जेनरेटेड हैं, यह तय करने में कंपनी ने इन कारणों पर ध्यान दिया: ऐसा लगता है कि चेहरे को लगभग नग्न शरीर से जोड़ा गया है और “रंग, टेक्सचर, और फ़ोटो की स्पष्टता से लगता है कि वीडियो [फ़ोटो] AI-जेनरेटेड है”; मीडिया के ज़रिए बाहरी व्यक्ति ने इस तरह की जेनरेटेड फ़ोटो के वितरण की रिपोर्ट की; और कंटेंट को ऐसे ग्रुप में पोस्ट किया गया था जो पूरी तरह आर्टिफ़िशियल इंटेलिजेंस का उपयोग करके बनाई गई फ़ोटो शेयर करता है.

वयस्क नग्नता और यौन गतिविधि से जुड़े कम्युनिटी स्टैंडर्ड

Meta ने बोर्ड को बताया कि कंपनी ने दूसरे केस की फ़ोटो (अमेरिकी सार्वजनिक हस्ती) को वयस्क नग्नता और यौन गतिविधि की पॉलिसी का भी उल्लंघन करने वाला माना. चूँकि दूसरे केस के कंटेंट में सार्वजनिक हस्ती की AI-जेनरेटेड फ़ोटो में किसी को “जकड़ते हुए” भी दिखाया गया है, इसलिए इससे महिला के स्तनों को दबाते हुए दिखाने वाली फ़ोटो पर लागू प्रतिबंध का उल्लंघन होता है.

कंपनी के अनुसार, पहले केस की फ़ोटो (भारतीय सार्वजनिक हस्ती) में इस पॉलिसी का उल्लंघन नहीं होता. हालाँकि पूरी तरह से नग्न नितंबों को पास से दिखाना प्रतिबंधित है, लेकिन इस फ़ोटों में उतने पास से नहीं दिखाया गया है जैसा कि कंपनी ने परिभाषित किया है.

कंपनी ने यह भी बताया कि दोनों पोस्ट हटाने का फ़ैसले से इसके सुरक्षा, प्राइवेसी, गरिमा और वॉइस के सभी वैल्यू का सही संतुलन बैठता है क्योंकि “Meta ने इस केस में कंटेंट की क्रिएटिव वैल्यू का आकलन किया और उसे न्यूनतम माना.” दोनों पोस्ट के हैशटैग और कैप्शन को देखते हुए कंपनी ने निष्कर्ष निकाला कि “इसका इरादा कामुक था ना कि कलात्मक.” कंपनी ने यह भी निष्कर्ष निकाला कि “इस कंटेंट को निकालने के पीछे मौजूद सुरक्षा का मुद्दा, स्पीच की वैल्यू के कहीं ज़्यादा महत्वपूर्ण है.” पहले के पॉलिसी फ़ोरम से “सार्वजनिक हस्तियों पर हमले” को लेकर स्टेकहोल्डर्स के विचारों को बताते हुए, Meta ने सार्वजनिक हस्तियाँ जिस तरह से ऑनलाइन दुर्व्यवहार और उत्पीड़न का शिकार होती हैं, उस बारे में चिंता व्यक्त की और तर्क रखा कि इस तरह से सेल्फ-सेंसरशिप का प्रयोग किय जाता है और उत्पीड़न के शिकार लोग चुप रह जाते हैं.

मई 2024 में, Meta ने अपने वयस्क नग्नता और यौन गतिविधि के कम्युनिटी स्टैंडर्ड अपडेट किए, जिनमें यह स्पष्ट किया कि पॉलिसी सभी “वास्तविक लगने वाली फ़ोटो” पर लागू होती है और “जहाँ यह स्पष्ट न हो कि फ़ोटो और वीडियो वास्तविक है नहीं,” तो उन्हें “वास्तविक लगने वाली माना जाएगा.” बोर्ड ने इससे यह निष्कर्ष निकला कि वास्तविक लोगों, सेलेब्रिटी या किसी की भी वास्तविक लगने वाली AI-जेनरेटेड फ़ोटो में नग्नता या यौन गतिविधि होने पर उसे वयस्क नग्नता और यौन गतिविधि के कम्युनिटी स्टैंडर्ड के तहत निकाल दिया जाएगा और ये फ़ोटो कुछ तरह के अपवादों में नहीं आएँगी. कंपनी “बिना सहमति के या नाबालिग बच्चे वाले कंटेंट को शेयर करने” को प्रतिबंधित करना वास्तविक दिखने वाली कामुक फ़ोटो को निकालने के लिए तर्कसंगत माना. बोर्ड ने Meta के वयस्क नग्नता और यौन गतिविधि के कम्युनिटी स्टैंडर्ड के बारे में स्पष्टीकरण की सराहना की और उल्लंघनकारी वास्तविक फ़ोटो जैसे ही, वास्तिविक लगने वाली काल्पनिक फ़ोटो और वीडियो के खिलाफ़ भी नियम लागू करने के लिए कंपनी के प्रयासों का समर्थन किया.

इस केस में दोनों ही कंटेंट का निष्कर्ष अपडेट की गई पॉलिसी के तहत समान ही होगा: दोनों ही कंटेंट को फ़ोटोशॉप करके बनाए गए अपमानजनक कामुक कंटेंट पर लागू प्रतिबंध के आधार पर, धमकी और उत्पीड़न के कम्युनिटी स्टैंडर्ड के तहत हटाया जाएगा और जिस पोस्ट में अमेरिकी सार्वजनिक हस्ती है, उसे वयस्क नग्नता और यौन गतविधि के कम्युनिटी स्टैंडर्ड का उल्लंघन करने वाला माना जाएगा क्योंकि इसमें स्तनों को ऐसे संदर्भ में दबाते हुए दिखाया गया है, जिसकी परमिशन नहीं है.

हालाँकि ये बदलाव सराहनीय स्पष्टीकरण हैं, लेकिन ये AI-जेनरेटेड बिना सहमति वाली अंतरंग फ़ोटो के वितरण की समस्या के हल के लिए पर्याप्त नहीं हैं. बोर्ड ने दोबारा AI जेनरेटेड या छेड़छाड़ किए गए बिना सहमति वाले कामुक कंटेंट के लिए अलग पॉलिसी बनाने पर ज़ोर दिया, जो फ़िलहाल Meta के वयस्क यौन शोषण के कम्युनिटी स्टैंडर्ड के हिस्से के रूप में मौजूद है.

मीडिया मैचिंग सर्विस बैंक

Meta के अनुसार, उसके मीडिया मैचिंग सर्विस (MMS) बैंक उसके प्लेटफ़ॉर्म पर पोस्ट किए गए मीडिया पर एक्शन लेते हैं, इस केस में मीडिया फ़ोटो के रूप में था. बैंक में जोड़ने के लिए कंटेंट की पहचान हो जाने पर, उसे डेटा की एक स्ट्रिंग में बदला जाता है, जिसे “हैश” भी कहते हैं. हैश को फिर किसी ख़ास बैंक से जोड़ा जाता है. Meta के MMS बैंक विशेष कम्युनिटी स्टैंडर्ड पॉलिसी के हिसाब से बनाए जाते हैं और ये किसी विशेष व्यवहार या कंटेंट के प्रकारों को ध्यान में रखकर नहीं बनाए गए हैं, जैसे फ़ोटोशॉप करके बनाए गए अपमानजनक कामुक कंटेंट. ये बैंक ऐसी फ़ोटो को अपने आप पहचानकर उन्हें हटा सकते हैं जिन्हें पहले ही ह्यूमन रिव्यूअर द्वारा कंपनी के नियमों के अनुसार उल्लंघन करने वाला पाया गया है.

दूसरे केस की फ़ोटो (अमेरिकी सार्वजनिक हस्ती) को इसलिए हटाया गया क्योंकि ऐसी ही दूसरी फ़ोटो पहले ही ह्यमन रिव्यू के लिए मिल चुकी थी और उसे MMS बैंक में जोड़ दिया था. पहले केस की फ़ोटो (भारतीय सार्वजनिक हस्ती) को पहले किसी MMS बैंक में नहीं जोड़ा गया था. Meta का कहना है कि: “फ़ोटोशॉप करके अपमानजनक अश्लील कंटेंट बनाने के मामले में उल्लंघन करने वाले कंटेंट से जुड़े सभी तरह के इंस्टेंस MMS बैंक में नहीं होते हैं. ऐसे किसी कंटेंट से जुड़ा मामला उठता है, तो आम तौर पर उस कंटेंट को इस बैंक में तभी जोड़ा जाता है, जब हमारी आंतरिक टीमें उसकी स्वीकृति देती हैं. क्योंकि MMS बैंकिंग बहुत ही पावरफ़ुल एन्फ़ोर्समेंट टूल है, जिससे किसी भी तरह का उल्लंघन नहीं करने वाले कंटेंट के हटने का जोखिम भी पैदा हो सकता है.” Meta ने पहले केस में अपना फ़ैसला बदलकर विवादित फ़ोटो पर रोक लगाने के लिए उसे बैंक में तभी पहुँचाया जब बोर्ड ने यह सवाल पूछा कि उन्होंने यह फ़ैसला पहले क्यों नहीं लिया.

बोर्ड ने उनसे MMS बैंक, अपील का अपने आप बंद हो जाना, धमकाने और उत्पीड़न करने से जुड़ी पॉलिसी के तहत फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट पर लगाए जाने वाले प्रतिबंध के साथ-साथ ऐसी अन्य पॉलिसियों से जुड़े 13 सवाल पूछे, जो इस केस के लिए प्रासंगिक हो सकते हैं. Meta ने सभी सवालों का जवाब दिया.

4. पब्लिक कमेंट

ओवरसाइट बोर्ड को पब्लिक कमेंट सबमिट करने की शर्तों को पूरा करने वाले 88 कमेंट मिले हैं. इनमें से 14 कमेंट एशिया पैसिफ़िक और ओशेनिया से, 24 मध्य और दक्षिण एशिया से, 15 यूरोप से, पाँच लैटिन अमेरिका और कैरिबियन से तथा 30 कमेंट अमेरिका और कनाडा से आए. प्रकाशन की सहमति के साथ सबमिट किए गए पब्लिक कमेंट पढ़ने के लिए यहाँ पर क्लिक करें.

सबमिट किए गए कमेंट इन विषयों से जुड़े थे: भारत में डीपफ़ेक की व्यापकता और संस्कृति पर पड़ने वाले प्रभाव, महिलाओं और महिला सार्वजनिक हस्तियों के जीवन पर डीपफ़ेक से बनी अंतरंग तस्वीरों से आम तौर से पड़ने वाला प्रभाव, फ़ोटो के ज़रिए किए जाने वाले यौन शोषण के खिलाफ़ की जाने वाली अपीलों के अपने आप बंद होने से क्या परेशानी होती है और डीपफ़ेक से बनी अंतरंग तस्वीरों का पता लगाने और उन्हें हटाने के लिए रिव्यू में काम आने वाले मैन्युअल और ऑटोमेटेड सिस्टम का एक साथ उपयोग करने की आवश्यकता.

5. ओवरसाइट बोर्ड का विश्लेषण

बोर्ड ने Meta की कंटेंट पॉलिसी, वैल्यू और मानवाधिकार से जुड़ी ज़िम्मेदारियाँ के संबंध में इस केस में दिए गए Meta के फ़ैसले का विश्लेषण किया. बोर्ड ने यह भी आकलन किया कि कंटेंट गवर्नेंस को लेकर Meta के व्यापक दृष्टिकोण पर इस केस का क्या असर पड़ेगा.

5.1 Meta की कंटेंट पॉलिसी का अनुपालन

I. कंटेंट से जुड़े नियम

बोर्ड को यह साफ़ तौर से दिखाई दे रहा है कि दोनों फ़ोटो में धमकाने और उत्पीड़न से जुड़ी पॉलिसी के तहत “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” पर Meta द्वारा लगाई गई रोक का उल्लंघन किया गया है. दोनों फ़ोटो को एडिट करके असल व्यक्ति का सिर या चेहरा दिखाया गया है, जबकि किसी और वास्तविक या काल्पनिक व्यक्ति का पूरी तरह से नग्न या काफ़ी हद तक नग्न शरीर दिखाया गया है. दोनों ही केस में ऐसे सुराग मिले हैं, जो यह बताते हैं कि वह कंटेंट AI-जेनरेटेड है. पहले केस (भारतीय सार्वजनिक हस्ती) से जुड़ी पोस्ट में ऐसे कई हैशटैग हैं, जिनसे पता चलता है कि यह AI-जेनरेटेड है और इसे किसी ऐसे अकाउंट से पोस्ट किया गया था, जिससे अक्सर इसी तरह की फ़ोटो पोस्ट की जाती रही हैं. दूसरे केस (अमेरिकी सार्वजनिक हस्ती) से जुड़ी पोस्ट ऐसे Facebook ग्रुप से की गई थी, जो AI से बनीं तस्वीरें पोस्ट करता है.

हालाँकि, बोर्ड ने Meta की इस बात से सहमत है कि सिर्फ़ दूसरे केस में ही की गई पोस्ट में वयस्क नग्नता और अश्लील गतिविधि से जुड़ी पॉलिसी का उल्लंघन हुआ है, क्योंकि इसमें एक व्यक्ति को महिला के स्तन दबाते हुए दिखाया गया है. वहीं दूसरी फ़ोटो, फ़िलहाल जैसी है, उससे इस पॉलिसी का उल्लंघन नहीं हो रहा है, क्योंकि यह कंपनी द्वारा परिभाषित नग्न नितंबों का क्लोज़-अप शॉट नहीं है. इस बात का बोर्ड ने यह मतलब निकाला कि मौजूदा पॉलिसी के तहत, ऐसी किसी भी फ़ोटो, जिसके AI-जेनरेटेड होने का कोई सबूत नहीं मिलता, उसे हटाया नहीं जाएगा. इन केस के पीड़ितों पर पड़े असर की चर्चा नीचे सेक्शन 5.2 में की गई है.

5.2 Meta की मानवाधिकारों से जुड़ी ज़िम्मेदारियों का अनुपालन

पहले (भारतीय सार्वजनिक हस्ती) और दूसरे (अमेरिकी सार्वजनिक हस्ती), इन दोनों ही केस में बोर्ड ने पाया कि Meta के प्लेटफ़ॉर्म से उन कंटेंट को हटाना Meta की मानवाधिकारों से जुड़ी ज़िम्मेदारियों के मुताबिक बिल्कुल सही है.

अभिव्यक्ति की आज़ादी (आर्टिकल 19 ICCPR)

ICCPR के आर्टिकल 19 से अभिव्यक्ति की आज़ादी को व्यापक सुरक्षा मिलती है, जिसमें ऐसी अभिव्यक्ति भी आ जाती है, जिसे “घोर आपत्तिजनक” भी माना जा सकता है (सामान्य टिप्पणी 34, पैरा. 11, अभिव्यक्ति की आज़ादी पर संयुक्त राष्ट्र संघ के विशेष रैपर्टर की 2019 में आई रिपोर्ट का पैरा. 17 भी देखें, A/74/486). जहाँ किसी स्टेट, अभिव्यक्ति पर प्रतिबंध लगाता है, वहाँ प्रतिबंधों को वैधानिकता, वैधानिक लक्ष्य और आवश्यकता तथा आनुपातिकता की शर्तों को पूरा करना चाहिए (आर्टिकल 19, पैरा. 3, ICCPR, सामान्य टिप्पणी 34, पैरा. 34). इन आवश्यकताओं को अक्सर “तीन भागों वाला परीक्षण” कहा जाता है. बोर्ड इस फ़्रेमवर्क का उपयोग बिज़नेस और मानवाधिकारों से जुड़े संयुक्त राष्ट्र संघ के मार्गदर्शक सिद्धांतों के अनुरूप Meta की मानवाधिकार ज़िम्मेदारियों को समझने के लिए करता है, जिसके लिए Meta ने खुद अपनी कॉर्पोरेट मानवाधिकार पॉलिसी में प्रतिबद्धता जताई है. बोर्ड ऐसा इसलिए करता है कि वह रिव्यू के लिए आए कंटेंट से जुड़े अलग-अलग फ़ैसले ले सके और यह समझ सके कि कंटेंट मॉडरेशन से जुड़ा Meta का व्यापक दृष्टिकोण क्या है. जैसा कि अभिव्यक्ति की आज़ादी के बारे में संयुक्त राष्ट्र संघ के रैपर्टर ने कहा है कि अभिव्यक्ति के मामले में भले ही “कंपनियों को सरकारों की तरह कानूनी दायित्वों को पूरा नहीं करना होता है, फिर भी कंपनियों का लोगों पर काफ़ी प्रभाव पड़ता है. ऐसे में यह ज़रूरी हो जाता है कि वे अपने यूज़र्स की अभिव्यक्ति की आज़ादी से जुड़े अधिकार की रक्षा को लेकर उठने वाले समान सवालों पर ध्यान देकर उनका समाधान करे.” ( A/74/486, पैरा. 41).

I. वैधानिकता (नियमों की स्पष्टता और सुलभता)

वैधानिकता के सिद्धांत के लिए यह ज़रूरी है कि अभिव्यक्ति को सीमित करने वाले नियमों को एक्सेस किया जा सकता हो और वे स्पष्ट हों. उन्हें पर्याप्त सटीकता के साथ बनाया गया हो ताकि लोग अपने व्यवहार को उसके अनुसार बदल सकें (सामान्य टिप्पणी सं. 34, पैरा. 25). इसके अलावा, ये नियम “उन लोगों को अभिव्यक्ति की आज़ादी पर प्रतिबंध लगाने के निरंकुश अधिकार नहीं दे सकते, जिनके पास इन नियमों को लागू करने की ज़िम्मेदारी है” और नियमों में “उन लोगों के लिए पर्याप्त मार्गदर्शन भी होना ज़रूरी है जिन पर इन्हें लागू करने की ज़िम्मेदारी है ताकि वे यह पता लगा सकें कि किस तरह की अभिव्यक्ति को उचित रूप से प्रतिबंधित किया गया है और किसे नहीं,” (पूर्वोक्त). अभिव्यक्ति की आज़ादी पर संयुक्त राष्ट्र संघ के विशेष रैपर्टर ने कहा है कि ऑनलाइन अभिव्यक्ति की निगरानी करने के मामले में निजी संस्थानों पर लागू होने वाले नियम स्पष्ट और विशिष्ट होने चाहिए (A/HRC/38/35, पैरा. 46). Meta के प्लेटफ़ॉर्म का उपयोग करने वाले लोगों के पास इन नियमों की एक्सेस होनी चाहिए और उन्हें ये नियम समझ में आने चाहिए. साथ ही, उन नियमों के एन्फ़ोर्समेंट के बारे में कंटेंट रिव्यूअर्स को स्पष्ट मार्गदर्शन दिया जाना चाहिए.

बोर्ड ने पाया कि इस पूरे मामले में इन कंटेंट को पोस्ट करने वाले यूज़र्स को “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” के बारे में स्पष्ट रूप से पता होना चाहिए था, क्योंकि आम तौर पर यूज़र्स को इसके बारे में स्पष्ट रूप से पता नहीं होता है. इस पूरे शब्द का मतलब जानने के लिए बोर्ड द्वारा पूछे गए सवाल के जवाब में Meta ने कहा कि: “‘फ़ोटोशॉप या ड्रॉइंग करके बनाए गए अपमानजनक अश्लील कंटेंट’ का मतलब हेरफेर करके बनाई गई अश्लील फ़ोटो से है. इन्हें जिस तरह से बनाकर पेश किया जाता है, वह तरीका उस व्यक्ति को भद्दा लग सकता है, जिसे उस फ़ोटो से टार्गेट किया गया है और इसलिए उसे अपमानजनक माना जाता है (जैसे कि किसी व्यक्ति के चेहरे के नीचे किसी दूसरे व्यक्ति का पूरी तरह से नग्न या काफ़ी हद तक नग्न शरीर जोड़कर दिखाना).” बोर्ड ने माना कि फ़ोटो में किए जाने वाले भद्दे अश्लील बदलावों को व्यक्त करने के मामले में “अपमानजनक” के बजाय “गैर-सहमति” जैसा शब्द ज़्यादा सही रहेगा.

इसके अलावा, बोर्ड ने पाया कि “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” से जुड़े प्रतिबंध में “फ़ोटोशॉप” शब्द बहुत ही पुराना है और यूज़र्स के लिए मार्केट में उपलब्ध मीडिया कंटेंट में हेरफेर करने की कई तकनीकों (खास तौर से जेनरेटिव AI से लैस तकनीकों) को अपने दायरे में लेने के लिए काफ़ी नहीं है. हालाँकि, “फ़ोटोशॉप” शब्द का उपयोग एडिटिंग से जुड़े किसी सॉफ़्टवेयर के लिए ही हो, यह ज़रूरी नहीं है, अब इसका उपयोग डिजिटल टूल्स के ज़रिए की जाने वाली उस मैन्युअल एडिटिंग के बारे में बताने के लिए भी बड़े पैमाने पर किया जाने लगा है, जिससे फ़ोटो में हेरफेर की जाती है. इसके उलट, आजकल ऑनलाइन रूप से उपलब्ध बिना सहमति वाले अश्लील कंटेंट में से ज़्यादातर जेनरेटिव AI मॉडल के ज़रिए या तो मौजूदा फ़ोटो का उपयोग करके या फिर एकदम नए सिरे से ऑटोमेटिक तरीके से बनाए जाते हैं. Meta को यह सुनिश्चित करना चाहिए कि अपमानजनक अश्लील कंटेंट से जुड़ा उसका प्रतिबंध एडिटिंग की उन ढेरों तकनीकों को इस तरह से कवर करे कि यूज़र्स और कंपनी के मॉडरेटर्स दोनों के लिए स्पष्ट हो.

बोर्ड ने यह भी पाया कि इन फ़ोटो पर प्रतिबंध लगाने वाली पॉलिसी से जुड़े नियम, धमकाने और उत्पीड़न करने के कम्युनिटी स्टैंडर्ड के बजाय वयस्कों के यौन शोषण से जुड़े कम्युनिटी स्टैंडर्ड के तहत आएँ, तो ज़्यादा बेहतर होगा. ये नियम यूज़र्स को आसानी से समझ में आने के साथ-साथ सही कैटेगरी में होने चाहिए, ताकि उन्हें पता रहे कि कौन-सा कंटेंट प्रतिबंधित है और उसकी वजह क्या है. ऐसा करना उन मामलों में खास तौर से ज़रूरी है, जिनमें कंटेंट नियम अनुसार तभी होगा, जब उस फ़ोटो को सहमति लेने के बाद ही शेयर किया गया हो, जैसे कि पहले केस (भारतीय सार्वजनिक हस्ती) में हुआ. अगर कोई यूज़र इन दोनों केस से जुड़े फ़ोटो देखता, तो इस बात की कोई संभावना नहीं है कि वह इसे धमकाने और उत्पीड़न करने के मामले के तौर पर देखता.

RATI Foundation for Social Change (एक भारतीय NGO, जो ऑनलाइन और ऑफ़लाइन यौन हिंसा के पीड़ितों की मदद करता है) की ओर से किए गए एक पब्लिक कमेंट में कहा गया कि हालाँकि पीड़ितों की मदद करने का एक तरीका यह भी है कि Meta के प्लेटफ़ॉर्म से AI-जेनरेटेड अश्लील फ़ोटो को हटाने में मदद की जाए, लेकिन उन्होंने “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” से जुड़े प्रतिबंध के बारे में न कभी सुना था और न ही कभी उन्होंने AI-जेनरेटेड अश्लील फ़ोटो की रिपोर्ट ‘धमकाने और उत्पीड़न करने’ के तहत की. इसके बजाय, उन्होंने ऐसी फ़ोटो की रिपोर्ट 'वयस्क नग्नता और यौन गतिविधि', 'बाल शोषण' और 'वयस्क यौन शोषण' जैसी दूसरी पॉलिसी के तहत की है (PC-27032 देखें).

‘धमकाने और उत्पीड़न करने’ से जुड़े कम्युनिटी स्टैंडर्ड में इस प्रतिबंध को शामिल करने से यह माना जाता है कि वे यूज़र्स, इन फ़ोटो को लोगों का उत्पीड़न करने के लिए पोस्ट कर रहे हैं. हालाँकि, इससे यह साफ़ तौर से पता नहीं चल सकता है कि किसी यूज़र ने AI-जेनरेटेड अश्लील फ़ोटो किस वजह से पोस्ट की है. इस तरह के कंटेंट पोस्ट करने वाले लोगों से लेकर इसकी रिपोर्ट करने वाले लोगों तक, सभी यूज़र्स को यह भ्रमित करता है. बाहरी विशेषज्ञों के ज़रिए बोर्ड द्वारा करवाई गई रिसर्च से पता चलता है कि हमेशा यूज़र्स धमकाने या उत्पीड़न करने के इरादे से ही डीपफ़ेक अंतरंग तस्वीरें पोस्ट नहीं करते हैं. इसके कई दूसरे कारण भी होते हैं. जबकि उत्पीड़न और ट्रोलिंग उनमें से ही दो कारण हैं, ऐसा यूज़र्स अक्सर किसी प्लेटफ़ॉर्म पर ऑडियंस बढ़ाने, अपने पेज को मॉनेटाइज़ करने या अन्य यूज़र्स को प्लेटफ़ॉर्म से बाहर पोर्नोग्राफ़ी साइट और किसी तरह की सर्विस देने वाली वेबसाइट या क्लिकबेट वेबसाइटों पर भेजने के इरादे से भी करते हैं. 2020 में जारी हुई Powell et. al की एक स्टडी से यह खुलासा हुआ कि फ़ोटो के ज़रिए यौन शोषण करने वाले ज़्यादातर अपराधियों ने अपने अपराध के पीछे की वजह “मस्ती-मज़ाक” या “फ़्लर्ट करना” के साथ-साथ “फ़ोटो का फ़ायदा उठाना” बताई है. इस तरह के फ़ोटो पर प्रतिबंध लगाने की पॉलिसी और स्पष्ट तब होगी, जब यह ‘धमकाने और उत्पीड़न करने’ की कैटगरी के तहत किए जाने वाले सीधे हमलों से पड़े असर के बजाय सहमति न होने और ऐसे कंटेंट के प्रसार से होने वाले नुकसान पर रोक लगाने के लिए बनी होगी.

इसलिए इन प्रतिबंधों को ‘वयस्कों के यौन शोषण’ से जुड़ी पॉलिसी में शामिल करना ज़्यादा तर्कसंगत होगा और इससे स्पष्टता बढ़ेगी. यह पॉलिसी बिना सहमति फ़ोटो शेयर करने पर रोक लगाने के लिए बनी है और इसमें बिना सहमति के अंतरंग फ़ोटो शेयर करने (NCII) से जुड़ा प्रतिबंध शामिल है, जो साफ़ तौर से इस मामले से जुड़ा हुआ है. Meta को इस पॉलिसी को यूज़र्स के लिए और स्पष्ट बनाने के लिए इसका नाम बदलने के बारे में भी विचार करना चाहिए, जैसे कि “बिना सहमति वाला अश्लील कंटेंट.”

II. वैधानिक लक्ष्य

अभिव्यक्ति की आज़ादी पर लगाए जाने वाले किसी भी प्रतिबंध में ICCPR में सूचीबद्ध कानूनी लक्ष्यों में से एक या एक से ज़्यादा को पूरा किया जाना चाहिए, जिसमें अन्य लोगों के अधिकारों की रक्षा शामिल है.

मानवाधिकार समिति ने ICCPR और सामान्य रूप से अंतरराष्ट्रीय मानवाधिकार कानून में मानवाधिकारों को मान्य रूप में शामिल करने के लिए “अधिकार” शब्द की व्याख्या की है ( पैरा. 28 में मौजूद सामान्य टिप्पणी 34).

इस प्लेटफ़ॉर्म पर डीपफ़ेक अंतरंग तस्वीरों पर प्रतिबंध लगाने का फ़ैसलाMeta ने इसलिए लिया है, क्योंकि वह यूज़र्स के शारीरिक और मानसिक स्वास्थ्य से जुड़े अधिकारों की रक्षा करना चाहता है, क्योंकि यह कंटेंट इसके पीड़ितों को बहुत नुकसान पहुँचा सकता है (ICESCR का आर्टिकल 12); वह भेदभाव मिटाना चाहता है, क्योंकि इस बात के पूरे सबूत हैं कि यह कंटेंट महिलाओं और लड़कियों को असंगत तरीके से प्रभावित करती है (ICCPR और ICESCR का आर्टिकल 2); और गोपनीयता के अधिकार की रक्षा करना चाहता है, क्योंकि यह कंटेंट लोगों के निजी जीवन में दखल देता है और अपनी फ़ोटो खींचकर जारी करने का तरीका तय करने के अधिकार का हनन करता है (ICPPR का आर्टिकल 17).

बोर्ड ने निष्कर्ष निकाला है कि डीपफ़ेक अंतरंग तस्वीरों पर प्लेटफ़ॉर्म द्वारा लगाए गए प्रतिबंध लोगों की सहमति के बिना उनकी अंतरंग तस्वीर लेने और उनका प्रसार करने से रोकने – तथा ऐसी फ़ोटो के कारण पीड़ितों और उनके अधिकारों का हनन होने से रोकने के लिए बनाए गए हैं. इससे पता चलता है कि इस कंटेंट पर प्रतिबंध एक वैधानिक लक्ष्य के तहत लगाया गया है.

III. आवश्यकता और आनुपातिकता

ICCPR के आर्टिकल 19(3) के तहत, आवश्यकता और आनुपातिकता के सिद्धांत के अनुसार यह ज़रूरी है कि अभिव्यक्ति की स्वतंत्रता पर लगाए जाने वाले प्रतिबंध “उनके सुरक्षात्मक कार्य को सही तरीके से पूरा करने वाले होने चाहिए; उनसे उन लोगों के अधिकारों के साथ कम से कम हस्तक्षेप होना चाहिए, जिन अधिकारों से उन्हें सुरक्षात्मक कार्यों का लाभ मिल सकता है; उन हितों के अनुसार सही अनुपात में होने चाहिए, जिनकी सुरक्षा की जानी है” (सामान्य टिप्पणी सं. 34, पैरा. 34).

इस कंटेंट से होने वाले नुकसान की गंभीरता का स्तर:

बोर्ड का मानना ​​है कि इस कंटेंट से प्रभावित हुए लोगों के अधिकारों की रक्षा के लिए इस कंटेंट पर प्रतिबंध लगाकर इसे हटाना बेहद ज़रूरी और एकदम सही है. इस कंटेंट में जिन लोगों को दिखाया गया, उन्हें इससे काफ़ी नुकसान पहुँचा है. सहमति लिए बिना उनकी फ़ोटो का उपयोग करके कोई दूसरी अश्लील फ़ोटो बनाने से उनकी गोपनीयता के अधिकार के साथ-साथ मानसिक और शारीरिक सुरक्षा के अधिकार का हनन हुआ है.

नुकसान की गंभीरता के स्तर को देखते हुए, इन कंटेंट को हटाना ही एकमात्र ऐसा प्रभावी उपाय था, जिससे पीड़ितों के अधिकारों की रक्षा हो सकती थी, क्योंकि इससे कम हस्तक्षेप करने वाले उपाय इस मामले में कारगर साबित नहीं होते. राष्ट्रपति बाइडेन के वीडियो से छेड़छाड़ किए जाने के केस से जुड़े फ़ैसले में बोर्ड ने यूज़र्स को कंटेंट की प्रामाणिकता को लेकर गुमराह होने से बचाने के लिए सुझाव दिया था कि ऐसे किसी भी कंटेंट पर लेबल लगाया जाए, जिसे एडिट करके गलत तरीके से पेश किया जाता है. हालाँकि, इन केस में लेबल लगा देने भर से कंटेंट से होने वाले नुकसान को रोका नहीं जा सकता था, क्योंकि यह नुकसान फ़ोटो को शेयर करने और देखने से हो रहा है, न कि सिर्फ़ इसलिए कि लोगों को इस बारे में गुमराह किया जा रहा था कि यह कंटेंट असली है या नकली.

चूँकि इन फ़ोटो में दिखाए गए ज़्यादातर लोग महिलाएँ या लड़कियाँ हैं, तो इस तरह के कंटेंट से भेदभाव भी हो रहा है और इससे लैंगिक आधार पर एक पक्ष को काफ़ी ज़्यादा नुकसान पहुँचाया जा रहा है (PC-27045 देखें).

इस कंटेंट में MMS बैंक का उपयोग:

बोर्ड ने इस बात पर भी गौर किया कि Meta किस तरह से MMS बैंक का उपयोग करता है. दूसरे केस से जुड़ी फ़ोटो (अमेरिकी सार्वजनिक हस्ती वाली) पहले ही MMS बैंक में थी, लेकिन पहले केस से जुड़ी फ़ोटो (भारतीय सार्वजनिक हस्ती वाली) बोर्ड के सवाल उठाने के बाद ही क्यों Meta ने बैंक में जोड़ी? Meta ने अपने जवाब में कहा कि उन्हें मीडिया रिपोर्टों से पता चला कि दूसरे केस से जुड़ी फ़ोटो सोशल मीडिया पर वायरल हो रही है और “इस कंटेंट के प्रसार से जुड़े व्यापक मसले को सुलझाने के लिए इसे बैंक में जोड़ा जाना ज़रूरी था.” उन्होंने आगे कहा कि पहले केस से जुड़ी कोई मीडिया रिपोर्ट उन्हें देखने को नहीं मिली थी, जिसके चलते उस केस से जुड़े कंटेंट के वायरल होने की बात उन्हें पता ही नहीं चली.

बोर्ड ने इस बात को प्रमुखता से उठाते हुए कहा है कि ऐसे तो बिना सहमति के बनाई गई डीपफ़ेक अंतरंग तस्वीरों के कई पीड़ित हो सकते हैं, जिनकी तस्वीरें अलग-अलग प्लेटफ़ार्म पर बार-बार शेयर की जा रही होंगी. हालाँकि, उनकी प्रोफ़ाइल के फ़ेमस नहीं होने से उन्हें तुरंत मदद नहीं मिल पाती होगी. ऐसे में या तो बिना सहमति के बनाई गई अपनी फ़ोटो को वायरल होते देखना उनकी मजबूरी बन जाती है या फिर हर जगह वह फ़ोटो ढूँढ-ढूँढकर उसकी रिपोर्ट करते रहते हैं, जिसमें बड़े पैमाने पर रिसोर्स खर्च होते हैं और उन्हें मानसिक रूप से काफ़ी आघात भी पहुँचता है. Witness की ओर से आए एक पब्लिक कमेंट में Meta से अपील की गई कि “रिपोर्टिंग की ज़िम्मेदारी पीड़ितों पर डालने की परंपरा बंद करें. साथ ही, एक ही कंटेंट की बार-बार रिपोर्ट करने की झंझट से भी छुटकारा दिलाएँ,” (PC-27095 देखें). बोर्ड ने भी इस मामले में चिंता जताई, खास तौर से उन क्षेत्रों या समुदायों के पीड़ितों पर पड़ने वाले प्रभावों को देखते हुए, जहाँ लोगों को सोशल मीडिया के बारे में बहुत ही कम जानकारी है. Meta ने बताया कि वयस्क यौन शोषण से जुड़ी पॉलिसी के तहत किसी व्यक्ति से सहमति नहीं ली गई है, इसका पता लगाने का एक तरीका NCII फ़ोटो लीक होने की मीडिया रिपोर्ट हैं. हालाँकि, यह जानकारी सार्वजनिक हस्तियों से जुड़े कंटेंट के मामले उपयोगी साबित हो सकती है, लेकिन यह ज़रूरी है कि Meta इस जानकारी पर ज़रूरत से ज़्यादा निर्भर न रहे, क्योंकि इससे किसी ऐसे आम व्यक्ति के मामले में जानकारी नहीं मिल पाती है. ऐसा इसलिए भी होता है, क्योंकि शायद उन लोगों की मीडिया रिपोर्ट नहीं बन पाती होगी. Meta को ऐसे संकेतों का भी उपयोग करना चाहिए, जिनसे किसी आम व्यक्ति की सहमति के बिना फ़ोटो जारी करने के मामले भी सामने आ जाएँ.

Meta द्वारा लागू किए गए उपायों की आनुपातिकता का निर्धारण करते समय, बोर्ड ने यूज़र्स पर प्रतिबंध लगाए जाने पर भी चर्चा की – खास तौर से इस बारे में कि क्या इन फ़ोटो को शेयर करने वाले (पहले यूज़र्स के साथ-साथ) हर एक व्यक्ति पर प्रतिबंध लगाया जाना चाहिए. RATI Foundation for Social Change की ओर से किए गए एक पब्लिक कमेंट में बताया गया कि डीपफ़ेक अंतरंग तस्वीरों के पीड़ितों की मदद करते समय उन्हें यह देखने को मिला कि, “ऐसे कई वीडियो को वायरल करवाने में और भी दूसरे अकाउंट की मदद ली जाती है. हालाँकि, जब उस पोस्ट को लेकर एक्शन लेने की बारी आती है, तो वह पोस्ट करने वाले मुख्य अकाउंट को ही प्रतिबंधित किया जाता है. वहीं दूसरा अकाउंट बच जाता है, जो कि दोषी व्यक्ति का ही वैकल्पिक अकाउंट होता है, जिसके ज़रिए वह फिर पोस्ट करने लगता है.” उन्होंने यह भी बताया कि उन्हें एक ही वीडियो की कई कॉपी देखने को मिली हैं, जिन्हें देखकर लगता है कि ऐसे कंटेंट पर रोक लगाने में MMS बैंक कारगर साबित होंगे (PC-27032 देखें). वहीं Digital Rights Foundation ने अपने कमेंट में बताया कि ऐसे कंटेंट पर MMS बैंक “एक सीमा तक ही रोक लगा सकते हैं, क्योंकि वे प्रतिबंधित फ़ोटो के सीमित डेटाबेस पर निर्भर हैं” और यह AI-जेनरेटेड फ़ोटो के मामले में कारगर साबित नहीं होंगे, क्योंकि AI से ऐसी नई फ़ोटो बड़ी आसानी से बनाई जा सकती हैं (PC-27072 देखें). इसलिए यह कह सकते हैं कि डीपफ़ेक अंतरंग तस्वीरों की इस बड़ी समस्या से निपटने के लिए Meta के पास MMS बैंक के तौर पर एक ही टूल मौजूदा है. हालाँकि, ऐसे हर मामले के खिलाफ़ एक्शन लेने से काफ़ी प्रभावी तरीके से एन्फ़ोर्समेंट तो हो सकता है, लेकिन इससे कुछ यूज़र्स के खिलाफ़ गलती से एक्शन लिए जाने की आशंका भी रहती है, जैसे कि कई यूज़र्स को पता ही नहीं होता कि वे जिस फ़ोटो के शेयर कर रहे हैं, वह AI-जेनरेटेड या बिना सहमति वाली है. बोर्ड ने माना कि वाकई में यह समस्या बड़ी जटिल है. Meta ने बोर्ड को बताया कि बेकसूर यूज़र्स के खिलाफ़ भी एन्फ़ोर्समेंट एक्शन होने की आशंका के चलते ही इस केस में MMS बैंक को एक्शन लेने के लिए कॉन्फ़िगर नहीं किया गया था. हालाँकि, कुछ एक मामलों में इस तरीके में बदलाव लाया गया और यूज़र्स अब ऐसे फ़ैसलों के खिलाफ़ अपील कर सकते हैं. परिस्थितियों में आए इस बदलाव को देखते हुए, बोर्ड ने Meta को इस बात पर एक बार फिर से विचार करने के लिए कहा है कि क्या इस तरह का एक्शन लिया जाना सही है.

बिना सहमति के अंतरंग तस्वीरें शेयर करनाऔर डीपफ़ेक अंतरंग तस्वीरों के बीच बहुत ही कम अंतर होता है:

अंत में, बोर्ड ने इस बात पर विचार किया कि क्या बिना सहमति वाली अंतरंग तस्वीरों को शेयर करना (NCII) और डीपफ़ेक अंतरंग तस्वीरों को Meta की पॉलिसी में अलग-अलग माना जाना चाहिए. जब फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट (जिसे पॉलिसी में सटीक नाम देकर उसके बारे में बताना बेहतर होगा, जिसके बारे में ऊपर वैधानिकता अनुभाग में चर्चा की गई है) से जुड़े प्रतिबंध को वयस्क यौन शोषण से जुड़ी पॉलिसी में शामिल करने की संभावना के बारे में पूछा गया, तो Meta ने बोर्ड को बताया कि इन दोनों कंटेंट की कैटेगरी बहुत अलग-अलग है, क्योंकि NCII एन्फ़ोर्समेंट से जुड़े नियमों के लिए सहमति नहीं होने का संकेत मिलना ज़रूरी होता है (जैसे कि लीक हुए कंटेंट के बारे में बदले की भावना वाले बयान या मीडिया रिपोर्ट), जबकि फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट के नियमों के तहत ऐसा संकेत मिलना ज़रूरी नहीं है. हालाँकि, यह एन्फ़ोर्समेंट का एक तरीका ही है, जिसे बेहतर बनाया जा सकता है, अगर हम यह देखें कि कंटेंट में दिखाए गए नग्न या अश्लील हिस्से AI-जेनरेटेड हैं, फोटोशॉप से बने हैं या ऐसे किसी और तरीके से बदले गए हैं, जिससे इस कंटेंट को बिना सहमति शेयर किए जाने का संकेत मिल सके. इसके अलावा, यह भी तय किया जा सकता है कि पॉलिसी का उल्लंघन मानने के लिए ऐसे कंटेंट का “नॉन-कमर्शियल होना या निजी जगह पर बनाया जाना” भी ज़रूरी नहीं है.

मौजूदा पॉलिसियों में पहले से ही काफ़ी समानताएँ हैं, जिनसे शायद यूज़र्स को उनके बीच का अंतर स्पष्ट न हो. बोर्ड के सवालों का जवाब देते हुए Meta ने कहा कि इन केस से जुड़े कंटेंट पर एन्फ़ोर्समेंट के एक्शन लेते समय, वयस्क यौन शोषण से जुड़ी पॉलिसी में अंतरंग तस्वीरों को आंतरिक रूप से इस तरह परिभाषित किया गया था: (i) निजी तौर पर की गई अश्लील बातचीत के स्क्रीनशॉट और (ii) किसी निजी जगह पर ली गई एक या एक से ज़्यादा लोगों की तस्वीरें, जिनमें छेड़छाड़ करके बनाई गई ऐसी तस्वीरें भी शामिल हैं, जिनमें पूरी तरह नग्न, काफ़ी हद तक नग्न या यौन गतिविधि में लिप्त लोगों को दिखाया गया हो.

AI-जेनरेटेड सभी अश्लील फ़ोटो बिना सहमति के बनाई जाती हैं, यह धारणा बना लेने से कभी-कभी ऐसी फ़ोटो भी हट सकती हैं, जिन्हें सहमति लेकर बनाया गया था. बोर्ड को इस बात की चिंता है कि कुछ मामलों में पूरी तरह से नग्नता या काफ़ी हद तक नग्नता दिखाने की अनुमति होती है, ऐसे में एन्फ़ोर्समेंट के एक्शन कड़ाई से लिए जाने पर समस्या हो सकती है, जैसा कि ब्रेस्ट कैंसर के लक्षण और नग्नता के केस, लैंगिक पहचान और नग्नता के केस, स्वयं स्तन का परीक्षण करने और अंडकोष के कैंसर की स्वयं जाँच करने से जुडे इंफ़ोग्राफ़िक के केस के फ़ैसलों के सारांश में देखने को मिलता है. हालाँकि, अश्लील डीपफ़ेक के केस में, फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट के खिलाफ़ एन्फ़ोर्समेंट Meta इसी सोच के साथ करता आया है कि इस पॉलिसी के दायरे में आने वाला और AI या फ़ोटोशॉप करके बनाया गया कोई भी अश्लील कंटेंट अनचाहा है या बिना सहमति वाला होता है. इस नई पॉलिसी के ज़रिए AI-जनरेटेड हर फ़ोटो पर रोक लगाना तो मुश्किल है (जैसे कि मौजूदा पॉलिसी के मामले में देखने को मिल रहा है), लेकिन Meta बिना सहमति वाले कंटेंट की इन दो कैटेगरी से जुड़े नियमों को मिलाकर NCII पर रोक लगाने के अपने अनुभव का उपयोग डीपफ़ेक अंतरंग तस्वीरों में सहमति के नहीं होने का पता लगाने में कर सकता है, ताकि इसके प्लेटफ़ॉर्म पर डीपफ़ेक अंतरंग कंटेंट को कम किया जा सके.

बोर्ड ने यह भी समझने का प्रयास किया कि इस प्रकार के कंटेंट से प्रभावित होने वाले लोगों के अधिकारों की रक्षा बेहतर तरीके से करने के लिए, क्या Meta को NCII और फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट से निपटने के अपने मौजूदा तरीके (जिसके तहत अभी तक यह माना जाता रहा है कि ऐसी तस्वीरें सहमति से बनती हैं और उन्हें प्लेटफ़ॉर्म से हटाने के लिए इनके बिना सहमति के बनाए जाने के संकेत मिलना ज़रूरी हैं) में बदलाव करके यह मान लेना चाहिए कि ऐसी तस्वीरें बिना सहमति के ही बनाई जाती हैं. हालाँकि, यह प्रस्तावित उपाय कितना व्यावहारिक और प्रभावी साबित होगा, इसका आकलन करने के बाद, बोर्ड ने निष्कर्ष निकाला कि इस तरह के उपाय से पॉलिसी का उल्लंघन नहीं करने वाले कंटेंट पर भी बड़े पैमाने पर रोक लगने की आशंका बनी रहेगी और एन्फ़ोर्समेंट के लिए Meta अभी जिन ऑटोमेटेड टूल्स पर निर्भर है, उनके ज़रिए इस उपाय को प्रभावी तरीके से लागू नहीं करवाया जा सकेगा.

समाधान की उपलब्धता

बोर्ड ने पहले केस में ऑटोमेटिक रूप से क्लोज़ हुई अपीलों को लेकर चिंता जताई है. मूल रिपोर्ट और Meta के प्लेटफ़ॉर्म से उस कंटेंट को नहीं हटाने के फ़ैसले के खिलाफ़ की गई अपील, दोनों को ही ऑटोमेटिक रूप से क्लोज़ कर दिया गया था. Meta ने बोर्ड को बताया कि “किसी भी तरह के उल्लंघन को लेकर रिपोर्ट किए गए कंटेंट (बाल यौन दुर्व्यवहार से जुड़े कंटेंट के अपवाद सहित) को उस स्थिति में ऑटोमेटिक रूप से क्लोज़ करने की ऑटोमेशन प्रोसेस के तहत बंद किया जा सकता है, जब हमारी टेक्नोलॉजी को उससे उल्लंघन होने की बहुत ज़्यादा संभावना नज़र नहीं आती और उसे 48 घंटों में रिव्यू नहीं किया जाता.”

ऐसा हो सकता है कि यूज़र्स ऑटोमेटिक रूप से क्लोज़ किए जाने की प्रोसेस के साथ-साथ इस तथ्य से भी बेखबर हों कि जब वे कंटेंट पर अपील करते हैं, तो असल में उसका रिव्यू शायद कभी नहीं किया जाता. इस बीच, पहले केस के मुताबिक डीपफ़ेक अंतरंग तस्वीरें हटवाने की कोशिश करने वाले पीड़ित और अन्य लोग कंटेंट की रिपोर्ट तो कर सकते हैं लेकिन उन्हें किसी असल रिव्यू के लिए इनकार कर दिया जाता है. इसके बाद, जब वे उस फ़ैसले पर अपील करते हैं तब भी उन्हें इसी स्थिति का सामना करना पड़ता है और वही ऑटोमेटिक रूप से क्लोज़ करने वाली प्रोसेस दोहराई जाती है.

इस केस में मिले कई पब्लिक कमेंट में फ़ोटो वाले यौन दुर्व्यवहार के लिए ऑटोमेटिक रूप से अपीलों को क्लोज़ करने की प्रोसेस अपनाने की निंदा की गई है. इन तस्वीरों की वजह से होने वाला नुकसान इतना गंभीर होता है कि रिव्यू के लिए 48 घंटे इंतज़ार करना भी हानिकारक हो सकता है. चुनावों के दौरान महिला राजनेताओं को निशाना बनाने वाली डीपफ़ेक अंतरंग तस्वीरों के उदाहरण देने वाले American Sunlight Project में बताया गया है कि “इस तरह के कंटेंट को देखने वाले लोगों की संख्या हज़ारों में हो सकती है, इसे नेशनल प्रेस में रिपोर्ट किया जा सकता है और यह किसी राजनैतिक उम्मीदवार की सार्वजनिक छवि को बिगाड़ सकता है, जिससे उनके प्रतिद्वंद्वियों के सामने उनका पक्ष कमज़ोर पड़ सकता है. भारत सहित ऐसे कुछ देश जहाँ यह केस हुआ, वहाँ उनकी ज़िन्दगी तक खतरे में पड़ सकती थी,” (PC-27058 देखें). सेंटर फ़ॉर प्रोटेक्टिंग वुमेन ऑनलाइन की ओर से ऐसी ही एक और बात रखी गई, जिसमें सावधान किया गया कि किसी चुनाव में इस तरह की तस्वीरों से उन संदर्भों में खास तौर पर गंभीर नुकसान होगा “जहाँ आम लोगों में डिजिटल साक्षरता कम है और जहाँ सोशल मीडिया पर पोस्ट किए गए मैसेज और फ़ोटो के प्रभाव से वोटर्स के प्रभावित होने की बहुत ज़्यादा संभावना है क्योंकि उनके लिए अधिकतर यह खबरों और जानकारी का खास सोर्स होता है,” (PC-27088). पीड़ितों की सार्वजनिक या निजी स्थिति चाहे जो भी हो, बेशक इन फ़ोटो को हटाने में देरी से उनकी प्राइवेसी को गंभीर नुकसान पहुँचता है और यह बेहद हानिकारक हो सकता है. बोर्ड ने इस बारे में सोचा कि क्या पीड़ितों को इस तरह के गंभीर नुकसान पहुँचाने वाले इस तरह के कंटेंट (डीपफ़ेक और NCII दोनों के ज़रिए) को ऑटोमेटिक रूप से क्लोज़ करने वाली प्रोसेस से बाहर कर दिया जाना चाहिए. बोर्ड, बड़े पैमाने पर कंटेंट मॉडरेशन से जुड़ी चुनौतियों और रिव्यू के लिए फ़्लैग किए गए कंटेंट को मैनेज करने में ऑटोमेटेड प्रोसेस पर निर्भर होने की ज़रूरत को समझता है, लेकिन वह उस नुकसान की गंभीरता को लेकर चिंतित है, जो पॉलिसी से जुड़े इस तरह के क्षेत्रों में इस प्रोसेस का उपयोग करने की वजह से हो सकता है. Meta के बड़े एन्फ़ोर्समेंट सिस्टम में ऑटोमेटिक रूप से क्लोज़ करने की प्रोसेस का उपयोग करने को लेकर सुझाव देने के लिए बोर्ड के पास Meta की सभी पॉलिसी में इस प्रोसेस के उपयोग से जुड़ी पर्याप्त जानकारी नहीं है, लेकिन वह इसे एक ऐसी समस्या मानता है जिसके मानवाधिकारों पर गंभीर प्रभाव हो सकते हैं, जिनमें सावधानी से जोखिम का आकलन और उन्हें कम करना ज़रूरी है.

6. ओवरसाइट बोर्ड का फ़ैसला

ओवरसाइट बोर्ड ने पहले केस (भारतीय सार्वजनिक हस्ती) में कंटेंट को बनाए रखने के Meta के मूल फ़ैसले को बदल दिया है और पोस्ट को हटाने के निर्देश दिए हैं, वहीं दूसरे केस (अमेरिकी सार्वजनिक हस्ती) में कंटेंट को हटाने के Meta के फ़ैसले को कायम रखा है.

7. सुझाव

कंटेंट पॉलिसी

1. यूज़र्स के लिए निश्चितता बढ़ाने और बिना सहमति वाले कंटेंट से जुड़ी अपनी पॉलिसी को मिलाने के लिए Meta को "फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट" के प्रतिबंध को वयस्क यौन शोषण पर बने कम्युनिटी स्टैंडर्ड में शामिल करना होगा.

बोर्ड उस स्थिति में ऐसा मानेगा कि इस सुझाव को लागू किया गया है, जब इस सेक्शन को धमकी और उत्पीड़न से जुड़ी पॉलिसी से हटा दिया जाएगा और वयस्क यौन शोषण से जुड़ी सार्वजनिक रूप से उपलब्ध पॉलिसी में शामिल किया जाएगा.

2. यूज़र्स के लिए निश्चितता बढ़ाने के लिए Meta को “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” के प्रतिबंध में “अपमानजनक” शब्द को “बिना सहमति वाला” शब्द में बदलना होगा.

बोर्ड उस स्थिति में ऐसा मानेगा कि इस सुझाव को लागू किया गया है, जब सार्वजनिक रूप से उपलब्ध कम्युनिटी स्टैंडर्ड में अपमानजनक अश्लील कंटेंट के प्रतिबंध में “अपमानजनक” शब्द को बदलकर “बिना सहमति वाला” कर दिया जाएगा.

3. यूज़र्स के लिए निश्चितता बढ़ाने और इस बात का ध्यान रखने के लिए कि इसकी पॉलिसी में मीडिया एडिट और जेनरेट करने से जुड़ी कई तरह की तकनीकों के बारे में बताया गया है, Meta को “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” के प्रतिबंध में “फ़ोटोशॉप करके बनाए गए” शब्द को छेड़छाड़ किए गए मीडिया के लिए किसी ज़्यादा व्यापक शब्द में बदलना होगा.

बोर्ड उस स्थिति में ऐसा मानेगा कि इस सुझाव को लागू किया गया है, जब “अपमानजनक अश्लील कंटेंट” के प्रतिबंध से “फ़ोटोशॉप करके बनाए गए” शब्द को हटा दिया जाएगा और उसकी जगह “छेड़छाड़ किया गया मीडिया” जैसा ज़्यादा व्यापक शब्द जोड़ा जाएगा.

4. बिना-सहमति वाले कंटेंट से जुड़ी अपनी पॉलिसी में एकरूपता लाने और उल्लंघन करने वाले कंटेंट का हटाया जाना सुनिश्चित करने में मदद के लिए Meta को वयस्क यौन शोषण से जुड़ी पॉलिसी में सहमति नहीं होने का नया सिग्नल जोड़ना होगा: यह संदर्भ कि कंटेंट AI-जेनरेटेड है या उससे छेड़छाड़ की गई है. इस विशेष संदर्भ वाले कंटेंट के लिए, पॉलिसी में यह भी बताया जाना चाहिए कि इसे उल्लंघन करने वाला मानने के लिए यह ज़रूरी नहीं कि वह “नॉन-कमर्शियल हो या किसी निजी जगह पर बनाया गया हो”.

बोर्ड उस स्थिति में ऐसा मानेगा कि इस सुझाव को लागू किया गया है, जब इस बदलाव को दिखाने के लिए, लोगों को ध्यान में रखकर बनाई गई और निजी आंतरिक गाइडलाइन, दोनों को अपडेट किया जाएगा.

प्रक्रिया संबंधी नोट:

ओवरसाइट बोर्ड के फ़ैसले पाँच मेंबर्स के पैनल द्वारा लिए जाते हैं और उन पर बोर्ड के अधिकांश मेंबर्स की सहमति होती है. ज़रूरी नहीं है कि बोर्ड के फ़ैसले, सभी सदस्यों की राय दर्शाएँ.

अपने चार्टर के तहत, ओवरसाइट बोर्ड उन यूज़र्स की अपील रिव्यू कर सकता है, जिनका कंटेंट Meta ने हटा दिया था और उन यूज़र्स की अपील जिन्होंने उस कंटेंट की रिपोर्ट की थी जिसे Meta ने बनाए रखा. साथ ही, बोर्ड Meta की ओर से रेफ़र किए गए फ़ैसलों का रिव्यू कर सकता है (चार्टर आर्टिकल 2, सेक्शन 1). बोर्ड के पास Meta के कंटेंट से जुड़े फ़ैसलों को कायम रखने या उन्हें बदलने का बाध्यकारी अधिकार है (चार्टर आर्टिकल 3, सेक्शन 5; चार्टर आर्टिकल 4). बोर्ड ऐसे गैर-बाध्यकारी सुझाव दे सकता है, जिनका जवाब देना Meta के लिए ज़रूरी है (चार्टर आर्टिकल 3, सेक्शन 4; आर्टिकल 4). जहाँ Meta, सुझावों पर एक्शन लेने की प्रतिबद्धता व्यक्त करता है, वहाँ बोर्ड उनके लागू होने की निगरानी करता है.

इस केस के फ़ैसले के लिए, बोर्ड की ओर से स्वतंत्र रिसर्च करवाई गई थी. बोर्ड को Duco Advisers की सहायता मिली, जो भौगोलिक-राजनैतिक, विश्वास और सुरक्षा तथा टेक्नोलॉजी के आपसी संबंध पर काम करने वाली एक एडवाइज़री फ़र्म है. Memetica ने भी रिसर्च संबंधी सेवाएँ दीं, जो ऑनलाइन नुकसान को कम करने के लिए जोखिम परामर्श और खतरे की आशंका से जुड़ी सेवाएँ देने वाला एक डिजिटल इनवेस्टिगेशन ग्रुप है.

मामले के निर्णयों और नीति सलाहकार राय पर लौटें