नया फ़ैसला, गैर-सहमति वाली डीपफ़ेक अंतरंग इमेज पर Meta के नियमों से संबंधित है

25 जुलाई 2024

भारत और संयुक्त राज्य अमेरिका की महिला सार्वजनिक हस्तियों से मिलती-जुलती प्रकट एआई इमेज के दो केस में, ओवरसाइट बोर्ड ने पाया कि दोनों पोस्ट को Meta के प्लेटफ़ॉर्म से हटाया जाना चाहिए था। डीपफ़ेक अंतरंग इमेज, महिलाओं और लड़कियों को असहज रूप से प्रभावित करती हैं - उनकी निजता और मानसिक और शारीरिक नुकसान से सुरक्षा के उनके अधिकारों का हनन करती हैं। ऐसे कंटेंट पर प्रतिबंध, व्यक्तियों को उनकी सहमति के बिना उनकी यौन इमेज बनाने और उसके प्रसार से रक्षा के लिए वैध हैं। नुकसान की गंभीरता को देखते हुए, प्रभावित लोगों की रक्षा के लिए एक मात्र तरीका है, कंटेंट को हटाना। इस मामले में हेरफेर वाले कंटेंट की लेबलिंग उचित नहीं है, क्योंकि नुकसान ऐसी इमेज को साझा करने और देखने के कारण होता है - न कि सिर्फ उनकी प्रामाणिकता के बारे में लोगों को गुमराह करने से। बोर्ड के सुझाव, इस प्रकार के कंटेंट पर Meta के नियमों को कहीं अधिक सहज बनाने और यूज़र के लिए गैर-सहमति वाली कामुक इमेज की रिपोर्टिंग को आसान बनाने की मांग करते हैं।

केस के बारे में

इन दोनों केसेज़ में, एआई से बनाई गई, महिलाओं की नग्न इमेज शामिल हैं, जिनमें से एक इमेज एक भारतीय सार्वजनिक हस्ती से मेल खाती है, जबकि दूसरी इमेज एक अमेरिकी सार्वजनिक हस्ती से मेल खाती है। पहले केस में, एक Instagram अकाउंट जो केवल भारतीय महिलाओं की, एआई से या हेरफेर से बनाई गई इमेज साझा करता था, इस अकाउंट से इमेज के एक सेट में एक नग्न महिला की पीठ की तस्वीर पोस्ट की गई, जिसमें उस महिला का चेहरा दिखाई दे रहा था। इस सेट में समुद्र तट पर पहने जाने वाले वस्त्र पहनी महिला की एक ऐसी ही तस्वीर भी थी, जो कि संभवतः प्रकट एआई हेरफेर की स्रोत सामग्री थी। दूसरे केस में भी एआई से बनाई गई एक प्रकट इमेज शामिल है, जो एक सार्वजनिक महिला हस्ती से मिलती जुलती है और यह मामला संयुक्त राज्य अमेरिका का है। इस इमेज में, जो कि एआई क्रिएशंस के लिए बने Facebook ग्रुप में पोस्ट की गई, नग्न महिला को स्पर्श किया जा रहा है। जिस प्रसिद्ध हस्ती से यह इमेज मेल खाती है, उसका नाम कैप्शन में लिखा गया है।

पहले केस (भारतीय सार्वजनिक हस्ती) में, एक यूज़र ने कंटेंट को पोर्नोग्राफ़ी बताते हुए Meta को शिकायत की थी, लेकिन चूंकि 48 घंटों के भीतर शिकायत की समीक्षा नहीं की गई थी, इसलिए इसे अपने-आप बंद कर दिया गया था। इसके बाद यूज़र ने Meta से अपील की, लेकिन इसे भी अपने-आप बंद कर दिया गया। आखिरकार यूज़र ने बोर्ड के समक्ष अपील दायर की। बोर्ड द्वारा इस केस का चुनाव करने के फलस्वरूप, Meta ने पाया कि कंटेंट को Instagram पर लाइव छोड़ने का मूल फ़ैसला त्रुटिवश हुआ, और उस पोस्ट को डराना-धमकाना और उत्पीड़न संबंधी कम्युनिटी स्टैंडर्ड का उल्लंघन करने की वजह से हटा दिया गया। बाद में, जब बोर्ड ने विचार-विमर्श करना शुरू किया, तो Meta ने उस अकाउंट को निष्क्रिय कर दिया, जिसने कंटेंट को पोस्ट किया था और प्रकट इमेज को मीडिया मैचिंग सर्विस (MMS) बैंक में जोड़ दिया।

दूसरे केस में (अमेरिकी सार्वजनिक हस्ती), प्रकट इमेज को पहले ही Meta की डराना-धमकाना और उत्पीड़न संबंधी पॉलिसी का उल्लंघन करने के लिए MMS बैंक में जोड़ दिया गया था और इस कारण इसे अपने-आप हटा दिया गया था। ये बैंक अपने-आप उन इमेज की खोज करते हैं और हटा देते हैं, जिन इमेज की पहचान मानव रिव्यूअर द्वारा पहले ही कंपनी के नियमों का उल्लंघन करने वाली इमेज के रूप में की गई हो। एआई से बनाई गई इमेज पोस्ट करने वाले यूज़र ने अपील की, लेकिन इसे अपने-आप बंद कर दिया गया था। तब यूज़र ने अपनी पोस्ट को रिस्टोर करने के लिए बोर्ड के समक्ष अपील की।

डीपफ़ेक अंतरंग इमेज सिंथेटिक मीडिया होते हैं, जिनमें डिजिटल रूप से हेरफेर करके वास्तविक लोगों को कामुक रूप में दर्शाया जाता है। एक वास्तविक इमेज बनाने के लिए कुछ ही तस्वीरों की आवश्यकता होने के कारण इसे बनाना आसान होता जा रहा है। एक रिपोर्ट के अनुसार, 2019 से ऑनलाइन डीपफ़ेक वीडियो में 550% की वृद्धि हुई है, जिनमें से अधिकांश में वास्तविक व्यक्तियों और लक्षित महिलाओं का कामुक चित्रण किया जाता है।

मुख्य निष्कर्ष

बोर्ड ने पाया कि दोनों इमेज ने Meta के नियम का उल्लंघन किया है, जो डराना-धमकाना और उत्पीड़न संबंधी पॉलिसी के तहत "अपमानजनक कामुक फ़ोटोशॉप" को प्रतिबंधित करता है। यह स्पष्ट है कि इन इमेज को वास्तविक सार्वजनिक हस्तियों के चेहरों को एक अलग (वास्तविक या काल्पनिक) नग्न देह के साथ दर्शाने के लिए संपादित किया गया है, जबकि प्रासंगिक सुराग, जैसे हैशटैग और कंटेंट कहां पोस्ट की गई थी, यह भी संकेत देते हैं कि ये एआई से बनाई गई इमेज हैं। दूसरे केस (अमेरिकी सार्वजनिक हस्ती) में, वयस्क नग्नता और यौन गतिविधि संबंधी पॉलिसी का अतिरिक्त उल्लंघन हुआ है, क्योंकि प्रकट इमेज में महिला के स्तन को दबाया जा रहा है। दोनों पोस्ट को हटाने का फ़ैसला Meta की मानवाधिकार जिम्मेदारियों के अनुरूप था।

बोर्ड का मानना है कि Meta के प्लेटफ़ॉर्म का इस्तेमाल करने वाले लोग नियमों को समझने में सक्षम होंगे। वैसे तो "अपमानजनक कामुक फ़ोटोशॉप" शब्द इन केसेज़ में पोस्ट करने वाले दो यूज़र के लिए पर्याप्त रूप से स्पष्ट होना चाहिए था, लेकिन आम तौर पर यह यूज़र के लिए पर्याप्त रूप से स्पष्ट नहीं है। जब बोर्ड ने Meta से इसका अर्थ पूछा, तो कंपनी ने कहा कि यह शब्द “हेरफेर की गई ऐसी इमेज के लिए है, जिन्हें इस तरह से कामुक स्वरूप दिया जाता है कि वे लक्षित व्यक्ति के लिए अवांछित हो सकती हैं और इस तरह ये अपमानजनक मानी जाती हैं।” बोर्ड ने नोट किया कि “गैर-सहमति” जैसा कोई दूसरा शब्द, इमेज के साथ अवांछित कामुक हेरफेर के विचार की स्पष्ट व्याख्या के लिए एक स्पष्ट विवरण होगा। इसके अतिरिक्त, बोर्ड का मानना है कि "फ़ोटोशॉप", उपलब्ध मीडिया हेरफेर तकनीकों, विशेष रूप से जनरेटिव एआई के लिए इतना संकीर्ण है कि इन्हें कवर नहीं कर सकता। इस नियम में Meta को यह स्पष्ट करने की आवश्यकता है कि इस कंटेंट पर प्रतिबंध, संपादन तकनीकों की व्यापक श्रेणी को कवर करता हो।

यह सुनिश्चित करने के लिए कि गैर-सहमति वाली कामुक इमेज पर प्रतिबंध लगाने वाले नियम अधिक सहज हों, बोर्ड का मानना है कि उन्हें डराना-धमकाना और उत्पीड़न संबंधी कम्युनिटी स्टैंडर्ड के बजाय वयस्कों का यौन शोषण संबंधी कम्युनिटी स्टैंडर्ड का हिस्सा होना चाहिए। इन दोनों केसेज़ में, यूज़र द्वारा इन्हें डराने-धमकाने और उत्पीड़न का मुद्दा मानने की संभावना कम ही होती। बाह्य अनुसंधान से पता चलता है कि यूज़र, उत्पीड़न और ट्रोलिंग के अलावा कई अन्य कारणों से ऐसे कंटेंट पोस्ट करते हैं, जिनमें दर्शक समूह बनाने, पेज से पैसा कमाने या यूज़र को पोर्नोग्राफ़िक साइटों सहित अन्य साइटों पर निर्देशित करने की इच्छा शामिल है। इसलिए, इन इमेज पर Meta के नियम अधिक स्पष्ट होंगे, यदि सहमति के अभाव और इस तरह के कंटेंट के प्रसार से होने वाले नुकसान पर विचार केंद्रित हो - न कि प्रत्यक्ष हमलों के प्रभाव पर, जो कि डराना-धमकाना और उत्पीड़न संबंधी पॉलिसी के तहत लागू करने में निहित है। इन नियमों के लिए, वयस्कों का यौन शोषण संबंधी पॉलिसी अधिक तार्किक होगी। यह पॉलिसी पहले से ही गैर-सहमति वाली अंतरंग इमेज पर प्रतिबंध लगाती है, जो कि समान प्रकार का मुद्दा है, क्योंकि दोनों ही इमेज-आधारित यौन दुरुपयोग के उदाहरण हैं। फिर, Meta पॉलिसी का नाम बदलकर “गैर-सहमति वाले यौन कंटेंट” रखने पर भी विचार कर सकता है।

बोर्ड ने नोट किया कि भारतीय सार्वजनिक हस्ती की तरह दिखने वाली इमेज को Meta द्वारा MMS बैंक में तब तक नहीं जोड़ा गया, जब तक कि बोर्ड ने इसका कारण नहीं पूछा। Meta ने अपनी प्रतिक्रिया में कहा कि उसने अमेरिकी सार्वजनिक हस्ती जैसी दिखने वाली इमेज को बैंक में जोड़ने के लिए मीडिया रिपोर्टों पर भरोसा किया था, लेकिन पहले केस में ऐसा कोई मीडिया संकेत नहीं था। यह चिंताजनक है, क्योंकि डीपफ़ेक अंतरंग इमेज के कई पीड़ित सार्वजनिक नजर में नहीं होते, और उन्हें या तो अपनी गैर-सहमति वाली इमेज के प्रसार को स्वीकार करने या हर घटना की तलाश करने और रिपोर्ट करने के लिए मजबूर होना पड़ता है। वयस्कों का यौन शोषण संबंधी पॉलिसी के तहत, सहमति के अभाव के मौजूदा संकेतों में से एक है, मीडिया में गैर-सहमति वाली अंतरंग इमेज के लीक होने की खबरें। यह तब उपयोगी हो सकता है, जब पोस्ट में सार्वजनिक हस्तियां शामिल हों, लेकिन प्राइवेट व्यक्ति विशेष के लिए यह उपयोगी नहीं है। इसलिए Meta को इस संकेत पर अत्यधिक निर्भर नहीं होना चाहिए। बोर्ड ने यह सुझाव भी दिया है कि यदि संदर्भ यह बताता है कि कंटेंट का नग्न या कामुक पहलू एआई से बनाया गया, फ़ोटोशॉप किया गया है या किसी अन्य तरीके से हेरफेर किया गया है, तो इसे गैर-सहमति का संकेत माना जाना चाहिए।

अंत में, बोर्ड, इमेज-आधारित यौन उत्पीड़न के लिए अपीलों के अपने-आप बंद होने को लेकर चिंतित है। होने वाले नुकसान को देखते हुए, रिव्यू के लिए 48 घंटे की प्रतीक्षा भी नुकसानदेह हो सकती है। बोर्ड के पास अभी तक Meta द्वारा अपने-आप बंद होने के सामान्य उपयोग के बारे में पर्याप्त जानकारी नहीं है, लेकिन बोर्ड का मानना है कि यह एक ऐसा मसला है, जिसका मानवाधिकार पर महत्वपूर्ण प्रभाव हो सकता है, जिसके लिए जोखिम का मूल्यांकन और शमन की आवश्यकता होगी।

ओवरसाइट बोर्ड का फ़ैसला

पहले केस में (भारतीय सार्वजनिक हस्ती), बोर्ड ने पोस्ट को छोड़ने के मूल फ़ैसले को बदल दिया। दूसरे केस में (अमेरिकी सार्वजनिक हस्ती), बोर्ड ने पोस्ट को हटाने के Meta के फ़ैसले को कायम रखा।

बोर्ड का सुझाव है कि Meta:

• "अपमानजनक कामुक फ़ोटोशॉप" पर प्रतिबंध को, वयस्कों का यौन शोषण संबंधी कम्युनिटी स्टैंडर्ड में ले जाए।
• "अपमानजनक कामुक फ़ोटोशॉप" पर प्रतिबंध में "अपमानजनक" शब्द को "गैर-सहमति" में बदले।
• "अपमानजनक कामुक फ़ोटोशॉप" पर प्रतिबंध में "फ़ोटोशॉप" शब्द को, हेरफेर वाले मीडिया के लिए अधिक सामान्यीकृत शब्द से बदले।
• वयस्कों का यौन शोषण संबंधी पॉलिसी में सहमति के अभाव के लिए एक नया संकेत जोड़कर गैर-सहमति वाले कंटेंट पर अपनी पॉलिसी को सुसंगत बनाए: ऐसा संदर्भ कि कंटेंट एआई से बनाया गया है या हेरफेर वाला है। इस विशिष्ट संदर्भ वाले कंटेंट के लिए, पॉलिसी में इस बात को भी स्पष्ट किया जाना चाहिए कि उल्लंघनकारी होने के लिए, इसे “गैर-वाणिज्यिक या निजी सेटिंग में निर्मित” होना आवश्यक नहीं है।

अधिक जानकारी के लिए

To read a synopsis of public comments for this case, please click here.

समाचार पर लौटें