क्लाउड वार्तालाप – एंथ्रोपिक ने नया डेटा प्रकाशित किया है जो दर्शाता है कि कैसे उपयोगकर्ता अपनी मानवीय प्रवृत्ति की उपेक्षा करते हुए इसके क्लाउड एआई चैटबॉट द्वारा प्रदान की गई सलाह का निर्विवाद रूप से पालन करने की अधिक संभावना रखते हैं। ये निष्कर्ष पिछले सप्ताह ‘प्रभारी कौन है?’ शीर्षक वाले एक शोध पत्र में प्रकाशित हुए थे। रियल-वर्ल्ड एलएलएम उपयोग में डिसएम्पावरमेंट पैटर्न’ जिसे एंथ्रोपिक और टोरंटो विश्वविद्यालय के शोधकर्ताओं द्वारा लिखा गया है।
नव प्रकाशित पेपर एआई चैटबॉट के साथ बातचीत करते समय उपयोगकर्ताओं को ‘अशक्त’ नुकसान का अनुभव करने की क्षमता को मापने का प्रयास करता है। यह उन तरीकों की पहचान करता है जिनसे एआई चैटबॉट किसी उपयोगकर्ता के विचारों या कार्यों पर नकारात्मक प्रभाव डाल सकता है, जैसे कि एक साजिश सिद्धांत (वास्तविकता विरूपण) में उपयोगकर्ता के विश्वास को मान्य करना, एक उपयोगकर्ता को यह विश्वास दिलाना कि वे एक जोड़-तोड़ वाले रिश्ते (विश्वास विरूपण) में हैं, और एक उपयोगकर्ता को ऐसे कार्य करने के लिए राजी करना जो उनके मूल्यों (क्रिया विरूपण) के साथ संरेखित नहीं हैं। 1 से अधिक का विश्लेषण करने पर.
इसके क्लाउड एआई चैटबॉट के साथ 5 मिलियन अज्ञात वास्तविक दुनिया उपयोगकर्ता वार्तालापों में, अध्ययन में पाया गया कि 1,300 वार्तालापों में से 1 ने वास्तविकता विरूपण के संकेत दिखाए जबकि 6,000 वार्तालापों में से 1 ने कार्रवाई विरूपण का सुझाव दिया। हालांकि इन परिणामों से पता चलता है कि एआई चैटबॉट्स के साथ उपयोगकर्ता की बातचीत में हेरफेर पैटर्न अपेक्षाकृत दुर्लभ हैं, फिर भी वे पूर्ण आधार पर एक संभावित बड़ी समस्या का प्रतिनिधित्व करते हैं।
एंथ्रोपिक ने 29 जनवरी को प्रकाशित एक ब्लॉग पोस्ट में स्वीकार किया, “…एआई का उपयोग करने वाले लोगों की भारी संख्या, और कितनी बार इसका उपयोग किया जाता है, को देखते हुए, बहुत कम दर भी बड़ी संख्या में लोगों को प्रभावित करती है।” एन्थ्रोपिक ने कहा।
इसमें कहा गया है, “हमने यह भी पाया है कि समय के साथ संभावित रूप से कमजोर करने वाली बातचीत की दर बढ़ रही है।” उदाहरण के लिए, अध्ययन में पाया गया कि 50 में से 1 और 70 में से 1 बातचीत में अशक्तीकरण का कम से कम ‘हल्का’ संभावित जोखिम था। अध्ययन में, ‘अशक्तीकरण’ शब्द को इस प्रकार परिभाषित किया गया है “जब उपयोगकर्ता के विश्वासों, मूल्यों या कार्यों को आकार देने में एआई की भूमिका इतनी व्यापक हो जाती है कि उनका स्वायत्त निर्णय मौलिक रूप से समझौता हो जाता है।
“इस विज्ञापन के नीचे कहानी जारी है। एंथ्रोपिक के निष्कर्ष एआई मनोविकृति के बढ़ने के बारे में बढ़ती चिंताओं के बीच आए हैं, जो एक गैर-नैदानिक शब्द है जिसका उपयोग झूठी या परेशान करने वाली मान्यताओं, या एआई चैटबॉट के साथ लंबी बातचीत के बाद उपयोगकर्ताओं द्वारा अनुभव की गई भव्यता या पागल भावनाओं के भ्रम का वर्णन करने के लिए किया जाता है। एआई उद्योग, और विशेष रूप से ओपनएआई, को एआई के साथ लंबी बातचीत के बाद कथित तौर पर आत्महत्या से कई किशोर उपयोगकर्ताओं की मृत्यु के बाद नीति निर्माताओं, शिक्षकों और बाल-सुरक्षा अधिवक्ताओं से बढ़ी हुई जांच का सामना करना पड़ा है। ChatGPT जैसे चैटबॉट्स OpenAI के स्वयं के अध्ययन से पता चला है कि एक मिलियन से अधिक ChatGPT उपयोगकर्ता (0.
साप्ताहिक सक्रिय उपयोगकर्ताओं में से 07 प्रतिशत) ने उन्माद, मनोविकृति या आत्मघाती विचारों सहित मानसिक स्वास्थ्य आपात स्थिति के लक्षण प्रदर्शित किए। पिछले महीने, रोमन कैथोलिक चर्च के प्रमुख पोप लियो XIV ने अत्यधिक स्नेही एआई चैटबॉट्स के नुकसान के बारे में कड़ी चेतावनी जारी की थी और सख्त विनियमन का आह्वान किया था।
एंथ्रोपिक के अध्ययन में और क्या पाया गया? यह आकलन करने के लिए कि जब एआई चैटबॉट वार्तालाप ने संभावित उपयोगकर्ता हेरफेर के संकेत दिखाए, तो शोधकर्ताओं ने क्लियो नामक एक स्वचालित विश्लेषण उपकरण और वर्गीकरण प्रणाली के माध्यम से लगभग 1.5 मिलियन अज्ञात क्लाउड वार्तालापों को चलाया।
अध्ययन ने चार प्रमुख प्रवर्धक कारकों की पहचान की है जो उपयोगकर्ताओं को क्लाउड की सलाह को निर्विवाद रूप से स्वीकार करने की अधिक संभावना बना सकते हैं: इस विज्ञापन के नीचे कहानी जारी है – जब कोई उपयोगकर्ता क्लाउड को एक निश्चित प्राधिकारी के रूप में मानता है (3,900 क्लाउड वार्तालापों में से 1)। – जब किसी उपयोगकर्ता ने क्लाउड से घनिष्ठ व्यक्तिगत लगाव बना लिया हो (1,200 क्लाउड वार्तालापों में से 1)।
– जब कोई उपयोगकर्ता अपने जीवन में किसी संकट या व्यवधान के कारण विशेष रूप से असुरक्षित होता है (300 क्लाउड वार्तालापों में से 1)। इस जोड़-तोड़ वाली बातचीत कैसी दिखती है, इस पर एंथ्रोपिक ने कहा, “वास्तविकता विरूपण क्षमता के मामलों में, हमने ऐसे पैटर्न देखे जहां उपयोगकर्ताओं ने अटकलें सिद्धांत या निराधार दावे प्रस्तुत किए, जिन्हें बाद में क्लाउड (“पुष्टि,” “बिल्कुल,” “100%) द्वारा मान्य किया गया।
” यह भी पढ़ें | एआई मॉडल व्यवहार पर चिंताएं बढ़ने पर एंथ्रोपिक ने क्लाउड के लिए एक ‘संविधान’ का मसौदा तैयार किया। वास्तविक वास्तविकता विरूपण के मामलों में, जिसे एंथ्रोपिक ने सबसे अधिक चिंता का विषय बताया, बातचीत कभी-कभी उपयोगकर्ताओं द्वारा टकराव वाले संदेश भेजने, रिश्तों को खत्म करने, या सार्वजनिक घोषणाओं का मसौदा तैयार करने तक बढ़ जाती है। “यहाँ, उपयोगकर्ताओं ने रोमांटिक रुचियों या परिवार के सदस्यों को क्लाउड-ड्राफ़्टेड या क्लाउड-प्रशिक्षित संदेश भेजे।
इसके बाद अक्सर अफसोस की अभिव्यक्ति होती थी: “मुझे अपने अंतर्ज्ञान की बात सुननी चाहिए थी” या “आपने मुझसे बेवकूफी भरी हरकतें करवाईं,” एंथ्रोपिक ने कहा। अध्ययन में यह भी पाया गया कि 2024 के अंत और 2025 के अंत के बीच क्लाउड वार्तालापों के उपयोगकर्ताओं को मामूली या गंभीर रूप से कमजोर करने की संभावना बढ़ गई। एंथ्रोपिक ने कहा, “जैसे-जैसे एक्सपोज़र बढ़ता है, उपयोगकर्ता कमजोर विषयों पर चर्चा करने या सलाह लेने में अधिक सहज हो सकते हैं।”
कहानी इस विज्ञापन के नीचे जारी है सीमाएं शोधकर्ताओं ने स्वीकार किया कि क्लाउड वार्तालापों का उनका विश्लेषण केवल “पुष्टि की गई क्षति के बजाय शक्तिहीनता की क्षमता” को मापता है और “अंतर्निहित रूप से व्यक्तिपरक घटनाओं के स्वचालित मूल्यांकन पर निर्भर करता है।” उन्होंने आगे सुझाव दिया कि टैंगो में दो लगते हैं। “उपयोगकर्ता और क्लाउड के बीच गतिशील बातचीत के हिस्से के रूप में अशक्तीकरण की संभावना उभरती है।
उपयोगकर्ता अक्सर अपनी स्वयं की स्वायत्तता को कमज़ोर करने में सक्रिय भागीदार होते हैं: प्राधिकरण को प्रोजेक्ट करना, निर्णय सौंपना, आउटपुट को बिना किसी सवाल के स्वीकार करना जो क्लाउड के साथ फीडबैक लूप बनाता है, ”एंथ्रोपिक ने कहा।