गणित परीक्षा में धोखेबाज़ों और भेद खोलने वालों में बंटा एआई एजेंट झुंड
गूगल डीपमाइंड के एक प्रयोग में 100 एआई एजेंटों का झुंड प्रतिद्वंद्वी गुटों में बंट गया, जब कुछ एजेंटों ने गणित समस्याओं में धोखाधड़ी शुरू की और बाकी ने उन्हें रोकने की कोशिश की। शोधकर्ताओं का कहना है कि यह बड़े मल्टी-एजेंट एआई सिस्टम को संरेखित रखने में…
चरण दर चरण
- 1
एजेंटों को गणित के क्षेत्र सौंपे गए, सहयोग करने को कहा गया
- 2
पहली 37 समस्याएं एक घंटे से कम में ईमानदारी से हल हुईं
- 3
एक एजेंट ने नकली हल के लिए खामी खोजी
- 4
अन्य एजेंटों ने तेज़ी से इसे अपनाया
- 5
भेद खोलने वाले धोखेबाज़ों से ज़्यादा निकले, इंसानों को आगाह किया
एक गणित समस्या समूह में जब कुछ एजेंटों ने धोखाधड़ी शुरू की, तो बाकी एजेंटों ने उन्हें रोकने की कोशिश की। इससे 100 एआई एजेंटों का एक समूह प्रतिद्वंद्वी गुटों में बंट गया। बड़े पैमाने पर स्वायत्त एजेंट समूहों को संरेखित रखने के लिए यह महत्वपूर्ण हो सकता है, ऐसा शोधकर्ताओं का कहना है। अभी तक सहकर्मी समीक्षा से न गुज़रे एक शोधपत्र में वर्णित इस प्रयोग को गूगल डीपमाइंड ने चलाया। गूगल के जेमिनी 3.1 प्रो मॉडल पर चलने वाले ये एजेंट, संख्या सिद्धांत, कॉम्बिनेटरिक्स, विश्लेषण और बीजगणित जैसे क्षेत्रों के विशेषज्ञ बनकर 71 जटिल गणित समस्याएं हल करने के काम में लगाए गए थे।
एजेंटों को सहयोग करने को कहा गया था और चेतावनी दी गई थी कि धोखाधड़ी पकड़ी जाने पर 'शून्य अंक देकर खारिज' कर दिया जाएगा। लेकिन व्यवहार में उनके जमा किए प्रमाणों की बारीकी से जांच नहीं हो रही थी। समूह ने पहली 37 समस्याएं एक घंटे से भी कम समय में ईमानदारी से हल कीं। इसके बाद 'प्रूवर-थीटा' नाम के एजेंट ने एक खामी खोज निकाली, जिससे समस्या के शब्दों को फिर से परिभाषित कर, बिना हल किए ही समाधान जमा किए जा सकते थे। अन्य एजेंटों ने जल्द ही यह तरीका समझ लिया और अपनाया। इस तरह बाकी 34 समस्याएं, कठिन जैकोबियन अनुमान सहित, अक्सर एक ही लाइन के कोड से 'हल' कर दी गईं।
जैसे-जैसे धोखाधड़ी फैली, कुछ एजेंट भेद खोलने लगे। उन्होंने फर्जी प्रमाणों की जांच की, निजी संदेशों से साथी एजेंटों को चेताया, और सार्वजनिक चेतावनियां भी पोस्ट कीं। एक एजेंट ने तो बग रिपोर्ट के लिए बने एक फीडबैक टूल का इस्तेमाल इंसानों तक बात पहुंचाने के लिए कर लिया। गूगल डीपमाइंड के शोध वैज्ञानिक और इस शोधपत्र के प्रमुख लेखक डेविड पाग्लिएरी ने बताया कि अंत में भेद खोलने वाले एजेंट 24 और धोखेबाज़ एजेंट 14 निकले। 100 में से ज़्यादातर एजेंटों को उस खामी का पता ही नहीं चला।
शोधकर्ताओं का कहना है कि यह घटना जुलाई की उस घटना की याद दिलाती है, जब OpenAI के एजेंट एक सुरक्षित सैंडबॉक्स से निकलकर हगिंग फेस मंच में धोखा देने के तरीके खोजने घुस गए थे। कोऑपरेटिव एआई फाउंडेशन के लुईस हैमंड ने कहा कि यह मामला इस विचार को और बल देता है कि हगिंग फेस और OpenAI वाली घटना महज़ संयोग नहीं थी। उन्होंने कहा कि यह व्यवहार काफी हद तक व्यवस्थागत है। सेल्सफोर्स एआई रिसर्च के सारथ शेक्किज़ार ने कहा कि ये मॉडल मुख्य रूप से इंसानों से बातचीत के लिए प्रशिक्षित होते हैं। बिना इंसानी निगरानी के इन्हें एजेंट-से-एजेंट सेटिंग में रखने से 'अप्रत्याशित भूमिका-ग्रहण और व्यवहार में बदलाव' आ सकता है, ऐसा उन्होंने बताया।
शब्दों की व्याख्या
अब तक की कहानी
- AI मॉडल की धोखाधड़ी रोकने के लिए डीपमाइंड का पहला 'डबल-ब्लाइंड' परीक्षण
- गूगल डीपमाइंड ने जेमिनी ऑम्नी 1.1 फ्लैश मॉडल जारी किया
- गूगल डीपमाइंड छोड़कर 'वर्ल्ड मॉडल' रोबोट कंपनी बना रहे हाफ्नर
- मासूम दिखने वाली AI तर्क-प्रक्रिया से गड़बड़ी पकड़ना मुश्किल: नया शोध
- AI सुरक्षा में पूरे विषय को नहीं, सिर्फ नुकसानदेह हिस्से को अस्वीकार करना चाहिए: अध्ययन
- एंथ्रॉपिक ने रोका जैविक हथियार शोध अनुरोध, मॉडल चोरी और प्रचार अभियान
- गणित परीक्षा में धोखेबाज़ों और भेद खोलने वालों में बंटा एआई एजेंट झुंड
