AI मॉडल की धोखाधड़ी रोकने के लिए डीपमाइंड का पहला 'डबल-ब्लाइंड' परीक्षण

गूगल डीपमाइंड का कहना है कि उसने अपने एक स्वामित्व वाले, अग्रणी AI मॉडल का दुनिया का पहला 'डबल-ब्लाइंड' मूल्यांकन किया है। यह 'बेंचमार्क संदूषण' नाम की समस्या से निपटने की कोशिश है, यानी मॉडल का पहले से ही उन सवालों को देख लेना जिनसे उसका परीक्षण होना है। 27 अगस्त को प्रकाशित एक ब्लॉग पोस्ट में कंपनी ने इसकी तुलना उस छात्र से की जो परीक्षा के सवाल पहले ही देख लेता है। जब परीक्षा छात्र के असली ज्ञान को माप ही नहीं पाती, तो पूरा नंबर बेमानी हो जाता है।

इस मूल्यांकन के लिए डीपमाइंड ने सिंगापुर AI सेफ्टी इंस्टीट्यूट, ओपनमाइंड्स, AVERI और MLCommons के साथ साझेदारी की। उन्होंने एक जेमिनी फ़्लैश लाइट मॉडल को कंपनी द्वारा 'बॉक्स' कहे जाने वाले क्रिप्टोग्राफ़िक माहौल के भीतर गोपनीय बेंचमार्क के सामने परखा। यह माहौल इस तरह बनाया गया है ताकि मॉडल बाद के मूल्यांकनों से पहले अपने प्रदर्शन को बेहतर करने के लिए इन सवालों का इस्तेमाल न कर सकें।

गूगल का कहना है कि वह विकास और तैनाती के दौरान अपने AI सिस्टम का व्यापक तरीकों से मूल्यांकन करता है, लेकिन सिर्फ़ आंतरिक परीक्षण पर निर्भर नहीं रहता। इसके बजाय वह विशेष शोध संस्थानों, नागरिक समाज संगठनों और राष्ट्रीय AI सुरक्षा संस्थानों जैसे बाहरी समूहों के साथ मिलकर कमियां ढूंढता है। कंपनी ने कहा कि जैसे-जैसे AI मॉडल ज़्यादा सक्षम होते जा रहे हैं, यह सुनिश्चित करना और ज़रूरी होता जा रहा है कि मॉडल ने पहले से परीक्षण के सवाल न देखे हों। मूल्यांकन के सवालों को पहले से 'झांक' लेने से स्कोर कृत्रिम रूप से बढ़ सकता है, और इससे नतीजों पर भरोसा कमज़ोर हो सकता है।

बाहरी परीक्षण सवालों को गोपनीय रखने के लिए ज़ीरो-लॉगिंग नियम और अनुबंध-आधारित सुरक्षा उपाय लंबे समय से इस्तेमाल होते रहे हैं। डीपमाइंड ने कहा कि इस प्रक्रिया में तकनीकी और क्रिप्टोग्राफ़िक सुरक्षा उपाय जोड़ना पहली बार हुआ है, ताकि बेंचमार्क नतीजे दूषित होने से और बेहतर तरीके से रोके जा सकें।