हगिंग फेस ने ब्राउज़र में AI चलाने के लिए 207 WebGPU कर्नल जारी किए

हगिंग फेस की WebAI टीम ने @huggingface/kernels नाम की एक नई जावास्क्रिप्ट लाइब्रेरी जारी की है, जो ब्राउज़र के अंदर ही AI मॉडल चलाने में मदद करती है। यह हर मशीन लर्निंग ऑपरेशन को अलग से करने वाले छोटे GPU प्रोग्राम, यानी WebGPU कर्नल, को डाउनलोड करके चलाती है — इसी से प्रशिक्षित मॉडल से नतीजा तैयार करने की प्रक्रिया, यानी इनफरेंस, सीधे ब्राउज़र के भीतर चल पाती है। इसके साथ ही कंपनी ने huggingface.co/webgpu-kernels पर Apache-2.0 ओपन-सोर्स लाइसेंस के तहत 207 कर्नल का शुरुआती संग्रह भी जारी किया।

जब कोई मॉडल ब्राउज़र में चलता है, तो वह मैट्रिक्स मल्टीप्लिकेशन, नॉर्मलाइज़ेशन, कनवोल्यूशन, अटेंशन कैलकुलेशन और क्वांटाइज़ेशन जैसे कई GPU ऑपरेशन की एक श्रृंखला बन जाता है। WebGPU एक ऐसी तकनीक है जो वेब पेजों को डिवाइस के GPU तक सीधी पहुंच देती है, जबकि WGSL वह भाषा है जिसमें इन ऑपरेशन को चलाने वाले शेडर, यानी छोटे प्रोग्राम, लिखे जाते हैं। एक जैसा नतीजा देने वाले दो शेडर भी अलग-अलग डिवाइस पर बहुत अलग रफ्तार से चल सकते हैं, और सबसे तेज़ विकल्प इनपुट शेप, डिवाइस और ब्राउज़र के हिसाब से बदल सकता है।

हर कर्नल अपने खुद के, वर्ज़न-नंबर वाले रिपॉज़िटरी के रूप में जारी होता है। इसमें इनपुट, आउटपुट, एट्रिब्यूट और सपोर्टेड डेटा टाइप तय करने वाली मैनिफेस्ट फाइल, करेक्टनेस टेस्ट केस, बेंचमार्क केस और WGSL शेडर टेम्पलेट शामिल होते हैं। उदाहरण के तौर पर, हगिंग फेस ai.onnx.Add कर्नल का ज़िक्र करती है, जो एलिमेंटवाइज़ एडिशन करता है, जिसका इस्तेमाल रेज़िडुअल कनेक्शन और बायस जोड़ने जैसे कामों में होता है। इसका रिपॉज़िटरी इसके इनपुट, आउटपुट शेप और डेटा टाइप का दस्तावेज़ीकरण करता है।

हगिंग फेस ने Fleet नाम का एक नया टूल भी लॉन्च किया है, जो विज़िटर के अपने डिवाइस पर ही ब्राउज़र के भीतर कर्नल को बेंचमार्क और टेस्ट करता है। उपयोगकर्ता की सहमति से, हर रन कंपनी की अपनी लैब में जांचे न जा सकने वाले डिवाइस से डेटा जोड़ता है, जिससे कंपनी को गलत नतीजों या असामान्य रूप से धीमे मामलों जैसी खामियां पहचानने में मदद मिलती है।

डेवलपर npm के ज़रिए @huggingface/kernels@preview पैकेज इंस्टॉल कर सकते हैं। इसके इस्तेमाल के लिए WebGPU को सपोर्ट करने वाला ब्राउज़र चाहिए, जिसे जावास्क्रिप्ट में navigator में "gpu" की मौजूदगी देखकर जांचा जा सकता है। इसके बाद Hub रिपॉज़िटरी ID तथा वर्ज़न नंबर के साथ getKernel को कॉल करके कोई कर्नल लोड किया जाता है।