साइंस टेक पल्स
एआई मॉडल

संकुचित AI मॉडल ने अपने ही पूर्ण-आकार मूल संस्करण को पीछे छोड़ा, नई तकनीक से यह संभव

QAH नाम की एक नई तकनीक, 4-बिट तक संकुचित किए गए AI मॉडल को उसी पूर्ण-सटीकता वाले बड़े मूल मॉडल से बेहतर प्रदर्शन करने में मदद करती है, एक नए शोध-पत्र के अनुसार।

चरण दर चरण

  1. 1

    लेयर, हेड और न्यूरॉन घटाना

  2. 2

    बचे वज़न को 4-बिट में क्वांटाइज़ करना

  3. 3

    QAH मूल मॉडल से सीधे डिस्टिलेशन करता है

  4. 4

    संकुचित मॉडल मूल मॉडल से आगे निकलता है

किसी बड़े भाषा मॉडल को सस्ते में चलाने लायक बनाने के लिए छोटा करना लगभग हमेशा कुछ न कुछ नुकसान लेकर आता है। आम तरीका यह है कि पहले मॉडल की संरचना को संकुचित किया जाए। इसमें लेयर, अटेंशन-हेड या न्यूरॉन की संख्या घटाई जाती है। फिर बचे हुए वज़न को क्वांटाइज़ किया जाता है। यानी हर संख्या को 16 बिट की बजाय सिर्फ़ 4 बिट में सहेजा जाता है, ताकि मेमोरी और कंप्यूटिंग ज़रूरत और घट जाए। दोनों कदम संसाधन बचाते हैं, लेकिन साथ मिलकर आमतौर पर मॉडल की तर्कशक्ति, गणित और कोडिंग क्षमता को कमज़ोर कर देते हैं। इसलिए डेवलपर्स संकुचित मॉडल को इस्तेमाल में लाने से पहले "हीलिंग" नाम का एक सुधार चरण जोड़ते हैं।

QAH नाम की एक नई हीलिंग तकनीक का वर्णन करने वाला शोध-पत्र सामने आया है। GPT-OSS 120B नाम के एक ओपन-वेट मॉडल को 60 अरब पैरामीटर तक संकुचित किया गया। पैरामीटर वे आंतरिक मान हैं जो मॉडल प्रशिक्षण के दौरान सीखता है। इसके बाद मॉडल को MXFP4 नामक 4-बिट प्रारूप में क्वांटाइज़ किया गया। QAH तकनीक से बना मॉडल अपने ही पूर्ण-सटीकता वाले 16-बिट संस्करण को 9 में से 7 बेंचमार्क में पीछे छोड़ गया। साथ ही यह आकार में छोटा और चलाने में सस्ता भी था।

आम हीलिंग तकनीक, यानी QAT, संकुचित मॉडल को उसके मूल प्रशिक्षण लक्ष्य पर लगातार फ़ाइन-ट्यून करती रहती है। यह महंगी है और कई बार अस्थिर भी हो सकती है। QAD नाम की एक नई तकनीक, उसी संरचना के पूर्ण-सटीकता वाले "टीचर" संस्करण के आउटपुट की नकल करना संकुचित मॉडल को सिखाती है। लेकिन अगर किसी मॉडल की लेयर या न्यूरॉन भी हटाए जा चुके हों, तो उस छोटी संरचना का कोई असली पूर्ण-सटीकता संस्करण मौजूद ही नहीं होता। ऐसे में कोई टीचर नहीं बन सकता। QAH इसे अलग तरीके से हल करता है: यह संकुचन से पहले के असली मूल मॉडल से सीधे डिस्टिलेशन करता है। टीचर और संकुचित "स्टूडेंट" मॉडल की संरचना तक एक जैसी नहीं होती। फिर भी टीचर का आउटपुट पैटर्न स्टूडेंट का मार्गदर्शन कर सकता है, क्योंकि यह मॉडल के आकार या ढांचे पर निर्भर नहीं करता।

स्टूडेंट मॉडल को एक स्थिर टीचर आउटपुट से जोड़े रखने से प्रशिक्षण और स्थिर हो जाता है, शोधकर्ताओं का कहना है। इससे सामान्य प्रशिक्षण में होने वाला लगातार भटकाव खत्म हो जाता है। AA-LCR बेंचमार्क पर QAH मॉडल ने 42.7 अंक हासिल किए, जबकि सामान्य तरीके से रिकवर किए गए मॉडल ने 35.3 अंक पाए। AIME 2025 गणित प्रतियोगिता बेंचमार्क पर QAH मॉडल ने 76.3 अंक पाए, दूसरे ने 70.7।

शब्दों की व्याख्या

#AI models#quantization#model compression#open-weight AI
इस खबर को रेटिंग दें

संबंधित खबरें