உரையையும் படங்களையும் ஒரே நெட்வொர்க்கில் படிக்கும் புதிய AI மாடல் NeoMME

Hcompany நிறுவனம் NeoMME எனும் இரண்டு ஓப்பன்-சோர்ஸ் என்கோடர் AI மாடல்களை வெளியிட்டுள்ளது. ஒன்றில் 260 மில்லியன் பாராமீட்டர்களும், மற்றொன்றில் 800 மில்லியன் பாராமீட்டர்களும் உள்ளன. இவை உரை மற்றும் படங்கள் இரண்டையும் கம்ப்யூட்டர் ஒப்பிட்டு தேடக்கூடிய கணிதவியல் குறியீடாக (எம்பெடிங்) மாற்ற வடிவமைக்கப்பட்டவை. தனி பட-அடையாளம் காணும் பகுதியையும் தனி உரை-உருவாக்கும் மொழி மாடலையும் இணைக்கும் பல தற்போதைய AI அமைப்புகளைப் போலல்லாமல், NeoMME ஒரே டிரான்ஸ்பார்மர் நெட்வொர்க்கைப் பயன்படுத்துகிறது. இது உரை டோக்கன்களையும் மூல பட ஒட்டுகளையும் ஒன்றாகச் செயலாக்குகிறது. இது பல நவீன AI அமைப்புகளுக்கு அடிப்படையான ஒரு நரம்பியல் வலைப்பின்னல் வகை. இந்த மாடல் மாஸ்க்ட் டிஸ்க்ரீட் டிஃப்யூஷன் எனும் முறையில் புதிதாகப் பயிற்றுவிக்கப்பட்டது; இதில் உரையிலிருந்து வேண்டுமென்றே மறைக்கப்பட்ட சொற்களை மாடல் யூகிப்பதன் மூலம் கற்றுக்கொள்கிறது.

ஆவணப் படங்களைத் தேடும் பணிக்காக டெவலப்பர்கள் NeoMME மாடலை ஃபைன்-டியூன் செய்துள்ளனர். இதாவது, முன்பே எடுக்கப்பட்ட உரையைப் பயன்படுத்தாமல், பக்கத்தின் அமைப்பு, அட்டவணைகள், விளக்கப்படங்கள், எழுத்துருக்கள் ஆகியவற்றின் அடிப்படையிலேயே சரியான ஆவணப் பக்கத்தைத் தேடுவது. NeoMME-Retriever எனப்படும் இந்தப் பணியில், இரண்டு மாடல் அளவுகளும் ஒரு ஆவணத் தேடல் அளவீட்டில் சிறந்த செயல்திறன் வளைவான 'பரேட்டோ எல்லையில்' அமைந்துள்ளன. இது கொடுக்கப்பட்ட மாடல் அளவிற்கு அடையக்கூடிய சிறந்த துல்லியத்தைக் குறிக்கும் வளைவு. 2048x2048 பிக்சல் தெளிவுத்திறனில் என்விடியா L40S ஜிபியுவில் சோதிக்கும்போது, 260 மில்லியன் பாராமீட்டர் மாடல் ஒரு வினாடிக்கு சுமார் 51 ஆவணப் பக்கங்களை என்கோடு செய்ய முடிகிறது. இது ColModernVBERT எனும் ஒப்பிடத்தக்க மாடலைவிட சுமார் இரு மடங்கு வேகம்.

இந்த மாடல்கள் ஆவணத் தகவலைச் சேமிக்கும் விதத்தையும் குறுக்கலாம். ஹையரார்க்கிகல் டோக்கன் பூலிங் மற்றும் அசிமெட்ரிக் குவாண்டிசேஷன் எனும் முறைகளைப் பயன்படுத்தி, NeoMME ஒரு பக்கத்திற்குத் தேவையான சேமிப்பகத்தை சுமார் 1.5 மெகாபைட்டிலிருந்து 6 கிலோபைட்டாகக் குறைக்கிறது. இது 255 மடங்கு சிறியது. இதே நேரத்தில், மூல தேடல் துல்லியத்தில் 95%க்கும் அதிகமானதைத் தக்க வைக்கிறது.

NeoMME 16,384 டோக்கன்கள் வரையிலான சூழல் நீளத்தை ஆதரிக்கிறது; இது ஒரே நேரத்தில் இரண்டு நிலையான 4K தெளிவுத்திறன் படங்கள் வரை செயலாக்கப் போதுமானது. இது 131,000 சொற்களைக் கொண்ட சொல்லகராதியைப் பயன்படுத்தி, படங்களுடன் சேர்த்து பன்மொழி உரையிலும் பயிற்றுவிக்கப்பட்டது. ஒவ்வொரு மாடலும் மொத்தம் சுமார் 524 பில்லியன் டோக்கன்கள் பயிற்சித் தரவை செயலாக்கியது; இதில் 290 பில்லியன் டோக்கன்கள் உரை மட்டும் கொண்ட எடுத்துக்காட்டுகளிலிருந்து வந்தவை. இது முந்தைய ModernBERT மாடலுக்குப் பயன்படுத்தப்பட்ட 2 டிரில்லியன் டோக்கன்களைவிடச் சிறிய பயிற்சிக் கணக்கு. Hcompany, Apache 2.0 எனும் ஓப்பன்-சோர்ஸ் உரிமத்தின் கீழ் இந்த மாடல் செக்பாயிண்டுகளை ஹக்கிங் ஃபேஸ் ட்ரான்ஸ்ஃபார்மர்ஸில் வெளியிட்டுள்ளது.