AI அளவுகோள்கள் உண்மையில் என்ன அளக்கின்றன? BenchMIRT கருவி

ஒவ்வொரு தனிக் கேள்வி மட்டத்திலும் AI அளவுகோள்கள் உண்மையில் எதை அளக்கின்றன என்று சரிபார்க்கும் BenchMIRT எனும் புதிய முறையை ஆலன் இன்ஸ்டிடியூட் ஃபார் AI (AI2) அறிமுகப்படுத்தியுள்ளது. ஒரு அளவுகோள், பாதுகாப்பு அல்லது பொது தர்க்கம் போன்ற ஒரு குறிப்பிட்ட திறனில் AI மாடல் ஒன்று எவ்வளவு சிறப்பாகச் செயல்படுகிறது என்பதை மதிப்பிடும் தரப்படுத்தப்பட்ட சோதனையாகும். ஒரு அளவுகோளுக்குள் உள்ள தனிக் கேள்விகள், அதன் அறிவிக்கப்பட்ட நோக்கத்தைவிட அதிகமான காரணிகளைச் சார்ந்திருக்கக்கூடும் என்று AI2 கண்டறிந்தது. மிகவும் வேறுபட்ட வகைக் கேள்விகளை ஒரே மதிப்பெண்ணாக சராசரி எடுப்பது, உண்மையில் அதை எது இயக்குகிறது என்பதை மறைக்கக்கூடும்.

உளவியல் அளவீட்டுத் துறையான சைக்கோமெட்ரிக்ஸில் இருந்து வந்த ஐட்டம் ரெஸ்பான்ஸ் தியரி எனும் நுட்பத்தை அடிப்படையாகக் கொண்டது BenchMIRT. சோதனைப் பதில்களின் அமைப்பிலிருந்து திறன்களை அளக்கும் இத்துறை, சோதிக்கப்படும் மாடலைப் பற்றி ஒவ்வொரு கேள்வியும் ஒரே அளவு தகவலைத் தராது என்ற கருத்தை அடிப்படையாகக் கொண்டது. இதே கேள்விகளுக்குள் அளக்கப்படும் பல திறன்களைப் பிரிக்கக்கூடிய பல்பரிமாண வடிவமாக AI2 இதை விரிவுபடுத்தியது. எந்த அளவுகோள் எந்தத் திறனை அளக்க வேண்டும் என்று முன்கூட்டியே சொல்லாமலேயே, 100 பெரிய மொழி மாடல்களின் 16 அளவுகோள்கள், 34,000-க்கும் அதிகமான கேள்விகள் மீதான முடிவுகளில் BenchMIRT பயிற்றுவிக்கப்பட்டது. இந்தக் கருவி தானாகவே, தொடர்ச்சியாக இரண்டு முதன்மைப் பரிமாணங்களை அடையாளம் கண்டது: பாதுகாப்பும் பொது தர்க்கமும்.

பெரும்பாலான அளவுகோள்களுக்கு, BenchMIRT அவற்றின் நோக்கத்தை உறுதிசெய்தது. தர்க்க அளவுகோள்கள் தர்க்கத் திறனுடன் பொருந்தின. ஜெயில்ப்ரேக் அல்லது தீங்கிழைக்கும் உள்ளடக்க மறுப்பை சோதிக்கும் அளவுகோள்கள் பாதுகாப்புடன் பொருந்தின. ஆனால் சிலவற்றுக்கு இது படத்தை சிக்கலாக்கியது. சமூக ஒரேமாதிரிக் கருத்துகளை மாடல்கள் நம்புகின்றனவா என்பதை சோதிக்கும் காரணத்தால் பொதுவாக பாதுகாப்புச் சோதனைகளுடன் இணைக்கப்படும் BBQ, பொது தர்க்கத்துடன் அதிக நெருக்கமாகப் பொருந்தியது. உயிரியல், வேதியியல், இணைய பாதுகாப்பு போன்ற துறைகளில் ஆபத்தான இரட்டைப் பயன்பாட்டு அறிவை சோதிக்கும் WMDP அளவுகோளும், பாதுகாப்பைவிட தர்க்கத்துடன் அதிக நெருக்கமாகப் பொருந்தியது. ஏனெனில் வலுவான தர்க்கம் கொண்ட மாடல்கள் அத்தகைய கேள்விகளுக்குப் பதிலளிக்க மறுப்பதை எளிதாக அடையாளம் கண்டன.

ஒரே ஒரு அளவுகோள் வெவ்வேறு சமிக்ஞைகளை கலக்கக்கூடும் என்பதையும் BenchMIRT கண்டறிந்தது. தீங்கிழைக்கும் கோரிக்கைகளுக்கு மாடல் இணங்குகிறதா எனச் சோதிக்கும் HarmBench-இல், பெரும்பாலான கேள்விகள் பாதுகாப்புடன் பொருந்தின. ஆனால் பாடல் வரிகள் போன்ற பதிப்புரிமை பொருளை மறுஉருவாக்கம் செய்யக் கோரும் கேள்விகள் அதற்குப் பதிலாக பொது தர்க்கத்துடன் பொருந்தின. இந்த அளவுகோள்கள் குறைபாடுடையவை என்று இக்கண்டுபிடிப்புகள் அர்த்தப்படுத்தாது என்று ஆய்வாளர்கள் கூறினர். ஆனால் ஒரே ஒரு அளவுகோள் மதிப்பெண், BenchMIRT பிரித்துப் புரிந்துகொள்ள உதவக்கூடிய பல வெவ்வேறு சமிக்ஞைகளை இணைக்கக்கூடும் என்றும் அவர்கள் கூறினர்.