ICML 2026-ன் 2,226 ஆய்வுக் கட்டுரைகளை 19 நாட்களில் மறுஉருவாக்கம்; கால் பங்கில் தவறுகள்

இயந்திரக் கற்றல் துறையின் மிகப்பெரிய மாநாடுகளில் ஒன்றான ICML 2026-ல் ஏற்றுக்கொள்ளப்பட்ட ஆய்வுக் கட்டுரைகளை மறுஉருவாக்கம் செய்யும் ஒரு ஹக்காத்தானை Hugging Face நிறுவனம் ஜூலை–ஆகஸ்ட் தொடக்கத்தில் நடத்தியது. 1,200-க்கும் மேற்பட்ட சமூக உறுப்பினர்கள் தமது சொந்த குறியீட்டு ஏஜென்ட்களை (coding agents) பயன்படுத்தி, 19 நாட்களில் 2,226 கட்டுரைகள் மீது 6,816 மறுஉருவாக்கப் பதிவேடுகளை (logbooks) வெளியிட்டனர். இது ஏற்றுக்கொள்ளப்பட்ட மொத்தக் கட்டுரைகளில் மூன்றில் ஒரு பங்கு.

ICML 2026-க்கு வந்த 23,918 சமர்ப்பணங்களில் 6,352 ஏற்றுக்கொள்ளப்பட்டன — முந்தைய ஆண்டைப் போல ஏறத்தாழ இருமடங்கு. AI ஏஜென்ட்கள் பரிசோதனைகளை வேகமாக நடத்தி எழுதி முடிக்க உதவுவதே இந்த வளர்ச்சிக்கு ஒரு காரணம் என்கிறது ஏற்பாட்டுக் குழு. ஆனால் மதிப்பாய்வுத் திறன் அதற்குத் தகுந்தாற்போல் இரட்டிப்பாகவில்லை. ஒரு 'spotlight' கட்டுரைக்கு வந்த ஒரு மதிப்பாய்வர், 'ஆதாரங்களை நான் முழுமையாக ஆய்வு செய்யவில்லை; அதனால்தான் என் நம்பிக்கை மதிப்பீடு குறைவு' என்று வெளிப்படையாகக் குறிப்பிட்டுள்ளார்.

பங்கேற்பாளர்கள் Claude Code, Codex, Cursor, OpenResearch-இன் orx போன்ற குறியீட்டு ஏஜென்ட்களைப் பயன்படுத்தினர். ஒவ்வொரு முயற்சியும் ஒரு Trackio பதிவேட்டை உருவாக்கியது — அதில் விளக்கம், நடத்திய குறியீடு, உருவாக்கிய கூறுகள் அனைத்தும் இருந்தன. ஒரு தானியங்கி நடுவர் அமைப்பு (Logbook Judge) ஒவ்வொரு பதிவேட்டையும் மறுபடி வாசித்து, ஒவ்வொரு உரிமை கூற்றுக்கும் 'நிரூபிக்கப்பட்டது', 'தவறு என நிரூபிக்கப்பட்டது', 'சிறிய அளவில் நிரூபிக்கப்பட்டது', 'தீர்மானமற்றது' என்று தீர்ப்பளித்தது. மொத்தம் 35,908 உரிமை கூற்றுகள் தீர்ப்பிடப்பட்டன.

ஆய்வு செய்யப்பட்ட 2,226 கட்டுரைகளில் 51 சதவீதம் (1,103) கட்டுரைகளில் ஒரு உரிமை கூற்று ஏனும் சுயாதீனமாக நிரூபிக்கப்பட்டது. அவற்றில் 266 கட்டுரைகள் முழுமையாக மறுஉருவாக்கப்பட்டன; மேலும் 632 கட்டுரைகளின் சில கூற்றுகள் நிரூபிக்கப்பட்டன, எதுவும் தவறாகக் கண்டறியப்படவில்லை. 3,978 கூற்றுகள் உண்மையான பரிசோதனைகள் மூலம் உறுதி செய்யப்பட்டன. அதே சமயம் 23 சதவீதம் (496) கட்டுரைகளில் ஒரு கூற்றேனும் தவறு எனவோ சர்ச்சைக்குரியதாகவோ ஆயின. அவற்றில் 49 கட்டுரைகளின் அனைத்து கூற்றுகளும் தவறாக நிரூபிக்கப்பட்டன. குறிப்பிடத்தக்க வகையில், 242 கட்டுரைகளில் இரு தனித்தனி மறுஉருவாக்க அணிகள் அதே கூற்றுகளுக்கு எதிர் எதிர் தீர்ப்பை அடைந்தன.

முழுமையாக மறுஉருவாக்கம் செய்ய முடியாத நிலைமையில் — உதாரணமாக, ஒரு கட்டுரையின் தரவுத் தொகுப்பு தனியார் உரிமையில் இருக்கும்போது அல்லது சேமிக்கப்பட்ட நிலைகள் வெளியிடப்படாதபோது — மூல தரவின் பண்புகளைப் பின்பற்றும் செயற்கை தரவுகளில் 'சிறிய அளவு' மறுஉருவாக்கம் செய்யப்பட்டது. 502 கட்டுரைகளுக்குச் சிறிய அளவு ஆதாரம் மட்டுமே கிடைத்தது; 280 கட்டுரைகளுக்கு எப்படியும் ஆதாரம் நிறுவ முடியவில்லை — பெரும்பாலும் தேவையான கூறுகள் காணாமலிருந்தன.