செயற்கை நுண்ணறிவுக்கு இந்திய மொழிகளைக் கற்பிக்கும் ஐஐடி சென்னை ஆய்வகம்

பெரும்பாலான செயற்கை நுண்ணறிவு (AI) அமைப்புகள், புத்தகங்கள், இணையதளங்கள், வீடியோக்கள், உரையாடல்கள் என மிகப்பெரிய அளவிலான டிஜிட்டல் தரவுகளிலிருந்து கற்றுக்கொள்கின்றன — அவற்றில் பெரும்பகுதி ஆங்கிலத்தில் உள்ளது. பல இந்திய மொழிகளுக்கு அந்த வசதி இல்லை. துளு, புந்தேலி, கொடவா, சந்தாலி போன்ற மொழிகளுக்கு இயந்திரம் கற்கப் போதுமான டிஜிட்டல் உள்ளடக்கம் இல்லை; சில சமூகங்களில் தினமும் பேசப்படும் சொற்கள் இதுவரை எழுத்து வடிவமே பெறவில்லை. இவற்றை ஆய்வாளர்கள் "குறைந்த வள மொழிகள்" என்கின்றனர். இந்த இடைவெளியை நிரப்ப, ஐஐடி சென்னையில் செயல்படும் ஏஐ4பாரத் (AI4Bharat) ஆய்வகம், இந்தியாவின் பல மொழிகளைப் புரிந்துகொண்டு, பேசி, மொழிபெயர்க்கக்கூடிய AI அமைப்புகளை உருவாக்கும் முயற்சியில் இறங்கியுள்ளது.

சவால் தரவுப் பற்றாக்குறையோடு நிற்கவில்லை. மொழி வளம் மிக்க நாடுகளில் ஒன்றான இந்தியாவில், மாவட்டத்துக்கு மாவட்டம் பேச்சு மாறுகிறது; ஒரே மொழிக்குள் உச்சரிப்புகளும் வட்டார வழக்குகளும் உள்ளூர்ச் சொற்களும் வேறுபடுகின்றன. "பல இந்திய மொழிகள் குறைந்த வள மொழிகளாகவே கருதப்படுகின்றன" என்கிறார் ஏஐ4பாரத் ஆய்வகத்தின் முனைவர் பட்ட ஆய்வாளர் கௌஷல் போகலே.

நேரடி எடுத்துக்காட்டுகளைச் சேகரிக்க, ஆய்வுக் குழுவினர் நாடு முழுவதும் 500-க்கும் மேற்பட்ட மாவட்டங்களுக்குப் பயணம் செய்துள்ளனர். முதலில் உள்ளூர் கல்லூரிகள், சமூக அமைப்புகளுடன் தொடர்பு கொண்டு, பின்னர் தன்னார்வலர்களுக்காகப் பதிவு அறைகளை அமைக்கின்றனர். எழுதித் தரப்பட்ட வாக்கியங்களை வாசிக்கச் சொல்லாமல், தங்கள் வாழ்க்கையைப் பற்றியே பேச அவர்களை ஊக்குவிக்கின்றனர் — குடும்பத்தில் தீபாவளி கொண்டாட்டம், பண்டிகை நாள் சமையல், திருமண மரபுகள், சொந்த ஊர்க் கதைகள். இந்த உரையாடல்கள், ஒவ்வொரு மொழியையும் தனித்துவமாக்கும் உச்சரிப்புகளையும் வட்டார வழக்குகளையும் சொலவடைகளையும் பதிவு செய்கின்றன. "மக்கள் தங்கள் வாழ்க்கை அனுபவங்களை மகிழ்ச்சியுடன் பகிர்கிறார்கள்" என்கிறார் போகலே.

ஒவ்வொரு பதிவும் அடுத்த கட்டமாக மனித எழுத்தாக்கர்களிடம் செல்கிறது; பேசியதை அப்படியே அவர்கள் எழுத்தில் குறிக்கிறார்கள். இந்தப் பேச்சு-எழுத்து இணைகள்தான் பயிற்சித் தரவாகின்றன. ஆயிரக்கணக்கான, ஏன் லட்சக்கணக்கான இணைகளை ஆராயும்போது, மாதிரி ஒலிகளைச் சொற்களுடனும், சொற்களைப் பொருளுடனும், வாக்கியங்களைக் கருத்துகளுடனும் இணைத்துக்கொள்கிறது; பின்னர் உரையாடல்களை எழுத்தாக்கவும், மொழிபெயர்க்கவும், கேள்விகளுக்குப் பதிலளிக்கவும் கற்றுக்கொள்கிறது. "மேலும் மேலும் எடுத்துக்காட்டுகளைக் காட்டக் காட்ட, AI அமைப்பின் பேட்டர்ன்களை அடையாளம் காணும் திறன் மேம்படுகிறது என்று ஆய்வாளர்கள் கண்டறிந்துள்ளனர். அதனால்தான் தரவு சேகரிப்பு இவ்வளவு முக்கியம்" என்கிறார் போகலே.