FIFO-க்குப் பதில் புதிய GPU ஒதுக்கீட்டாளர்; பயன்பாட்டு விகிதம் 33 புள்ளிகள் அதிகரிப்பு

செயற்கை நுண்ணறிவு பணிகளுக்குப் பயன்படும் GPU கிளஸ்டர்களை எப்படி ஒதுக்குவது என்பது இப்போது ஒரு பெரிய கேள்வி. FIFO (first in, first out — முதலில் வந்த வேலைக்கு முதலில் இடம்) என்ற பழைய முறையை விட, தமது புதிய 'நிபந்தனையை உணரும்' ஒதுக்கீட்டு அமைப்பு GPU பயன்பாட்டு விகிதத்தை 33 சதவீதப் புள்ளிகள் வரை உயர்த்துவதாக Dharma-AI நிறுவனம் தெரிவித்துள்ளது. ஒரே வன்பொருள், ஒரே பணிச்சுமை. ஏழு தேர்வுச் சூழல்களிலும் உயர் முன்னுரிமை பணிகளின் வெளியீடு 105 சதவீதம் வரை ஏறியதாம்.

ஒரு நிறுவனத்தின் GPU கிளஸ்டர் ஒரே நேரத்தில் நான்கு விதமான வேலைகளைச் செய்ய வேண்டியிருக்கும் — மாடல்களுக்கு பயிற்சி, தொகுப்பு இன்ஃபெரென்ஸ் (batch inference — பல கோரிக்கைகளுக்கு ஒன்றாகப் பதில் உருவாக்குதல்), மாடல் குவாண்டைசேஷன் (quantization), நேரடி இன்ஃபெரென்ஸ் (real-time inference). முதல் மூன்றும் தொகுப்பு வேலைகள்; தொடங்கியதும் நடுவில் நிறுத்த முடியாத ஒரு GPU தொகுதி வேண்டும். ஆனால் நேரடி இன்ஃபெரென்ஸ் என்பது பயனாளர் போக்குவரத்திற்கு ஏற்ப ஏறியிறங்கும் நெகிழ்வான பணி. இரு வேறுபட்ட வடிவங்கள் ஒரே வன்பொருளுக்கு ஒரே நேரத்தில் போட்டியிடுவதே பிரச்சினையின் அடிப்படை.

FIFO முறை இந்தப் பொருத்தமின்மைக்கு இரண்டு வழிகளில் விலை கொடுக்கிறது என்கிறது அறிக்கை. நேரடிப் பணிகளுக்கு எப்போதும் GPU கிடைக்க வேண்டும் என்பதற்காக, ஒவ்வொரு பயன்பாட்டின் உச்ச தேவையையும் நாள் முழுவதற்கும் ஒதுக்கி வைத்துவிடுகிறது. உச்சம் இல்லாத நேரங்களில் அந்த GPU-க்கள் வெறுமையாகக் கிடக்கின்றன. மேலும் வேலைகளை வந்த வரிசையிலேயே அமர்த்துவதால், முக்கியமான பணிகள் முதலில் வந்த சாதாரண வேலைக்குப் பின்னால் காத்திருக்க வேண்டியிருக்கிறது.

Dharma-AI-யின் புதிய ஒதுக்கீட்டாளர் நேரடிப் பணிகளின் தேவையை ஒரு எல்லைக் கோடாக அல்லாமல் ஒரு வளைகோடாகக் கருதுகிறது. ஒவ்வொரு நேர அலகிலும் அந்த அளவுக்கே GPU-க்கள் ஒதுக்கப்படுகின்றன; மீதி நேரத்தில் தொகுப்பு வேலைகள் அந்த இடைவெளியை நிரப்புகின்றன. தொகுப்பு வேலைகள் வந்த வரிசைக்குப் பதிலாக முன்னுரிமையின் அடிப்படையில் வரிசைப்படுத்தப்படுகின்றன. பயிற்சிப் பணிகள் அதிகமாக இருந்த 8-GPU சூழலில் GPU பயன்பாடு 53.6 சதவீதத்திலிருந்து 87 சதவீதமாக ஏறியது; உயர் முன்னுரிமை மதிப்பு இருமடங்குக்கு மேல் ஆனது.

போட்டியிடும் ஐந்து சூழல்களை எடுத்துப் பார்த்தபோது, FIFO-வின் கீழ் 52–88 சதவீதம் என்ற எல்லைக்குள் இருந்த GPU பயன்பாடு, புதிய அமைப்பின் கீழ் 72–88 சதவீதம் என்ற எல்லைக்கு நகர்ந்தது; உயர் முன்னுரிமைப் பணிகளின் வெளியீடு சராசரியாக 52 சதவீதம் அதிகரித்திருக்கிறது என்கிறது நிறுவனம்.