ओपन ASR लीडरबोर्ड में पहली बार हिंदी और भारतीय अंग्रेज़ी के लिए मूल्यांकन शामिल

बोली गई भाषा को टेक्स्ट में बदलने वाले ऑटोमैटिक स्पीच रिकग्निशन (ASR) सिस्टम को रैंक करने वाले ओपन ASR लीडरबोर्ड में, वॉइस एरिना और हगिंग फेस ने 'मॉनसून en-IN' और 'मॉनसून hi-IN' नाम से दो नए मूल्यांकन सेट जोड़े हैं। आधे अरब से ज़्यादा लोगों द्वारा बोली जाने वाली हिंदी, अब तक सिर्फ यूरोपीय भाषाओं वाले बहुभाषी टैब में शामिल होने वाली पहली भारतीय भाषा है।

लीडरबोर्ड का सामान्य पैमाना, वर्ड एरर रेट (WER), किसी सिस्टम के प्रदर्शन को एक ही संख्या में समेट देता है। पहले के शोध में पाया गया है कि व्यावसायिक सिस्टम श्वेत बोलने वालों की तुलना में अश्वेत बोलने वालों के लिए लगभग दोगुने गलत थे, और एक अन्य अध्ययन में लिंग, उम्र और उच्चारण के आधार पर और अंतर पाए गए। ये असमानताएँ लीडरबोर्ड पर नहीं दिखतीं, क्योंकि सामान्य टेस्ट सेट सिर्फ यह दर्ज करते हैं कि क्या बोला गया, न कि यह कि किसने बोला।

नए मॉनसून सेट भूगोल, उम्र, लिंग, शब्दावली, डिवाइस और ध्वनि परिवेश सहित नौ पहलुओं में बदलाव के साथ बनाए गए हैं, ताकि किसी खास समूह से जुड़ी गलतियाँ औसत में छिपने के बजाय सामने आ सकें। हिंदी और भारतीय अंग्रेज़ी के सार्वजनिक और निजी सेट (कुल चार) मिलाकर 4,888 वक्ताओं को शामिल करते हैं, जिनमें से हर एक के लिए 12 विशेषताएँ दर्ज की गई हैं।

भारतीय अंग्रेज़ी का डेटा 24 राज्यों/केंद्रशासित प्रदेशों के 428 ज़िलों से और हिंदी का डेटा 295 ज़िलों तक से इकट्ठा किया गया। दोनों भाषाओं में आधे से ज़्यादा वक्ता सिर्फ एक ही क्लिप में आते हैं, और किसी भी सेट में सबसे बड़े दस योगदानकर्ताओं की हिस्सेदारी कुल रिकॉर्डिंग समय के 6.8% से ज़्यादा नहीं है। यानी कोई एक आवाज़ सिस्टम के स्कोर पर हावी नहीं हो सकती।