एनवीडिया ने सऊदी बोलियों की पहचान त्रुटि आधी की, सादा डेटासेट से नेमोट्रॉन 3.5 एएसआर मॉडल प्रशिक्षित

सऊदी बोलियों में हर 100 शब्दों में लगभग 55 शब्दों की गलत पहचान करने वाला बहुभाषी भाषण पहचान मॉडल अब लगभग 30 शब्दों तक सीमित रह गया है। यह बदलाव एनवीडिया के नेमोट्रॉन 3.5 एएसआर मॉडल में सऊदी ऑडियो डेटासेट फॉर अरेबिक यानी सादा को शामिल करने के बाद दर्ज हुआ। सादा को सऊदी डेटा एंड एआई अथॉरिटी यानी सदाया ने सऊदी ब्रॉडकास्टिंग अथॉरिटी के साथ साझेदारी में शुरू किया था।

जैसा कि सऊदी समाचार एजेंसी एसपीए ने बताया, वैश्विक कंप्यूटिंग और कृत्रिम बुद्धिमत्ता क्षेत्र की अग्रणी कंपनी एनवीडिया ने घोषणा की कि उसने अपने नेमोट्रॉन 3.5 एएसआर मॉडल के प्रशिक्षण के लिए सादा डेटासेट का उपयोग किया। एनवीडिया डेवलपर ब्लॉग पर प्रकाशित एक तकनीकी अध्ययन के अनुसार, डेटासेट को शामिल करने से सऊदी बोलियों की समझ में आने वाली त्रुटियाँ लगभग आधी हो गईं।

यह मॉडल अरबी सहित लगभग 40 भाषाओं और बोलियों में रीयल-टाइम ट्रांसक्रिप्शन का समर्थन करता है। शुरुआत में यह सऊदी बोलियों में हर 100 शब्दों में से लगभग 55 शब्दों की गलत पहचान करता था। सादा से नज्दी और हिजाजी की 133.7 घंटे की ऑडियो पर प्रशिक्षण के बाद शब्द त्रुटि दर घटकर लगभग 30 शब्द रह गई। पूरे बहु-बोली डेटासेट पर त्रुटि दर 58.8 प्रतिशत से घटकर 35.6 प्रतिशत हो गई, जबकि अक्षर स्तर की त्रुटियाँ 31.6 प्रतिशत से 12.2 प्रतिशत पर आ गईं। साथ ही आधुनिक मानक अरबी और अंग्रेजी में प्रदर्शन में भी सुधार हुआ। प्रशिक्षण केवल साढ़े चार घंटे में दो जीपीयू का उपयोग करके पूरा हुआ।

क्या यह सुधार सऊदी बोलियों के लिए भाषण तकनीक की दिशा बदलने के लिए पर्याप्त है? रीयल-टाइम इंटरैक्टिव सिस्टम के लिए अनुकूलित इस उन्नत मॉडल में विलंबता 80 मिलीसेकंड से शुरू होती है। यह इंटेलिजेंट वॉयस असिस्टेंट, संवादात्मक एजेंट, लाइव प्रसारण सबटाइटलिंग तथा कॉल सेंटर, मीडिया अभिलेखागार और बैठकों के ट्रांसक्रिप्शन जैसे अनुप्रयोगों को सक्षम बनाता है।

एनवीडिया ने आवश्यक वर्कफ़्लो और टूल भी साझा किए हैं, जिससे दुनिया भर के डेवलपर इस पद्धति को अन्य भाषाओं पर दोहरा सकें। सदाया ने इससे पहले सादा डेटासेट को कैगल प्लेटफॉर्म पर जारी किया था ताकि अंतरराष्ट्रीय शोधकर्ता और डेवलपर इसका उपयोग कर सकें।

डेटासेट में लगभग 667 घंटे की ट्रांसक्राइब की गई ऑडियो शामिल है। इसमें सऊदी ब्रॉडकास्टिंग अथॉरिटी द्वारा 57 टेलीविजन कार्यक्रमों और सीरीज से उपलब्ध कराए गए 600 घंटे से अधिक की ऑडियो शामिल है, जो 10 से अधिक सऊदी बोलियों को कवर करती है। इसमें से 20 घंटे सत्यापन के लिए आरक्षित रखे गए हैं। डेटासेट में 125,000 से अधिक वर्गीकृत क्लिप हैं, जिनसे एनवीडिया को विशेष रूप से नज्दी और हिजाजी भाषण डेटा पर लक्षित प्रशिक्षण करने में मदद मिली।

क्या 667 घंटे की ऑडियो और 125,000 से अधिक क्लिप वाले इस डेटासेट का असर केवल अरबी तक सीमित रहेगा? एनवीडिया के अनुसार, सादा पर प्रशिक्षण का लाभ आधुनिक मानक अरबी और अंग्रेजी में भी एक साथ मिला। यह पहलू इस बात का संकेत है कि बहुभाषी मॉडल में एक बोली पर किया गया केंद्रित प्रशिक्षण अन्य भाषाओं के प्रदर्शन को भी प्रभावित कर सकता है।

सदाया की भूमिका इस पूरे प्रयास में केंद्रीय रही है। सऊदी डेटा एंड एआई अथॉरिटी ने सादा को सऊदी ब्रॉडकास्टिंग अथॉरिटी के साथ मिलकर तैयार किया और इसे कैगल पर सार्वजनिक किया। इसका उद्देश्य अंतरराष्ट्रीय शोधकर्ताओं और डेवलपर्स को सऊदी बोलियों पर आधारित भाषण तकनीक विकसित करने में सहायता देना था। 57 टेलीविजन कार्यक्रमों और सीरीज से मिली ऑडियो इस डेटासेट की मुख्य धुरी है।

क्या सार्वजनिक रूप से उपलब्ध डेटासेट भाषण पहचान तकनीक में सहयोग का नया मॉडल बन सकते हैं? एनवीडिया ने अपने तकनीकी अध्ययन में यह भी बताया कि प्रशिक्षण केवल साढ़े चार घंटे में पूरा हुआ, जिसके लिए दो जीपीयू का उपयोग किया गया। यह गति दर्शाती है कि लक्षित डेटा उपलब्ध होने पर बड़े पैमाने के मॉडल को कितनी तेजी से अनुकूलित किया जा सकता है।

मॉडल की विलंबता 80 मिलीसेकंड से शुरू होती है, जो इसे रीयल-टाइम अनुप्रयोगों के लिए उपयुक्त बनाती है। लाइव प्रसारण सबटाइटलिंग में इसका उपयोग दर्शकों तक तेजी से पाठ पहुँचाने में सहायक हो सकता है। कॉल सेंटर में यह बातचीत के ट्रांसक्रिप्शन को तेज कर सकता है, जबकि मीडिया अभिलेखागार और बैठकों के ट्रांसक्रिप्शन में भी इसका लाभ देखा जा सकता है।

क्या 80 मिलीसेकंड की विलंबता संवादात्मक एजेंटों को अधिक स्वाभाविक बना सकती है? इंटेलिजेंट वॉयस असिस्टेंट और संवादात्मक एजेंट ऐसे क्षेत्र हैं जहाँ प्रतिक्रिया की गति उपयोगकर्ता अनुभव को प्रभावित करती है। एनवीडिया ने इन अनुप्रयोगों को स्पष्ट रूप से गिनाया है, जिससे यह संकेत मिलता है कि कंपनी इस मॉडल को व्यावहारिक उपयोग के लिए तैयार मान रही है।

एनवीडिया ने यह भी बताया कि उसने आवश्यक वर्कफ़्लो और टूल साझा किए हैं। इसका अर्थ है कि दुनिया भर के डेवलपर इस पद्धति को अपनाकर अन्य भाषाओं के लिए समान प्रशिक्षण प्रक्रिया दोहरा सकते हैं। यह कदम तकनीकी ज्ञान को केवल एक कंपनी तक सीमित रखने के बजाय व्यापक समुदाय तक पहुँचाने की दिशा में है।

क्या अन्य भाषाओं के डेवलपर भी सादा जैसी पद्धति से अपने बोली मॉडल सुधार पाएंगे? सादा डेटासेट की संरचना इस दिशा में महत्वपूर्ण है। इसमें 10 से अधिक सऊदी बोलियाँ शामिल हैं और 20 घंटे की ऑडियो सत्यापन के लिए अलग रखी गई है। 125,000 से अधिक वर्गीकृत क्लिप होने के कारण शोधकर्ता विशिष्ट बोलियों पर लक्षित प्रयोग कर सकते हैं, जैसा एनवीडिया ने नज्दी और हिजाजी के साथ किया।

सऊदी ब्रॉडकास्टिंग अथॉरिटी का योगदान 600 घंटे से अधिक की ऑडियो के रूप में सामने आया। यह ऑडियो 57 टेलीविजन कार्यक्रमों और सीरीज से लिया गया, जो वास्तविक प्रसारण सामग्री पर आधारित है। ऐसी सामग्री में बोलने की गति, लहजा और शब्दावली की विविधता स्वाभाविक रूप से मौजूद रहती है, जो भाषण पहचान मॉडल के प्रशिक्षण के लिए उपयोगी मानी जाती है।

क्या टेलीविजन प्रसारण से लिया गया डेटा रोजमर्रा की बोली को पूरी तरह दर्शाता है? एसपीए की रिपोर्ट में इस प्रश्न का उत्तर देने वाला कोई विवरण नहीं है। रिपोर्ट में यह भी नहीं बताया गया कि सादा डेटासेट का उपयोग भविष्य में किन अन्य मॉडलों या परियोजनाओं में किया जाएगा।

एनवीडिया के अनुसार, शब्द त्रुटि दर में कमी के साथ-साथ अक्षर स्तर की त्रुटियों में भी गिरावट दर्ज हुई। अक्षर स्तर की त्रुटियाँ 31.6 प्रतिशत से घटकर 12.2 प्रतिशत रह गईं। यह संकेत देता है कि मॉडल न केवल पूरे शब्दों को बेहतर पहचान रहा है, बल्कि शब्दों की संरचना और वर्तनी के स्तर पर भी उसकी समझ बढ़ी है।

पूरे बहु-बोली डेटासेट पर त्रुटि दर 58.8 प्रतिशत से 35.6 प्रतिशत पर आई। यह आँकड़ा सऊदी बोलियों तक सीमित नहीं है, बल्कि व्यापक डेटासेट को दर्शाता है। साथ ही आधुनिक मानक अरबी और अंग्रेजी में प्रदर्शन में सुधार हुआ, जो बताता है कि प्रशिक्षण का असर एक भाषा से आगे भी गया।

क्या एक बोली पर केंद्रित प्रशिक्षण अन्य भाषाओं को नुकसान पहुँचा सकता है? एसपीए की रिपोर्ट में ऐसा कोई संकेत नहीं है। इसके विपरीत, रिपोर्ट में आधुनिक मानक अरबी और अंग्रेजी में एक साथ प्रदर्शन लाभ का उल्लेख है।

एनवीडिया ने इस काम को अपने डेवलपर ब्लॉग पर प्रकाशित तकनीकी अध्ययन के जरिए सार्वजनिक किया। अध्ययन में सादा को शामिल करने से सऊदी बोलियों की समझ में आने वाली त्रुटियों के लगभग आधी होने की बात कही गई। यह अध्ययन उस प्रक्रिया का विवरण देता है जिसके तहत मॉडल को नज्दी और हिजाजी ऑडियो पर प्रशिक्षित किया गया।

सदाया ने सादा को कैगल पर जारी करते समय अंतरराष्ट्रीय शोधकर्ताओं और डेवलपर्स को सहयोग देने का उद्देश्य बताया था। अब एनवीडिया का यह प्रयोग उस उद्देश्य के व्यावहारिक उपयोग का उदाहरण प्रस्तुत करता है। एक सार्वजनिक डेटासेट का उपयोग करके वैश्विक तकनीकी कंपनी ने अपने मॉडल के प्रदर्शन में सुधार दर्ज किया।

क्या सऊदी डेटा और एआई अथॉरिटी की यह पहल भाषण तकनीक में देश की भागीदारी बढ़ाएगी? एसपीए की रिपोर्ट में इस पर कोई सीधा बयान नहीं है। रिपोर्ट केवल इस बात पर केंद्रित है कि सादा डेटासेट का उपयोग कैसे किया गया और उसका क्या परिणाम निकला।

मॉडल लगभग 40 भाषाओं और बोलियों में रीयल-टाइम ट्रांसक्रिप्शन का समर्थन करता है। इनमें अरबी भी शामिल है। सऊदी बोलियों पर प्रशिक्षण से पहले मॉडल हर 100 शब्दों में लगभग 55 शब्दों की गलत पहचान करता था। प्रशिक्षण के बाद यह आँकड़ा लगभग 30 शब्दों पर आ गया।

प्रशिक्षण के लिए उपयोग की गई ऑडियो की मात्रा 133.7 घंटे थी और यह नज्दी तथा हिजाजी बोलियों से संबंधित थी। यह चयन दर्शाता है कि एनवीडिया ने पूरे डेटासेट के बजाय विशिष्ट बोलियों पर ध्यान केंद्रित किया। सादा में 10 से अधिक सऊदी बोलियाँ मौजूद हैं, जिनमें से नज्दी और हिजाजी को लक्षित करना एक जानबूझकर लिया गया तकनीकी निर्णय प्रतीत होता है।

क्या भविष्य में अन्य सऊदी बोलियों पर भी इसी तरह का प्रशिक्षण होगा? एसपीए की रिपोर्ट में इसका कोई उत्तर नहीं है। रिपोर्ट में केवल वर्तमान प्रशिक्षण और उसके परिणामों का विवरण है।

एनवीडिया ने यह भी बताया कि उसने आवश्यक वर्कफ़्लो और टूल साझा किए हैं। इससे अन्य भाषाओं के डेवलपर इस पद्धति को दोहरा सकते हैं। यह कदम तकनीकी पारदर्शिता और सहयोग की दिशा में एक व्यावहारिक कदम है, जिससे सादा जैसे डेटासेट का उपयोग व्यापक स्तर पर हो सके।

सादा डेटासेट की कुल अवधि लगभग 667 घंटे है। इसमें से 600 घंटे से अधिक ऑडियो सऊदी ब्रॉडकास्टिंग अथॉरिटी ने 57 टेलीविजन कार्यक्रमों और सीरीज से दिया। 20 घंटे सत्यापन के लिए आरक्षित हैं। डेटासेट में 125,000 से अधिक वर्गीकृत क्लिप हैं, जो शोधकर्ताओं को विशिष्ट बोलियों पर काम करने की सुविधा देते हैं।

क्या 20 घंटे का सत्यापन डेटा पर्याप्त है? एसपीए की रिपोर्ट में इस पर कोई मूल्यांकन नहीं दिया गया है। रिपोर्ट केवल यह बताती है कि यह हिस्सा सत्यापन के लिए अलग रखा गया है।

एनवीडिया द्वारा साझा किए गए टूल और वर्कफ़्लो उन डेवलपर्स के लिए उपयोगी हो सकते हैं जो अपनी भाषाओं के लिए समान प्रशिक्षण प्रक्रिया अपनाना चाहते हैं। इससे यह संभव हो सकता है कि सादा जैसी पद्धति अन्य क्षेत्रीय बोलियों के लिए भी अपनाई जाए। हालाँकि, रिपोर्ट में यह नहीं बताया गया कि किन भाषाओं या परियोजनाओं में इसका उपयोग होगा।

एसपीए की रिपोर्ट में इस बात का कोई उल्लेख नहीं है कि एनवीडिया और सदाया के बीच कोई औपचारिक दीर्घकालिक साझेदारी हुई है या नहीं। रिपोर्ट में यह भी नहीं बताया गया कि सादा डेटासेट का उपयोग करने वाले अन्य संगठन कौन-कौन हैं। इसके अलावा, रिपोर्ट में मॉडल के व्यावसायिक उपयोग, मूल्य निर्धारण या उपलब्धता की तारीखों का कोई जिक्र नहीं है।

सादा डेटासेट क्या है और इसे किसने तैयार किया? सादा यानी सऊदी ऑडियो डेटासेट फॉर अरेबिक को सऊदी डेटा एंड एआई अथॉरिटी यानी सदाया ने सऊदी ब्रॉडकास्टिंग अथॉरिटी के साथ साझेदारी में शुरू किया। इसमें लगभग 667 घंटे की ट्रांसक्राइब की गई ऑडियो है, जिसमें 600 घंटे से अधिक सऊदी ब्रॉडकास्टिंग अथॉरिटी ने 57 टेलीविजन कार्यक्रमों और सीरीज से दिए। 20 घंटे सत्यापन के लिए आरक्षित हैं और डेटासेट में 125,000 से अधिक वर्गीकृत क्लिप हैं।

एनवीडिया ने मॉडल को किन बोलियों पर प्रशिक्षित किया? एनवीडिया ने सादा से नज्दी और हिजाजी की 133.7 घंटे की ऑडियो पर नेमोट्रॉन 3.5 एएसआर मॉडल को प्रशिक्षित किया। सादा में 10 से अधिक सऊदी बोलियाँ शामिल हैं, लेकिन कंपनी ने विशेष रूप से इन दो बोलियों के भाषण डेटा को लक्षित किया। प्रशिक्षण केवल साढ़े चार घंटे में दो जीपीयू का उपयोग करके पूरा हुआ।

प्रशिक्षण से त्रुटि दर में कितना सुधार हुआ? एनवीडिया डेवलपर ब्लॉग पर प्रकाशित तकनीकी अध्ययन के अनुसार, मॉडल शुरू में सऊदी बोलियों में हर 100 शब्दों में लगभग 55 शब्दों की गलत पहचान करता था। प्रशिक्षण के बाद यह घटकर लगभग 30 शब्द रह गई। पूरे बहु-बोली डेटासेट पर त्रुटि दर 58.8 प्रतिशत से 35.6 प्रतिशत और अक्षर स्तर की त्रुटियाँ 31.6 प्रतिशत से 12.2 प्रतिशत हो गईं।

उन्नत मॉडल की विलंबता और उपयोग क्या हैं? रीयल-टाइम इंटरैक्टिव सिस्टम के लिए अनुकूलित इस मॉडल में विलंबता 80 मिलीसेकंड से शुरू होती है। यह लगभग 40 भाषाओं और बोलियों में रीयल-टाइम ट्रांसक्रिप्शन का समर्थन करता है, जिनमें अरबी भी शामिल है। इसका उपयोग इंटेलिजेंट वॉयस असिस्टेंट, संवादात्मक एजेंट, लाइव प्रसारण सबटाइटलिंग तथा कॉल सेंटर, मीडिया अभिलेखागार और बैठकों के ट्रांसक्रिप्शन में हो सकता है।

क्या अन्य डेवलपर इस पद्धति का उपयोग कर सकते हैं? एनवीडिया ने आवश्यक वर्कफ़्लो और टूल साझा किए हैं, जिससे दुनिया भर के डेवलपर इस पद्धति को अन्य भाषाओं पर दोहरा सकते हैं। सदाया ने सादा डेटासेट को कैगल प्लेटफॉर्म पर जारी किया था ताकि अंतरराष्ट्रीय शोधकर्ता और डेवलपर इसका उपयोग कर सकें। डेटासेट में 125,000 से अधिक वर्गीकृत क्लिप शोधकर्ताओं को विशिष्ट बोलियों पर काम करने की सुविधा देते हैं।

एसपीए की रिपोर्ट में क्या नहीं बताया गया? एसपीए की रिपोर्ट में यह नहीं बताया गया कि एनवीडिया और सदाया के बीच कोई औपचारिक दीर्घकालिक साझेदारी हुई है या नहीं। रिपोर्ट में सादा डेटासेट का उपयोग करने वाले अन्य संगठनों का भी उल्लेख नहीं है। इसके अलावा, मॉडल के व्यावसायिक उपयोग, मूल्य निर्धारण या उपलब्धता की तारीखों का कोई जिक्र नहीं है और भविष्य के प्रशिक्षण की योजना भी नहीं बताई गई।