এনভিডিয়া সাদা ডেটাসেট ব্যবহার করে সৌদি উপভাষার ভুল অর্ধেক কমিয়েছে

সৌদি উপভাষায় প্রতি ১০০ শব্দের মধ্যে প্রায় ৫৫টি শব্দ ভুল শনাক্ত হতো। সৌদি অডিও ডেটাসেট ফর অ্যারাবিক (সাদা) ব্যবহার করে প্রশিক্ষণের পর সেই ভুল প্রায় ৩০ শব্দে নেমে এসেছে। বৈশ্বিক কম্পিউটিং ও কৃত্রিম বুদ্ধিমত্তা প্রতিষ্ঠান এনভিডিয়া জানিয়েছে, তারা সৌদি ডেটা অ্যান্ড এআই অথরিটি (সাদাইয়া) ও সৌদি ব্রডকাস্টিং অথরিটির যৌথ উদ্যোগে চালু হওয়া এই ডেটাসেট দিয়ে তাদের Nemotron 3.5 ASR বহুভাষিক স্বয়ংক্রিয় বাচন শনাক্তকরণ মডেল প্রশিক্ষণ করেছে।

সৌদি সংবাদ সংস্থা এসপিএ ৩ অক্টোবর ২০২৬-এ জানিয়েছে, এনভিডিয়া ডেভেলপার ব্লগে প্রকাশিত একটি কারিগরি গবেষণায় বলা হয়েছে, ডেটাসেটটি যুক্ত করার ফলে সৌদি উপভাষার বোঝাপড়ার ভুল প্রায় অর্ধেক কমেছে। মডেলটি আরবিসহ প্রায় ৪০টি ভাষা ও উপভাষায় রিয়েল-টাইম প্রতিলিপি সমর্থন করে।

গবেষণায় বলা হয়েছে, সাদার নজদি ও হিজাজি অডিওর ১৩৩.৭ ঘণ্টায় প্রশিক্ষণের পর শব্দ-ভুলের হার প্রায় ৩০ শব্দে নেমে আসে। পুরো বহু-উপভাষা ডেটাসেটে ভুলের হার ৫৮.৮ শতাংশ থেকে ৩৫.৬ শতাংশে এবং অক্ষর-স্তরের ভুল ৩১.৬ শতাংশ থেকে ১২.২ শতাংশে নেমেছে। একই সঙ্গে আধুনিক প্রমিত আরবি ও ইংরেজিতে পারফরম্যান্স বেড়েছে। প্রশিক্ষণটি মাত্র সাড়ে চার ঘণ্টায় দুটি জিপিইউ ব্যবহার করে সম্পন্ন হয়েছে।

রিয়েল-টাইম ইন্টারঅ্যাকটিভ সিস্টেমের জন্য অপ্টিমাইজ করা উন্নত মডেলটির লেটেন্সি ৮০ মিলিসেকেন্ড থেকে শুরু হয়। এতে বুদ্ধিমান ভয়েস অ্যাসিস্ট্যান্ট, কথোপকথন এজেন্ট, সরাসরি সম্প্রচারের সাবটাইটেল এবং কল সেন্টার, মিডিয়া আর্কাইভ ও সভার প্রতিলিপির মতো অ্যাপ্লিকেশন সম্ভব। এনভিডিয়া প্রয়োজনীয় ওয়ার্কফ্লো ও টুলও শেয়ার করেছে, যাতে বিশ্বের ডেভেলপাররা অন্য ভাষায় এই পদ্ধতি পুনরাবৃত্তি করতে পারেন।

সাদাইয়া আগে কাগল প্ল্যাটফর্মে সাদা ডেটাসেট প্রকাশ করেছিল, যাতে আন্তর্জাতিক গবেষক ও ডেভেলপাররা সহায়তা পান। ডেটাসেটে প্রায় ৬৬৭ ঘণ্টার প্রতিলিপিকৃত অডিও আছে, যার মধ্যে সৌদি ব্রডকাস্টিং অথরিটির দেওয়া ৬০০ ঘণ্টার বেশি অডিও ৫৭টি টেলিভিশন অনুষ্ঠান ও সিরিজ থেকে নেওয়া এবং তা ১০টিরও বেশি সৌদি উপভাষা কভার করে। যাচাইয়ের জন্য ২০ ঘণ্টা সংরক্ষিত রাখা হয়েছে। ১২৫,০০০-এর বেশি শ্রেণীবদ্ধ ক্লিপ নিয়ে গঠিত এই ডেটাসেট এনভিডিয়াকে নির্দিষ্ট নজদি ও হিজাজি বক্তৃতা ডেটা লক্ষ্য করার সুযোগ দিয়েছে।

এনভিডিয়া বলেছে, প্রশিক্ষণ শেষে মডেলটি সৌদি উপভাষায় আগের চেয়ে অনেক ভালো বোঝে। কিন্তু প্রশ্ন হলো, এই উন্নতির ফলে সৌদি ব্যবহারকারীরা দৈনন্দিন জীবনে কতটা সুবিধা পাবেন? বুদ্ধিমান ভয়েস অ্যাসিস্ট্যান্ট এখন সৌদি উপভাষা বুঝলে গ্রাহকসেবার অভিজ্ঞতা কতটা বদলাবে? সরাসরি সম্প্রচারে সাবটাইটেল যদি সঠিক হয়, তাহলে শ্রবণপ্রতিবন্ধী দর্শকদের জন্য কী অর্থ বহন করে?

প্রযুক্তি বিশেষজ্ঞদের মতে, আরবি ভাষার উপভাষাগুলো এত বৈচিত্র্যপূর্ণ যে সাধারণ মডেলগুলো প্রায়ই বিভ্রান্ত হয়। নজদি ও হিজাজি উপভাষার মধ্যে শব্দভাণ্ডার, উচ্চারণ ও ব্যাকরণগত পার্থক্য রয়েছে। সাদা ডেটাসেট সেই পার্থক্য ধরতে সাহায্য করেছে। কিন্তু প্রশ্ন হলো, অন্য উপভাষাগুলোর জন্য কি একই ফল পাওয়া যাবে? উপভাষাভিত্তিক ডেটা সংগ্রহ কি সৌদি আরবের বাইরেও প্রসারিত হবে?

এনভিডিয়ার এই সাফল্য সৌদি আরবের কৃত্রিম বুদ্ধিমত্তা খাতে একটি বড় পদক্ষেপ। সাদাইয়ার মতো প্রতিষ্ঠান স্থানীয় ভাষার ডেটা তৈরি করে আন্তর্জাতিক প্রযুক্তি কোম্পানিগুলোকে দিচ্ছে। এতে সৌদি আরবের ভাষা ও সংস্কৃতি ডিজিটাল যুগে সংরক্ষিত হচ্ছে। কিন্তু প্রশ্ন হলো, এই ধরনের ডেটাসেট থেকে সৌদি স্টার্টআপগুলো কি সরাসরি সুবিধা নিতে পারবে? স্থানীয় ডেভেলপারদের জন্য কি আলাদা কোনো সহায়তা থাকবে?

প্রশিক্ষণটি মাত্র সাড়ে চার ঘণ্টায় দুটি জিপিইউতে সম্পন্ন হয়েছে। এটি দেখায় যে দক্ষ ডেটাসেট থাকলে কম সম্পদেও বড় মডেল প্রশিক্ষণ সম্ভব। কিন্তু প্রশ্ন হলো, এই দক্ষতা কি ছোট প্রতিষ্ঠানগুলোর জন্যও উন্মুক্ত হবে? ভবিষ্যতে কি আরও বড় ডেটাসেট তৈরি হলে ভুলের হার আরও কমবে?

সাদা ডেটাসেটে ৫৭টি টেলিভিশন অনুষ্ঠান ও সিরিজের অডিও আছে, যা ১০টিরও বেশি উপভাষা কভার করে। ২০ ঘণ্টা যাচাইয়ের জন্য রাখা হয়েছে। এই বৈচিত্র্য মডেলকে বাস্তব জীবনের পরিস্থিতির জন্য প্রস্তুত করেছে। কিন্তু প্রশ্ন হলো, টেলিভিশনের বাইরে দৈনন্দিন কথাবার্তার ডেটা কি যথেষ্ট পরিমাণে আছে? রাস্তাঘাটের কথ্য ভাষা কি মডেল বুঝতে পারবে?

এনভিডিয়া তাদের ওয়ার্কফ্লো ও টুল শেয়ার করেছে, যাতে অন্য ভাষার ডেভেলপাররা এই পদ্ধতি ব্যবহার করতে পারেন। এটি প্রযুক্তি হস্তান্তরের একটি বড় উদাহরণ। কিন্তু প্রশ্ন হলো, এই টুলগুলো ব্যবহার করতে কি বিশেষ প্রশিক্ষণ লাগবে? উন্নয়নশীল দেশের গবেষকরা কি এটি সহজে ব্যবহার করতে পারবেন?

সৌদি ব্রডকাস্টিং অথরিটি ৬০০ ঘণ্টার বেশি অডিও দিয়েছে। এটি সরকারি সম্প্রচার প্রতিষ্ঠানের সঙ্গে প্রযুক্তি কোম্পানির সহযোগিতার একটি দৃষ্টান্ত। কিন্তু প্রশ্ন হলো, ভবিষ্যতে কি আরও সরকারি সংস্থা তাদের ডেটা শেয়ার করবে? ডেটা শেয়ারের ক্ষেত্রে গোপনীয়তা ও নিরাপত্তা কীভাবে নিশ্চিত হবে?

মডেলটির লেটেন্সি ৮০ মিলিসেকেন্ড থেকে শুরু। এটি রিয়েল-টাইম অ্যাপ্লিকেশনের জন্য উপযুক্ত। কল সেন্টার, মিডিয়া আর্কাইভ ও সভার প্রতিলিপিতে এর ব্যবহার সম্ভব। কিন্তু প্রশ্ন হলো, লাইভ সম্প্রচারে সাবটাইটেলের নির্ভুলতা কতটা হবে? উচ্চারণ যদি খুব দ্রুত হয়, তাহলে কি মডেল ধরতে পারবে?

সাদাইয়া সাদা ডেটাসেট কাগল প্ল্যাটফর্মে প্রকাশ করেছে। এটি আন্তর্জাতিক গবেষকদের জন্য উন্মুক্ত। কিন্তু প্রশ্ন হলো, ডেটাসেট ব্যবহারের জন্য কোনো শর্ত আছে কি? বাণিজ্যিক ব্যবহারের ক্ষেত্রে কী নিয়ম প্রযোজ্য?

এনভিডিয়ার এই গবেষণা কৃত্রিম বুদ্ধিমত্তা খাতে আরবি ভাষার গুরুত্ব বাড়াচ্ছে। সৌদি আরবের ভিশন ২০৩০-এর ডিজিটাল রূপান্তরের সঙ্গেও এটি সঙ্গতিপূর্ণ। কিন্তু প্রশ্ন হলো, এই প্রযুক্তি সৌদি আরবের শিক্ষা ও স্বাস্থ্যসেবায় কীভাবে কাজে লাগবে? সরকারি সেবায় এর ব্যবহার কি বাড়বে?

এসপিএ জানিয়েছে, এনভিডিয়া ডেভেলপার ব্লগে প্রকাশিত গবেষণায় এই তথ্য দেওয়া হয়েছে। তবে বিজ্ঞপ্তিতে মডেলটির বাণিজ্যিক ব্যবহারের শর্ত, মূল্য বা ভবিষ্যৎ পরিকল্পনা সম্পর্কে কিছু বলা হয়নি। সাদা ডেটাসেটের সম্পূর্ণ তালিকা বা কোন কোন অনুষ্ঠান থেকে অডিও নেওয়া হয়েছে, সে বিষয়েও বিস্তারিত নেই। এনভিডিয়া বা সাদাইয়ার পক্ষ থেকে আর কোনো মন্তব্য পাওয়া যায়নি।

সাদা ডেটাসেট কী এবং এটি কে তৈরি করেছে? সাদা বা সৌদি অডিও ডেটাসেট ফর অ্যারাবিক সৌদি ডেটা অ্যান্ড এআই অথরিটি (সাদাইয়া) সৌদি ব্রডকাস্টিং অথরিটির অংশীদারিত্বে তৈরি করেছে। এতে প্রায় ৬৬৭ ঘণ্টার প্রতিলিপিকৃত অডিও আছে, যার মধ্যে ৬০০ ঘণ্টার বেশি সৌদি ব্রডকাস্টিং অথরিটির ৫৭টি টিভি অনুষ্ঠান ও সিরিজ থেকে নেওয়া। এটি ১০টিরও বেশি সৌদি উপভাষা কভার করে এবং ১২৫,০০০-এর বেশি শ্রেণীবদ্ধ ক্লিপ রয়েছে। ২০ ঘণ্টা যাচাইয়ের জন্য রাখা হয়েছে।

এনভিডিয়ার মডেলের ভুলের হার কতটা কমেছে? সৌদি উপভাষায় প্রতি ১০০ শব্দের মধ্যে প্রায় ৫৫টি ভুল ছিল, প্রশিক্ষণের পর তা প্রায় ৩০-এ নেমেছে। পুরো বহু-উপভাষা ডেটাসেটে শব্দ-ভুলের হার ৫৮.৮ শতাংশ থেকে ৩৫.৬ শতাংশে এবং অক্ষর-স্তরের ভুল ৩১.৬ শতাংশ থেকে ১২.২ শতাংশে নেমেছে। আধুনিক প্রমিত আরবি ও ইংরেজিতেও পারফরম্যান্স বেড়েছে।

প্রশিক্ষণে কত সময় ও সম্পদ লেগেছে? প্রশিক্ষণটি মাত্র সাড়ে চার ঘণ্টায় দুটি জিপিইউ ব্যবহার করে সম্পন্ন হয়েছে। সাদার নজদি ও হিজাজি অডিওর ১৩৩.৭ ঘণ্টা ব্যবহার করা হয়েছে। এই দক্ষতা দেখায় যে সঠিক ডেটাসেট থাকলে কম সম্পদেও বড় মডেল প্রশিক্ষণ সম্ভব।

এই মডেল কোথায় ব্যবহার করা যাবে? মডেলটি রিয়েল-টাইম ইন্টারঅ্যাকটিভ সিস্টেমের জন্য অপ্টিমাইজ করা, লেটেন্সি ৮০ মিলিসেকেন্ড থেকে শুরু। এটি বুদ্ধিমান ভয়েস অ্যাসিস্ট্যান্ট, কথোপকথন এজেন্ট, সরাসরি সম্প্রচারের সাবটাইটেল এবং কল সেন্টার, মিডিয়া আর্কাইভ ও সভার প্রতিলিপিতে ব্যবহার করা যাবে। এটি প্রায় ৪০টি ভাষা ও উপভাষা সমর্থন করে।

ডেটাসেটটি কোথায় পাওয়া যাবে এবং কারা ব্যবহার করতে পারবেন? সাদাইয়া সাদা ডেটাসেট কাগল প্ল্যাটফর্মে প্রকাশ করেছে, যাতে আন্তর্জাতিক গবেষক ও ডেভেলপাররা সহায়তা পান। এনভিডিয়া প্রয়োজনীয় ওয়ার্কফ্লো ও টুল শেয়ার করেছে, যাতে বিশ্বের ডেভেলপাররা অন্য ভাষায় এই পদ্ধতি পুনরাবৃত্তি করতে পারেন। তবে বাণিজ্যিক ব্যবহারের শর্ত সম্পর্কে বিস্তারিত জানানো হয়নি।