엔비디아가 사우디데이터인공지능청(SDAIA)이 사우디방송청과 협력해 공개한 사우디 아랍어 음성 데이터셋(SADA)을 활용해 자사 다국어 자동음성인식 모델 ‘Nemotron 3.5 ASR’을 훈련시킨 결과, 사우디 방언 인식 오류가 거의 절반으로 줄었다고 밝혔다.
사우디 통신 SPA에 따르면 엔비디아 개발자 블로그에 게재된 기술 연구에서 SADA 데이터셋을 통합한 결과 사우디 방언에 대한 이해 오류가 약 절반가량 감소한 것으로 나타났다. 이 모델은 아랍어를 포함해 약 40개 언어와 방언의 실시간 전사를 지원한다.
훈련 전 이 모델은 사우디 방언에서 단어 100개당 약 55개를 잘못 인식했다. SADA의 나즈디와 히자지 방언 오디오 133.7시간으로 훈련한 뒤에는 단어 오류율이 약 30개 수준으로 떨어졌다. 전체 다방언 데이터셋에서 오류율은 58.8%에서 35.6%로 낮아졌고, 문자 단위 오류는 31.6%에서 12.2%로 줄었다. 현대표준아랍어와 영어 성능도 동시에 향상됐다. 훈련은 GPU 2대로 단 4시간 30분 만에 완료됐다.
실시간 대화형 시스템에 최적화된 이 개선 모델은 지연 시간이 80밀리초부터 시작한다. 지능형 음성 비서, 대화형 에이전트, 라이브 방송 자막, 콜센터·미디어 아카이브·회의 전사 등에 활용될 수 있다. 엔비디아는 또한 전 세계 개발자들이 다른 언어에도 이 방법론을 재현할 수 있도록 필요한 워크플로와 도구를 공개했다.
SDAIA는 앞서 국제 연구자와 개발자를 지원하기 위해 SADA 데이터셋을 Kaggle 플랫폼에 공개했다. 이 데이터셋은 약 667시간의 전사된 오디오를 포함하며, 사우디방송청이 10개 이상의 사우디 방언을 다루는 57개 TV 프로그램과 시리즈에서 제공한 600시간 이상의 오디오와 검증용으로 남겨둔 20시간으로 구성된다. 12만5천개 이상의 분류된 클립으로 이뤄진 이 데이터셋 덕분에 엔비디아는 나즈디와 히자지 음성 데이터를 특정해 훈련할 수 있었다.
사우디 방언 하나를 제대로 알아듣는 일이 왜 이렇게 오래 걸렸을까? 아랍어는 하나의 언어가 아니라 지역마다 다른 여러 갈래로 갈라져 있고, 그중에서도 사우디 방언은 방송과 일상에서 쓰이는 결이 서로 다르다. 음성인식 모델이 표준아랍어에는 강하면서도 사우디 방언 앞에서 자주 흔들렸던 이유가 여기에 있다. SADA가 없었다면 엔비디아도 이 문제를 이렇게 빠르게 풀지 못했을 것이다.
숫자를 하나씩 뜯어보면 변화의 폭이 더 분명해진다. 사우디 방언에서 단어 100개 중 55개를 틀리던 모델이 30개로 줄었다는 것은, 이용자가 말한 절반 이상을 기계가 놓치던 상황에서 세 단어 중 두 단어는 알아듣는 상황으로 넘어갔다는 뜻이다. 전체 다방언 데이터셋 기준으로도 58.8%에서 35.6%로, 문자 단위로는 31.6%에서 12.2%로 떨어졌다. 문자 오류율이 3분의 1 이하로 줄었다는 점은 자막이나 전사처럼 글자 하나하나가 중요한 작업에서 체감 차이가 크다.
그렇다면 왜 하필 나즈디와 히자지였을까? SADA가 10개 이상의 사우디 방언을 담고 있음에도 엔비디아가 이 두 갈래에 집중한 것은, 데이터셋 안에서 특정 방언을 골라 훈련할 수 있을 만큼 세분화가 이뤄져 있었기 때문이다. 12만5천개가 넘는 클립이 분류되어 있었기에 가능한 선택이었다. 방언별로 데이터를 골라 쓰는 능력 자체가 이번 성과의 숨은 축이다.
훈련 비용도 눈여겨볼 지점이다. GPU 2대로 4시간 30분. 거대 모델을 다루는 관행에 비추면 짧은 시간이다. 데이터의 질이 받쳐주면 연산을 무작정 늘리지 않고도 성능을 끌어올릴 수 있다는 사례로 읽힌다. 667시간의 전사 오디오, 그중 600시간 이상을 제공한 사우디방송청의 57개 프로그램과 시리즈, 검증용 20시간이라는 구성이 그 바탕이 됐다.
성능 향상이 사우디 방언에만 머물지 않았다는 점도 주목된다. 현대표준아랍어와 영어에서도 동시에 성능이 개선됐다. 특정 방언 데이터를 더했는데 다른 언어가 함께 좋아지는 현상은, 모델이 방언의 변이를 견디는 힘 자체를 키웠다는 신호로 볼 수 있다. 방언 학습이 표준어 성능을 깎을 것이라는 우려와는 반대 방향의 결과다.
실시간성은 이 모델이 겨냥하는 시장을 말해준다. 80밀리초부터 시작하는 지연 시간은 사람이 대화하듯 주고받는 시스템을 전제로 한다. 음성 비서와 대화형 에이전트, 라이브 방송 자막이 대표적이다. 콜센터 통화, 미디어 아카이브, 회의 기록처럼 사후에 전사하던 영역도 실시간 처리로 옮겨갈 수 있다. 사우디 방언을 쓰는 이용자가 자기 말로 기계와 대화할 수 있게 되는 순간, 서비스의 문턱은 확실히 낮아진다.
엔비디아가 워크플로와 도구를 공개한 대목은 확장성에 관한 대답이다. 다른 언어에도 같은 방법론을 재현할 수 있게 했다는 것은, 이번 성과를 사우디 방언 하나의 해결로 끝내지 않겠다는 뜻이다. 각국 개발자가 자기 지역 방언 데이터를 같은 방식으로 붙이면 비슷한 개선을 노릴 수 있다. 데이터를 공개한 SDAIA와 도구를 공개한 엔비디아가 맞물리면서 재현의 고리가 완성됐다.
결국 이번 발표의 중심에는 데이터가 있다. 모델 구조나 연산량이 아니라, 667시간의 전사 오디오와 12만5천개 클립, 57개 프로그램, 10개 이상의 방언이라는 축적된 자산이 성능을 움직였다. 사우디가 자국 방언 데이터를 국제 플랫폼에 공개한 선택이 글로벌 기업의 모델 개선으로 이어지고, 그 결과가 다시 사우디어 이용자의 일상 서비스로 돌아오는 구조다.
SPA 보도에는 계약 규모나 상업적 조건, 후속 협력 계획, 모델의 정식 출시 일정이 담기지 않았다. SADA 데이터셋의 향후 확장 계획이나 다른 기업과의 추가 활용 사례도 언급되지 않았다. 이번 발표는 어디까지나 기술 연구 결과와 데이터 활용 사실에 한정되어 있다.
엔비디아는 어떤 데이터를 활용했나? SDAIA가 사우디방송청과 협력해 공개한 SADA 데이터셋을 활용했다. 나즈디와 히자지 방언 오디오 133.7시간으로 훈련했으며, SADA는 약 667시간의 전사 오디오와 12만5천개 이상의 클립으로 구성된다.
사우디 방언 인식 오류는 얼마나 줄었나? 훈련 전 단어 100개당 약 55개를 잘못 인식했으나 훈련 후 약 30개로 줄었다. 전체 다방언 데이터셋 오류율은 58.8%에서 35.6%로, 문자 단위 오류는 31.6%에서 12.2%로 낮아졌다.
훈련에는 얼마나 걸렸나? GPU 2대를 사용해 4시간 30분 만에 훈련이 완료됐다. SPA는 훈련 비용이나 사용된 GPU의 구체적 사양은 밝히지 않았다.
이 모델은 어디에 쓰이나? 지연 시간이 80밀리초부터 시작해 지능형 음성 비서, 대화형 에이전트, 라이브 방송 자막, 콜센터와 미디어 아카이브, 회의 전사 등 실시간 대화형 시스템에 활용될 수 있다.
다른 언어에도 적용할 수 있나? 엔비디아는 다른 언어에도 같은 방법론을 재현할 수 있도록 필요한 워크플로와 도구를 공개했다. 현대표준아랍어와 영어에서도 성능이 동시에 향상됐다.
SADA 데이터셋은 어떻게 공개됐나? SDAIA가 국제 연구자와 개발자를 지원하기 위해 Kaggle 플랫폼에 공개했다. 사우디방송청이 57개 TV 프로그램과 시리즈에서 제공한 600시간 이상의 오디오와 검증용 20시간이 포함됐다.
