기사

엔비디아 Nemotron 3.5 Transcribe, 프롬프트로 조정하는 40개 언어 음성 인식

무료 오픈 웨이트 모델은 녹음 파일용으로 만들었고, Granary v2 데이터와 조정 도구가 함께 나왔습니다

2026-10-29 · AI가 출처 원문으로 쓰고 사실 문장을 원문과 대조한 뒤 사람이 승인해 실었습니다.

엔비디아가 10월 28일 무료 오픈 웨이트 음성 인식 모델 Nemotron 3.5 Transcribe를 공개했습니다. 최대 40개 언어를 받아 적지만, 엔비디아는 이 모델이 녹음된 음성용이며 라이브 스트리밍용이 아니라고 밝혔습니다 S1S2. 회의록이나 통화 녹음을 나중에 처리하는 서비스라면 후보가 되고, 실시간 자막이 필요하다면 다른 도구를 찾아야 한다는 뜻입니다.

무슨 일이 있었나

엔비디아는 Nemotron 3.5 Transcribe를 Hugging Face와 ModelScope에 올렸고, 음성 데이터셋 Granary의 2판도 함께 냈습니다 S1S2. 체크포인트(학습된 모델 파일) 하나가 받아쓰기, 화자 구분(누가 말했는지 표시), 번역, 오디오 질의응답을 맡습니다 S1. 엔비디아에 따르면 40개 언어를 받아 적고, 31개 언어는 영어와 오가며 번역하고, 13개 언어에서 화자를 구분합니다. 녹음은 최대 1시간, 화자는 최대 8명까지 표시합니다 S1. 모델 카드의 언어 표에는 한국어가 받아쓰기, 영어 번역, 다화자 받아쓰기에 모두 표시돼 있습니다 S3.

무엇이 새로운가

새로운 점은 지시문으로 출력을 바꾸는 방식입니다. 같은 녹음에 「화자를 표시해 받아 적어라」라고 하면 화자 태그가 붙은 글이 나오고, 「회의에서 어떤 결정이 있었나」라고 물으면 답이 나온다고 엔비디아는 설명했습니다 S1. 모델 카드는 말한 그대로 적기, 군말을 뺀 읽기 쉬운 글, 용어 목록을 준 받아쓰기, 화자 태그와 시간 표시, 다른 언어 번역, 녹음 내용 질문을 각각 프롬프트 예시로 실었습니다 S3. 의료 현장 예시로는 HbA1c, metformin 같은 용어를 알려 주고 오디오가 뒷받침할 때만 쓰라는 프롬프트를 공개했습니다 S1. 오디오 질의응답은 영어로 학습했고 언어마다 지원하는 작업이 다르다고 모델 카드는 적었습니다 S1.

Granary v2는 학습 데이터 쪽 변화입니다. 공개 목록은 463,062시간, 48개 언어, 16개 음성 말뭉치를 담았고 1판은 25개 언어였습니다 S1. 같은 발화를 숫자와 군말 처리가 다른 세 가지 글로 만들어 두었는데, 이 가운데 말한 그대로와 군말을 뺀 두 형태는 프롬프트로도 요청할 수 있는 글 형태와 같다고 엔비디아는 설명했습니다 S1. NeMo Curator 파이프라인도 공개해 자기 녹음에 적용할 수 있습니다 S1.

왜 중요한가

선택이 갈리는 지점은 용도입니다. 녹음 파일을 한꺼번에 처리하는 업무에는 받아쓰기, 화자 구분, 번역을 한 모델로 시험해 볼 수 있습니다 S1. 반면 실시간 스트리밍 자막은 이 모델의 용도가 아닙니다 S2. 참고로 같은 엔비디아의 Nemotron 3 Diarization은 스트리밍과 오프라인을 모두 지원하는 별도의 화자 구분 모델입니다 S4.

성능 수치는 측정 주체를 나눠 봐야 합니다. 엔비디아는 Open ASR Leaderboard 영어 평균 오류율(WER)이 5.33%로 오픈 웨이트 모델 중 1위라고 적었고, 모델 카드는 공개 9개 세트 평균 4.71%라고 적어 두 문서의 수치가 다릅니다 S1S3. 엔비디아 블로그에 따르면 Artificial Analysis 순위에서 이 모델은 오픈 웨이트 모델 중 공동 1위(AA-WER 2.8%)에 올랐습니다 S1.

한국 실무자에게 주는 의미

한국어는 받아쓰기, 영어 번역, 다화자 받아쓰기가 모두 지원되고 품질 단계는 「Leading」으로 분류됐습니다 S3. 한국어 FLEURS 오류율은 문자 기준(CER) 2.78%로 모델 카드에 실려 있습니다 S3. 다만 블로그와 모델 카드에는 한국어 회의나 상담 녹음에서의 정확도 수치가 없습니다 S1S3.

운영 방식도 먼저 정해야 합니다. 모델 카드가 적은 배포 기준은 H100 80GB 1장입니다 S3. FP8과 NVFP4 변형이 이미 있다고 모델 카드는 적었지만 블로그는 양자화 버전이 곧 나온다고 해 서로 다릅니다 S1S3. 직접 운영 대신 Baseten, DeepInfra, Simplismart의 호스팅 엔드포인트를 쓸 수도 있으나 S1, 엔비디아 블로그에는 한국 제공 여부와 가격 언급이 없습니다 S1. 이 둘이 확인되기 전에는 직접 운영과 호스팅 중 무엇이 싼지 판단할 수 없습니다.

도메인 용어 조정은 어디까지 되나

엔비디아의 의료 사례에서는 영어와 라틴 문자를 지정한 프롬프트로 전체 벤치마크 오류율이 30.8%에서 23.8%로 내려갔고, 미세 조정(추가 학습)으로 11.8%가 됐습니다. 이 두 값은 프롬프트와 체크포인트를 고르는 데 쓴 855개 클립이 섞인 전체 3,619개 클립 기준입니다 S1. 처음 보는 화자 2,764개 클립만 따로 재면, 최고 프롬프트 기준 22.44%에서 12.17%로 45.8% 줄었고 점수 계산은 Eka Care의 KARMA를 썼습니다 S1. 조정에는 합성 음성 약 153시간, 억양 있는 영어 29시간, 의료 녹음 63시간을 썼고 GPU 한 장(GB300)으로 약 14시간 걸렸습니다 S1. 일반 영어 LibriSpeech test-clean 오류율은 1.54%에서 1.69%로 조금 올랐습니다 S1. 인도 의료 영어 사례이므로 한국어 업무에서 같은 폭이 나온다는 근거는 아직 없습니다.

처음 보는 화자 기준 오류율은 22.44%에서 12.17%로
최고 프롬프트(조정 전)
22.44%
범용 음성 인식 모델
14.92%
의료 특화 오픈 모델
13.79%
미세 조정한 Transcribe
12.17%

엔비디아 블로그, 인도 의료 영어 벤치마크의 처음 보는 화자 2,764개 클립(KARMA 점수 계산). 낮을수록 좋음 · 출처 S1

아직 모르는 것·한계

라이브 스트리밍에는 쓰도록 만들지 않았고, 모델 카드는 1시간 넘는 녹음에서 성능을 보장하지 않는다고 적었습니다 S2S3. 엔비디아도 이름, 화자 전환, 답을 녹음과 대조해 표본으로 확인하라고 권했습니다 S1. 모델 크기는 테크크런치가 300억 개, 모델 카드가 오디오 인코더 포함 340억 개(활성 43억 개)로 적어 표기가 다릅니다 S2S3. 라이선스는 모델 카드가 OpenMDW-1.1로 표기했고 허깅페이스 라이선스 칸은 other로 돼 있습니다. 상업 이용 조건은 이 글에서 다루지 않았습니다 S3.

문서마다 적은 값이 다르다: 측정 조건과 셈법 차이
항목엔비디아 블로그모델 카드테크크런치
영어 평균 오류율5.33%4.71%—
양자화 버전곧 공개FP8·NVFP4 변형 있음—
모델 크기300억 개340억 개300억 개

엔비디아 블로그·모델 카드·테크크런치의 표기를 나란히 놓음. 5.33%는 블로그의 Open ASR 영어 평균, 4.71%는 모델 카드의 공개 9개 세트 평균. 크기는 셈법(인코더 포함 여부)에 따라, 평균 오류율은 측정 세트에 따라 다르게 적혀 있어 어느 한쪽이 틀렸다는 뜻은 아님 · 출처 S1, S3

지금 해 볼 일

출처

이 기사는 AI가 출처 원문을 읽고 작성한 뒤, 별도 검증 단계에서 사실 문장을 원문과 대조했습니다. 해석 문장은 출처 표시가 없습니다.