2026/10/30 · Weekly Radar
NVIDIA 開源權重語音模型 Nemotron 3.5 Transcribe（約 30B 總參數、4B active 的 Mamba–Transformer MoE），一個 checkpoint 包辦 40 語轉寫、翻譯、說話者分離與音訊問答，Open ASR 英文榜開源第一（WER 5.33%），另釋出 46 萬小時、48 語的 Granary v2 資料集。
這是 NVIDIA 團隊（Maryam Motamedi、Piotr Żelasko 等人）於 2026 年 10 月 28 日在 Hugging Face 部落格發表的發布文，推出開源權重語音模型 Nemotron 3.5 Transcribe、多語語音資料集 Granary v2，以及 NeMo Speech 微調工具（含醫療 ASR 案例、教學與一個執行流程用的 agent skill）。
Nemotron 3.5 Transcribe 是可用 prompt 控制的語音模型，在單一 checkpoint 內結合轉寫、說話者歸屬（diarization）、翻譯與音訊問答。文章描述約 30B 總參數、每 token 約 4B active，採混合 Mamba–Transformer MoE 語言模型加語音編碼器；但 Hugging Face 模型卡標示 34B，文章未說明差異。支援 40 種語言轉寫、其中 31 種可與英文互譯、13 種語言可做說話者歸屬；單段錄音最長一小時、最多八位標記說話者，提供字級時間戳。音訊問答只以英文訓練，且針對錄製音訊而非即時串流。
Hugging Face Open ASR Leaderboard 英文開源第一，平均 WER 5.33%、RTFx 462.09；七種語言多語平均 WER 4.62%、長音檔平均 WER 10.98%，皆為模型卡比較中最低。Artificial Analysis 上 AA-WER 2.8%，與一個 24B active 的模型並列開源第一；AA-AgentTalk 1.8%，次佳開源模型為 2.3%。David AI DAI-ASR-I18N 綜合賽道開源第一、整體第二，21 語 diarization DER 18.26%。VoiceArena Diarization-Bench（英文完整會議）cpWER 32.4%，14 個系統中最佳。吞吐量方面，使用即將推出的 NVFP4 量化版，在單張 RTX PRO 6000 Blackwell Server Edition 上不到三分鐘處理 100 小時音訊（以 30 秒片段、高併發量測）。
以 Eka Care 的印度醫師與醫學生醫療 ASR 測試集（3,619 段）評測：開箱 WER 30.8%，改用指定英文與拉丁字母的 prompt 降到 23.8%，微調後 11.8%。在未見過的說話者上（2,764 段，另 855 段用於調整），WER 從最佳 prompt 基線 22.44% 降到 12.17%，相對降幅 45.8%；關鍵字 WER 從 9.2% 降到 6.5%。微調後勝過一個開源醫療專用模型（13.79%）與一個通用 ASR 模型（14.92%），代價是 LibriSpeech test-clean WER 從 1.54% 微升到 1.69%。訓練資料約 153 小時合成語音、29 小時 Common Voice 口音英文與 63 小時 MultiMed 醫療錄音；訓練語音編碼器與投影層，語言模型用 LoRA，算力約單張 GB300 14 GPU-hours。
共 463,062 小時、48 種語言、16 個來源語料庫（v1 為 25 種語言）。提供三種轉寫形式（tn_raw、itn_raw、itn_clean），另有音訊描述、code-switching 外來語還原、語音問答對、上下文偏置詞與附品質分數的翻譯。管線含音訊準備、雙模型轉寫與幻覺檢查、任務標籤生成與品質過濾、HiFi 高品質過濾（例如 VoxPopuli 從 35.4 萬小時篩到 11.1 萬小時）。原始音訊須依各語料庫原授權另行下載。
文章未明列模型、資料集或程式碼的授權，只要求遵守各自發布條款。可在 Hugging Face 與 ModelScope 試用或下載，支援 vLLM 與 SGLang-Omni，也有 Baseten、DeepInfra、Simplismart 託管端點；本地部署與量化版即將推出。建議以錄音核對人名、說話者切換與音訊問答結果，並保留至少 100 段自家領域標註資料用於挑選 checkpoint。
一篇自稱 30B、模型卡寫 34B，四十億參數的差距沒人解釋；倒是醫療微調把 WER 從 22% 壓到 12%，只花 14 GPU-hours，這段比榜單第一更像真的能拿去用。