英伟达在 10 月 28 日发布了开放权重语音模型 Nemotron 3.5 Transcribe,同时推出了 Granary v2 语音数据集。同一个模型 checkpoint 兼顾转录、说话人区分、翻译与音频问答,开发者可以用自然语言提示来指定输出格式、领域术语与口音适配。
按英伟达在 Hugging Face 官方博客的介绍,Transcribe 可转录 40 种语言,在 31 种语言与英语之间互译,并在 13 种语言中区分说话人;单次可处理最长 1 小时的录音、最多区分 8 位说话人。它在 Hugging Face Open ASR Leaderboard 的英文榜上位列开放权重模型第一。模型只处理录音,不做直播转录。英伟达称它可以在单块芯片上运行,覆盖 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心 GPU。
配套的 Granary v2 公开清单覆盖 463,062 小时、48 种语言的语音数据,高于上一代的 25 种语言,并附带数据整理流程与微调方法,方便团队按自己的术语与场景定制。英伟达给出的医疗语音微调示例中,错误率在提示优化与微调后明显下降。模型权重按 OpenMDW-1.1 许可证发布,允许商业与非商业使用。这也是英伟达本周的另一面:几天前它刚宣布以 30 亿美元参与 Meta 的融资,这次则把开源语音能力直接交到开发者手里。
对会议记录、医疗转录这类场景来说,一个可本地适配的开源模型意味着术语与数据处理位置都能自己掌控。不过功能覆盖因语言而异,音频问答主要用英文训练,英伟达也提醒要抽查人名、说话人切换与回答的准确性,正式使用前建议先拿真实录音实测。
来源:Hugging Face 官方博客,原文:https://huggingface.co/blog/nvidia/nemotron-transcribe-granary


没有回复内容