Zyphra 开源 ZONOS3-Mini:1 亿参数的语音克隆模型,手机浏览器里就能实时说话

Zyphra ZONOS3-Mini 开源语音克隆模型

Zyphra 11 月 9 日发布了 ZONOS3-Mini,一个小巧的开源文本转语音模型,权重按 Apache 2.0 协议放出。它是稀疏 MoE 架构,总参数 8 亿、每次推理只激活约 1 亿,官方称在 112 块英伟达 H100 上只训了 2.5 天。

小是这款模型最大的卖点:它能直接在设备上实时运行。浏览器里走 WebGPU,不用安装、不用服务器,Pixel 9 上首音不到 570 毫秒,M3 MacBook Air 上不到 150 毫秒;服务端有 SGLang 与 vLLM 支持,原生运行时覆盖 C++/GGML 与苹果 MLX,手机、笔记本、服务器都能跑。

能力上,ZONOS3-Mini 支持零样本语音克隆,也能按年龄、口音、音色从头设计一个角色声音,还能逐词控制表达:耳语、情绪、语速、投射感、活泼度都可以只作用于指定的几个词。输出为 44.1kHz 音频,覆盖中文、英语、日语、韩语、德语、西班牙语、法语、意大利语、葡萄牙语 9 种语言,内置 27 个默认音色;官方还同步放出了一个语音编辑模型,可以用同样的控制方式修改已生成的句子。

评测成绩要按 Zyphra 自报来读:官方新推的 ZTTS2-Eval 与 TTS 能力指数称它在开源模型中排第一,H100 上 8 并发时中位首音 80 毫秒、峰值吞吐每秒 457 秒音频——这些数字目前没有第三方独立复现,官方自己也建议“最好靠听样音判断”。

对做游戏、旁白、语音助手的开发者来说,这是一次现成的开源选择:语音合成第一次同时做到“小到能塞进浏览器、又能克隆声音、还能逐词导演语气”,不用再为一个会说话的角色去接闭源 API。相关阅读:Mistral 放出 1 万亿参数 Large 4 权重、英伟达发布机器人模型 GR00T 2。

来源:Zyphra,原文

请登录后发表评论

    没有回复内容