Jack Dorsey 的金融科技公司 Block 旗下小型 AI 研究实验室发布了 Dessa，一个全双工（full-duplex）语音对话模型。团队称它是「有史以来最真实的全双工语音模型」：音频进、音频出，边听边说，中间没有转写层——它听你说话的同时自己也在说，能像真人一样中途打断、插话、应声（”yeah””got it”）。
最大的不同在训练方式：Dessa 从零开始，只用人类真实对话的录音训练——没有文本语料、没有预训练模型。团队表示，据他们所知，这是第一个只靠声音就学会进行真实实时对话的 AI。它用比大语言模型少「数百倍」的词学会了语言，却还得同时学会口音、停顿、呼吸、讽刺、幽默、语调、情绪、何时打断、何时应声——这些东西在文本里全部丢失。
关键事实与数据：训练只用了一台 NVIDIA GB200 NVL72；推理比实时更快，没有尴尬的等待；可在 MacBook Pro M4 Max 或更高配置上本地运行。它能听懂并表达情绪、讽刺、笑声、沮丧的叹息、哽咽的声音；有演示里它在句子说到一半就笑出声，被要求大声点会真的提高音量——这些行为没人显式教过。公开的演示都是真人实时录音、无人引导，其中一段是 Dessa 和 OpenAI 的 GPT-Live-1 对话（Block 声明后者与其无关、也未背书）。
为什么值得关注：它直接挑战了「语言能力必须靠海量文本语料搭建」这个近乎公理的假设。项目负责人 Ragavan Thurairatnam 称这是语音领域的「GPT-3 时刻」。团队做这件事的理由有三：好奇心、让人与 AI 更好地相互理解，以及安全——他们认为，一个听不出人声中痛苦情绪的 AI 是危险的。目前 Dessa 是研究预览：公开候补名单已开，一小批 AI 安全研究员将获得早期访问，参数量、API、价格、权重、评测结果都还没公布，证据目前只有官方自己的演示录音。
顺带一提，想在 Mac 上本地跑 AI 模型的可以看看PyTorch 2.15 对苹果芯片的大改，35B 模型在 Mac 上能跑到 61 tokens/秒。
来源：Block 官方公告，原文：block.xyz/dessa
没有回复内容