Mac 本地跑大模型快了 6 倍：PyTorch 2.15 大改苹果芯片支持，35B 模型跑到 61 tokens/秒

Hugging Face 团队近日发文，系统介绍了 PyTorch 2.15 对苹果芯片 MPS 后端的一轮大改。对在 Mac 上用 transformers、diffusers 或 ComfyUI 跑模型的人来说，这次更新最直观的变化是：本地大模型的生成速度直接翻了几倍。

先看最夸张的一组数字：在 M3 Ultra 上开启 torch.compile，Qwen3.6-35B-A3B（35B 的 MoE 模型）生成速度从每秒 9.4 个 token 涨到 61.3 个；另一个 MoE 模型 LFM2.5-8B-A1B 从 23.6 涨到 123.6。官方总结是，MoE 模型的解码速度比 2.14 快了 5 到 6.5 倍；普通稠密模型也受益于更快的线性层和采样 softmax。

内存方面同样幅度惊人：用 Wan2.2 的分块 VAE 解码视频时，驱动内存峰值从 270 GiB 降到了约 8 GiB——以前只有顶配大内存机器才敢碰的视频生成，现在普通配置的 Mac 也能试了。另外，MPS 终于支持 FP8 权重，内存占用只有 BF16 的一半，能塞下更大的模型；还顺手修复了 Qwen-Image-2.1 在 MPS 上静默损坏图像的 bug（往返 PSNR 从 10.06 dB 回到 29.95 dB，与 CPU 一致）。

为什么这事值得 Mac 用户关注？本地跑模型免费、断网可用、数据不出电脑，短板一直是速度和生态。这次更新把短板补上了一大截。条件是 Apple Silicon 芯片、macOS 15 以上、Python 3.11 以上；目前 2.15 还是候选版本（RC），需要从 PyTorch 的 test 源安装尝鲜，稳妥的话可以等正式版。想看 Mac 本地跑大模型的实际效果，站里前两天的 Recursive Flint 本地编码模型 也值得一并看看。

来源：Hugging Face 官方博客，原文：https://huggingface.co/blog/mps-pytorch-2-15