标签

本地部署

帖子 3阅读 6

帖子数

3

阅读量

6

1小时前发布2次阅读

Mac 本地跑大模型快了 6 倍：PyTorch 2.15 大改苹果芯片支持，35B 模型跑到 61 tokens/秒

AI快讯 Hugging Face 团队近日发文，系统介绍了 PyTorch 2.15 对苹果芯片 MPS 后端的一轮大改。对在 Mac 上用 transformers、diffusers ...

Mac 本地跑大模型快了 6 倍：PyTorch 2.15 大改苹果芯片支持，35B 模型跑到 61 tokens/秒 - 巴巴小站

评分

7小时前发布1次阅读

EAGLE-4 官方推理代码开源：投机采样加速大模型推理，Qwen3.8-27B 快 3.4 倍

开源软件 EAGLE-4 官方推理代码昨天在 GitHub 开源了（eagle-hq/EAGLE-4）。EAGLE-4 全称 Extrapolation Algorithm for Greater Language-...

EAGLE-4 官方推理代码开源：投机采样加速大模型推理，Qwen3.8-27B 快 3.4 倍 - 巴巴小站

评分

10小时前发布3次阅读

Recursive 开源 40B 编码模型 Flint：MacBook Pro 上 125 tokens/秒本地跑，SWE-bench 74.2%

开源软件 Richard Socher（You.com 创始人、前 Salesforce 首席科学家）的新公司 Recursive 昨天发布了首款开源模型 Flint：40B 参数的 Mo...

Recursive 开源 40B 编码模型 Flint：MacBook Pro 上 125 tokens/秒本地跑，SWE-bench 74.2% - 巴巴小站

Recursive 开源 40B 编码模型 Flint：MacBook Pro 上 125 tokens/秒本地跑，SWE-bench 74.2% - 巴巴小站

评分