12GB 显卡跑 763B 大模型：DeepSeek-V4.1-Flash GSQ-RCO 量化版来了

本地 AI 又往前迈了一大步：一个 763B 参数的 MoE 大模型，现在一张 12GB 显存的显卡就能在本地跑起来。ISTA-DASLab 团队放出了 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化版，并且由 Strata 推理引擎原生支持。

这条消息值得注意的地方不只是“能跑”，而是“跑起来几乎不掉质量”——2.00 bpw 的版本在三项基准上把原始模型的分数全部追平了。

核心数据：压缩到 2 bit，分数几乎无损

图：基础模型与 GSQ-RCO 量化版在三项基准上的对比，IQ2_XXS（2.00 bpw）全部追平原始模型。来源：Hugging Face 模型页

IQ2_XXS（2.00 bpw，约 249GB）在 AIME25、GPQA-Diamond、LiveCodeBench v6 三项基准上 100% 恢复原始模型分数；更极致的 IQ1_M（1.75 bpw，约 231GB）整体恢复 98.7%。对一个压到 2 bit 以下的量化版本来说，这个保持率相当罕见。

三个版本怎么选

图：三个量化版本的体积对照，骨干加 Engram 表即为总大小。来源：Hugging Face 模型页

三个版本都可以在带 Strata 的单张 12GB GPU 上运行。Engram 表是一份约 111GB 的共享文件，走 SSD 内存映射，不需要全部塞进内存或显存。

本地运行门槛：12GB 显卡 + 几十 GB 内存

按作者给出的配置，单张 12GB 显卡搭配 46-64GB 系统内存即可运行。速度方面，RTX 3060 上 IQ2_XXS 约 8-10 tok/s，更高端的卡会更快；引擎原生提供 OpenAI 兼容 API，还支持推理 effort 调节，接现有工具链很方便。

上手步骤

1. 一键安装 Strata（Windows / Linux 脚本或安装包）：curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh | sh（Linux / Mac）
2. 启动并自动下载模型：strata launch --model ist-das-2.00bpw（推荐 2.00 bpw；也可以选 ist-das-1.75bpw 或 ist-das-2.25bpw）
3. 等待下载完成（首次需要约 240-270GB 空间，SSD 优先），引擎会自动启动本地服务。
4. 直接调用：http://127.0.0.1:8080/v1（OpenAI 格式），或用配套桌面端、终端交互。
5. 高级用户也可以手动下载 GGUF 文件后指定路径：ISTA-DASLab / DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF。

技术原理：非均匀量化 + 黎曼约束优化

这套方法的核心是 GSQ（Gumbel-Softmax 量化）与 RCO（黎曼约束优化）联合：不再对所有张量用同一种量化方式，而是非均匀地给每个张量分配合适的量化类型，效果远超普通均匀量化。两篇论文分别是 GSQ（arXiv:2604.18556） 和 RCO（arXiv:2605.00649），Strata 引擎见 GitHub：Niko1221 / Strata。

图：Hugging Face 上的 GSQ-RCO 模型页，MIT 协议，上线不久下载量已过 3.2 万次。来源：Hugging Face

顺带一提，同一位作者此前还发过另一条相关动态：在单台 M5 Ultra（80 核 GPU + 256GB 内存）上用 mlx-serve 跑原版 DeepSeek-V4.1-Flash-1017，生成速度稳定在 102-112 tok/s——Mac 用户可以对照着看，消费级硬件跑大模型这条路正在越走越宽。此前站内也介绍过同属 DeepSeek 家族的 DeepSeek-V4-Flash-Vision-Exp 全量免费开放，以及 OpenBMB 的 MiniCPM-o 4.5 多模态实时对话大模型，都是开源模型往本地走的同一趋势。

转自 X 作者 SuSu_酥酥（@NFT_Chen），原文链接：https://x.com/nft_chen/status/2113854991958176118