量化共1篇
12GB 显卡跑 763B 大模型:DeepSeek-V4.1-Flash GSQ-RCO 量化版来了 - 巴巴小站

12GB 显卡跑 763B 大模型:DeepSeek-V4.1-Flash GSQ-RCO 量化版来了

ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化版,763B 参数 MoE 模型最低压到 1.75 bpw,单张 12GB 显卡加几十 GB 内存就能在本地跑起来,2.00 bpw 版本在三项基准上完全...
babage的头像 - 巴巴小站babage21小时前
022131