kimi-k3-in-c：2.78 万亿参数的 Kimi K3，不用 GPU、单 CPU 加 8GB 内存就能跑起来

kimi-k3-in-c 用纯 C99 从零写了一个 Kimi K3 推理引擎：零依赖，不用 BLAS、不用框架、不用 GPU，作者称 2.78 万亿参数的模型能在单 CPU、8.24GB 内存里跑起来。项目 1 万星、Apache-2.0 协议，今日登上 GitHub Trending 日榜。

它能跑起来的办法是四重「瘦身」：专家权重本身已是半字节的 MXFP4；注意力换成记忆不随长度增长的 KDA 与单隐变量的 MLA；每次推理只从 896 个专家里挑 16 个；再把 93 层主干流式读取、按需缓存专家。作者还附了一整套验证阶梯，从小规模对照到完整检查点的持续生成。

不过要先泼一盆冷水：模型本体是 1.56TB 的检查点，下载与存储才是真正的门槛，8GB 说的是推理时的内存占用、不是整个模型的大小；这也不是开箱即用的聊天应用，而是给想研究大模型推理实现的人准备的硬核项目。相关背景可看站内这篇：Kimi K3.1 Pro 权重正式上线：2.8 万亿参数、1.56TB，承诺的 11 月 4 日兑现了

项目地址：github.com/FareedKhan-dev/kimi-k3-in-c

来源：GitHub @FareedKhan-dev，原文：https://github.com/FareedKhan-dev/kimi-k3-in-c