
本地跑大模型,速度不够快往往不是硬件的问题,而是推理配置没调到位。inference-optimisation-skill 是一个开源 Agent Skill,专门帮本地 LLM 服务做性能爬坡,覆盖解码速度、推测解码、预填充(prefill)、KV 缓存、冷启动和首 token 延迟(TTFT),方法适用于任意硬件和量化方案。
项目在 GitHub 上,MIT 协议,2026 年 11 月 16 日创建,上线不到一周已获得 1,393 星、128 个 fork。
它教你怎么做
这个 Skill 的核心不是给一份固定参数表,而是一套可照做的优化工作流:
- 先算理论上限:动手调参之前,先算出硬件的理论上限,知道天花板在哪;
- 一次只改一处:每轮只动一个变量,避免多个因素搅在一起分不清功劳;
- 交错对照取中位数:新旧配置交错跑、取中位数,排除机器状态波动带来的假结论;
- 记录失败:调不通的尝试也记下来,避免反复踩同一个坑;
- 长上下文取针门控:长上下文场景用取针测试做门控验证;
- 锁定干净构建再发布:确认效果后锁定干净的构建再交付。
实测数据
作者用这套方法在三台机器上跑出的成绩:
- Intel Arc B390,Ornith-1.5-35B-A3B:解码从 43.6 提升到 53 tok/s;256K 长上下文预填充从 297 提升到 628 tok/s;
- RTX 3090,Qwen3.8-27B:解码 96.2 tok/s;
- 4×H200,DeepSeek-V4.1-Flash:解码 229.1 tok/s。
数字来自作者自己的实测环境,仅供参考——不同硬件、模型和量化组合的结果会有差异,但方法本身是通用的。
怎么用
安装很简单,克隆仓库后把 Skill 目录拷进 Claude Code 的 skills 目录:
git clone https://github.com/sybil-solutions/inference-optimisation-skill cp -r inference-optimisation-skill/skills/inference-optimisation ~/.claude/skills/
也可以直接把仓库里的 PROMPT.md 当作任务提示词用,不装 Skill 也能按这套流程走一遍。
适合谁
如果你在本地跑模型——无论是 Mac、N 卡还是 Intel 显卡——又觉得速度没达到硬件应有的水平,这个 Skill 值得照着跑一轮。它和站内之前介绍的 Superpowers、Claude-BugHunter 一样,都是直接放进 Claude Code 就能用的技能包,区别在于它专攻推理性能这一件事。
提醒一点:项目刚创建不久,目前只有 1 个 commit,内容还在早期阶段;方法论和实测数据已经摆在 README 里,后续更新值得留意。
转自 GitHub 作者 sybil-solutions 的文章《inference-optimisation-skill》,原文链接
© 版权声明
THE END










