本地 LLM 提速实战技能:inference-optimisation-skill 让推理速度全面爬坡

inference-optimisation-skill 仓库

本地跑大模型,速度不够快往往不是硬件的问题,而是推理配置没调到位。inference-optimisation-skill 是一个开源 Agent Skill,专门帮本地 LLM 服务做性能爬坡,覆盖解码速度、推测解码、预填充(prefill)、KV 缓存、冷启动和首 token 延迟(TTFT),方法适用于任意硬件和量化方案。

项目在 GitHub 上,MIT 协议,2026 年 11 月 16 日创建,上线不到一周已获得 1,393 星、128 个 fork。

它教你怎么做

这个 Skill 的核心不是给一份固定参数表,而是一套可照做的优化工作流:

  • 先算理论上限:动手调参之前,先算出硬件的理论上限,知道天花板在哪;
  • 一次只改一处:每轮只动一个变量,避免多个因素搅在一起分不清功劳;
  • 交错对照取中位数:新旧配置交错跑、取中位数,排除机器状态波动带来的假结论;
  • 记录失败:调不通的尝试也记下来,避免反复踩同一个坑;
  • 长上下文取针门控:长上下文场景用取针测试做门控验证;
  • 锁定干净构建再发布:确认效果后锁定干净的构建再交付。

实测数据

作者用这套方法在三台机器上跑出的成绩:

  • Intel Arc B390,Ornith-1.5-35B-A3B:解码从 43.6 提升到 53 tok/s;256K 长上下文预填充从 297 提升到 628 tok/s;
  • RTX 3090,Qwen3.8-27B:解码 96.2 tok/s;
  • 4×H200,DeepSeek-V4.1-Flash:解码 229.1 tok/s。

数字来自作者自己的实测环境,仅供参考——不同硬件、模型和量化组合的结果会有差异,但方法本身是通用的。

怎么用

安装很简单,克隆仓库后把 Skill 目录拷进 Claude Code 的 skills 目录:

git clone https://github.com/sybil-solutions/inference-optimisation-skill
cp -r inference-optimisation-skill/skills/inference-optimisation ~/.claude/skills/

也可以直接把仓库里的 PROMPT.md 当作任务提示词用,不装 Skill 也能按这套流程走一遍。

适合谁

如果你在本地跑模型——无论是 Mac、N 卡还是 Intel 显卡——又觉得速度没达到硬件应有的水平,这个 Skill 值得照着跑一轮。它和站内之前介绍的 Superpowers、Claude-BugHunter 一样,都是直接放进 Claude Code 就能用的技能包,区别在于它专攻推理性能这一件事。

提醒一点:项目刚创建不久,目前只有 1 个 commit,内容还在早期阶段;方法论和实测数据已经摆在 README 里,后续更新值得留意。

转自 GitHub 作者 sybil-solutions 的文章《inference-optimisation-skill》,原文链接

© 版权声明
THE END
喜欢就支持一下吧
点赞24 分享