性能优化共1篇
本地 LLM 提速实战技能:inference-optimisation-skill 让推理速度全面爬坡 - 巴巴小站

本地 LLM 提速实战技能:inference-optimisation-skill 让推理速度全面爬坡

开源 Agent Skill inference-optimisation-skill,专帮本地 LLM 服务做性能爬坡:解码、推测解码、预填充、KV 缓存、启动与首 token 延迟全覆盖,附可照做的优化工作流与三台机器的实测数据。
巴巴小站的头像 - 巴巴小站巴巴小站昨天
126424