MLflow 官方技能实测:不用 API Key 也能给 AI 智能体加追踪和评分,6 道题找出 2 个 bug 再修好,11 月 10 日实测版

MLflow Skills for Claude Code

MLflow 团队官方给 Claude Code 出了一套技能包:10 个技能加 1 个钩子(mlflow/skills,1.0.0,commit 6303169),让 Claude 用大白话帮你给智能体加追踪、做评测、找 bug。AI Parabellum 11 月 10 日在 Claude Code v2.1.319 上实测,仓库 90 星、Apache-2.0 协议,全程本地 SQLite,不用 API Key。

实测拿一个规则客服小智能体开刀:先加 @mlflow.trace 追踪,跑一遍问题读回 trace;再用代码评分器对 6 道题打分,退款问题和小写订单号 a100 两道挂了,平均分 0.667;trace-analysis 技能顺着 span 定位到 find_policy 只认“ship”和“return”两个词;改完再测,两项评分都升到 1.0。

提醒三点:状态 OK 不等于答案对——修完后问不存在的 A999 订单,trace 还是 OK,答案却是“Order A999 is None”;6 道题太少,1.0 分只是提示不是证明;技能会跳过自己的部分步骤(比如三条试运行、pytest 回归套件),得自己盯着。已经在用 MLflow、想给 Python 或 TypeScript 智能体加追踪评测的人值得一试,相关实测可看站内这篇 5 款工程技能实测,插件横评可看Claude Code 的 11 个 AI 与机器学习插件一次讲清。

来源:AI Parabellum,原文

请登录后发表评论

    没有回复内容