亚马逊把内部工单分类从 Claude Sonnet 4.6 换成 Strands Decider:成本降 98%,一年省下数百万美元

Strands Decider

亚马逊工程师在官方博客里披露:他们把内部最大的工单系统之一的分类工作,从 Claude Sonnet 4.6 换成了自家一个月前发布的决策模型 Strands Decider,效果相当,成本降了 98%,一年能省下数百万美元的 token 费用。

背景是这样:工单可能是客户升级、容量申请、自动告警、安全发现等,要归进 20 个固定类别。以前是 Sonnet 4.6 带着长系统提示词逐条读、输出 JSON;决策模型不生成文本,只对“这条工单属于哪个类别”这个选择题给出每个选项的概率。最终用的是 Strands Decider E4B(Gemma 4 架构)。

实测数字:单次调用平均耗时从 4215 毫秒降到 897 毫秒;每张工单的 token 从 6724 降到 2010;每张工单成本从 0.0222 美元降到约 0.0005 美元;按每百万张工单算,从约 22200 美元降到约 500 美元,相当于便宜了约 44 倍。

切换过程也值得学:他们没敢直接一刀切,而是用一个三档开关(BEDROCK / DUAL / DECIDER)先让两个模型并行跑、逐条比对分歧,确认没问题才彻底关掉 Sonnet,整个回滚只需要改一次配置、45 秒生效。作者也提醒了适用边界:只有类别固定、量大、对延迟敏感的分类任务才适合这么换;需要解释文字、类别经常变的任务,决策模型替代不了大模型。

同一天的其他 AI 动态:OpenAI 给研究模型装了个「总开关」Control Room,以及 Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2。

来源:Strands Agents 官方博客,原文

请登录后发表评论

    没有回复内容