模型路由的隐形成本：缓存与任务不可见性，让省钱变成亏钱

AI 智能体（智能体）的流行让“模型路由”成了显学——用分类器把简单请求导给便宜模型，复杂任务留给 GPT-4 这种昂贵模型，心里一算账，成本下来了，效果还没怎么降。听起来完美。

但 IBM 研究院的这篇工程札记告诉我们：真这么干，你的账单可能反而翻倍。

起因：为什么现在要聊这个？

2025 年，智能体 不再是 demo，落地中的坑才开始暴露。路由看似一个分类问题，实际上在 智能体 的多步执行循环里迅速变质为系统优化难题。IBM 团队在真实基准（AppWorld）上跑了 417 个任务，用同一个 CodeAct 智能体 框架对比 GPT-4.1 和 Claude Sonnet 4.6。结果让所有迷信价格标签的人惊掉下巴：Sonnet 总成本 79 美元，GPT-4.1 却要 155 美元——几乎贵一倍。但无论输入还是输出 token 单价，GPT-4.1 都更低，而且 Sonnet 平均需要 3 倍的推理步骤才能完成任务。

拆解：成本幻觉与复杂度幻觉

问题出在两个维度。

第一，成本不等于基础定价。 Caching（缓存）是主角。智能体 在工作时，每一步都携带大量复用的上下文——系统提示、工具文档、历史记忆。如果缓存命中率高，AI 提供商对缓存读取的收费远低于普通输入。Sonnet 的缓存读定价更低，使得它在高复用场景下实现了极低的“有效输入成本”，完全压制了 GPT-4.1 的 token 单价优势。这就像你选了更便宜的长途货车，但忘了算过路费——结果总运费比贵的车还高。

第二，任务复杂度难以预先感知。 表面看，“总结这份合同”像一个轻量级任务，扔给便宜模型就行。但实际执行中，它可能触发法律条款检索、合规性检查、多轮精炼，甚至调用外部工具，变成一口深井。反过来，一个看起来极具技术性的问题可能被某个专用小模型一招化解。更糟的是，企业环境还叠加了数据驻留、隐私法规、模型准入白名单等治理约束，路由不再只是一个难度分拣，而是多维优化问题（成本、延迟、可靠、合规）。

趋势洞察：从模型中心到系统中心

这件事揭示一个大趋势：AI 应用正从“调用一个 API”转向“编排一个系统”。模型路由不再是你偷偷塞进去的 if-else，而是一个需要持续观测、动态调整的控制面。它要求你实时感知每个请求的上下文复用率、当前延迟窗口、合规成本，甚至不同区域的模型可用性。这已经有点边缘计算里“就近调度”的味道了——不只是选哪个模型，而是什么时候、在哪里、以什么方式服务。

更深一层，这意味着我们过去“选模型”的思维方式会过时。未来的 智能体 框架会将路由视为一种资源调度：模型只是可调度的计算单元，决策依据是它们的实时性能、成本特性和所在的数据中心，而不再是一个静态的榜单排名。

实用价值：开发者现在可以做什么？

• 别只看定价页。 用你自己的真实工作负载跑成本测算，尤其要测量上下文复用模式。如果 智能体 会频繁复用长 system prompt 或工具说明书，把缓存命中率纳入模型评估。
• 为路由加入运行时反馈。 不要只靠一个初始分类器。让 智能体 在第一步后就去感知任务展开的复杂性，允许中继换模型。
• 提前拥抱治理维度。 如果你的系统将来要进入受监管行业，现在就把模型准入、数据驻留作为路由变量输入，而不是事后打补丁。

反常识：你以为的省钱恰恰是亏钱

最违背直觉的或许是：拿着更低的单价，用着更短的推理链，最后花了更多的钱。这在指标驱动的工程师文化里极具杀伤力，因为我们总倾向选择“看起来更优”的数字。但 AI 工程化世界里，上下文复用效率正成为比模型智商更重要的经济杠杆。另一个意外是，任务难度根本预测不准——这可能意味着，基于语言的分类器来分配任务本身就充满噪音。也许未来可靠的路由器，得靠 智能体 自己“先试一小步”再决定去向。

总之，这篇札记没给银弹，但给了一个清醒的起点：模型路由不是简单的选择问题，而是系统工程的开端。

原文地址: Model Routing Is Simple. Until It Isn’t.