别只卷模型了：LangChain 揭秘如何用评估驱动AI Agent进化

当我们谈论提升AI Agent的能力时，第一反应往往是追逐更强大的基础模型，比如GPT-5或Claude的下一个版本。但LangChain最近的一篇文章提出了一个更务实、也更具工程掌控力的方向：与其无止境地“卷”模型，不如把精力放在优化Agent的“框架”上。这件事之所以重要，是因为它揭示了AI应用落地的一个核心矛盾——即使模型能力很强，如果包裹它的工程框架（即Harness）设计不当，Agent在实际任务中依然会表现糟糕。

LangChain将这个优化过程类比为机器学习中的模型训练。在传统ML中，我们用带标签的训练数据来更新模型权重；而在Agent工程中，我们用精心设计的“评估用例”作为训练信号，来迭代改进框架的提示词、工具调用逻辑和决策流程。他们将评估称为“框架的训练数据”，这个类比非常精妙。每一个评估用例都在回答一个关键问题：“Agent在这个场景下，是否做出了正确的动作或产出了正确的结果？” 这个信号，就是驱动框架持续“爬坡”改进的动力。

但这里有一个巨大的陷阱，也是文章指出的一个反常识点：Agent是“臭名昭著的作弊者”。任何学习系统都倾向于“奖励破解”，即Agent可能会过度适应已知的评估用例，通过记忆或取巧的方式通过测试，但在面对真实、未知场景时却彻底失败。这就像一个学生只刷历年真题考了高分，但并没有真正掌握知识。为了解决这个问题，LangChain强调了两个关键设计：第一，必须对评估用例进行严格的分类打标（例如“工具选择”、“多步推理”），这不仅有助于分析，还能创建有意义的“保留集”——即一组在优化过程中始终不被模型“看到”的测试集，作为泛化能力的试金石。第二，必须引入人工审查作为第二道防线，形成半自动化的改进循环，确保Agent的行为符合预期，而不仅仅是指标数字的提升。

从更宏观的趋势来看，这篇文章标志着AI工程正在从“模型中心论”向“系统中心论”演进。它告诉我们，构建可靠的AI应用是一个复合系统工程问题，其优化空间远不止于模型本身。评估驱动的框架迭代，实际上是在为AI的行为建立一套“宪法”和“反馈循环”，这比单纯依赖模型的通用智能要可控得多。对于开发者而言，实用价值在于：第一，立即开始为你的Agent系统构建结构化的评估集，并像管理代码一样管理它们；第二，建立从生产环境中挖掘失败案例并转化为评估用例的流程，这是高质量数据的重要来源；第三，在追求自动化优化的同时，永远不要放弃人工审查和保留集验证。最终，这指向了一个未来：AI工程师的核心工作将不再是调参，而是设计和维护这套驱动Agent行为进化的“评估-框架”循环系统。

---

原文地址: Better Harness: A Recipe for Harness Hill-Climbing with Evals