Lilian Weng 谈“马具工程”：为什么 AI 自我改进的答案不在模型里，而在它的外骨骼里
原文: Harness Engineering for Self-Improvement
OpenAI 研究员 Lilian Weng 指出，AI 系统的关键不在模型大小，而在连接模型与现实的“马具”层，并给出了可自我进化的设计模式
- Harness 是连接大模型与真实世界的“外骨骼”，决定了 AI 在应用中的真实表现，而非模型原始智力
- 当前主流的 Harness 设计包括三种模式：工作流自动化、文件系统持久记忆、子代理后端任务
- Harness 本身也需要自我改进，可通过进化搜索直接优化，或与模型权重协同进化
- 未来的竞争焦点将从模型训练转向 Harness 工程，开源工具链的成熟可能加速这一趋势
你可能听过无数次“大模型又变强了”，但真正决定一个 AI 能在现实世界做成什么事的，可能不是模型本身，而是它周围那层看不见的“外骨骼”。Lilian Weng 在新文章里给这层系统起了个名字：Harness，也就是马具。马具这个词很形象——没有马具，再强的马也难以拉车、耕地或冲锋；放在 AI 里，没有 harness，再强的模型也只能在 prompt 里原地打转。
Harness 到底是什么？ 它不是简单的 prompt 模板，而是围绕模型的完整运行时系统：怎么规划任务、调用工具、存储记忆、自我检查、评估结果。Lilian 对比了早期 agent 框架（“LLM + 记忆 + 工具 + 规划”），指出现在的 harness 工程更强调工作流设计、权限控制、持久状态管理，已经变成了软件系统设计的范畴。她总结出三种关键模式：
- 工作流自动化：把复杂任务拆成可重复的循环，让模型在规划-行动-观察的循环中自我纠正。
- 文件系统作为持久记忆：不靠上下文窗口硬塞，而是让模型像人一样读写文件，把阶段性成果存为 artifacts。
- 子代理和后端任务：主代理把子任务外包给更专注的“子代理”，自己只负责统筹，极大降低单次调用的认知负荷。
为什么现在值得聊？ 因为前沿模型性能趋近平台期，而部署场景的竞争正在白热化。Claude Code、Codex 等编程 agent 的成功，靠的不仅是 Claude 或 GPT 本身，而是它们背后精密的 harness 设计。Lilian 甚至提出一个深层问题：harness 层与核心智能的界限在哪儿？ 如果 harness 优化到极致，模型本身只需要做基础推理，那到底是 harness 成就了智能，还是智能只需要 thin model？
Harness 的自我改进 是文章真正的核心。Lilian 认为，递归自我改进（RSI）的当代实践，不是让模型改自己的权重，而是让 harness 改进训练管道和部署系统，从而孕育更强的下一代模型。她介绍了两种路径：
- 进化搜索：像 AutoEvolve 这样的方法，直接在 harness 的超参数或代码片段上做变异、评估、选择，让 agent 系统自动找到更优的配置，甚至编写更好的工具。
- 与模型权重联合优化：让 harness 的设计参数和模型权重一起在训练中更新，打破“工程师手工设计”和“数据驱动训练”的壁垒。
这对开发者意味着什么？ 你会发现写提示词的高级版本其实是写 harness。当你构建一个 AI 应用时，思考的不再是“怎么问问题”，而是“怎么设计这个循环”——出错时怎么回退、怎么缓存中间结果、怎么让并行子代理不撞车。Lilian 强调了“故意简单通用”的设计原则，尽量复用已有的软件工程实践，这样模型预训练的知识才能被激活。
一个反常识的洞察：大多数讨论聚焦于模型能力，但实际应用中，同样的模型搭配不同的 harness，性能差异可能天壤之别。这暗示着 AI 竞赛的下半场，主角可能不是模型厂商，而是那些能打造超级 harness 的工程团队——就像 iOS 的成功不仅靠芯片，更靠操作系统。开源社区如果能率先标准化 harness 框架，可能会像 Linux 冲击服务器市场一样，重新定义 AI 部署的格局。
当然，挑战依然存在：harness 的过拟合、可解释性缺失、以及进化搜索带来的安全性风险，都是未来需要深入探索的课题。Lilian 的文章没有给出终极答案，但她清晰勾勒出了一幅“从炼模型到炼系统”的路线图，值得每一个做 AI 应用的工程师深读。
分析由 BitByAI 生成 · 阅读原文