Lilian Weng 长文梳理 Harness 工程,自我改进的杠杆在模型之外
Lilian Weng 发布长文,系统梳理 Harness 工程——即包裹基础模型、决定其如何思考、调用工具、管理记忆与评估结果的外围系统。文章的核心判断是:原始模型能力与真实世界之间的这层系统,重要性不亚于模型本身。Claude Code、Codex 等编码 Agent 产品之间的差距,很大程度上来自 Harness 而非底座模型。
文章归纳了三种核心设计模式:工作流自动化(目标驱动的“计划-执行-观察-改进”循环)、以文件系统作为持久记忆(长程任务的状态与产物落盘,而非塞进上下文窗口)、子 Agent 与后台任务(并行实验、进程管理、结果合并回主线程)。贯穿全文的是 Harness 与操作系统的类比——封装复杂逻辑、暴露简单接口,而工具接口与协议正在行业层面走向标准化。
更有意思的是自我改进的 Harness:让 Agent 分析自身轨迹与失败案例,自动优化提示词与工具定义,甚至通过进化搜索与模型权重联合优化。社区实践已经显示,这类“优化 Harness”的自动化能显著压缩 token 成本、提升任务成功率。此前我们报道过 Anthropic 的递归自我改进报告,而 Weng 这篇文章把实现路径落到了工程层:当权重训练趋于瓶颈,“训练提示与代码”正在成为新的前沿。