实时战场暴露了智能体思考过久的代价

Brood War Bench 把 Codex、Claude 与 Grok 的 19 种模型和推理强度配置放进《星际争霸》实时对战,每个配置与其余 18 个逐一交手。Codex Astra 的 xhigh 配置以 18 胜 0 负居首,medium 配置为 16 胜 2 负,Claude Fable 以 15 胜 3 负排在第三。但作者的核心结论并不是谁赢了,而是所有参赛智能体都没有超过初学者水平:它们难以持续扩张经济、组织成规模的部队,也挡不住简单进攻。

实时环境放大了静态基准不容易看见的失败。Grok 4.6 xhigh 在一场 43 分钟的比赛里消耗 11,138 个推理 token,却只发出六批指令,最终连作战单位都没有造出来;问题不是完全没有策略,而是智能体把比赛的大部分时间花在两次行动之间。较新的模型更能意识到思考本身有时间成本,但提高推理强度并不稳定地换来更高胜率。

多智能体协作也没有自然发生。Codex 会分别创建负责经济、生产和军队控制的子智能体,可它们很少互通计划,军队控制者常把刚造好的单位逐个送去进攻,不知道另一边正在集结更大的部队。作者加入人类指挥后,模型在把握进攻时机和协调子任务上明显改善。这说明拆分角色只是并行化的开始,共享状态、交接协议与统一节奏才决定团队能否形成合力。

对真实智能体产品而言,这项实验的价值不在游戏排名,而在于它把推理延迟、调用成本和协作失配放进同一个闭环。桌面操作、事故响应和运营自动化同样不会暂停等待模型想完;一个能持续观察、及时行动并让多个执行者共享意图的系统,可能比单轮推理更强但反应迟缓的模型更实用。

阅读完整文章:https://bw.swerdlow.dev/report