大模型实时打星际争霸,没有一个打到新手水平
有人把星际争霸做成了只能由智能体来玩的版本,然后让一群大模型在真实时间里互相开打,结果没有一个超过初学者水平。
这个叫 Brood War Bench 的测试由 benswerd 搭建。智能体这边用 Claude Code、Codex 和 Grok Build 当外壳,游戏这边只给两个工具,发出指令和读取状态。也就是说模型要自己维持观察、决策、操作的循环,思考的每一秒都是真实流逝的对局时间。
19 组模型与思考强度的组合里,Codex Astra 18 战全胜排第一,但每局要花 10.54 美元。更能说明问题的是 Grok 4.6,有一局它输出了 11138 个推理 token,43 分钟里只发出六批指令,连一支部队都没造出来。老一代模型习惯把即时战略当成回合制来下,等它想清楚,基地已经不在了。
成本区间同样值得看。Codex 5.6 Luna 最低每局 0.16 美元就能拿到 38.9% 胜率,而 Codex 5.6 Terra 花 4.65 美元也只有 44.4%,提高思考强度并不是单调变好。
作者还观察到 Codex 会自己开几个子智能体分别管经济、生产和军事,但它们之间几乎不沟通,军事子智能体把刚造好的单位一个一个送上去,正好是新手最典型的错误。他自己介入指挥之后,配合立刻变好。
在一场没有暂停的实时环境里,延迟和花费第一次直接进入分数,而不只是账单上的数字。

