五角大楼内部调查称过度依赖 AI 让一所伊朗学校进了打击清单
2 月 28 日，两枚战斧导弹击中了伊朗南部米纳布的一所小学，150 多人死亡，其中至少 123 名儿童。彭博 9 月 19 日披露了五角大楼一份未公开的内部调查报告：这不是某一个灾难性决定的结果，而是一连串本可避免的失效叠在一起。
失效同时发生在三条链路上。目标数据库里的卫星影像多年未更新，学校在 2017 年前后就被围墙和独立出入口分隔开，2019 年就有分析员在系统里记录过变化，但那条记录进的是另一个不接目标数据库的系统，没能到达做打击方案的人手里。负责平民伤害评估的人员近年减少约 90%，中央司令部的那一组从 10 人剩到 1 人，没有任何人复核过这个地点。与此同时，部分人员把 Palantir 的 Maven Smart System 当成了分析员，期待它会主动标出过期记录和情报矛盾。
Maven 把这处长期被标为革命卫队设施的地点和其他候选一起推荐出来，成了第一天的打击目标。原本要花几小时的目标清单工作被压缩到几分钟，开战 24 小时内打了 1000 多个目标。
问责随即变成推诿。Palantir 表示自己不负责底层数据，也没有证据显示软件出错；袭击之后，他们给 Maven 加了复核底层情报、标记异常的功能，据说已经拦下一些异常。联合国调查则认为有合理理由相信这次打击构成战争罪。
从智能体从业者的角度看，这份报告讲的是两件熟悉的事。用户会高估推荐系统的能力，期待它做从未被设计去做的事；而把推荐加速，并不等于把核实加速。当生成速度超过验证带宽，人类复核就成了唯一瓶颈——这里的复核团队恰好被裁到只剩一个人。自动化决策真正的问题从来不在模型有多强，而在还有谁有能力、也有责任说一句等一下。