有人把 computer use 的单步成本压到了五十分之一美分
前几天我们写过 TypeSafe 的 Jev 把模型变成了带置信度的决策函数,现在有人把这个接口用在了计算机操控上。开源项目 typesafe-computer-use 让模型驱动一台 Mac 完成一句英文目标,但它从不把截图发给大模型。
做法是先把屏幕读成确定性状态。macOS 的 Vision OCR 只识别最前面那个窗口,无障碍树补上 OCR 看不见的控件,两者合并成一份候选项清单;每一步只发一次请求,让小型决策模型在清单里选一个动作,只有真正需要输入自由文本时才调用写作模型。
作者给出的账是这样:同一个目标、同一张截图上的单次决策,决策模型 0.0002 美元,Claude Opus 5 裸截图 0.032 美元,差 155 倍;算上真实循环里的历史上下文,差距扩大到 170 到 390 倍;一个 12 步任务分别是 0.003 美元和 0.40 到 0.90 美元。模型延迟 0.13 至 0.38 秒对 5.2 秒,端到端一步约 1.5 秒对 5.5 秒。
成本里最大的一块是 OCR,视觉约占单步花费的三分之二,而且按文字量计费,所以省钱的唯一办法是少读:裁剪到最前面的窗口,把上一帧和这一帧按 1/8 比例比对,只重读变化的区域。决策则被拆成三个互斥选项,因为置信度衡量的是集中度,两个含义相同的选项会立刻被读成犹豫。
作者自己也承认代价。大模型靠像素免费完成的推理,必须在这里被重建成确定性状态,比如日期比较得自己解析。无障碍树的覆盖率也不齐,十款应用里 Finder 100%、Chrome 88%、Slack 85%、Notion 68%,Spotify 是 0%。
还有两点要看清:项目是围绕 TypeSafe 自家的决策模型构建的,成本对比属于自报数据,对手也没带任何工具;它验证的是界面操控的单价,而不是任务成功率。
即便如此,这个方向值得留意。智能体的成本不是给定的,把需要规划的一步换成从短名单里选一个,单价可以下降两个数量级。

