DeepSeek 公开 DSec 智能体训练沙箱 单日创建三百万个环境

智能体强化学习的瓶颈,正在从 GPU 转移到环境。DeepSeek 新公开的技术报告 DSec(DeepSeek Elastic Compute)把这层此前很少被讨论的基础设施完整摊开了。

智能体训练需要大量隔离、有状态、能执行命令并调用工具的执行环境。这类负载的特点是突发式创建、隔离要求参差不齐、长交互中要保住状态、镜像复用率又低——所以需要的不是一个沙箱运行时,而是一个弹性执行平台。

DSec 用一套统一 SDK 暴露四种后端:函数调用、容器、microVM 和完整虚拟机,让不同任务按所需的隔离级别落位。集群层面负责放置与生命周期管理,环境由独立版本化的层组合而成,靠内存共享、回收与 CPU 调度实现高密度执行,镜像数据按需从分布式文件系统 3FS 加载。

更值得注意的是它与强化学习框架的协同设计:有状态的 rollout 执行与可被抢占的 GPU 训练解耦,沙箱生命周期跟着训练节奏走——既保住 rollout 状态,又能回收空闲资源。平台还把智能体越界行为(例如 reward hacking)的处理做进了基础设施层,而不是留到事后检查。

规模数据说明了这条路为什么非走不可:单个生产单元约 160 个节点,每天创建约 300 万个沙箱,生产环境中同时支撑超过 38 万个并发沙箱,每秒新建超过 5000 个。这也解释了这篇 31 页的报告为什么会署名 131 位作者。

阅读原文