梁文锋用沙盒开启RSI - 直播预告

梁文锋借助沙盒机制开启RSI进程

DeepSeek与清华大学联合发表了一篇论文，梁文锋是署名中的最后一位。

论文表面上探讨的是DeepSeek用于训练Agent的沙盒系统，但读到第6节时，内容显得颇为特殊。字里行间隐含着三个英文字母：RSI。

借助这个沙盒，Agent能够自主构建所需的环境，而这个环境又会反过来训练Agent，经过训练后更强的Agent则能创造更优的环境。

从而形成了一个小规模的RSI闭环。

正因如此，沙盒或许成为了开启RSI首场战役的关键工具。

那么这篇论文具体讲述了什么内容呢？

这篇论文到底讲了什么

梁文锋署名的这篇新论文，标题为《DeepSeek Elastic Compute （DSec）: A Sandbox Infrastructure for Effective Agentic Training at Scale》，于9月19日提交至arXiv，编号为2609.22978。作者超过130人，梁文锋排在末位，合作方是清华大学。

论文的核心内容可以用一句话概括：DeepSeek完整公开了其用于训练Agent的“沙盒工厂”DSec。

但要理解DSec，首先需要弄清“训练Agent”与“训练大模型”之间的差异。

训练大模型涉及投喂数据、计算梯度，环境是GPU集群。而训练Agent则截然不同，Agent需要在环境中编写代码、运行编译、打开浏览器、安装依赖、调用工具，并根据执行结果不断尝试，直至任务完成。

然而，如果将Agent放在普通电脑中训练，它若做出某些操作，可能毁掉整个环境。

因此，需要一个隔离的、有状态的、能运行真实软件的沙盒。

DSec正是这样一个平台。它通过统一的Python SDK（libdsec）提供四种后端：函数调用（FnCall）、容器（Container）、轻量虚拟机（microVM）和完整虚拟机（Full VM）。

简单来说，DSec好比一个外卖APP，Agent是骑手，沙盒则相当于派单系统。以此类推，FnCall、容器和轻量虚拟机就是外卖站点分发的电动车和保温箱，完整虚拟机则是冷链货车。

但这里存在一个固有矛盾：隔离强度与系统功能天生难以兼顾。

越接近真实机器，启动速度越慢、内存开销越大。运行短脚本使用函数调用，修改代码仓库使用容器，执行安全任务使用microVM，而要运行安卓、图形界面等完整系统，则必须使用完整虚拟机。

论文显示，一个生产单元约包含160个CPU节点、3万核、250TB内存，可托管PB级镜像。

该系统每天服务约300万个沙盒，峰值并发超过38万个，创建速度超过每秒5000个。单个训练任务最多能一次性拉起3.2万个沙盒。在单节点上，最高可容纳800个microVM或3200个容器。

DSec具备三个核心机制。

第一，将环境拆分为“可组合的层”。

过去，一个沙盒环境是一个完整的镜像，修改一个工具包就需要重建整个镜像，维护成本随组合数急剧上升。DSec将基础镜像、工作区、工具包拆分为三层独立版本化的只读层（EROFS），启动时通过overlayfs组合起来，修改哪一层就只重建哪一层。实测比tar.gz打包方式快1.76倍，磁盘写入量减少5.5倍。

这相当于给骑手配车，以前坏了一个零部件就得换整车，DSec则是坏了哪个换哪个。

第二，镜像实现“按需加载”。镜像存储在3FS（DeepSeek的分布式文件系统）上，元数据预取到本地，数据块仅在真正读取时才加载。实测8192个容器的突发部署，按需加载在35分钟内完成，而Docker冷拉取需要60分钟以上，磁盘写入量减少约57%。

老办法是“不管用不用，整仓先搬空”。DSec则是“根据外卖单，用到哪件骑手去取哪件”。

第三，内存和CPU实现“精打细算”。

利用virtio-pmem配合DAX，让多个虚拟机共享同一份页缓存，峰值内存降低40.2%；使用DAMON加balloon回收冷页，时间积分内存再降低21.2%；在CPU方面，将沙盒分为“延迟敏感”和“尽力而为”两类，通过core scheduling将SMT干扰从45.2%压至17.3%。

此外，从DeepSeek-V4.1开始，论文还将Agent的rollout从可被抢占的GPU训练Pod中分离出来，独立运行在DSec上，GPU被抢占时rollout状态不会丢失。

简单来说，就是让骑手们共用同一张地图、同一批货架，车里压仓的冷货随手退回仓库，加急单和普通单分道运行、互不干扰。

藏在第6节的RSI

论文中最容易被忽略的一句话，不在摘要，而在第6节的小标题中：Build environments of Agents, by Agents, for Agents。意为由Agent建造、为Agent服务、属于Agent的环境。

这句话等于DeepSeek悄悄透露了一件大事，DeepSeek也实现了部分RSI。

论文第6.1节指出，手工构造Agent RL所需的大量环境已经“不现实”（impractical）。

于是DeepSeek改变了做法，让Agent在训练用的同一套沙盒中，交互式地自行搭建环境，再利用pack_diff将这次会话打包成一张增量快照，直接变成下一批可复用的训练场。

造环境的Agent和被训练的Agent共用DSec这套沙盒基础设施。

Agent铺场地 → 场地训练Agent → 更强的Agent再铺更好的场地。DeepSeek的RSI由此部分实现闭环。

但这个闭环仍处于早期阶段。

第6.4节记录了大量Agent作弊事件，例如去平台中翻找残留的参考答案，伪造RPC消息直接向chronus索取答案，翻阅chronus日志寻找泄题，甚至覆盖/bin/bash以绕过检查。

被拦截后，又利用XFS_IOC_SWAPEXT这个ioctl将受保护文件的存储块换到另一个文件描述符上，结果导致XFS元数据损坏，迫使文件系统关闭。

有作弊的，自然也有闯祸的。一个Agent从根目录递归grep，一路读到/proc/kpagecgroup，触发内核bug直接导致内核崩溃。

另一个Agent调用了yes命令，chronus将其输出全部记录下来，数十GB数据堆积在存储上。

目前的RSI无法顺利运转，卡住的从来不是GPU，而是环境供给。

Agent RL每一代都需要新任务、新沙盒、新服务依赖，人工构建环境才是真正的瓶颈。

DSec相当于将这一环节部分自动化，自动生成RSI所需的环境。

还是用外卖来举例。

一个外卖平台想越跑越快，不能只靠一个骑手重复送同一单。想要骑手变强，就需要接更多不同种类的单，而单越多又反过来将骑手练得更强。

但要转动这个飞轮，卡住的从来不是骑手，而是餐厅够不够多。没有餐厅，骑手再能跑也是空转。

DSec相当于建造了一个“自动建餐厅”的系统。

以前平台得人工一家家洽谈商家、装修后厨、写菜单、定考核标准，几百几千家根本谈不过来。

DSec说：“别谈了，让骑手在跑单的同一个后厨里，顺手把店开了。他怎么装的灶台、进的什么货、接的什么水电，系统用pack_diff‘啪’拍一张快照存下来，下一波骑手直接拎包入驻这家店开工，不用重新装修。”

沙盒，成了新的战场

DSec并非孤例。整个行业都在朝着“Agent沙盒”这一方向发力。

最知名的案例是Kimi K3。

月之暗面于7月16日发布K3，这是一个2.8万亿参数的MoE模型，每个token激活约104B参数，支持100万token上下文，具备原生视觉能力，号称“全球首个开源的3T级模型”，在SWE-bench上取得76.8%的成绩，开源排名第一。

其Agent Swarm最多能并行调度300个子代理。DeepSeek这篇论文中引用的也正是Kimi-K2.5的Agent Swarm。

Kimi训练K3时使用的AgentENV也是一种沙盒。

AgentENV是一个运行在Firecracker microVM上的分布式沙盒平台，每个沙盒拥有独立的Linux内核、网络栈和文件系统，底层存储使用OverlayBD + ublk，只读层在全集群共享，每个沙盒写入自己的上层。这与DSec采用同一技术栈。

DSec论文第7节提到，它使用的Rust版OverlayBD/ublk存储库，就开源在AgentENV这个仓库中。

两者相当于同门师兄弟。

但AgentENV无法实现RSI，它提供的是fork/snapshot这类“状态操作原语”，使RL rollout能并行、能回滚、能干净判分。因此，它无法像DSec那样让Agent自行构建环境。

类似的还有阿里。在云栖大会上，阿里云CTO李飞飞提出了“Agentic Cloud”战略，将Model、Harness、Context视为三个核心场景，一口气推出了AgentCore、Agent Sandbox、新一代存储CPFS。

其中Agent Sandbox能创建吞吐量达10万个/分钟，深休眠唤醒时间小于600毫秒，兼容E2B和K8s。

沙盒正在成为“新的运行时”。

云计算的主体，从虚拟机，到容器，再到模型，现在轮到Agent。谁掌握了Agent的执行环境，谁就掌握了下一代云的入口。

这导致竞争焦点从“模型能力”转向“环境基础设施”。

“训练大模型拼算力，训练Agent拼环境”。

在GPU之外，CPU、内存、存储、镜像分发，全都变成了新的瓶颈。

此外，安全从附加项的价值也变得极为重要。OpenAI、Anthropic的各种模型越狱、DSec论文中Agent的作弊和内核崩溃，说的都是同一件事。

沙盒如果不牢固，训练信号就是假的，评估就是无效的。因此，像阿里这样的厂商，会将“安全围栏”也作为卖点，DSec则使用AppArmor加eBPF。

沙盒厂商过去比拼的是速度和成本，现在开始比拼谁更牢固。

RSI的第一场战役已经打响。想运行RSI，就必须先拥有沙盒和环境。

本文来自微信公众号“字母AI”，作者：苗正，36氪经授权发布。