DeepSeek弹性计算团队近日启动新一轮招聘,放出大量HC,尤其需要资深工程师。此次招聘未发布岗位JD,而是直接发布了一篇技术分享《DeepSeek弹性计算(DSec):面向大规模Agent训练的沙盒基础设施》。

据披露,DeepSeek一套DSec扩展分片约含160台服务器、3万个CPU核心和250TB内存,每天服务约300万个沙盒,高峰期同时在线沙盒超过38万个,每秒可创建5000多个。DeepSeek已在生产环境部署多个这样的分片,能够支持数百万个沙盒同时运行,接下来要把Agent运行环境的数量和种类扩充成百上千倍。DSec是支撑DeepSeek-V4全部训练、评测和数据预处理流程的沙盒基础设施,从DeepSeek-V3.2一路到V4.1,Agent训练、评测和数据预处理产生的全部沙盒负载都已运行在DSec上。

针对Agent沙盒既要快速大批量创建、又不能每执行一步就销毁重来的特点,DSec把环境拆成三层:操作系统和基础软件放进base image,任务代码和依赖放进workspace,DeepSeek Harness等工具单独做成toolkit,三部分分别管理版本,创建沙盒时再组合。生产数据显示,Agent实际访问的数据仅占整个镜像的4.2%到13.3%,DSec因此将镜像数据统一放到自研3FS分布式文件系统,本地主要保存元数据,按需读取。集中创建8192个Container的测试中,按需加载使任务时间从60多分钟缩短到约35分钟,速度提升约1.71倍,磁盘写入量减少约57%。

资源利用方面,DeepSeek统计发现约90%的沙盒平均CPU使用量不到申请资源的5%,生产环境资源超卖率已超过50倍。DSec通过virtio-pmem和DAX让同一宿主机上的MicroVM共享宿主页缓存,单独启用该机制使实验宿主机峰值内存占用较基线下降40.2%;借助DAMON和balloon空闲页报告回收暂时不用的内存,按时间累计的内存消耗还能再降低21.2%。