在人工智能领域,蒸馏技术被视为快速提升小模型能力的捷径,但字节跳动却选择了一条不同的道路。据《智能涌现》报道,字节跳动旗下Seed团队自成立之初便定下“不做蒸馏”的原则,其创始人张一鸣在内部会议上明确表示,即使暂时落后于国内同行,也不会将蒸馏作为提升模型能力的捷径。这一决策反映了字节对长期技术路线和独立训练体系的坚持,而非短期性能的追求。
然而,这一策略也带来了显著的时间成本。在代码生成和Agent任务等关键领域,字节的最新模型Seed-2.1 Pro在公开榜单上落后于竞争对手。多位研究员指出,不蒸馏意味着放弃冷启动的加速过程,导致模型迭代周期延长,进而影响数据飞轮的运转。相比之下,英伟达CEO黄仁勋则公开支持蒸馏,认为这是智能的基础,并联合多家科技巨头推动开放模型生态,将蒸馏列为模型改进的标准方法。
字节的“不蒸馏”策略在不同能力线上的代价并不均衡。在视频生成领域,字节凭借数据优势已进入全球前列,蒸馏的增益有限;但在语言模型和Agent领域,字节仍需弥补能力差距。为此,字节近期成立了“AI数据与安全”部门,强化数据能力建设,以支撑其独立的训练体系。这场关于蒸馏的路线之争,本质上是对技术创新路径和长期竞争力的不同理解。