字节Seed发现DeepSeek表现随Token位置周期性波动

字节Seed团队研究发现，DeepSeek-V4的表现会随信息在输入中的位置每隔4个Token周期性变化。同一道题、代码本身不改、要补全的位置不改，仅在前方增加几个无关紧要的字符，模型的答案就可能从错变对、再变回错。在128K长上下文检索测试中，同一条信息只是换了位置，DeepSeek-V4系列模型的检索准确率最高拉开40.2个百分点。

研究人员从DeepSeek-V4官方推理代码中截取一段FP8量化函数，让模型补全最后一个Token，正确答案应为8。在代码前加入由重复等号组成的装饰性文档字符串并调整等号数量后，模型答案开始反复横跳：填充长度模4余数为0或1时，模型倾向错误答案32；余数为2或3时，倾向正确答案8。统计显示，一组位置上错误答案32的平均概率达71.3%，正确答案8仅26.4%；换到另一组位置，正确答案8的平均概率升至91.5%，错误答案32只剩7.2%。

团队随后在“大海捞针”任务中扩大测试：构造长达128K Token、包含约1.6万个键值对的上下文，保持键值关系、问题与总长度不变，仅调整目标信息相对于压缩窗口边界的位置。结果DeepSeek-V4系列的准确率曲线呈现明显周期性起伏，DeepSeek-V4-Flash-Base不同位置间最大准确率差距达40.2个百分点，DeepSeek-V4-Pro-Base达34.8个百分点。

经过后训练，情况有所改善：DeepSeek-V4-Flash-0731差距缩小到19.1个百分点，DeepSeek-V4-Pro-0813缩小到14.8个百分点，更新的DeepSeek-V4.1-Flash-0910进一步降至6.1个百分点。DeepSeek-V4的波动周期为4个Token，DeepSeek-V4.1则变为2个Token，恰好对应两代模型各自采用的KV Cache压缩步长。研究人员认为，这项本为提升长文本处理效率的压缩技术，正是导致模型表现时强时弱的原因之一。