Meta近日开源了一款基于多token预测（MTP）的语言模型，该模型在代码生成和推理任务上表现超越传统单token预测模型。MTP架构允许模型同时预测多个未来token，从而提升训练效率与生成质量。

实验表明，在代码生成任务中，MTP模型比同等规模的单token模型推理速度快3倍，同时在HumanEval等基准测试中准确率提升约2%。Meta已公开模型权重与训练代码，供开发者进一步探索。