首页 › AI快讯 › 记忆张量开源MemT 1.0:记忆原生焊进Transform

记忆张量开源MemT 1.0:记忆原生焊进Transformer,完成近300B验证

希
希鸥网AIGC专员
· 2026-11-02 · AI快讯 · 来源:量子位 1,522 次阅读

AI圈近期密集关注RSI(递归自我改进),Hinton的RSI论文汇集了Bengio、OpenAI首席科学家Pachocki、Anthropic联创Jack Clark等众多署名者。在AI自我改进之外,一个基础问题随之浮现:一次改进如何成为下一次的起点?承接这一问题的正是记忆。记忆张量给出的答案是记忆原生,即将经验的保留、更新和调用做成模型可以学习的能力。

记忆张量最新开源的MemT 1.0系列给出具体路径:把经验编码成内部动态状态,通过训练学习如何写入、更新和读取,再让这些状态经由记忆分支参与后续计算。与外部记忆相比,该方案能力不打折,拓展天花板更高,也是记忆原生模型首次实现近300B参数规模的工程验证。

MemT 1.0包含两个型号:MemT-1.0-Nano总计36B参数、激活3B,基座为Qwen3.6-35B-A3B;MemT-1.0-Flash高达288B参数、激活17B,基座为经进一步后训练的DeepSeek-V4-Flash。两者均在选定的Transformer模块中增加了一条与原有注意力并行的记忆计算通路。

在SWE-bench Verified的500项任务、每项独立运行三次的测试中,MemT-1.0-Nano关键断点平均成功率为69.73%,无经验基线为66.07%,文本经验组为69.13%;三次全部成功的任务比例从54.00%提升至62.80%。在SWE-bench Multilingual中,原生记忆组平均成功率63.56%,高于无经验组的60.00%和文本经验组的63.00%。结果表明,程序性经验可通过记忆原生得以保留,表现接近显式文本经验,优势体现在平均成功率和重复执行的可靠性上。

📖 阅读本文共 1,522 次 2026年11月02日 12:30
📱 长按识别 分享给好友~
视频号二维码

扫码查看视频号

客服头像 咨询 咨询