AI圈近期密集关注RSI(递归自我改进),Hinton的RSI论文汇集了Bengio、OpenAI首席科学家Pachocki、Anthropic联创Jack Clark等众多署名者。在AI自我改进之外,一个基础问题随之浮现:一次改进如何成为下一次的起点?承接这一问题的正是记忆。记忆张量给出的答案是记忆原生,即将经验的保留、更新和调用做成模型可以学习的能力。
记忆张量最新开源的MemT 1.0系列给出具体路径:把经验编码成内部动态状态,通过训练学习如何写入、更新和读取,再让这些状态经由记忆分支参与后续计算。与外部记忆相比,该方案能力不打折,拓展天花板更高,也是记忆原生模型首次实现近300B参数规模的工程验证。
MemT 1.0包含两个型号:MemT-1.0-Nano总计36B参数、激活3B,基座为Qwen3.6-35B-A3B;MemT-1.0-Flash高达288B参数、激活17B,基座为经进一步后训练的DeepSeek-V4-Flash。两者均在选定的Transformer模块中增加了一条与原有注意力并行的记忆计算通路。
在SWE-bench Verified的500项任务、每项独立运行三次的测试中,MemT-1.0-Nano关键断点平均成功率为69.73%,无经验基线为66.07%,文本经验组为69.13%;三次全部成功的任务比例从54.00%提升至62.80%。在SWE-bench Multilingual中,原生记忆组平均成功率63.56%,高于无经验组的60.00%和文本经验组的63.00%。结果表明,程序性经验可通过记忆原生得以保留,表现接近显式文本经验,优势体现在平均成功率和重复执行的可靠性上。
扫码查看视频号
咨询
咨询