何恺明团队在最新论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出一套视觉原生的Harness框架VISTA,让现有多模态模型无需从头训练,即可直接观察环境、保存原始画面,并在推理时随时回看、放大和检查细节。
与传统将环境抽象为文字或代码的做法不同,VISTA保留原始视觉信息。模型可根据当前问题,将过去看过的画面重新调入上下文,参与判断与推理,使视觉经验成为可随时调用、反复检查的上下文,为多模态模型搭建起围绕视觉记忆的原生脚手架。
VISTA包含三个核心组件:视觉观测负责将环境画面提供给模型,实验中会把官方64×64画面放大为512×512的PNG图像,保留颜色、外观与空间关系;无损视觉记忆按回合号和帧号索引,完整保存环境返回的所有画面,包括动作过程中的动画中间帧;主动视觉检查则支持模型按需回看和放大局部细节。研究将这一机制称为对交互历史的显式注意力。
评测方面,搭配VISTA后,Claude Opus 5.0完成了ARC-AGI-3全部25个公开游戏,相对人类动作效率得分达到满分100,所用动作数比首次游玩的人类基线少57.4%;换成GPT-5.6 Sol同样全部通关,得分99。团队还在浏览器游戏、迷宫和连线题中验证了该方法,并将更接近物理世界的具身任务列为后续研究方向。