何恺明团队提出NAT-ARC：用ImageNet预训练让纯视觉方案解ARC

何恺明团队最新论文提出NAT-ARC，一套纯视觉的ARC解题方案。它不依赖大语言模型，而是用ImageNet上的猫狗花草等自然图像做预训练，让模型先学会“看”，再迁移到抽象彩色格子推理任务上。结果显示，NAT-ARC表现最好的单模型在ARC-1上取得63.4%的pass@2分数，集成后达到70.2%，这是纯视觉方案首次逼近专用LLM系统的水平。

ARC全称Abstraction and Reasoning Corpus，由Keras之父François Chollet在2019年提出，被公认为最难的AI视觉智力测验之一。每道题给出一块最大30×30的二维格子，最多10种颜色，并提供2到5组输入输出示例，挑战者需从中推断隐藏的变换规则，再将其应用到全新输入格子上。由于每题规则各不相同、示例数据极少，ARC成为衡量AI抽象推理能力的标杆。

目前ARC赛道几乎由大语言模型方案主导，共同思路是把格子翻译成文本或符号序列交给语言模型处理。一批研究者则走视觉路线，其中MIT团队提出的VARC把ARC重新定义为条件图生图翻译任务，用19M参数模型跑到54%；LoopViT加入循环推理机制，18M参数达到65.8%；Loop-OWM用视频预训练模型做few-shot，10.6M参数达到68.5%。这些模型参数量比LLM方案小几个数量级，效果却已开始追平。

但视觉路线存在结构性短板：多数方案从随机初始化开始训练，没有吃到预训练红利。NAT-ARC的目标正是补上预训练这一步。其核心思路是在VARC视觉流程前插入一步ImageNet MAE预训练。MAE是Masked Autoencoder，由何恺明在FAIR时期于2022年提出，训练时遮住图片大部分区域，让模型从剩余碎片复原原图，从而理解物体形状、结构与空间关系。

NAT-ARC直接使用MAE公开checkpoint初始化视觉编码器，decoder则随机初始化。由于该checkpoint面向更大尺寸的ImageNet图片，而ARC格子仅64×64像素，NAT-ARC丢弃原始patch embedding和位置编码，只保留backbone权重，并换成2D RoPE作为位置编码。论文还通过注意力可视化，比较无预训练、ImageNet MAE预训练和ARC风格格子MAE预训练三种初始化方式，以解释为何看猫狗照片学到的能力能帮助抽象格子推理。