OpenAI可解释团队创建人Nick Cammarata近日发布65分钟长文,直指大模型机制可解释性赛道。他重审InceptionV1经典案例:同一神经元识别猫脸和汽车前脸,不是多义混装,而是在捕捉共享的V形特征。Qwen3-32B初步审查显示,约90%神经元正负两极各有一项主要工作。这为AI安全研究者解决黑箱审计难题,提供直接读神经元的路径。
希鸥网观察到,这场争论的起点不是论文,而是一个被说了多年的假设:叠加假说。过去研究者相信,模型神经元不够用,把无关概念压进同一单元,必须先训练稀疏自编码器SAE解结。Nick Cammarata曾是这个假说的信徒,如今却说看走眼了。若他判断成立,价值数十亿美元的可解释性工具赛道将被重估。
旧路线的商业逻辑是卖“解结工具”。SAE、探针、自动化解释平台构成一条工具链,前提是模型内部混乱。新发现却把需求拉回基础观察:训练过程追踪、神经元样本检查、上下游连接验证。工具仍要卖,但卖点从“拆解黑箱”变成“批量验证假设”。Qwen3-32B约90%单任务,直接削弱了复杂拆解方法的溢价。
研究组织也在变形。Nick团队让智能体检查十万张归因图,研究者本人复核数千张。第一个智能体写解释,第二个智能体只读解释,生成能强烈激活神经元的样本,再交给网络测量。解释变成可被实验推翻的假说。一个AI科学家流水线,正在替代手工调参的作坊式可解释性研究。
成本结构随之改写。2023年OpenAI自动可解释性项目用最宽松标准只找到约1.7%可解释神经元;如今Qwen3-32B约90%神经元有单一主任务,KimiK3上还做出首个万亿参数模型归因图。误报率、激活阈值、人工复核仍是成本大头。谁能把验证成本压到每张归因图几分钱,谁就能拿下大模型公司的安全审计预算。
希鸥网认为,最先获益的是头部大模型公司。它们能用可解释性降低监管沟通成本,把安全审计从PPT变成可复现实验。受损的是把“黑箱不可解”当护城河的中间层:只卖SAE、只做解释演示、无法接入训练与干预闭环的团队,估值逻辑会被抽走。开源模型侧,Qwen、Kimi的归因图公开化,也会倒逼闭源厂商开放更多审计接口。
创业者该把原则当法律,而不是墙上的标语。可解释性研究里,解释必须能被反例推翻;公司里,分歧也必须按同一标准裁决。若一方用“模型复杂”搪塞安全追问,另一方用“监管不懂技术”回避审计,双方都在破坏原则。做错的一方要受更严厉的责备,责任不能五五开。冷静、明确地归因,才能让团队继续前进。
分歧不可怕,怕的是把发牢骚、提建议和决策权混成一锅。模型要不要开源?安全团队要不要一票否决?这类争论不能靠嗓门解决。一对一僵持,就交给可信度更高的上级裁定;团队无法达成协议,主持会议的人应做可信度加权表决。决定一旦做出,所有人必须服从,哪怕个人保留意见。否则AI公司会在内部拉扯中耗尽窗口期。
团队比个人更重要,创业者要避免破坏既定路径。Nick Cammarata的结论来自数千张归因图和智能体流水线,不是一个人的灵光。创始人必须跳出自己的视角,把技术判断、安全诉求、商业目标放进同一张路线图。你眼中不可替代的模型架构,可能只是全局中的一个节点。站到俯瞰位置,才能让可解释性真正服务产品,而不是服务某个人的自尊。
金鸥品牌榜·2026年度创新案例库开放申报了。免费提报,独立评估,入榜品牌将获得电子版《入榜证明》及年度专题公示,优秀案例可获得深度专访+全平台分发。 如需修改或发布文章,请加微信号:sheisceo
扫码查看视频号
咨询
咨询