开发者工具增长服务公司Armature发布一项实验性研究,试图弄清编程智能体如何发现、评估并最终选用工具,以及厂商如何提高产品被选中的概率。该公司联合创始人Theodore Otzenberger表示,在观察到的17000次工具选择会话中,工具厂商二十年积累的品牌建设“仿佛被冻结在了时间里”。
他以容器工具为例:Agent一提到容器就想到Docker,却对Docker现有的沙箱功能一无所知,最终反而不会选择该工具。Otzenberger称,品牌声誉会随模型权重一同进入Agent,但绑定在让厂商成名的那个产品上,而如今这些权重运行在“完全不同的重力”之下。他认为这对开发者工具厂商有“生死攸关的影响”,做不到被提及、被选择并被认定为必备工具的产品,未来可能被Agent直接排除在技术栈之外。
研究覆盖75个独立代码仓库,测试了Claude Code、Codex和Cursor三个编程智能体,设计了1163种prompt,模拟vibe coder、初创公司初级工程师和企业资深开发者等不同类型用户。团队基于公开GitHub仓库记录语言框架、第三方服务、部署平台、团队规模与代码库年龄,并因开源项目偏向初创公司而参考公开数据调整样本分布。为减少偏差,实验使用虚构公司名、人造Git提交历史和伪造API Key,并加入由Gemini模型模拟的人类参与环节。
需说明的是,该公司对外展示的核心数据来自规模较小、经过验证的5292次会话子集,而非完整的17000次会话。Armature表示已公开全部trace与prompt供外界核查,并计划在新模型上重跑完整研究,因为每出现新的Agent或模型,工具选择结果都可能重新洗牌。