CodeScene发布案例研究:编码智能体在三周内重构了一个包含30万行C代码的代码库,token成本约4000美元。工作覆盖726个文件,产生2903次提交,修改252055行代码,代码库Code Health评分从5.6提升至10.0。该代码库来自《街头霸王III:三度冲击》的一个开源反编译项目。
CodeScene创始人Adam Tornhill表示,在参与大型系统开发30年后,这是他第一次看到所谓大规模超人类AI表现。两项机制支撑了这项工作:CodeHealth MCP Server为智能体提供可优化的确定性评分,用于判断转换是否产生积极效果;回放轨迹测试框架逐帧比较回滚状态哈希,在每次更改后检查系统行为。
智能体没有套用固定重构目录,而是逐步积累出22个方案和82条辅助说明,既包含Extract Function、Guard Clauses等常见转换,也包含针对该代码库的特化方案,如处理仅起止范围不同循环的Shared Index Range、处理重复控制结构的Action Parameter,以及将异构调用转为表驱动分派的Uniform Step Table。失败尝试同样被记录,包括使评分下降的转换。
团队最终使用Claude Opus完成大部分工作,并称搭配Opus的Claude Code在识别和记录逐渐形成的模式方面明显优于搭配Sol的Codex;使用较小模型时,文件评分经常停滞在局部最优点。从业者在LinkedIn上反应分歧明显:有人认可轨迹回放设定的高标准,也有人质疑更改是否已合并、是否只是在开源代码上的实验。参与者Daniel Webb回应称,更改通过54个拉取请求合并到分支版本的main分支。