过去两年，AI基础设施竞争几乎围绕GPU展开，模型能生成多少Token、每秒输出多少Token、每瓦功耗支撑多少推理吞吐量，成为衡量算力效率的重要指标。但随着AI Agent从聊天问答走向软件开发、企业自动化和复杂任务执行，新的问题浮现：如果模型生成了代码却要花很长时间编译和测试，如果工具调用、数据库访问和任务编排跟不上推理速度，更快的Token生成究竟能带来多少实际生产力。

Arm云AI解决方案架构总监Ravi Malhotra提出，智能体AI正在改变CPU性能的评价逻辑。过去AI性能主要围绕Token生成展开，而在Agent场景下，基础设施不仅要支持模型思考，还必须让模型生成的内容转化为真实行动。Arm此前发布的新评估方法，将工具调用、任务编排、推理支持和端到端任务执行纳入CPU性能评价，并与富士通、Meta、OpenAI等企业共同探索。

以软件开发智能体为例，用户提出需求后，模型分析任务并生成代码，智能体随后需创建文件、调用编译器、运行测试、检查错误，必要时将结果反馈给模型进入下一轮修改。整个过程在模型推理与外部操作之间反复切换。Malhotra将这类负载分为两部分：推理与规划主要由AI加速器承担，工具调用与编排大量依赖CPU。他指出，CPU的关键任务包括将Token转化为行动、为推理提供数据和上下文支持、负责工作流编排与沙箱隔离。

在软件开发场景中，编译和测试可能消耗大量CPU资源。若CPU无法及时完成，后续模型推理就需等待，昂贵的GPU也可能因依赖前序任务而闲置。Malhotra表示，CPU需尽快完成自身操作，使控制权回到GPU或其他加速器。不过，Agent越复杂并不意味着CPU工作量必然越大，关键在于CPU是否处于任务执行链路的关键路径上，其处理能力是否正在限制系统整体效率。