当AI从生成内容迈向自主执行，衡量算力的尺子正在被更换。

Arm云AI产品解决方案架构总监Ravi Malhotra给出一个明确判断：在智能体AI出现之前，业界以每秒Token数、每瓦Token数和每美元Token数来衡量AI性能；而智能体AI改变了这一逻辑，它要求生成的Token能够在真实世界中得到切实应用。这意味着，性能评估的维度正从Token本身，转向智能体及其所执行的任务。

围绕这一变化，Arm提出了一套新的评估方法论，并以独立测试数据回应了“什么样的CPU才能承载智能体负载”这一行业关切。

从Token到任务，CPU为何重回“C位”

在智能体AI的架构里，CPU的价值正在被重新确认。Ravi将智能体任务拆分为两个部分：第一部分是Token生成，即推理与规划，这类工作通常运行在AI机架上，重点是大规模生成Token，并为智能体所需的上下文和数据解读提供足够的内存与存储空间；第二部分是基于这些Token采取行动，即工具调用与编排，通常运行在纯CPU服务器上。

由此，CPU承担起三类关键工作：把已经生成的Token转化为行动，无论是构建代码、测试代码，还是访问Web服务器和数据库；在Token生成环节存放并传输数据，让向量数据库和KV Cache中的数据尽快抵达运行模型的加速器；完成编排以及在沙箱中实现隔离，把Token生成与行动连接成完整的端到端流程，以完成用户下达的任务。

不同用例对CPU的要求并不相同。软件开发这类应用，编译和测试代码等动作耗时较长、消耗大量CPU周期，因此单个智能体的性能格外重要；而个人助理或企业运营场景，单次操作往往持续时间较短，却需要执行数量庞大的操作，因此对吞吐量和运行效率提出了更高要求。Ravi强调，没有两个智能体是完全一样的，这种差异化正是重新评估CPU性能的起点。

组件加端到端，一套“两条腿”的评测方法论

在Arm看来，智能体AI的CPU性能评估需要同等重视两个方面。其一是从组件角度出发的基准测试，它可以精确了解Web服务器、数据库或模型服务等单个组件的表现，却无法反映这些组件在智能体工作流中如何连接并协同运行；其二是端到端的智能体基准测试，为评估完整的智能体工作流提供具有代表性的参照。

两类测试对CPU进行了不同面向的考察：工具调用类组件侧重IPC、I/O和并发；从编排的角度看，更强调CPU并发和利用率；而在推理与规划中，CPU充当头节点，重点测试其单线程性能、分支预测、缓存以及内存延迟和带宽。

这套方法论同时引入了“持续性能”的概念。Ravi指出，性能评估不能只看单颗CPU能够承载多少智能体，也不应单纯追求最高吞吐量，而要在吞吐量与SLA之间取得平衡。以软件开发工作负载为例，每个核心运行一到两个智能体可能已经足够，进一步增加并发智能体数量则可能无法满足SLA要求；企业运营或个人助理类工作负载则可以支持更多并发智能体。

此外，评估的视野还应从芯片层面扩展到机架层面，因为客户在数据中心部署和使用的是整个机架，而非单颗CPU，能效、内存利用效率、服务器成本和机架内可容纳的CPU数量，都会影响最终表现。

机架级1.99倍，从基准到落地的性能验证

为检验这套方法论，Arm与独立技术分析机构Signal65合作，对比了Arm AGI CPU与第五代AMD EPYC（霄龙）9755处理器在智能体工作负载上的表现。报告显示，在相同功耗预算下，Arm AGI CPU的每机架性能约为对比平台的1.99倍：工具调用场景为1.7倍，向量数据库、缓存等推理与规划类应用为2.2倍，端到端智能体基准为2倍；在每核及CPU SoC层面，性能平均高出约20%。这一差距的根源在于效率与可扩展性——由于每个核心的功耗更低，在相同的机架功耗预算下可以部署更多核心，将单核性能与每机架更多核心数量相结合，便带来了约两倍的机架级优势。

沙箱开销同样被纳入考察。由于数据与隐私考虑，用户希望每个智能体都在隔离环境中执行，而沙箱的创建时间即便以毫秒计，其影响也可能相当可观。

Signal65对不同场景下的沙箱容器创建时间进行了基准测试，包括冷创建、热创建以及多个容器在同一物理核上并行运行形成的超额订阅场景，结果显示Arm AGI CPU上的开销成本远低于AMD EPYC （霄龙）处理器。

在产品层面，Arm设计了两款服务器参考设计，超微电脑、联想和华擎科技提供一系列量产平台和商用服务器，并覆盖风冷与液冷两种机架级方案，面向AI服务器、头节点协同等不同用例。

Ravi最后强调，为每个用例选择不同的CPU并不是一种可扩展的模式，尤其当用例不断演进时，大部分市场需要的是一款能够在性能、可扩展性和效率之间取得平衡的CPU。

他同时指出，智能体基准测试的发展非常迅速，几乎每周或每隔一周就会出现新的基准，Arm将持续运行并更新这些评测，就不同的用例和基础设施的更多细节继续分享见解。这场由智能体AI驱动的CPU性能评估变革，才刚刚开始。