智能体AI所需的开源和商业软件基础组件已经广泛覆盖Arm64生态系统

作者：Arm服务器生态系统开发总监Bhumik Patel

生成式人工智能让模型成为基础设施领域讨论的焦点。智能体AI则改变了这一局面：当智能体检索数据、调用工具、执行代码并协调多步骤工作流时，围绕模型运行的软件变得与推理本身同等重要。

为满足不断演进的基础设施需求，Arm推出了基于Arm Neoverse平台的Arm AGI CPU，其专为智能体AI的计算需求而打造。Arm AGI CPU旨在提供支持高并发智能体工作负载所需的性能、可扩展性与能效，涵盖编排、工具执行、数据检索和应用服务等。

在2026开放计算全球峰会（OCP Global Summit）上，Arm介绍了一套针对智能体AI的全新CPU评估方法，并获得富士通（Fujitsu）、Meta和OpenAI的支持。同时，第三方验证结果表明，Arm AGI CPU的每机架性能最高可达x86服务器处理器的2倍。

要实现智能体AI的大规模部署，仅靠CPU创新是不够的，还需要一个覆盖智能体框架、编排、数据基础设施、网络和应用服务的强大软件生态系统。凭借多年来与开源社区、软件厂商及云服务提供商的深入合作，Arm已构建起成熟且经过生产环境验证的软件生态系统，为迈入这一新时代奠定了基础。如今，云原生和AI软件已广泛原生支持Arm64，基于Arm Neoverse平台的CPU也已在全球领先的云平台上实现规模化部署。依托这一成熟的软件基础，开发者可以在Arm AGI CPU上构建智能体AI应用，并实现规模化扩展。

智能体任务背后的软件

智能体AI软件栈涵盖智能体框架与编排、工具执行、记忆与检索、模型服务以及云原生基础设施。如下图所示，这些能力由广泛的开源及商业技术生态共同支持，其中包括LangGraph、LangChain、Firecracker、Redis、Elasticsearch和vLLM。

智能体AI软件栈将智能体框架、编排、运行时服务、数据检索以及模型服务整合在统一的云原生基础之上，为软件工程、机器人及自动化等各类应用提供支持。

开发者可以通过Arm Software Ecosystem Dashboard了解软件可用性、支持的版本及相关资源，其中还设有Agentic AI专类。开发者可以此为起点，利用熟悉的技术在Arm64上构建和部署智能体AI应用。

不同智能体，不同的基础设施需求

尽管各种智能体AI应用共享通用的软件基础，但根据其执行不同任务，对基础设施的要求存在着显著差异。编程智能体需要频繁执行代码、编译软件和运行测试，因此对CPU性能及沙箱环境提出了更高要求；而企业工作流智能体高度依赖API交互、数据库事务及编排；研究型智能体依赖高效的搜索、信息检索及记忆管理。个人助理更注重交互响应能力；机器人应用则对仿真及时延敏感的协同提出了更多需求。

这些工作负载的差异，是AI应用设计与部署方式整体发生转变的一部分。深入了解智能体AI如何推动云、边缘及物理系统的计算发展。

对于开发者而言，了解智能体的执行时间主要消耗在哪些环节，是优化软件栈的关键。例如提升编程智能体的沙箱性能、提高企业工作流中的数据库和API效率，以及优化研究型智能体的检索与缓存，都有助于提升端到端任务性能。这些差异也说明，在评估智能体AI基础设施时，应着眼于完整的工作流，而不能只关注模型推理性能。

从软件适配迈向性能优化

为应对这些多样化的工作负载需求，Arm正致力于优化智能体AI软件栈中关键组件的性能，覆盖开源软件和商业软件。

工具执行与沙箱：Signal65对Arm AGI CPU进行的独立测试显示，与AMD EPYC 9965相比，其沙箱创建时延最高降低45%，凸显了CPU性能对于智能体工具执行的重要性。

企业搜索与检索：智能体依赖对企业中结构化和非结构化数据的高效访问。Elasticsearch通过向量搜索、混合检索和实时搜索等能力支持此类工作负载。Arm最近发布的Elasticsearch性能基准测试显示，在基于Arm架构的基础设施上运行此类工作负载具有性能优势。

向量数据库与智能体记忆：向量数据库支持智能体检索相关上下文，并在多步骤工作流中访问持久化保存的知识。Redis等技术可支持向量搜索、缓存和智能体状态管理。Arm正与生态合作伙伴携手，在Arm64上优化这些工作负载。Redis 8.10.1向量搜索基准测试显示，AWS Graviton5每美元可完成的上下文获取次数比x86多16%至27%：在正常负载下，AWS Graviton5在包含57万份文档的数据集上具有16%的性价比优势；在高负载下，包含330万份文档的数据集上，这一优势进一步提升至27%。

模型服务：模型服务框架也是Arm软件优化的重点领域之一。Arm已发布相关vLLM开发者资源，演示如何在基于Arm架构的服务器上部署模型、开展量化推理及进行性能调优，帮助开发者提升推理吞吐量和资源利用效率。

OpenInfer等新兴独立软件供应商（ISV）正在推动面向异构计算资源的智能推理路由与调度。OpenInfer正与Arm展开合作，展示其Loom平台如何在多个基于Arm架构的CPU运行AI模型。

智能体AI实践：Arm AGI CPU上的客户服务演示

为了展示智能体AI软件生态系统在实际应用中的运作，Arm使用LangGraph和LangChain开发了一款运行于CPU的多智能体客户服务应用。该应用利用由CPU承载的小语言模型（Small Language Model，SLM）对收到的客户请求进行分类，并将其路由至负责会议安排、客户投诉、产品咨询和退款的专用智能体。这些智能体综合运用了CPU推理、企业数据检索、外部模型API及工具执行能力，可完成一系列多步骤工作流，包括安排会议、生成个性化产品宣传册，以及通过企业系统发起退款处理。该演示展示了开发者如何在基于Arm架构的基础设施上整合熟悉的开源软件组件，构建端到端的智能体AI应用。

客户服务演示视频请查看：Arm官微

在Arm平台上构建并优化智能体AI

Arm为开发者提供了一系列实用资源，帮助他们利用成熟的Arm64软件生态系统构建、部署和优化智能体AI应用。通过Arm Learning Paths，开发者可以获取实践教程，学习如何使用llama.cpp构建AI智能体、使用LangChain和FAISS实现RAG应用，以及在基于Arm架构的平台上部署vLLM模型服务基础设施。这些资源可帮助开发者从软件适配进一步迈向真实世界智能体AI应用的构建与性能优化。

不断壮大的AI智能体技能生态系统，也让开发者能够更加轻松地在基于Arm架构的基础设施上构建、迁移及优化应用。AWS推出了Graviton developer skills，帮助开发者使用AWS Graviton；与此同时，Arm也通过龙蜥社区（OpenAnolis）的SkillHub贡献了自己的技能，包括Arm Performix⁠、Arm Performix CI和Arm Migrate Ease。这些举措共同将特定平台的知识和优化指导融入AI辅助开发工作流之中。

Arm持续与开源社区、软件合作伙伴和云服务提供商合作，推动智能体AI软件生态系统不断发展。开发者可以通过Arm Software Ecosystem Dashboard查看支持的框架与技术，并使用Arm Learning Paths，即刻开始在Arm64平台上进行开发。通过Arm Learning Paths，开发者还可以借助实践教程获取实用指导，了解如何：

• 使用llama.cpp和llama-cpp-agent构建AI智能体；
• 在隔离的Firecracker microVM中执行AI生成的代码；
• 使用LangChain和FAISS实现RAG应用；
• 在基于Arm架构的平台上部署vLLM模型服务基础设施。

这些资源帮助开发者从基础的软件适配，逐步迈向真实智能体AI应用的构建与优化。