智能体需要反复读取长上下文、并行调用多个模型，还会制造难以预测的流量峰值。随着开源项目llm-d发布1.0版本，企业AI的成本瓶颈正从训练模型转向长期运行模型。

10月20日，llm-d项目参与方宣布1.0版本。该项目由Red Hat、IBM、Google Cloud、CoreWeave和NVIDIA于2025年共同发起，目前由云原生计算基金会CNCF治理，目标是为大语言模型提供开放的分布式推理基础。

智能体让推理基础设施承受新压力

传统聊天请求通常是一问一答，而智能体会在完成任务时不断追加上下文、调用工具和启动并行步骤。很多情况下，管理和重复读取上下文消耗的资源甚至高于生成最终答案。流量还可能突然集中，导致延迟升高或GPU利用率下降。

llm-d试图通过前缀缓存感知路由、负载感知调度、KV缓存卸载、预填充与解码分离、专家并行以及批量和异步推理等能力，提高算力使用效率。项目支持vLLM、SGLang等多种模型服务引擎，也强调对不同云和硬件加速器的兼容。

1.0版本补上多租户服务质量

新版本加入面向多租户的服务质量控制，通过优先级和公平性感知的流量调度，让低延迟请求与突发智能体任务共享同一资源池，避免某一类任务长期占满算力。企业可以为不同客户或业务等级设置优先级，并在资源饱和时采取等待或限流策略。

这对同时提供免费版、企业版和内部关键业务的AI平台尤其重要。单纯追求总吞吐量可能让高优先级请求排队，因此生产调度需要同时考虑时延目标、资源利用率和租户公平性。

滚动升级减少推理服务中断

llm-d 1.0提供路由器高可用、热备和滚动更新机制，使流量能够在计划维护和升级期间继续处理。系统还可把预填充与解码副本作为一个逻辑单元管理，协调不同组件同步升级，让分离式推理更适合长期生产运行。

此外，稳定的v1配置API和经过强化的请求路径，为企业提供可以标准化的版本基础。所谓“零停机”仍依赖正确的容量规划、故障演练和回滚配置，不能只靠安装软件自动实现。

项目公布多项成本与吞吐案例

IBM新闻稿称，llm-d相关演示在部分长上下文智能体工作负载上实现了5至10倍成本下降和3倍输出吞吐提升；IBM Research在一项量子纠错硬件研究中，使用开放模型和llm-d，相比全专有配置将推理成本降低11.5倍。

这些数字来自特定模型、硬件和测试配置，不应直接套用到所有企业。实际收益取决于提示词重复度、上下文长度、模型规模、并发形态、GPU类型和服务等级目标。企业应使用自己的请求日志做对照测试，并把运维人力纳入总成本。

编辑观察：推理平台正在成为AI时代的数据库

大模型进入生产后，企业需要像管理数据库一样管理推理服务：区分租户、保障关键请求、监测缓存、执行不停机升级，并在硬件故障时自动恢复。模型能力决定上限，推理平台则决定它能否以可承受的成本稳定服务。

开源治理让企业有机会避免被单一模型服务器或硬件绑定，但也意味着需要承担集成、测试和安全责任。选择llm-d等平台时，应重点验证高峰时延、故障切换、资源隔离、版本兼容和成本可观测性，而不是只看实验环境中的峰值吞吐。

配图为AIcent原创AI生成实景风格示意图，非官方新闻现场照片，不使用第三方新闻图片。

参考来源：IBM官方新闻中心（2026年10月20日）。正文为基于官方消息的中文整理，编辑观察与事实披露分开呈现。