Google近日发布了新工具，允许开发者使用Google DeepMind的120亿参数模型Gemma 4 12B，在本地运行智能体AI工作流。

该公司在博客文章中表示，该模型与Google AI Edge技术栈结合后，可在日常设备上构建和测试应用程序。这一模型-运行时组合支持自主数据处理、视觉洞察生成、网页创建和工具使用等能力。

此次发布包括面向macOS的Google AI Edge Gallery，开发者可在其中使用Gemma 4 12B生成并运行用于数据分析等任务的脚本。Google还表示，其Eloquent语音听写和编辑应用现已在macOS上完全本地运行，支持本地转录和语音驱动文本编辑。

Google还扩展了LiteRT-LM——一款用于本地运行语言模型的轻量级命令行工具，新增了serve命令。该公司表示，这使CLI可以充当本地LLM服务器，让开发者通过本地端点将Gemma 4 12B连接到标准工具、SDK和框架。Google在博客中写道："你的数据保留在设备上，同时保持可靠的响应速度、实用性和成本效率。"

这一发布正值企业开始为某些AI工作负载寻求超越大型通用模型的替代方案。Gartner预测，到2027年，企业使用小型专用AI模型的频率将至少是通用大语言模型的三倍，理由是对更具上下文针对性和成本效益的AI系统的需求日益增长。

仍需克服的挑战

但在员工设备上运行AI代理也带来了诸多问题。企业必须在端点硬件的限制范围内工作，这会制约可有效运行的模型规模以及同时运行的模型实例数量。

Gartner首席分析师Rishi Padhi指出："虽然AI现在可以装进笔记本电脑，但企业IT基础设施在很大程度上还没有为之做好准备。即便是像Gemma 4 12B这样经过高度优化的模型，与标准应用程序一起运行时也需约16GB的统一内存或显存。许多标配企业笔记本电脑缺乏流畅运行多轮智能体交互所需的内存带宽和NPU/GPU。"

TechInsights的AI分析师Anand Joshi表示，本地部署还改变了工作负载的本质。在PC端，搜索可能意味着在内部文件夹和文件中查找信息；而在数据中心，同样的功能可能涉及搜索互联网或查询SQL等大型数据库。

"本地部署智能体AI的框架与数据中心不同，"Joshi说，"模型更小，一次只能运行一个大型模型实例。你会受到内存、CPU等的限制。"

安全与治理风险

随着AI代理向企业端点靠近，安全与治理也可能成为更大的隐忧。智能体AI旨在采取行动，当本地模型被授予员工文件访问权限或被允许直接与应用程序和脚本交互时，会带来新的安全风险。

Padhi补充道："在不破坏其实用性的前提下对这些智能体进行沙箱隔离，仍是一项重大的运营挑战。与此同时，企业还需要出于合规和安全目的审计AI使用情况。当推理完全离线进行时，捕获日志、追踪模型漂移、确保员工以经批准的合规方式使用模型变得异常困难。"

成本权衡

在本地运行AI代理可以降低部分云推理成本，但短期内节省的开支可能被端点硬件和管理方面的更高支出所抵消。

Padhi表示："首先，这是一种从运营支出到资本支出的转移，因为它通过加速高端PC或边缘设备的硬件更新周期，将财务负担转移了。在硬件行业内存通胀已推高笔记本电脑终端平均售价的当下，这意味着需要为员工采购昂贵的高内存笔记本电脑。"

他指出，许多企业在2025年为支持Windows 11更新了PC，但那时大多数AI推理仍在云端运行，端侧AI的商业价值尚不明确。因此，企业可能会谨慎推进，仅在本地推理具有明确商业价值的情况下采购AI PC。

不过，从长远来看，端侧AI可通过降低对可变云推理账单的依赖，使企业AI支出更具可预测性。其代价是企业可能面临更高的员工设备配备和管理基线成本。

与云端AI互补

对于企业而言，本地AI不太可能完全取代云端AI。分析师认为，本地AI更可能用于受益于端点处理的工作负载，特别是在应用需要离线运行或隐私和响应时间至关重要的场景中。

"要使本地智能体AI普及，边缘端的用例必须补充数据中心/云端的用例，"Joshi说，"我并不认为本地智能体AI会取代云端AI，但它有潜力从云端分走一部分份额，而像Gemma这样的模型正是实现这一目标的重要步骤。"

Joshi补充道，市场仍在摸索本地AI最适合的位置："我估计，需要隐私保护或有严格延迟要求的用例将首先迁移到本地节点，其他场景将在未来两到三年内跟进。"

Padhi指出，模型部署位置将取决于工作负载的隐私要求、所需计算能力以及相关数据的存储位置。代码生成或本地文件分析等任务可能会越来越多地在员工设备上运行，而企业级RAG系统和更复杂的AI工作流可能仍将保留在云端。