Google发布EmbeddingGemma 2:多模态检索开始在手机端离线运行

作者: CBISMB

责任编辑: 宫建强

来源: Google官方博客

时间: 2026-10-12 10:44

浏览: 0

点赞: 0

收藏: 0

原创AI生成实景风格示意图

当手机可以在不上传照片、录音和视频的情况下理解它们的内容,端侧AI就不再只是一个离线聊天工具。Google发布EmbeddingGemma 2后,多模态检索开始在手机端离线运行,个人资料库、企业现场知识库和隐私敏感应用由此多了一条新的技术路线。

10月6日,Google介绍了开放式轻量多模态嵌入模型EmbeddingGemma 2。与负责生成答案的大语言模型不同,嵌入模型的主要任务是把内容转换为可比较的数字向量,让系统能够按照语义而不是文件名查找相关资料。此次模型在统一空间中处理文本、代码、图片、音频和视频,适合构建本地语义搜索、检索增强生成(RAG)以及跨模态匹配功能。

一个空间连接五类内容

Google称,EmbeddingGemma 2基于Gemma 4架构,采用Apache 2.0许可,参数规模为7.4亿。其文本核心可独立使用,约2.7亿参数;开发者还可以按需求加入约1.7亿参数的视觉编码器和约3亿参数的音频编码器。这种模块化结构意味着,只处理文档和代码的应用不必承担完整多模态组件的资源开销。

统一向量空间带来的直接变化,是查询与素材不必属于同一种媒介。用户可以用一句自然语言寻找某段录音、某张照片或某个视频片段,也可以让现场拍摄的图片关联到产品说明和维修记录。对于企业知识库而言,这比把所有内容先转写成文本再检索更接近原始信息。

端侧部署重点落在内存和存储

该模型采用Matryoshka Representation Learning,可把默认768维向量截短为512、256或128维。Google表示,选择较短向量可以把存储需求最多降低约六倍,但具体准确率变化仍需结合业务数据评估。在Pixel 11 Pro的量化测试中,官方给出的文本模式活动内存约为191MB,完整多模态模式约为567MB。

模型支持8K上下文。按照Google给出的示例,它一次可处理最长约5.5分钟音频、29张图片或58个视频帧,也可以混合输入。Google同时提供LiteRT、Transformers.js、WebGPU和llama.cpp等部署路径,并在Hugging Face与Kaggle开放模型。

隐私优势不等于无需治理

本地运行可以减少原始素材上传云端的需要,也有利于降低网络延迟、支持弱网或离线场景。但“数据留在设备上”并不自动等于安全。应用仍需明确向量索引存放位置、设备丢失后的保护方式、不同用户之间的访问权限,以及模型是否可能把敏感内容错误关联给无权查看的人。

编辑观察:先从可核验的小型资料库开始

企业可以先选择边界清晰的场景,例如维修人员在平板上检索设备照片和说明书、媒体团队在本地素材库查找片段,或员工在受控终端搜索会议录音。试点时应分别测量召回率、误匹配率、索引耗时、功耗与设备内存占用,而不是只看演示中能否搜到一个结果。

EmbeddingGemma 2释放的信号是:多模态AI能力正在从云端“大模型入口”向设备内部的搜索基础组件下沉。真正决定其商业价值的,不是模型能识别多少媒介,而是企业能否把权限、索引更新和结果验证一起纳入产品设计。

配图为AIcent原创AI生成实景风格示意图,非官方新闻现场照片,不使用第三方新闻图片。

参考来源:Google官方博客(2026年10月6日)。正文为基于官方消息的中文整理,编辑观察与事实披露分开呈现。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255