Google发布EmbeddingGemma 2:多模态检索开始在手机端离线运行
作者: CBISMB
责任编辑: 宫建强
来源: Google官方博客
时间: 2026-10-12 10:44
关键字: Google ,端侧AI ,RAG ,EmbeddingGemma 2 ,多模态检索
浏览: 0
点赞: 0
收藏: 0

当手机可以在不上传照片、录音和视频的情况下理解它们的内容,端侧AI就不再只是一个离线聊天工具。Google发布EmbeddingGemma 2后,多模态检索开始在手机端离线运行,个人资料库、企业现场知识库和隐私敏感应用由此多了一条新的技术路线。
10月6日,Google介绍了开放式轻量多模态嵌入模型EmbeddingGemma 2。与负责生成答案的大语言模型不同,嵌入模型的主要任务是把内容转换为可比较的数字向量,让系统能够按照语义而不是文件名查找相关资料。此次模型在统一空间中处理文本、代码、图片、音频和视频,适合构建本地语义搜索、检索增强生成(RAG)以及跨模态匹配功能。
一个空间连接五类内容
Google称,EmbeddingGemma 2基于Gemma 4架构,采用Apache 2.0许可,参数规模为7.4亿。其文本核心可独立使用,约2.7亿参数;开发者还可以按需求加入约1.7亿参数的视觉编码器和约3亿参数的音频编码器。这种模块化结构意味着,只处理文档和代码的应用不必承担完整多模态组件的资源开销。
统一向量空间带来的直接变化,是查询与素材不必属于同一种媒介。用户可以用一句自然语言寻找某段录音、某张照片或某个视频片段,也可以让现场拍摄的图片关联到产品说明和维修记录。对于企业知识库而言,这比把所有内容先转写成文本再检索更接近原始信息。
端侧部署重点落在内存和存储
该模型采用Matryoshka Representation Learning,可把默认768维向量截短为512、256或128维。Google表示,选择较短向量可以把存储需求最多降低约六倍,但具体准确率变化仍需结合业务数据评估。在Pixel 11 Pro的量化测试中,官方给出的文本模式活动内存约为191MB,完整多模态模式约为567MB。
模型支持8K上下文。按照Google给出的示例,它一次可处理最长约5.5分钟音频、29张图片或58个视频帧,也可以混合输入。Google同时提供LiteRT、Transformers.js、WebGPU和llama.cpp等部署路径,并在Hugging Face与Kaggle开放模型。
隐私优势不等于无需治理
本地运行可以减少原始素材上传云端的需要,也有利于降低网络延迟、支持弱网或离线场景。但“数据留在设备上”并不自动等于安全。应用仍需明确向量索引存放位置、设备丢失后的保护方式、不同用户之间的访问权限,以及模型是否可能把敏感内容错误关联给无权查看的人。
编辑观察:先从可核验的小型资料库开始
企业可以先选择边界清晰的场景,例如维修人员在平板上检索设备照片和说明书、媒体团队在本地素材库查找片段,或员工在受控终端搜索会议录音。试点时应分别测量召回率、误匹配率、索引耗时、功耗与设备内存占用,而不是只看演示中能否搜到一个结果。
EmbeddingGemma 2释放的信号是:多模态AI能力正在从云端“大模型入口”向设备内部的搜索基础组件下沉。真正决定其商业价值的,不是模型能识别多少媒介,而是企业能否把权限、索引更新和结果验证一起纳入产品设计。
配图为AIcent原创AI生成实景风格示意图,非官方新闻现场照片,不使用第三方新闻图片。
参考来源:Google官方博客(2026年10月6日)。正文为基于官方消息的中文整理,编辑观察与事实披露分开呈现。






京公网安备:11010502051901号