logo
积分中心
鸿蒙开发——通用AI识图控件
头像 蓝亭书序 2026-11-18 14:46:24    发布
0 浏览 0 收藏

前 言

鸿蒙SDK提供了强大的AI识图能力,包含:OCR(Optical Character Recognition)、主体分割、实体识别、多目标识别等,为我们提供景化的文本识别、主体分割、识图搜索等通用功能。

目前支持的基础控件范围包括Image、Video、XComponent。其中:

  1. Image控件可完成静态图片上的识图功能;
  2. Video控件可完成视频播放暂停帧的识图功能;
  3. XComponent可完成自定义渲染等场景下的图像的识图功能;

AI识图功能由 @kit.VisionKit 中的 visionImageAnalyzer 提供,核心能力有:

  • 识别文字用户长按文本选取文字或持续长按文本中的电话号码、邮箱、网址、地址、时间等实体,可触发对应实体的快捷操作,如持续长按文本中的时间,可触发"新建日程"快捷操作入口。
  • 识图搜索用户抠图后可基于抠出的主体进行识图搜索,开发者也可以主动触发目标标识,触发后会识别图中的动物、植物、建筑物等目标并用相应的ICON标识,用户点击ICON也可以进行识图搜索,搜索结果会以模态窗的方式为用户呈现。
  • 主体分割用户长按主体分割,分割后用户可以完成复制,分享,全选,识图搜索等功能。
  • AIButtonAIButton承载了电话号码、邮箱、网址、地址、时间等实体的显性下划线标识(点击后出现快捷操作菜单),原图翻译(系统设置语种与图片上文本语种不一致且能将图中文本翻译为系统当前设置的语种时出现),表格提取(图片中存在表格时出现)等功能特性。配置AIButton属性可见后,会对图片进行预分析,当图片中存在文本且文本区域大于图片区域的5%时AIButton才会显示。


visionImageAnalyzer

AI识图功能由visionImageAnalyzer模块提供,模块中最核心的类是VisionImageAnalyzerController。

定义如下:


class VisionImageAnalyzerController extends ImageAnalyzerController {
    // 设置AI识图控件的可见性。
    setImageAnalyzerVisibility(visibility: ImageAnalyzerVisibility): void;
    // 设置AIButton的位置
    setAIButtonPosition(position: Rect): void;
    // 设置AIButton的可见性。
    // 开启AIButton会触发图片的预分析从而导致一定的功耗开销,
    // 建议评估场景,对图片中文本内容较为关注的场景下按需开启,带给消费者良好的图片浏览体验的同时降低不必要的功耗开销。
    setAIButtonVisibility(visible: boolean): void;
    // 设置自定义的文字分析菜单项。
    setCustomTextMenuItems(menus: Menu[]): void;
    //开启主体识别。
    startSubjectAnalyzer(): void;
    // 设置自定义的主体分析菜单项。
    setCustomSubjectMenuItems(menus: Menu[]): void;
    // 根据主体id列表设置选中的主体。
    setSelectedSubjects(subjectIds: number[]): void;
    // 获取当前选中的主体。使用Promise异步回调。
    getSelectedSubjects(): Promise<Subject[] | null>;
    // 根据点位获取对应位置的主体。使用Promise异步回调。
    getSubject(point: visionBase.Point): Promise<Subject | null>;
    // 根据主体id获取对应主体组装成的图像。使用Promise异步回调。
    getSubjectsImage(subjectIds: number[]): Promise<PixelMap | null>;
    // 获取当前图片分析UI状态。使用Promise异步回调。
    getImageAnalyzerUIStatus(): Promise<ImageAnalyzerUIStatus>;
    // 开启视觉搜索。使用Promise异步回调。PC上不支持此功能。
    startObjectSearch(): Promise<boolean>;
    // 关闭视觉搜索功能。 如果当前在视觉搜索交互状态,则不支持关闭。PC上不支持此功能。
    stopObjectSearch(): void;
    // 设置图像分割菜单状态。
    setSubjectMenuVisibility(visible: boolean): void;


    // 监听/注销 AIButton展示状态。
    on(type: 'aiButtonStatusChange', callback: Callback<AIButtonStatus>): void;
    off(type: 'aiButtonStatusChange', callback?: Callback<AIButtonStatus>): void;

    // 监听/注销 AI识图控件可见状态。
    on(type: 'imageAnalyzerVisibilityChange', callback: Callback<ImageAnalyzerVisibility>): void;
    off(type: 'imageAnalyzerVisibilityChange', callback?: Callback<ImageAnalyzerVisibility>): void;

    // 监听文字分析结果。
    on(type: 'textAnalysis', callback: Callback<string>): void;
    off(type: 'textAnalysis', callback?: Callback<string>): void;

    // 监听文字选中结果。
    on(type: 'selectedTextChange', callback: Callback<string>): void;
    off(type: 'selectedTextChange', callback?: Callback<string>): void;

    // 监听主体分析结果,返回所有主体信息。
    on(type: 'subjectAnalysis', callback: Callback<Subject[]>): void;
    off(type: 'subjectAnalysis', callback?: Callback<Subject[]>): void;

    // 监听选中的主体。
    on(type: 'selectedSubjectsChange', callback: Callback<Subject[]>): void;
    off(type: 'selectedSubjectsChange', callback?: Callback<Subject[]>): void;

    // 监听AI识图的异常场景。
    on(type: 'analyzerFailed', callback: ErrorCallback): void;
    off(type: 'analyzerFailed', callback?: ErrorCallback): void;

    // 监听图片搜索事件。
    on(type: 'objectSearchPanelVisibilityChange', callback: Callback<ObjectSearchPanelVisibility>): void;
    off(type: 'objectSearchPanelVisibilityChange', callback?: Callback<ObjectSearchPanelVisibility>): void;
}

class ImageAnalyzerController {
    getImageAnalyzerSupportTypes(): ImageAnalyzerType[];
}



示例

我们以图片长按识别文本为例,效果如下:我们从图库中选择一张图片,长按图片中的文字,可以在下方显示出识别出的所有文本,同时也可以识别出选中的文字。

图片

代码如下(31 ~ 34行):


import { visionImageAnalyzer } from '@kit.VisionKit';
import { photoAccessHelper } from '@kit.MediaLibraryKit';
import { BusinessError } from '@kit.BasicServicesKit';
@Entry
@Component
export struct ImageDemo {
  @State textAnalysis: string = '';
  @State selectedText: string = '';
  @State selectedImageUri: string = '';
  private visionImageAnalyzerController: visionImageAnalyzer.VisionImageAnalyzerController =
    new visionImageAnalyzer.VisionImageAnalyzerController()
  aboutToAppear(): void {
    this.visionImageAnalyzerController.on('textAnalysis', (text: string) => {
      this.textAnalysis = text;
    })
    this.visionImageAnalyzerController.on('selectedTextChange', (selectedText: string) => {
      this.selectedText = selectedText;
    })
  }
  aboutToDisappear(): void {
    this.visionImageAnalyzerController.off('textAnalysis')
    this.visionImageAnalyzerController.off('selectedTextChange')
  }
  build() {
    Column() {
      Button('选择图片')
        .type(ButtonType.Capsule)
        .fontColor(Color.White)
        .alignSelf(ItemAlign.Center)
        .onClick(() => this.selectImageAndRecognition())
      Image(this.selectedImageUri, {
        types: [ImageAnalyzerType.TEXT, ImageAnalyzerType.SUBJECT, ImageAnalyzerType.OBJECT_LOOKUP],
        aiController: this.visionImageAnalyzerController
      })
        .height('50%')
        .enableAnalyzer(true)// 启用AI识图
        .objectFit(ImageFit.Contain)
      Text(`textAnalysis:\n ${this.textAnalysis}`)
      Text(`selectedTextChange:\n${this.selectedText}`)
    }
    .width('100%')
    .height('100%')
  }
  private waitingPhotoPick(): Promise<string> {
    return new Promise<string>((resolve, rej) => {
      let photoPicker: photoAccessHelper.PhotoViewPicker = new photoAccessHelper.PhotoViewPicker();
      photoPicker.select({
        MIMEType: photoAccessHelper.PhotoViewMIMETypes.IMAGE_TYPE,
        maxSelectNumber: 1
      })
        .then((res: photoAccessHelper.PhotoSelectResult) => {
          resolve(res.photoUris[0]);
        })
        .catch((_: BusinessError) => {
          rej(''); // 用户没有选择图片
        })
    })
  }
  private selectImageAndRecognition() {
    this.waitingPhotoPick()
      .then(uri => {
        this.selectedImageUri = uri;
      })
  }
}




©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
分类
HarmonyOS

暂无评论数据

加载中...

发布

地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255