logo
积分中心
HarmonyOS 7 多目标识别实践:打造智能购物 APP 的图片物品识别功能 原创
头像 飞蛾扑火 2026-11-12 13:02:14    发布
24 浏览 1 收藏

在购物应用中,用户有时并不知道商品的准确名称,只能通过拍摄图片来寻找相似商品。例如,看到桌面上的一件物品,想知道它是什么类别,或者希望在商品库中快速找到对应商品。

HarmonyOS 7 Core Vision Kit 提供多目标识别能力,可以对图片中的多个目标进行检测,并返回相应的识别结果。这次以一个智能购物 APP 为例,实现图片中多个物品的识别与结果展示。

首先,需要导入多目标识别模块和基础视觉模块:

import { objectDetection, visionBase } from '@kit.CoreVisionKit';

与部分采用 init 和 release 管理的视觉模块不同,这项能力可以通过 ObjectDetector 对象完成任务处理。开发者需要创建检测器,准备请求数据,再调用 process 方法。

async detectObjects(pixelMap: PixelMap) {
  let detector:
    objectDetection.ObjectDetector | undefined;
 
  try {
    const request: visionBase.Request = {
      inputData: {
        pixelMap: pixelMap
      }
    };
 
    detector = await objectDetection.ObjectDetector.create();
 
    const result:
      objectDetection.ObjectDetectionResponse =
      await detector.process(request);
 
    return result;
  } catch (error) {
    console.error(`Detection failed: ${JSON.stringify(error)}`);
    return undefined;
  } finally {
    if (detector) {
      await detector.destroy();
    }
  }
}

这里需要特别注意检测器的生命周期。任务结束后应当及时调用 destroy 释放对象资源,不能因为连续识别图片而不断创建新的检测器却不释放。

获得识别结果后,应用可以进一步解析目标类别和位置信息,并将检测框绘制在原始图片上。例如,一张桌面照片中可能同时存在杯子、书本、电脑和手机。应用可以在图片中标出不同目标,让用户点击某个目标查看相关信息。

如果需要进一步实现商品搜索,可以将识别结果与应用自身的商品数据库进行关联。例如,根据目标类别筛选商品,再结合商品名称、图片特征和用户输入完成搜索。

需要明确的是,多目标识别与商品级精确识别并不是完全相同的概念。检测到某个物体属于某个类别,并不意味着能够准确识别其品牌、型号和具体商品名称。对于商品搜索,通常还需要结合应用自己的商品数据和检索逻辑。

在页面交互方面,我设计了识别前后对比功能。用户上传图片后,点击识别按钮,应用展示检测框和目标数量。点击某个检测框时,可以在页面下方展示目标类别及相关信息。

对于图片坐标,需要特别关注缩放比例和裁剪偏移。如果检测结果使用原图坐标,而页面使用缩放后的图片进行展示,就必须进行坐标转换。

最后,准备多物品场景、单物品场景、目标遮挡和复杂背景等测试图片,检查识别结果是否符合预期。

通过多目标识别能力,购物 APP 可以在图片理解的基础上进一步实现商品搜索、场景推荐和智能分类,为传统商品搜索增加一种更加直观的交互方式。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
分类
HarmonyOS

暂无评论数据

加载中...

发布

地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255