在购物应用中,用户有时并不知道商品的准确名称,只能通过拍摄图片来寻找相似商品。例如,看到桌面上的一件物品,想知道它是什么类别,或者希望在商品库中快速找到对应商品。
HarmonyOS 7 Core Vision Kit 提供多目标识别能力,可以对图片中的多个目标进行检测,并返回相应的识别结果。这次以一个智能购物 APP 为例,实现图片中多个物品的识别与结果展示。
首先,需要导入多目标识别模块和基础视觉模块:
import { objectDetection, visionBase } from '@kit.CoreVisionKit';与部分采用 init 和 release 管理的视觉模块不同,这项能力可以通过 ObjectDetector 对象完成任务处理。开发者需要创建检测器,准备请求数据,再调用 process 方法。
async detectObjects(pixelMap: PixelMap) {
let detector:
objectDetection.ObjectDetector | undefined;
try {
const request: visionBase.Request = {
inputData: {
pixelMap: pixelMap
}
};
detector = await objectDetection.ObjectDetector.create();
const result:
objectDetection.ObjectDetectionResponse =
await detector.process(request);
return result;
} catch (error) {
console.error(`Detection failed: ${JSON.stringify(error)}`);
return undefined;
} finally {
if (detector) {
await detector.destroy();
}
}
}这里需要特别注意检测器的生命周期。任务结束后应当及时调用 destroy 释放对象资源,不能因为连续识别图片而不断创建新的检测器却不释放。
获得识别结果后,应用可以进一步解析目标类别和位置信息,并将检测框绘制在原始图片上。例如,一张桌面照片中可能同时存在杯子、书本、电脑和手机。应用可以在图片中标出不同目标,让用户点击某个目标查看相关信息。
如果需要进一步实现商品搜索,可以将识别结果与应用自身的商品数据库进行关联。例如,根据目标类别筛选商品,再结合商品名称、图片特征和用户输入完成搜索。
需要明确的是,多目标识别与商品级精确识别并不是完全相同的概念。检测到某个物体属于某个类别,并不意味着能够准确识别其品牌、型号和具体商品名称。对于商品搜索,通常还需要结合应用自己的商品数据和检索逻辑。
在页面交互方面,我设计了识别前后对比功能。用户上传图片后,点击识别按钮,应用展示检测框和目标数量。点击某个检测框时,可以在页面下方展示目标类别及相关信息。
对于图片坐标,需要特别关注缩放比例和裁剪偏移。如果检测结果使用原图坐标,而页面使用缩放后的图片进行展示,就必须进行坐标转换。
最后,准备多物品场景、单物品场景、目标遮挡和复杂背景等测试图片,检查识别结果是否符合预期。
通过多目标识别能力,购物 APP 可以在图片理解的基础上进一步实现商品搜索、场景推荐和智能分类,为传统商品搜索增加一种更加直观的交互方式。
暂无评论数据
发布
相关推荐
32
0
20
0
198
0
161
0
61
0



京公网安备:11010502051901号