logo
积分中心
鸿蒙开发——提取图片中的文字
头像 蓝亭书序 2026-11-18 14:43:11    发布
0 浏览 0 收藏

1、概 述

图片内文字提取是我们在软件开发中非常常见的应用场景,ArkTs针对此类场景,提供了一套统一的处理API —— textRecognition。

另外,此API是基于本地AI能力实现,处理过程非常简单快速,另外,由于此功能依赖于本地AI能力,因此目前模拟器中暂时不支持。

本文以一个实例触发,针对textRecognition做简单介绍,实例效果如下(文末有源代码):

图片

2、textRecognition

textRecognition是鸿蒙系统中的通用文字识别服务,提供图像信息转换为字符信息的能力。

用户可以通过拍照、扫描等光学输入方式,把各种票据、卡证、表格、报刊、书籍等印刷品文字转化为图像信息,再利用文字识别技术将图像信息转化为计算机等设备可以使用的字符信息,便于用户提取字符内容、屏幕坐标及外框。

目前本服务支持识别的语言有:简体中文、英文、日文、韩文、繁体中文五种语言(未来可能会扩充,我们可以通过getSupportedLanguages()方法获取当下支持的语言列表)。

目前textRecognition主要提供了以下四个方法:

  • init(): Promise<boolean>

初始化文字识别服务。使用Promise方式异步返回结果。true:初始化成功;false:初始化失败。我们在使用通用文字识别服务时,需要先调用此方法进行初始化。

  • release(): Promise<void>

释放文字识别服务。返回一个空的Promise对象。功能使用完毕后,需要调用此方法对资源进行释放。

  • recognizeText(visionInfo: VisionInfo, configuration ?: TextRecognitionConfiguration): Promise<TextRecognitionResult>

识别视觉信息内包含的文本,还可以通过自定义配置项进行更详细的设置。使用Promise方式异步返回结果。

  • getSupportedLanguages(): Promise<Array<string>>

获取当前文本识别所支持的语言类型列表。使用Promise方式异步返回结果。

其中init()、release()、getSupportedLanguages()三个方法的使用比较简单不再赘述。

重点介绍一下recognizeText()方法,该方法接受两个入参,类型定义如下,其中第二个参数configuration为可选:


interface VisionInfo {
 // PixelMap对象,创建方法可以参考文章: https://mp.weixin.qq.com/s/RitIrcodVi0s3ysw8J_71w
 readonly pixelMap: image.PixelMap;
}

interface TextRecognitionConfiguration {
// 是否支持文字朝向检测。
// true:表示支持朝向检测;false:表示不支持朝向检测。
// 默认是true,支持朝向检测。如果能判断当前图片是正向的,则可考虑将该属性设置为false,以提升性能。
 isDirectionDetectionSupported?: boolean;
}


返回值(TextRecognitionResult)的类型定义如下:


interface TextRecognitionResult {
    readonly value: string;
    readonly blocks: Array<TextBlock>;
}

// 下面是TextBlock及其依赖对象的定义
interface TextBlock {
    readonly value: string;
    readonly lines: Array<TextLine>;
}
interface TextLine {
    readonly value: string;
    readonly cornerPoints: Array<PixelPoint>;
    readonly words: Array<TextWord>;
}
interface TextWord {
    readonly value: string;
    readonly cornerPoints: Array<PixelPoint>;
}
interface PixelPoint {
    readonly x: number;
    readonly y: number;
}


3、从相册中选择一张图片

图片来源可以是本地,也可以是网络、也可以是项目内置资源。

本文使用本地相册为例:唤起相册并选择一张图片,然后获取图片的uri的代码如下(这段代码为通用工具方法,可以独立放到任何项目中):


// 调用系统相册,选择需要处理的图片
function waitingPhotoPick(): Promise<string> {
  return new Promise<string>((resolve, rej) => {
    let photoPicker: photoAccessHelper.PhotoViewPicker = new photoAccessHelper.PhotoViewPicker();
    photoPicker.select({
      MIMEType: photoAccessHelper.PhotoViewMIMETypes.IMAGE_TYPE,
      maxSelectNumber: 1
    })
      .then((res: photoAccessHelper.PhotoSelectResult) => {
        resolve(res.photoUris[0]);
      })
      .catch((_: BusinessError) => {
        rej(''); // 用户没有选择图片
      })
  })
}


将图片uri转换为PixelMap对象,代码如下:


let fileSource = await fileIo.open(uri, fileIo.OpenMode.READ_ONLY);
const imageSource = image.createImageSource(fileSource.fd);


4、提取图片内文字

通过上文介绍的recognizeText()方法可以实现提取图片内文字,代码如下(这段代码为通用工具方法,可以独立放到任何项目中):


// 通过图片提取其中文字信息,并返回字符串
export function getRecognitionText(pixelMap?: PixelMap): Promise<string> {
  if (pixelMap) {
    // 文本识别入参
    let visionInfo: textRecognition.VisionInfo = { pixelMap };
    return textRecognition.init()
      .then(() => textRecognition.recognizeText(visionInfo))
      .then(result => result.value)
      .finally(() => textRecognition.release())
  }
  return Promise.resolve('');
}



5、完整Demo

实现一个功能,用户可以从本地相册中选择一张图片,然后将用户选择的图片中文字提取出来并与目标图片上下分别显示,效果如下:

图片

代码如下,下面的代码需要在真机上执行,模拟器暂时不支持。


import { image } from '@kit.ImageKit';
import { fileIo } from '@kit.CoreFileKit';
import { textRecognition } from '@kit.CoreVisionKit'
import { BusinessError } from '@kit.BasicServicesKit';
import { photoAccessHelper } from '@kit.MediaLibraryKit';
// 调用系统相册,选择需要处理的图片(通用方法)
export function waitingPhotoPick(): Promise<string> {
  return new Promise<string>((resolve, rej) => {
    let photoPicker: photoAccessHelper.PhotoViewPicker = new photoAccessHelper.PhotoViewPicker();
    photoPicker.select({
      MIMEType: photoAccessHelper.PhotoViewMIMETypes.IMAGE_TYPE,
      maxSelectNumber: 1
    })
      .then((res: photoAccessHelper.PhotoSelectResult) => {
        resolve(res.photoUris[0]);
      })
      .catch((_: BusinessError) => {
        rej(''); // 用户没有选择图片
      })
  })
}
// 通过图片提取其中文字信息,并返回字符串
export function getRecognitionText(pixelMap?: PixelMap): Promise<string> {
  if (pixelMap) {
    // 文本识别入参
    let visionInfo: textRecognition.VisionInfo = { pixelMap };
    return textRecognition.init()
      .then(() => textRecognition.recognizeText(visionInfo))
      .then(result => result.value)
      .finally(() => textRecognition.release())
  }
  return Promise.resolve('');
}
@Entry
@Component
export struct AIImageOcrDemo {
  @State recognizeText: string = ''; // 识别出的文字
  @State selectedImageUri: string = ''; // 选中的图片uri
  build() {
    Column() {
      Button('选择图片, 提取文字')
        .type(ButtonType.Capsule)
        .fontColor(Color.White)
        .alignSelf(ItemAlign.Center)
        .onClick(() => this.selectImageAndRecognition())
      Scroll() {
        Column() {
          Image(this.selectedImageUri)
            .objectFit(ImageFit.Fill)
            .borderWidth(1)
            .borderStyle(BorderStyle.Dotted)
            .width('100%')
          Text('下面是图片提取出来的文字')
          Text(this.recognizeText)
            .copyOption(CopyOptions.LocalDevice)
            .padding(15)
            .margin({ bottom: 30 })
            .width('100%')
        }
      }
    }.height('100%')
  }
  private selectImageAndRecognition() {
    waitingPhotoPick()
      .then(uri => (this.selectedImageUri = uri) || uri)// 将uri赋值给selectedImageUri对象,并返回uri给下一步
      .then(uri => fileIo.open(uri, fileIo.OpenMode.READ_ONLY))// 通过uri获取读取指定文件
      .then(fileSource => image.createImageSource(fileSource.fd))// 通过文件创建图片资源
      .then(imageSource => imageSource.createPixelMap())// 将图片资源转换为pixelMap对象
      .then(pixelMap => getRecognitionText(pixelMap))// 通过PixelMap对象解析其中的文字
      .then(str => this.recognizeText = str);
  }
}




©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
分类
HarmonyOS

暂无评论数据

加载中...

发布

地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255