logo
积分中心
从实时语音到连续文字:HarmonyOS 7语音流识别与数据分块实践
头像 恒久 2026-11-11 15:57:49    发布
33 浏览 4 收藏

语音识别功能看起来只需要调用一个接口,但在实际项目中,实时音频数据的传输往往比引擎初始化更加复杂。

例如,用户在应用中点击录音按钮,麦克风开始采集声音,应用需要持续将采集到的音频数据交给识别引擎。如果音频数据传输不连续,或者每次传入的数据长度不符合要求,就可能出现识别失败、结果延迟甚至无法返回识别结果等问题。

本篇从实时音频流处理角度出发,介绍如何利用Core Speech Kit的writeAudio接口组织语音数据。

首先,初始化识别引擎:

import { speechRecognizer } from '@kit.CoreSpeechKit';

let asrEngine:

speechRecognizer.SpeechRecognitionEngine;

let currentSessionId = 'stream_001';

async function initStreamASR() {

let params:

speechRecognizer.CreateEngineParams = {

language: 'zh-CN',

online: 1,

extraParams: {

'locate': 'CN',

'recognizerMode': 'short'

}

};

asrEngine =

await speechRecognizer.createEngine(params);

asrEngine.setListener({

onStart(sessionId: string, message: string) {

console.info('实时识别开始');

},

onEvent(

sessionId: string,

eventCode: number,

message: string

) {

console.info(`音频事件:${eventCode}`);

},

onResult(

sessionId: string,

result: speechRecognizer.SpeechRecognitionResult

) {

console.info(

`实时识别结果:${JSON.stringify(result)}`

);

},

onComplete(sessionId: string, message: string) {

console.info('本次语音识别完成');

},

onError(

sessionId: string,

errorCode: number,

errorMessage: string

) {

console.error(

`识别失败:${errorCode}, ${errorMessage}`

);

}

});

}

接下来启动识别任务:

function startStreamRecognition() {

let audioInfo: speechRecognizer.AudioInfo = {

audioType: 'pcm',

sampleRate: 16000,

soundChannel: 1,

sampleBit: 16

};

let startParams: speechRecognizer.StartParams = {

sessionId: currentSessionId,

audioInfo: audioInfo

};

asrEngine.startListening(startParams);

}

在实时音频场景中,麦克风采集模块会持续产生音频数据。开发者需要根据Core Speech Kit的接口要求,将音频数据整理为640字节或1280字节的数据块。

function sendAudioChunk(

audioChunk: Uint8Array

) {

if (!asrEngine) {

console.error('识别引擎不可用');

return;

}

if (

audioChunk.length !== 640 &&

audioChunk.length !== 1280

) {

console.error('音频数据长度不符合要求');

return;

}

asrEngine.writeAudio(

currentSessionId,

audioChunk

);

}

这里最关键的是数据传输节奏。640字节音频数据建议以20ms间隔传输,1280字节音频数据建议以40ms间隔传输。开发者需要根据实际音频采集模块的输出节奏进行协调,而不是在拿到数据后不加控制地连续调用writeAudio。

例如,使用16kHz、单声道、16bit PCM格式时,每秒音频数据量为:

16000 × 1 × 16 ÷ 8 = 32000字节。

因此,640字节对应20ms音频,1280字节对应40ms音频。

这个计算关系有助于开发者判断音频数据是否存在丢失、重复或者传输速度不匹配的问题。

在工程实现中,建议增加一个音频缓冲区。采集模块输出的数据长度不一定刚好等于640字节,因此可以先缓存数据,累计到规定长度后再交给识别引擎。

let audioBuffer: number[] = [];

function appendAudioData(

incoming: Uint8Array

) {

audioBuffer.push(...incoming);

while (audioBuffer.length >= 640) {

let chunk = audioBuffer.splice(0, 640);

sendAudioChunk(

new Uint8Array(chunk)

);

}

}

这段代码展示了缓冲和分块的基本逻辑。实际项目中,如果音频数据量较大,不建议长期使用数组反复splice和展开操作,可以改用环形缓冲区或专门的音频缓冲管理方式,减少频繁内存分配。

此外,实时识别还需要关注页面状态和音频采集生命周期。例如,用户退出录音页面后,应停止继续向识别引擎写入数据;如果识别任务已经完成,也不应该继续提交旧会话的数据。

测试时,可以重点观察音频采集与数据写入之间的时间间隔、识别结果返回延迟、连续说话时是否出现丢字,以及短暂停顿后能否正常继续识别。

通过合理的数据分块和缓冲管理,开发者可以让Core Speech Kit更好地适配实时语音输入场景,为语音搜索、语音聊天和语音问答等功能提供稳定的数据基础。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
分类
HarmonyOS
地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255