语音识别功能看起来只需要调用一个接口,但在实际项目中,实时音频数据的传输往往比引擎初始化更加复杂。
例如,用户在应用中点击录音按钮,麦克风开始采集声音,应用需要持续将采集到的音频数据交给识别引擎。如果音频数据传输不连续,或者每次传入的数据长度不符合要求,就可能出现识别失败、结果延迟甚至无法返回识别结果等问题。
本篇从实时音频流处理角度出发,介绍如何利用Core Speech Kit的writeAudio接口组织语音数据。
首先,初始化识别引擎:
import { speechRecognizer } from '@kit.CoreSpeechKit';
let asrEngine:
speechRecognizer.SpeechRecognitionEngine;
let currentSessionId = 'stream_001';
async function initStreamASR() {
let params:
speechRecognizer.CreateEngineParams = {
language: 'zh-CN',
online: 1,
extraParams: {
'locate': 'CN',
'recognizerMode': 'short'
}
};
asrEngine =
await speechRecognizer.createEngine(params);
asrEngine.setListener({
onStart(sessionId: string, message: string) {
console.info('实时识别开始');
},
onEvent(
sessionId: string,
eventCode: number,
message: string
) {
console.info(`音频事件:${eventCode}`);
},
onResult(
sessionId: string,
result: speechRecognizer.SpeechRecognitionResult
) {
console.info(
`实时识别结果:${JSON.stringify(result)}`
);
},
onComplete(sessionId: string, message: string) {
console.info('本次语音识别完成');
},
onError(
sessionId: string,
errorCode: number,
errorMessage: string
) {
console.error(
`识别失败:${errorCode}, ${errorMessage}`
);
}
});
}
接下来启动识别任务:
function startStreamRecognition() {
let audioInfo: speechRecognizer.AudioInfo = {
audioType: 'pcm',
sampleRate: 16000,
soundChannel: 1,
sampleBit: 16
};
let startParams: speechRecognizer.StartParams = {
sessionId: currentSessionId,
audioInfo: audioInfo
};
asrEngine.startListening(startParams);
}
在实时音频场景中,麦克风采集模块会持续产生音频数据。开发者需要根据Core Speech Kit的接口要求,将音频数据整理为640字节或1280字节的数据块。
function sendAudioChunk(
audioChunk: Uint8Array
) {
if (!asrEngine) {
console.error('识别引擎不可用');
return;
}
if (
audioChunk.length !== 640 &&
audioChunk.length !== 1280
) {
console.error('音频数据长度不符合要求');
return;
}
asrEngine.writeAudio(
currentSessionId,
audioChunk
);
}
这里最关键的是数据传输节奏。640字节音频数据建议以20ms间隔传输,1280字节音频数据建议以40ms间隔传输。开发者需要根据实际音频采集模块的输出节奏进行协调,而不是在拿到数据后不加控制地连续调用writeAudio。
例如,使用16kHz、单声道、16bit PCM格式时,每秒音频数据量为:
16000 × 1 × 16 ÷ 8 = 32000字节。
因此,640字节对应20ms音频,1280字节对应40ms音频。
这个计算关系有助于开发者判断音频数据是否存在丢失、重复或者传输速度不匹配的问题。
在工程实现中,建议增加一个音频缓冲区。采集模块输出的数据长度不一定刚好等于640字节,因此可以先缓存数据,累计到规定长度后再交给识别引擎。
let audioBuffer: number[] = [];
function appendAudioData(
incoming: Uint8Array
) {
audioBuffer.push(...incoming);
while (audioBuffer.length >= 640) {
let chunk = audioBuffer.splice(0, 640);
sendAudioChunk(
new Uint8Array(chunk)
);
}
}
这段代码展示了缓冲和分块的基本逻辑。实际项目中,如果音频数据量较大,不建议长期使用数组反复splice和展开操作,可以改用环形缓冲区或专门的音频缓冲管理方式,减少频繁内存分配。
此外,实时识别还需要关注页面状态和音频采集生命周期。例如,用户退出录音页面后,应停止继续向识别引擎写入数据;如果识别任务已经完成,也不应该继续提交旧会话的数据。
测试时,可以重点观察音频采集与数据写入之间的时间间隔、识别结果返回延迟、连续说话时是否出现丢字,以及短暂停顿后能否正常继续识别。
通过合理的数据分块和缓冲管理,开发者可以让Core Speech Kit更好地适配实时语音输入场景,为语音搜索、语音聊天和语音问答等功能提供稳定的数据基础。
相关推荐
34
0
KevinChaos
535
0
老张不嚣张
236
0恒久
我还没有写个人简介......
帖子
提问
粉丝
彻底藏不住了!原生鸿蒙装机破 7400 万,日增 20 万,国产系统全面爆发
2026-07-20 16:06:57 发布鸿蒙6.1新版本升级达1.6GB,增加单应用音量调节等功能,这款手机已推送
2026-05-25 17:19:01 发布



京公网安备:11010502051901号