logo
积分中心
打造完整的语音交互闭环:HarmonyOS 7 Core Speech Kit语音听写与语音回复实践
头像 unlock 2026-11-11 15:54:11    发布
0 浏览 0 收藏


在前面的文章中,我们分别介绍了Core Speech Kit的语音识别和文本转语音能力。但如果只在应用中单独使用其中一种能力,用户体验仍然比较有限。

例如,语音输入功能只能将用户说的话转换为文字,语音播报功能只能将文字转换为声音。如果将两种能力组合起来,就可以形成一个更加完整的语音交互闭环:用户说话,应用识别内容,执行相应的业务逻辑,再通过语音将结果反馈给用户。

本篇以一个简单的语音问答应用为例,介绍如何组合SpeechRecognizer和TextToSpeech,搭建基础语音交互流程。

首先分别导入两个模块:

import { speechRecognizer } from '@kit.CoreSpeechKit';

import { textToSpeech } from '@kit.CoreSpeechKit';

然后分别定义两个引擎:

let asrEngine:

speechRecognizer.SpeechRecognitionEngine;

let ttsEngine:

textToSpeech.TextToSpeechEngine;

初始化语音识别引擎:

async function initASR() {

let params:

speechRecognizer.CreateEngineParams = {

language: 'zh-CN',

online: 1,

extraParams: {

'locate': 'CN',

'recognizerMode': 'short'

}

};

asrEngine =

await speechRecognizer.createEngine(params);

asrEngine.setListener({

onStart(sessionId: string, message: string) {

console.info('正在聆听用户语音');

},

onResult(

sessionId: string,

result: speechRecognizer.SpeechRecognitionResult

) {

console.info(

`用户语音识别结果:${JSON.stringify(result)}`

);

},

onComplete(sessionId: string, message: string) {

console.info('语音识别完成');

},

onError(

sessionId: string,

errorCode: number,

errorMessage: string

) {

console.error(

`语音识别失败:${errorCode}`

);

}

});

}

接下来初始化TTS引擎:

async function initTTS() {

let params:

textToSpeech.CreateEngineParams = {

language: 'zh-CN',

person: 13,

online: 1,

extraParams: {

'style': 'interaction-broadcast',

'locate': 'CN'

}

};

ttsEngine =

await textToSpeech.createEngine(params);

ttsEngine.setListener({

onStart(requestId: string, response: Object) {

console.info('开始播报回复');

},

onComplete(requestId: string, response: Object) {

console.info('回复播报完成');

},

onError(

requestId: string,

errorCode: number,

errorMessage: string

) {

console.error(

`语音播报失败:${errorCode}`

);

}

});

}

两个引擎初始化完成后,就可以设计语音问答的基本业务流程。

首先启动识别:

function startVoiceChat() {

let sessionId = `chat_${Date.now()}`;

let audioInfo: speechRecognizer.AudioInfo = {

audioType: 'pcm',

sampleRate: 16000,

soundChannel: 1,

sampleBit: 16

};

let params: speechRecognizer.StartParams = {

sessionId: sessionId,

audioInfo: audioInfo

};

asrEngine.startListening(params);

}

用户说话之后,语音识别引擎会通过onResult返回识别结果。应用从结果对象中提取最终文本,再传递给业务处理模块。

例如,可以先实现一个简单的本地问答逻辑:

function generateAnswer(

question: string

): string {

let text = question.trim();

if (text.includes('今天')) {

return '你可以查看应用首页获取今天的相关信息。';

}

if (text.includes('帮助')) {

return '你可以通过语音提出问题,我会将识别结果转换为文字并进行处理。';

}

return `我已经收到你的问题:${text}。请继续补充你想了解的内容。`;

}

这里使用关键词匹配只是为了演示语音交互流程。真正的问答应用可以将识别结果交给本地业务逻辑、知识库或者其他经过集成的智能服务进行处理。

拿到回复文本后,再通过TTS进行播报:

function speakAnswer(answer: string) {

if (!ttsEngine) {

console.error('TTS引擎未就绪');

return;

}

let params: textToSpeech.SpeakParams = {

requestId: `answer_${Date.now()}`,

extraParams: {

'speed': 1,

'volume': 2,

'pitch': 1,

'languageContext': 'zh-CN',

'audioType': 'pcm',

'playType': 1,

'queueMode': 0

}

};

ttsEngine.speak(answer, params);

}

这样就形成了一个基本流程:

用户语音输入 → SpeechRecognizer识别 → 应用业务处理 → TextToSpeech合成播报。

不过,真正开发时还需要重点解决两个问题。

第一个问题是双引擎之间的资源协调。语音识别和语音播报都涉及音频处理,如果用户在应用播报过程中再次启动麦克风识别,可能出现声音被麦克风采集、识别结果受到播报内容干扰等问题。因此,建议设计明确的状态管理机制。

例如,将语音交互状态分为IDLE、LISTENING、PROCESSING和SPEAKING。只有在合适的状态下才能启动新的识别任务,避免多个音频任务无序交错。

第二个问题是识别结果的确认。语音识别返回的内容可能存在同音字或者漏字,涉及重要业务操作时,不能直接执行。可以先在页面中显示识别文本,让用户确认后再进入下一步。

此外,还需要考虑用户权限、音频采集生命周期、无结果处理、引擎初始化失败和页面退出时的资源释放。两个引擎不再使用时,应分别调用shutdown。

测试时,可以重点验证连续问答、快速打断播报、识别失败后重新输入、页面切换和无网络状态等场景。

Core Speech Kit提供的文本转语音和语音识别能力,为HarmonyOS应用构建语音交互提供了基础技术支持。开发者可以在此基础上继续接入业务知识库、智能体和其他AI服务,让应用从简单的语音输入与播报,逐步发展为能够理解用户需求、执行任务并主动反馈结果的智能交互应用。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
分类
HarmonyOS
地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255