在前面的文章中,我们分别介绍了Core Speech Kit的语音识别和文本转语音能力。但如果只在应用中单独使用其中一种能力,用户体验仍然比较有限。
例如,语音输入功能只能将用户说的话转换为文字,语音播报功能只能将文字转换为声音。如果将两种能力组合起来,就可以形成一个更加完整的语音交互闭环:用户说话,应用识别内容,执行相应的业务逻辑,再通过语音将结果反馈给用户。
本篇以一个简单的语音问答应用为例,介绍如何组合SpeechRecognizer和TextToSpeech,搭建基础语音交互流程。
首先分别导入两个模块:
import { speechRecognizer } from '@kit.CoreSpeechKit';
import { textToSpeech } from '@kit.CoreSpeechKit';
然后分别定义两个引擎:
let asrEngine:
speechRecognizer.SpeechRecognitionEngine;
let ttsEngine:
textToSpeech.TextToSpeechEngine;
初始化语音识别引擎:
async function initASR() {
let params:
speechRecognizer.CreateEngineParams = {
language: 'zh-CN',
online: 1,
extraParams: {
'locate': 'CN',
'recognizerMode': 'short'
}
};
asrEngine =
await speechRecognizer.createEngine(params);
asrEngine.setListener({
onStart(sessionId: string, message: string) {
console.info('正在聆听用户语音');
},
onResult(
sessionId: string,
result: speechRecognizer.SpeechRecognitionResult
) {
console.info(
`用户语音识别结果:${JSON.stringify(result)}`
);
},
onComplete(sessionId: string, message: string) {
console.info('语音识别完成');
},
onError(
sessionId: string,
errorCode: number,
errorMessage: string
) {
console.error(
`语音识别失败:${errorCode}`
);
}
});
}
接下来初始化TTS引擎:
async function initTTS() {
let params:
textToSpeech.CreateEngineParams = {
language: 'zh-CN',
person: 13,
online: 1,
extraParams: {
'style': 'interaction-broadcast',
'locate': 'CN'
}
};
ttsEngine =
await textToSpeech.createEngine(params);
ttsEngine.setListener({
onStart(requestId: string, response: Object) {
console.info('开始播报回复');
},
onComplete(requestId: string, response: Object) {
console.info('回复播报完成');
},
onError(
requestId: string,
errorCode: number,
errorMessage: string
) {
console.error(
`语音播报失败:${errorCode}`
);
}
});
}
两个引擎初始化完成后,就可以设计语音问答的基本业务流程。
首先启动识别:
function startVoiceChat() {
let sessionId = `chat_${Date.now()}`;
let audioInfo: speechRecognizer.AudioInfo = {
audioType: 'pcm',
sampleRate: 16000,
soundChannel: 1,
sampleBit: 16
};
let params: speechRecognizer.StartParams = {
sessionId: sessionId,
audioInfo: audioInfo
};
asrEngine.startListening(params);
}
用户说话之后,语音识别引擎会通过onResult返回识别结果。应用从结果对象中提取最终文本,再传递给业务处理模块。
例如,可以先实现一个简单的本地问答逻辑:
function generateAnswer(
question: string
): string {
let text = question.trim();
if (text.includes('今天')) {
return '你可以查看应用首页获取今天的相关信息。';
}
if (text.includes('帮助')) {
return '你可以通过语音提出问题,我会将识别结果转换为文字并进行处理。';
}
return `我已经收到你的问题:${text}。请继续补充你想了解的内容。`;
}
这里使用关键词匹配只是为了演示语音交互流程。真正的问答应用可以将识别结果交给本地业务逻辑、知识库或者其他经过集成的智能服务进行处理。
拿到回复文本后,再通过TTS进行播报:
function speakAnswer(answer: string) {
if (!ttsEngine) {
console.error('TTS引擎未就绪');
return;
}
let params: textToSpeech.SpeakParams = {
requestId: `answer_${Date.now()}`,
extraParams: {
'speed': 1,
'volume': 2,
'pitch': 1,
'languageContext': 'zh-CN',
'audioType': 'pcm',
'playType': 1,
'queueMode': 0
}
};
ttsEngine.speak(answer, params);
}
这样就形成了一个基本流程:
用户语音输入 → SpeechRecognizer识别 → 应用业务处理 → TextToSpeech合成播报。
不过,真正开发时还需要重点解决两个问题。
第一个问题是双引擎之间的资源协调。语音识别和语音播报都涉及音频处理,如果用户在应用播报过程中再次启动麦克风识别,可能出现声音被麦克风采集、识别结果受到播报内容干扰等问题。因此,建议设计明确的状态管理机制。
例如,将语音交互状态分为IDLE、LISTENING、PROCESSING和SPEAKING。只有在合适的状态下才能启动新的识别任务,避免多个音频任务无序交错。
第二个问题是识别结果的确认。语音识别返回的内容可能存在同音字或者漏字,涉及重要业务操作时,不能直接执行。可以先在页面中显示识别文本,让用户确认后再进入下一步。
此外,还需要考虑用户权限、音频采集生命周期、无结果处理、引擎初始化失败和页面退出时的资源释放。两个引擎不再使用时,应分别调用shutdown。
测试时,可以重点验证连续问答、快速打断播报、识别失败后重新输入、页面切换和无网络状态等场景。
Core Speech Kit提供的文本转语音和语音识别能力,为HarmonyOS应用构建语音交互提供了基础技术支持。开发者可以在此基础上继续接入业务知识库、智能体和其他AI服务,让应用从简单的语音输入与播报,逐步发展为能够理解用户需求、执行任务并主动反馈结果的智能交互应用。
相关推荐
34
0
KevinChaos
535
0unlock
我还没有写个人简介......
帖子
提问
粉丝
让长语音记录更容易整理:HarmonyOS 7长语音识别与内容分段实践
2026-11-11 15:57:01 发布让语音播报更符合真实交互:HarmonyOS 7 TTS语速、音量与播报队列优化
2026-11-11 15:56:05 发布



京公网安备:11010502051901号