JingsongXia
2026-11-04 17:39:03 发布导语:医学生用HarmonyOS技术实现口述转写、专业校对与智能体病史
我是一名在读医学生,在接触到冠心病临床检查的冠脉造影影像数据时,我的目光总会停在某一段变窄的地方,思考着这处病变该怎样评估,接下来的治疗又该怎样选择?不过,冠心病等医学病史录入往往不是从一张表格开始,而是从患者的一段口述开始。胸闷从什么时候出现、走多远会停下来、休息后是否缓解……这些细节散落在自然表达里,既要准确记录,也要整理成便于后续核对的病历信息。
作为医学生,我们团队开发了“智心卫士——国内首款基于 HarmonyOS 开发的冠脉造影辅助诊疗软件”,在参与“智心卫士”开发时,我希望把病史录入场景——从“说出来”到“写下来”的过程做得更顺畅。

这篇文章聚焦“智心卫士”病史录入模块的技术实现:一方面,拆解现有工程如何完成录音、语音转写和内容校对;另一方面,结合 HarmonyOS 7 的 App Skill 能力,设计系统智能体如何把一段病史文本交给应用,生成可在应用内继续核对的病史草稿。其中 targetSdkVersion 与 compatibleSdkVersion 从 HarmonyOS 6(API 22)开始研发,实现了“智心卫士”录音、转写和文书生成等功能; HarmonyOS 7(API 26)发布后,“智心卫士”持续升级并设计了App Skill 智能体病史功能。
从口述到录音,用HarmonyOS Media Kit把病史信息记录下来
“智心卫士”现有代码把病史录入分给以下几个服务,其中VoiceService负责录音,BaiduAsrService负责语音转写,PatientPage 负责组织它们,并保存当前页面的操作状态。整个流程如下,医务工作者点击录音 → 麦克风授权 → 录制音频 → 停止录制 → 语音转写 → 编辑校对 → 生成入院记录 → 在表单中查看和修改。用户点击麦克风后,PatientPage先通过abilityAccessCtrl检查权限。获得授权才调用startActualRecording;权限未获授予时,页面打开手动输入框。麦克风入口和文字入口因此能接到同一段后续业务。VoiceService使用Media Kit的AVRecorder。当前参数如下,音频保存在应用沙箱中的 .m4a 文件里。相关代码如下:
const avProfile: media.AVRecorderProfile = {
audioBitrate: 64000,
audioChannels: 1,
audioCodec: media.CodecMimeType.AUDIO_AAC,
audioSampleRate: 16000,
fileFormat: media.ContainerFormatType.CFT_MPEG_4A
};
const avConfig: media.AVRecorderConfig = {
audioSourceType: media.AudioSourceType.AUDIO_SOURCE_TYPE_MIC,
profile: avProfile,
url: 'fd://' + String(this.fileFd)
};这些参数分别确定码率、声道、编码、采样率和文件容器。页面显示的“正在录音”,背后则有一套独立的录制器状态,即先prepare,再start;暂停对应pause,恢复对应resume。调用顺序需要服从AVRecorder的状态要求。
团队在整理这一模块时,有一个很具体的改进点值得留下:当前resumeRecording会重新调用 startTickTimer,而后者会将elapsedSeconds清零。后续应把“新录音计时归零”和“恢复计时”拆开,恢复时接着累加。对使用者来说,暂停前后的两段话属于同一份病史,计时也应保持连续。

结束录音后,“智心卫士”设计了转写与校对,希望让病史文本可核验。具体技术工程实现是PatientPage的finishAndTranscribe先等待stopRecording完成,再把文件路径交给BaiduAsrService。这个服务读取音频、编码为Base64,发送识别请求,最后将返回的文本交回页面。当前实现采用录完后转写的方式。转写成功后,文本进入editingVoiceText,页面展开编辑区。相关代码如下:
const text: string =
await this.baiduAsrService.recognizeSpeech(filePath);
this.isTranscribing = false;
if (text !== '') {
this.editingVoiceText = text;
this.showVoiceEditor = true;
} else {
this.showManualVoiceInput = true;
}编辑区的TextArea将修改内容写回editingVoiceText。医务工作者点击“生成入院记录”后,generateAdmissionFromVoice才会把校对后的文本交给后续程序。页面用isTranscribing和isVoiceGenerating分别表示转写与生成两个阶段,便于使用者理解此刻正在等待什么。
在医学叙述里,“三天前”与“三年前”,“有胸痛”与“无胸痛”,这些表达虽然字数相近,但是含义却相去甚远。因此,把文本识别后的内容置于可编辑的区域,不仅能让医务工作者在文字整理前核对相关信息,也能保留口述原有的时间线,方便后续的病历整理工作。
当前生成服务要求输出主诉、现病史、既往史、体格检查、初步诊断和诊疗计划等内容,返回值直接进入页面的admissionRecord字段。进一步打磨时,团队计划给整理规则补上明确的缺项处理,即已经提供的事实按栏目归位,尚待采集的信息标记为“待补充”,体格检查所见由医务工作者核实后填写。这样,草稿的结构能帮助医务工作者继续完善记录。此流程也决定了下一步怎样接入系统能力。无论文字来自应用里的录音,还是来自系统智能体转交的输入,都可以先进入同一套草稿整理流程,再回到医务工作者熟悉的编辑页面。
HarmonyOS 7 新特性App Skill:让系统智能体接入病史整理
随着HarmonyOS系统的更新,HarmonyOS 7的变化发生在应用能力的调用方式上。官方文档说明,从API 26.0.0开始,Ability Kit 支持将应用内业务能力通过Skill开放给系统智能体,适用于 Stage 模型。描述文件负责声明能力,ArkTS入口负责连接应用内的业务服务。“智心卫士”后续将开放一个范围清楚的能力createHistoryDraft,接收一段待整理的病史文本,创建一份本地待核对草稿。典型的输入话术可以是:“请用智心卫士把下面这段病史整理成草稿。”调用完成后,系统返回草稿编号和处理状态,医务工作者在应用内打开草稿、核对内容并关联患者。App Skill的任务从收到文本开始。应用内麦克风仍由PatientPage和VoiceService管理;从系统入口发起时,传入的是已经形成的文本。两条入口最终汇合到同一个草稿服务,录音设备的生命周期也就继续由原来的页面管理。目录放在 entry/skills/njmu-history-draft下,其中 SKILL.md声明触发场景和输入输出,scripts/HistoryDraftSkill.ets承接调用。module.json5在 module层增加以下注册项。目录名、描述文件里的name和配置中的name保持一致。相关代码如下:
"skillProfiles": [
{
"name": "njmu-history-draft",
"abilityName": "EntryAbility",
"srcEntries": [
"../../skills/njmu-history-draft/scripts/HistoryDraftSkill.ets"
],
"version": "1.0.0"
}
]描述文件应当把“整理草稿”说具体,即输入是哪一段文本,返回的草稿到哪里查看,哪些结果表示完成,哪些情况需要回到应用继续操作。团队会将功能写成下面这份业务约定,再据此编写完整的 SKILL.md 参数和返回值 Schema。将输入限定为一段病史、将输出落实到一份草稿,新能力就有了清楚的起点和终点。后续扩展时,也能沿用这一份业务约定。
| 项目 | createHistoryDraft 的设计约定 |
|---|---|
| 输入 | arg1 为待整理文本;长度上限由应用设置 |
| 执行条件 | 已恢复应用会话,当前医务工作者已登录,AI 服务可用 |
| 成功产物 | 创建归属于当前医务工作者的本地待核对草稿 |
| 回传内容 | 草稿编号与 pending_review 状态 |
| 后续操作 | 医务工作者在应用内打开草稿,核对后关联患者并保存 |
目前,“智心卫士”的PatientPage用editingVoiceText保存待校对文字,再将患者姓名和文本传给后续的生成方法。系统智能体发起调用时,页面可能尚未创建。要让新入口工作,需要把整理和保存草稿的逻辑移到页面之外。我们希望能够复用业务服务,让让两种入口汇入同一套草稿流程。
团队计划新增HistoryDraftService,其能够统一处理会话恢复、输入检查、文书生成和草稿持久化。PatientPage与HistoryDraftSkill都调用它。现有生成方法也要配合调整,即将患者身份信息留在应用内的关联环节,供模型整理的内容经过字段筛选与敏感信息处理,并在调用前展示待提交内容及用途。口述中夹带的姓名、联系方式等自由文本,也纳入这一处理过程。
这种服务重构还有一个直接来自源码的原因。现有生成方法用Promise<string>返回内容,成功时是文书,失败时可能是一句网络或配置提示。新入口需要能明确区分这两类结果,再决定是否保存草稿、怎样向系统回传状态。以下代码为业务返回类型,其属于应用内部设计,实际接入时再映射为系统要求的ExecuteResult。
type DraftErrorCode =
'NEED_LOGIN' | 'INVALID_TEXT' | 'AI_UNAVAILABLE' | 'SAVE_FAILED';
interface HistoryDraftResult {
success: boolean;
draftId: string;
reviewState: 'pending_review' | 'none';
errorCode: DraftErrorCode | '';
}业务层只在生成与保存都完成后返回 success 为 true,同时给出草稿编号;失败时返回对应错误码,草稿编号为空。Skill 入口负责参数解析和结果回传,正文由应用内的草稿编辑页展示。这样,使用者听到“草稿已生成”时,打开应用就能找到对应内容。
冷启动亦需单独处理。现有AuthService.init会恢复会话,DatabaseService负责数据库初始化。新服务应将这两项准备组织成可重复调用的初始化过程,再读取当前医务工作者身份、执行草稿任务。草稿同时记录所属医务工作者、来源和创建时间,应用入口与系统入口共用同一份数据。
对应的调用过程如下:系统智能体 → HistoryDraftSkill参数检查 → HistoryDraftService → 文书生成与本地保存 → 回传草稿编号。入口脚本按官方约定导出类方法,接收ArkTSScriptInfo和字符串参数,并通过completeArkTSScriptInApp回传ExecuteResult。页面状态留给页面,业务结果由服务统一管理。
对“智心卫士”来说,语音录入解决的是病史信息如何进入应用,App Skill 则提供了另一种入口:用户可以把已经形成的病史文本交给系统智能体,再由应用生成待核对草稿。两条路径最终指向同一套整理业务,既减少重复建设,也让医务工作者保留对病史内容的核对和患者关联操作。目前,语音录入与转写已有现有工程实现;App Skill 接入和服务抽离仍属于面向 HarmonyOS 7 的升级设计,后续还需要完成能力注册、服务重构与实际联调,验证从系统调用到应用内草稿核对的完整链路。
暂无评论数据
发布
相关推荐
sky_Qian
7
0
KevinChaos
448
0
leson
18
0
天树
37
0
JingsongXia
🩺 Medical Student | 🔬 AI Researcher | 🧠 Clinician-Scientist in Training Medical AI · Deep Learning · Biomedical Engineering · HarmonyOS in Medicine 📍 Nanjing / Shanghai, China
帖子
提问
粉丝
把代码写到心跳近旁——一个临床医学生的鸿蒙开发手记#向光而行 码向未来
2026-10-28 23:22:49 发布


京公网安备:11010502051901号