logo
积分中心
让病史录入从一句话开始:智心卫士的语音识别与 HarmonyOS 7 App Skill 实践
头像 CBI资讯 2026-11-04 18:57:51    发布
23275 浏览 13 收藏
医学生用HarmonyOS技术实现口述转写、专业校对与智能体病史

作者 | “智心卫士”开发者JingsongXia


我是一名在读医学生,在接触到冠心病临床检查的冠脉造影影像数据时,目光总会停在某一段变窄的地方,思考着这处病变该怎样评估,接下来的治疗又该怎样选择?不过,冠心病等医学病史录入往往不是从一张表格开始,而是从患者的一段口述开始。胸闷从什么时候出现、走多远会停下来、休息后是否缓解……这些细节散落在自然表达里,既要准确记录,也要整理成便于后续核对的病历信息。

作为医学生,我们团队开发了“智心卫士——国内首款基于 HarmonyOS 开发的冠脉造影辅助诊疗软件”,在参与“智心卫士”开发时,我希望把病史录入场景——从“说出来”到“写下来”的过程做得更顺畅。


这篇文章聚焦“智心卫士”病史录入模块的技术实现:一方面,拆解现有工程如何完成录音、语音转写和内容校对;另一方面,结合 HarmonyOS 7 的 App Skill 能力,设计系统智能体如何把一段病史文本交给应用,生成可在应用内继续核对的病史草稿。其中 targetSdkVersion 与 compatibleSdkVersion 从 HarmonyOS 6(API 22)开始研发,实现了“智心卫士”录音、转写和文书生成等功能; HarmonyOS 7(API 26)发布后,“智心卫士”持续升级并设计了App Skill 智能体病史功能。


从口述到录音,用HarmonyOS Media Kit把病史信息记录下来

“智心卫士”现有代码把病史录入分给以下几个服务,其中VoiceService负责录音,BaiduAsrService负责语音转写,PatientPage 负责组织它们,并保存当前页面的操作状态。整个流程如下,医务工作者点击录音 → 麦克风授权 → 录制音频 → 停止录制 → 语音转写 → 编辑校对 → 生成入院记录 → 在表单中查看和修改。用户点击麦克风后,PatientPage先通过abilityAccessCtrl检查权限。获得授权才调用startActualRecording;权限未获授予时,页面打开手动输入框。麦克风入口和文字入口因此能接到同一段后续业务。VoiceService使用Media Kit的AVRecorder。当前参数如下,音频保存在应用沙箱中的 .m4a 文件里。相关代码如下:

const avProfile: media.AVRecorderProfile = {
  audioBitrate: 64000,
  audioChannels: 1,
  audioCodec: media.CodecMimeType.AUDIO_AAC,
  audioSampleRate: 16000,
  fileFormat: media.ContainerFormatType.CFT_MPEG_4A
};
const avConfig: media.AVRecorderConfig = {
  audioSourceType: media.AudioSourceType.AUDIO_SOURCE_TYPE_MIC,
  profile: avProfile,
  url: 'fd://' + String(this.fileFd)
};

这些参数分别确定码率、声道、编码、采样率和文件容器。页面显示的“正在录音”,背后则有一套独立的录制器状态,即先prepare,再start;暂停对应pause,恢复对应resume。调用顺序需要服从AVRecorder的状态要求。

团队在整理这一模块时,有一个很具体的改进点值得留下:当前resumeRecording会重新调用 startTickTimer,而后者会将elapsedSeconds清零。后续应把“新录音计时归零”和“恢复计时”拆开,恢复时接着累加。对使用者来说,暂停前后的两段话属于同一份病史,计时也应保持连续。



结束录音后,“智心卫士”设计了转写与校对,希望让病史文本可核验。具体技术工程实现是PatientPage的finishAndTranscribe先等待stopRecording完成,再把文件路径交给BaiduAsrService。这个服务读取音频、编码为Base64,发送识别请求,最后将返回的文本交回页面。当前实现采用录完后转写的方式。转写成功后,文本进入editingVoiceText,页面展开编辑区。相关代码如下:

const text: string =
  await this.baiduAsrService.recognizeSpeech(filePath);
this.isTranscribing = false;
if (text !== '') {
  this.editingVoiceText = text;
  this.showVoiceEditor = true;
} else {
  this.showManualVoiceInput = true;
}

编辑区的TextArea将修改内容写回editingVoiceText。医务工作者点击“生成入院记录”后,generateAdmissionFromVoice才会把校对后的文本交给后续程序。页面用isTranscribing和isVoiceGenerating分别表示转写与生成两个阶段,便于使用者理解此刻正在等待什么。

在医学叙述里,“三天前”与“三年前”,“有胸痛”与“无胸痛”,这些表达虽然字数相近,但是含义却相去甚远。因此,把文本识别后的内容置于可编辑的区域,不仅能让医务工作者在文字整理前核对相关信息,也能保留口述原有的时间线,方便后续的病历整理工作。

当前生成服务要求输出主诉、现病史、既往史、体格检查、初步诊断和诊疗计划等内容,返回值直接进入页面的admissionRecord字段。进一步打磨时,团队计划给整理规则补上明确的缺项处理,即已经提供的事实按栏目归位,尚待采集的信息标记为“待补充”,体格检查所见由医务工作者核实后填写。这样,草稿的结构能帮助医务工作者继续完善记录。此流程也决定了下一步怎样接入系统能力。无论文字来自应用里的录音,还是来自系统智能体转交的输入,都可以先进入同一套草稿整理流程,再回到医务工作者熟悉的编辑页面。


HarmonyOS 7 新特性App Skill:让系统智能体接入病史整理

随着HarmonyOS系统的更新,HarmonyOS 7的变化发生在应用能力的调用方式上。官方文档说明,从API 26.0.0开始,Ability Kit 支持将应用内业务能力通过Skill开放给系统智能体,适用于 Stage 模型。描述文件负责声明能力,ArkTS入口负责连接应用内的业务服务。“智心卫士”后续将开放一个范围清楚的能力createHistoryDraft,接收一段待整理的病史文本,创建一份本地待核对草稿。典型的输入话术可以是:“请用智心卫士把下面这段病史整理成草稿。”调用完成后,系统返回草稿编号和处理状态,医务工作者在应用内打开草稿、核对内容并关联患者。App Skill的任务从收到文本开始。应用内麦克风仍由PatientPage和VoiceService管理;从系统入口发起时,传入的是已经形成的文本。两条入口最终汇合到同一个草稿服务,录音设备的生命周期也就继续由原来的页面管理。目录放在 entry/skills/njmu-history-draft下,其中 SKILL.md声明触发场景和输入输出,scripts/HistoryDraftSkill.ets承接调用。module.json5在 module层增加以下注册项。目录名、描述文件里的name和配置中的name保持一致。相关代码如下:

"skillProfiles": [
  {
    "name": "njmu-history-draft",
    "abilityName": "EntryAbility",
    "srcEntries": [
      "../../skills/njmu-history-draft/scripts/HistoryDraftSkill.ets"
    ],
    "version": "1.0.0"
  }
]

描述文件应当把“整理草稿”说具体,即输入是哪一段文本,返回的草稿到哪里查看,哪些结果表示完成,哪些情况需要回到应用继续操作。团队会将功能写成下面这份业务约定,再据此编写完整的 SKILL.md 参数和返回值 Schema。将输入限定为一段病史、将输出落实到一份草稿,新能力就有了清楚的起点和终点。后续扩展时,也能沿用这一份业务约定。

项目createHistoryDraft 的设计约定
输入arg1 为待整理文本;长度上限由应用设置
执行条件已恢复应用会话,当前医务工作者已登录,AI 服务可用
成功产物创建归属于当前医务工作者的本地待核对草稿
回传内容草稿编号与 pending_review 状态
后续操作医务工作者在应用内打开草稿,核对后关联患者并保存

目前,“智心卫士”的PatientPage用editingVoiceText保存待校对文字,再将患者姓名和文本传给后续的生成方法。系统智能体发起调用时,页面可能尚未创建。要让新入口工作,需要把整理和保存草稿的逻辑移到页面之外。我们希望能够复用业务服务,让让两种入口汇入同一套草稿流程。

团队计划新增HistoryDraftService,其能够统一处理会话恢复、输入检查、文书生成和草稿持久化。PatientPage与HistoryDraftSkill都调用它。现有生成方法也要配合调整,即将患者身份信息留在应用内的关联环节,供模型整理的内容经过字段筛选与敏感信息处理,并在调用前展示待提交内容及用途。口述中夹带的姓名、联系方式等自由文本,也纳入这一处理过程。

这种服务重构还有一个直接来自源码的原因。现有生成方法用Promise<string>返回内容,成功时是文书,失败时可能是一句网络或配置提示。新入口需要能明确区分这两类结果,再决定是否保存草稿、怎样向系统回传状态。以下代码为业务返回类型,其属于应用内部设计,实际接入时再映射为系统要求的ExecuteResult。

type DraftErrorCode =

 'NEED_LOGIN' | 'INVALID_TEXT' | 'AI_UNAVAILABLE' | 'SAVE_FAILED';

interface HistoryDraftResult {

 success: boolean;

 draftId: string;

 reviewState: 'pending_review' | 'none';

 errorCode: DraftErrorCode | '';

}

业务层只在生成与保存都完成后返回 success 为 true,同时给出草稿编号;失败时返回对应错误码,草稿编号为空。Skill 入口负责参数解析和结果回传,正文由应用内的草稿编辑页展示。这样,使用者听到“草稿已生成”时,打开应用就能找到对应内容。

冷启动亦需单独处理。现有AuthService.init会恢复会话,DatabaseService负责数据库初始化。新服务应将这两项准备组织成可重复调用的初始化过程,再读取当前医务工作者身份、执行草稿任务。草稿同时记录所属医务工作者、来源和创建时间,应用入口与系统入口共用同一份数据。

对应的调用过程如下:系统智能体 → HistoryDraftSkill参数检查 → HistoryDraftService → 文书生成与本地保存 → 回传草稿编号。入口脚本按官方约定导出类方法,接收ArkTSScriptInfo和字符串参数,并通过completeArkTSScriptInApp回传ExecuteResult。页面状态留给页面,业务结果由服务统一管理。

对“智心卫士”来说,语音录入解决的是病史信息如何进入应用,App Skill 则提供了另一种入口:用户可以把已经形成的病史文本交给系统智能体,再由应用生成待核对草稿。两条路径最终指向同一套整理业务,既减少重复建设,也让医务工作者保留对病史内容的核对和患者关联操作。目前,语音录入与转写已有现有工程实现;App Skill 接入和服务抽离仍属于面向 HarmonyOS 7 的升级设计,后续还需要完成能力注册、服务重构与实际联调,验证从系统调用到应用内草稿核对的完整链路。


©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
分类
HarmonyOS
地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255