【HarmonyOS-媒体技术-Media Kit】音视频开发全栈解析
头像 宋你一朵小红花 2025-09-15 22:11:02    发布
327 浏览 2 点赞 9 收藏

还在手动拼装播放器、录屏、录制、元数据解析逻辑?

别急——这份 HarmonyOS Media Kit 文章,就是你通往全场景多媒体开发的“通关指南”。

您可以通过这篇文章了解到Media Kit的6大核心功能模块、典型场景以及基础流程,【快速上手】零基础也能秒变“音视频高手”。


一、概述


Media Kit 让开发者可以调用系统的音视频能力,涵盖播放、录制、录屏、元数据提取与转码六大核心功能模块,支撑系统应用与第三方应用在视频播放、内容创作、教学录屏、直播互动等典型场景下的音视频处理需求。系统框架和各核心功能模块介绍如下:

核心功能模块

简要概述播放长短视频、录制、录屏、元数据、转码的功能描述及典型场景:

96392c212e0e09d4e1182c9f69040fa9.png


简易架构图

简要描述鸿蒙系统架构、Media Kit提供的服务以及TOP使用Media Kit 的系统应用和三方应用

4953423212ec33df6fcd0f7d695908e3.png


二、Media Kit 的核心亮点


轻量媒体引擎

占用系统资源少(线程、内存),支持 pipeline 拼装、插件化扩展(source/demuxer/codec)。

HDR 视频支持

支持 HDR Vivid 格式采集与播放,提升视觉体验。

音频池机制(SoundPool)

适用于短音效播放场景(如系统提示音、游戏音效等),支持一次加载、多次低延迟播放。


三、Media Kit 六大功能模块简介


(1)AVPlayer:播放音视频

1. 功能简介

AVPlayer 负责将音频/视频资源(如 MP4、MP3、MKV、MPEG-TS 等)解码为可渲染的图像和音频信号,并通过输出设备播放。

它支持:

  • 音频播放(如音乐播放器)
  • 视频播放(如视频播放器)

2. 视频播放流程

86e013f43427dbc51ceab9073139a529.png

流程说明:

  • 1. 应用从XComponent组件获取窗口SurfaceID,获取方式参考XComponent。

• 2. 应用把媒体资源、SurfaceID传递给AVPlayer接口。

  • 3. Player Framework把视频ES数据流输出给解码HDI,解码获得视频帧(NV12/NV21/RGBA)。
  • 4. Player Framework把音频PCM数据流输出给Audio Framework,Audio Framework输出给音频HDI。
  • 5.Player Framework把视频帧(NV12/NV21/RGBA)输出给Graphic Framework,Graphic Framework输出给显示HDI。

(2)SoundPool:播放短音频

1. 功能简介

SoundPool 专为短音频播放设计,适用于提示音、通知音等低延迟、高频次播放场景。


2. 交互关系图

image.png



流程说明:

  • 1. 音频应用将媒体资源传递给SoundPool接口。
  • 2. Player Framework将音频PCM数据流输出给Audio Framework,再由Audio Framework输出给音频HDI。

(3)AVRecorder:录制音视频

1. 功能简介

AVRecorder 可实现音频、视频、音视频混合录制,支持自定义编码格式、封装格式等参数。


2. 交互关系图

5a036f66eb389b2d449ccc6a3c66ff8d.png



流程说明:

  • 1. 应用通过AVRecorder接口从录制服务获取SurfaceID。
  • 2. 应用将SurfaceID设置给相机服务,相机服务可以通过SurfaceID获取到Surface。相机服务通过视频HDI捕获图像数据送至框架层的录制服务。
  • 3. 相机服务通过Surface将视频数据传递给录制服务。
  • 4. 录制服务将音频参数设置给音频服务,并从音频服务获取到音频数据。
  • 5. 录制服务通过编码服务将音视频数据编码。

(4)AVScreenCapture:屏幕录制

1. 功能简介

AVScreenCapture 支持屏幕录制功能,分为 录屏存文件 和 录屏取码流 两种模式。

2. 交互关系图

ff113b1d7a6d0dddc9f585c05bd26e64.png


流程说明:

  • 1. 应用通过AVScreenCapture发起录屏。
  • 2. 录屏服务通过图形服务获取屏幕数据。
  • 3. 录屏服务将音频参数设置给音频服务,并从音频服务获取到音频数据。
  • 4. 录屏服务通过编码服务将音视频数据编码。

(5)AVMetadataExtractor:获取音视频元数据/缩略图

1. 功能简介

AVMetadataExtractor 用于从音视频资源中提取元数据,如标题、艺术家、专辑、时长等信息,从视频中提取指定时间点的画面,生成缩略图。

2. 交互关系图

b4c2d41c5d7b541e13af9e11be3eab25.png


流程说明:

  • 1. 应用通过AVMetadataExtractor接口去获取元数据(如标题、艺术家等)/缩略图。
  • 2. 调用解封装/解码能力获取相应数据。

(5)AVMetadataExtractor:获取音视频元数据/缩略图

1. 功能简介

AVTranscoder主要用于将已压缩编码的视频文件按照指定参数转换为另一种格式的视频。

2. 交互关系图

4fb1053eccf3ea1633eaab4ee9259a55.png


流程说明:

  • 1. 应用通过AVTranscoder接口进行视频文件的格式转换。
  • 2. 调用AVCodec的封装解封装、编解码服务,将音视频数据按照应用配置的新参数进行重新编码封装。

四、参考资料

HarmonyOS Media Kit 官方文档:

https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/media-kit-intro

AVPlayer 开发指南:

https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/media-kit-intro#avplayer

SoundPool 开发指南:

https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/media-kit-intro#soundpool

AVRecorder 开发指南:

https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/media-kit-intro#avrecorder

AVScreenCapture 开发指南:

https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/media-kit-intro#avscreencapture

AVMetadataExtractor 开发指南:

https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/media-kit-intro#avmetadataextractor

AVTranscoder 开发指南:

https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/media-kit-intro#avtranscoder


五、结语

Media Kit 提供了一整套音视频开发工具链,无论你是开发音乐播放器、视频播放器、录音应用,还是屏幕录制工具,都能找到合适的组件来实现功能。

如果你希望打造一款高质量、高性能、高兼容性的音视频应用,Media Kit 就是你不可或缺的开发伙伴。


©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
分类
HarmonyOS
头像

宋你一朵小红花

我还没有写个人简介......

881

帖子

0

提问

1679

粉丝

关注
热门推荐
地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 商务内容合作QQ:2291221 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除
京ICP备:2022009079号-2
京公网安备:11010502051901号
ICP证:京B2-20230255