1、概述

OpenSL ES全称为Open Sound Library for Embedded Systems，是一个嵌入式、跨平台、免费的音频处理库。为嵌入式移动多媒体设备上的应用开发场景提供标准化、高性能、低延迟的API。

HarmonyOS的Native API基于Khronos Group开发的OpenSL ES 1.0.1 API 规范实现，可以在HarmonyOS上使用相关API。

OpenSL ES中提供了以下的接口，可以实现音频录制的基础功能（HarmonyOS当前仅实现了部分OpenSL ES接口）。

调用未实现接口后会返回SL_RESULT_FEATURE_UNSUPPORTED，当前没有相关扩展可以使用。

下面列举了HarmonyOS上已实现的OpenSL ES的接口，具体说明请参考OpenSL ES规范(url👉🏻 https://www.khronos.org/opensles/ )：

• HarmonyOS上支持的Engine接口：
• SLresult (*CreateAudioPlayer) (SLEngineItf self, SLObjectItf * pPlayer, SLDataSource *pAudioSrc, SLDataSink *pAudioSnk, SLuint32 numInterfaces, const SLInterfaceID * pInterfaceIds, const SLboolean * pInterfaceRequired)
• SLresult (*CreateAudioRecorder) (SLEngineItf self, SLObjectItf * pRecorder, SLDataSource *pAudioSrc, SLDataSink *pAudioSnk, SLuint32 numInterfaces, const SLInterfaceID * pInterfaceIds, const SLboolean * pInterfaceRequired)
• SLresult (*CreateOutputMix) (SLEngineItf self, SLObjectItf * pMix, SLuint32 numInterfaces, const SLInterfaceID * pInterfaceIds, const SLboolean * pInterfaceRequired)
• HarmonyOS上支持的Object接口：
• SLresult (*Realize) (SLObjectItf self, SLboolean async)
• SLresult (*GetState) (SLObjectItf self, SLuint32 * pState)
• SLresult (*GetInterface) (SLObjectItf self, const SLInterfaceID iid, void * pInterface)
• void (*Destroy) (SLObjectItf self)
• HarmonyOS上支持的Recorder接口：
• SLresult (*SetRecordState) (SLRecordItf self, SLuint32 state)
• SLresult (*GetRecordState) (SLRecordItf self,SLuint32 *pState)
• HarmonyOS上支持的BufferQueue接口：以下接口需引入<OpenSLES_OpenHarmony.h>使用。

2、开发流程示例

示例来自于官方介绍。

1、添加头文件

#include "SLES/OpenSLES.h"
#include "SLES/OpenSLES_OpenHarmony.h"
#include "SLES/OpenSLES_Platform.h"

2、使用slCreateEngine接口创建引擎对象和实例化引擎对象engine。

SLObjectItf engineObject = nullptr;
slCreateEngine(&engineObject, 0, nullptr, 0, nullptr, nullptr);
(*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);

3、获取接口SL_IID_ENGINE的引擎接口engineEngine实例。

SLEngineItf engineItf = nullptr;
(*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &engineItf);

4、配置录音器信息（配置输入源audiosource、输出源audiosink），创建录音对象pcmCapturerObject。

SLDataLocator_IODevice io_device = {
    SL_DATALOCATOR_IODEVICE,
    SL_IODEVICE_AUDIOINPUT,
    SL_DEFAULTDEVICEID_AUDIOINPUT,
    NULL
};
SLDataSource audioSource = {
    &io_device,
    NULL
};
SLDataLocator_BufferQueue buffer_queue = {
    SL_DATALOCATOR_BUFFERQUEUE,
    3
};
// 具体参数需要根据音频文件格式进行适配
SLDataFormat_PCM format_pcm = {
    SL_DATAFORMAT_PCM,           // 输入的音频格式
    1,                                              // 单声道
    SL_SAMPLINGRATE_44_1,        // 采样率: 44100HZ
    SL_PCMSAMPLEFORMAT_FIXED_16, // 音频采样格式,小尾数，带符号的16位整数
    0,
    0,
    0
};
SLDataSink audioSink = {
    &buffer_queue,
    &format_pcm
};

SLObjectItf pcmCapturerObject = nullptr;
(*engineItf)->CreateAudioRecorder(engineItf, &pcmCapturerObject,
    &audioSource, &audioSink, 0, nullptr, nullptr);
(*pcmCapturerObject)->Realize(pcmCapturerObject, SL_BOOLEAN_FALSE);

5、获取录音接口SL_IID_RECORD的recordItf接口实例。

SLRecordItf  recordItf;
(*pcmCapturerObject)->GetInterface(pcmCapturerObject, SL_IID_RECORD, &recordItf);

6、获取接口 SL_IID_OH_BUFFERQUEUE 的 bufferQueueItf 实例

SLOHBufferQueueItf bufferQueueItf;
(*pcmCapturerObject)->GetInterface(pcmCapturerObject, SL_IID_OH_BUFFERQUEUE, &bufferQueueItf);

7、注册BufferQueueCallback回调。

static void BufferQueueCallback(SLOHBufferQueueItf bufferQueueItf, void *pContext, SLuint32 size)
{
    // 可从pContext获取注册时传入的使用者信息
    SLuint8 *buffer = nullptr;
    SLuint32 pSize = 0;
    (*bufferQueueItf)->GetBuffer(bufferQueueItf, &buffer, &pSize);
    if (buffer != nullptr) {
        // 可从buffer内读取录音数据进行后续处理 
        (*bufferQueueItf)->Enqueue(bufferQueueItf, buffer, size);
    }
}
void *pContext; // 可传入自定义的上下文信息，会在Callback内收到
(*bufferQueueItf)->RegisterCallback(bufferQueueItf, BufferQueueCallback, pContext);

8、开始录音

(*recordItf)->SetRecordState(recordItf, SL_RECORDSTATE_RECORDING);

9、结束音频录制

(*recordItf)->SetRecordState(recordItf, SL_RECORDSTATE_STOPPED);
(*pcmCapturerObject)->Destroy(pcmCapturerObject);

这里的OpenSL ES涉及到native API，后续针对Native API可以单独做讨论学习。