Android平台RTSP轻量级服务|RTMP推送摄像头或屏幕之音频接口设计

好多开发者在做Android平台录像或者RTSP轻量级服务、RTMP推送相关模块时，对需要设计哪些常用接口会心存疑惑，本文主要以大牛直播SDK（官方）为例，简单介绍下Android平台直播推送SDK所有音频相关的接口，感兴趣的开发者可以看看。

1. 设置audio编码类型，默认AAC，如需更低的码率，可设置SPEEX编码，一把考虑到录像等操作的通用性，建议选择AAC编码。

    /*** Set audio encoder type(设置音频编码类型)* * @param type: if with 1:AAC, if with 2: SPEEX* * @return {0} if successful*/public native int SmartPublisherSetAudioCodecType(long handle, int type);

2. 设置AAC音频编码码率，不再赘述。

	/*** Set audio encoder bit-rate(设置音频编码码率), 当前只对AAC编码有效** @param kbit_rate: 码率(单位是kbps), 如果是0的话将使用默认码率, 必须大于等于0** @return {0} if successful*/public native int SmartPublisherSetAudioBitRate(long handle, int kbit_rate);

3. 设置SPEEX音频编码质量，一般设置到8即可。

    /*** Set speex encoder quality(设置speex编码质量)* * @param quality: range with (0, 10), default value is 8* * @return {0} if successful*/public native int SmartPublisherSetSpeexEncoderQuality(long handle, int quality);

4. 设置噪音抑制，噪音抑制可用于对采集到的audio数据如杂音背景音的消除

    /*** Set Audio Noise Suppression(设置音频噪音抑制)* * @param isNS: if with 1:suppress, if with 0: does not suppress* * @return {0} if successful*/public native int SmartPublisherSetNoiseSuppression(long handle, int isNS);

5. 设置音频自动增益控制，AGC的目的是，系统可根据声音大小自动适当调整音量，使声音大小尽量保持一致

    /*** Set Audio AGC(设置音频自动增益控制)* * @param isAGC: if with 1:AGC, if with 0: does not AGC* * @return {0} if successful*/public native int SmartPublisherSetAGC(long handle, int isAGC);

6. 设置回音消除，用于一对一互动场景下，消除音频回音

	/*** Set Audio Echo Cancellation(设置音频回音消除)** @param isCancel: if with 1:Echo Cancellation, if with 0: does not cancel** @param delay: echo delay(ms), if with 0, SDK will automatically estimate the delay.** @return {0} if successful*/public native int SmartPublisherSetEchoCancellation(long handle, int isCancel, int delay);

7. 设置混音，可用于比如两路音频混音场景，具体可参考一对一互动的demo

	/*** 设置混音,目前支持两路音频混音** @param is_mix: 1混音, 0不混音, 默认不混音** @return {0} if successful*/public native int SmartPublisherSetAudioMix(long handle, int is_mix);

8. 实时静音，实时静音顾名思义，推送过程中，暂停音频推送

    /*** Set mute or not during publish stream(设置实时静音)* * @param isMute: if with 1:mute, if with 0: does not mute* * @return {0} if successful*/public native int SmartPublisherSetMute(long handle, int isMute);

9. 用于设置输入音量，范围是[0.0, 5.0]，除非麦克风采集到的audio过小，一般不建议放大，放大的话，会引入噪音等

	/*** 设置输入音量, 这个接口一般不建议调用, 在一些特殊情况下可能会用, 一般不建议放大音量** @param index: 一般是0和1, 如果没有混音的只用0, 有混音的话, 0,1分别设置音量** @param volume: 音量，默认是1.0，范围是[0.0, 5.0], 设置成0静音, 1音量不变** @return {0} if successful*/public native int SmartPublisherSetInputAudioVolume(long handle, int index, float volume);

10. 对接外部实时采集的PCM数据，考虑到集成方便，我们提供了以下三个接口，注意PCM音频数据接口每10ms传第一次audio数据

	/*** 传递PCM音频数据给SDK, 每10ms音频数据传入一次* *  @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.*  @param size: pcm数据大小*  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100*  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)*  @param per_channel_sample_number: 这个请传入的是 sample_rate/100*/public native int SmartPublisherOnPCMData(long handle, ByteBuffer pcmdata, int size, int sample_rate, int channel, int per_channel_sample_number);/*** 传递PCM音频数据给SDK, 每10ms音频数据传入一次**  @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.*  @param offset: pcmdata的偏移*  @param size: pcm数据大小*  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100*  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)*  @param per_channel_sample_number: 这个请传入的是 sample_rate/100*/public native int SmartPublisherOnPCMDataV2(long handle, ByteBuffer pcmdata, int offset, int size, int sample_rate, int channel, int per_channel_sample_number);/*** 传递PCM音频数据给SDK, 每10ms音频数据传入一次**  @param pcm_short_array: pcm数据, short是native endian order*  @param offset: 数组偏移*  @param len: 数组项数*  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100*  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)*  @param per_channel_sample_number: 这个请传入的是 sample_rate/100*/public native int SmartPublisherOnPCMShortArray(long handle, short[] pcm_short_array, int offset, int len, int sample_rate, int channel, int per_channel_sample_number);

11. 设置传远端数据，主要用于一对一环境下，拉流端拉到的audio，回调上来，通过推送端这个接口设置下去，完成整体的回音消除

	/*** Set far end pcm data* * @param pcmdata : 16bit pcm data* @param sampleRate: audio sample rate* @param channel: auido channel* @param per_channel_sample_number: per channel sample numbers* @param is_low_latency: if with 0, it is not low_latency, if with 1, it is low_latency* @return {0} if successful*/public native int SmartPublisherOnFarEndPCMData(long handle,  ByteBuffer pcmdata, int sampleRate, int channel, int per_channel_sample_number, int is_low_latency);

12. PCM混音音频数据接口，注意，每10ms音频数据传入一次

	/*** 传递PCM混音音频数据给SDK, 每10ms音频数据传入一次**  @param stream_index: 当前只能传1, 传其他返回错误*  @param pcm_data: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.*  @param offset: pcmdata的偏移*  @param size: pcm数据大小*  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}*  @param channels: 通道, 当前通道支持单通道(1)和双通道(2)*  @param per_channel_sample_number: 这个请传入的是 sample_rate/100*/public native int SmartPublisherOnMixPCMData(long handle, int stream_index, ByteBuffer pcm_data, int offset, int size, int sample_rate, int channels, int per_channel_sample_number);/*** 传递PCM混音音频数据给SDK, 每10ms音频数据传入一次**  @param stream_index: 当前只能传1, 传其他返回错误*  @param pcm_short_array: pcm数据, short是native endian order*  @param offset: 数组偏移*  @param len: 数组项数*  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}*  @param channels: 通道, 当前通道支持单通道(1)和双通道(2)*  @param per_channel_sample_number: 这个请传入的是 sample_rate/100*/public native int SmartPublisherOnMixPCMShortArray(long handle, int stream_index, short[] pcm_short_array, int offset, int len, int sample_rate, int channels, int per_channel_sample_number);

13. 用于编码后audio数据对接，主要是转发模块使用

	/*** 设置音频数据(AAC/PCMA/PCMU/SPEEX)** @param codec_id:**  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,*	NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,*	NT_MEDIA_CODEC_ID_PCMU,*	NT_MEDIA_CODEC_ID_AAC,*	NT_MEDIA_CODEC_ID_SPEEX,*	NT_MEDIA_CODEC_ID_SPEEX_NB,*	NT_MEDIA_CODEC_ID_SPEEX_WB,*	NT_MEDIA_CODEC_ID_SPEEX_UWB,** @param data audio数据** @param size data length** @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略** @param timestamp video timestamp** @param parameter_info 用于AAC special config信息填充** @param parameter_info_size parameter info size** @return {0} if successful*/public native int SmartPublisherPostAudioEncodedData(long handle, int codec_id, ByteBuffer data, int size, int is_key_frame, long timestamp,ByteBuffer parameter_info, int parameter_info_size);/*** 设置音频数据(AAC/PCMA/PCMU/SPEEX)** @param codec_id:**  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,*	NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,*	NT_MEDIA_CODEC_ID_PCMU,*	NT_MEDIA_CODEC_ID_AAC,*	NT_MEDIA_CODEC_ID_SPEEX,*	NT_MEDIA_CODEC_ID_SPEEX_NB,*	NT_MEDIA_CODEC_ID_SPEEX_WB,*	NT_MEDIA_CODEC_ID_SPEEX_UWB,** @param data audio数据** @param offset data的偏移** @param size data length** @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略** @param timestamp video timestamp** @param parameter_info 用于AAC special config信息填充** @param parameter_info_size parameter info size** @return {0} if successful*/public native int SmartPublisherPostAudioEncodedDataV2(long handle, int codec_id,ByteBuffer data, int offset, int size,int is_key_frame, long timestamp,byte[] parameter_info, int parameter_info_size);/*** 设置音频数据(AAC/PCMA/PCMU/SPEEX)** @param codec_id:**  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,*	NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,*	NT_MEDIA_CODEC_ID_PCMU,*	NT_MEDIA_CODEC_ID_AAC,*	NT_MEDIA_CODEC_ID_SPEEX,*	NT_MEDIA_CODEC_ID_SPEEX_NB,*	NT_MEDIA_CODEC_ID_SPEEX_WB,*	NT_MEDIA_CODEC_ID_SPEEX_UWB,** @param data audio数据** @param offset data的偏移** @param size data length** @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略** @param timestamp video timestamp** @param parameter_info 用于AAC special config信息填充** @param parameter_info_size parameter info size** @param sample_rate 采样率,如果需要录像的话必须传正确的值**@param channels 通道数, 如果需要录像的话必须传正确的值, 一般是1或者2** @return {0} if successful*/public native int SmartPublisherPostAudioEncodedDataV3(long handle, int codec_id,ByteBuffer data, int offset, int size,int is_key_frame, long timestamp,byte[] parameter_info, int parameter_info_size,int sample_rate, int channels);

14. 用于编码后的音频数据回调，方便对接第三方系统

	/*** Start output Encoded Data(用于编码后的音视频数据回调)** @return {0} if successful*/public native int SmartPublisherStartOutputEncodedData(long handle);/***  Stop output Encoded Data** @return {0} if successful*/public native int SmartPublisherStopOutputEncodedData(long handle);

总结

细数下来，光audio相关的接口也有20个，可见开发个Android平台RTMP直播推送模块多么麻烦，当然因为本文提到的RTMP推送，实际使用的公司或开发者群体比较大，如果只是项目需求，好多是用不到的，可以适当精简，做个小而美的模块，不失是个很好的选择。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/553056.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Win7系统更换软件图标的详细方法

Win7系统更换软件图标的详细方法

Win7系统怎么更换软件图标?相信许多用户会安装很多软件或游戏，并且安装这些软件会在桌面上生成图标，但是一些用户认为某些软件图标不好，因此他们想替换这些图标，但他们不知道怎样做，这里小编就和大家分享Win7系统更换…
阅读更多...
QT实现低延迟的RTSP、RTMP播放器

QT实现低延迟的RTSP、RTMP播放器

好多开发者在QT环境下实现RTMP或RTSP播放时，首先考虑到的是集成VLC，集成后，却发现VLC在延迟、断网重连、稳定性等各个方面不尽人意，无法满足上线环境需求。本文以调用大牛直播SDK（官方）的Windows平台播放端…
阅读更多...
Android对接实现内网无纸化会议|智慧教室|实时同屏功能

Android对接实现内网无纸化会议|智慧教室|实时同屏功能

背景 本文主要讲的是基于Android平台实现RTMP的技术方案设计，基础架构图如下： 组网注意事项 1. 组网：无线组网，需要好的AP模块才能撑得住大的并发流量，推送端到AP，最好是有线网链接； 2. 服务…
阅读更多...
bilibili里的硬币有什么用 硬币的作用详细介绍

bilibili里的硬币有什么用 硬币的作用详细介绍

很多bilibili中的用户发现自己的账户中拥有很多的硬币，却不知道这些硬币有什么用，下面小编就为大家带来硬币的作用介绍。 bilibili里的硬币有什么用 硬币的作用详细介绍 1、视频评分。向喜欢的视频投硬币以示鼓励(一个视频收到的硬币多了就会被推荐) …
阅读更多...
Windows平台RTMP推送|轻量级RTSP服务实现本地摄像头|屏幕|叠加数据预览

Windows平台RTMP推送|轻量级RTSP服务实现本地摄像头|屏幕|叠加数据预览

背景 大家在做Windows平台RTMP推送或轻量级RTSP服务的时候，不管是采集屏幕还是采集摄像头，亦或屏幕摄像头的叠加模式，总会有这样的诉求，采集到的数据，希望能本地看看具体采集的数据或者图像实际效果，也就是…
阅读更多...
Outlook2016怎么修改默认数据库

Outlook2016怎么修改默认数据库

Outlook2016中想要修改默认数据库，该怎么修改呢?下面我们就来看看详细的教程。 Outlook2016怎么修改默认数据库? 1、下载安装outlook软件。 Outlook2016怎么修改默认数据库? 2、双击打开outlook软件。 Outlook2016怎么修改默认数据库? 3、点击“文件”——…
阅读更多...
Windows平台RTMP|RTSP播放器为什么要兼容GDI绘制

Windows平台RTMP|RTSP播放器为什么要兼容GDI绘制

为什么要支持GDI 先说结论，Windows平台播放渲染这块，一般来说99%以上的机器都是支持D3D的，实现GDI模式绘制，除了为了好的兼容性外，在远程连接的场景下，D3D创建不成功，需要使用GDI模式。 简单来…
阅读更多...
Windows平台RTMP|RTSP播放器实现画面全屏功能

Windows平台RTMP|RTSP播放器实现画面全屏功能

我们在Windows平台实现RTSP或者RTMP播放的时候，有个功能是绕不开的，那就是播放窗口全屏。本文就以大牛直播SDK（官方）的Windows播放器为例，大概讲下大概实现： 全屏播放需要考虑的点不多： 第一&…
阅读更多...
tim怎么设置检测到新版本自动安装 tim安全自动更新的开启方法

tim怎么设置检测到新版本自动安装 tim安全自动更新的开启方法

TIM想要开启自动检测新版本并下载安装，该怎么设置呢?下面我们就来看看详细的教程。 1、首先，在你的 电脑中找到TIM; tim怎么设置检测到新版本自动安装?tim安全自动更新的开启方法 2、打开TIM，登录你的个人账号，登陆之后&…
阅读更多...
Android平台实现Unity3D下RTMP推送

Android平台实现Unity3D下RTMP推送

像Unity3D下的RTMP或RTSP播放器一样，好多开发者苦于在Unity环境下，如何高效率低延迟的把数据采集并编码实时推送到流媒体服务器，实现Unity场景下的低延迟推拉流方案。 关于屏幕采集，有两种方案： 1. 直接封装Android原…
阅读更多...
Windows平台实现Unity下窗体|摄像头|屏幕采集推送

Windows平台实现Unity下窗体|摄像头|屏幕采集推送

技术背景 随着Unity3D的应用范围越来越广，越来越多的行业开始基于Unity3D开发产品，如传统行业中虚拟仿真教育、航空工业、室内设计、城市规划、工业仿真等领域。 基于此，好多开发者苦于在Unity环境下，没有低延迟的推拉流解决方案…
阅读更多...
钉钉调岗申请单怎么写 钉钉申请调岗的教程

钉钉调岗申请单怎么写 钉钉申请调岗的教程

钉钉中想要申请调岗申请单，调岗申请单在哪，该怎么填写呢?下面我们就来看看详细的教程。 1、首先打开钉钉客户端，点击下方的工作。 钉钉调岗申请单怎么写? 钉钉申请调岗的教程 2、向下滑动找到并打开调岗申请单应用。 钉钉调岗申请单怎么…
阅读更多...
Android平台RTMP推送端实现外部数据对接推送和录像

Android平台RTMP推送端实现外部数据对接推送和录像

背景 好多开发者在做Android平台RTMP推送对接的同时，除了编码前的数据外，还有些外部编码数据推送诉求，他们希望外部的编码音视频数据不止可以实现RTMP推送，还可以同时在推送端实时录制下来，本文以我们（官方…
阅读更多...
excel怎么删除浏览记录 方法介绍

excel怎么删除浏览记录 方法介绍

Excel 2013工作表删除浏览记录的步骤： 1、鼠标左键双击计算机桌面Excel2013程序图标，将其打开运行。在打开的Excel2013程序窗口，点击“空白工作薄”选项，新建一个空白Excel工作薄。如图所示; excel怎么删除浏览记录？…
阅读更多...
爱奇艺怎么开启数据流量自动播放

爱奇艺怎么开启数据流量自动播放

1、打开手机，点击爱奇艺 爱奇艺怎么开启数据流量自动播放 2、进入爱奇艺，点击我的 爱奇艺怎么开启数据流量自动播放 3、然后在我的界面，点击设置 爱奇艺怎么开启数据流量自动播放 4、进入设置界面，点击播放与下载 爱奇艺怎…
阅读更多...
Win7系统账户被禁用的解决方法

Win7系统账户被禁用的解决方法

我们都知道Win7系统中可以建立多个账户来进行不同的登录使用，十分的方便，但是有的用户建立了多个账户，却发现所有的账号都被禁用，那遇到这个问题应该怎么解决呢，下面就为小伙伴们带来 了Win7系统账户被禁用的解决方法&…
阅读更多...
Win11系统如何隐藏快速搜索

Win11系统如何隐藏快速搜索

近日网络中已经出现了很多Windows 11的泄露版本，意味着Win11版本正式确定，现在只是等待微软正式发布了。Windows系统中菜单栏都会默认放一个快速搜索的图标，快速搜索一直是Windows系统中的一个重要功能，那么在Win11系统中该如何隐…
阅读更多...
网易邮箱广告标签怎么关 163邮箱去广告标签的教程

网易邮箱广告标签怎么关 163邮箱去广告标签的教程

1、打开百度输入网易邮箱 网易邮箱广告标签怎么关? 163邮箱去广告标签的教程 网易邮箱广告标签怎么关? 163邮箱去广告标签的教程 2、输入账号和密码，进入邮箱主页，在标签栏看到广告标签 网易邮箱广告标签怎么关? 163邮箱去广告标签的教程 3、选中…
阅读更多...
Linux|麒麟操作系统实现多路RTMP|RTSP播放

Linux|麒麟操作系统实现多路RTMP|RTSP播放

技术背景 无论是Windows平台还是Linux，多路播放诉求非常普遍，比如针对智慧工地、展馆、教育等宏观场景下的摄像头展示，关于RTSP或RTMP直播播放器开发需要注意的点，可参考之前博客，总的来说有以下一些点： …
阅读更多...
TIM提示“个人文件夹被占用，请稍候再登录”怎么解决

TIM提示“个人文件夹被占用，请稍候再登录”怎么解决

在登录TIM的时候，弹出提示“个人文件夹被占用，请稍后再登录”的提示，无法正常登录TIM TIM提示“个人文件夹被占用，请稍候再登录”怎么解决？ 这个时候，我们可以直接关闭上面的登录窗口，然后过一…
阅读更多...
最新文章

Copyright @ 2022~2023