Android平台RTMP/RTSP播放器开发系列之解码和绘制

本文主要抛砖引玉，粗略介绍下Android平台RTMP/RTSP播放器中解码和绘制相关的部分(Github)。

解码

提到解码，大家都知道软硬解，甚至一些公司觉得硬解码已经足够通用，慢慢抛弃软解了，如果考虑到设备匹配，软硬解码都支持，是个不错的选择，为此，大牛直播SDK在开发这块的时候，分类是这样的：

1. 软解码：解码后获取到原始数据，可进行后续的原始数据回调和快照等操作；

2. 硬解码：解码后获取到原始数据，可进行后续的原始数据回调和快照等操作；

3. 硬解码：设置surface模式，直接render到设置的surface上，不可进行快照和解码后数据回调操作。

大家可能会疑惑，有了模式2，干嘛要再支持模式3呢？模式2和3分别有什么优势呢？

硬解码直接设置surface模式，相对来说，大多芯片支持更好，解码通用性更好，而且减少了数据拷贝，资源占用更低，缺点是无法获得解码后的原始数据，更像个黑盒操作；模式2兼顾了硬解码资源占用（相对软解）和二次操作原始数据能力（如针对解码后的yuv/rgb数据二次处理），解码通用性相对模式3略差，但数据处理更灵活。

相关接口：

	/*** Set Video H.264 HW decoder(设置H.264硬解码)** @param handle: return value from SmartPlayerOpen()** @param isHWDecoder: 0: software decoder; 1: hardware decoder.** @return {0} if successful*/public native int SetSmartPlayerVideoHWDecoder(long handle, int isHWDecoder);/*** Set Video H.265(hevc) HW decoder(设置H.265硬解码)** @param handle: return value from SmartPlayerOpen()** @param isHevcHWDecoder: 0: software decoder; 1: hardware decoder.** @return {0} if successful*/public native int SetSmartPlayerVideoHevcHWDecoder(long handle, int isHevcHWDecoder);/*** Set Surface view(设置播放的surfaceview).** @param handle: return value from SmartPlayerOpen()** @param surface: surface view** <pre> NOTE: if not set or set surface with null, it will playback audio only. </pre> ** @return {0} if successful*/public native int SmartPlayerSetSurface(long handle, Object surface);

考虑到不是所有设备都支持硬解，大牛直播SDK的设计思路是先做硬解检测，检测到不支持，直接切换到软解模式。

绘制

大牛直播SDK的RTMP和RTSP播放器绘制这块，支持两种模式，普通的SurfaceView和GLSurface，普通的surface兼容性更好，GLSurface绘制相对来说更细腻，此外，普通的surface模式下，还支持了一些抗锯齿参数设置。两种模式下，都设计了视频画面的填充模式设置选项（是否等比例显示），具体接口设计如下：

	/*** 设置视频画面的填充模式，如填充整个view、等比例填充view，如不设置，默认填充整个view* @param handle: return value from SmartPlayerOpen()* @param render_scale_mode 0: 填充整个view; 1: 等比例填充view, 默认值是0* @return {0} if successful*/public native int SmartPlayerSetRenderScaleMode(long handle, int render_scale_mode);/*** 设置SurfaceView模式下(NTRenderer.CreateRenderer第二个参数传false的情况)，render类型** @param handle: return value from SmartPlayerOpen()** @param format: 0: RGB565格式，如不设置，默认此模式; 1: ARGB8888格式** @return {0} if successful*/public native int SmartPlayerSetSurfaceRenderFormat(long handle, int format);/*** 设置SurfaceView模式下(NTRenderer.CreateRenderer第二个参数传false的情况)，抗锯齿效果，注意：抗锯齿模式开启后，可能会影像性能，请慎用** @param handle: return value from SmartPlayerOpen()** @param isEnableAntiAlias: 0: 如不设置，默认不开启抗锯齿模式; 1: 开启抗锯齿模式** @return {0} if successful*/public native int SmartPlayerSetSurfaceAntiAlias(long handle, int isEnableAntiAlias);

音频输出这块，可以考虑audiotrack和opensl es，考虑到通用性，可以选择audiotrack模式，当然最好是设置个选项，用户自行选择：

	/*** Set AudioOutput Type(设置audio输出类型)** @param handle: return value from SmartPlayerOpen()** @param use_audiotrack:** <pre> NOTE: if use_audiotrack with 0: it will use auto-select output devices; if with 1: will use audio-track mode. </pre>** @return {0} if successful*/public native int SmartPlayerSetAudioOutputType(long handle, int use_audiotrack);

视频view反转/旋转

	/*** 设置视频垂直反转** @param handle: return value from SmartPlayerOpen()** @param is_flip： 0: 不反转, 1: 反转** @return {0} if successful*/public native int SmartPlayerSetFlipVertical(long handle, int is_flip);/*** 设置视频水平反转** @param handle: return value from SmartPlayerOpen()** @param is_flip： 0: 不反转, 1: 反转** @return {0} if successful*/public native int SmartPlayerSetFlipHorizontal(long handle, int is_flip);/*** 设置顺时针旋转, 注意除了0度之外， 其他角度都会额外消耗性能** @param handle: return value from SmartPlayerOpen()** @param degress： 当前支持 0度，90度, 180度, 270度 旋转** @return {0} if successful*/public native int SmartPlayerSetRotation(long handle, int degress);

解码后原始数据回调

在有些场景下，开发者需要针对解码后的YUV/RGB或者PCM数据进行处理，这个时候，需要设计针对解码后数据回调的接口模型：

	/*** Set External Render(设置回调YUV/RGB数据)** @param handle: return value from SmartPlayerOpen()** @param external_render: External Render** @return {0} if successful*/public native int SmartPlayerSetExternalRender(long handle, Object external_render);/*** Set External Audio Output(设置回调PCM数据)** @param handle: return value from SmartPlayerOpen()** @param external_audio_output:  External Audio Output** @return {0} if successful*/public native int SmartPlayerSetExternalAudioOutput(long handle, Object external_audio_output);

具体调用实例：

//libPlayer.SmartPlayerSetExternalRender(playerHandle, new RGBAExternalRender());
//libPlayer.SmartPlayerSetExternalRender(playerHandle, new I420ExternalRender());

拿到原始数据，进行二次操作（如人脸识别等）：

    class RGBAExternalRender implements NTExternalRender {// public static final int NT_FRAME_FORMAT_RGBA = 1;// public static final int NT_FRAME_FORMAT_ABGR = 2;// public static final int NT_FRAME_FORMAT_I420 = 3;private int width_ = 0;private int height_ = 0;private int row_bytes_ = 0;private ByteBuffer rgba_buffer_ = null;@Overridepublic int getNTFrameFormat() {Log.i(TAG, "RGBAExternalRender::getNTFrameFormat return "+ NT_FRAME_FORMAT_RGBA);return NT_FRAME_FORMAT_RGBA;}@Overridepublic void onNTFrameSizeChanged(int width, int height) {width_ = width;height_ = height;row_bytes_ = width_ * 4;Log.i(TAG, "RGBAExternalRender::onNTFrameSizeChanged width_:"+ width_ + " height_:" + height_);rgba_buffer_ = ByteBuffer.allocateDirect(row_bytes_ * height_);}@Overridepublic ByteBuffer getNTPlaneByteBuffer(int index) {if (index == 0) {return rgba_buffer_;} else {Log.e(TAG,"RGBAExternalRender::getNTPlaneByteBuffer index error:"+ index);return null;}}@Overridepublic int getNTPlanePerRowBytes(int index) {if (index == 0) {return row_bytes_;} else {Log.e(TAG,"RGBAExternalRender::getNTPlanePerRowBytes index error:"+ index);return 0;}}public void onNTRenderFrame(int width, int height, long timestamp) {if (rgba_buffer_ == null)return;rgba_buffer_.rewind();// copy buffer// test// byte[] test_buffer = new byte[16];// rgba_buffer_.get(test_buffer);Log.i(TAG, "RGBAExternalRender:onNTRenderFrame w=" + width + " h="+ height + " timestamp=" + timestamp);// Log.i(TAG, "RGBAExternalRender:onNTRenderFrame rgba:" +// bytesToHexString(test_buffer));}}class I420ExternalRender implements NTExternalRender {// public static final int NT_FRAME_FORMAT_RGBA = 1;// public static final int NT_FRAME_FORMAT_ABGR = 2;// public static final int NT_FRAME_FORMAT_I420 = 3;private int width_ = 0;private int height_ = 0;private int y_row_bytes_ = 0;private int u_row_bytes_ = 0;private int v_row_bytes_ = 0;private ByteBuffer y_buffer_ = null;private ByteBuffer u_buffer_ = null;private ByteBuffer v_buffer_ = null;@Overridepublic int getNTFrameFormat() {Log.i(TAG, "I420ExternalRender::getNTFrameFormat return "+ NT_FRAME_FORMAT_I420);return NT_FRAME_FORMAT_I420;}@Overridepublic void onNTFrameSizeChanged(int width, int height) {width_ = width;height_ = height;y_row_bytes_ = (width_ + 15) & (~15);u_row_bytes_ = ((width_ + 1) / 2 + 15) & (~15);v_row_bytes_ = ((width_ + 1) / 2 + 15) & (~15);y_buffer_ = ByteBuffer.allocateDirect(y_row_bytes_ * height_);u_buffer_ = ByteBuffer.allocateDirect(u_row_bytes_* ((height_ + 1) / 2));v_buffer_ = ByteBuffer.allocateDirect(v_row_bytes_* ((height_ + 1) / 2));Log.i(TAG, "I420ExternalRender::onNTFrameSizeChanged width_="+ width_ + " height_=" + height_ + " y_row_bytes_="+ y_row_bytes_ + " u_row_bytes_=" + u_row_bytes_+ " v_row_bytes_=" + v_row_bytes_);}@Overridepublic ByteBuffer getNTPlaneByteBuffer(int index) {if (index == 0) {return y_buffer_;} else if (index == 1) {return u_buffer_;} else if (index == 2) {return v_buffer_;} else {Log.e(TAG, "I420ExternalRender::getNTPlaneByteBuffer index error:" + index);return null;}}@Overridepublic int getNTPlanePerRowBytes(int index) {if (index == 0) {return y_row_bytes_;} else if (index == 1) {return u_row_bytes_;} else if (index == 2) {return v_row_bytes_;} else {Log.e(TAG, "I420ExternalRender::getNTPlanePerRowBytes index error:" + index);return 0;}}public void onNTRenderFrame(int width, int height, long timestamp) {if (y_buffer_ == null)return;if (u_buffer_ == null)return;if (v_buffer_ == null)return;y_buffer_.rewind();u_buffer_.rewind();v_buffer_.rewind();/*if ( !is_saved_image ){is_saved_image = true;int y_len = y_row_bytes_*height_;int u_len = u_row_bytes_*((height_+1)/2);int v_len = v_row_bytes_*((height_+1)/2);int data_len = y_len + (y_row_bytes_*((height_+1)/2));byte[] nv21_data = new byte[data_len];byte[] u_data = new byte[u_len];byte[] v_data = new byte[v_len];y_buffer_.get(nv21_data, 0, y_len);u_buffer_.get(u_data, 0, u_len);v_buffer_.get(v_data, 0, v_len);int[] strides = new int[2];strides[0] = y_row_bytes_;strides[1] = y_row_bytes_;int loop_row_c = ((height_+1)/2);int loop_c = ((width_+1)/2);int dst_row = y_len;int src_v_row = 0;int src_u_row = 0;for ( int i = 0; i < loop_row_c; ++i){int dst_pos = dst_row;for ( int j = 0; j <loop_c; ++j ){nv21_data[dst_pos++] = v_data[src_v_row + j];nv21_data[dst_pos++] = u_data[src_u_row + j];}dst_row   += y_row_bytes_;src_v_row += v_row_bytes_;src_u_row += u_row_bytes_;}String imagePath = "/sdcard" + "/" + "testonv21" + ".jpeg";Log.e(TAG, "I420ExternalRender::begin test save iamge++ image_path:" + imagePath);try{File file = new File(imagePath);FileOutputStream image_os = new FileOutputStream(file);YuvImage image = new YuvImage(nv21_data, ImageFormat.NV21, width_, height_, strides);image.compressToJpeg(new android.graphics.Rect(0, 0, width_, height_), 50, image_os);image_os.flush();image_os.close();}catch(IOException e){e.printStackTrace();}Log.e(TAG, "I420ExternalRender::begin test save iamge--");}*/Log.i(TAG, "I420ExternalRender::onNTRenderFrame w=" + width + " h=" + height + " timestamp=" + timestamp);// copy buffer// test// byte[] test_buffer = new byte[16];// y_buffer_.get(test_buffer);// Log.i(TAG, "I420ExternalRender::onNTRenderFrame y data:" + bytesToHexString(test_buffer));// u_buffer_.get(test_buffer);// Log.i(TAG, "I420ExternalRender::onNTRenderFrame u data:" + bytesToHexString(test_buffer));// v_buffer_.get(test_buffer);// Log.i(TAG, "I420ExternalRender::onNTRenderFrame v data:" + bytesToHexString(test_buffer));}}

总结

以上就是Android平台开发RTMP/RTSP播放器时，针对解码和绘制部分的一点考量，算是抛砖引玉，感兴趣的开发者可酌情参考。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/553108.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Win7图片查看器打印不了图片怎么办

Win7图片查看器打印不了图片怎么办

当我们想浏览电脑中的图片文件时&#xff0c;可以选择系统自带的图片查看器或者第三方看图工具打开&#xff0c;但是有些win7用户发现自己想通过windows图片查看器打印图片却没有反应&#xff0c;Win7图片查看器打印不了图片怎么办?就此剖&#xff0c;下面小编就来教教大家解决…
阅读更多...
Android平台屏幕/摄像头或外部数据采集及RTMP推送接口设计描述

Android平台屏幕/摄像头或外部数据采集及RTMP推送接口设计描述

好多开发者提到&#xff0c;为什么大牛直播SDK的Android平台RTMP推送接口怎么这么多&#xff1f;不像一些开源或者商业RTMP推送一样&#xff0c;就几个接口&#xff0c;简单明了。 不解释&#xff0c;以Android平台RTMP推送模块常用接口&#xff0c;看看这些接口有没有存在的意…
阅读更多...
钉钉怎么设置考勤打卡规则

钉钉怎么设置考勤打卡规则

1、首先在电脑上登陆钉钉后台&#xff0c;然后点击如图所示的钉钉考勤打卡 钉钉后怎么设置考勤打卡规则? 2、比如一个公司生产型企业 互联网部门上班时间是 周一到周五上班时间 8:30-5:30 周六上班 8:30-12:00 以此作为案例说明 钉钉后怎么设置考勤打卡规则? 3、首先设…
阅读更多...
变废为宝：使用废旧手机实现实时监控方案

变废为宝：使用废旧手机实现实时监控方案

随着手机淘汰的速度越来越快&#xff0c;大多数手机功能性能很强劲就不再使用了&#xff0c;以大牛直播SDK现有方案为例&#xff0c;本文探讨下&#xff0c;如何用废旧手机实现实时监控方案&#xff08;把手机当摄像头做监控之用&#xff09;&#xff1a; 本方案需要准备一个手…
阅读更多...
企业微信登录不了怎么办 企业微信无法登录的原因及解决方法

企业微信登录不了怎么办 企业微信无法登录的原因及解决方法

企业微信无法登陆怎么办?企业微信为什么登陆不了?应该怎么解决?企业微信一个很好用的基础办公沟通工具&#xff0c;现在很多朋友都在使用。那么&#xff0c;如果遇到企业微信登不上的情况应该怎么办呢?接下来小编就给大家带来企业微信无法登录的原因及解决方法&#xff0c;…
阅读更多...
RTSP鉴权认证之基础认证和摘要认证

RTSP鉴权认证之基础认证和摘要认证

RTSP认证类型 基本认证&#xff08;basic authentication&#xff09;&#xff1a;http 1.0提出的认证方案&#xff0c;其消息传输不经过加密转换因此存在严重的安全隐患&#xff1b;摘要认证&#xff08;digest authentication&#xff09;&#xff1a;http 1.1提出的基本认证…
阅读更多...
播放器之争：VLC VS SmartPlayer

播放器之争：VLC VS SmartPlayer

好多开发者跟我们交流的时候提到&#xff0c;为什么有了VLC这种开源播放器&#xff0c;大牛直播SDK还要开发SmartPlayer&#xff1f;以下就针对VLC和SmartPlayer功能支持和涉及侧重&#xff0c;做个大概的比较&#xff1a; VLC VLC的全名是Video Lan Client&#xff0c;是一个…
阅读更多...
网易邮箱大师如何屏蔽邮件 屏蔽垃圾邮件的方法步骤

网易邮箱大师如何屏蔽邮件 屏蔽垃圾邮件的方法步骤

网易邮箱大师是我们日常使用邮箱的好帮手&#xff0c;但是如果频频收到垃圾邮件而不知道怎么屏蔽&#xff0c;相信大家一定会非常烦恼&#xff0c;这就是今天这篇文章主要讲的内容&#xff0c;那么一起跟着小编往下面看看吧。 操作步骤如下&#xff1a; 1、打开网易邮箱大师&…
阅读更多...
Windows平台摄像头或屏幕RTMP推送：OBS VS SmartPublisher

Windows平台摄像头或屏幕RTMP推送：OBS VS SmartPublisher

好多开发者问道&#xff0c;既然有了OBS&#xff0c;你们为什么还要开发SmartPublisher&#xff1f; 的确&#xff0c;在我们进行Windows平台RTMP推送模块开发之前&#xff0c;市面上为数不多的Windows平台RTMP推流工具当属OBS了&#xff0c;不得不说&#xff0c;OBS是一款很好…
阅读更多...
微信公众号怎么快速导出一个月的文章数据

微信公众号怎么快速导出一个月的文章数据

运营微信公众号肯定要分析文章数据&#xff0c;该怎么一次性导出历史文章数据呢?下面我们就来看看详细的教程。 1、在电脑上登录你的微信公众号&#xff0c;看到这样的页面&#xff0c;然后一直往下拉 微信公众号怎么快速导出一个月的文章数据? 2、在左侧导航栏的统计里面…
阅读更多...
轻量级RTSP服务和内置RTSP网关的区别和联系

轻量级RTSP服务和内置RTSP网关的区别和联系

好多开发者疑惑&#xff0c;什么是内置RTSP网关&#xff0c;和轻量级RTSP服务又有什么区别和联系&#xff1f;本文就以上问题&#xff0c;做个简单的介绍&#xff1a; 轻量级RTSP服务 为满足内网无纸化/电子教室等内网超低延迟需求&#xff0c;避免让用户配置单独的服务器&am…
阅读更多...
RTMP/RTSP推送端和RTMP/RTSP播放端录像设计探讨

RTMP/RTSP推送端和RTMP/RTSP播放端录像设计探讨

好多开发者认为&#xff0c;无论是RTSP/RTMP推送端还是RTSP/RTMP播放端&#xff0c;涉及到录像&#xff0c;只要2个接口足矣&#xff1a;开始录像、停止录像。 实际场景下&#xff0c;一个好的录像模块&#xff0c;2个接口远远不够&#xff0c; 本文以大牛直播SDK&#xff08;…
阅读更多...
Win7提示文件太大无法放入回收站怎么办

Win7提示文件太大无法放入回收站怎么办

我们经常会将没有的文件拖到回收站去&#xff0c;但是有时候会遇到文件拖进回收站时&#xff0c;系统提示该文件太大无法放进回收站&#xff0c;那么Win7提示文件太大无法放入回收站怎么办呢?今天小编就跟大家分享Win7系统提示文件太大无法放入回收站的解决方法。 Win7提示文…
阅读更多...
内网无纸化会议/智慧教室实时同屏RTSP组播技术方案思考

内网无纸化会议/智慧教室实时同屏RTSP组播技术方案思考

内网环境下&#xff0c;为了满足内网无纸化/电子教室等内网超低延迟需求&#xff0c;避免让用户配置单独的服务器&#xff0c;好多开发者希望有RTSP的技术方案&#xff0c;用于小并发场景&#xff0c;特别是在组网环境好的有线环境下&#xff0c;使用RTSP服务配合组播&#xff…
阅读更多...
Windows平台真实时毫秒级4K H264/H265直播技术方案探讨

Windows平台真实时毫秒级4K H264/H265直播技术方案探讨

背景 在刚提出4K视频的时候&#xff0c;大多数人都觉得没有必要&#xff0c;4K的出现&#xff0c;意味着更高的硬件规格和传输要求&#xff0c;1080P看的很爽、很清晰&#xff0c;完全满足了日常的需求。随着电视的尺寸越来越大&#xff0c;原本1080P成像已经无法满足人们对于…
阅读更多...
Win11怎么设置电脑开机密码和锁屏密码

Win11怎么设置电脑开机密码和锁屏密码

相信很多用户都已经用上了微软公司为大家提供的全新Win11系统了&#xff0c;Win11与Win10系统有很大区别&#xff0c;不仅仅体现在界面设计和UI上面&#xff0c;狠多以前Win10用户固定的功能有些取消了&#xff0c;有些挪位置了&#xff0c;这让用惯了Win10系统的用户非常不习惯…
阅读更多...
如何在Android实现录屏直播

如何在Android实现录屏直播

许多开发者在做智慧教室同屏亦或会议同屏时&#xff0c;基于Andriod平台采集屏幕并编码推送&#xff0c;往往遇到各种各样的问题&#xff0c;以下就我们开发过程中的一些技术考量做个分享&#xff0c;权当抛砖引玉&#xff1a; 协议选择、数据来源和处理 1. 内网环境下&#…
阅读更多...
Win11关机后自动开机怎么办 Win11关机后自动开机的解决方法

Win11关机后自动开机怎么办 Win11关机后自动开机的解决方法

相信有不少小伙伴已经下载了Win11操作系统进行体验了&#xff0c;但有一些小伙伴碰到了关机之后电脑突然又自动开机的情况&#xff0c;那么碰到这个问题应该怎么办呢?下面就和小编一起来看看有什么解决方法吧。 Win11关机后自动开机的解决方法 1、我们可以先在搜索框中搜索并…
阅读更多...
Windows平台RTMP/RTSP播放器如何实现实时音量调节

Windows平台RTMP/RTSP播放器如何实现实时音量调节

为什么要做实时音量调节 RTMP或RTSP直播播放音量调节&#xff0c;主要用于多实例&#xff08;多窗口&#xff09;播放场景下&#xff0c;比如同时播放4路RTMP或RTSP流&#xff0c;如果音频全部打开&#xff0c;几路audio同时打开&#xff0c;可能会影响用户体验&#xff0c;我…
阅读更多...
TIM待办事项怎么删除 TIM删除待办事项的教程

TIM待办事项怎么删除 TIM删除待办事项的教程

TIM新建的待办事项没用的话或者搞错了&#xff0c;可以直接删掉。该怎么删除tim中的待办事项呢?下面我们就来看看详细的教程。 1、打开电脑上的个人头像。 TIM待办事项怎么删除? TIM删除待办事项的教程 2、点击待办&#xff0c;查看新建的待办事项。 TIM待办事项怎么删除…
阅读更多...
最新文章

Copyright @ 2022~2023