Android平台RTMP推送模块如何对接NV21、YV12、RGB、YUV等编码前数据

前言

我们在对接Android平台摄像头或者屏幕采集、编码打包推送场景的时候，随着采集设备的不同，出来的数据也是多样化的，比如NV21、YV12、RGB、YUV等，更有图像数据甚至是翻转或者倒置的，如果上层处理，效率低下，本篇文章主要介绍下常用的编码前数据接口。相关资料或版本测试，也可联系大牛直播SDK（官方）

接口描述

1. Android设备前后摄像头数据：

Android自带的camera摄像头数据对接是最基础的，需要考虑的是摄像头方向问题，比如横屏、竖屏、还有部分定制设备home键在左侧的情况，相对来说处理比较简单，直接上接口，不再赘述。

    @Overridepublic void onPreviewFrame(byte[] data, Camera camera) {frameCount++;if (frameCount % 3000 == 0) {Log.i("OnPre", "gc+");System.gc();Log.i("OnPre", "gc-");}if (data == null) {Parameters params = camera.getParameters();Size size = params.getPreviewSize();int bufferSize = (((size.width | 0x1f) + 1) * size.height * ImageFormat.getBitsPerPixel(params.getPreviewFormat())) / 8;camera.addCallbackBuffer(new byte[bufferSize]);} else {if (isRTSPPublisherRunning || isPushingRtmp || isRecording || isPushingRtsp) {libPublisher.SmartPublisherOnCaptureVideoData(publisherHandle, data, data.length, currentCameraType, currentOrigentation);}camera.addCallbackBuffer(data);}}

 对应接口定义：

/*** Set live video data(no encoded data).** @param cameraType: CAMERA_FACING_BACK with 0, CAMERA_FACING_FRONT with 1* * @param curOrg:* PORTRAIT = 1;    //竖屏* LANDSCAPE = 2;    //横屏 home键在右边的情况* LANDSCAPE_LEFT_HOME_KEY = 3; //横屏 home键在左边的情况** @return {0} if successful*/public native int SmartPublisherOnCaptureVideoData(long handle, byte[] data, int len, int cameraType, int curOrg);

这里有个问题，有的设备，出来的数据，可能是旋转或者倒置的，为此，我们提供了NV21的对接接口，以满足数据旋转、水平、垂直翻转诉求。注意：y_stride一般系video_width, uv_strde合到一起也是传video_width.

	/*** NV21数据接口** @param data: nv21 data** @param len: data length** @param width: 图像宽** @param height: 图像高** @param y_stride:  y面步长** @param uv_stride:  uv面步长** rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270** @return {0} if successful*/public native int SmartPublisherOnNV21Data(long handle, byte[] data, int len, int width, int height, int y_stride,  int uv_stride, int rotation_degree);/*** NV21数据接口** @param data: nv21 data** @param len: data length** @param width: 图像宽** @param height: 图像高** @param y_stride:  y面步长** @param uv_stride:  uv面步长** rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270** @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转** @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转** @return {0} if successful*/public native int SmartPublisherOnNV21DataV2(long handle, byte[] data, int len, int width, int height, int y_stride,  int uv_stride, int rotation_degree,int is_vertical_flip, int is_horizontal_flip);

2. YV12的数据接口：

YV12的数据接口，主要是用于第三方的设备对接居多，这个接口的u_stride, v_stride分别是(width+1)/2，如果出来的数据需要旋转，通过rotation_degree来控制旋转角度即可。

    /*** YV12数据接口** @param data: YV12 data** @param width: 图像宽** @param height: 图像高** @param y_stride:  y面步长** @param v_stride: v面步长** @param u_stride: u面步长** rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270** @return {0} if successful*/public native int SmartPublisherOnYV12Data(long handle, byte[] data, int width, int height, int y_stride,  int v_stride, int u_stride, int rotation_degree);

3. YUV数据接口：

支持标准的I420数据接口对接，不再赘述：

    /*** Set live video data(no encoded data).** @param data: I420 data* * @param len: I420 data length* * @param yStride: y stride* * @param uStride: u stride* * @param vStride: v stride** @return {0} if successful*/public native int SmartPublisherOnCaptureVideoI420Data(long handle,  byte[] data, int len, int yStride, int uStride, int vStride);

为了方便对接，我们提供了I420的扩展接口：

	/*** 传I420图像接口** @param data: I420 data** @param width: 图像宽** @param height: 图像高** @param y_stride: y stride** @param u_stride: u stride** @param v_stride: v stride** @return {0} if successful*/public native int SmartPublisherOnCaptureVideoI420DataV2(long handle, byte[] data, int width, int height, int y_stride, int u_stride, int v_stride);

4. NV21转I420并旋转接口

这个接口也是主要用于特定的数据类型对接，NV21的数据，直接转I420后，对接即可，接口参数比较简单，不再赘述。

	/*** NV21转换到I420并旋转** @param src: nv21 data** @param dst: 输出I420 data** @param width: 图像宽** @param height: 图像高** rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270** @return {0} if successful*/public native int SmartPublisherNV21ToI420Rotate(long handle, byte[] src, int src_y_stride, int src_uv_stride, byte[] dst,int dst_y_stride, int dst_u_stride, int dst_v_stride,int width, int height,int rotation_degree);


5. 支持RGBA数据接入（支持裁剪后数据接入，主要用于同屏场景）：

RGBA的主要用于屏幕共享场景下。

    /*** Set live video data(no encoded data).** @param data: RGBA data* * @param rowStride: stride information* * @param width: width* * @param height: height** @return {0} if successful*/public native int SmartPublisherOnCaptureVideoRGBAData(long handle,  ByteBuffer data, int rowStride, int width, int height);/*** 投递裁剪过的RGBA数据** @param data: RGBA data** @param rowStride: stride information** @param width: width** @param height: height** @param clipedLeft: 左;  clipedTop: 上; clipedwidth: 裁剪后的宽; clipedHeight: 裁剪后的高; 确保传下去裁剪后的宽、高均为偶数** @return {0} if successful*/public native int SmartPublisherOnCaptureVideoClipedRGBAData(long handle,  ByteBuffer data, int rowStride, int width, int height, int clipedLeft, int clipedTop, int clipedWidth, int clipedHeight);/*** Set live video data(no encoded data).** @param data: ABGR flip vertical(垂直翻转) data** @param rowStride: stride information** @param width: width** @param height: height** @return {0} if successful*/public native int SmartPublisherOnCaptureVideoABGRFlipVerticalData(long handle,  ByteBuffer data, int rowStride, int width, int height);

6. 支持RGB565数据接入（主要用于同屏场景）：

RGB565数据类型也主要用于屏幕采集这块。

    /*** Set live video data(no encoded data).** @param data: RGB565 data** @param row_stride: stride information** @param width: width** @param height: height** @return {0} if successful*/public native int SmartPublisherOnCaptureVideoRGB565Data(long handle,ByteBuffer data, int row_stride, int width, int height);

7. 支持camera数据接入（主要用于camera2接口对接）：
    为了更高效率的兼容camera2数据采集模式。

/**  专门为android.media.Image的android.graphics.ImageFormat.YUV_420_888格式提供的接口** @param  width: 必须是8的倍数** @param  height: 必须是8的倍数** @param  crop_left: 剪切左上角水平坐标, 一般根据android.media.Image.getCropRect() 填充** @param  crop_top: 剪切左上角垂直坐标, 一般根据android.media.Image.getCropRect() 填充** @param  crop_width: 必须是8的倍数, 填0将忽略这个参数, 一般根据android.media.Image.getCropRect() 填充** @param  crop_height: 必须是8的倍数, 填0将忽略这个参数，一般根据android.media.Image.getCropRect() 填充** @param y_plane 对应android.media.Image.Plane[0].getBuffer()** @param y_row_stride 对应android.media.Image.Plane[0].getRowStride()** @param u_plane 对应android.media.Image.Plane[1].getBuffer()** @param v_plane 对应android.media.Image.Plane[2].getBuffer()** @param uv_row_stride 对应android.media.Image.Plane[1].getRowStride()** @param uv_pixel_stride 对应android.media.Image.Plane[1].getPixelStride()** @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270** @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转** @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转** @param  scale_width: 缩放宽，必须是8的倍数, 0不缩放** @param  scale_height: 缩放高, 必须是8的倍数, 0不缩放** @param  scale_filter_mode: 缩放质量, 范围必须是[1,3], 传0使用默认速度** @return {0} if successful*/public native int SmartPublisherOnImageYUV420888(long handle, int width, int height,int crop_left, int crop_top, int crop_width, int crop_height,ByteBuffer y_plane, int y_row_stride,ByteBuffer u_plane, ByteBuffer v_plane, int uv_row_stride, int uv_pixel_stride,int rotation_degree, int is_vertical_flip, int is_horizontal_flip,int scale_width, int scale_height, int scale_filter_mode);

8. RGB24和RGBA32接口

	/*** Set live video data(no encoded data).** @param buffer: RGB24 data** @param length: data length** @param rowStride: stride information** @param width: width** @param height: height** @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转** @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转** @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270** @param  scale_width: 缩放宽，必须是8的倍数, 0不缩放** @param  scale_height: 缩放高, 必须是8的倍数, 0不缩放** @param  scale_filter_mode: 缩放质量, 范围必须是[1,3], 传0使用默认质量** @return {0} if successful*/public native int SmartPublisherOnCaptureVideoRGB24Data(long handle, long buffer, int length, int rowStride, int width, int height,int is_vertical_flip, int is_horizontal_flip,int rotation_degree,int scale_width, int scale_height, int scale_filter_mode);/*** Set live video data(no encoded data).** @param buffer: RGBA data** @param length: data length** @param rowStride: stride information** @param width: width** @param height: height** @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转** @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转** @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270** @param  scale_width: 缩放宽，必须是8的倍数, 0不缩放** @param  scale_height: 缩放高, 必须是8的倍数, 0不缩放** @param  scale_filter_mode: 缩放质量, 范围必须是[1,3], 传0使用默认质量** @return {0} if successful*/public native int SmartPublisherOnCaptureVideoRGBA32Data(long handle, long buffer, int length, int rowStride, int width, int height,int is_vertical_flip, int is_horizontal_flip,int rotation_degree,int scale_width, int scale_height, int scale_filter_mode);

总结：

以上仅是Android视频编码前的数据接口分享，感兴趣的开发者可酌情参考。

由此可见，部分公司或开发者提到，一个Android平台的RTMP推送模块只要几个接口，化繁为简几乎是不可能的。

一个好的产品的迭代，必然需要付出很大的精力和代价。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/553032.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

庖丁解牛之-Android平台RTSP|RTMP播放器设计

庖丁解牛之-Android平台RTSP|RTMP播放器设计

背景 我们在做Android平台RTSP或者RTMP播放器开发的时候，需要注意的点非常多，以下，以大牛直播SDK(官方)的接口为例，大概介绍下相关接口设计： 接口设计 1. Open() 接口 Open接口的目的，主要是创建实例&a…
阅读更多...
如何在Android端实现轻量级RTSP服务(类似于IPC)

如何在Android端实现轻量级RTSP服务(类似于IPC)

为什么要设计轻量级RTSP服务 首先声明一点，本blog提到的轻量级RTSP服务，类似于网络摄像头（IPC），而非传统意义的接受外部推流的RTSP服务器。 轻量级RTSP服务解决的核心痛点：避免用户单独部署RTSP或者RTMP服…
阅读更多...
Android平台基于RTMP或RTSP的一对一音视频互动技术方案探讨

Android平台基于RTMP或RTSP的一对一音视频互动技术方案探讨

背景 随着智能门禁等物联网产品的普及，越来越多的开发者对音视频互动体验提出了更高的要求。目前市面上大多一对一互动都是基于WebRTC，优点不再赘述，我们这里先说说可能需要面临的问题：WebRTC的服务器部署非常复杂，可…
阅读更多...
微信公众号怎么发送模板消息 微信公众平台模板消息免费发送的技巧

微信公众号怎么发送模板消息 微信公众平台模板消息免费发送的技巧

想要发免费的模板消息，该怎么发布?下面我们就来看看详细的教程。 1、首先我们需要在微信公众号里面开通模板消息功能，没有开通的需要去申请，不然就用不了，如下图所示。 微信公众号怎么发送模板消息?微信公众平台模板消息免费发…
阅读更多...
如何理解面向过程和面向对象？

如何理解面向过程和面向对象？

一句话理解面向对象 有人说：“如果上帝是程序员，他怎么创造世界上的所有动物。”，理解这个问题就理解了面向对像。 面向过程和面向对象区别？ 面向过程的思路：什么事都自己做；分析解决问题所需的步骤&…
阅读更多...
如何实现Android平台GB28181前端设备接入

如何实现Android平台GB28181前端设备接入

技术背景 在实现Android平台GB28181前端设备接入之前，我们几年前就有了非常成熟的RTMP推送、RTSP推送和轻量级RTSP服务等模块，特别是RTMP推送，行业内应用非常广泛，好多开发者可能会问，既然有了以上模块，干…
阅读更多...
foxmail怎么加入黑名单 foxmail导入黑名单邮箱地址的教程

foxmail怎么加入黑名单 foxmail导入黑名单邮箱地址的教程

1、首先，先进入到了foxmail的窗口的界面当中，进行点击菜单中工具，弹出了下拉菜单中，进行选中为“系统工具” foxmail怎么加入黑名单? foxmail导入黑名单邮箱地址的教程 2、进入到了的系统的设置的界面中，进行选中反…
阅读更多...
Android前端音视频数据接入GB28181平台意义

Android前端音视频数据接入GB28181平台意义

技术背景 在我们研发Android平台GB28181前端音视频接入模块之前，业内听到最多的是，如何用Android或者Windows端，在没有国标IPC设备的前提下，模拟GB28181的信令和媒体流交互流程，实现GB28181整体方案的测试&#xff1f…
阅读更多...
QQ浏览器怎样在首页显示优先推荐的网站

QQ浏览器怎样在首页显示优先推荐的网站

QQ浏览器怎样在首页显示优先推荐的网站？QQ浏览器显示优先推荐的网站的方法 1，在手机桌面上找到QQ浏览器的图标，点击打开。 QQ浏览器怎样在首页显示优先推荐的网站？QQ浏览器显示优先推荐的网站的方法[多图] 2，点击下…
阅读更多...
push_back还是emplace_back？

push_back还是emplace_back？

背景和区别 emplace_back() 是 C11 之后，vector容器中添加的新方法，和 push_back()一样，都是在容器末尾添加一个新的元素，相对于push_back函数，它减少了一次类的构造。不同的是emplace_back() 在效率上相比较于 push_…
阅读更多...
std::tuple还是struct？

std::tuple还是struct？

std::tuple是C11提供的新模板类，可以翻译为“元组”，可把多个不同类型的变量组合成一个对象。std::tuple可看做std::pair的泛化实现，std::pair包含两个元素，std::tuple 可以同时包含多个元素，它拥有 struct 的表现&…
阅读更多...
微软发动图明示新一代操作系统Windows 11

微软发动图明示新一代操作系统Windows 11

可能感到关注度不够，微软再次出面预热所谓的新一代Windows操作系统，阿拉伯数字“11”图形赫然出现在预热动图中，可以说暗示得不要再明显了。 值得注意的是，动图中11的两个1中间还有一位正打坐的小人，配合微软关注大脑…
阅读更多...
std::atomic和std::mutex区别

std::atomic和std::mutex区别

​std::atomic介绍​ ​模板类std::atomic是C11提供的原子操作类型&#xff0c;头文件 #include<atomic>。​在多线程调用下&#xff0c;利用std::atomic可实现数据结构的无锁设计。​​ ​和互斥量的不同之处在于&#xff0c;std::atomic原子操作&#xff0c;主要是保…
阅读更多...
C++ std::remove/std::remove_if/erase用法探讨

C++ std::remove/std::remove_if/erase用法探讨

​std::remove 不会改变输入vector/string的长度。其过程相当于去除指定的字符&#xff0c;剩余字符往前靠。后面的和原始字符保持一致。​ 需要注意的是&#xff0c;remove函数是通过覆盖移去的&#xff0c;如果容器最后一个值刚好是需要删除的&#xff0c;则它无法覆盖掉容器…
阅读更多...
深度技术Win11 64位最新旗舰版镜像V2021.08

深度技术Win11 64位最新旗舰版镜像V2021.08

深度技术Win11 64位最新旗舰版镜像V2021.08是微软最新版本的电脑操作系统&#xff0c;系统稳定性的进一步优化和提升&#xff0c;可以更好的获得整个纯版本系统的稳定性。支持系统智能激活服务&#xff0c;用户可以快速激活系统&#xff0c;提高系统使用率&#xff0c;有需要的…
阅读更多...
再谈NULL和nullptr(C++11)区别

再谈NULL和nullptr(C++11)区别

在谈NULL和nullptr区别之前&#xff0c;我们先看段代码&#xff1a; #include "stdafx.h" #include <iostream>using namespace std; void func(void *p) {cout << "p is pointer " << p << endl; } void func(int num) {cout &l…
阅读更多...
C/C++如何快速区分指针数组|数组指针|函数指针|指针函数

C/C++如何快速区分指针数组|数组指针|函数指针|指针函数

如何区分这些概念&#xff0c;主要还是看后面两个字&#xff0c;中文表达模式“​表语定性名词​”&#xff0c;​所以关键的都是后面的这个名词​&#xff1a; ​指针数组​&#xff1a;一个数组&#xff0c;数组元素是指针&#xff0c;如&#xff1a; int* p[20]; ​数组指…
阅读更多...
Foxmail记事插入的表格怎么设置单元格边距

Foxmail记事插入的表格怎么设置单元格边距

Foxmail在使用记事时候&#xff0c;插入了表格&#xff0c;该怎么设置单元格的边距呢?下面我们就来看看详细的教程。 Foxmail记事插入的表格怎么设置单元格边距? 1、下载并安装Foxmail邮件客户端。 Foxmail记事插入的表格怎么设置单元格边距? 2、打开Foxmail邮件客户端&…
阅读更多...
C++11新特性探索：原始字符串字面值(raw string literal)

C++11新特性探索：原始字符串字面值(raw string literal)

原始字符串字面值(raw string literal)是C11引入的新特性。 原始字符串简单来说&#xff0c;“原生的、不加处理的”&#xff0c;字符表示的就是自己&#xff08;所见即所得&#xff09;&#xff0c;引号、斜杠无需 “\” 转义&#xff0c;比如常用的目录表示&#xff0c;引入…
阅读更多...
C++11新特性探究：显式override和final

C++11新特性探究：显式override和final

C中&#xff0c;我们一般可以以基类声明纯虚函数&#xff0c;然后让派生类继承并重写这个虚函数&#xff0c;用​override表示显示覆盖基类方法&#xff0c;但一直没有提供一种方法来阻止派生类继承基类的虚函数。 C11标准引入了final说明符&#xff0c;很好的解决了上面的问题…
阅读更多...
最新文章

Copyright @ 2022~2023