Windows平台实现Unity下窗体|摄像头|屏幕采集推送

技术背景

随着Unity3D的应用范围越来越广，越来越多的行业开始基于Unity3D开发产品，如传统行业中虚拟仿真教育、航空工业、室内设计、城市规划、工业仿真等领域。

基于此，好多开发者苦于在Unity环境下，没有低延迟的推拉流解决方案，前几年，我们在Unity环境下推出了跨平台低延迟的RTMP|RTSP直播播放器，很好的解决了好多对延迟要求苛刻的使用场景。

随着时间的推移，越来越多的开发者联系我们，希望我们能推出Unity环境下的RTMP推送模块，获取到unity的实时数据，更低延迟更高效率的实现数据传输推送，基于此，我们发布了Unity环境下的RTMP推送模块。

本文以Windows平台为例，数据源分别为Unity的窗口、摄像头或整个屏幕，编码传输模块，还是调用大牛直播SDK（官方）的原生接口，简单界面先睹为快：

技术实现

1. 基础初始化

private bool InitSDK(){if (!is_pusher_sdk_init_){// 设置日志路径(请确保目录存在)String log_path = "D:\\pulisherlog";NTSmartLog.NT_SL_SetPath(log_path);UInt32 isInited = NTSmartPublisherSDK.NT_PB_Init(0, IntPtr.Zero);if (isInited != 0){Debug.Log("调用NT_PB_Init失败..");return false;}is_pusher_sdk_init_ = true;}return true;}

2. 调用Open()接口，获取推送实例

       public bool OpenPublisherHandle(uint video_option, uint audio_option){if (publisher_handle_ != IntPtr.Zero){return true;}publisher_handle_count_ = 0;if (NTBaseCodeDefine.NT_ERC_OK != NTSmartPublisherSDK.NT_PB_Open(out publisher_handle_,video_option, audio_option, 0, IntPtr.Zero)){return false;}if (publisher_handle_ != IntPtr.Zero){pb_event_call_back_ = new NT_PB_SDKEventCallBack(PbEventCallBack);NTSmartPublisherSDK.NT_PB_SetEventCallBack(publisher_handle_, IntPtr.Zero, pb_event_call_back_);return true;}else{return false;}}

3. 初始化参数配置

这里需要注意下，如果要采集unity窗口，需要设置图层模式，先填充一层RGBA黑色背景，然后再添加一层，用于叠加外部数据。

       private void SetCommonOptionToPublisherSDK(){if (!IsPublisherHandleAvailable()){Debug.Log("SetCommonOptionToPublisherSDK, publisher handle with null..");return;}NTSmartPublisherSDK.NT_PB_ClearLayersConfig(publisher_handle_, 0,0, IntPtr.Zero);if (video_option == NTSmartPublisherDefine.NT_PB_E_VIDEO_OPTION.NT_PB_E_VIDEO_OPTION_LAYER){// 第0层填充RGBA矩形, 目的是保证帧率, 颜色就填充全黑int red = 0;int green = 0;int blue = 0;int alpha = 255;NT_PB_RGBARectangleLayerConfig rgba_layer_c0 = new NT_PB_RGBARectangleLayerConfig();rgba_layer_c0.base_.type_ = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_RGBA_RECTANGLE;rgba_layer_c0.base_.index_ = 0;rgba_layer_c0.base_.enable_ = 1;rgba_layer_c0.base_.region_.x_ = 0;rgba_layer_c0.base_.region_.y_ = 0;rgba_layer_c0.base_.region_.width_ = video_width_;rgba_layer_c0.base_.region_.height_ = video_height_;rgba_layer_c0.base_.offset_ = Marshal.OffsetOf(rgba_layer_c0.GetType(), "base_").ToInt32();rgba_layer_c0.base_.cb_size_ = (uint)Marshal.SizeOf(rgba_layer_c0);rgba_layer_c0.red_ = System.BitConverter.GetBytes(red)[0];rgba_layer_c0.green_ = System.BitConverter.GetBytes(green)[0];rgba_layer_c0.blue_ = System.BitConverter.GetBytes(blue)[0];rgba_layer_c0.alpha_ = System.BitConverter.GetBytes(alpha)[0];IntPtr rgba_conf = Marshal.AllocHGlobal(Marshal.SizeOf(rgba_layer_c0));Marshal.StructureToPtr(rgba_layer_c0, rgba_conf, true);UInt32 rgba_r = NTSmartPublisherSDK.NT_PB_AddLayerConfig(publisher_handle_, 0,rgba_conf, (int)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_RGBA_RECTANGLE,0, IntPtr.Zero);Marshal.FreeHGlobal(rgba_conf);NT_PB_ExternalVideoFrameLayerConfig external_layer_c1 = new NT_PB_ExternalVideoFrameLayerConfig();external_layer_c1.base_.type_ = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_EXTERNAL_VIDEO_FRAME;external_layer_c1.base_.index_ = 1;external_layer_c1.base_.enable_ = 1;external_layer_c1.base_.region_.x_ = 0;external_layer_c1.base_.region_.y_ = 0;external_layer_c1.base_.region_.width_ = video_width_;external_layer_c1.base_.region_.height_ = video_height_;external_layer_c1.base_.offset_ = Marshal.OffsetOf(external_layer_c1.GetType(), "base_").ToInt32();external_layer_c1.base_.cb_size_ = (uint)Marshal.SizeOf(external_layer_c1);IntPtr external_layer_conf = Marshal.AllocHGlobal(Marshal.SizeOf(external_layer_c1));Marshal.StructureToPtr(external_layer_c1, external_layer_conf, true);UInt32 external_r = NTSmartPublisherSDK.NT_PB_AddLayerConfig(publisher_handle_, 0,external_layer_conf, (int)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_EXTERNAL_VIDEO_FRAME,0, IntPtr.Zero);Marshal.FreeHGlobal(external_layer_conf);}else if (video_option == NTSmartPublisherDefine.NT_PB_E_VIDEO_OPTION.NT_PB_E_VIDEO_OPTION_CAMERA){CameraInfo camera = cameras_[cur_sel_camera_index_];NT_PB_VideoCaptureCapability cap = camera.capabilities_[cur_sel_camera_resolutions_index_];SetVideoCaptureDeviceBaseParameter(camera.id_.ToString(), (UInt32)cap.width_, (UInt32)cap.height_);}SetFrameRate((UInt32)CalBitRate(edit_key_frame_, video_width_, video_height_));Int32 type = 0;   //软编码Int32 encoder_id = 1;UInt32 codec_id = (UInt32)NTCommonMediaDefine.NT_MEDIA_CODEC_ID.NT_MEDIA_CODEC_ID_H264;Int32 param1 = 0;SetVideoEncoder(type, encoder_id, codec_id, param1);SetVideoQualityV2(CalVideoQuality(video_width_, video_height_, is_h264_encoder));SetVideoMaxBitRate((CalMaxKBitRate(edit_key_frame_, video_width_, video_height_, false)));SetVideoKeyFrameInterval((edit_key_frame_));if (is_h264_encoder){SetVideoEncoderProfile(1);}SetVideoEncoderSpeed(CalVideoEncoderSpeed(video_width_, video_height_, is_h264_encoder));// 音频相关设置SetAuidoInputDeviceId(0);SetPublisherAudioCodecType(1);SetPublisherMute(is_mute);SetEchoCancellation(0, 0);SetNoiseSuppression(0);SetAGC(0);SetVAD(0);SetInputAudioVolume(Convert.ToSingle(edit_audio_input_volume_));}

4. 数据采集

摄像头和屏幕的数据采集，还是调用原生的SDK接口，本文不再赘述，如果需要采集Unity窗体的数据，可以用参考以下代码：

        if ( texture_ == null || video_width_ != Screen.width || video_height_ != Screen.height){Debug.Log("OnPostRender screen changed++ scr_width: " + Screen.width + " scr_height: " + Screen.height);if (screen_image_ != IntPtr.Zero){Marshal.FreeHGlobal(screen_image_);screen_image_ = IntPtr.Zero;}if (texture_ !=  null){UnityEngine.Object.Destroy(texture_);texture_ = null;}video_width_ = Screen.width;video_height_ = Screen.height;texture_ = new Texture2D(video_width_, video_height_, TextureFormat.BGRA32, false);screen_image_ = Marshal.AllocHGlobal(video_width_ * 4 * video_height_);Debug.Log("OnPostRender screen changed--");return;}texture_.ReadPixels(new Rect(0, 0, video_width_, video_height_), 0, 0, false);texture_.Apply();

从 texture里面，通过调用 GetRawTextureData()，获取到原始数据。

5. 数据对接

获取到数据后，通过调用 OnPostRGBAData()接口，传递给SDK层。

6. 本地数据预览

        public bool StartPreview(){if(CheckPublisherHandleAvailable() == false)return false;video_preview_image_callback_ = new NT_PB_SDKVideoPreviewImageCallBack(SDKVideoPreviewImageCallBack);NTSmartPublisherSDK.NT_PB_SetVideoPreviewImageCallBack(publisher_handle_, (int)NTSmartPublisherDefine.NT_PB_E_IMAGE_FORMAT.NT_PB_E_IMAGE_FORMAT_RGB32, IntPtr.Zero, video_preview_image_callback_);if (NTBaseCodeDefine.NT_ERC_OK != NTSmartPublisherSDK.NT_PB_StartPreview(publisher_handle_, 0, IntPtr.Zero)){if (0 == publisher_handle_count_){NTSmartPublisherSDK.NT_PB_Close(publisher_handle_);publisher_handle_ = IntPtr.Zero;}return false;}publisher_handle_count_++;is_previewing_ = true;return true;}

设置preview后，处理preview的数据回调

        //预览数据回调public void SDKVideoPreviewImageCallBack(IntPtr handle, IntPtr user_data, IntPtr image){NT_PB_Image pb_image = (NT_PB_Image)Marshal.PtrToStructure(image, typeof(NT_PB_Image));NT_VideoFrame pVideoFrame = new NT_VideoFrame();pVideoFrame.width_ = pb_image.width_;pVideoFrame.height_ = pb_image.height_;pVideoFrame.stride_ = pb_image.stride_[0];Int32 argb_size = pb_image.stride_[0] * pb_image.height_;pVideoFrame.plane_data_ = new byte[argb_size];if (argb_size > 0){Marshal.Copy(pb_image.plane_[0],pVideoFrame.plane_data_,0, argb_size);}{cur_image_ = pVideoFrame;}}

7. 相关event回调处理

        private void PbEventCallBack(IntPtr handle, IntPtr user_data, UInt32 event_id,Int64 param1,Int64 param2,UInt64 param3,UInt64 param4,[MarshalAs(UnmanagedType.LPStr)] String param5,[MarshalAs(UnmanagedType.LPStr)] String param6,IntPtr param7){String event_log = "";switch (event_id){case (uint)NTSmartPublisherDefine.NT_PB_E_EVENT_ID.NT_PB_E_EVENT_ID_CONNECTING:event_log = "连接中";if (!String.IsNullOrEmpty(param5)){event_log = event_log + " url:" + param5;}break;case (uint)NTSmartPublisherDefine.NT_PB_E_EVENT_ID.NT_PB_E_EVENT_ID_CONNECTION_FAILED:event_log = "连接失败";if (!String.IsNullOrEmpty(param5)){event_log = event_log + " url:" + param5;}break;case (uint)NTSmartPublisherDefine.NT_PB_E_EVENT_ID.NT_PB_E_EVENT_ID_CONNECTED:event_log = "已连接";if (!String.IsNullOrEmpty(param5)){event_log = event_log + " url:" + param5;}break;case (uint)NTSmartPublisherDefine.NT_PB_E_EVENT_ID.NT_PB_E_EVENT_ID_DISCONNECTED:event_log = "断开连接";if (!String.IsNullOrEmpty(param5)){event_log = event_log + " url:" + param5;}break;default:break;}if(OnLogEventMsg != null) OnLogEventMsg.Invoke(event_id, event_log);}

8. 开始推送、停止推送

       public bool StartPublisher(String url){if (CheckPublisherHandleAvailable() == false) return false;if (publisher_handle_ == IntPtr.Zero){return false;}if (!String.IsNullOrEmpty(url)){NTSmartPublisherSDK.NT_PB_SetURL(publisher_handle_, url, IntPtr.Zero);}if (NTBaseCodeDefine.NT_ERC_OK != NTSmartPublisherSDK.NT_PB_StartPublisher(publisher_handle_, IntPtr.Zero)){if (0 == publisher_handle_count_){NTSmartPublisherSDK.NT_PB_Close(publisher_handle_);publisher_handle_ = IntPtr.Zero;}is_publishing_ = false;return false;}publisher_handle_count_++;is_publishing_ = true;return true;}public void StopPublisher(){if (is_publishing_ == false) return;publisher_handle_count_--;NTSmartPublisherSDK.NT_PB_StopPublisher(publisher_handle_);if (0 == publisher_handle_count_){NTSmartPublisherSDK.NT_PB_Close(publisher_handle_);publisher_handle_ = IntPtr.Zero;}is_publishing_ = false;}

9. 关闭实例

        public void Close(){if (0 == publisher_handle_count_){NTSmartPublisherSDK.NT_PB_Close(publisher_handle_);publisher_handle_ = IntPtr.Zero;}}

总结

经测试，Unity环境下，通过高效率的数据采集、编码和推送，配合SmartPlayer播放器播放，整体延迟可控制在毫秒级，可适用于大多数Unity环境下对延迟和稳定性要求苛刻的场景。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/553045.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

钉钉调岗申请单怎么写 钉钉申请调岗的教程

钉钉调岗申请单怎么写 钉钉申请调岗的教程

钉钉中想要申请调岗申请单，调岗申请单在哪，该怎么填写呢?下面我们就来看看详细的教程。 1、首先打开钉钉客户端，点击下方的工作。 钉钉调岗申请单怎么写? 钉钉申请调岗的教程 2、向下滑动找到并打开调岗申请单应用。 钉钉调岗申请单怎么…
阅读更多...
Android平台RTMP推送端实现外部数据对接推送和录像

Android平台RTMP推送端实现外部数据对接推送和录像

背景 好多开发者在做Android平台RTMP推送对接的同时，除了编码前的数据外，还有些外部编码数据推送诉求，他们希望外部的编码音视频数据不止可以实现RTMP推送，还可以同时在推送端实时录制下来，本文以我们（官方…
阅读更多...
excel怎么删除浏览记录 方法介绍

excel怎么删除浏览记录 方法介绍

Excel 2013工作表删除浏览记录的步骤： 1、鼠标左键双击计算机桌面Excel2013程序图标，将其打开运行。在打开的Excel2013程序窗口，点击“空白工作薄”选项，新建一个空白Excel工作薄。如图所示; excel怎么删除浏览记录？…
阅读更多...
爱奇艺怎么开启数据流量自动播放

爱奇艺怎么开启数据流量自动播放

1、打开手机，点击爱奇艺 爱奇艺怎么开启数据流量自动播放 2、进入爱奇艺，点击我的 爱奇艺怎么开启数据流量自动播放 3、然后在我的界面，点击设置 爱奇艺怎么开启数据流量自动播放 4、进入设置界面，点击播放与下载 爱奇艺怎…
阅读更多...
Win7系统账户被禁用的解决方法

Win7系统账户被禁用的解决方法

我们都知道Win7系统中可以建立多个账户来进行不同的登录使用，十分的方便，但是有的用户建立了多个账户，却发现所有的账号都被禁用，那遇到这个问题应该怎么解决呢，下面就为小伙伴们带来 了Win7系统账户被禁用的解决方法&…
阅读更多...
Win11系统如何隐藏快速搜索

Win11系统如何隐藏快速搜索

近日网络中已经出现了很多Windows 11的泄露版本，意味着Win11版本正式确定，现在只是等待微软正式发布了。Windows系统中菜单栏都会默认放一个快速搜索的图标，快速搜索一直是Windows系统中的一个重要功能，那么在Win11系统中该如何隐…
阅读更多...
网易邮箱广告标签怎么关 163邮箱去广告标签的教程

网易邮箱广告标签怎么关 163邮箱去广告标签的教程

1、打开百度输入网易邮箱 网易邮箱广告标签怎么关? 163邮箱去广告标签的教程 网易邮箱广告标签怎么关? 163邮箱去广告标签的教程 2、输入账号和密码，进入邮箱主页，在标签栏看到广告标签 网易邮箱广告标签怎么关? 163邮箱去广告标签的教程 3、选中…
阅读更多...
Linux|麒麟操作系统实现多路RTMP|RTSP播放

Linux|麒麟操作系统实现多路RTMP|RTSP播放

技术背景 无论是Windows平台还是Linux，多路播放诉求非常普遍，比如针对智慧工地、展馆、教育等宏观场景下的摄像头展示，关于RTSP或RTMP直播播放器开发需要注意的点，可参考之前博客，总的来说有以下一些点： …
阅读更多...
TIM提示“个人文件夹被占用，请稍候再登录”怎么解决

TIM提示“个人文件夹被占用，请稍候再登录”怎么解决

在登录TIM的时候，弹出提示“个人文件夹被占用，请稍后再登录”的提示，无法正常登录TIM TIM提示“个人文件夹被占用，请稍候再登录”怎么解决？ 这个时候，我们可以直接关闭上面的登录窗口，然后过一…
阅读更多...
数据推送选择GB28181、RTSP还是RTMP？

数据推送选择GB28181、RTSP还是RTMP？

GB/T28181 国标GB/T28181协议全称《安全防范视频监控联网系统信息传输、交换、控制技术要求》，是一个定义视频联网传输和设备控制标准的白皮书，由公安部科技信息化局提出，该标准规定了城市监控报警联网系统中信息传输、交换、控制的互联结构…
阅读更多...
Windows平台RTMP推送摄像头对接介绍

Windows平台RTMP推送摄像头对接介绍

背景 好多开发者在对接大牛直播SDK（官方）的Windows平台RTMP推送时，不熟悉摄像头调用，实际上，摄像头调用逻辑并不复杂，以下是大概流程： 首先调用我们sdk接口获取摄像头个数，调用接口…
阅读更多...
Outlook2016未读邮件怎么设置字体颜色

Outlook2016未读邮件怎么设置字体颜色

Outlook2016中想要设置未读邮件的字体颜色，该怎么设置呢?下面我们就来看看详细的教程。 Outlook2016未读邮件怎么设置字体颜色? 1、下载安装outlook软件。 Outlook2016未读邮件怎么设置字体颜色? 2、双击打开outlook软件，登入邮箱账户。 Outlook…
阅读更多...
Android平台RTMP推送模块如何对接NV21、YV12、RGB、YUV等编码前数据

Android平台RTMP推送模块如何对接NV21、YV12、RGB、YUV等编码前数据

前言 我们在对接Android平台摄像头或者屏幕采集、编码打包推送场景的时候，随着采集设备的不同，出来的数据也是多样化的，比如NV21、YV12、RGB、YUV等，更有图像数据甚至是翻转或者倒置的，如果上层处理，效率低…
阅读更多...
庖丁解牛之-Android平台RTSP|RTMP播放器设计

庖丁解牛之-Android平台RTSP|RTMP播放器设计

背景 我们在做Android平台RTSP或者RTMP播放器开发的时候，需要注意的点非常多，以下，以大牛直播SDK(官方)的接口为例，大概介绍下相关接口设计： 接口设计 1. Open() 接口 Open接口的目的，主要是创建实例&a…
阅读更多...
如何在Android端实现轻量级RTSP服务(类似于IPC)

如何在Android端实现轻量级RTSP服务(类似于IPC)

为什么要设计轻量级RTSP服务 首先声明一点，本blog提到的轻量级RTSP服务，类似于网络摄像头（IPC），而非传统意义的接受外部推流的RTSP服务器。 轻量级RTSP服务解决的核心痛点：避免用户单独部署RTSP或者RTMP服…
阅读更多...
Android平台基于RTMP或RTSP的一对一音视频互动技术方案探讨

Android平台基于RTMP或RTSP的一对一音视频互动技术方案探讨

背景 随着智能门禁等物联网产品的普及，越来越多的开发者对音视频互动体验提出了更高的要求。目前市面上大多一对一互动都是基于WebRTC，优点不再赘述，我们这里先说说可能需要面临的问题：WebRTC的服务器部署非常复杂，可…
阅读更多...
微信公众号怎么发送模板消息 微信公众平台模板消息免费发送的技巧

微信公众号怎么发送模板消息 微信公众平台模板消息免费发送的技巧

想要发免费的模板消息，该怎么发布?下面我们就来看看详细的教程。 1、首先我们需要在微信公众号里面开通模板消息功能，没有开通的需要去申请，不然就用不了，如下图所示。 微信公众号怎么发送模板消息?微信公众平台模板消息免费发…
阅读更多...
如何理解面向过程和面向对象？

如何理解面向过程和面向对象？

一句话理解面向对象 有人说：“如果上帝是程序员，他怎么创造世界上的所有动物。”，理解这个问题就理解了面向对像。 面向过程和面向对象区别？ 面向过程的思路：什么事都自己做；分析解决问题所需的步骤&…
阅读更多...
如何实现Android平台GB28181前端设备接入

如何实现Android平台GB28181前端设备接入

技术背景 在实现Android平台GB28181前端设备接入之前，我们几年前就有了非常成熟的RTMP推送、RTSP推送和轻量级RTSP服务等模块，特别是RTMP推送，行业内应用非常广泛，好多开发者可能会问，既然有了以上模块，干…
阅读更多...
foxmail怎么加入黑名单 foxmail导入黑名单邮箱地址的教程

foxmail怎么加入黑名单 foxmail导入黑名单邮箱地址的教程

1、首先，先进入到了foxmail的窗口的界面当中，进行点击菜单中工具，弹出了下拉菜单中，进行选中为“系统工具” foxmail怎么加入黑名单? foxmail导入黑名单邮箱地址的教程 2、进入到了的系统的设置的界面中，进行选中反…
阅读更多...
最新文章

Copyright @ 2022~2023