Windows平台RTSP播放器/RTMP播放器设计需要考虑的几个点

我们在实现Windows平台RTSP播放器或RTMP播放器的时候，需要考虑的点很多，比如多实例设计、多绘制模式兼容、软硬解码支持、快照、RTSP下TCP-UDP自动切换等，以下就其中几个方面，做个大概的探讨。

1. 视频绘制模式

我们在实现Windows平台播放的时候，一般首选D3D，D3D不支持的情况下，考虑数据回上来，采用GDI模式，一般实现如下，先做D3D检测，以大牛直播SDK播放端为例（Github），调用NT_SP_IsSupportD3DRender()，检测是否支持D3D模式，如果支持的话，调用NT_SP_SetRenderWindow(), 然后，设置是否等比例缩放（调用NT_SP_SetRenderScaleMode()）。

                bool is_support_d3d_render = false;Int32 in_support_d3d_render = 0;if (NT.NTBaseCodeDefine.NT_ERC_OK == NTSmartPlayerSDK.NT_SP_IsSupportD3DRender(player_handle_, playWnd.Handle, ref in_support_d3d_render)){if (1 == in_support_d3d_render){is_support_d3d_render = true;}}if (is_support_d3d_render){is_gdi_render_ = false;// 支持d3d绘制的话，就用D3D绘制NTSmartPlayerSDK.NT_SP_SetRenderWindow(player_handle_, playWnd.Handle);if (btn_check_render_scale_mode.Checked){NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 1);}else{NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 0);}}else{is_gdi_render_ = true;playWnd.Visible = false;// 不支持D3D就让播放器吐出数据来，用GDI绘制//video frame callback (YUV/RGB)//format请参见 NT_SP_E_VIDEO_FRAME_FORMAT，如需回调YUV，请设置为 NT_SP_E_VIDEO_FRAME_FROMAT_I420video_frame_call_back_ = new SP_SDKVideoFrameCallBack(SetVideoFrameCallBack);NTSmartPlayerSDK.NT_SP_SetVideoFrameCallBack(player_handle_, (Int32)NT.NTSmartPlayerDefine.NT_SP_E_VIDEO_FRAME_FORMAT.NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, IntPtr.Zero, video_frame_call_back_);}

如果不支持D3D，设置RGB数据回调：

video_frame_call_back_ = new SP_SDKVideoFrameCallBack(SetVideoFrameCallBack);NTSmartPlayerSDK.NT_SP_SetVideoFrameCallBack(player_handle_, (Int32)NT.NTSmartPlayerDefine.NT_SP_E_VIDEO_FRAME_FORMAT.NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, IntPtr.Zero, video_frame_call_back_);

数据处理如下：

        public void SetVideoFrameCallBack(IntPtr handle, IntPtr userData, UInt32 status, IntPtr frame){if (frame == IntPtr.Zero){return;}//如需直接处理RGB数据，请参考以下流程NT_SP_VideoFrame video_frame = (NT_SP_VideoFrame)Marshal.PtrToStructure(frame, typeof(NT_SP_VideoFrame));NT_SP_VideoFrame pVideoFrame = new NT_SP_VideoFrame();pVideoFrame.format_ = video_frame.format_;pVideoFrame.width_ = video_frame.width_;pVideoFrame.height_ = video_frame.height_;pVideoFrame.timestamp_ = video_frame.timestamp_;pVideoFrame.stride0_ = video_frame.stride0_;pVideoFrame.stride1_ = video_frame.stride1_;pVideoFrame.stride2_ = video_frame.stride2_;pVideoFrame.stride3_ = video_frame.stride3_;Int32 argb_size = video_frame.stride0_ * video_frame.height_;pVideoFrame.plane0_ = Marshal.AllocHGlobal(argb_size);CopyMemory(pVideoFrame.plane0_, video_frame.plane0_, (UInt32)argb_size);if (playWnd.InvokeRequired){BeginInvoke(set_video_frame_call_back_, status, pVideoFrame);}else{set_video_frame_call_back_(status, pVideoFrame);}}

在OnPaint()绘制即可：

        private void SmartPlayerForm_Paint(object sender, PaintEventArgs e){if (player_handle_ == IntPtr.Zero || !is_gdi_render_ || !is_playing_){return;}if (cur_video_frame_.plane0_ == IntPtr.Zero){return;}Bitmap bitmap = new Bitmap(cur_video_frame_.width_, cur_video_frame_.height_, cur_video_frame_.stride0_,System.Drawing.Imaging.PixelFormat.Format32bppRgb, cur_video_frame_.plane0_);int image_width = cur_video_frame_.width_;int image_height = cur_video_frame_.height_;Graphics g = e.Graphics;    //获取窗体画布g.SmoothingMode = SmoothingMode.HighSpeed;int limit_w = this.Width - 60;int limit_h = this.Height - playWnd.Top - 60;if (btn_check_render_scale_mode.Checked){int d_w = 0, d_h = 0;int left_offset = 0;int top_offset = 0;Brush brush = new SolidBrush(Color.Black);g.FillRectangle(brush, playWnd.Left, playWnd.Top, limit_w, limit_h);GetRenderRect(limit_w, limit_h, image_width, image_height, ref left_offset, ref top_offset, ref d_w, ref d_h);g.DrawImage(bitmap, playWnd.Left + left_offset, playWnd.Top + top_offset, d_w, d_h);   //在窗体的画布中绘画出内存中的图像}else{g.DrawImage(bitmap, playWnd.Left, playWnd.Top, limit_w, limit_h);   //在窗体的画布中绘画出内存中的图像}}

2. 特定机型硬解码

Windows平台硬解码，主要适用于性能偏弱的PC端，或者有多路播放诉求的场景，一般建议在软解性能没问题的情况下，尽量软解，具体处理如下，先检测系统是否支持硬解，如果支持，再做硬解设置，这样的好处在于如果系统不支持硬解，可以继续软解播放，具体设置如下，在调用NT_SP_Open()之前，做检测，因为NT_SP_Open()每个句柄对应一个player实例，多个实例只需要做一次判断即可：

is_support_h264_hardware_decoder_ = NT.NTBaseCodeDefine.NT_ERC_OK == NT.NTSmartPlayerSDK.NT_SP_IsSupportH264HardwareDecoder();is_support_h265_hardware_decoder_ = NT.NTBaseCodeDefine.NT_ERC_OK == NT.NTSmartPlayerSDK.NT_SP_IsSupportH265HardwareDecoder();if (player_handle_ == IntPtr.Zero){player_handle_ = new IntPtr();UInt32 ret_open = NTSmartPlayerSDK.NT_SP_Open(out player_handle_, IntPtr.Zero, 0, IntPtr.Zero);if (ret_open != 0){player_handle_ = IntPtr.Zero;MessageBox.Show("调用NT_SP_Open失败..");return;}}

播放之前，设置硬解码：

            if (checkBox_hardware_decoder.Checked){NTSmartPlayerSDK.NT_SP_SetH264HardwareDecoder(player_handle_, is_support_h264_hardware_decoder_ ? 1 : 0, 0);NTSmartPlayerSDK.NT_SP_SetH265HardwareDecoder(player_handle_, is_support_h265_hardware_decoder_ ? 1 : 0, 0);}else{NTSmartPlayerSDK.NT_SP_SetH264HardwareDecoder(player_handle_, 0, 0);NTSmartPlayerSDK.NT_SP_SetH265HardwareDecoder(player_handle_, 0, 0);}

3. 只解码关键帧

只解关键帧的场景，也是用于多路播放诉求，比如一般的监控场景，考虑到多路的场景，一般关键帧间隔不大（如1-2秒一个），平台可对现场场景有个宏观了解，如需重点关注某几路画面的时候，再实时取消这个选项，实现全帧播放，所以，只解关键帧一定要做成实时调用的接口才更有设计意义。

            // 设置是否只解码关键帧if (btn_check_only_decode_video_key_frame.Checked){NTSmartPlayerSDK.NT_SP_SetOnlyDecodeVideoKeyFrame(player_handle_, 1);}else{NTSmartPlayerSDK.NT_SP_SetOnlyDecodeVideoKeyFrame(player_handle_, 0);}

4. 视频view旋转

好多现场的开发人员有这样的困惑，有些设备，在安装时，可能没调整好角度，导致拍出来的角度倒立等，看着很不方便，这时候，如果现场设备比较多的话，不可能每台设备都到现场重新安装，实时view旋转，就体现了价值，具体如下：

		/** 设置旋转，顺时针旋转* degress： 设置0， 90， 180， 270度有效，其他值无效* 注意：除了0度，其他角度播放会耗费更多CPU* 接口调用成功返回NT_ERC_OK*/[DllImport(@"SmartPlayerSDK.dll")]public static extern UInt32 NT_SP_SetRotation(IntPtr handle, Int32 degress);

视频view选择，会消耗一定的CPU。

5. 实时快照

实时快照功能不表，是一个好的RTSP播放器和RTMP播放器必备的功能，实时快照是把解码后的yuv数据重新编码成png，所以有一定的CPU消耗，不建议过于频繁操作，具体实现如下：

            if ( String.IsNullOrEmpty(capture_image_path_) ){MessageBox.Show("请先设置保存截图文件的目录! 点击截图左边的按钮设置!");return;}if ( player_handle_ == IntPtr.Zero ){return;}if ( !is_playing_){MessageBox.Show("请在播放状态下截图!");return;}String name = capture_image_path_ + "\\" +  DateTime.Now.ToString("hh-mm-ss") + ".png";byte[] buffer1 = Encoding.Default.GetBytes(name);byte[] buffer2 = Encoding.Convert(Encoding.Default, Encoding.UTF8, buffer1, 0, buffer1.Length);byte[] buffer3 = new byte[buffer2.Length + 1];buffer3[buffer2.Length] = 0;Array.Copy(buffer2, buffer3, buffer2.Length);IntPtr file_name_ptr = Marshal.AllocHGlobal(buffer3.Length);Marshal.Copy(buffer3, 0, file_name_ptr, buffer3.Length);capture_image_call_back_ = new SP_SDKCaptureImageCallBack(SDKCaptureImageCallBack);UInt32 ret = NTSmartPlayerSDK.NT_SP_CaptureImage(player_handle_, file_name_ptr, IntPtr.Zero, capture_image_call_back_);Marshal.FreeHGlobal(file_name_ptr);if (NT.NTBaseCodeDefine.NT_ERC_OK == ret){// 发送截图请求成功}else if ((UInt32)NT.NTSmartPlayerDefine.SP_E_ERROR_CODE.NT_ERC_SP_TOO_MANY_CAPTURE_IMAGE_REQUESTS == ret){// 通知用户延时MessageBox.Show("Too many capture image requests!");}else{// 其他失败}
        public void SDKCaptureImageCallBack(IntPtr handle, IntPtr userData, UInt32 result, IntPtr file_name){if (file_name == IntPtr.Zero)return;int index = 0;while (true){if (0 == Marshal.ReadByte(file_name, index))break;index++;}byte[] file_name_buffer = new byte[index];Marshal.Copy(file_name, file_name_buffer, 0, index);byte[] dst_buffer = Encoding.Convert(Encoding.UTF8, Encoding.Default, file_name_buffer, 0, file_name_buffer.Length);String image_name = Encoding.Default.GetString(dst_buffer, 0, dst_buffer.Length);if (playWnd.InvokeRequired){BeginInvoke(set_capture_image_call_back_, result, image_name);}else{set_capture_image_call_back_(result, image_name);}}

后续，我们将针对RTSP和RTMP播放器设计过程中的其他点，做更进一步的探讨。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/553127.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

网易邮箱大师如何定时发送 定时发送邮件方法步骤详解

网易邮箱大师如何定时发送 定时发送邮件方法步骤详解

网易邮箱大师是我们日常使用邮箱的最佳软件，不仅能批量登录邮件，还能定时发送邮件，可谓功能齐全，很多小伙伴不知道如何定时发送邮件，那么接下来小编说的这篇文章肯定会对你有帮助。 操作步骤如下： 1、打开…
阅读更多...
Windows平台下如何实现Unity3D下的RTMP推送

Windows平台下如何实现Unity3D下的RTMP推送

好多开发者苦于很难在unity3d下实现RTMP直播推送，本次以大牛直播SDK（Github）的Windows平台RTMP推送模块（以推摄像头为例，如需推屏幕数据，设置相关参数即可）为例，介绍下unity3d的RTMP…
阅读更多...
Android平台如何实现屏幕数据采集并推送至RTMP服务器

Android平台如何实现屏幕数据采集并推送至RTMP服务器

随着无纸化、智慧教室等场景的普及，好多企业或者开发者开始寻求更高效稳定低延迟的RTMP同屏方案，本文以大牛直播SDK(Github)的同屏demo（对应工程：SmartServicePublisherV2）为例，介绍下如何采集编码推送RTMP…
阅读更多...
网易邮箱大师如何注册邮箱 注册邮箱方法步骤介绍

网易邮箱大师如何注册邮箱 注册邮箱方法步骤介绍

网易邮箱大师是款高效强大的全平台邮箱客户端，支持所有邮箱登录，功能强大，一个PC端就能登录多个邮箱，很多小伙伴不知道如何注册登录邮箱，那么就跟着小编一起来看看如何操作吧。 操作步骤如下： 1、打开网易…
阅读更多...
D3D还是GDI? Windows平台播放RTSP或RTMP渲染模式比较

D3D还是GDI? Windows平台播放RTSP或RTMP渲染模式比较

先说结论，Windows平台播放渲染这块，支持D3D的前提下，优先D3D，如果检测到不支持D3D，数据回调上来，GDI模式绘制。 相比GDI模式，D3D绘制更细腻，绘制效率更高，CPU占用低&…
阅读更多...
Android投屏（屏幕共享）设计需要考虑的关键因素

Android投屏（屏幕共享）设计需要考虑的关键因素

许多开发者，在做智慧教室同屏、会议同屏之类的方案时，基于Andriod平台的采集，往往遇到各种各样的问题，以下就几个点，抛砖引玉： 1. 内网环境下，组播还是RTMP？ 回答：这个…
阅读更多...
微信公众号怎么给微店设置运费

微信公众号怎么给微店设置运费

微信小店想要设置运费，该怎么设置呢?今天我们就来看看使用微信公众号设置微店运费的教程。 1、在电脑登录你的微信公众号服务号，确保已经事先开通了微信小店功能 微信公众号怎么给微店设置运费? 2、点击左侧导航栏的微信小店，进去后点击…
阅读更多...
RTSP/RTMP播放端录像不可忽视的几个设计要点

RTSP/RTMP播放端录像不可忽视的几个设计要点

很多开发者提到，拉取的摄像机（一般RTSP流）或RTMP流，如果需要录制，需要考虑哪些因素，本文以大牛直播SDK的Windows平台拉流端录像为例（github），做个简单的介绍：…
阅读更多...
海康摄像机rtsp地址格式(官方最新版)

海康摄像机rtsp地址格式(官方最新版)

★目前海康录像机、网络摄像机，网络球机的RTSP单播取流格式如下（车载录像机不支持RTSP取流）： rtsp://用户名:密码IP:554/Streaming/Channels/101 →录像机示例： 取第1个通道的主码流预览 rtsp://admin:hik1234510.…
阅读更多...
QQ邮箱怎么发送文件夹 怎样在QQ邮箱里发送压缩文件夹

QQ邮箱怎么发送文件夹 怎样在QQ邮箱里发送压缩文件夹

有很多用户想要知道怎么样才能通过QQ邮箱来发送自己的一些文件压缩包，应该怎么操作呢?不要慌，现在小编就给大家分享一下，下面一起来学习操作步骤吧! 其实，无论何种邮箱都无法发送文件夹，都只能对文件进行操作。如果文…
阅读更多...
时光手帐怎么修改作品 时光手帐修改作品封面方法

时光手帐怎么修改作品 时光手帐修改作品封面方法

对于自己在时光手账Pro中的手账本封面是可以随时更改的。那么，怎么在时光手账Pro中更改自己手账封面?下面我使用苹果手机(安卓端操作方法一致)来分享一下具体的操作流程。 首先打开手机，点击进入时光手账Pro。 时光手帐怎么修改作品 时光手帐修改作品…
阅读更多...
几款优秀的点播、RTSP/RTMP直播播放器介绍

几款优秀的点播、RTSP/RTMP直播播放器介绍

1.ijkplayer 项目地址： https://github.com/Bilibili/ijkplayer 介绍：Ijkplayer 是Bilibili发布的基于 FFplay 的轻量级 Android/iOS 视频播放器。实现了跨平台功能，API 易于集成；编译配置可裁剪，方便控制安装包大小&…
阅读更多...
Android平台RTMP推流或轻量级RTSP服务（摄像头或同屏）编码前数据接入类型总结

Android平台RTMP推流或轻量级RTSP服务（摄像头或同屏）编码前数据接入类型总结

很多开发者在做Android平台RTMP推流或轻量级RTSP服务（摄像头或同屏）时，总感觉接口不够用，以大牛直播SDK为例 (Github) 我们来总结下，我们常规需要支持的编码前音视频数据有哪些类型： 1. Android摄像头前后…
阅读更多...
作业帮口算批改怎么开 作业帮口算批改如何用

作业帮口算批改怎么开 作业帮口算批改如何用

作业帮口算批改功能怎么用?作业帮最近全新改版的消息传的很火，新增了口算批改的功能，很吸引人。但是还有很多用户不是很清楚作业帮口算批改功能怎么用，下面是小编整理的关于作业帮口算批改功能怎么用的相关资讯，快来看看吧! 作业…
阅读更多...
RTSP播放器或RTMP播放器常用的事件回调设计

RTSP播放器或RTMP播放器常用的事件回调设计

很多开发者在开发RTSP或RTMP播放器的时候，不晓得哪些event回调事件是有意义的，针对此，我们以大牛直播SDK（github）的Android平台RTSP/RTMP直播播放端为例，简单介绍下常用的event id，总的来说&…
阅读更多...
Windows平台RTMP多实例推送探讨

Windows平台RTMP多实例推送探讨

之前，我们博客 https://blog.csdn.net/renhui1112/article/details/105624392 提到，Android平台RTMP多实例推送的几种情况探讨，简单来说有以下三种情况： 多路编码，多个实例分别推送到不同的RTMP URL（如And…
阅读更多...
Win7蓝屏代码0x000000001e怎么解决

Win7蓝屏代码0x000000001e怎么解决

蓝屏问题，是所有系统都会遇到的最普遍的电脑故障问题，电脑蓝屏是因为系统与硬件或软件不兼容冲突引起的，不同的提示代码表示了不同的蓝屏原因，那么Win7蓝屏代码0x000000001e怎么解决?为此问题困扰的用户，请来看看Win7…
阅读更多...
开发个好的RTMP播放器到底难在哪里？RTMP播放器对标和考察指标

开发个好的RTMP播放器到底难在哪里？RTMP播放器对标和考察指标

好多开发者提到，RTMP播放器，不知道有哪些对标和考察指标，以下大概聊聊我们的一点经验，感兴趣的，可以关注 github： 1. 低延迟：大多数RTMP的播放都面向直播场景，如果延迟过大&#xf…
阅读更多...
Android平台RTMP/RTSP播放器开发系列之解码和绘制

Android平台RTMP/RTSP播放器开发系列之解码和绘制

本文主要抛砖引玉，粗略介绍下Android平台RTMP/RTSP播放器中解码和绘制相关的部分(Github)。 解码 提到解码，大家都知道软硬解，甚至一些公司觉得硬解码已经足够通用，慢慢抛弃软解了，如果考虑到设备匹配，软…
阅读更多...
Win7图片查看器打印不了图片怎么办

Win7图片查看器打印不了图片怎么办

当我们想浏览电脑中的图片文件时，可以选择系统自带的图片查看器或者第三方看图工具打开，但是有些win7用户发现自己想通过windows图片查看器打印图片却没有反应，Win7图片查看器打印不了图片怎么办?就此剖，下面小编就来教教大家解决…
阅读更多...
最新文章

Copyright @ 2022~2023