Qt/C++开发监控GB28181系统/实时视频预览/视频点播/rtp解包解码显示

一、前言

通过gb28181做实时视频预览，也就是视频点播功能，是最重要的功能了，绝对是整个系统排第一重要的，这就是核心功能，什么设备注册、获取通道等都是为了实时预览做准备的，当然这个功能也是最难的，所有搞gb28181开发的程序员，都是卡在这里很长一段时间才搞定，因为这个视频点播的交互流程比较绕，很多人看到这个绕就心烦，心烦就没办法继续写下去，我也是静下来心来很长一段时间才折腾好。对比onvif协议取流，不要太简单，onvif直接获取到的是rtsp视频流地址，这个直接用ffmpeg或者vlc等就可以直接播放打开了，什么都不要自己交互。而gb这边就要分很多步骤，就算最后一步完成后，拿到了传过来的rtp包，有需要自己去解包，解包后再去发给ffmpeg等组件解码才能最终呈现视频，既有sip命令的交互，又是rtp包的解析，又是ps流转成264265格式，最后才是解码，意味着一旦断开，相关的三种交互都需要做处理。

很多人一开始sip命令交互后，通过打开网络调试助手，可以看到对应的数据包，然后就不知道下一步该如何搞了，我一开始也是以为这个包发给ffmpeg就能解码，发现画面完全不对，而且不动，查阅资料得知，原来这里的并不是ws或者flv这种就是264265的音视频数据包，而是rtp包，需要重新解包才行。话说回来，为何不直接传输裸流数据？为了可以共用端口吗？rtp包通过ssrc区分是哪一路流，感觉有点得不偿失，还是希望后续能够直接支持的就是裸流数据，这样跳过解包这个步骤。

为了能够简化整个操作，专门封装了一个gb28181widget窗体类，只需要调用openvideo就能打开预览，closevideo就是关闭预览，屏蔽了多个操作交互细节，比如打开视频第一步是打开监听端口，第二步把这个端口号信息告知设备，第三步应答ok准备好收流，第四步收到的流发给rtp线程解包，第五步解包后的数据发给ffmpeg解码，第六步解码后的数据发给qopenglwidget绘制。封装了这个控件后，视频回放那边也可以直接复用这个，使用非常方便了。

//点播请求：服务端-》设备端
INVITE sip:34020000001310000001@192.168.0.64:5060 SIP/2.0
Via: SIP/2.0/UDP 192.168.0.110:15060;branch=z3hG9bK4de987b1737d494d9c63bb1464c9cdcb
From: <sip:34020000002000000001@192.168.0.110:15060>;tag=1034
To: <sip:34020000001310000001@192.168.0.64:5060>
Call-ID: 445efb2b5134487788334cd6acafe0a2
CSeq: 35 INVITE
User-Agent: wx_feiyangqingyun
Max-Forwards: 70
Content-Length: 323
Content-Type: application/sdp
Contact: <sip:34020000002000000001@192.168.0.110:15060>
Subject: 34020000001310000001:0000010000,34020000002000000001:0v=0
o=34020000001310000001 0 0 IN IP4 192.168.0.110
s=Play
u=34020000001310000001:0
c=IN IP4 192.168.0.110
t=0 0
m=video 8888 TCP/RTP/AVP 96 97 98
a=recvonly
a=setup:active
a=connection:new
a=rtpmap:96 PS/90000
a=rtpmap:97 MPEG4/90000
a=rtpmap:98 H264/90000
a=downloadspeed:0
a=streamprofile:0
y=0000010000//请求应答：设备端-》服务端
SIP/2.0 200 OK
Via: SIP/2.0/UDP 192.168.0.110:15060;branch=z3hG9bK4de987b1737d494d9c63bb1464c9cdcb
From: <sip:34020000002000000001@192.168.0.110:15060>;tag=1034
To: <sip:34020000001310000001@192.168.0.64:5060>;tag=1561889054
Call-ID: 445efb2b5134487788334cd6acafe0a2
CSeq: 35 INVITE
Contact: <sip:34020000001320000002@192.168.0.64:5060>
Content-Type: application/sdp
User-Agent: IP Camera
Content-Length:   206v=0
o=34020000001320000002 2851 2851 IN IP4 192.168.0.64
s=Play
c=IN IP4 192.168.0.64
t=0 0
m=video 15060 TCP/RTP/AVP 96
a=setup:passive
a=sendonly
a=rtpmap:96 PS/90000
a=filesize:0
y=0000010000//开始点播：服务端-》设备端
ACK sip:34020000001320000002@192.168.0.64:5060 SIP/2.0
Via: SIP/2.0/UDP 192.168.0.110:15060;branch=z3hG9bK4de987b1737d494d9c63bb1464c9cdcb
From: <sip:34020000002000000001@192.168.0.110:15060>;tag=1034
To: <sip:34020000001310000001@192.168.0.64:5060>;tag=1561889054
Call-ID: 445efb2b5134487788334cd6acafe0a2
CSeq: 35 ACK//结束点播：服务端-》设备端
BYE sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Via: SIP/2.0/UDP 192.168.0.110:15060;branch=z3hG9bK7fe7407471734ba087eb4092db6ba108
From: <sip:34020000002000000001@192.168.0.110:15060>;tag=1019
To: <sip:34020000001310000001@192.168.0.100:5061>;tag=6d76ea76a4370853c9313f69995c7293
Call-ID: b5b5f90ba9b044868789d16fa3d0cc36
CSeq: 22 BYE
Contact: <sip:34020000002000000001@192.168.0.110:15060>

二、效果图

在这里插入图片描述

三、相关地址

国内站点：https://gitee.com/feiyangqingyun
国际站点：https://github.com/feiyangqingyun
个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
文件地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_gb28181。

四、功能特点

支持设备注册、注销、心跳、校时、注册认证、注销认证等。
设备上线后可以手动获取设备状态、设备信息、配置信息、预置位信息等。
设备上线后自动获取设备通道信息，包括中文通道名称。识别到通道上线离线变化，会重新获取该设备的所有通道信息。
支持视频点播，可以分别点播主码流和子码流，内置rtp解包线程，解包后发给视频播放组件解码播放。
每个设备每个通道支持点播多个视频，通过ssrc区分，支持共用端口和不同端口收流。
支持对某个设备下面所有通道、某个通道、某个通道对应的某个流分别关闭。
支持录像文件查询和回放，回放控制支持暂停播放、继续播放、倍速播放、切换播放进度。
支持录像文件下载，支持倍速比如8倍速下载，可同时多线程批量下载。
回放和下载同时支持IPC和NVR，比如摄像头自带的SD存储卡录像文件回放，NVR上的硬盘录像文件回放。
支持云台控制，向上、向下、向左、向右、左上、右上、左下、右下方位移动，镜头放大缩小，光圈放大缩小，镜头聚焦放焦。
支持预置位信息的查询、调用、添加、修改、删除等操作。
自动目录订阅功能，通道上线下线都有对应的信号通知。
内置定时读取通道信息机制，以保证通道信息是最新的，比如有些NVR是不断更新的通道信息。
内置订阅警情和位置移动功能，订阅后各种警情事件比如运动目标检测报警、入侵检测报警、徘徊检测报警等自动上报。
支持语音对讲功能，可以直接在视频窗体的悬浮条上单击语音对讲按钮，再次单击关闭对讲，对讲期间悬浮条常驻显示。
支持设备布防撤防，布防后警情信息会主动上报。
国标服务同时支持udp和tcp方式，可选只监听一种或者两种都监听，tcp方式自动处理粘包问题。
国标拉流同时支持udp、tcp被动、tcp主动三种方式，每个通道都可以自由选择何种拉流方式。
内置拉流端口池，每次拉流从中取出一个，关闭流自动回收端口号，重复利用。
收流端口自动纠错，自动跳过被占用的端口，不会出现端口占用导致收流失败的情况。
视频播放自适应硬解码，极低资源占用，实时性极好，带悬浮条显示视频流信息，可以直接在悬浮条单击按钮保存录像文件到本地。
支持几千路国标消息交互并发，实时视频流支持64路同时显示，可以拓展更多路数。
支持阿里云等云服务器，可以分别设置内网监听地址和外网访问地址，一般云服务器上是监听地址用内网，对外访问用外网地址。
支持视频分发，也就是推流，视频通道打开后可以自动推流到流媒体服务器，其他需要的地方拉流即可，支持rtsp、rtmp、hls、webrtc等方式拉流。
同时支持gb28181-2011、gb28181-2016、gb28181-2022以及后续可能的所有协议版本。
SIP解析和交互采用纯Qt底层代码实现，udp/tcp通信交互，祖传原创代码解析，不依赖任何第三方。
代码量少，gb28181交互部分共几千行代码，注释详细，接口友好，使用极其简单，提供非常详细的使用示例。
支持海康、大华、宇视、华为、天地伟业等所有国标设备，包括一些没有ssrc的设备。
支持所有Qt版本和编译器以及操作系统，包括但不限于win、linux、mac、android、嵌入式linux、树莓派香橙派、国产os等。

五、相关代码

#include "rtphelper.h"
#include "rtpthreadreceive.h"RtpThreadReceive::RtpThreadReceive(QObject *parent) : RtpThreadBase(parent)
{}int RtpThreadReceive::getTimestamp()
{return 10;
}void RtpThreadReceive::run()
{this->stopped = false;RTPSession session;RTPAbortDescriptors descriptors;QTcpServer server;QTcpSocket socket;//根据不同的传输模式初始化bool ok = false;if (mode == 0) {ok = RtpHelper::initUdpServer(this, status, &session);} else if (mode == 1) {ok = RtpHelper::initTcpServer(this, status, &session, &descriptors, &server);} else if (mode == 2) {ok = RtpHelper::initTcpClient(this, status, &session, &descriptors, &socket);}//初始化失败则不用继续if (!ok) {emit receiveError(status);goto end;}//循环取出数据while (!stopped) {session.BeginDataAccess();if (session.GotoFirstSourceWithData()) {do {RTPPacket *packet;while ((packet = session.GetNextPacket()) != NULL) {pts = packet->GetTimestamp() / 9000;quint32 ssrc = session.GetCurrentSourceInfo()->GetSSRC();//qDebug() << TIMEMS << ssrc << packet->GetPayloadLength() << packet->GetSequenceNumber() << packet->HasMarker();QByteArray data((const char *)packet->GetPayloadData(), packet->GetPayloadLength());emit receiveData(data, ssrc);session.DeletePacket(packet);}} while (session.GotoNextSourceWithData());}session.EndDataAccess();msleep(1);}end:socket.disconnectFromHost();server.close();session.BYEDestroy(RTPTime(10, 0), 0, 0);this->free();
}bool RtpHelper::initUdpServer(RtpThreadBase *thread, int &status, RTPSession *session)
{QString host = thread->getServerIp();int port = thread->getServerPort();int timestamp = thread->getTimestamp();bool send = thread->inherits("RtpThreadSend");RTPSessionParams sessparams;sessparams.SetOwnTimestampUnit(1.0 / timestamp);//绑定要监听的地址和端口RTPUDPv4TransmissionParams transparams;transparams.SetBindIP(QHostAddress(host).toIPv4Address());transparams.SetPortbase(port);//发送端还需要设置ssrcif (send) {sessparams.SetUsePredefinedSSRC(true);sessparams.SetPredefinedSSRC(1);}//循环监听对应端口/直到监听成功int max = 100;while (max > 0 && (status = session->Create(sessparams, &transparams)) < 0) {RtpHelper::debugErr(status, host, port);port = RtpHelper::takePort();transparams.SetPortbase(port);thread->sleepx(1);max--;}if (status < 0) {return false;}//通知外部打开成功qDebug() << TIMEMS << "bindUdpServer" << host << port;thread->openFinsh(port);//语音对讲还需要设置发送端if (send) {if (!RtpHelper::initUdpClient(thread, status, session)) {return false;}} else {qDebug() << TIMEMS << "initUdpServer" << host << port;}return true;
}