记一次Qt视频监控平台的优化/双击打开分组可能崩溃的BUG/排对打开通道过程中关闭通道可能崩溃的BUG

一、前言说明

通过以前视频监控平台就做了双击打开分组的功能，但是现场也好和本地实际测试也好，都没有出现过难题，而近期在一个集团中测试下来，在双击打开分组的时候很容易蹦，一看每次都是64路同时打开，经常详细测试，发现困难出在两个现象才会发生，一个是分组中有部分通道是离线的，一个是上一个分组还没有全部打开完成，下一个双击触发又开始了，这两者杂交，必触发崩溃，核心就是锁资源竞争了，调用关闭和打开并不是在同一个线程做完的，于是把双击分组的打开也放到videomanage线程处理，其实内部是排队打开，默认间隔0.1s，也可以是0.01s，间隔越短，瞬间占用的CPU越大，如果电脑配置比较好，设置成0也能够能够的，也就是64个通道同时瞬间打开。

最关键的是要在下次分组打开的时候，判断下是不是上一个分组还没有打开搞定，如果没有打开完成，就不用继续，排队打开的时候会记住一个索引，当前打开到哪个通道，假如到了末尾说明全部打开完成，这样再去关闭所有通道再打开下一个分组的视频，就可以了。注意这里的打开完成，并不是要画面都出来，因为通道可能离线，而是采集线程开始采集就可以，无需等待采集到画面。经过这几个改进之后，无论怎么双击怎么多少个通道怎么有离线夹杂其中，都不会再崩溃了。顺带把轮询中的打开也改成了视频管理线程去排队打开，效果非常的棒。离完美又更近了一步。

二、效果图

三、相关地址

1. 国内站点：https://gitee.com/feiyangqingyun
2. 国际站点：https://github.com/feiyangqingyun
3. 个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
4. 文件地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g提取码：01jf 名称：bin_video_system

四、功能特点

4.1 软件模块

1. 视频监控模块，各种停靠小窗体子模块，包括设备列表、图文警情、窗口信息、云台控制、预置巡航、视频轮询、设备控制、悬浮地图、网页浏览等。
2. 视频回放模块，包括本地回放、网络回放、远程回放、图片回放、视频上传等。
3. 电子地图模块，包括图片地图、设备地图、设备移动、轨迹回放等。
4. 日志查询模块，包括本地日志、设备日志等。
5. 系统设置模块，包括架构设置（基础设置、视频参数、数据库设置、颜色安装、功能激活等）、录像机管理、摄像机管理、轮询配置、录像计划、用户管理、其他设置等。

4.2 基础功能

1. 支撑各种音视频流（rtsp、rtmp、http、srt、ws等）、音视频文件（mp4、rmvb、avi等）、本地设备（本地摄像头、麦克风、桌面）。
2. 承受多画面切换，包括1、4、6、8、9、13、16、25、36、64画面切换。
3. 协助全屏切换，多种切换方式包括鼠标右键菜单、工具栏按钮、快捷键（alt+enter全屏，esc退出全屏）。
4. 支撑视频轮询，包括1、4、9、16画面轮询，可设置轮询分组（轮询预案）、轮询间隔、码流类型等。
5. 支持onvif协议，包括设备搜索、云台控制、预置位管理、设备控制（图片参数、校对时间、系统重启、抓拍图片、OSD配置、网络配置等）。
6. 支持权限管理，不同的用户可以对应不同的模块权限，比如删除日志、关闭系统等。
7. 数据库支持多种，包括sqlite、mysql、sqlserver、postgresql、oracle、人大金仓等。
8. 支持本地设备采集比如本地桌面和摄像头，支持设置分辨率、帧率等参数，支持多屏幕。
9. 所有停靠模块都自动生成对应的菜单用来控制显示和隐藏，在标题栏右键可以弹出。
10. 承受呈现所有模块、隐藏所有模块、复位普通布局、复位全屏布局。
11. 支持图片地图和网页地图上双击设备图标弹出实时预览。
12. 摄像机节点拖曳到对应窗体播放视频，同时支持拖曳本地记录直接播放。
13. 设备树双击分组打开对应分组下的所有视频，双击设备子节点直接打开对应设备视频流。自动加载最终展开的节点。
14. 设备树支持自定义配备，可以添加分组、删除分组、修改分组，任意层级设置。
15. 设备树可以开启是否放大字体显示、是否展示主码流子码流节点、是否隐藏空组（没有设备的分组自动隐藏）。
16. 删除视频支持鼠标右键删除、悬浮条关闭删除、拖曳到视频监控面板外删除等多种方式。
17. 图片地图上设备按钮可自由拖动，自动保存位置信息。地图上行鼠标单击获取经纬度信息，用来更新设备位置。
18. 视频监控面板窗体中任意通道拥护拖曳交换，瞬间响应。
19. 网页地图支持视图切换、运动轨迹表明、设备点位，鼠标按下获取经纬度等。
20. 双击节点、拖曳节点、拖曳窗体交换位置等操作，均自动更新保存最后的播放地址，下次软件打开自动应用。
21. 右下角音量条控件，失去焦点自动隐藏，音量条带静音图标，自动记忆末了的音量及静音状态。
22. 支持视频截图，可指定单个或者对所有通道截图，底部小工具栏也有截图按钮，每个视频控件悬浮条也有抓拍按钮。
23. 支持辅屏预览，许可打开多个，在多个屏幕分别打开64通道，按需显示视频。
24. 支持超时自动隐藏鼠标指针、自动全屏机制。
25. 支持onvif云台控制，可上下左右移动云台摄像机，包括复位和焦距调整等。
26. 支持onvif预置位，可能添加、删除、修改预置位，可以调用起始位。
27. 通过支持OSD增删改查，能够通过onvif协议添加及修改OSD信息。
28. 承受onvif图像参数设置，包括明亮度、对比度、饱和度、尖锐度等。
29. 支持onvif其他运行，包括抓图、网络设置、校时、重启、事件订阅等。
30. 支持任意onvif摄像机，包括但不限于海康、大华、宇视、天地伟业、华为等。
31. 可保存视频，可凭借录像计划存储，也可在悬浮条手动切换开始录像和停止录像。
32. 可设置视频流通信方式tcp或udp，可设置视频解码是速度优先、质量优先、均衡处理、最快速度等。
33. 可设置软件中文名称、英文名称、LOGO图标等。
34. 存储的视频文件帮助导出到指定目录，承受批量上传到服务器。
35. 完善的录像计划设置，支撑每个通道7 * 24小时每半小时设置是否存储录像。
36. 音视频同步显示以及音视频同步存储到MP4档案。

4.3 特色作用

1. 主界面采用停靠窗体模式，各种组件以小模块的形式加入，可自定义任意模块加入。
2. 停靠模块可拖动任意位置嵌入和悬浮，拥护最大化全屏，支持多屏幕。
3. 双重布局文件存储机制，正常模式、全屏模式都对应不同的布局方案，自动切换和保存，比如全屏模式行突出几个模块透明展示在指定位置，更具科幻感现代化。
4. 原创onvif协议机制，采用底层协议解析（udp广播搜索+http请求执行命令）更轻量易懂易学习拓展，不依赖任何第三方组件比如gsoap。
5. 原创数据导入、导出、打印机制，跨平台不依赖任何组件，瞬间导出数据。
6. 内置多个原创组件，宇宙超值超级牛逼，包括材料导入导出组件（导出到xls、pdf、打印）、数据库组件（数据库管理线程、自动清理数据线程、万能分页、数据请求等）、地图组件、视频监控组件、文件多线程收发组件、onvif通信组件、通用浏览器内核组件等。
7. 自定义信息框、错误框、询问框、右下角提示框（包含多种格式）等。
8. 精美换肤，高达20套皮肤样式随意更换，所有样式全部统一，包括菜单等。
9. 选中通道对应设备树节点高亮，选中通道节点对应视频控件高亮，方便查看当前通道信息。
10. 视频控件悬浮条可以自行增加多个按钮，监控界面底部小工具栏也可自行增加按钮。
11. 双击摄像机节点自动播放视频，双击节点自动依次添加视频，会自动跳到下一个，双击父节点自动添加该节点下的所有视频。可选主码流、子码流。
12. 录像机管理、摄像机管理，可添加删除修改导入导出打印信息，立即应用新的设备信息生成树状列表，不需重启。
13. 摄像机搜索支持一键搜索和批量添加，承受onvif的NVR一键添加子设备，可以手动设置开始地址和数量一键生成摄像机信息。
14. 可选多种内核自由切换，ffmpeg、vlc、mpv等，均可在pro中设置。推荐用ffmpeg，跨平台最多，默认供应好了linux和mac平台上编译好的库。
15. 支撑windows、linux、macos等系统硬解码，还支持嵌入式linux RKMPP硬解码，可设置硬解码类型（dxva2、d3d11va、vaapi、vdpau等）。
16. 各种模块可能勾选是否激活，方便根据实际需求搭配各种组合，比如隐藏电子地图模块，隐藏远程回放模块只保留本地回放等。
17. 尽最大化可能，将常用的功能封装接口，全局静态函数调用，极其容易使用，提供各种采用示例，方便用户二开。
18. 默认采用opengl绘制视频，超低的CPU资源占用，支持yuyv和nv12两种格式绘制，性能爆表。
19. 标签和图形信息支持三种绘制方式，绘制到遮罩层、绘制到图片、源头绘制（对应信息可以存储到资料）。
20. 包括但不限于视频监控内核组件的所有效果，可参阅说明书中功能介绍 [视频监控内核](###8.1 视频监控内核)。
21. 高度可定制化，用户许可很方便的在此基础上衍生自己的功能，比如增加自定义模块，增加运行模式、机器人监控、无人机监控、挖掘机监控、广播监控等。
22. 支持xp、win7、win10、win11、linux、mac、各种国产体系（UOS、中标麒麟、银河麒麟等）、嵌入式linux等系统。
23. 注释完整，项目结构清晰，超级详细完整的使用制作手册，精确到每个代码文件的能力说明，不断持续迭代版本。

五、相关代码

#include "videomanage.h"
#include "abstractsavethread.h"
#include "abstractvideothread.h"
QScopedPointer<VideoManage> VideoManage::self;VideoManage *VideoManage::Instance(){if (self.isNull()) {static QMutex mutex;QMutexLocker locker(&mutex);if (self.isNull()) {self.reset(new VideoManage);}}return self.data();}VideoManage::VideoManage(QObject *parent) : QThread(parent){stopped = false;openIndex = -1;openInterval = 100;saveVideo = true;recordPath = "./video_normal";snapPath = "./image_normal";this->initPath();//由于解码线程中的打印信息比较多/可以临时关闭打印信息/方便查看其他打印信息//AbstractSaveThread::debugInfo = 0;//AbstractVideoThread::debugInfo = 0;}VideoManage::~VideoManage(){this->stop();}bool VideoManage::isEmpty(){bool empty = true;foreach (QString url, mediaUrls) {if (!url.isEmpty()) {empty = false;break;}}return empty;}bool VideoManage::isOpenFinsh(){if (this->isEmpty()) {return true;} else {return this->openIndex >= videoWidgets.count();}}void VideoManage::run(){//每次复位表示从头开始openIndex = -1;//默认时间搞个早期时间保证每次都是正确计算lastRecordTime = QDateTime::fromString("1970-01-01 00:00:00", "yyyy-MM-dd hh:mm:ss");//校验下数量是否一致int count1 = mediaUrls.count();int count2 = videoWidgets.count();int count3 = recordTimes.count();if (count1 == 0 || count2 == 0 || count3 == 0 || count1 != count2 || count2 != count3) {stopped = false;return;}//校验有没有地址if (this->isEmpty()) {stopped = false;return;}//线程中不断的打开画面或者校验录像文件存储while (!stopped) {this->openVideo();this->checkRecord();msleep(1);}stopped = false;}QList<VideoWidget *> VideoManage::getVideoWidgets(){return this->videoWidgets;}VideoWidget *VideoManage::getVideoWidget(const QString &rtspMain, const QString &rtspSub){foreach (VideoWidget *videoWidget, videoWidgets) {QString url = videoWidget->getVideoPara().mediaUrl;if (url == rtspMain || url == rtspSub) {return videoWidget;}}return 0;}void VideoManage::openVideo(){openIndex++;if (openIndex < videoWidgets.count()) {//判断是否到末尾发送打开完成信号if (openIndex == videoWidgets.count() - 1) {emit openFinsh();//qDebug() << TIMEMS << "全部打开完成";}//立即跳过地址为空的QString url = mediaUrls.at(openIndex);if (url.isEmpty()) {return;}//异步执行打开VideoWidget *videoWidget = videoWidgets.at(openIndex);QMetaObject::invokeMethod(videoWidget, "open", Q_ARG(QString, url));msleep(openInterval);}}void VideoManage::initPath(){//默认录像文件和截图文件存放路径//在线程中会实时更新/不用担心日期变了目录没变VideoWidget::recordPath = recordPath + "/" + QDATE;VideoWidget::snapPath = snapPath + "/" + QDATE;}void VideoManage::doRecord(VideoWidget *videoWidget, const QDateTime &dateTime){//运行阶段才能开启录像if (!videoWidget->getIsRunning() || !saveVideo) {return;}//取出星期几/默认星期一对应值是1而不是0/所有这里要减去1int recordWeek = dateTime.date().dayOfWeek() - 1;//取出当前时间对应录像计划一天中所在的格子int hour = dateTime.time().hour();int min = dateTime.time().minute();int recordIndex = (hour * 2) + (min < 30 ? 0 : 1);//qDebug() << TIMEMS << "录像计划" << videoWidget->getWidgetPara().videoFlag << recordWeek << recordIndex;//设置录像文件格式videoWidget->getVideoThread()->setSaveVideoType(SaveVideoType_Mp4);videoWidget->getVideoThread()->setSaveAudioType(SaveAudioType_None);//从录像计划表中找出对应的计划int index = videoWidgets.indexOf(videoWidget);QStringList recordTime = recordTimes.at(index);QString time = recordTime.at(recordWeek);QStringList list = time.split(",");bool needRecord = (list.at(recordIndex) == "1");if (needRecord) {QString path = recordPath + "/" + QDATE;QString fileName = QString("%1/ch%2_%3.mp4").arg(path).arg(index + 1, 2, 10, QChar('0')).arg(STRDATETIMEMS);videoWidget->recordStart(fileName);}}void VideoManage::receivePlayStart(int time){lastRecordTime = QDateTime::currentDateTime();VideoWidget *videoWidget = (VideoWidget *)sender();this->doRecord(videoWidget, lastRecordTime);}void VideoManage::checkRecord(){//如果还在打开阶段则不用继续if (openIndex < videoWidgets.count()) {return;}//没有开启录像存储则不处理if (!saveVideo) {msleep(1000);return;}//计算离最后一次开启录像的时间差值(防止频繁执行)QDateTime now = QDateTime::currentDateTime();int offset = lastRecordTime.secsTo(now);if (offset > 60) {//无论是否需要录像到整半点就处理一下int min = now.time().minute();int sec = now.time().second();//这里设定一个目标秒数可以用于校准时间精确到秒(偏差几秒就填几/默认无偏差就是0)int target = 0;if ((min == 0 || min == 30) && sec >= target) {lastRecordTime = now;//先对所有的通道停止录像/再去判断是否需要录像再开启录像foreach (VideoWidget *videoWidget, videoWidgets) {videoWidget->recordStop();this->doRecord(videoWidget, now);}}this->initPath();}msleep(1000);}void VideoManage::setMediaUrls(const QStringList &mediaUrls){this->mediaUrls = mediaUrls;}void VideoManage::setVideoWidgets(QList<VideoWidget *> videoWidgets){//关联打开成功信号开启录像/末尾参数用来过滤只关联一次this->videoWidgets = videoWidgets;foreach (VideoWidget *videoWidget, videoWidgets) {connect(videoWidget, SIGNAL(sig_receivePlayStart(int)), this, SLOT(receivePlayStart(int)), Qt::UniqueConnection);}}void VideoManage::setRecordTimes(const QList<QStringList> &recordTimes){this->recordTimes = recordTimes;}void VideoManage::setOpenInterval(int openInterval){if (openInterval >= 0 && openInterval < 3000) {this->openInterval = openInterval;}}void VideoManage::setSaveVideo(bool saveVideo){this->saveVideo = saveVideo;}void VideoManage::setPath(const QString &recordPath, const QString &snapPath){this->recordPath = recordPath;this->snapPath = snapPath;this->initPath();}void VideoManage::stop(){//处于运行状态才可以停止if (this->isRunning()) {stopped = true;this->wait();}//关闭所有视频foreach (VideoWidget *videoWidget, videoWidgets) {videoWidget->stop();}}