一、前言
本文相关的全部源码和RtspSever库，我已打包上传，欢迎大家免费下载，testRTSPSever。
每一个嵌入式视觉算法工程师，都应该有一套属于自己的算法仿真和测试环境。可以方便地进行视频、图像等素材进行在线导入，可以方便地展示算法结果，可以快速地模拟应用场景，进行算法开发。在视频、图像文件等素材的在线导入模块，搭建一个属于自己的RTSP服务器，是一个理想的选择。
作为实时流媒体传输协议，RTSP服务器可无缝对接各类视觉采集设备，支持H.264/H.265编码格式的实时视频流传输，为算法验证提供稳定可靠的输入，降低算法开发过程中由于输入原因带来的困扰。
二、如何选择开源库
经过调研，使用C++搭建RTSP服务器，在安防领域使用频率最高的是Live555开源库。
2.1 Live555
Live555是一个为实时流媒体传输提供完整解决方案的跨平台C++开源框架，其特点可概括如下：
- 完整实现RTSP(实时流控制协议)、RTP/RTCP(实时传输与控制协议)标准协议栈，支持HTTP、SIP等辅助协议扩展。
- 原生支持H.264/H.265、MPEG、JPEG等20+种音视频格式，可通过派生类扩展新型编码。
- 基于RTP协议实现<200ms级低延迟传输，支持自适应码率调节与网络抖动。
- 支持搭建支持100+并发连接的RTSP服务器，应用于网络摄像头推流、视频会议系统。
- 凭借<500KB的轻量化内存占用，适配智能家居、车载终端等资源受限场景。
功能越强大，其框架的开放程度也越高，但是，随之而来的学习成本也变高了。因此，在这里我没有选择Live555，而是选择了一个开放程度较低的RtspSever的开源项目。
2.2 RtspSever
RtspSever是C++11实现的RTSP服务器和推流器，源代码完全开放，可用于嵌入式的交叉编译，也可以在Windows下进编译开发。
RtspSever提供了一个例子，可以截取屏幕进行推流，这正好符合我的需求。因为，截取屏幕就肯定涉及到从内存中获取视频和图像，进行推流。
2.3 FFMPEG
对于视频的编码部分，我选择的是FFMPEG。FFMPEG是一个跨平台开源多媒体处理框架，由多个核心库组成，主要用于音视频编解码、封装转换、流媒体传输等场景。其核心功能与模块包括：
-
libavcode：
提供音视频编解码功能，支持H.264、AAC等主流格式，支持GPU加速。 -
libavformat:
处理音视频封装格式（如MP4、FLV），实现解封装（Demuxing）与封装（Muxing）。 -
libavfilter:
支持音视频滤镜处理，例如添加水印、调整分辨率或音频变声。 -
其他核心模块：
libswscale：图像格式转换（如YUV与RGB互转）；
libavdevice：硬件设备采集与渲染（如摄像头、屏幕录制）
libswresample：音频重采样与格式处理。
FFMPEG广泛应用于视频转码、直播推流、音视频编辑等领域，支持Windows、Linux、macOS等系统，并可通过命令行工具（ffmpeg、ffplay等）快速实现多媒体处理。
FFMPEG的安装和配置，在我的文章VS2022配置FFMPEG有详细介绍，这里不再重复说明。
三、代码详解
在确定好开源库后，接下来的事情就是开工撸代码了。超出了我的预期，我仅仅使用了不到200行的代码就完成了RTSP的服务器。
3.1 代码设计
-
初始化阶段：
- 创建RTSP服务器并绑定端口。
- 定义媒体会话，配置H264视频源。
- 初始化FFmpeg图像转换和H264编码器。
-
主循环阶段：
- 生成测试图像（绿色圆圈动画）。
- 将BGR图像转换为NV12格式。
- 使用H264编码器压缩视频帧。
- 将编码后的数据通过RTSP协议推送。
- 本地窗口显示实时画面。
-
资源释放：
- 退出循环后释放编码器、帧内存等资源。
代码逻辑流程如下图所示：
3.2 代码详解
/* 头文件引入 */
#include <fstream>
#include <iostream>
#include <queue>
#include <mutex>
#include <atomic>
#include <thread>
#include <winsock2.h> // Windows网络库
#include <iphlpapi.h> // IP辅助库
#pragma comment(lib, "ws2_32.lib") // 链接Winsock库
#pragma comment(lib, "iphlpapi.lib") // 链接IP辅助库extern "C" { // FFmpeg库使用C语言接口
#include <libavcodec/avcodec.h> // 音视频编解码
#include <libavformat/avformat.h> // 媒体格式处理
#include <libswscale/swscale.h> // 图像缩放与格式转换
}#include "xop/RtspServer.h" // RTSP服务器库
#include "net/Timer.h" // 定时器
#include "opencv2/opencv.hpp" // OpenCV图像处理库
int main() {/* RTSP服务配置 */std::string suffix = "live"; // 流后缀std::string ip = "192.168.1.14"; // 服务器IPstd::string port = "554"; // RTSP默认端口std::string rtsp_url = "rtsp://" + ip + ":" + port + "/" + suffix; // 完整URL/* 初始化事件循环和RTSP服务器 */std::shared_ptr<xop::EventLoop> event_loop(new xop::EventLoop()); // 创建事件循环std::shared_ptr<xop::RtspServer> server = xop::RtspServer::Create(event_loop.get()); // 创建RTSP服务器实例if (!server->Start("0.0.0.0", atoi(port.c_str()))) { // 启动服务器（监听所有网卡）printf("RTSP Server启动失败，端口：%s\n", port.c_str());return 0;}/* 创建媒体会话 */xop::MediaSession* session = xop::MediaSession::CreateNew("live"); // 创建会话session->AddSource(xop::channel_0, xop::H264Source::CreateNew()); // 添加H264源// 客户端连接/断开回调session->AddNotifyConnectedCallback([](xop::MediaSessionId sessionId, std::string peer_ip, uint16_t peer_port) {printf("客户端连接: IP=%s 端口=%hu\n", peer_ip.c_str(), peer_port);});session->AddNotifyDisconnectedCallback([](...) { /* 类似处理断开事件 */ });xop::MediaSessionId session_id = server->AddSession(session); // 注册会话std::cout << "播放地址: " << rtsp_url << std::endl;/* 视频参数配置 */const int frame_width = 512, frame_height = 512;/* FFmpeg图像转换配置 */SwsContext* sws_ctx = sws_getContext( // 创建颜色空间转换上下文frame_width, frame_height, AV_PIX_FMT_BGR24, // 输入参数（BGR格式）frame_width, frame_height, AV_PIX_FMT_NV12, // 输出参数（NV12格式）SWS_BILINEAR, nullptr, nullptr, nullptr); // 转换算法AVFrame* sws_frame = av_frame_alloc(); // 分配转换后的帧内存// ...（设置sws_frame参数并分配缓冲区）/* H264编码器初始化 */const AVCodec* encoder = avcodec_find_encoder(AV_CODEC_ID_H264); // 查找编码器AVCodecContext* enc_ctx = avcodec_alloc_context3(encoder); // 创建编码器上下文enc_ctx->width = frame_width; // 分辨率enc_ctx->height = frame_height;enc_ctx->time_base = {1, 25}; // 时间基（25FPS）// ...（其他编码参数设置）avcodec_open2(enc_ctx, encoder, nullptr); // 打开编码器/* 主循环 */while (true) {// 生成测试图像（绿色圆圈）cv::Mat frame = cv::Mat::zeros(frame_height, frame_width, CV_8UC3);// ...（绘制动态圆圈）/* BGR转NV12 */sws_scale(sws_ctx, bgr_frame->data, ..., sws_frame->data, ...); /* H264编码 */avcodec_send_frame(enc_ctx, sws_frame); // 发送帧到编码器while (avcodec_receive_packet(enc_ctx, enc_pkt) == 0) { // 接收编码后的包// 封装视频帧并推送到RTSP服务器xop::AVFrame videoFrame = {0};// ...（填充数据并调用PushFrame）}cv::imshow("server", frame); // 显示本地预览cv::waitKey(3); // 等待3ms}/* 资源释放 */av_packet_free(&enc_pkt);av_frame_free(&sws_frame);// ...（其他资源清理）
}
3.3、关键API说明表格
3.3.1. sws_getContext()
| 参数 | 类型 | 说明 |
|---|---|---|
| srcW | int | 源图像宽度 |
| srcH | int | 源图像高度 |
| srcFormat | AVPixelFormat | 源像素格式（如AV_PIX_FMT_BGR24） |
| dstW | int | 目标图像宽度 |
| dstH | int | 目标图像高度 |
| dstFormat | AVPixelFormat | 目标像素格式（如AV_PIX_FMT_NV12） |
| flags | int | 缩放算法（如SWS_BILINEAR） |
| srcFilter | SwsFilter* | 源滤波器（通常为nullptr） |
| dstFilter | SwsFilter* | 目标滤波器（通常为nullptr） |
| param | const double* | 算法参数（通常为nullptr） |
| 功能 | 创建图像缩放/格式转换上下文 | |
| 返回值 | SwsContext* | 转换上下文句柄 |
3.3. 2. avcodec_find_encoder()
| 参数 | 类型 | 说明 |
|---|---|---|
| id | enum AVCodecID | 编码器ID（如AV_CODEC_ID_H264） |
| 功能 | 根据ID查找已注册的编码器 | |
| 返回值 | const AVCodec* | 编码器指针（失败返回NULL） |
3.3.3. avcodec_open2()
| 参数 | 类型 | 说明 |
|---|---|---|
| avctx | AVCodecContext* | 编码器上下文 |
| codec | const AVCodec* | 目标编码器 |
| options | AVDictionary** | 附加选项（通常为nullptr） |
| 功能 | 使用指定编码器初始化上下文 | |
| 返回值 | int | 0成功，负数错误码 |
四、测试
运行程序，使用VLC进行拉流测试：
延时有点大，但是，视频流还是很稳定的。有懂的小伙伴，可以在评论区留言，怎么解决这个延时的问题。
五、小结
- 对小白来说，开源库，选择好入门的，封装程度高的。
- 可以做下一步了，在开发板完成RTSP流的接收和解码。
-大模型电话机器人)
)
