音视频入门基础：RTP专题（9）——FFmpeg接收RTP流的原理和内部实现

一、引言

由《音视频入门基础：RTP专题（2）——使用FFmpeg命令生成RTP流》可以知道，推流端通过下面FFmpeg命令可以将一个媒体文件转推RTP，生成RTP流：

ffmpeg -re -stream_loop -1 -i input.mp4 -vcodec copy -an -f rtp rtp://192.168.0.103:6005 -acodec copy -vn -sdp_file XXX.sdp -f rtp rtp://192.168.0.103:7005

接收端通过命令：ffmpeg -protocol_whitelist "file,rtp,udp" -i XXX.sdp 可以查看生成的RTP流的信息：

由《音视频入门基础：RTP专题（8）——使用Wireshark分析RTP》可以知道，上述推流端的本质是创建了一个UDP客户端，将媒体文件input.mp4的视频数据发送到IP为192.168.0.103的UDP服务器的6005端口，音频数据发送到该UDP服务器的7005端口。与之对应，接收端的本质是创建了一个UDP服务器来接收推流端发送的基于UDP的RTP数据。下面讲述接收端的FFmpeg，其源码中接收RTP流的内部实现。

二、FFmpeg接收RTP流的内部实现

（一）给addrinfo结构赋值

当音视频流为RTP流时，FFmpeg的avformat_open_input函数内部会调用rtp_open函数，而rtp_open函数的底层又会调用udp_open函数，udp_open函数内部又调用了udp_socket_create函数：

/* put it in UDP context */
/* return non zero if error */
static int udp_open(URLContext *h, const char *uri, int flags)
{
//...udp_fd = udp_socket_create(h, &my_addr, &len, s->localaddr);
//...
}

udp_socket_create函数内部会通过语句：

res0 = ff_ip_resolve_host(h, (localaddr && localaddr[0]) ? localaddr : NULL,s->local_port,SOCK_DGRAM, family, AI_PASSIVE) 根据给定的主机名和需要创建的UDP服务器的端口，返回一个struct addrinfo结构，从而给addrinfo结构赋值。其中localaddr包含主机名，s->local_port为UDP服务器的端口，该端口号来源于推流端的FFmpeg命令生成的SDP文件中的端口信息：

static int udp_socket_create(URLContext *h, struct sockaddr_storage *addr,socklen_t *addr_len, const char *localaddr)
{UDPContext *s = h->priv_data;int udp_fd = -1;struct addrinfo *res0, *res;int family = AF_UNSPEC;if (((struct sockaddr *) &s->dest_addr)->sa_family)family = ((struct sockaddr *) &s->dest_addr)->sa_family;res0 = ff_ip_resolve_host(h, (localaddr && localaddr[0]) ? localaddr : NULL,s->local_port,SOCK_DGRAM, family, AI_PASSIVE);if (!res0)goto fail;for (res = res0; res; res=res->ai_next) {if (s->udplite_coverage)udp_fd = ff_socket(res->ai_family, SOCK_DGRAM, IPPROTO_UDPLITE, h);elseudp_fd = ff_socket(res->ai_family, SOCK_DGRAM, 0, h);if (udp_fd != -1) break;ff_log_net_error(h, AV_LOG_ERROR, "socket");}if (udp_fd < 0)goto fail;memcpy(addr, res->ai_addr, res->ai_addrlen);*addr_len = res->ai_addrlen;freeaddrinfo(res0);return udp_fd;fail:if (udp_fd >= 0)closesocket(udp_fd);if(res0)freeaddrinfo(res0);return -1;
}

ff_ip_resolve_host函数定义在libavformat/ip.c中，可以看到其内部通过getaddrinfo函数根据给定的主机名和服务名，返回一个struct addrinfo结构。关于getaddrinfo函数的用法可以参考：《百度百科——getaddrinfo》：

struct addrinfo *ff_ip_resolve_host(void *log_ctx,const char *hostname, int port,int type, int family, int flags)
{struct addrinfo hints = { 0 }, *res = 0;int error;char sport[16];const char *node = 0, *service = "0";if (port > 0) {snprintf(sport, sizeof(sport), "%d", port);service = sport;}if ((hostname) && (hostname[0] != '\0') && (hostname[0] != '?')) {node = hostname;}hints.ai_socktype = type;hints.ai_family   = family;hints.ai_flags    = flags;if ((error = getaddrinfo(node, service, &hints, &res))) {res = NULL;av_log(log_ctx, AV_LOG_ERROR, "getaddrinfo(%s, %s): %s\n",node ? node : "unknown",service,gai_strerror(error));}return res;
}

执行完上述操作后，udp_open函数中的变量my_addr会得到主机名和需要创建的UDP服务器的端口信息：

/* put it in UDP context */
/* return non zero if error */
static int udp_open(URLContext *h, const char *uri, int flags)
{
//...udp_fd = udp_socket_create(h, &my_addr, &len, s->localaddr);
//...
}

（二）创建套接字

给addrinfo结构赋值后，udp_socket_create函数内部会执行语句：udp_fd = ff_socket(res->ai_family, SOCK_DGRAM, 0, h) 来创建套接字，SOCK_DGRAM表示是基于UDP：

static int udp_socket_create(URLContext *h, struct sockaddr_storage *addr,socklen_t *addr_len, const char *localaddr)
{
//...res0 = ff_ip_resolve_host(h, (localaddr && localaddr[0]) ? localaddr : NULL,s->local_port,SOCK_DGRAM, family, AI_PASSIVE);
//...for (res = res0; res; res=res->ai_next) {if (s->udplite_coverage)udp_fd = ff_socket(res->ai_family, SOCK_DGRAM, IPPROTO_UDPLITE, h);elseudp_fd = ff_socket(res->ai_family, SOCK_DGRAM, 0, h);if (udp_fd != -1) break;ff_log_net_error(h, AV_LOG_ERROR, "socket");}
//...
}

 ff_socket函数定义在libavformat/network.c中，可以看到该函数内部通过socket函数创建了套接字。音视频流为RTP的情况下，形参type的值为SOCK_DGRAM，所以此时创建的是UDP套接字：


int ff_socket(int af, int type, int proto, void *logctx)
{int fd;#ifdef SOCK_CLOEXECfd = socket(af, type | SOCK_CLOEXEC, proto);if (fd == -1 && errno == EINVAL)
#endif{fd = socket(af, type, proto);
#if HAVE_FCNTLif (fd != -1) {if (fcntl(fd, F_SETFD, FD_CLOEXEC) == -1)av_log(logctx, AV_LOG_DEBUG, "Failed to set close on exec\n");}
#endif}
#ifdef SO_NOSIGPIPEif (fd != -1) {if (setsockopt(fd, SOL_SOCKET, SO_NOSIGPIPE, &(int){1}, sizeof(int))) {av_log(logctx, AV_LOG_WARNING, "setsockopt(SO_NOSIGPIPE) failed\n");}}
#endifreturn fd;
}

（三）绑定套接字

创建完UDP套接字后，udp_open函数中会通过bind函数绑定上述创建的UDP套接字到my_addr上。从上面我们已经可以知道，my_addr包含需要创建的UDP服务器的端口信息：

​/* put it in UDP context */
/* return non zero if error */
static int udp_open(URLContext *h, const char *uri, int flags)
{
//...udp_fd = udp_socket_create(h, &my_addr, &len, s->localaddr);
//.../* bind to the local address if not multicast or if the multicast* bind failed *//* the bind is needed to give a port to the socket now */if (bind_ret < 0 && bind(udp_fd,(struct sockaddr *)&my_addr, len) < 0) {ff_log_net_error(h, AV_LOG_ERROR, "bind failed");ret = ff_neterrno();goto fail;}
//...
}​

（四）监视文件描述符是否可读并接收数据

绑定完套接字后，FFmpeg的avformat_find_stream_info函数底层会调用rtp_read函数，而rtp_read函数内部会通过poll函数监视文件描述符（上述创建的UDP套接字）是否可读。如果可读，那就通过recvfrom函数接收UDP数据：

static int rtp_read(URLContext *h, uint8_t *buf, int size)
{RTPContext *s = h->priv_data;int len, n, i;struct pollfd p[2] = {{s->rtp_fd, POLLIN, 0}, {s->rtcp_fd, POLLIN, 0}};int poll_delay = h->flags & AVIO_FLAG_NONBLOCK ? 0 : POLLING_TIME;struct sockaddr_storage *addrs[2] = { &s->last_rtp_source, &s->last_rtcp_source };socklen_t *addr_lens[2] = { &s->last_rtp_source_len, &s->last_rtcp_source_len };int runs = h->rw_timeout / 1000 / POLLING_TIME;for(;;) {if (ff_check_interrupt(&h->interrupt_callback))return AVERROR_EXIT;n = poll(p, 2, poll_delay);if (n > 0) {/* first try RTCP, then RTP */for (i = 1; i >= 0; i--) {if (!(p[i].revents & POLLIN))continue;*addr_lens[i] = sizeof(*addrs[i]);len = recvfrom(p[i].fd, buf, size, 0,(struct sockaddr *)addrs[i], addr_lens[i]);if (len < 0) {if (ff_neterrno() == AVERROR(EAGAIN) ||ff_neterrno() == AVERROR(EINTR))continue;return AVERROR(EIO);}if (ff_ip_check_source_lists(addrs[i], &s->filters))continue;return len;}} else if (n == 0 && h->rw_timeout > 0 && --runs <= 0) {return AVERROR(ETIMEDOUT);} else if (n < 0) {if (ff_neterrno() == AVERROR(EINTR))continue;return AVERROR(EIO);}if (h->flags & AVIO_FLAG_NONBLOCK)return AVERROR(EAGAIN);}
}

三、总结

1.从上面的代码分析可以看出来，接收端的FFmpeg接收RTP数据，其原理就是创建了一个UDP服务器来接收推流端发送的基于UDP的RTP数据，本质就是接收UDP数据。该UDP服务器的实现原理跟《Linux下使用poll函数编写UDP客户端、服务器程序》中展示的UDP服务器是一样的，都是调用了socket、bind、poll、recvfrom这几个函数。

2.跟普通的UDP服务器相比，FFmpeg接收RTP流时创建的UDP服务器，其端口来源于推流端的FFmpeg命令生成的SDP文件中的端口信息。也就是说此时的流程是UDP客户端先被创建，然后服务器才创建。所以可以实现推流端先推流（UDP客户端先发送音视频数据，不管服务器有没有接收到），接收端再接收RTP音视频数据。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/70102.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

matlab 三维时频图绘制

matlab 三维时频图绘制

1、内容简介 matlab146-三维时频图绘制 可以交流、咨询、答疑 2、内容说明 略 3、仿真分析 略 4、参考论文 略
阅读更多...
基于 Ollama 工具的 LLM 大语言模型如何部署，以 DeepSeek 14B 本地部署为例

基于 Ollama 工具的 LLM 大语言模型如何部署，以 DeepSeek 14B 本地部署为例

简简单单 Online zuozuo ：本心、输入输出、结果 文章目录 基于 Ollama 工具的 LLM 大语言模型如何部署，以 DeepSeek 14B 本地部署为例前言下载 Ollama实际部署所需的硬件要求设置 LLM 使用 GPU ，发挥 100% GPU 性能Ollama 大模型管理命令大模型的实际运行资源消耗基于 Ollam…
阅读更多...
PAT乙级( 1018 锤子剪刀布)C语言超详细解析

PAT乙级( 1018 锤子剪刀布)C语言超详细解析

文章目录 1018 锤子剪刀布 1018 锤子剪刀布 大家应该都会玩“锤子剪刀布”的游戏&#xff1a;两人同时给出手势&#xff0c;胜负规则如图所示&#xff1a; 现给出两人的交锋记录&#xff0c;请统计双方的胜、平、负次数&#xff0c;并且给出双方分别出什么手势的胜算最大。 输入…
阅读更多...
2025 年 2 月 TIOBE 指数

2025 年 2 月 TIOBE 指数

2025 年 2 月 TIOBE 指数 二月头条：快，更快，最快！ 现在，世界需要每秒处理越来越多的数字，而硬件的发展速度却不够快，程序的速度变得越来越重要。话虽如此，快速编程语言在 TIOBE 指数中取得进展也就不足为奇了。编程语言 C++ 最近攀升至第 2 位，Go 已稳居前 10 名，Ru…
阅读更多...
【硬件设计细节】缓冲驱动器使用注意事项

【硬件设计细节】缓冲驱动器使用注意事项

目录 一、缓冲驱动器核心功能与选型原则 二、电路设计关键点 三、布局与布线规范 四、特殊场景处理 五、测试与验证 六、典型问题与解决方案 七、设计流程建议 一、缓冲驱动器核心功能与选型原则 信号增强与隔离 驱动能力匹配&#xff1a;根据负载电流需求选择缓冲器&a…
阅读更多...
TCP

TCP

TCP 是什么&#xff1f; TCP ( Transmission Control Protocol 传输控制协议&#xff09;是一种面向连接的、可靠的、基于字节流的传输层通信协议。 TCP 对应的应用层协议 FTP&#xff1a;定义了文件传输协议&#xff0c;使用 21 端口 TeInet&#xff1a;它是一种用于远程登…
阅读更多...
HTML5+CSS多层级ol标签序号样式问题

HTML5+CSS多层级ol标签序号样式问题

在CSS中&#xff0c;ol标签用于创建有序列表&#xff0c;而多层级的ol标签可以通过CSS实现不同的序号样式。以下是一些常见的问题和解决方案&#xff1a; 1. 多层级ol的序号格式问题 默认情况下&#xff0c;多层级的ol标签会自动继承父级的序号格式&#xff0c;但有时我们可能…
阅读更多...
人工智能3d点云之Pointnet++项目实战源码解读(点云分类与分割)

人工智能3d点云之Pointnet++项目实战源码解读(点云分类与分割)

一.项目文件概述 二.数据读取模块配置 实际代码运行时是先定义与加载好模型&#xff0c;然后再去读取数据进来传入到模型网络中去训练。但现在反过来先读取数据开始。 进入ModelNetDataLoader类的_getitem方法, 做标准化的目的是处理异常大的数值 上面返回的cls是类别,相当于…
阅读更多...
[250217] x-cmd 发布 v0.5.3：新增 DeepSeek AI 模型支持及飞书/钉钉群机器人 Webhook 管理

[250217] x-cmd 发布 v0.5.3：新增 DeepSeek AI 模型支持及飞书/钉钉群机器人 Webhook 管理

目录 X-CMD 发布 v0.5.3&#x1f4c3;Changelog&#x1f9e9; deepseek&#x1f9e9; feishu|dingtalk&#x1f4e6; x-cmd✅ 升级指南 X-CMD 发布 v0.5.3 &#x1f4c3;Changelog &#x1f9e9; deepseek 新增 deepseek 模块&#xff0c;用户可通过 deepseek 直接请求使用 …
阅读更多...
图论：tarjan 算法求解强连通分量

图论：tarjan 算法求解强连通分量

题目描述 有一个 n n n 个点&#xff0c; m m m 条边的有向图&#xff0c;请求出这个图点数大于 1 1 1 的强连通分量个数。 输入格式 第一行为两个整数 n n n 和 m m m。 第二行至 m 1 m1 m1 行&#xff0c;每一行有两个整数 a a a 和 b b b&#xff0c;表示有一条…
阅读更多...
led+串口代码 重定向 STM32F030F4P6 fgetc multiply defined错误

led+串口代码 重定向 STM32F030F4P6 fgetc multiply defined错误

led串口 重定向 STM32F030F4P6 重定向报错 axf: Error: L6200E: Symbol fgetc multiply defined (by usart.o and main.o). 把 #include "stdio.h" int fputc(int ch, FILE *fp) {HAL_UART_Transmit(&huart1, (uint8_t *)&ch, 1, 0xffff);return ch; }int f…
阅读更多...
Letsencrypt+certbot为域名免费配置ssl

Letsencrypt+certbot为域名免费配置ssl

1、基础概念 Let’s Encrypt 是一个提供免费 SSL/TLS 证书的认证机构&#xff0c;它的目标是让互联网上的通信更加安全&#xff0c;特别是普及 HTTPS。通过 Let’s Encrypt 提供的证书&#xff0c;网站可以使用加密连接&#xff0c;保护用户的数据传输。 Certbot 是一个由电子…
阅读更多...
BSD协议栈：UDP发送

BSD协议栈：UDP发送

BSD实现 在BSD中UDP头部数据结构如下&#xff1a; /** Udp protocol header.* Per RFC 768, September, 1981.*/ struct udphdr {u_short uh_sport; /* source port */u_short uh_dport; /* destination port */short uh_ulen; /* udp length */u_short uh_sum; /* udp …
阅读更多...
QT (四）模型/视图 QFileSystemModel，QStringListModel，QStandardItemModel

QT (四）模型/视图 QFileSystemModel，QStringListModel，QStandardItemModel

思考&#xff1a;QTableWidget 在某种程度上可以等价为QStandardItemModel&#xff0c;同理&#xff0c;其他的功能也有类似的等价&#xff0c;但是以当前的QTableWidget 和QStandardItemModel为例的话&#xff0c;两者都是用于实现建立表格的相关组件&#xff0c;只不过QStand…
阅读更多...
Unity热更新方案HybridCLR+YooAsset，从零开始，保姆级教程，纯c#开发热更

Unity热更新方案HybridCLR+YooAsset，从零开始，保姆级教程，纯c#开发热更

文章目录&#xff1a; 一、前言二、创建空工程三、接入HybridCLR四、接入YooAsset五、搭建本地资源服务器Nginx六、实战七、最后八、后记 一、前言 unity热更有很多方案&#xff0c;各种lua热更&#xff0c;ILRuntime等&#xff0c;这里介绍的是YooAssetHybridCLR的热更方案&a…
阅读更多...
Zabbix——监控Windows下某个文件夹的所有文件变化

Zabbix——监控Windows下某个文件夹的所有文件变化

获取所有的指定路径下的文件列表 以D:\Apps这个文件夹下的所有文件为例&#xff0c;我需要找到这个文件夹里面的子文件夹中的所有文件&#xff0c;但是排除backup这个文件夹&#xff0c;下面我们来看怎么操作 在scripts目录下创建check_file_in_D_Apps.ps1文件&#xff0c;内容…
阅读更多...
C++ Primer 函数匹配

C++ Primer 函数匹配

欢迎阅读我的 【CPrimer】专栏 专栏简介&#xff1a;本专栏主要面向C初学者&#xff0c;解释C的一些基本概念和基础语言特性&#xff0c;涉及C标准库的用法&#xff0c;面向对象特性&#xff0c;泛型特性高级用法。通过使用标准库中定义的抽象设施&#xff0c;使你更加适应高级…
阅读更多...
java八股文-mysql

java八股文-mysql

1. 索引 1.1 什么是索引 索引(index)是帮助Mysql高效获取数据的数据结构(有序).提高数据的检索效率,降低数据库的IO成本(不需要全表扫描).通过索引列对数据进行排序,降低数据排序成本,降低了CPU的消耗. 1.2 mysql索引使用的B树? 1. 没有使用二叉树&#xff0c;最坏情况o&…
阅读更多...
Docker拉不下来镜像问题解决法案

Docker拉不下来镜像问题解决法案

打开docker的设置界面 配置如下&#xff1a; vi /etc/docker/daemon.json {"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"registry-mirrors": ["…
阅读更多...
春招项目=图床+ k8s 控制台（唬人专用）

春招项目=图床+ k8s 控制台（唬人专用）

1. 春招伊始 马上要春招了&#xff0c;一个大气的项目&#xff08;冲击波项目&#xff09;直观重要&#xff0c;虽然大家都说基础很重要&#xff0c;但是一个足够新颖的项目完全可以把你的简历添加一个足够闪亮的点。 这就不得不推荐下我的 k8s 图床了&#xff0c;去年折腾快…
阅读更多...
最新文章

Copyright @ 2022~2023