读书之深入理解ffmpeg_简单笔记3(初步)

通读完只能对书中内容有大概的了解,具体的细节还得一一实践攻克。

10: libavformat接口使用

媒体流,文件等封装,解封装,转封装

视频截取,AVFormatContext,AVPacket等介绍

11:libavcodec接口使用

视频,音频的编码,解码对应的新接口和旧接口。

硬件加速编码和解码。(涉及硬件相关结构体,接口,显存和cpu之间数据的交互)

AVFrame的介绍,以及相关接口demo的使用。

关注avframe使用时的内存情况。

内存操作相关接口。 av_malloc av_free AVBuffer AVBufferRef

avbuffer在调用编解码,滤镜处理时使用。

AVbufferPool

12: libavfilter接口使用(滤镜处理)

FilterGraph

音频,视频相关内置滤镜。(transtorm filter, source filter, sink filter)

libavfilter 相关api的使用。

AVFilterGraph(滤镜图,整个滤波过程中的结构体), AVFilterLink, AVFilterInout,AVFilter,AVFilterContext,AVFilterPad,

AVFilterCommand,buffersrc, buffersink

demo:使用滤镜给视频加logo (AVFilterContext)

13:ffmpeg辅助库(libavutil,libswscale, libswresample)

libavutil 字符串,随机数,数据结构,数学函数,密码,多媒体等。

libswscale 图像转换,缩放。

libswresample 音频重采样,格式转换。

libavutil dist和opt方式传递参数(demo)。

libswscale sws_scale图像转换(颜色转换,图像大小转换 demo)。

libswresample 声音转换(demo)(PCM进行转换)

14:播放器开发

demo代码在github中。

14.1:SDL核心功能API

14.2:sdl初始化,图像渲染(创建渲染窗口,创建渲染器,创建图像纹理,上传纹理到gpi,纹理显示)

14.3:音频播放(打开音频设备,配置参数回调等,开始或者暂停,声卡驱动获取数据,开始播放)

事件循环(鼠标,键盘,窗口,自定义事件等)

注册事件,处理事件的方式。

SDL定时器(demo)

14.4 播放器解码和展示

多线程(事件循环线程,demux线程,视频解码线程,音频播放线程)

FFmpegPlayerCtx

音视频同步(音频时钟,视频时钟,外部时钟)

其他(精准seek,视频滤镜(增强图像,降低噪点),特效处理(AI人脸识别,动作识别,美颜),音频处理(噪声抑制,音频增强等))

15:FFMpeg在RTC中的实例解析

RTC(webRTC web实时通信 一般基于udp)

15.1 webrtc(音视频编解码,流媒体传输,安全加密,回声消除/降噪,NAT穿透技术,网络拥塞控制/丢包补偿等技术)

sdp技术,协商

rtp,srtp,rtcp

nack (负反馈,用于丢包重传)

trasport-cc拥塞控制

ulpfec和FlexFEC向前纠错

chromium浏览器,JavaScript代码,ipc通信

chromium中使用ffmpeg,webrtc使用ffmpeg对h264进行解码,openh264解码。 了解webrtc源码,chromium源码

15.2 FFmpeg在FreeSwitch(电话软件交互平台)的使用 (sip rtp)

FreeSwitch基于webrtc进行通信

FreeSwitch使用ffmpeg (demo验证) libav库(ffmpeg的分支库衍生)

一般用的CBR(动态码率) 满足一对一视频通话或者简单视频会议场景。

VBR(动态码率)能节省带宽,不好控制最大带宽。

===》demo源码解析

freeswitch中vp8,vp9编码没有使用ffmpeg,直接使用libvpx

15.3 FFmpeg在BareSip(嵌入式/服务器上 音频视频通信的实时通信框架)

baresip依赖几个跨平台库: libre,librem,openssl,ffmpeg

学习BareSip上的demo源码分析

16:定制ffmpeg

在ffmpeg中新建分支,新增一个模块进行自定义的编码解码

AVFilter模块添加

支持多线程图像处理

17:FFmpeg 调试和测试

17.1 debug选项 如何使用?

17.2 DTS/PTS 问题排查(-debug_ts,show_info)

17.3 loglevel(-v)和report(存文件)

17.4 调试库 基于日志(设置日志级别)

17.5 gdb调试(编译时要带相关参数)

最后:代码风格

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/600794.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android开发中“真正”的仓库模式

原文地址:https://proandroiddev.com/the-real-repository-pattern-in-android-efba8662b754原文发表日期:2019.9.5作者:Denis Brandi翻译:tommwq翻译日期:2024.1.3 Figure 1: 仓库模式 多年来我见过很多仓库模式的实…

pytest安装失败,报错Could not find a version that satisfies the requirement pytest

问题 安装pytest失败,尝试使用的命令有 pip install pytest pip3 install pytest pip install -U pytest pip install pytest -i https://pypi.tuna.tsinghua.edu.cn/simple但是都会报同样的错: 解决方案 发现可能是挂了梯子的原因,关掉…

代码随想录算法训练营Day20|654.最大二叉树、617.合并二叉树、700.二叉搜索树中的搜索、98.验证二叉搜索树

目录 654.最大二叉树 前言 递归法 617.合并二叉树 前言 递归法 700.二叉搜索树中的搜索 前言 递归法 递归法 98.验证二叉搜索树 前言 递归法 迭代法 总结 654.最大二叉树 题目链接 文章链接 前言 本题延续昨天最后一题,依然是一道构造二叉树的题目…

烟花燃放如何管控?智能分析网关V4烟火检测保障烟火安全

一、方案背景 随着元旦佳节的热潮退去,春节也即将来临,在众多传统的中国节日里,烟花与烧纸祭祀都是必不可少的,一方面表达了人们对节日的庆祝的期许,另一方面也是一种对故者思念的寄托。烟花爆竹的燃放不仅存在着巨大的…

Node.js中的模块,常用模块具体代码示例

核心模块:https://blog.csdn.net/kkkys_kkk/article/details/135409851?spm1001.2014.3001.5501 目录 第三方模块 代码示例 Express示例 Lodash示例 MongoDB示例 Async示例 Request示例 发送GET 发送POST请求 自定义模块 创建步骤 常见示例 导出一个函数&a…

【PHP】TP5 使用模型一对一关联查询,条件筛选及字段过滤

目录 方法一:使用Eloquent ORM的with关联查询 方法二:使用JOIN进行查询 方法一:使用Eloquent ORM的with关联查询 在 ThinkPHP5 中,可以使用模型关联和条件查询来实现一对一关联查询。以下是一个示例: 假设有两个表&a…

跑通大模型领域的 hello world

跑通书生浦语大模型的 3 个趣味 demo(InternLM-Chat-7B 智能对话、Lagent工具调用解简单数学题、浦语灵笔多模态图文创作和理解)视频和文档。 1、两个框架 InternLM 是⼀个开源的轻量级训练框架,旨在⽀持⼤模型训练⽽⽆需⼤量的依赖。 Lage…

Underactuated Robotics - 欠驱动机器人学(一)- 全驱动与欠驱动系统

系列文章目录 前言 如今的机器人行动过于保守,只能完成机械性能所能完成的一小部分任务,实现一小部分性能。在某些情况下,我们仍然从根本上受限于在结构化工厂环境中成熟的刚性机械臂控制技术,在这种环境中,可以使用大…

烧录FRU方法

烧录FRU ipmitool远程命令示例: ipmitool -I lanp -H 127.0.0.1 -U admin -P admin write FRUID FRUfilename 1、修改Chassis PN ipmitool fru edit 0 field c 0 01234567892、修改 Board PN ipmitool fru edit 0 field b 3 01234567893、修改 Product PN ipmitool fru ed…

docker一键安装命令

docker一键安装命令 curl -fsSL https://get.docker.com | bash -s docker开机自动运行 systemctl start docker systemctl enable docker配置镜像仓库 sudo vim /etc/docker/daemon.json增加或修改以下配置内容 {"registry-mirrors": ["https://dockerprox…

将文本文件导入Oracle数据库的简便方法:SQL Loader Express

需求 我有一个文本文件dbim.txt,是通过alert log生成的,内容如下: 2020-09-11 2020-09-11 ... 2023-12-03 2023-12-03 2023-12-26我已经在Oracle数据库中建立了目标表: create table dbim(a varchar(16));我想把日志文件导入Or…

C++之STL库简介

目录 一、STL(Standard Template Library,标准模板库) 二、容器(Containers) 1.vector(动态数组) 2.list(双向链表) 3.deque(双端队列) 4.st…

用友U8 Cloud smartweb2.RPC.d XXE漏洞复现

0x01 产品简介 用友U8 Cloud 提供企业级云ERP整体解决方案,全面支持多组织业务协同,实现企业互联网资源连接。 U8 Cloud 亦是亚太地区成长型企业最广泛采用的云解决方案。 0x02 漏洞概述 用友U8 Cloud smartweb2.RPC.d接口处存在 XXE漏洞,攻击者可通过该漏洞获取敏感文件…

软件工程:用例图相关知识和多实例分析

目录 一、用例图相关知识 1. 基本介绍 2. 常用符号 二、用例图实例分析 1. 新闻管理系统 2. 医院病房监护系统 3. 实验上机安排系统 4. 远程网络教学系统 一、用例图相关知识 1. 基本介绍 用例图(use case diagram)是用户与系统交互的最简表示…

L1-084:拯救外星人

你的外星人朋友不认得地球上的加减乘除符号,但是会算阶乘 —— 正整数 N 的阶乘记为 “N!”,是从 1 到 N 的连乘积。所以当他不知道“57”等于多少时,如果你告诉他等于“12!”,他就写出了“479001600”这个答案。 本题就请你写程序…

条款35:考虑virtual函数以外的其它选择

1.前言 假设我们在写一个3D游戏软件,打算为游戏内的人物设计一个继承体系。游戏内容属于暴力砍杀类型,游戏中的角色被伤害或其它因素导致健康状态下降的情况是一个常见属性。因此设计一个成员函数healthValue,它会返回一个整数,表…

2024年天津体育学院专升本专业考试考生入场及考前须知

天津体育学院2024年高职升本科招生专业考试考生考前须知 一、考生入场及考试要求 1.考生于1月6日笔试考试当天,根据考试时间提前30分钟到达天津体育学院新校区东门,凭专业考试准考证、有效身份证原件,经查验合格后方可允许进入学校。 2.笔…

Linux 中 EXPORT_SYMBOL宏详解

Linux 中 EXPORT_SYMBOL宏详解 大家好,我是免费搭建查券返利机器人赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!在今天的文章中,我们将深入研究C/C编程中一个关键的宏——EXPORT_SYMBOL&…

PLC分段传送带控制示例

一、为了节约用电,将长长的传送带进行分段,哪断上有物品,哪断才运行 二、每一断末尾都有传感器,传感器能感受到物体有没有到传送带的末尾 三、这个传感器是接近开关 四、控制流程 五、IO地址分配 六、按下启动按钮后,…

问题 C: 活动选择

题目描述 学校在最近几天有n个活动,这些活动都需要使用学校的大礼堂,在同一时间,礼堂只能被一个活动使。由于有些活动时间上有冲突,学校办公室人员只好让一些活动放弃使用礼堂而使用其他教室。    现在给出n个活动使用礼堂的起…