济南seo外贸网站建设,小型公司网站建设,网站设计开发招聘,知识库主题 wordpressAV1 屏幕内容编码 为了提高屏幕捕获内容的压缩性能#xff0c;AV1采用了几种编码工具#xff0c;例如用于处理屏幕画面中重复模式的内帧内块复制#xff08;IntraBC#xff09;#xff0c;以及用于处理颜色数量有限的屏幕块的调色板模式。 帧内块拷贝 AV1 编码中的 Intra …AV1 屏幕内容编码 为了提高屏幕捕获内容的压缩性能AV1采用了几种编码工具例如用于处理屏幕画面中重复模式的内帧内块复制IntraBC以及用于处理颜色数量有限的屏幕块的调色板模式。 帧内块拷贝 AV1 编码中的 Intra Block Copy (IntraBC) 是一种专门设计用于提高屏幕内容编码效率的工具。对IntraBC 工作原理及其在硬件设计中考虑的详细分析 块向量 (Block Vector, BV): IntraBC 使用一个向量BV来指示同一图像中当前块的预测块。这种向量可以在比特流中进行信号传输。 BV 的精度: BV 的表示精度为整数点这意味着它不包含小数部分。 预测过程: IntraBC 模式下的预测过程类似于跨图像预测模式但主要区别在于 IntraBC预测块是从当前图像中形成的且在应用循环滤波器之前。跨图像预测预测块是从先前编码的图像的重建样本中形成的且在应用循环滤波器之后。 编码标志: 在编码当前块之前首先信号一个标志指示是否使用 IntraBC。 BV 差值计算: 如果标志指示使用 IntraBC则计算当前 BV 与预测 BV 的差值并将差值分类为四种类型之一 水平和垂直分量都为零。水平分量非零垂直分量为零。水平分量为零垂直分量非零。水平和垂直分量都非零。 BV 类型信息: 信号 BV 类型信息然后是 BV 差值。 硬件设计挑战: IntraBC 虽然对编码屏幕内容非常有效但对硬件设计提出了一些挑战。 循环滤波器禁用: 使用 IntraBC 时禁用所有循环滤波器包括去块、CDEF 和 LR 滤波器。这样做可以避免需要专用的第二图像缓冲区来启用 IntraBC。 预测区域限制: 为了便于并行解码限制了允许的预测区域。具体来说如果一个超块的左上角像素坐标为 (x0, y0)只有在垂直坐标 y 小于 y0 且水平坐标 x 小于 x0 2(y0 − y) 时IntraBC 预测才可用。 硬件写回延迟: 由于硬件写回延迟最近的重建区域可能无法立即用于 IntraBC 预测这可能包含一个或多个超块。因此进一步限制了允许的 IntraBC 预测区域 如果一个超块的左上角像素坐标为 (x0, y0)只有在垂直坐标 y 小于 y0 且水平坐标 x 小于 x0 2(y0 − y) − D 时IntraBC 预测才可用其中 D 表示从当前块左侧开始的水平方向上的像素数。 D 的值: 在 AV1 中D 被设置为超块宽度的两倍即 256 像素。 图示参考: 下图展示了 IntraBC 预测区域。 总结来说IntraBC 是 AV1 中一种强大的工具特别适合处理屏幕捕获内容中的重复模式。通过在当前图像内进行“运动补偿”它能够显著减少编码这些区域所需的比特数。然而为了在硬件中实现 IntraBC需要进行一些调整以确保解码过程的并行性和效率。通过禁用循环滤波器和限制预测区域AV1 能够在保持高效编码的同时简化硬件设计。 调色板模式 AV1 编码中的调色板模式Palette mode是一种用于提高压缩效率的技术特别适用于当前块使用 DC_PRED 预测模式进行帧内编码intra coding的情况。以下是对调色板模式的分析 应用条件 调色板模式可以在亮度luma和色度chroma块上应用。仅当块的尺寸大于或等于 8×8 像素并且宽度和高度都不超过 64 像素时才能应用调色板模式。 语法元素信号 启用调色板模式时会信号几个语法元素包括 has_palette_y指示是否对当前编码块应用调色板模式的标志。palette_size_y_minus_2指定调色板大小的语法元素实际大小为该值加 2。use_palette_color_cache_y指示是否为调色板的每个条目继承颜色索引的标志。 颜色索引继承 如果继承的调色板条目数量少于信号的调色板大小则剩余的颜色索引将被显式地信号传输。 色度组件共享 对于色度分量has_palette_uv 和 palette_size_uv_minus_2 在两个色度颜色组件Cb 和 Cr之间共享。但是Cb 和 Cr 的调色板中的颜色索引是分别信号传输的。 编码顺序 调色板模式编码的块中的颜色索引按照对角线扫描顺序进行信号传输和编码。扫描从右上角开始到左下角结束。 熵编码上下文 当前块的第一个颜色索引使用单独的语法 color_index_map_y 进行编码。剩余的索引使用它们的上一个top、左一个left和左上一个top-left邻近索引作为熵编码的上下文信息。 对角线扫描优化 这种对角线扫描方法有助于利用图像的空间相关性尤其是在图像块中颜色变化不大的情况下。 编码效率 通过减少表示图像块中颜色变化所需的比特数调色板模式可以显著提高编码效率。 图示参考 下图展示了调色板模式编码的对角线扫描顺序。 总结来说AV1 编码中的调色板模式通过限制颜色索引的数量并按照特定的对角线扫描顺序进行编码有效地压缩了颜色变化有限的图像区域。这种方法特别适合屏幕内容和动画等颜色种类有限的场景有助于减少编码后视频的数据量同时保持图像质量。 屏幕内容类型检测 AV1 编码标准中帧级内容类型检测是一种智能机制用于在编码每一帧之前分析帧的特性并决定是否启用特定的编码工具来优化屏幕内容的编码。分析如下 帧级内容类型检测 在编码每一帧之前AV1 可以启用内容类型检测分析当前输入帧的特性。 分析目的 检测过程旨在判断当前帧是否可能包含屏幕内容如文本、图形用户界面等。 编码工具启用 根据内容类型检测的结果可能会启用屏幕内容编码工具如 IntraBC内部块复制和调色板模式。 检测过程描述 使用两个计数器 counter1 和 counter2 来辅助决策。 16x16 亮度块分析 对当前帧的每个 16x16 亮度块进行分析。如果一个块中只有 2、3 或 4 个不同的亮度值这表明该块可能包含重复或有限的颜色这在屏幕内容中很常见。 更新 counter1 如果一个 16x16 亮度块符合上述条件counter1 增加 1。 方差计算 计算每个符合条件的 16x16 亮度块的方差。 更新 counter2 如果方差大于预定义的阈值counter2 增加 1。这表明块内的颜色变化超出了一定范围可能意味着存在边缘或文本。 调色板模式启用条件 处理完所有亮度块后使用 counter1 与 FrameWidth×FrameHeight/2560 的比值来决定是否启用调色板模式。这个比值是一个经验公式用于确定帧中有限颜色区域的比例是否足够高从而使得调色板模式有利。 IntraBC 启用条件 类似地使用 counter2 与 FrameWidth×FrameHeight/3072 的比值来决定是否启用 IntraBC。这个比值也是一个经验公式用于确定帧中存在显著变化区域的比例是否适合使用 IntraBC。 决策依据 这些计数器的值提供了一种量化的方法来判断帧内容的特性并据此选择最合适的编码工具。 灵活性 这种方法允许编码器根据每一帧的实际内容动态选择使用这些工具以实现最佳的压缩效率。 总结来说AV1 编码中的内容类型检测是一种动态决策机制通过分析帧的局部特性来做出全局的编码决策从而优化屏幕内容的编码。这种方法特别适合于屏幕捕获和其他具有特定模式的视频内容能够提高编码效率和适应性。