样点自适应补偿方法、装置、设备、存储介质以及产品与流程

本申请实施例涉及视频编码，尤其涉及一种样点自适应补偿方法、装置、设备、存储介质以及产品。

背景技术：

1、新一代高效视频编码标准，通过引入一系列高效的编码工具，相比于目前应用最广泛的高级视频编码标准提升近一倍的压缩率，但是可观的压缩收益不可避免地带来了高额的计算开销，尤其是以样点自适应补偿为代表的编码工具，对移动端的视频编码造成了明显的计算压力。样点自适应补偿主要为解决振铃效应而生，通过对所有像素点进行遍历，根据该像素点与周围像素点的关系进行分类与补偿，实现对特定方向上的凸角、凹角等类似问题的修正。由此可见，样点自适应补偿是一项像素级的失真补偿技术，同时也意味着高额的编码开销。在算力较差的移动设备上，样点自适应补偿等后处理过程与编码过程串行，将会严重影响编码进度，成为移动端视频编码速度的主要瓶颈，容易造成视频丢帧、卡顿等一系列问题；即使在算力较好的移动终端上，可以开启单独的线程进行样点自适应补偿等后处理过程，但是绝对计算量并没有减少，依旧会造成不必要的耗电、发热等问题。

2、为了减少样点自适应补偿的绝对计算量，相关技术中，主要采用样点自适应补偿的整体跳过以及模式简化两种方案。对于整体跳过而言，主要是根据当前块的纹理信息或者已有的cu(coding unit，编码单元)模式等编码参考信息进行判断，若当前块为大面积平坦块，则进行样点自适应补偿的收益不大，可直接跳过样点自适应补偿的相关计算，相关技术中，整体跳过的判定条件较为粗糙，在尺寸为64×64的大块上可实现较好的加速效果，但对于32×32、16×16等小块来说容易漏选或误选，加速效果不佳。对于模式简化而言，主要是从精度方面上减少计算量，在样点自适应补偿的像素遍历过程中，对遍历的类别、率失真优化等过程进行简化，相关技术中，主流编码器已实现样点自适应补偿内率失真优化过程的简化，使用公式拟合的方式估计失真，同时使用经验值代替实际的编码比特，节省模式内的计算开销，因而，通过对所有模式的rdo过程进行简化，加速效果不明显。此外，相关技术中，还通过直接对边界补偿的模式数量减半，缺少对于编码帧的内容特征的考量，容易造成补偿精度损伤。

技术实现思路

1、本申请实施例提供了一种样点自适应补偿方法、装置、设备、存储介质以及产品，解决了因整体跳过的判断条件粗糙导致加速效果不佳，以及因模式简化策略没有结合内容特征和视频场景导致补偿精度严重损伤的问题，实现有效结合编码树单元的内部编码信息以及编码帧的内容特征，在补偿精度轻量受损的情况下，简化补偿模式，节省计算开销，高效提升补偿处理速度。

2、第一方面，本申请实施例提供了一种样点自适应补偿方法，该方法包括：

3、获取编码树单元的编码参考信息以及对应的视频场景，所述编码参考信息包括编码帧类型、编码子块类型以及相邻编码树单元的补偿模式信息；

4、根据所述编码帧类型以及所述补偿模式信息确定是否跳过所述编码树单元的样点补偿；

5、响应于跳过样点补偿的判断结果，跳过所述编码树单元的样点补偿；

6、响应于不跳过样点补偿的判断结果，根据所述编码子块类型以及所述视频场景确定待遍历补偿模式；

7、基于所述待遍历补偿模式对所述编码树单元进行样点补偿处理，所述待遍历补偿模式的数量小于预设补偿模式的数量。

8、第二方面，本申请实施例还提供了一种样点自适应补偿装置，包括：

9、获取模块，配置为获取编码树单元的编码参考信息以及对应的视频场景，所述编码参考信息包括编码帧类型、编码子块类型以及相邻编码树单元的补偿模式信息；

10、判断模块，配置为根据所述编码帧类型以及所述补偿模式信息确定是否跳过所述编码树单元的样点补偿；

11、整体跳过模块，配置为响应于跳过样点补偿的判断结果，跳过所述编码树单元的样点补偿；

12、模式简化模块，配置为响应于不跳过样点补偿的判断结果，根据所述编码子块类型以及所述视频场景确定待遍历补偿模式；

13、样点补偿模块，配置为基于所述待遍历补偿模式对所述编码树单元进行样点补偿处理，所述待遍历补偿模式的数量小于预设补偿模式的数量。

14、第三方面，本申请实施例还提供了一种样点自适应补偿设备，该设备包括：

15、一个或多个处理器；

16、存储装置，配置为存储一个或多个程序，

17、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的样点自适应补偿方法。

18、第四方面，本申请实施例还提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行本申请实施例所述的样点自适应补偿方法。

19、第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的样点自适应补偿方法。

20、本申请实施例中，通过获取编码树单元的编码参考信息以及对应的视频场景，再根据编码参考信息中的编码帧类型以及补偿模式信息确定是否跳过编码树单元的样点补偿；或响应于跳过样点补偿的判断结果，跳过编码树单元的样点补偿；或响应于不跳过样点补偿的判断结果，根据编码参考信息中的编码子块类型以及视频场景确定待遍历补偿模式；最后基于待遍历补偿模式对编码树单元进行样点补偿处理，其中待遍历补偿模式的数量小于预设补偿模式的数量。采用上述技术手段，基于编码帧类型可以获知当前编码树单元的重要性，以及基于补偿模式信息可以通过相邻编码树单元的补偿情况得到当前编码树单元补偿的必要性，进而初步判断是否能跳过补偿，达到初步加速效果；在无法跳过补偿的情况下，进一步基于编码子块类型以及视频场景，从编码树单元的内部编码信息以及编码帧的内容特征的角度出发，对补偿模式进行简化，轻量牺牲补偿精度的前提下，节省计算开销，高效提升补偿处理速度。

技术特征：

1.样点自适应补偿方法，其特征在于，包括：

2.根据权利要求1所述的样点自适应补偿方法，其特征在于，所述根据所述编码帧类型以及所述补偿模式信息确定是否跳过所述编码树单元的样点补偿，包括：

3.根据权利要求1所述的样点自适应补偿方法，其特征在于，所述编码树单元预先划分为多个编码子块，每个编码子块对应一个编码子块类型，所述编码子块类型包括跳过类型和非跳过类型，所述根据所述编码子块类型以及所述视频场景确定待遍历补偿模式，包括：

4.根据权利要求3所述的样点自适应补偿方法，其特征在于，所述跳过阈值包括第一跳过阈值和第二跳过阈值，所述第一跳过阈值小于所述第二跳过阈值，所述基于所述占比值以及设置的跳过阈值与所述视频场景确定待遍历补偿模式，包括：

5.根据权利要求4所述的样点自适应补偿方法，其特征在于，所述样点自适应补偿方法还包括：

6.根据权利要求1-5中任一项所述的样点自适应补偿方法，其特征在于，所述基于所述待遍历补偿模式对所述编码树单元进行样点补偿处理，包括：

7.根据权利要求1-5中任一项所述的样点自适应补偿方法，其特征在于，在所述基于所述待遍历补偿模式对所述编码树单元进行样点补偿处理之后，还包括：

8.样点自适应补偿装置，其特征在于，包括：

9.一种样点自适应补偿设备，所述设备包括：一个或多个处理器；存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-7中任一项所述的样点自适应补偿方法。

10.一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行权利要求1-7中任一项所述的样点自适应补偿方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的样点自适应补偿方法。

技术总结
本申请实施例提供了一种样点自适应补偿方法、装置、设备、存储介质以及产品，该方法包括：获取编码树单元的编码参考信息以及对应的视频场景；根据编码帧类型以及补偿模式信息确定是否跳过编码树单元的样点补偿；响应于跳过样点补偿的判断结果，跳过编码树单元的样点补偿；响应于不跳过样点补偿的判断结果，根据编码子块类型以及视频场景确定待遍历补偿模式；基于待遍历补偿模式对编码树单元进行样点补偿处理。本方案基于编码帧类型以及补偿模式信息初步判断是否能跳过补偿，达到初步加速效果；从编码树单元的内部编码信息以及内容特征角度对补偿模式进行简化，轻量牺牲补偿精度的前提下，节省计算开销，高效提升补偿处理速度。

技术研发人员：张凯明
受保护的技术使用者：百果园技术（新加坡）有限公司
技术研发日：
技术公布日：2024/1/14