一种编码单元强制划分的判决方法与流程

本发明涉及视频编码，特别涉及一种编码单元强制划分的判决方法。

背景技术：

1、在h265/hevc协议中，编码单元cu是由一个亮度cb和相应的色度cb以及他们相关的语法元素共同组成的一个编码单元。cu的大小是可变的，从大到小依次为64x64、32x32、16x16、8x8。大的cu可以使得平缓区域的编码效率大大提高，而小的cu能很好的处理图像局部的细节。此外，空间数据的分析与分类中常使用四叉树，其是一种树状结构，每个节点上有四个子块。哈达玛变换是图像自动分类中常用的特征变换，是利用哈达玛矩阵作为变换矩阵，将时域数据变换到频域的过程。率失真模型是香农信息论的一个重要内容，它描述了编码器输出码率r、失真d、量化步长qp及图像内容之间的关系，其基本思想是减少失真会使码率增大，减少码率会增大失真。

2、常规的cu划分是通过比较cu和4个子块的率失真代价的大小来判决的，而率失真代价是使用下面公式计算得到的：

3、j＝d+λ·r

4、其中d是重构图像与原图像差值的平方和，r是将预测后的残差进行变换、量化、熵编码后的码流长度，是拉格朗日乘子。

5、常规的cu划分的判决是选取率失真代价最小的划分方式，最小率失真代价是指在给定的码率下获得最小的失真或在可允许的失真范围内获得最小的码率，它是失真和码率之间的权衡。通常降低失真对应增加码率，反之亦然。

6、常规的cu划分主要是根据客观数据率失真代价最小进行判决的，然而在实际的监控市场应用中，率失真代价作为cu划分评判的客观因素应用于一些人眼对图像失真敏感的区域时，市场反应较差；而对于图像失真不敏感的区域增大失真，市场反应反而不大。由于常规cu划分技术在图像细节保留、细节扩散等影响主观观感方面越来越被关注，因此单纯的依靠率失真代价这一客观数据作为cu划分的依据，不能完全适用市场需求，急切需要视觉感知技术参与cu划分等编码技术中。

技术实现思路

1、为了解决上述问题，本方法的目的在于：通过对预测残差数据特性进行分析，着重识别cu预测后的残差数据在4个子块经哈达玛变换后的高频系数的细节丰富度一致性程度，来判断当前的cu块大小是否会引起细节丢失或细节扩散现象，对此种情况采取强制cu划分的方式。

2、具体地，本发明提供一种编码单元强制划分的判决方法，所述方法通过对预测残差数据特性进行分析，识别编码单元cu预测后的残差数据在4个子块经哈达玛变换后的高频系数的细节丰富度一致性程度，来判断当前的cu块大小是否会引起细节丢失或细节扩散现象，对于残差数据复杂即四叉树划分子块细节丰富度不一致的cu作强制划分，并对过划分进行修正。

3、所述方法包括以下步骤：

4、s1，残差特性分析和特征值计算：

5、对编码单元cu预测后得到的残差数据resi进行四叉树划分，分别对4个子块作哈达玛变换，得到变换系数satd_coef[sub_resi_idx][n*n]；并计算各子块变换后的高频系数的绝对误差和sad、最大最小高频系数偏差diff、高频系数平均值avg；

6、再进一步计算4个子块的sad的波动值sad_sad、最大最小偏差的波动值diff_sad，平均值的波动值avg_sad，其中，n表示残差子块的宽高值，sub_resi_idx表示残差子块的索引值；

7、s2，对残差子块细节丰富度不一致的子块作cu强制划分，否则通过率失真优化判决：

8、设定阈值：

9、sad_sad_thrd＝12；

10、diff_sad_thrd＝15；

11、avg_sad_thrd＝10；

12、将步骤s1中分析得到的特征值结果与设定阈值进行比较，获取4个子块的各特征值波动一致性标记：

13、flgsad＝sad_sad＜sad_sad_thrd

14、flagdiff＝diff_sad＜diff_sad_thrd

15、flagavg＝avg_sad＜avg_sad_thrd

16、根据上面条件判断当前块的4个子块是否为残差细节丰富程度一致的块；若残差特征值都在给定阈值内，则认为残差数据的高频信息一致性高，不需要作强制划分；反之则需要强制划分；

17、cu强制划分标志split_flag可由下面公式得到：

18、split_flag＝～(flagsad&&flagdiff&&flagavg)；

19、s3，对于步骤s2引起的过划分的修正：

20、对于原图像raw[sub_idx][n*n]中内容复杂且满足步骤s2中的强制分割条件split_flag的cu块，不会引起细节扩散和细节丢失易察觉现象，需对split_flag做一个修正，即当flagcplx成立时不做强制分割，将split_flag置0。

21、所述步骤s1中，

22、残差子块高频系数平均值：

23、残差子块高频系数波动值：

24、残差子块高频系数最大偏差值：

25、diffj＝satd_coef_maxj-satd_coef_minj，j＝0，1，2，3；

26、其中，satd_coef_maxj和satd_coef_minj是所属残差子块的高频系数中的最大最小值；

27、avgj表示第j个子块的平均高频细节强度，描述残差数据携带的细节量大小；sadj表示第j个子块的高频系数的波动情况，描述细节均衡程度；diffj表征第4个子块的最强最弱细节偏差，描述细节偏差强弱；

28、波动的波动值：

29、最大偏差的波动值：

30、平均值的波动值：

31、波动特征值的数值越大说明细节丰富度差异越大；四个子块的特征值越一致，也就是特征值越小，残差细节分布一致性越高，越不倾向于cu的强制划分。

32、所述步骤s3中，

33、cu原图像子块的平均值：

34、cu原图像子块的波动：

35、

36、取4个子块中的最小raw_sadj记为sad_min，当波动值raw_sadj最小的子块偏差大于一定阈值sad_max_thrd时，设阈值sad_max_thrd＝32。标记当前cu为内容复杂块；

37、原始图像数据是否为内容复杂块：flagcplx＝sad_min＞sad_max_thrd。

38、所述方法中设定编码单元cu、预测单元pu、变换单元tu的size大小相等。

39、所述方法适用于h265/hevc协议。

40、由此，本申请的有益效果在于：本发明对通过率失真优化进行cu判决起到一个补充修正的作用，对细节丢失和细节扩散现象有明显的改善效果。

技术特征：

1.一种编码单元强制划分的判决方法，其特征在于，所述方法通过对预测残差数据特性进行分析，识别编码单元cu预测后的残差数据在4个子块经哈达玛变换后的高频系数的细节丰富度一致性程度，来判断当前的cu块大小是否会引起细节丢失或细节扩散现象，对于残差数据复杂即四叉树划分子块细节丰富度不一致的cu作强制划分，并对过划分进行修正。

2.根据权利要求1所述的一种编码单元强制划分的判决方法，其特征在于，所述方法包括以下步骤：

3.根据权利要求2所述的一种编码单元强制划分的判决方法，其特征在于，所述步骤s1中，

4.根据权利要求2所述的一种编码单元强制划分的判决方法，其特征在于，所述步骤s3中，

5.根据权利要求4所述的一种编码单元强制划分的判决方法，其特征在于，所述一定阈值为sad_max_thrd，设阈值sad_max_thrd＝32。

6.根据权利要求1所述的一种编码单元强制划分的判决方法，其特征在于，所述方法中设定编码单元cu、预测单元pu、变换单元tu的size大小相等。

7.根据权利要求1所述的一种编码单元强制划分的判决方法，其特征在于，所述方法适用于h265/hevc协议。

技术总结
本发明提供一种编码单元强制划分的判决方法，所述方法通过对预测残差数据特性进行分析，使用四叉树，识别编码单元CU预测后的残差数据在4个子块经哈达玛变换后的高频系数的细节丰富度一致性程度，来判断当前的CU块大小是否会引起细节丢失或细节扩散现象，对于残差数据复杂即四叉树划分子块细节丰富度不一致的CU作强制划分，并对过划分进行修正。本方法对通过率失真优化进行CU判决起到一个补充修正的作用，对细节丢失和细节扩散现象有明显的改善效果。

技术研发人员：张立兰
受保护的技术使用者：北京君正集成电路股份有限公司
技术研发日：
技术公布日：2024/1/13