一种基于编码单元深度时空相关性的快速hevc编码方法
【专利摘要】本发明公开了一种基于编码单元深度时空相关性的快速HEVC编码方法，包括以下步骤：（1）输入原始编码序列；（2）提取已完成编码的编码单元的深度；（3）若当前编码单元的深度小于深度阈值，利用前一帧中两相邻编码单元的深度关系，缩小当前编码单元的深度搜索范围；（4）在步骤（3）所得的深度搜索范围中，按照从小到大的顺序搜索深度，至最大深度后结束深度搜索；（5）依据步骤（4）搜索得到的深度，确定最佳编码树单元划分，然后进行HEVC编码。本发明基于编码单元深度时空相关性的快速HEVC编码方法能够显著加速HEVC视频编码的速度，并保证较好的率失真性能，具有较强的实用性。
【专利说明】—种基于编码单元深度时空相关性的快速HEVC编码方法
【技术领域】
[0001]本发明涉及视频编码领域，具体涉及一种基于编码单元深度时空相关性的快速HEVC编码方法。
【背景技术】
[0002]近年来，伴随着高清和超高清(3840X2160或7680X4320)视频的发展，H.264/AVC视频压缩标准的压缩效率已经无法满足这些视频的传输和存储需求。
[0003]为了进一步提高视频压缩效率，MPEG和VCEG组织于2010年成立了视频编码联合协作小组(JCT-VC)，共同开发下一代视频压缩标准。新一代视频压缩标准称为HEVC，于2013年初正式发布。
[0004]作为最新的视频压缩标准，HEVC能够在占用H.264/AVC高级层(highprofile，HP)编码一半码率的条件下，提供与其质量相同的码流，新的视频标准为高清和超高清视频数据的网络传输、存储等铺平了道路。
[0005]与以前的视频压缩标准相比，HEVC继承了混合编码的基本框架，同时还提供了更多高效的视频压缩工具，包括编码单元(coding unit，⑶)中递归式的四叉树块划分结构、更多的帧内预测模式、高效的参考帧管理、一种新的环内滤波器(s amp I e a d ap t i V eoffset, SA0)等。这些新的编码工具在提高编码效率的同时，也极大地增加了编码器的复杂度。根据配置的不同，HEVC编码器的复杂度为H.264/AVC HP编码器复杂度的2_3倍，其中编码器为了获得最佳CU四叉树块划分而采用的全深度搜索方法消耗了大量的计算资源，这严重阻碍了 HEVC编码器的的应用。
[0006]目前已经有一些研究者针对HEVC编码器中⑶四叉树块划分复杂度过高的问题，提出了快速算法。Kim等通过统计率失真代价在不同量化参数下的特性，设置每层CU是否向下划分的阈值，当CU的率失真代价小于设置阈值时，CU不进行划分。Wang等利用当前CU的残差平均值判断CU是否继续划分，当残差平均值小于设定的阈值时，CU不进行划分。这些算法都是基于阈值的，算法稳定性不强。Shen等提出了一种利用贝叶斯决策规则来判断CU是否继续划分的方法，对于某一类视频算法效率高，对于另外一类视频算法效率低。Kim等提出了一种利用周边SKIP模式CU的率失真代价提前判断当前CU是否为SKIP模式的方法。Shen等利用CU的深度时空间相关性以及CU层间信息相关性，跳过当前CU编码过程中很少使用的块划分方式。
[0007]Gweon等通过检查coded_block_f lag的情况决定是否提前终止⑶编码。Choi等通过判断当前⑶是否为SKIP模式决定是否继续对子⑶进行编码。Yang等提出了一种类似于H.264/AVC参考编码器所采用的SKIP模式检测算法。这三种算法能够有效的降低编码器复杂度，这些算法都被HEVC标准编码器采用。
[0008]Lee等利用前一帧中同一位置的⑶与当前⑶的块划分相关性，跳过当前⑶中的某些划分，但是该方法只利用了 CU与前一帧同一位置CU时间上的相关性，若能充分挖掘编码单元的时间和空间的相关性，编码器复杂度还能进一步降低。
【发明内容】
[0009]本发明提供了一种基于编码单元深度时空相关性的快速HEVC编码方法，利用编码单元之间深度单一性的特点，缩小编码单元的深度搜索范围，在保证率失真性能的同时，降低编码复杂度。
[0010]一种基于编码单元深度时空相关性的快速HEVC编码方法，包括以下步骤:
[0011](I)输入原始编码序列；
[0012](2)提取已完成编码的编码单元的深度；
[0013](3)若当前编码单元的深度小于深度阈值，利用前一帧中两相邻编码单元的深度关系，缩小当前编码单元的深度搜索范围，规则如下:
[0014]若前一帧中两相邻编码单元的深度分别为。。和D。。，当前帧中位置对应的两相邻编码单元的深度分别为Du和D&、，则:
[0015]a、若队。。〈％。，则利用深度单一性特点确定D&的范围；
[0016]b、若队。。=%。，则在预定范围内搜索D&的深度；
[0017]C、若队。。>%。， 则利用深度单一性特点确定D&的范围；
[0018](4)在步骤(3)所得的深度搜索范围中，按照从小到大的顺序搜索深度，至最大深度后结束深度搜索；
[0019]步骤(3)中依据规则将深度搜索范围缩小，所述步骤(4)中，对于深度搜索范围中的每个深度，进行当前编码单元的帧内和帧间划分模式评估，选择最佳的划分模式。
[0020](5)依据步骤(4)搜索得到的深度，确定最佳编码树单元划分，然后进行HEVC编码。
[0021]HEVC的编码树单元(Coding Tree Unit，简称CTU)相比传统的H.264划分了更大的块，最大划分为64 X 64的块，本发明中所述的缩小深度搜索范围的方法适用于64 X 64的块和32X32的块，分别对应64X64编码单元(也称编码树单元)和32X32编码单元。
[0022]也就是说，所述步骤(2)中的编码单元为64X64编码单元或32X32编码单元，64X64编码单元的深度范围为0、1、2或3 ；32X32编码单元的深度为范围1、2或3。
[0023]针对64X64编码单元而言，不进行划分，则深度为O ;划分为32 X 32编码单元，则深度为I ;至少一个32 X 32编码单元划分为16 X 16编码单元，则深度为2 ;至少一个16 X 16编码单元划分为8X8编码单元，则深度为3。
[0024]针对32 X 32编码单元而言，不进行划分，则深度为I ;划分为16 X 16编码单元，则深度为2 ;至少一个16X16编码单元划分为8X8编码单元,则深度为3。
[0025]由于本发明适用于64 X 64编码单元和32 X 32编码单元，因此，所述深度阈值为2，即深度为O或I时，适用于本发明所述的方法，若深度为2或3，则采用现有的标准HEVC编
码方法。
[0026]若D^=Dc。，可以依据现有技术中的深度搜索策略进行搜索，也可以依据一定规则，缩小搜索范围，下面对64 X 64编码单元和32 X 32编码单元缩小深度搜索范围的规则分别进行描述。
[0027]若编码单元为64X64编码单元，则利用前一帧中两相邻编码单元的深度关系，缩小当前编码单元的深度搜索范围，规则如下:[0028]若前一帧中两相邻编码单元的深度分别为1\。。和D。。，当前帧中位置对应的两相邻编码单元的深度分别为Du和D&、，则:
[0029]若队。。〈％。，Dl cr为1，则在1、2、3中搜索D&的深度(即跳过深度为O的搜索)；
[0030]若队。。〈％。，Dl cr为2，则在1、2、3中搜索D&的深度(即跳过深度为O的搜索)；
[0031]若队。。〈％。，Dl cr为3，则在1、2、3中搜索D&的深度(即跳过深度为O的搜索)；
[0032]若Dl cq=DC()=0，Dl cr 为 0、1、2 或 3，则在 0、1、2 中搜索 D& 的深度；
[0033]若Dl cq=DC()=1，Dl cr 为 0、1、2 或 3，则在 0、1、2 中搜索 Dcr 的深度；
[0034]若Dl m=DCq=3，Dl cr 为 0、1、2 或 3，则在 1、2、3 中搜索 D& 的深度；
[0035]若Dl m>Dc。，Dl cr为0，则在O中搜索D&的深度；
[0036]若Dl m>Dc。，Dl cr为I，则在O、I中搜索D&的深度；
[0037]若队。。>%。，Dl cr为2，则在O、1、2中搜索D&的深度。
[0038]若编码单元为32X32编码单元，且当前编码单元的深度为1，则利用前一帧中两相邻编码单元的深度关系，缩小当前编码单元的深度搜索范围，规则如下:
[0039]若前一帧中两相邻编码单元的深度分别为。。和D。。，当前帧中位置对应的两相邻编码单元的深度分别为Du和D&、，则:`[0040]若Dl m〈Dc。，Dl cr为2，则在2、3中搜索D&的深度；
[0041]若Dl m〈Dc。，Dl cr为3，则在2、3中搜索D&的深度；
[0042]若Dl cq=DC()=1，Dl cr 为 1、2 或 3，则在 1、2 中搜索 Dcr 的深度；
[0043]若Dl cq=DC()=3，Dl cr 为 I，则在 1、2、3 中搜索 D& 的深度；
[0044]若Dl m=DC()=3，Dl cr为2或3，则在2、3中搜索D&的深度；
[0045]若Dl m>Dc。，Dl cr为I，则在I中搜索D&的深度；
[0046]若Dl m>Dc。，Dl cr为2，则在1、2中搜索D&的深度。
[0047]本发明中没有特殊说明的部分，均采用现有的HEVC编码方法进行编码。
[0048]本发明基于编码单元深度时空相关性的快速HEVC编码方法能够显著加速HEVC视频编码的速度，并保证较好的率失真性能，具有较强的实用性。
【专利附图】
【附图说明】
[0049]图1为本发明基于编码单元深度时空相关性的快速HEVC编码方法的流程图；
[0050]图2为本发明中参考帧(前一帧)中两相邻编码单元和当前帧中位置对应的两相邻编码单元的关系示意图；
[0051]图3为队。。〈％。的情况下，Dlcr与队?的关系分布示意图；
[0052]图4为队。。〈％。的情况下，Dlcr与队?的关系分布示意图；
[0053]图5为本发明方法、Lee算法和HM8.0算法在不同编码环境配置下的率失真表现对比，其中:(a)为LD编码环境配置下，Kimono序列的率失真表现对比；(b)为RA编码环境配置下，Kimono序列的率失真表现对比；(c)为LD编码环境配置下，PartyScene序列的率失真表现对比；(d)为RA编码环境配置下，PartyScene序列的率失真表现对比。
【具体实施方式】
[0054]下面结合附图，对本发明基于编码单元深度时空相关性的快速HEVC编码方法做详细描述。
[0055]如图1所示，一种基于编码单元深度时空相关性的快速HEVC编码方法，包括以下步骤:
[0056]( I)输入原始编码序列；
[0057](2)提取已完成编码的编码单元的深度，即将原始编码序列划分为若干不同大小的块，记录每个块的深度(即图1中深度全搜索);
[0058]若编码单元为64X64编码单元，则深度范围为0、1、2或3 ;
[0059]若编码单元为32X32编码单元，则深度范围为1、2或3。
[0060](3)如图2所示，Cr表示当前的编码单元(即64X64编码单元或32X32编码单元)，L_cr为其左侧对应的编码单元；Co为参考帧(即前一帧)中处在与Cr同一位置的编码单元，L_co为参考帧(即前一帧)中处在与L_Co同一位置的编码单元，
[0061 ] 针对64 X 64编码单元和32 X 32编码单元，采用不同的规则缩小深度搜索范围，分述如下:
[0062]3-1、若编码单元的大小为64X64，则利用前一帧中两相邻编码单元的深度关系，缩小当前编码单元的深度搜索范围，规则如下:
[0063]若Dl m〈Dc。，Dl cr为1，则在1、2、3中搜索D&的深度；
[0064]若Dl m〈Dc。，Dl cr为2，则在1、2、3中搜索D&的深度；
[0065]若Dl m〈Dc。，Dl cr为3，则在1、2、3中搜索D&的深度；
[0066]若Dl cq=DC()=0，Dl cr 为 0、1、2 或 3，则在 0、1、2 中搜索 D& 的深度；
[0067]若Dl。。=0。。=1，Dl cr 为 0、1、2 或 3，则在 0、1、2 中搜索 D& 的深度；
[0068]若Dl cq=DC()=3，Dl cr 为 0、1、2 或 3，则在 1、2、3 中搜索 D& 的深度；
[0069]若队M>DC。，Dl cr为0，则在O中搜索D&的深度；
[0070]若队。。>%。，Dl cr为I，则在O、I中搜索D&的深度；
[0071]若Dl m>Dc。，Dl cr为2，则在0、1、2中搜索D&的深度。
[0072]3-2、若编码单元的大小为32X32，则利用前一帧中两相邻编码单元的深度关系，缩小当前编码单元的深度搜索范围，规则如下:
[0073]若Dl m〈Dc。，Dl cr为2，则在2、3中搜索D&的深度；
[0074]若Dl m〈Dc。，Dl cr为3，则在2、3中搜索D&的深度；
[0075]若Dl cq=DC()=1，Dl cr 为 1、2 或 3，则在 1、2 中搜索 Dcr 的深度；
[0076]若Dl cq=DC()=3，Dl cr 为 I，则在 1、2、3 中搜索 D& 的深度；
[0077]若Dl。。=%。=3，Dl cr为2或3，则在2、3中搜索D&的深度；
[0078]若Dl m>Dc。，Dl cr为I，则在I中搜索D&的深度；
[0079]若Dl m>Dc。，Dl cr为2，则在1、2中搜索D&的深度。
[0080](4)在步骤(3)所得的深度搜索范围中，按照从小到大的顺序搜索深度，至最大深度后结束深度搜索；对于深度搜索范围中的每个深度(即编码单元)，进行当前编码单元的中贞内和巾贞间划分模式评估，选择最佳的划分模式。
[0081](5)依据步骤(4)搜索得到的深度，确定最佳编码树单元划分，然后进行HEVC编码。
[0082]本发明方法中，对于。和UDc。两种情况，可以跳过的深度列于表I中，对于D^=Dc。，可以跳过的深度列于表2中。
[0083]表1
【权利要求】
1.一种基于编码单元深度时空相关性的快速HEVC编码方法，其特征在于，包括以下步骤: (1)输入原始编码序列； (2)提取已完成编码的编码单元的深度； (3)若当前编码单元的深度小于深度阈值，利用前一帧中两相邻编码单元的深度关系，缩小当前编码单元的深度搜索范围，规则如下: 若前一帧中两相邻编码单元的深度分别为队。。和D。。，当前帧中位置对应的两相邻编码单元的深度分别为和D&、，则: a、若Dl-co〈Dco，则利用深度单一性特点确定D&的范围； b、若Dl-co。=dco，则在预定范围内搜索D&的深度； C、若Dl-co>Dco，则利用深度单一性特点确定D&的范围； (4)在步骤(3)所得的深度搜索范围中，按照从小到大的顺序搜索深度，至最大深度后结束深度搜索； (5)依据步骤(4)搜索得到的深度，确定最佳编码树单元划分，然后进行HEVC编码。
2.如权利要求1所述的基于编码单元深度时空相关性的快速HEVC编码方法，其特征在于，所述步骤(2)中的编码单元大小为64X 64或32 X 32，64X 64编码单元的深度范围为0、1、2或3 ;32X32编码单元的深度范围为1、2或3。
3.如权利要求2所述的基于编码单元深度时空相关性的快速HEVC编码方法，其特征在于，所述深度阈值为2。
4.如权利要求3所述的基于编码单元深度时空相关性的快速HEVC编码方法，其特征在于，若编码单元大小为64X64，则利用前一帧中两相邻编码单元的深度关系，缩小当前编码单元的深度搜索范围，规则如下: 若前一帧中两相邻编码单元的深度分别为队。。和D。。，当前帧中位置对应的两相邻编码单元的深度分别为和D&、，则: 若队。。〈％。，Dl cr为1，则在1、2、3中搜索D&的深度； 若Dl。。〈％。，Dl cr为2，则在1、2、3中搜索D&的深度； 若队。。〈％。，Dl cr为3，则在1、2、3中搜索D&的深度； 若Dl—。。=%。=0，Dl cr为0、1、2或3，则在0、1、2中搜索D&的深度； 若1\。。=%。=1，队?为0、1、2或3，则在0、1、2中搜索D&的深度； 若Dl—。。=%。=3，Dl cr为0、1、2或3，则在1、2、3中搜索D&的深度； 若队。。>%。，Dl cr为O，则在O中搜索D&的深度； 若队。。>%。，Dl cr为1，则在O、I中搜索D&的深度； 若Dl。。>%。，Dl cr为2，则在O、1、2中搜索D&的深度。
5.如权利要求3所述的基于编码单元深度时空相关性的快速HEVC编码方法，其特征在于，若编码单元大小为32 X 32，则利用前一帧中两相邻编码单元的深度关系，缩小当前编码单元的深度搜索范围，规则如下: 若前一帧中两相邻编码单元的深度分别为队。。和D。。，当前帧中位置对应的两相邻编码单元的深度分别为和D&、，则: 若Dl。。〈％。，Dl cr为2，则在2、3中搜索D&的深度；若队。。〈％。，Dl cr为3，则在2、3中搜索D&的深度； 若Dl—。。=%。=1，Dl cr为1、2或3，则在1、2中搜索D&的深度； 若Dl—。。=%。=3，Dl cr为1，则在1、2、3中搜索D&的深度； 若Dl—。。=%。=3，Dl cr为2或3，则在2、3中搜索D&的深度； 若队。。>%。，Dl cr为1，则在I中搜索D&的深度； 若Dl。。>%。，Dl cr为2，则在1、2中搜索D&的深度。
6.如权利要求1所述的基于编码单元深度时空相关性的快速HEVC编码方法，其特征在于，所述步骤(4)中，对于深度搜索范围中的每个深度，进行当前编码单元的帧内和帧间划分模式评估，选择最佳的划分模式。
【文档编号】H04N7/015GK103813178SQ201410041255
【公开日】2014年5月21日 申请日期:2014年1月28日 优先权日:2014年1月28日
【发明者】陈耀武, 周承涛, 田翔 申请人:浙江大学