一种用于hevc的编码模式选择方法
【专利摘要】本发明公开了一种用于HEVC的编码模式选择方法，根据当前编码图像内容的空时域特征，对HEVC编码中CTU划分、CU编码模式和PU帧间编码模式进行预判，减小HEVC框架中模式选择的遍历数量。从而在不影响图像编码质量的前提下，提高HEVC的编码效率。本发明方法输出的码流符合HEVC标准，且可进一步结合人眼视觉感知特性，实现编码模式选择，提高编码图像的主观质量。
【专利说明】—种用于HEVC的编码模式选择方法
【技术领域】
[0001]本发明属于视频编码和处理领域，具体涉及HEVC (High Efficiency VideoCoding,高效视频编码)编码模式选择方法的研究。
【背景技术】
[0002]传统视频编码技术，如H.264等在高清(1080P)及超高清(2K、4K)视频编码需求下，其编码生成的数据率急剧增长，这给视频数据的存储、网络传输带来了巨大冲击，现有的编码技术已经难以适应。因此具有更好压缩率的编码技术的提出势在必行。为解决这一问题，JCT-VC (Joint Collaborative Team on Video Coding)工作组制定了具有更高的压缩效率的新一代视频压缩HEVC (High Efficiency Video Coding)。HEVC视频编码框架，在编码效率等方面已经取得了极大提高。与现有编码标准H.264/AVC相比，在重建图像客观质量相同的情况下，HEVC的编码码率可以节省50%左右。
[0003]虽然HEVC编码框架具备了优秀的压缩效率，但是其编码效率的提高是通过对现有编码框架中的全部编码模块进行技术改进或创新，累加每个编码模块的效率，从而最终实现了整体编码效率的大幅提升。编码器必须在众多灵活的编码参数中进行优化选择，才能充分发挥编码工具的压缩效率。而HEVC编码框架中采用了搜索式的率失真优化模式选择方法，其遍历搜索过程带来了巨大的计算复杂度。另一方面，传统视频压缩方法主要基于信息论，从预测结构的角度出发，减少视频中的时间、空间冗余，但没有充分考虑过人眼的视觉冗余，随着对人眼视觉感知特性认识的深入和相关计算模型准确性的提高，视频中的主观视觉冗余不断被发现。因此如何设计高效的HEVC模式选择方法，并进一步结合感知的视频编码方法，将其有效地与基于信息论的混合编码框架结合，实现在保证视频主观质量前提下降低编码复杂度、提高编码图像主观质量，是目前视频编码领域极有潜力的应用方向之一。
【发明内容】
[0004]鉴于上述情况，本发明的目的是提出一种用于HEVC的编码模式选择方法，使之改善现有技术的不足，在减少编码复杂度的同时提高视频编码主观质量。本发明的目的是通过以下手段实现的。
[0005]一种用于HEVC的编码模式选择方法，根据当前编码图像内容的空时域特征，对HEVC编码中CTU划分、CU编码模式和I3U帧间编码模式进行预判，减小HEVC框架中模式选择的遍历数量。从而在不影响图像编码质量的前提下，提高HEVC的编码效率。所述实现方法具体包括包含:
[0006]A.根据当前编码图像内容的空时域特征，建立编码模式预判模型；
[0007]B.根据步骤A的编码模式预判模型，对当前CTU的四叉树CU划分进行筛选，确定其候选的划分方式；
[0008]C.根据步骤A的编码模式预判模型，对步骤B中CU候选划分方式中所有CU依次执行编码模式选择，包括:CU、PU预测编码模式筛选；基于率失真优化的编码模式遍历择优；基于率失真优化的TU划分、变换与量化；
[0009]D.根据步骤C中各CU的最佳编码结果，对当前CTU进行基于率失真优化的最佳⑶划分选择。
[0010]E.根据步骤C和D中CU和CTU的最佳编码模式，更新步骤A的编码模式预判模型参数；
[0011]步骤A的具体方法为，根据输入图像纹理、亮度、时域运动信息，建立编码模式预判模型，然后将图像划分为多个等大小CTU。其中编码模式预判模型既可以采用传统图像纹理梯度等传统客观特征信息，又可采用结合人眼主观感知特性的特征信息，如:恰可知失真(Just Noticeable Distortion, JND)或结构相似度(Structural Similarity, SSIM)等。
[0012]步骤B的具体方法为，根据步骤A中所述编码模式预判模型，对CTU的四叉树划分方式进行筛选，得到当前一种或多种候选划分方式，并开始CTU四叉树划分遍历过程，其实现方法既可采用统计学方法实现，亦可采用机器学习方法实现。
[0013]步骤C的具体方法为，根据步骤B中得到的CTU候选CU划分，首先根据步骤A的编码模式预判模型，对当前CU划分的预测编码模式进行筛选，其筛选范围是该CU的候选预测模式范围，具体包括:帧间预测、帧内预测、PCM编码，在该筛选范围内确定其候选的编码模式；然后遍历当前CU的候选预测编码模式，通过率失真优化选择最佳的预测编码结果。当采用帧间非SKIP模式预测时，先根据步骤A中的编码模式预判模型对划分进行筛选，筛选范围为CU所有可能的PU划分方法与所有参考帧，确定候选的PU划分范围与参考帧遍历候选范围，然后在候选划分中进行基于率失真优化的遍历择优；当采用帧内、帧间SKIP、或PCM模式，直接采用基于率失真优化的遍历择优；最后根据当前CU率失真优化的预测结果得到其预测残差图像，并对残差进行基于率失真优化的TU划分、变换与量化。
[0014]步骤C与步骤D中 涉及到了两次率失真优化过程，第一次为预测编码时，第二次为TU变换编码时，可进一步结合人眼感知特性，在预测编码时使基于感知的预测编码
?心丨 J"pred，perceptual
替代原有基于SAD或SATD的预测编码代价Jpred,
SAD、Jpred, SATD 进行优化选
择，并且在量化编码时采用基于感知的模式选择代价Jimperceptual替代传统基于SSE的模式选择代价Jmmte进行率失真优化。
[0015]以上未提及的编码过程均按照标准HEVC规定实现，包括:步骤2)中所述对⑶进行帧内编码、PCM编码、帧间SKIP编码过程，步骤3)中残差块的四叉树TU划分遍历、变换，及量化编码过程。
[0016]与现有技术相比，采用本发明的HEVC编码模式选择方法，在保证编码码流符合HEVC标准的前提下，对CTU四叉树划分、CU的PU划分及编码模式选择、I3U帧间编码模式选择等进行了优化，极大减小了 HEVC框架中遍历选择的计算复杂度，并且在所有编码过程中均可进一步结合基于主观率失真代价的编码模式选择方法，从而提高编码主观质量。本发明模式选择方法能够比HEVC框架的模式选择方法提供更快的编码速度，更好的视频图像主观质量。
[0017]【专利附图】
【附图说明】如下:
[0018]图1是现有HEVC的编码框架图
[0019]图2是本发明HEVC模式选择方法的编码框架图[0020]图3是HEVC的CTU迭代编码流程
[0021 ] 图4是本发明HEVC模式选择方法的CTU迭代编码流程
【具体实施方式】
[0022]下面结合附图和具体的实施方式对本发明作进一步的详细说明。
[0023]图1所示是现有的HEVC编码框架，其采用了基于块的混合编码框架。待编码图像首先被划分为编码树单元(CTU)，然后依次对每个CTU进行:CTU四叉树划分方式选择、CU编码模式遍历选择、TU划分方式选择以及变换/量化、率失真优化计算、熵编码等编码过程。最后输出编码后的二进制比特流。这种编码框架在上述编码过程中每一步都有大量的编码模式可以选择，每种划分方式下均需要进行运动预测并计算其失真代价。可见，标准HEVC编码框架的遍历式编码模式搜索给编码器带来了沉重的计算复杂度。
[0024]图2是本发明HEVC模式选择方法的编码框架，此编码框架下在每一帧或每个CTU开始编码前，首先需对其纹理、亮度、运动等信息进行分析，建立编码模式预判模型。针对CTU灵活划分、CU编码、TU编码等过程中不再遍历所有可能的编码参数组合，而是预先对所有参数组合进行筛选，在获得一个或多个参数组合形成的小集合中再进行遍历选择，并且采用结合基于人眼感知特性的失真度量方式，进一步进行基于感知的率失真性能优化，从而在相同码率下获得更佳的主观图像编码质量。
[0025]图3所示是标准HEVC的CTU迭代编码流程，因实际编码过程中，CTU四叉树划分、PU预测编码、TU量化编码等过程混合在一个迭代过程中实现，因此需要进一步详细说明本发明编码CTU的CU划分方式筛选的编码步骤。HEVC框架中，对于当前划分深度的CTU，需要依次对帧间SKIP编码、帧间非SKIP编码、帧内编码、PCM编码的率失真代价进行遍历，并在遍历结束后才能得到当前深度下CTU最小率失真代价的编码模式，然后才进行下一个深度的CTU四叉树划分，并重复上述遍历过程。其中Early_SKIP满足条件为:Inter_2Nx2N划分方式下，当前深度CTU的帧间预测得到的运动矢量预测差值为(0，0)，同时此模式下对应的TU变换系数不含有非零值。Early_CU满足条件为:结束CTU当前深度CU的预测模式遍历后，帧间SKIP模式为最佳临时编码模式。
[0026]图4所示是本发明HEVC模式选择方法的CTU迭代编码流程，在进行CTU当前深度CU划分方式的预测模式遍历前，判断当前深度是否属于由候选深度，其中候选深度为编码模式预判模型得到的该CTU候选CU划分方式。如果满足，则继续当前深度CU划分方式的预测模式遍历，否则直接判断是否需要进行下一深度CU划分方式的预测模式遍历。同时在预测模式遍历过程中对当前CU划分的预测编码模式进行筛选，其筛选范围是该CU的候选预测模式范围，具体包括:帧间预测、帧内预测、PCM编码。当采用帧间非SKIP模式预测时，先根据步骤A中的编码模式预判模型对划分进行筛选，筛选范围为CU所有可能的划分方法与所有参考帧，确定候选的PU划分范围与参考帧遍历候选范围，然后在候选划分中进行基于率失真优化的遍历择优；当采用帧内、帧间SKIP、或PCM模式，直接采用基于率失真优化的遍历择优。通过上述方法，极大降低在各编码层次中因依次遍历各种编码模式所带来的计算复杂度。
[0027]实施例
[0028]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0029]本说明书(包括任何附加权利要求和摘要)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0030]采用图2所示的本发明HEVC模式选择方法的编码框架，其输出码流可适用于任何标准HEVC解码器。现以某个视频序列的某一帧图像编码过程为例，其编码步骤依次是:
[0031]I)根据当前编码图像内容的空时域特征，建立编码模式预判模型。本实施例中，采用基于JND模型的失真度估计模型为基础的编码模式预判模型，因此需要首先建立编码模式失真度估计模型，具体方法为:
[0032]a.首先根据人眼主观感知JND模型给出视觉敏感度计算模型估计当前待编码图像的视觉敏感度ω (i, j)模型。
【权利要求】
1.一种用于HEVC的编码模式选择方法,其特征在于,包含: A.根据当前编码图像内容的空时域特征，建立编码模式预判模型； B.根据步骤A的编码模式预判模型，对当前CTU的四叉树CU划分进行筛选，确定其候选的划分方式； C.根据步骤A的编码模式预判模型，对步骤B中CU候选划分方式中所有CU依次执行编码模式选择，包括:cu、ro预测编码模式筛选；基于率失真优化的编码模式遍历择优；基于率失真优化的TU划分、变换与量化； D.根据步骤C中各CU的最佳编码结果，对当前CTU进行基于率失真优化的最佳CU划分选择； E.根据步骤C和D中CU和CTU的最佳编码模式，更新步骤A的编码模式预判模型参数。
2.根据权利要求1所述的一种用于HEVC的编码模式选择方法，其特征在于，步骤A中所述编码模式预判模型，具体为通过统计图像纹理、亮度、时域运动等空时域特征信息，并结合编码配置参数信息，采用机器学习或统计学方法建模得到。
3.根据权利要求2所述的一种用于HEVC的编码模式选择方法，其特征在于，图像空时域特征信息既可以采用传统图像纹理梯度等传统客观特征信息，又可采用结合人眼主观感知特性的特征信息，如:恰可知失真Just Noticeable Distortion, JND或结构相似度Structural Similarity, SSIM0
4.根据权利要求3所述的一种用于HEVC的编码模式选择方法，其特征在于，可采用结合基于人眼感知特性的失真度量方式，进一步进行基于感知的率失真性能优化，从而在相同码率下获得更佳的主观图像编码质量。
5.根据权利要求1所述的一种用于HEVC的编码模式选择方法，其特征在于，步骤B中所述CTU的四叉树CU划分方式筛选方法，具体筛选内容为该CTU的候选划分方式。
6.根据权利要求1所述的一种用于HEVC的编码模式选择方法，其特征在于，步骤C的具体方法为:1)根据步骤A的编码模式预判模型，对当前CU划分的预测编码模式进行筛选，确定其候选的编码模式；2)遍历当前CU的候选预测编码模式，通过率失真优化选择最佳的预测编码结果；当采用帧间非SKIP模式预测时，先根据步骤A中的编码模式预判模型对PU划分进行筛选，确定一种或多种候选划分模式；然后在候选划分中进行基于率失真优化的遍历择优；当采用帧内、帧间SKIP、或PCM模式，直接采用基于率失真优化的遍历择优；3)根据当前CU率失真优化的预测结果得到其预测残差图像，并对残差进行基于率失真优化的TU划分、变换与量化。
7.根据权利要求6所述的一种用于HEVC的编码模式选择方法，其特征在于，步骤I)中所述CU的预测编码模式筛选方法，具体筛选内容为该CU的候选预测模式范围，具体包括:帧间预测、帧内预测、PCM编码；其步骤2)中所述的CU的PU划分方式筛选方法，具体筛选内容为候选PU划分方法与参考巾贞遍历候选范围。
8.根据权利要求1所述的一种用于HEVC的编码模式选择方法，其特征在于，所述编码过程均按照标准HEVC规定实现，包括:步骤2)中所述对⑶进行帧内编码、PCM编码、帧间SKIP编码过程，步骤3)中残差块的四叉树TU划分遍历、变换，及量化编码过程。
【文档编号】H04N19/109GK103873861SQ201410062799
【公开日】2014年6月18日 申请日期:2014年2月24日 优先权日:2014年2月24日
【发明者】闫川, 彭强, 刘翔凯, 任健鹏, 蔡成能 申请人:西南交通大学