一种基于Hadamard变换的帧内预测的快速模式选择和PU划分的方法
【专利摘要】本发明公开一种基于Hadamard变换的帧内预测快速模式选择和PU划分的方法，包括：1、根据图像纹理的复杂情况来减少计算量和遍历PU；2、对当前PU块进行Hadamard变换，得到当前PU块的复杂度；3根据当前PU块的复杂度作为图像块纹理的度量，判断当前PU块纹理是否复杂；4、若当前PU块纹理复杂，则对于PU，需要遍历4*4的划分模式；对于模式选择，需要遍历35种候选模式；5、若当前PU块平缓、光滑，则对于PU，更可能被划为较大块，不需要遍历4*4的划分模式；对于模式选择，只需要遍历较少候选模式即可。本发明减少了许多计算量，大大减少了编码时间，性能下降也在可以接收的范围内，提高了HM的实时性。
【专利说明】
一种基于Hadamard变换的帧内预测的快速模式选择和PU划分 的方法
技术领域
[0001 ] 本发明涉及了新一代视频编码标准HEVC的领域，具体涉及一种基于Hadamard变换 的帧内预测的快速模式选择和PU划分的方法。本发明基于软件实现，并且不局限于特定的 视频序列、分辨率，可以大大减少帧内预测的编码时间，提高HEVC编码的实时性，同时不会 因此而造成性能的太大下降。 技术背景
[0002] HEVC(High Efficiency Video Coding)是继H. 264之后的新一代视频编码标准， 其核心目的是在H. 264的基础上，将视频压缩效率提高一倍，满足人们对高质量视频越来越 强烈的需求。然而编码性能的提升的同时带来了很高的计算复杂度，高计算复杂度直接影 响了编码速率。因此，降低HEVC的编码复杂度，减少编码时间，也就成了当前的研究热点。
[0003] HEVC仍然采用混合编码框架，但与Η. 264相比，HEVC采用了很多新技术。对于帧内 预测部分来说，采用了更灵活的块划分技术，更精细的角度划分，具体如下：
[0004] 1、块划分。帧内预测过程中，HEVC中的块结构有CU、PU两种，分别为编码块和预测 块。其中，CU的大小可以为64*64、32*32、16*16、8*8，对应的分割深度从0到3。〇]可以被进一 步分为一个或多个PU，而PU是帧内预测中的最小单元。在CU大小为8*8时，CU可以被划分为4 个4*4的PU;在CU为其他大小块时，PU大小与CU大小相同。这样，在图像平滑区域就可以选用 较大尺寸块进行编码，而在图像复杂区域可以选用小尺寸块进行编码，使得预测结果更加 准确。
[0005] 2、更精确的预测模式。与H. 264的9种帧内预测模式相比，HEVC中一共有35种模式， 包括33种角度模式、DC模式和Planar模式。多种角度模式及Planar模式的增加，使得帧内预 测更加准确，性能得到提升。
[0006] 从以上的分析中，我们可以看出，在进行帧内预测的过程中，需要遍历所有的PU的 划分方式以及35种候选模式，从中选出最佳PU划分和最佳模式。这个过程的计算量是很大 的，占用了很大一部分时间。为此，HEVC的官方测试软件HM中给出了一种快速模式选择算 法，该算法包括三个步骤：
[0007] 首先，利用下式计算粗略计算率失真代价，并从中选出N种率失真代价最小的模式 (N与PU的大小有关，PU为4*4或8*8时，N为8，否则为3)。
[0008] J = SATD(s，p)+V)de XRmode
[0009] 其中，SATD如下式，X为残差信号方阵，Η为归一化的MxM的Hadamard矩阵，Μ为方阵 的大小：
[0010] ATD= ΣμΣμ|ΗΧΗ
[0011] 其次，根据相邻块的最佳模式得到MPMs(Most Probability Mode)，再检测MPMs是 否在上面所得到的N个候选模式中，如果不在，将其加入。
[0012]最后，利用下式计算真正的率失真代价，并从N种模式中选出率失真代价最小的一 种，即得到最佳模式。
[0013] J = SSD(s,c)+AmodeXRaii
[0014] 式中SSD(s，c)表示原始像素与重构像素误差的平方和，Rall表示编码当前模式下 所有信息所需要的比特数。
[0015] HM中虽然采用了一种模式快速选择算法然，减少了一些计算量，但是计算复杂度 还是非常高。因此，继续对帧内预测的复杂度进行研究，降低编码时间，还是十分必要的。
【发明内容】
[0016] 有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于 Hadamard变换的模式快速选择和PU提前终止算法。该算法可以与HM中的快速算法相结合， 有效的减少编码时间，并且不会造成编码质量大幅度下降。
[0017] 为实现上述目的，为了实现上述目的，本发明提供一种基于Hadamard变换的帧内 预测快速模式选择和PU划分的方法，该算法嵌套在HM16.0的模式快速选择算法中，所述方 法包括以下步骤：
[0018] S1、利用Haddmard变换获取当前PU块的复杂度，记为N1;同时记当前所在的64*64 的块的复杂度为N2;
[0019] S2、判断当前PU是否为8*8块?是，则执行S3,否则执行S4;
[0020] S3、将N1与阈值ζ比较，若Ν1〈ζ，则不再遍历当前块中的4*4的PU块，而是进行下一 个8*8的PU划分;若Ν1>ζ，则继续遍历4*4的PU块，之后都执行S4;
[0021] 其中 ξ = Ν2/64
[0022] S4、将Ν1与当前PU深度的复杂度阈值ε相比；若Ν1〈ε，执行S5,否则执行S6,其中ε = 12500、2500、800，？1]大小分别为16*16、8*8、4*4;
[0023 ] S5、不再遍历35种候选模式，而是对新的候选模式列表mode 1 i st进行遍历，从中选 出 Μ 种最佳候选模式，之后执行 S7,其中 modelist={0，l，5,6,9，10，ll，15，16，18,20,21， 25,26,27,31,32}；
[0024] S6、执行HM中的快速模式选择算法，但是若在粗选过程中，有相邻两个候选模式的 率失真代价是相等的，则可以跳过下一个候选模式，选出N种最佳候选模式，则执行S7; [0025] S7、对N/M+MPMs种模式计算其真正的率失真代价，选出最佳模式。
[0026] 进一步地，S1步骤中对当前PU块进行Hadamard变换，然后计算其复杂度，复杂度可 以表示为：
[0028] 式中，其中Μ为方阵的大小，Η为归一化的MxM的Hadamard矩阵，而X为当前PU块的像 素矩阵，其中IΗΧΗI表示的是求矩阵中各元素的绝对值之和，而不是矩阵的模。
[0029] 设仏是一个2mX 2m的矩阵，其通项式表达为：
[0031]以4*4的PU块大小为例说明计算复杂度的过程：
[0032] 给定以下4x4矩阵X，对其做Hadamard变换，求其complexity
[0037] 贝！Jcomplexity = IYI =98。
[0038] 进一步地，如何判断当前块纹理是复杂还是平缓，也就是对阈值ζ和ε的选取，这里 ζ = Ν1/64,而ε与PU大小有关，ε分别为12500、2500、800，对应?1]大小分别为16*16、8*8、4*4， 这里的(和 ￡都是由大量实验测试数据统计而来的。
[0039] 进一步地，S5中所得的新的模式候选列表，即modelist = {0，1，5,6,9，10，11，15， 16，18，20，21，25，26，27，31，32}，该模式列表也是测试了大量的视频序列，统计了最常被选 为最佳模式的候选模式，再加上其余方向的几个代表性模式所组成的。
[0040] 进一步地，S6所提的跳过一些模式的方法，是在实验测试中发现的，之后用大量的 视频序列对其进行了测试。
[0041 ] 进一步地，首先，记当前64*64的PU块的复杂度为N2,则对于该PU块中8*8的PU块的 平均复杂度为N2/64;其次，当遍历至8*8的PU块时，得到该8*8的复杂度complexity;最后， 比较complexity与N2/64，若complexi ty〈N2/64，则认为TO较平滑、纹理不复杂，则PU不用再 遍历4*4的?11;若〇〇11^|]^;^>吧/64，则认为?1]纹理较复杂，贝1|需要遍历4*4的?1]。
[0042]本发明的有益效果是：
[0043]本发明相比ΗΜ16.0中的帧内预测模式快速选择和PU划分，减少了选择模式的计算 复杂度，同时也会在一定条件下提前终止4x4的PU的划分，大大减少了编码时间，性能下降 也在可以接收的范围内，提高了 ΗΜ的实时性。本发明中的参数都是经过大量测试而得到的， 所以本发明中的算法对所有视频序列都是有效的，但对平缓、纹理复杂度不高的视频序列 效果最好，编码时间减少最多，而性能下降较小。
[0044]以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以 充分地了解本发明的目的、特征和效果。
【附图说明】
[0045] 图1是HEVC帧内预测的3 5种候选模式
[0046] 图2是HM16.0中的帧内模式快速选择算法示意图。
[0047] 图3是本发明实施例提供的帧内预测快速模式选择的流程图。
[0048]图4是本发明实施例提供的提前终止PU划分的流程图。
[0049]图5是本发明的对不同视频序列的效果测试数据图。
【具体实施方式】
[0050 ] 如图2、3、4所示，一种基于Ha damar d变换的帧内预测快速模式选择和PU划分的方 法，该算法嵌套在HM16.0的模式快速选择算法中，所述方法包括以下步骤：
[00511 S1、利用Haddmard变换获取当前PU块的复杂度，记为NI;同时记当前所在的64*64 的块的复杂度为N2;
[0052] S2、判断当前PU是否为8*8块?是，则执行S3,否则执行S4;
[0053] S3、将N1与阈值ζ比较，若Ν1〈ζ，则不再遍历当前块中的4*4的PU块，而是进行下一 个8*8的PU划分;若Ν1>ζ，则继续遍历4*4的PU块，之后都执行S4;
[0054] 其中 ξ = Ν2/64
[0055] S4、将Ν1与当前PU深度的复杂度阈值ε相比；若Ν1〈ε，执行S5，否则执行S6，其中ε = 12500、2500、800，？1]大小分别为16*16、8*8、4*4;
[0056] S5、不再遍历35种候选模式，而是对新的候选模式列表mode 1 i st进行遍历，从中选 出 Μ 种最佳候选模式，之后执行 S7,其中 modelist={0，l，5,6,9，10，ll，15，16，18,20,21， 25,26,27,31,32}；
[0057] S6、执行HM中的快速模式选择算法，但是若在粗选过程中，有相邻两个候选模式的 率失真代价是相等的，则可以跳过下一个候选模式，选出N种最佳候选模式，则执行S7; [0058] S7、对N/M+MPMs种模式计算其真正的率失真代价，选出最佳模式。
[0059]本实施例中，S1步骤中对当前PU块进行Hadamard变换，然后计算其复杂度，复杂度 可以表示为：
[0061 ] 式中，其中Μ为方阵的大小，Η为归一化的MxM的Hadamard矩阵，而X为当前PU块的像 素矩阵，其中IΗΧΗI表示的是求矩阵中各元素的绝对值之和，而不是矩阵的模。
[0062] 设仏是一个2mX 2m的矩阵，其通项式表达为：
[0064]以4*4的PU块大小为例说明计算复杂度的过程：
[0065] 给定以下4x4矩阵X，对其做Hadamard变换，求其complexity
[0067] 则Hadamard变换的系数矩阵为：
[0070] 贝！Jcomplexity = IYI =98。
[0071] 本实施例中，如何判断当前块纹理是复杂还是平缓，也就是对阈值ζ和ε的选取，这 里ζ = Ν1/64,而ε与PU大小有关，ε分别为12500、2500、800，对应?1]大小分别为16*16、8*8、4* 4,这里的ζ和ε都是由大量实验测试数据统计而来的。
[0072] 本实施例中，55中所得的新的模式候选列表，即111〇(16118七={0，1，5,6,9，10，11， 15，16，18，20，21，25，26，27，31，32}，该模式列表也是测试了大量的视频序列，统计了最常 被选为最佳模式的候选模式，再加上其余方向的几个代表性模式所组成的。这里只提前终 止了 4*4的PU块的划分，而未提前终止其余大小的PU划分。这是因为，遍历4*4的PU的所需时 间较多，而最佳PU为4*4的情况相对不多。因此，只对4*4的PU划分进行改进，便能达到减少 时间的目的。
[0073] 本实施例中，S6所提的跳过一些模式的方法，是在实验测试中发现的，之后用大量 的视频序列对其进行了测试。S5、S6种的Μ、Ν的大小是与PU的大小有关的。具体为当PU为8* 8、4*4大小时，Μ为4，Ν为8;当PU为16*16时，Μ为2，Ν为3;当PU为32*32、64*64大小时，Μ与Ν均 为3。
[0074] 本实施例中，首先，记当前64*64的PU块的复杂度为Ν2,则对于该PU块中8*8的PU块 的平均复杂度为Ν2/64;其次，当遍历至8*8的PU块时，得到该8*8的复杂度complexity;最 后，比较。〇11^)161；^7与呢/64，若。〇11^|161；^7〈呢/64，则认为1 31]较平滑、纹理不复杂，则?1]不 用再遍历4*4的?1];若(：〇11^|]^;^>吧/64，贝11认为?1]纹理较复杂，贝11需要遍历4*4的?1]。
[0075]本实施例中，从以上例子中我们可以看出，Hadamard变换只有加减法，计算简单， 因此使用其计算复杂度不会引入大量的计算量。
[0076]本实施例中，纹理复杂度不高、平坦区域较多的视频序列，较容易满足本发明中的 提前终止PU划分，快速模式选择的条件，其时间减少更多，性能下降也不多。
[0077]本发明的方法是在HM中的快速模式选择算法的基础上进行改进的。通过大量实验 统计不同大小的PU的复杂度分布，对不同的大小，设置不同的复杂度阈值。同时统计其最 常选择的17种候选模式，得到新的候选模式列表。在复杂度低于阈值的时候，用新的17种候 选模式代替原来的35种候选模式。同时，对于HM中原有的算法中，在对35种候选模式进行粗 略选择时，有时相邻的几种候选模式的率失真代价是相同的，这时候，其实是可以跳过一些 相邻模式的。
[0078]对于帧内预测的PU来说，PU较平滑、纹理不复杂时，最佳PU通常会是大块。而只有 当PU纹理复杂的时候，才会被划分小块。因此，当利用Hadamard变换计算的复杂度较低时， 我们便可以提前终止PU的划分，从而减少时间。本发明在HEVC中的编码质量下降不多的条 件下，降低了HEVC的计算复杂度，减少了HEVC的编码时间，并且不局限于视频序列，不同的 视频序列，分辨率对本发明的效果都影响不大。
[0079] 如图5所示，经过大量的测试，我们的改进算法平均减少时间25.96%，而BD-rate 增加了 1.45%，BD-PSNR下降了-0.0743,视频质量损失不大。同时我们也可以发现，该算法 不局限于视频序列，对不同的视频序列，分辨率的有明显的效果，节省了时间。此外，该算法 对1280x720的视频序列效果较好，即减少时间最多，视频编码质量下降不多。
[0080]以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无 需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术 人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的 技术方案，皆应在由权利要求书所确定的保护范围内。
【主权项】
1. 一种基于Hadamard变换的帧内预测快速模式选择和PU划分的方法，该算法嵌套在 HM16.0的模式快速选择算法中，所述方法包括以下步骤： 51、 利用Haddmard变换获取当前PU块的复杂度，记为NI;同时记当前所在的64*64的PU 块的复杂度为N2; 52、 判断当前PU是否为8*8块，若是，则执行S3，否则执行S4; 53、 将Nl与阈值ζ比较，若Ν1〈ζ，则不再遍历当前块中的4*4的PU块，而是进行下一个8*8 的HJ划分;若Nl >ζ，则继续遍历4*4的PU块，之后都执行S4; 其中ξ = Ν2/64 54、 将NI与当前PU深度的复杂度阈值ε相比；若Ν1〈ε，执行S5,否则执行S6,其中ε = 12500、2500、800，？1]大小分别为16*16、8*8、4*4; 55、 不再遍历35种候选模式，而是对新的候选模式列表modeIist进行遍历，从中选出M 种最佳候选模式，之后执行 S7,其中 modelist={0，l，5,6,9，10，ll，15，16，18,20,21，25， 26,27,31,32}； 56、 执行HM中的快速模式选择算法，但是若在粗选过程中，有相邻两个候选模式的率失 真代价是相等的，则跳过下一个候选模式，选出N种最佳候选模式，则执行S7; 57、 对N/M+MPMs种模式计算其真正的率失真代价，选出最佳模式。2. 根据权利要求1所述的基于Hadamard变换的帧内预测快速模式选择和PU划分的方 法，其特征在于，Sl步骤中对当前PU块进行Hadamard变换，然后计算其复杂度，复杂度表示 为：式中，其中M为方阵的大小，H为归一化的MxM的Hadamard矩阵，而X为当前PU块的像素矩 阵，其中IHXHl表示的是求矩阵中各元素的绝对值之和，而不是矩阵的模，设Hm是一个2mx2 m 的矩阵，其通项式表达为：以4*4的RJ块大小为例说明计算复杂度的过程： 给定以下4x4矩阵X，对其做Hadamard变换，求其complexityY=HXH则complexity= I Y| =98〇3. 根据权利要求1或2所述的基于Hadamard变换的帧内预测快速模式选择和PU划分的 方法，其特征在于，如何判断当前块纹理是复杂还是平缓，也就是对阈值ζ和ε的选取，这里ζ = Ν1/64,而ε与PU大小有关，ε分别为12500、2500、800，对应？1]大小分别为16*16、8*8、4*4， 这里的(和 ￡都是由大量实验测试数据统计而来的。4. 根据权利要求1所述的基于Hadamard变换的帧内预测快速模式选择和PU划分的方 法，其特征在于，S5中所得的新的模式候选列表，即modelist={0，l，5,6,9，10，ll，15，16， 18，20，21，25，26，27，31，32}，该模式列表也是测试了大量的视频序列，统计了最常被选为 最佳模式的候选模式，再加上其余方向的几个代表性模式所组成的。5. 根据权利要求1所述的基于Hadamard变换的帧内预测快速模式选择和PU划分的方 法，其特征在于，S6所提的跳过一些模式的方法，是在实验测试中发现的，之后用大量的视 频序列对其进行了测试。6. 根据权利要求1所述的基于Hadamard变换的帧内预测快速模式选择和PU划分的方 法，其特征在于，首先，记当前64*64的PU块的复杂度为N2，则对于该PU块中8*8的PU块的平 均复杂度为N2/64;其次，当遍历至8*8的PU块时，得到该8*8的复杂度complexity;最后，比 较complexi ty与N2/64，若complexi ty〈N2/64，则认为PU较平滑、纹理不复杂，则PU不用再遍 历4*4的PU;若complexity >N2/64，则认为PU纹理较复杂，则需要遍历4*4的PU。
【文档编号】H04N19/61GK106028047SQ201610348075
【公开日】2016年10月12日
【申请日】2016年5月24日
【发明人】宋锐, 李璐, 李云松, 王养利, 赵园伟
【申请人】西安电子科技大学