一种基于运动估计和时空域相关性的快速帧间预测方法
【专利摘要】本发明公开了一种基于运动估计和时空域相关性的快速帧间预测方法，其包括有：1、在运动估计方面，以中值MV为起始搜索点，进行步长为1和2的两轮菱形搜索，若得到的最优MV为起始中值MV，则终止运动估计，否则，以新得到的最优MV代替中值MV进行TZSearch过程；2、在PU模式选择和CU深度抉择方面，利用当前编码单元空间和时间邻域的9个相邻块的编码模式和率失真代价信息，若有一定量的邻域编码单元采用了skip模式，且当前编码单元的率失真代价小于某个阈值，则认为当前块处于运动平缓区域，提前终止PU模式的遍历过程和提前终止CU划分。本发明大大减少了高清视频编码的时间，并且不局限于特定特征的视频序列，对于图像的分辨率，纹理等特征不过分依赖。
【专利说明】
一种基于运动估计和时空域相关性的快速帧间预测方法
技术领域
[0001] 本发明涉及ffiVC高清视频编码技术领域，具体涉及一种不影响视频编码质量、可 大大减少了高清视频编码的时间、不过分依赖图像的分辨率和纹理特征的基于运动估计和 时空域相关性的快速帧间预测方法。
【背景技术】
[0002] 视频是一种形象、具体、有效的信息传递媒体。视频序列可以表示为三维矩阵，其 中NxM这两个维度表示每幅图像的像素值，形成视频的空间域，另一个维度代表视频的时间 域，为了使人眼能够有平滑连续的感受，视频的帧率需要达到25fps(帧/每秒）。然而原始视 频的数据量是十分巨大的，在存储和传输方面受到很大的限制，因此需要采用视频编码技 术对视频进行压缩处理，最新的视频编码技术是JCT-VC会议公布的新一代视频编码标 准--H.265/HEVC(High Efficiency Video Coding高效视频编码）。
[0003] HEVC采用混合编码框架，包括帧内预测、帧间预测、变换、量化、熵编码、环路滤波 等模块。其中帧间预测模块包含运动估计、运动补偿、帧间预测模式选择和CU深度抉择等子 模块，目的是最大限度的利用空域-时域预测来消除时域上的信息冗余，以达到压缩视频的 目的。帧间预测中花费大量的时间在运动估计，PU模式选择和编码单元(CU)深度抉择三个 方面，下面将分别介绍在HEVC中三个模块的实现算法。
[0004] 1、运动估计。TZSearch算法是HEVC中出现的运动搜索新技术，它包含以下步骤： (1)确定起始搜索点。在当前预测单元(PU)的左、上以及右上的运动向量(MV)，中值预测 MV和零运动向量中选择匹配误差最小的点作为起始搜索点。（2)以步长1开始，按照如图1所 示的菱形模板在搜索范围内进行搜索，其中步长以2的整数次幂的形式递增，选出率失真代 价最小的点作为该步骤的搜索结果。（3)若步骤2得到的最优点对应的步长为1，则需在该最 优点周围做两点搜索;若得到的最优点对应步长大于某个阈值，则以该最优点为中心，在一 定范围内进行全搜索。选择率失真代价最小的点作为该步骤的最优点。（4)以步骤3得到的 最优点为新的起始搜索点，重复步骤2~3,细化搜索，当两次相邻的细化搜索得到的最优点 一致时停止细化搜索，此时得到的MV即为最优的MV。
[0005] 2、帧间PU模式判别。每一预测单元PU都有一系列的运动参数，包括运动矢量、参考 图像索引等。一个CU可以使用以下编码模式中的一种来进行编码:包括跳过模式(Skip)、帧 间模式(Mode_Inter)和帧内模式(Mode_Intra)。当⑶块采用skip模式进行编码时，当前⑶ 的运动参数全部由运动合并技术(Merge)来得到。在这种情况下的运动参数是通过检查所 有可能的Merge候选运动矢量，并选择其中能使率失真代价最小的运动参数。对于跳过模 式，任何对于PU的进一步划分都是不允许的，即PU的大小同当前CU尺寸相同。当CU块采用帧 间模式编码时，要遍历的8种划分方式（2NX2N、2NXN、NX2N、NXN、2NXnU、2NXnD、nLX 2仏111^2?，率失真代价最小的?1]模式即为最优?1]模式。
[0006] 3、⑶深度抉择策略。当HEVC中最大编码单元大小为64x64,最大编码深度为3时，CU 最佳划分方式选择过程可描述如下：（1)对整个最大编码单元LCU(64x64)直接遍历各种预 测模式，得到率失真代价最小的预测模式，此时编码深度为0; (2)将当前编码单元按四叉树 方式分割成4个更小的CU单元，并对每个CU进行第1步的计算；（3)若当前块编码深度小于3， 则转到步骤2,若编码深度等于3,直接跳到第4步；（4)对所有划分方式进行率失真代价的比 较，选出最优划分方式，存储其率失真代价。
[0007] 由以上相关技术可以知道，HEVC在CU深度划分方面采用不停递归的方法来确定最 佳的CU划分方式;而在这递归调用过程中又要每次都计算最佳的PU划分模式;在此过程中 每块PU又要进行运动估计以得到最优的MVAEVC的帧间预测过程计算量非常大，高清视频 编码的时间较长。
[0008] 综上可见，需要一种快速的帧间预测方法，在保证不过分依赖于视频的自身特征 和保证编码质量不会大幅下降的前提下，能够有效减少视频序列编码所需时间。
【发明内容】
[0009] 本发明针对上述现有技术的不足，提供了一种基于运动估计和时空域相关性的快 速帧间预测方法，其分别在运动估计、PU模式选择，CU深度抉择三个方面对帧间预测过程进 行了改进，充分利用了编码过程中得到的邻域的编码模式及相对应的率失真代价信息，其 帧间预测技术计算方法简单、大大缩短了编码时间，本发明适用于所有的标准测试序列，尤 其对变化平缓的序列效果明显。
[0010] 在运动估计方面，通过提前统计运动估计最终得到的最优MV的概率信息，发现最 终MV为中值MV的概率占很大的比例，依据此概率信息，在TZSearch算法中首先以中值MV为 起始搜索点，进行步长为1和2的两轮菱形搜索，如果此时得到的最优MV仍然为中值MV，则提 前终止运动估计，最优MV即为中值MV，否则，以新得到的最优MV代替中值MV进行标准的 TZSearch 过程。
[0011] 在PU模式选择和CU深度抉择方面，利用当前编码单元空间邻域和时间邻域的9个 相邻块的编码信息，来提前终止PU模式的遍历过程和提前终止CU划分。
[0012] 为解决现有技术中存在的问题，本发明采用的具体技术方案是：
[0013] -种基于运动估计和时空域相关性的快速帧间预测方法，其包括以下步骤：
[0014] 步骤一、在HM16.0模型xTZSearch函数中添加功能，首先以中值MV(MPX，MPY)为起 始搜索点，分别进行步长为1和2的两轮菱形搜索，共搜索13个点，获取此时的最佳匹配点P (x,y)；
[0015] 步骤二、判断此最佳匹配点P是否与中值MV相等，如果相等则认为本次TZSearch得 到的最终MV即为中值MV，否则在当前预测PU的左、上以及右上PU的运动向量，P (x，y)和零运 动向量中选择匹配误差最小的点作为起始搜索点，进行标准的TZSearch搜索过程；
[0016] 步骤三、为当前CU进行PU为2Nx2N模式和skip模式的率失真代价计算，并保存此时 较小的率失真代价为D0;
[0017] 步骤四、判断当前CU空间和时间9块邻域的编码模式，统计采用skip模式的邻域块 的个数为N，这N块编码单元的率失真代价求和为D1;
[0018]步骤五、根据视频序列的运动相关性，如果9块邻域中采用skip模式的编码单元超 过n块，即满足条件
[0020] 其中取n = 5，a = 〇 . 1，a为可调节的阈值加权系数，实验得出，取a = 〇 . 1时，编码性 能下降较少；
[0021] 则跳过其余模式的遍历过程；
[0022]步骤六、同理，根据运动相关性，如果当前CU的邻域块中较多的采用skip模式，并 且当前块的率失真代价D2较小，则认为视频序列此处的运动平缓，CU不必再进行更大深度 的划分。如果邻域块中有超过m块采用了 skip模式，即满足条件
[0024] 其中取m = 8,0 = 0.1，0为可调节的阈值加权系数，实验得出取0 = 0.1时编码性能 下降较少；
[0025]则认为当前CU不必再进行下一个深度的四叉树划分。
[0026] 优选的，S2步骤中判断P(x，y)和中值MV(MPX，MPY)是否相等的方法是，必须同时满 足横坐标和纵坐标均相等，即 \x^MPX [0027] \y^MPY
[0028] 进一步优选的，步骤五和步骤六中，将采用skip模式的邻域块编码单元的率失真 代价之和进行平均加权后作为阈值。
[0029] 需要说明的是，步骤一和步骤二是在减少运动估计过程的计算复杂度，步骤三、 四、五是在PU模式选择方面减少编码时间，步骤四和步骤六是在提前终止CU划分方面减少 编码时间。
[0030] 需要说明的是，步骤四中邻域块的率失真代价不用额外计算，在步骤三中，HM模型 中邻域块的编码模式信息和率失真代价都已保存，直接获取即可，不用增添过多计算量。
[0031] 需要说明的是，步骤五和步骤六所需已知条件均在步骤四中已计算得出，所以不 需要重复获取邻域块的率失真代价之和。
[0032] 需要说明的是，在获取采用skip模式的邻域块的率失真代价前，首先要确认此邻 域块是已被编码过的。
[0033] 进一步需要说明的是，用BD-rate和BD-PSNR来表征编码质量的变化情况，为了保 证编码性能不会大幅下降，步骤五中取n = 5，a = 〇. 1，步骤六中取m = 8，0 = 〇. 1对所有标准 测试序列的效果都较好。
[0034]更需要进一步说明的是，变化越是平缓的视频序列，越容易满足本发明中的提前 跳过条件，其时间减少更加明显。
[0035] 通过采用以上技术方案，本发明一种基于运动估计和时空域相关性的快速帧间预 测方法与现有技术对比，其技术效果在于：
[0036] 1、本发明在几乎不影响视频编码质量的条件下减少了高清视频编码的时间，并且 不局限于特定特征的视频序列，对于图像的分辨率，纹理等特征不过分依赖。
[0037] 2、相比HM16.0测试模型，本发明在保证编码性能几乎不变的情况下，减少了计算 复杂度。本发明经过了多次实验测试，设置了合适的参数，使得视频序列不依赖于自身特 性，大大降低了编码时间。
[0038] 3、本发明根据运动相关性，充分利用了当前编码单元空间邻域和时间邻域的编码 f目息，缩短了编码时间。
[0039] 4、本发明应用广泛，其适用于所有视频序列，尤其对于变化平缓的视频序列效果 显著。
[0040] 5、本发明即使在不满足使用条件时，仍能依照标准帧间预测算法正确进行编码。
【附图说明】
[0041] 图1是TZSearch算法的菱形搜索模板；
[0042] 图2是本发明实施例提供的快速帧间预测方法流程图；
[0043] 图3是本发明当前编码单元时空域上的9个相邻块。
【具体实施方式】
[0044] 为了使本发明的目的、技术方案及优点更加清楚明白，结合附图和实施例对本发 明进行作进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用 于限定本发明。
[0045] 本发明在几乎不影响视频编码质量的条件下减少了高清视频编码的时间，并且不 局限于特定特征的视频序列，对于图像的分辨率，纹理等特征不过分依赖。为说明本发明不 过分依赖于视频自身特征，并且几乎不影响视频编码质量，发明人对部分HM标准测试序列 在如下表1的环境下进行了实验，具体实验数据和分析数据由表2给出。
[0046] 表1实验环境
[0048]表2实验数据及分析数据
[0049]
[0050] 表2中，TO表示HM16.0测试模型的编码时间，T1表示HM16.0加入本发明算法后的编 码时间，TS表示时间减少的百分比，其计算公式为：
[0052]由表中结果可知，以上测试序列的编码时间平均减少24.26%，而BD-rate只增加 0.844%，BD-PSNR损失0.026dB。可见编码时间大幅下降，而编码质量损失甚微。同时发现对 FourPeop le_1280x720_60. yuv等变化平缓的序列时间减少更加明显。
[0053]如图2所示，使用本发明的方法对其进行编码，其具体步骤如下：
[0054] S101:在HM16.0模型TZSearch函数中添加功能，首先以中值MV(MPX，MPY)为起始搜 索点进行步长为1和2的两轮菱形搜索，如图共搜索13个点，获取此时的最佳匹配点P(x，y)。
[0055] S102:判断此最佳匹配点P(x，y)的是否与中值MV(MPX，MPY)相等，如果满足 lx = MPX
[0056] 4 |.r= MPY
[0057] 则终止本次TZSearch算法，得到的最终MV即为中值MV。
[0058] S103:首先为当前⑶进行PU为2Nx2N模式和skip模式的率失真代价计算，并保存此 时较小的率失真代价为DO。
[0059] S104:判断当前⑶空间和时间9块邻域的编码模式，如图3所示，统计采用skip模式 的邻域块的个数为N，这N块编码单元的率失真代价求和为D1。
[0060] S105:如果9块邻域中采用skip模式的编码单元超过n块，即满足条件
[0062]其中取11 = 5，<1 = 〇.1，则采用率失真代价〇0对应的?1]模式。终止遍历其余?1]模式的 过程。
[0063] S106:如果邻域块中有超过m块采用了 skip模式，即满足条件
[0064]并且此深度⑶的率失真代价D2满足条件
[0066] 其中取m=8，P = 0.1，则终止⑶下一层深度的递归过程。本编码单元帧间预测过程 结束。
[0067] 不难理解，变化越是平缓的视频序列，越容易满足本发明中的提前跳过条件，其时 间减少更加明显。
[0068]将以上步骤嵌入HM测试模型后，将编码结果进行解码，可以得到正确的视频图像。 [0069]以上所述仅为本发明的实施例而已，并不用以限制本发明，凡在本发明的精神和 原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于运动估计和时空域相关性的快速帧间预测方法，其特征在于，其包括以下 步骤： 51、 在HM16.0模型xTZSearch函数中添加功能，首先以中值MV(MPX，MPY)为起始搜索点， 分别进行步长为1和2的两轮菱形搜索，共搜索13个点，获取此时的最佳匹配点P(x，y); 52、 判断最佳匹配点P(x，y)是否与中值MV(MPX，MPY)相等:如果最佳匹配点P(x，y)与中 值MV (MPX，MPY)相等，则认为本次TZSearch得到的最终MV即为中值MV，并直接终止TZSearch 搜索过程；否则，在当前PU的左、上以及右上PU的运动向量、P(X，y)和零运动向量中选择匹 配误差最小的点作为起始搜索点，进行标准的TZSearch搜索过程； 53、 为当前CU进行PU为2Nx2N模式和skip模式的率失真代价计算，并将此时较小的率失 真代价保存为DO; 54、 判断当前CU空间和时间的9块邻域的编码模式，统计采用skip模式的邻域块的个 数，其个数记为N，对这N个采用skip模式的邻域块编码单元的率失真代价求和，其和为D1; 55、 根据视频序列的运动相关性，如果当前CU空间和时间的9块邻域中采用skip模式的 邻域块的个数N和率失真代价DO满足以下条件：取η = 5，α = 〇. 1，其中，η为⑶空间和时间的9块邻域中采用skip模式的编码单元的最少 块数，D1为步骤S4中所得的N个采用skip模式的邻域块编码单元的率失真代价之和，α为可 调节的阈值加权系数， 则跳过其余PU模式的遍历过程； 56、 根据视频序列的运动相关性，如果当前CU空间和时间的9块邻域中采用skip模式的 邻域块的个数N和当前块的率失真代价D2满足以下条件：其中，取111 = 8，0 = 〇.1，111为〇]空|日」和叮|日」的9厌郊堞甲米用81^]3模式的编码单元的最少 块数，D1为步骤S4中所得的N个采用skip模式的邻域块编码单元的率失真代价之和，D2为当 前块的率失真代价，β为可调节的阈值加权系数， 则认为当前编码单元处的运动平缓，当前CU不必再进行下一个深度的四叉树划分。2. 根据权利要求1所述的一种基于运动估计和时空域相关性的快速帧间预测方法，其 特征在于，步骤S2中判断最佳匹配点P(x，y)与中值MV(MPX，MPY)是否相等的方法为:必须同 时满足两者的横坐标和纵坐标均相等，即3. 根据权利要求1所述的一种基于运动估计和时空域相关性的快速帧间预测方法，其 特征在于，步骤S5、S6中，将采用skip模式的邻域块编码单元的率失真代价之和进行平均加 权后作为阈值。4.根据权利要求1所述的一种基于运动估计和时空域相关性的快速帧间预测方法，其 特征在于，步骤S4中N个采用skip模式的邻域块编码单元的率失真代价是直接在步骤S3中 计算skip模式的率失真代价时获得的。
【文档编号】H04N19/56GK105959699SQ201610300137
【公开日】2016年9月21日
【申请日】2016年5月6日
【发明人】宋锐, 安亮, 贾媛, 李云松, 王养利, 赵园伟
【申请人】西安电子科技大学