专利名称：一种混合视频编码框架中的增强型双向运动矢量预测方法
技术领域：
本发明涉及视频压缩编码技术，尤其是一种混合视频编码框架中的增强型双向运 动矢量预测方法。
背景技术：
在混合视频编码框架中，一个重要的特性就是采用基于块的运动补偿/预测机制 实现帧间预测编码。图像的时域和空间域相邻块运动信息之间往往存在着很强的相关性， 利用已编码块的运动矢量对当前编码块的运动矢量预测机制是帧间编码中的重要技术。精 确的运动矢量预测不仅能够降低最终的预测残差，而且能够减少码流中用于与传递运动相 关的边信息，因此要提高帧间编码的压缩效率就应当尽可能多地提高运动矢量预测的准确 性。同时，由于双向预测机制比单向预测机制具有更好的去除帧间相关性的特性，因此，在 当前视频编码的研究中越来越得到重视。双向预测在编码时间上可以利用来自前向和后向 的多个参考帧的已编码信息，空间上可以利用相邻块的已编码信息，方式非常灵活，可用信 息非吊丰_ ο目前，最新视频编码国际标准是由联合视频工作组(JVT，Joint VideoTeam)制定 的H. 264/AVC (Advanced Video Coding)。在H. 264/AVC中，将采用双向预测的编码块称之 为B块。H. 264/AVC中B块的运动矢量预测技术主要利用了运动信息的时域相关性和空域 相关性。在该标准中，B块的运动矢量预测大致可以划分为两类direCt预测和常规预测， 对于不同的宏块编码模式，会采用不同的预测方法，如表1所示。以下对两种预测方法分别 进行说明表1H. 264/AVC中B块的运动矢量预测方法
预测方法分类适用模式利用的相关性常规预测非Skip、非Direct模式空域direct预测Skip、 Direct时域\空域(1)常规预测方法当B块的编码模式即非Skip模式也非Direct模式时，其所有的运动矢量预测都 采用常规方法。假设E为当前宏块或宏块分割，A、B、C、D分别对应于E的左侧、上侧、右上 侧和左上侧的块或分割。如果E的左侧存在多个分割，则令其中最上侧的为A ；如果E的上 侧存在多个分割，则令其中最左侧的为B。当C块不存在时，用D块的信息替代C块。令A、B、C块的运动矢量分别为MVa、MVb和MVC，则E的运动矢量预测值MVP的求取 方式为若当前分割为16X8模式的上半部分，则MVP = MVb ；若当前分割为16X8模式的 下半部分，则MVP = MVa ；若当前分割为8 X 16模式的左半部分，则MVP = MVa ；若当前分割为8 X 16模式的右半部分，则MVP = MVb ；若当前分割不属于16X8禾Π 8X 16模式，则MVP = median (MVA, MVb, MVc) (1)可见常规的运动矢量预测方法只利用了运动信息的空间域相关性。(2) direct 预测方法当B块的编码模式为Skip或Direct时，其运动矢量预测都采用direct方法推测 得出。H. 264/AVC支持两种不同的direct方法，即时域direct和空域direct，在编解码过 程中，通过Slice头信息中的direct_Spatial_mV_pred_flag语法元素指明当前使用的是 时域或空域的direct方法。在利用时域运动预测时，通常假设运动物体在临近帧上的是勻速的运动。基于 这样的假设，首先在参考队列Listl中首个参考帧中寻找到当前编码块的对应位置块 (co-located block)，并取出对应位置块在参考队列ListO首个参考帧的运动矢量·。如 图2所示，假设当前帧与参考队列ListO首个参考帧之间的时间距离为TDb，参考队列ListO 首个参考帧和参考队列Listl首个参考帧之间的时间距离为TDd，则当前编码块的前、后向 运动矢量预测值] ^/,ο和]的计算分别按如下公式计算
(2)
(3)而H. 264/AVC的B块空域direct运动矢量的预测方法则与之前所述的常规预测 方法十分类似，都采用临近运动矢量的中值作为当前编码块的运动矢量预测。通过上述分析可以看出H. 264/AVC的B块的direct运动矢量预测方法利用了运 动信息的时间域或空间域的相关性，但并不能同时综合的应用时间域和空间域的相关性。
发明内容
本发明的目的在于克服现有技术的不足，提供一种提高双向预测的精确度及最终 编码压缩效率的混合视频编码框架中的增强型双向运动矢量预测方法。本发明解决其技术问题是采取以下技术方案实现的一种混合视频编码框架中的增强型双向运动矢量预测方法，包括如下步骤(1)对于当前编码块，综合利用运动信息的时域相关性、空域相关性，通过预测算 子求取一包含多个双向运动矢量预测值的备选集合；(2)当备选集合求取完毕后，采用自适应运动信息预测选择方法从备选集合中选 取最优的运动矢量预测值，作为当前编码块的运动矢量预测进行后续的编码计算和解码计
笪弁。而且，所述的预测算子包括H. 264/AVC的时域预测算子、H. 264/AVC的空域预测算 子和时-空域联合预测算子。而且，所述的被选集合包括时间域预测值(MVPt)、空间域预测值(MVPs)和时-空 域联合预测值(MVPT_S)。而且，所述的选取最优的运动矢量预测值的方法为使用基于双向预测编码块之
4间的绝对误差和作为评价准则，对应于最小绝对误差和的一组双向运动矢量被选定为最优 的运动矢量预测值。而且，所述的时_空域联合预测算子的求取方法为首先利用空域预测方法在参 考帧列表的首个参考帧中求取出一个预测编码块，然后对该预测编码块本身已有的运动矢 量信息通过时域预测方法获得。而且，在选取最优的运动矢量预测值时，还通过扩大用于计算绝对误差和的前后 向预测编码块面积来降低当编码块尺寸较小时出现误判的概率。本发明的优点和积极效果是本发明综合利用运动信息在时域及空域上的相关特性，充分挖掘并利用了运动矢 量在时域和频域上的相关性，提高了最终运动矢量的预测精确度，同时利用基于预测编码 块SAD准则的自适应选择技术，能够在编码和解码端独立无失谐的完成，因此无需在码流 中传送相应的边信息，提高了提高了双向帧间预测编码的压缩性能，可广泛地用于混合视 频通信领域。
图1为本发明所采用的增强型双向运动矢量预测的流程图；图2为本发明所采用的时域运动矢量预测算子的示意图；图3为本发明所采用的空域运动矢量预测算子的示意图；图4为本发明所采用的时_空域联合运动矢量预测算子的示意图；图5为本发明所采用的基于前后向预测编码块SAD准则的最优运动矢量预测值的 求取方法示意图；图6为本发明所采用的扩大用于计算SAD的预测编码块的面积的方法示意图；图7为对CIF大小的“Mobile”序列采用本实施例方法与H. 264/AVC标准采用方 法仿真得到的率失真曲线比较示意图；图8为对720p大小的“Crew”序列采用本实施例方法与H. 264/AVC标准采用方法 仿真得到的率失真曲线比较示意图。
具体实施例方式以下结合实例对本发明做进一步描述。一种混合视频编码框架中的增强型双向运动矢量预测方法，是为了提高帧间编码 中双向预测的性能而设计的，其在充分利用时域、空域的运动信息相关性的基础上，结合自 适应的最优运动矢量预测值的优选技术，提高了运动预测的精确度，进而提升了整体系统 的编码压缩性能。为此，在编解码一个双向预测的B块时，采用本发明的增强型双向运动矢 量预测方法来实现，其步骤如下用于混合视频编码框架中帧间预测编码的所有双向编码模式，包括如下步骤(1)对于当前编码块，综合利用运动信息的时域相关性、空域相关性，通过一系列 预测算子求取一个包含多个双向运动矢量预测值的备选集合；(2)在备选集合求取完毕后，采用自适应运动信息预测选择方法从备选集合中选 取最优的运动矢量预测值，作为当前编码块的运动矢量预测进行后续的编码计算和解码计
5算。通过上述步骤即可实现混合视频编码框架中的双向运动矢量预测。为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对 本发明进一步详细说明。本发明的增强型双向运动矢量预测方法的处理流程，如图1所示，从图中可以看 出本发明主要包括MVP备用集生成处理过程和MVP自适应优选处理过程组成。(I)MVP备用集生成处理过程如下备用集包括如下三种不同的针对当前编码块运动矢量的预测值时间域预测值 MVPt、空间域预测值MVPs和时-空域联合预测值MVPT_S，其中MVPT、MVPs与H. 264/AVC标准 中规定的时域direct运动矢量预测和空域direct运动矢量预测一致。三种预测值的求取 方法分别为时间域预测值MVPt的求取如图2所示，利用前后向参考帧已有的运动信息，并 结合时间距离等因素求得当前B块的运动矢量预测值；空间域预测值MVPs的求取如图3所 示，假设E为当前宏块或宏块分割，A、B、C、D分别对应于E的左侧、上侧、右上侧和左上侧 的块或分割，A、B、C、D对应的运动信息可以通过计算中值的方法算出当前B块的运动矢量 预测值；时-空域联合预测值MVPT_S的求取图4所示，对于参考帧列表LIST_X (X取0或1)， 首先通过空间域预测值MVPs在LIST_X的第0帧中找到对应的预测编码块，根据视频中物 体运动的时间连续性假设，第0帧中的预测编码块本身的运动信息也与当前编码块有相关 性。因此MVPT_S的值取为第0帧中预测编码块本身在第1帧中的运动矢量(假设帧间的时 间间隔都为1)。当完成上述运动预测值计算后，对于一个B块可选用的运动矢量预测值构成一个 集合，对于前向预测值可以选择MVPT_L0、MVPs_L0或MVPT_s_L0，而对于后向预测值可以选择 MVPT_L1、MVPS_L1 或 MVPT_S_L1。(2) MVP自适应优选处理过程如下本实施例采用了基于比较前后向预测编码块间的绝对误差和(Sum ofAbsolute Difference, SAD)准则求取最优MVP，如图5所示。对于当前编码块，通过前向运动矢量预 测找到的预测编码块为Bfw，后向运动矢量预测找到的预测编码块为Bbw，假设当前编码块的 大小为MXN，则当前情况下前后向预测编码块间的绝对误差和SADfw bw的计算如下式所示
由于前后向预测编码块与当前编码块之间都存在着很强的内容相关性，因此 SADfw bw很大程度上能够反映出当前的运动矢量选取是否准确，SADfw bw越小则说明运动矢量 预测的结果越精确，因此，最优的运动矢量预测可以通过比较SADfw bwW最小值求解出来，假 设前后向的最优运动矢量预测分别为MVP。pt_L0和MVP。pt_Ll，其计算公式为 其中MVP_L0 = {MVPT_L0, MVPs_L0, MVPT_s_L0}，(5)MVP_L 1 = {MVPT_L 1，MVPS_L 1，MVPT_S_L 1}由于MVP_L0和MVP_L0的取值最多都为3种(当时域、空域、时-空域预测值都不 相同时)，因此SAD的计算最多不会超过9次。
6
可见采用这一方法的优点是能够保证编解码端能够独立的求取出相同的最优结 果，而不需要增加码流中的相关的边信息。如前所述，SADfw bw的计算基于了前后向预测编码块与当前编码块属于同一运动物 体的假设，但在实际测试过程中发现有些时候图像内容分布较为复杂的时候这一假设会出 现问题，从而导致最优运动矢量预测的误判。这一情况在当前编码块的尺寸很小时，出现的 可能性会增加。为了解决这一问题，提出了扩展大小的预测编码块SAD计算准则，即通过扩 大用于计算绝对误差和的前后向预测编码块面积来降低当编码块尺寸较小时出现误判的 概率。如图6所示，假设当前编码块所对应的预测编码块为B，其大小为MXN，以B为中心向 四周扩充，则可得到扩展预测编码块exB。若在上、下、左、右四个方向的扩充大小为氏、氏、 WpW1个像素，则经过扩充后的扩展预测编码块exB大小为(WfM+Wi) X饵+N+Hi)，相应的前 后向预测编码块间的绝对误差和SADfwbw的计算表达式应相应改写为 通过采用以预测编码块为中心的扩展块，使得判定运动矢量预测准确性时涵盖了 更多的有用信息，可以有效地改善基于SAD的运动矢量预测最优选择算法在复杂图像区域 的“失效”问题。目前，本发明中使用的扩展参数氏、H1^ff0, W1取值都为8个像素。以上即为本发明的增强型双向运动矢量预测方法的实施方法。为了分析本发明 具体实施例的性能，在代码测试平台KTA2. 6上实现了本发明中的技术，并对本发明技术与 H. 264/AVC标准规定方法的性能加以比较。以下为仿真说明和相关结果。为了全面的测试用于本发明的增强型双向运动矢量预测方法，实验中选用了两种 编码结构，即IBBP结果和长度为7的层级B帧结构(IbBbBbBbBbP,其中“B”表示可用于作 参考帧的B帧，“b”表示不用于作参考帧的B帧)。所有的编码都采用High Profile，并选 取四组不同的量化参数进行编码，(QP1-slice，QPP—slice，QPB—sliJ = {(22,23,24), (27,28,29), (32，33，34)，(37，38，39)}。实验中使用的序列信息如表2所示。表2实验中使用的测试序列
实验中令宏块模式B_Skip，B_Direct_16xl6, B_Bi_16xl6，B_LX_Bi_16x8 (X 可取 0 或 1)，B_LX_Bi_8xl6，B_Bi_LX_16x8，B_Bi_LX_8xl6，B_Bi_Bi_16x8，B_Bi_Bi_8xl6,以及 B_8x8模式下的子划分模式B_Direct_8x8和B_Bi_8x8都开启本发明中所述的增强型双向 运动矢量预测方法，并与都不开启时(即H. 264/AVC的方法)的结果进行比较。相应的码 流节省的结果由表3错误！未找到引用源。给出。表3本发明与H. 264/AVC标准技术结果比较 图7和图8分别给出了采用本发明所述的增强型双向运动矢量预测方法与H. 264/ AVC标准采用方法仿真得到的率失真曲线比较示意图。可以得出结论，EBMVP技术在QP取 值较大，即低码率的时候，性能改善更为明显。由于低码率的码流中运动信息所占的比重加 大，因此EBMVP提高运动矢量预测精度所体现出来的优势就更为明显。除了算法对编码压缩性能的改进，需要考虑的另一个问题就是本发明所述技术对 编解码复杂度的影响。根据之前的描述可知MVP备用集都是利用已有的参考帧的运动向量并通过简单的预测算子生成，因此 几乎不会增加编解码端的复杂度；对于每个双向预测的块或块分割，前后向预测编码块之间SAD的计算最多进行9 次。但分析可知，这种极端的情况只有当时域、空域和时-空域联合预测的结果都互不相同 时才会发生，在图像中只有运动情况非常复杂的部分才有可能出现。而对于图像中绝大多 数的运动简单、平稳的区域，前后向预测编码块之间SAD的计算都会少于9次。因此相对于 整个编解码器，其对复杂度的影响很小。而已上结论在实际的编解码测试中也得到了验证，编解码器的内存占用和运行时 间都几乎没有增加。需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并 不限于具体实施方式
中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出 的其他实施方式，同样属于本发明保护的范围。
权利要求
一种混合视频编码框架中的增强型双向运动矢量预测方法，其特征在于包括如下步骤(1)对于当前编码块，综合利用运动信息的时域相关性、空域相关性，通过预测算子求取一包含多个双向运动矢量预测值的备选集合；(2)当备选集合求取完毕后，采用自适应运动信息预测选择方法从备选集合中选取最优的运动矢量预测值，作为当前编码块的运动矢量预测进行后续的编码计算和解码计算。
2.根据权利要求1所述的一种混合视频编码框架中的增强型双向运动矢量预测方法， 其特征在于所述的预测算子包括H. 264/AVC的时域预测算子、H. 264/AVC的空域预测算子 和时-空域联合预测算子。
3.根据权利要求1所述的一种混合视频编码框架中的增强型双向运动矢量预测方法， 其特征在于所述的被选集合包括时间域预测值(MVPt)、空间域预测值(MVPs)和时-空域 联合预测值(MVPT_S)。
4.根据权利要求1所述的一种混合视频编码框架中的增强型双向运动矢量预测方法， 其特征在于所述的选取最优的运动矢量预测值的方法为使用基于双向预测编码块之间 的绝对误差和作为评价准则，对应于最小绝对误差和的一组双向运动矢量被选定为最优的 运动矢量预测值。
5.根据权利要求2所述的一种混合视频编码框架中的增强型双向运动矢量预测方法， 其特征在于所述的时-空域联合预测算子的求取方法为首先利用空域预测方法在参考 帧列表的首个参考帧中求取出一个预测编码块，然后对该预测编码块本身已有的运动矢量 信息通过时域预测方法获得。
6.根据权利要求4所述的一种混合视频编码框架中的增强型双向运动矢量预测方法， 其特征在于在选取最优的运动矢量预测值时，还通过扩大用于计算绝对误差和的前后向 预测编码块面积来降低当编码块尺寸较小时出现误判的概率。
全文摘要
本发明公开了一种针对混合视频编码框架中帧间预测编码的增强型双向运动矢量预测方法，包括如下步骤(1)对于当前编码块，综合利用运动信息的时域相关性、空域相关性，通过预测算子求取一包含多个双向运动矢量预测值的备选集合；(2)采用自适应运动信息预测选择方法从备选集合中选取最优的运动矢量预测值，作为当前编码块的运动矢量预测进行后续的编码计算和解码计算。本发明综合利用运动信息在时域及空域上的相关特性，提高了最终运动矢量的预测精确度，同时利用基于预测编码块SAD准则的自适应选择技术，能够在编码和解码端独立无失谐的完成，提高了双向帧间预测编码的压缩性能，可广泛地用于混合视频通信领域。
文档编号H04N7/26GK101917615SQ201010190730
公开日2010年12月15日 申请日期2010年6月3日 优先权日2010年6月3日
发明者叶锋, 宗晓飞, 常侃, 张文豪, 张鑫明, 杨波, 门爱东, 韩钰 申请人:北京邮电大学