用于运动补偿预测的方法和设备的制造方法
【专利说明】用于运动补偿预测的方法和设备
[0001]本申请是原案申请号为201280031173.9的发明专利申请(国际申请号:PCT/US2012/043674，申请日:2012年6月22日，发明名称:用于运动补偿预测的方法和设备)的分案申请。
[0002]相关申请
[0003]本专利文献要求2011年6月24日提交的临时美国专利申请N0.6，501，112的在35U.S.C.§ 119(e)下的申请日的利益，其完整内容以引用方式并入本文。
[0004]发明背景
技术领域
[0005]本发明涉及用于帧间预测的运动补偿，具体地讲，涉及实现低复杂度和高精度的运动补偿中使用的分数样本(fract1nal sample)插值。
【背景技术】
[0006]数字视频需要大量数据来以未压缩方式表示数字视频序列(例如，一系列帧)中的每一帧。由于带宽限制，对于大多数应用而言通过计算机网络发送未压缩的数字视频不可行。另外，未压缩的数字视频需要大量存储空间。通常以一些方式对数字视频进行编码，以降低存储要求并降低带宽要求。
[0007]对数字视频进行编码的一种技术是帧间预测。帧间预测利用了不同帧之间的时间冗余。视频的时间上相邻的帧通常包括基本上保持相同的像素块。在编码处理过程中，运动矢量使一个帧中的像素块的移动与另一帧中的类似像素块相互关联。因此，系统不需要对像素块编码两次，而是对像素块编码一次并提供运动矢量以预测另一像素块。
[0008]对数字视频进行编码的另一技术是帧内预测。帧内预测在不参照其它帧中的像素的情况下对帧或其一部分进行编码。帧内预测利用了帧内的像素块之间的空间冗余。由于空间上相邻的像素块通常具有相似的属性，所以通过参照相邻块之间的空间相关来提高编码处理的效率。可通过基于相邻块中使用的预测模式预测目标块来利用这种相关。
[0009]在帧间预测中，基于运动估计和补偿预测接收的图片。视频中的运动对象常常从一个帧到一个帧地出现，使得它的全部或一部分在那些后续帧中重新定位。不管那些重新定位，帧序列之间的相关较高，导致冗余。可通过将当前帧中的样本与基准帧中的相同对象的位置进行比较并相关来降低这种时间冗余。具体地讲，在运动估计过程中，将当前帧或其分区与基准帧进行比较，所述基准帧在时间上可在当前帧之前或前面。将相应基准帧中设置的搜索范围内的像素图案与当前帧中展现的像素图案进行比较，直至找到包含与待编码的当前帧中的像素图案最匹配的像素图案的基准帧为止。基于比较结果，来估计帧间位移矢量或运动矢量。利用估计的运动矢量，运动补偿生成当前帧的预测。
[0010]可通过对基准图片中的像素(称为整数位置处的样本，或简称为整数样本)应用插值以增加基准图片的分辨率，来增加运动矢量准确度和编码效率。插值是为了利用整数样本的值生成各个整数样本之间的分数样本。整数样品之间生成越多分数样本，基准图片的分辨率变得越高，可越精确和准确地补偿分数样本位移。例如，为了准确地补偿仅为半个像素的位移的运动对象的移动，需要至少半像素插值。可利用许多种不同的块尺寸来执行运动估计和补偿。可针对具有4X4、4X8、8X4、8X8、8X16、16X8或16X16像素的分区确定各个运动矢量。提供小的运动补偿分区提高了处理精细运动细节的能力。
[0011]H.264/AVC采用2步骤方法并实现高达四分之一像素分辨率的运动补偿。在
H.264/AVC中，第一步骤使用6抽头滤波器来从周围整数样本的值生成半像素分辨率的中间值。在第二步骤中，对整数样本的值和中间值取平均，或者在中间值之间取平均，以生成四分之一像素位置处的分数样本(或简称为四分之一像素样本)。在B切片中，可对来自两个预测的两个预测分数样本进一步取平均。然而，请注意，多重平均运算在级联时会引入舍入误差，其对运动补偿的准确度和效率有不利影响。视频编码联合协作组(JCT-VC)的提案D321和E242解决了与双向平均关联的舍入误差问题。这些文献提出增加舍入操作，所述舍入操作被限制在两个预测之后的双向平均的最后步骤处进行。
[0012]JCT-VC草案E603公开了使用8抽头滤波器来实现四分之一像素分辨率。在E603中，一些四分之一像素样本通过将8抽头滤波器应用于最近的整数样本并将滤波结果截断为预定比特深度来导出。剩余四分之一像素样本通过两个处理来导出。在第一处理中，中间值通过在垂直方向上将8抽头滤波器应用于最近整数样本来导出。在第二处理中，在水平方向上将8抽头滤波器应用于中间值，并将滤波结果截断至预定比特深度。此2处理方法的优点在于，第二处理中的垂直滤波和水平滤波不要求固定顺序，因此没有必要向解码器提供有关第二处理中的垂直滤波和水平滤波的顺序的信令。然而，E603中讨论的运动补偿需要定义附加滤波操作来生成中间值。应用于中间值的滤波操作开销高，且需要高计算复杂度，尤其是对于具有高比特深度的视频数据而言。
[0013]另外，在E603讨论的运动补偿中，中间值没有被截断为确保从其计算的四分之一像素样本的准确度。因此，在E603讨论的运动补偿过程中，所计算出的值的按位精度不恒定。在上述第一处理的结尾，所得样本值的精度增加了由8抽头滤波器的增益确定的量。通过将8抽头滤波器应用于中间值，在截断至预定精度之前精度再次增加了与第一处理中相同的量。因此，第二处理中需要截断的分辨率是第一处理所需要的两倍，以便在第二步骤的结尾使分辨率回到原始比特深度。
【发明内容】
[0014]鉴于上述现有技术，本发明提供了一种用于帧间预测的新颖的运动补偿操作。该运动补偿对样本应用分数样本插值以生成分数样本。在根据本发明的运动补偿中，在第一方向上对样本应用第一分数样本插值以生成第一组分数样本。在第二方向上对第一组分数样本应用第二分数样本插值，以生成第二组分数样本。在本发明中，利用与样本的表示精度无关的精度来表示第一组分数样本。
[0015]在本发明的一方面中，所述分数样本插值应用具有以下三组系数中的一个的8抽头FIR滤波器来生成四分之一像素样本:
[0016][-1,4,-10,58, 17,-5, 1,0]；
[0017][-1,4，-11，40，40，-11，4，-1];以及
[0018][0，1，-5，17，58，-10，4，-1] ο
[0019]在本发明的一方面中，所述分数样本插值包括截断各个滤波结果，使得所述分数样本具有期望的精度。贯穿所述第一分数插值处理和第二分数插值处理，所述期望的精度可以是恒定的。
[0020]截断处理可涉及使截断结果朝负无穷大舍入。这通过不将任何偏移增加到截断处理之前的滤波结果来实现。
[0021]另外，在本发明的另一方面中，可独立于样本的原始比特深度将所述样本按比例放大至第二比特深度，该第二比特深度对于所述样本而言是恒定的。所述第二比特深度可被设置为等于可用于表示样本的比特数，按比例放大因子被设置为等于可用于表示样本的比特数减去样本的原始比特深度。
[0022]另外，在本发明的另一方面中，用按比例放大的样本减去偏移。
【附图说明】
[0023]图1是示出可实现本发明的示例性硬件体系结构的框图。
[0024]图2是示出可应用本发明的视频编码器的总体视图的框图。
[0025]图3是示出可应用本发明的视频解码器的总体视图的框图。
[0026]图4是示出根据本发明的实施方式的编码器的功能模块的框图。
[0027]图5是示出根据本发明的实施方式的视频编码器所执行的编码处理的流程图。
[0028]图6是示出根据本发明的实施方式的分数样本插值的处理的流程图。
[0029]图7是用于分数样本插值的滤波的示意图。
[0030]图8是示出根据本发明的实施方式的解码器的功能模块的框图。
[0031]图9是示出根据本发明的实施方式的视频解码器所执行的解码处理的流程图。
【具体实施方式】
[0032]图1示出可实现本发明的计算机100的示例性硬件体系结构。请注意，图1所示的硬件体系结构可以是实现本发明的实施方式的视频编码器和视频解码器这二者共有的。计算机100包括处理器101、存储器102、存储装置105以及经由本地接口 107以通信方式耦合的一个或更多个输入和/或输出(I/O)装置106 (或外设)。如本领域已知的，本地接口 107可以是(例如，但不限于)一个或更多个总线或其它有线或无线连接。
[0033]处理器101是用于执行软件(尤其是存储在存储器102中的软件)的硬件装置。处理器101可以是任何定制或市售的处理器、中央处理单元(CPU)、与计算机100关联的多个处理器