专利名称：：视频内容自适应的亚像素插值方法和装置的制作方法
技术领域：
：本发明涉及一种插值方法，特别涉及视频内容自适应的亚像素插值方法；另外本发明还涉及一种实现上述方法的视频内容自适应的亚像素插值装置。技术背景数字视频消耗大量的存储和传输容量，一般而言，视频压縮技术通过压縮空间和时间两个维度的信息冗余，以达到数字视频比特率的目标。帧间编码压縮技术参考前面帧和后面帧以压縮编码预测帧，从而消除时间维上的冗余。在基于块的视频编解码系统中，工程师们使用压縮编码技术来降低数字视频的比特率，解压是压缩的逆过程。帧间压縮技术参考多个前面或后面的帧来压縮多个帧(一般称当前被压縮(解压)帧为预测帧，P帧或B帧，称用以参考的帧为参考帧)。它们的帧间压縮都是使用基于块的运动补偿预测编码，随之编码残差。它们的P帧/B帧编码技术的共同点是采用运动向量估计得到运动矢量，然后以宏块或亚宏块为单位基于运动补偿进行帧间预测，接着对帧间预测得到的残差块进行二维变换，随之对变换域系数量化，'最后熵编码成码流。采用各种抽头的线性滤波器进行亚像素位置像素值的内插，以提高运动估计的准确性，在运动补偿过程中得到较低的残差能量，从而提高视频压縮效率。一般像素内插精度为二分之一，四分之一亮度像素，八分之一色度像素。八分之一的色度像素精度是理论值，其'运动矢量以对应亮度像素位置之矢量推断而来，所以只详细解释亮度像素的插值过程。如图1所示，标识了有全部可能的亚像素位置。阴影框A至D表示整数像素，而空白框a、bl、b2、cl、c2、dl至d4、el至e4、s、m表示内插像素，即亚像素。对图1各个亚像素值的取得，比较典型的实施方案解释如下。结合图2解释其插值过程。如图2所示，显示了亚像素示例位置pl，p2，a,其值由整数像数位置A至T插值来取得。用于这三个位置的六抽头滤波器是bl=((0-5G+20B+20A-5L+T)+16)>>5(1)b2=((N-5F+20B+20C-51+Q)+16)〉〉5(2)其s，m，a0至a7位置的插值同于bl,b2。a=((al-5a0+20bl+20m-5a2+a3)+16)>>5或((a5-5a4+20b2+20s-5a6+a7)+16)〉>5(3)上述三式中，加16然后右移5位是取整控制。如果pl至p3,a0至a7暂时不做取整控制，直接用以(3)式，则式(3)变为a=((al-5a0+20bl+20m-5a2+a3)+512)》10或((a5-5a4+20b2+20s-5a6+a7)+512)》10(4)如果用0至255范围的整数表示整数像素值，那么就同样应该用0至255范围的整数表示亚像素。所以应该将式(l)-(4)得到的值调整到0至255这个范围，箝位运算可以实现这个任务。Qlip(O,255，x)=0;如果x<0.=255;如果x>255.=x;其它除以上叙述的之外，还有几个与视频压縮和解压有关的国际标准。尽管它们使用的压缩技术细节上一般各有不同，.但都为在给定预定系数条件下，使用不同抽头的滤波器，输入不同的亚像素相邻像素值从而得到插值结果。对亚像素位置插值的目的正是为了有效提高运动预测与补偿的精确度，而具体实施的插值方法决定了亚像素位置像素值的拟合度。一般来说插值算法的拟合度越好，那么以之为基础的运动估计与补偿精确度也就越高。另外，插值算法的运算复杂度不能随着其拟合度提高而大幅度增加，否则该方法和系统就不具有太高的实用价值，或者说不具有普适的实用价值，而只会在压縮率要求很高而计算量很宽容的环境下有用。现有的应用于运动估计与补偿中的亚像素插值技术如上所述，因之有几项显著的缺点，包括(上)其插值方法的拟合度相当受限于视频内容。在进行亚像素插值时，使用预定给出系数的线性滤波器。一般它们的插值方法具体实施后，其系数也就固定不能改变。然而，数字视频技术所处理的视频内容千变万化，其统计模型异常丰富。从信息理论上讲，一种统计模型可以对相应数据源生成的数据有较高的拟合度，而对另一种统计特征的数据，其拟合度有可能急剧的下降。所以，对所有视频内容都有不错拟合度的而系数固定线性滤波器，那么对于有显著特征而严重偏离高斯统计模型的视频内容，必然有较大的改进空间。(2)插值方法里的滤波器的输入特定于插值像素点水平或垂直方向相邻像素点。而视频内容并没有特定于水平和垂直方向。良好的视频帧内插值方法对于平面上的方向应该是透明的。受限于数字视频内容表达方式，至少斜对角方向相邻像素点也可以输入以提高拟合度。(3)对四分之一亚像素a的插值，运算复杂度急剧升高。如前述举例的典型实施方案中，bl,b2需要6次乘法，6次加法，一次移位运算。而插值a，需要42次乘法，36次加法，一次移位运算。复杂度多出近6倍。在有的实施方案中，需要从垂直方向与水平方向如此计算两次，则运算复杂度多出近12倍。
发明内容本发明的目的在于提供一种运动估计匹配度好、压縮率高、计算量小和视频内容自适应的亚像素插值方法；本发明的另一个目的是提供一种实现上述方法的视频内容自适应的亚像素插值装置。本发明的目的可通过以下的技术措施来实现一种视频内容自适应的亚像素插值方法，其特征在于包括以下步骤-(1)、根据输入整数像素位置与待插值亚像素位置的距离，把输入整数像素分三类获得线性滤波器的基础系数；(2)、根据输入整数像素值与本次插值滤波加权均值的距离，修正步骤(1)的基础系数；(3)、使用修正后的基础系数对目标亚像素位置做插值滤波。如果亚像素插值位置的水平或垂直方向有四分之一或四分之三像素时，其滤波系数不变。本发明所述步骤(1)的输入整数像素按如下分为三类输入整数像素位置与待插值亚像素位置的距离最小的是第一类像素点，其次是第二类像素点，距离最大的是第三类像素点。本发明所述步骤(1)的基础系数满足如下两约束条件a)w〈i,j'o〉=(一i)"^^g—rfV2ff2其中n表示输入整数像素的类别号，对第一类像素点『1,第二类像素点『2,第三类像素点『3,C7表示方差，d为当前输入像素位置到待插亚像素位置的距离；(2)w〈ij,0〉为整数，近似前一约束条件的值，且所有w〈i,j,0〉之和是2的幂。本发明所述步骤(2)的加权均值为(2Co〈i，j〉*L〈i，j〉+l/2*2Co<i，j〉)/SCo〈i，j〉(i,j遍历输入像素位置)其中L〈i，j〉为输入像素值，Co〈i,j〉为加权均值系数。本发明所述加权均值系数Co〈i,j〉满足高斯模型。本发明所述步骤(2)当输入整数像素值与本次插值为滤波加权均值的距离大于或等于距离阀值，对输入的第一、二和三类整数像素修正的基础系数分别为1/9*W〈i,j,0〉、1/3*W〈i,j,0〉和0，其中W〈i,j,0〉修正前基础系数；当输入整数像素值与本次插值为滤波加权均值的距离小于距离阀值，对输入的各类整数像素修正后的基础系数不变。本发明所述的距离阀值所述的距离阀值设为16。本发明所述步骤(3)的插值滤波输出为(SW〈i,j，1〉*L〈i,j〉+1/2*SW〈i,j，0〉)/2W〈i,j，0〉(i，j遍历输入像素位置)其中LXi,j〉为输入像素值，W〈i,j，0〉、W〈i，j，l〉分别为修正前后的基础系必/r数。实现上述方法的一种视频内容自适应的亚像素插值装置，包括用于生成当次插值系数的滤波系数生成器、插值滤波器和亚像素位置插值结果存储器，输入的亚像素插值位置和整数像素矩阵输入所述的滤波系数生成器，滤波系数生成器根据插值位置的不同生成当次插值的滤波系数，输出的滤波系数再和输入端的整数像素^阵输入至插值滤波器执行插值滤波，插值滤波后的输出结果最后储存在亚像素位置插值结果存储器中并输出。与现有技术相比，本发明具有以下的优点1、插值拟合度不会随着视频内容变化而急剧变化，本发明的技术方法有效的自适应于视频内容的统计特征，从而运动估计匹配度，编码压縮率对应变化异常丰富的视频内容保持在一个稳定的较优水平；同时计算复杂度也没有相应的急剧增加。2、本发明的插值方法，是二维插值，不特定于水平或垂直方向上，所以具有更好的插值拟合度。3、对于a亚像素插值位置，运算复杂度并没有较之bl，b2亚像素插值位置急剧增加，且其运算复杂度小于现有技术在a亚像素插值位置的运算复杂度。4、当本发明应用在解码器系统里，对以4X4像素的块为单位进行插值运动补偿中，每次所需要的取得的参考帧块大小为7X7，49个像素,小于现有技术所需要的9X9参考帧块，81个像素，减少近37%的数据传输量。如果应用在编解码芯片中，通过DMA方式获取参考帧数据，减少37W的DMA数据传输量，效率将得到很大的提高。图1为可能的亚像素位置示意图；图2为亚像素示例位置示意图；图3为a亚像素插值示意图；图4为bl亚像素插值示意图；图5为b2亚像素插值示意图；图6为现有技术中视频编码器中插值装置示意图；图7为现有技术中另一视频编码器中插值装置示意图；图8为本发明的视频内容自适应的亚像素插值装置。具体实施方式本发明采用的方法通过对滤波输入像素点中严重偏离均值的像素，适合的减小其对应权重，减少其对线性滤波器产生震荡效应，从而提高输出值的拟合度。具体为依据相邻亚像素点距离所决定的相关性，给出线性滤波器的基础系数；继之通过自适应于视频内容的统计方法来修正基础系数；用修正系数后的滤波器来对目标亚像素位置插值。如图1中的a，bl,b2,s,m等五个亚像素，它们插值时滤波系数要随着视频内容改变而改变。其中如图3、图4和图5所示，分别为a亚像素插值、bl亚像素插值和b2亚像素插值的示意图。其中该方法具体步骤包括-(1)、根据输入整数像素位置与待插值亚像素位置的距离，把输入整数像素分三类获得线性滤波器的基础系数，其中输入整数像素按如下分为三类输入整数像素位置与待插值亚像素位置的距离最小的是第一类像素点，其次是第二类像素点，距离最大的是第三类像素点。对于a,bl，b2三个亚像素插值时，像素点类别如表格1。<table>tableseeoriginaldocumentpage10</column></row><table>表格la，bl，b2三个亚像素插值时，像素点类别基础系数W〈i，j,0〉矩阵可以通过离线统计训练的方法搏出。用于训练学习的视频数据库不应局限在特定的几种视频密度统计模型，应充分涵盖具有各种统计特征的视频内容。基础系数矩阵是对所有视频内容都能有较稳定插值拟合度的滤波系数。在基础系数矩阵训练学习的初始值应满足混合高斯模型约束，即输入整数像素位置与待插值亚像素位置的距离d和对该输入整数像素位置的基础系数w〈i,j,G〉应该满足<formula>formulaseeoriginaldocumentpage10</formula>(1)这里n表示输入整数像素的类别号，对第一类像素『1,第二类像素『2,第三类像素『3;C7表示方差，其值一般为第一类像素点到待插亚像素位置距离的^;2d表示当前输入像素位置到待插亚像素位置的距离。为了实际应用计算复杂度尽量减小，基础系数W〈i,j,G〉矩阵其值应满足的另一约束条件为所有系数为整数，且选择近似前一约束条件的值，使所有系数总和为2的幂。举例来说，遵循上述两个约束条件，而通过一视频数据库训练学习优化而得的系数矩阵可以如下对a亚像素位置插值时，输入整数像素矩阵为:[V，F,E，U;G，B，A，L;H，C，D，K;W，I,J,X]，基础系数W〈i,j,0〉矩阵为:[1或2，-9或-8,-9或-8,1或2;-9或-8,81或64,81或64,-9或-8;-9或-8,81或64,81或64,-9或-8;1或2,-9或-8,-9或-8，1或2].对bl亚像素位置插值时，输入整数像素矩阵为[*,F,E,*;G,B，A,L;*,C，D,*](*表示没有输入)，基础系数W〈i,j，0〉矩阵为:.对b2亚像素位置插值时，输入整数像素矩阵为[*,G,H，*;F，B,C,I;*,A，D，*](*表示没有输入)，基础系数W〈i,j，0〉矩阵为.(2)、根据输入整数像素值与本次插值滤波加权均值的距离，修正步骤(1)的基础系数。其中，加权均值的系数Co〈i,j〉矩阵的获得类似基础系数矩阵的获取，即输入整数像素位置与待插值亚像素位置的距离d和对该输入整数像素位置的加权均值的系数Co〈iJ〉应该满足高斯模型Co〈iJ〉=e辜2.(2)这里cr表示方差，其值一般为第一类像素点到待插亚像素位置距离的丄；d2表示当前输入像素位置到待插亚像素位軍的距离。举例类说，遵循约束条件而可以通过离线训练学习优化而得到的加权均值的系数矩阵可以如下对于a亚像素位置插值时，加权均值的系数Co〈i,j〉矩阵为[1，11,11,1;11,105,105,11;11,105,105,11;l'll,ll，l]。对于bl,b2亚像素位置插值时，加权均值的系数Co〈i，j〉矩阵相同为。本次插值滤波的加权均值公式为<formula>formulaseeoriginaldocumentpage11</formula>(i，j遍历输入像素位置)举例来说，应用前述通过训练学习而给出的加权均值系数矩阵，可以实施的加权均值计算为对于a亚像素位置插值时，加权均值为<formula>formulaseeoriginaldocumentpage12</formula>对于bl亚像素位置插值时，加权均值为<formula>formulaseeoriginaldocumentpage12</formula>对于b2亚像素位置插值时，加权均值为<formula>formulaseeoriginaldocumentpage12</formula>当输入整数像素值与本次插值为滤波加权均值的距离H〈i,j>=|L<i，j>-M0|(i,j遍历输入像素位置，L<i,j〉代表该输入像素值)大于或等于距离阀值，对输入的第一、二和三类整数像素修正的基础系数分别为W〈i,j,1〉=1/9*W〈i,j,0〉;W〈i,j,1〉=1/3*W〈i,j,0〉；W〈i，j,1〉=0;当某像素值L〈i,j〉同该次输入的加权均值距离H〈i,j〉低于阀值Ht时，贝廿W〈U1〉=W〈ij,0〉。(i,j表示矩阵中索引位置，W〈i,j,0〉为〉修正前基础系数)。本发明所述的距离阀值取决于依据编码器参数、被编码视频内容的边缘锐化程度，在只有前向预测的编码器中，对每一个I帧，计算出一个距离阀值，随后参考该I帧的所有P帧都釆用这同一距离阀值；在有前向和后向预测的编码器中，对每一个I帧，计算出一个距离阀值，而B帧所使用的距离阀值应从该帧所参考多个I帧的距离阀值中获得。每个I帧的距离阀值Ht应被编码入视频码流，在解码器端，所有P帧和B帧依据对应关系使用相应阀值Ht。其中为了减少计算复杂度，编码器对一个视频序列可应用唯一距离阀值，一个经验距离阀值可以设为Ht^16。(3)、使用修正后的基础系数对目标亚像素位置做插值滤波。根据修正后的系数W〈i,j，l〉矩阵做常规的线性插值。用Lo代表本次插值输出，则有Lo=(2W〈i，j,1〉*L〈i'j〉+l/2*SW<i,丄0〉)/2W〈i,j，0>(i，j遍历输入像素位置)举例来说，一种可能的最终插值方案为-对于a亚像素位置插值时，插值输出为Lo=(2W〈i,j,1〉*L〈i,j〉+128)>>8;(i,j遍历输入像素位置)对于bl，b2亚像素位置插值时，插值输出为Lo=(2W〈i，丄l〉*L〈i，j〉+64).〉>7;(i，j遍历输入像素位置)另外，对于图1所示的亚像素插值位置，如果水平或垂直方向有四分之一或四分之三像素时，其滤波系数不变。通过如下方法得到c2=(B+bl+〗)》1;cl=(A+bl+]L)》l;c3=(B+b2+]L)》l;c4=(c+b2+]L)》l;dl=(a+bl+]L)》l;d2=(a+b2+，0》1;d3=(a+m+1)》1;d4=(a+s+1:>〉1;el二(A+a+i:>>〉1;e2=(B+a+1>〉〉1;e3=(c+a+1)〉〉1;e4=(D+3+1)〉>1。这些亚像素位置插值依赖于a，bl,b2，s,m等五个亚像素的预先插值。如图8所示，为实现上述方法的一种视频内容自适应的亚像素插值装置，包括用于生成当次插值系数的滤波系数生成器、插值滤波器和亚像素位置插值结果存储器，输入的亚像素插值位置和整数像素矩阵进入所述的滤波系数生成器，滤波系数生成器根据插值位置的不同生成当次插值的滤波系数，输出的滤波系数再和输入端的整数像素矩阵输入至插值滤波器执行插值滤波，插值滤波后的输出结果最后储存在亚像素位置插值结果存储器中并输出。编解码器调用本插值装置，负责输入整数像素矩阵和亚像素插值位置，根据插值位置不同而分类采用滤波系数会变化和不会变化两种，但都是在滤波系数生产器中；滤波系数生成后，连同开始的整数像素矩阵一起作为插值滤波器的输入，做实际的插值运算，最后送出插值结果。如图6所示，为现有技术中视频编碎器中插值装置示意图，图中运动补偿器对图象运动数据的运动向量误差进行补偿，该运动补偿器可使用本发明插值装置，在图像数据上执行内插以提高图像数据分辨率进而提高运动向量误差补偿精度。如图7所示，为现有技术中另一视频编码器中插值装置示意图，图中运动补偿器为图像数据的运动进行补偿，可以使用本发明插值装置，在参考图像帧上执行内插以提高图像分辨率，进而提高补偿精度。权利要求1.一种视频内容自适应的亚像素插值方法，其特征在于包括以下步骤(1)、根据输入整数像素位置与待插值亚像素位置的距离，把输入整数像素分三类获得线性滤波器的基础系数；(2)、根据输入整数像素值与本次插值滤波加权均值的距离，修正步骤(1)的基础系数；(3)、使用修正后的基础系数对目标亚像素位置做插值滤波。2、根据权利要求1所述的亚像素插值方法，其特征在于如果亚像素插值位置的水平或垂直方向有四分之一或四分之三像素时，其滤波系数不变。3、根据权利要求1所述的亚像素插值方法，其特征在于所述步骤(1)的输入整数像素按如下分为三类输入整数像素位置与待插值亚像素位置的距离最小的是第一类像素点，其次是第二类像素点，距离最大的是第三类像素点。4、根据权利要求1或3所述的亚像素插值方法，其特征在于所述步骤(1)的基础系数满足如下两约束条件(1)<formula>formulaseeoriginaldocumentpage2</formula>其中n表示输入整数像素的类別号，对第一类像素点rp4，第二类像素点『2，第三类像素点『3，c表示方差，d为当前输入像素位置到待插亚像素位置的距离；(2)w〈i，j，0〉为整数，近似前一约束条件的值，且所有w〈i,j，0〉之和是2的幂。5、根据权利要求1所述的亚像素插值方法，其特征在于所述步骤(2)的加权均值为(2Co〈i，j〉*L〈i，j〉+l/2*2Co〈i，j〉)/2Co〈i，j>;其中i，j遍历输入像素位置，L〈i,j〉为输入像素值，Co〈i，j〉为加权均值系数。6、根据权利要求5所述的亚像素插值方法，其特征在于所述加权均值系数Co〈i，j〉满足高斯模型。7、根据权利要求1所述的亚像素插值方法，其特征在于所述步骤(2)当输入整数像素值与本次插值为滤波加权均值的距离大于或等于距离阀值，对输入的第一、二和三类整数像素修正的基础系数分别为1/9*W〈i，j，0〉、1/3*W〈i,j，0〉禾口O，其中W〈i，j，0〉修正前基础系数；当输入整数像素值与本次插值为滤波加权均值的距离小于距离阀值，对输入的各类整数像素修正后的基础系数不变。8、根据权利要求7所述的亚像素插值方法，其特征在于所述的距离阀值设为16。9、根据权利要求7所述的亚像素插值方法，其特征在于所述步骤(3)的插值滤波输出为(SW〈i，丄l〉*L〈i，j〉+1/2*2W〈i，j，0〉)/2W〈i，丄0>;其中i,j遍历输入像素位置，L〈i，j〉为输入像素值，W〈i，j，0〉、W〈i，j，1〉分别为修正前后的基础系数。10、一种视频内容自适应的亚像素插值装置，其特征在于包括用于生成当次插值系数的滤波系数生成器、插值滤波器和亚像素位置插值结果存储器，输入的亚像素插值位置和整数像素矩阵输入所述的滤波系数生成器，滤波系数生成器根据插值位置的不同生成当次插值的滤波系数，输出的滤波系数再和输入端的整数像素矩阵输入至插值滤波器执行插值滤波，插值滤波后的输出结果最后储存在亚像素位置插值结果存储器中并输出。全文摘要本发明公开一种视频内容自适应的亚像素插值方法，包括(1)根据输入整数像素位置与待插值亚像素位置距离把输入整数像素分三类获得基础系数；(2)根据输入整数像素值与本次插值滤波加权均值的距离修正基础系数；(3)使用修正后的基础系数对目标亚像素位置做插值滤波。实现上述方法的一种视频内容自适应的亚像素插值装置，包括滤波系数生成器、插值滤波器和亚像素位置插值结果存储器，输入的亚像素插值位置和整数像素矩阵进入滤波系数生成器生成滤波系数，滤波系数和输入的整数像素矩阵输入至插值滤波器执行插值滤波，输出结果储存在亚像素位置插值结果存储器并输出。本发明所述方法运动估计匹配度好、压缩率高，而且实现视频内容自适应。文档编号H04N7/26GK101212672SQ20061013245公开日2008年7月2日申请日期2006年12月30日优先权日2006年12月30日发明者冯云庆,婷张,旷开智,袁梓瑾申请人:安凯(广州)软件技术有限公司