专利名称：一种分样本插值滤波方法
技术领域：
本发明涉及视频及图像编解码的技术领域，特别是涉及一种分样本插值滤波方法，尤其是视频帧间图像基于时间预测的编解码技术。
背景技术：
在视频编码中，常把图像分为帧内图像和帧间图像两种。其中，帧间图像需要采用运动估计编码方法，这主要是因为相邻图像块的像素具有很大的时间相关性。这种编码方法的主要思想是在参考图像中找到和编码块最匹配的块作为编码块的预测值(预测块)，进行编码。编码块和预测块匹配程度越高，编码的效率越高。为了提高二者的匹配程度，就需要提高运动估计的精度。MPEG1采用的是整样本精度，MPEG2和H.263采用的是1/2样本精度，在MPEG4中采用了1/4样本精度，从而可以提高编码效率。但1/4精度运动估计需要对参考图像进行1/4插值。
在数字图像处理领域，1/4插值通过数字滤波器实现。数字滤波器的原理是通过一组滤波器系数作用于参考样本值，将得到结果作为未知样本的预测值插入到相应位置上。
在MPEG4中，1/4插值过程计算复杂度高，欲对一个整样本进行插值需要对该样本周围的6x6个整样本进行6阶线性插值和双线性插值。如图1所示，一个图像块经过1/4插值后大小变为原来的16倍。在原图像块中的一个整样本经过1/4插值后变为16个样本。另外，从空间复杂度上说，欲插值一个n行n列的样本块，需要用到(n+5)行(n+5)列的整样本。我们经过对插值过程的仔细分析发现存在以下一些问题(1)对原始样本图像进行1/2插值的过程中，需要对水平或垂直方向上离插值样本最近的6个样本应用滤波器(1/32，-5/32，20/32，20/32，-5/32，1/32)进行6阶滤波，计算复杂度高。
(2)插值过程中涉及的样本点多。
(3)进行1/4插值只采用两个样本进行线性平均，难以保证插值预测精度。
针对以上问题，我们提出了一套新的1/4插值方法。该方法的优点是(1)采用4阶滤波器F1对原始样本进行水平和垂直方向1/2插值滤波，在保证插值准确度的条件下，降低了运算复杂度和参与运算的样本数，欲插值一个n行n列的数据块，只需(n+4)行(n+4)列整样本，可有效的解决图像编解码过程中访存的瓶颈问题。
(2)采用4阶滤波器F2对1/2插值的结果进行水平和垂直方向1/4插值滤波，在保证不增加运算复杂度的条件下，提高了插值预测的准确度。
(3)对特殊位置的四分之一样本做单独处理，有效地解决样本旋转运动过程中插值预测结果失真的问题。
例如，当4阶滤波器F2l系数选用(1/8，3/8，3/8，1/8)，每次插值的单位为8行8列时，本方法与MPEG4中的插值方法相比MPEG4的平均PSNR值比本方法低0.04dB，MPEG4计算量比本方法大11.6％，同时MPEG4访存数据量要比本方法多17.6％。
发明内容
本发明提出一种一种分样本插值滤波方法，目的在于可有效的解决视频图像编解码过程中访存的瓶颈问题。
发明的技术方案一种分样本插值滤波方法，本方法利用4阶滤波器F1首先对原始样本进行水平和垂直方向1/2插值滤波，然后对得到的结果应用4阶滤波器F2进行水平和垂直方向1/4插值滤波，对特殊位置的1/4样本进行单独处理，其步骤如下(1)采用4阶滤波器F1对原始样本进行水平和垂直方向1/2插值滤波；(2)采用4阶滤波器F2对1/2插值的结果进行水平和垂直方向1/4插值滤波；(3)对特殊位置的1/4样本进行单独处理。
采用4阶滤波器F1对原始样本进行水平和垂直方向1/2插值滤波。
采用4阶滤波器F2对1/2插值的结果进行水平和垂直方向1/4插值滤波。
对处于整样本和该整样本周围的3个1/2样本，这3个1/2样本，距离该整样本最近，并能够与该整样本构成一个正方形，所构成的正方形中心位置的1/4样本，例如图2中的e，g，p和r样本，进行单独处理，用距离该1/4样本最近的1/2样本和整样本做线性加权平均得到最终插值结果。
滤波器F1和滤波器F2作用于距离当前插值样本最近的已经存在的水平方向的4个样本或者垂直方向的4个样本。
滤波器F1选用(-1/8，5/8，5/8，-1/8)。
滤波器F2选用符合以下条件的系数(x/2n+1，y/2n+1，y/2n+1，x/2n+1)
其中(x+y)＝2n(n＝2，3，4，5，...，10)并且x＞0，y＞＝2n-1。
滤波器F2选用以下任何一组系数(1/128，63/128，63/128，1/128)(2/128，62/128，62/128，2/128)(3/128，61/128，61/128，3/128)(4/128，60/128，60/128，4/128)(5/128，59/128，59/128，5/128)(6/128，58/128，58/128，6/128)(7/128，57/128，57/128，7/128)(8/128，56/128，56/128，8/128)(9/128，55/128，55/128，9/128)(10/128，54/128，54/128，10/128)(11/128，53/128，53/128，11/128)(12/128，52/128，52/128，12/128)(13/128，51/128，51/128，13/128)(14/128，50/128，50/128，14/128)(15/128，49/128，49/128，15/128)
(16/128，48/128，48/128，16/128)(17/128，47/128，47/128，17/128)(18/128，46/128，46/128，18/128)(19/128，45/128，45/128，19/128)(20/128，44/128，44/128，20/128)(21/128，43/128，43/128，21/128)(22/128，42/128，42/128，22/128)(23/128，41/128，41/128，23/128)(24/128，40/128，40/128，24/128)(25/128，39/128，39/128，25/128)(26/128，38/128，38/128，26/128)(27/128，37/128，37/128，27/128)(28/128，36/128，36/128，28/128)(29/128，35/128，35/128，29/128)(30/128，34/128，34/128，30/128)(31/128，33/128，33/128，31/128)(32/128，32/128，32/128，32/128)。
滤波器F2选用系数(1/8，3/8，3/8，1/8)。
以下内容规定了图像亮度分量的1/2样本和1/4样本的插值过程。
如果在插值过程中所参考的整样本在参考图像外，应该用该图像内距离参考整样本最近的整样本(边缘或角样本)代替，即允许运动矢量指向参考图像外的样本。
图1是数据块1/4插值过程示意图；图2是本发明的整样本(大写字母)、1/2和1/4样本位置(小写字母)的示意图；如图1所示，一个图像块经过1/4插值后大小变为原来的16倍。在原图像块中的一个整样本经过1/4插值后变为16个样本。
插值过程参见图2，图2中用大写字母标记的阴影块为参考图像的整样本位置，用小写字母标记的透明块为参考图像的1/2和1/4样本位置。
在以下过程中，Clip1(w)定义为max(0，min(255，w))，4阶滤波器F2的系数用符合权利要求7，8或9的系数(x，y，y，x)表示，用“*”表示乘法运算，用“/”表示除法运算。
1/2样本位置的亮度预测值通过4阶滤波器F1(-1/8，5/8，5/8，-1/8)计算得到。1/4样本位置的亮度预测值通过4阶滤波器F2计算得到。
1/2样本和1/4样本插值处理过程分别如下1.标记为b的1/2样本值由以下得到●首先将水平方向上最近的4个整样本值利用4阶滤波器F1进行滤波，得到其中间值b’，如下b’＝((-1/8)*C+(5/8)*D+(5/8)*E-(1/8)*F+1/2)，●最终的预测值b按下式计算得到b＝Clip1(b’)。
2.标记为h的1/2样本值由以下得到●首先将垂直方向上最近的4个整样本值利用4阶滤波器F1进行滤波，并得到其中间值h’，如下h’＝((-1/8)*A+(5/8)*D+(5/8)*H-(1/8)*K+1/2)，●最终的预测值h按下式计算得到h＝Clip1(h’)。
3.标记为j的1/2样本值由以下得到●首先在水平或垂直方向上对最近的4个1/2样本值利用4阶滤波器F1进行滤波，并得到其中间值j’，如下j’＝((-1/8)*bb+(5/8)*h+(5/8)*m-(1/8)*cc+1/2)，或者j’＝((-1/8)*aa+(5/8)*b+(5/8)*s-(1/8)*dd+1/2)。
其中，标记为aa，dd和s的1/2样本值可通过水平方向上利用4阶滤波器F1进行滤波得到(与求b的过程相同)；标记为bb，cc和m的1/2样本值可通过垂直方向上利用4阶滤波器F1进行滤波得到(与求h的过程相同)。
●最终的预测值j按下式计算得到j＝Clip1(j’)。
采用水平方向或垂直方向上的滤波处理得到的值相同。
4.标记为a的1/4样本值由以下得到●首先在水平方向上对标记为ee，D，b和E的四个样本值利用4阶滤波器F2进行滤波，并得到其中间值a’，如下a’＝(x*ee+y*D+y*b+x*E+1/2)，●最终的预测值a按下式计算得到a＝Clip1(a’)。
其中，ee和b是1/2样本值，D和E是整样本值。
标记为c的1/4样本值的计算过程与求a的过程相同。
5.标记为d的1/4样本值由以下得到●首先在垂直方向上对标记为ff，D，h和H四个样本值利用4阶滤波器F2进行滤波，并得到其中间值d’，如下d’＝(x*ff+y*D+y*h+x*H+1/2)，●最终的预测值d按下式计算得到d＝Clip1(d’)。
其中，ff和h是1/2样本值，D和H是整样本值。
标记为n的1/4样本值的计算过程与求d的过程相同。
6.标记为i的1/4样本值由以下得到●首先在水平方向上对标记为gg，h，j和m四个样本值利用4阶滤波器F2进行滤波，并得到其中间值i’，如下i’＝(x*gg+y*h+y*j+x*m+1/2)，●最终的预测值i按下式计算得到
i＝Clip1(i’)。
其中，gg，h，j和m是1/2样本值。
标记为k的1/4样本值的计算过程与求d的过程相同。
7.标记为f的1/4样本值由以下得到●首先在垂直方向上对标记为hh，b，j和s四个样本值利用4阶滤波器F2进行滤波，并得到其中间值f’，如下f’＝(x*hh+y*b+y*j+x*s+1/2)，●最终的预测值f按下式计算得到f＝Clip1(f’)。
其中，hh，b，j和s是1/2样本值。
标记为q的1/4样本值的计算过程与求f的过程相同。
8.要得到标记为e，g，p和r的1/4样本值，计算过程如下e＝(D+j+1)/2，g＝(E+j+1)/2，p＝(H+j+1)/2，r＝(I+j+1)/2。
本方法的特点是插值预测的准确度高，时间复杂度和空间复杂度低。本方法应用于视频及图像编解码系统的设计中。
权利要求
1.一种分样本插值滤波方法，本方法利用4阶滤波器F1首先对原始样本进行水平和垂直方向1/2插值滤波，然后对得到的结果应用4阶滤波器F2进行水平和垂直方向1/4插值滤波，对特殊位置的1/4样本进行单独处理，其步骤如下(1)采用4阶滤波器F1对原始样本进行水平和垂直方向1/2插值滤波；(2)采用4阶滤波器F2对1/2插值的结果进行水平和垂直方向1/4插值滤波；(3)对特殊位置的1/4样本进行单独处理。
2.按照权利要求1所述的方法，其特征在于采用4阶滤波器F1对原始样本进行水平和垂直方向1/2插值滤波。
3.按照权利要求1所述的方法，其特征在于采用4阶滤波器F2对1/2插值的结果进行水平和垂直方向1/4插值滤波。
4.按照权利要求1所述的方法，其特征在于对处于整样本和该整样本周围的3个1/2样本，这3个1/2样本，距离该整样本最近，并能够与该整样本构成一个正方形，所构成的正方形中心位置的1/4样本。
5.按照权利要求1所述的方法，其特征在于滤波器F1和滤波器F2作用于距离当前插值样本最近的已经存在的水平方向的4个样本或者垂直方向的4个样本。
6.按照权利要求1所述的方法，其特征在于滤波器F1选用(-1/8，5/8，5/8，-1/8)。
7.按照权利要求1所述的方法，其特征在于滤波器F2选用符合以下条件的系数(x/2n+1，y/2n+1，y/2n+1，x/2n+1)其中(x+y)＝2n(n＝2，3，4，5，...，10)并且x＞0，y＞＝2n-1。
8.按照权利要求7所述的方法，其特征在于滤波器F2选用以下任何一组系数(1/128，63/128，63/128，1/128)(2/128，62/128，62/128，2/128)(3/128，61/128，61/128，3/128)(4/128，60/128，60/128，4/128)(5/128，59/128，59/128，5/128)(6/128，58/128，58/128，6/128)(7/128，57/128，57/128，7/128)(8/128，56/128，56/128，8/128)(9/128，55/128，55/128，9/128)(10/128，54/128，54/128，10/128)(11/128，53/128，53/128，11/128)(12/128，52/128，52/128，12/128)(13/128，51/128，51/128，13/128)(14/128，50/128，50/128，14/128)(15/128，49/128，49/128，15/128)(16/128，48/128，48/128，16/128)(17/128，47/128，47/128，17/128)(18/128，46/128，46/128，18/128)(19/128，45/128，45/128，19/128)(20/128，44/128，44/128，20/128)(21/128，43/128，43/128，21/128)(22/128，42/128，42/128，22/128)(23/128，41/128，41/128，23/128)(24/128，40/128，40/128，24/128)(25/128，39/128，39/128，25/128)(26/128，38/128，38/128，26/128)(27/128，37/128，37/128，27/128)(28/128，36/128，36/128，28/128)(29/128，35/128，35/128，29/128)(30/128，34/128，34/128，30/128)(31/128，33/128，33/128，31/128)(32/128，32/128，32/128，32/128)。
9.按照权利要求7所述的方法，其特征在于滤波器F2选用系数(1/8，3/8，3/8，1/8)。
全文摘要
本发明涉及视频及图像编解码的技术领域的分样本插值滤波方法，对整样本进行1/2样本插值和1/4样本插值，在对整样本进行1/2插值的过程中首先采用4阶滤波器F
文档编号H04N7/32GK1492689SQ03156678
公开日2004年4月28日 申请日期2003年9月5日 优先权日2003年9月5日
发明者黄晁, 王荣刚, 李锦涛, 沈燕飞, 黄 晁 申请人:中国科学院计算技术研究所