图像处理设备和方法及程序的制作方法

专利名称：图像处理设备和方法及程序的制作方法
技术领域：
本发明涉及图像处理设备和方法及程序，尤其涉及在B切片的情况下，能够降低开销和提高编码效率的图像处理设备和方法及程序。
背景技术：
H. 264和MPEG-4 Part 10 (高级视频编码，下面称为H. 264/AVC)可作为压缩图像信息的标准规范。在H. 264/AVC中，进行了关注帧或场之间的相关性的帧间预测。在帧间预测中进行的运动补偿处理中，使用已保存并能够参照的图像的一部分区域，产生利用帧间预测的预测图像(下面称为帧间预测图像)。例如，在如图I中所示，已被保存并能够参照的图像的5帧被确定为参考帧的情况下，参照5个参考帧之一的图像(下面称为参考图像)的一部分，构成待帧间预测的帧(原始帧)的帧间预测图像的一部分。要注意的是待用作帧间预测图像的一部分的参考图像的一部分的位置是利用根据参考帧和原始帧的图像检测的运动向量确定的。更具体地说，如图2中所示，在参考帧中的面部11在原始帧中沿着右下方向移动，并且面部11的约1/3的下部被隐藏的情况下，检测代表与右下方向相反的左上方向的运动向量。随后，参照参考帧中，在利用运动向量代表的运动，把在原始帧中被隐藏的面部11的部分12移动到的位置的面部11的部分13，构成所述面部12。此外，在H. 264/AVC中，预期在运动补偿处理中，会增强诸如1/2或1/4之类的运动向量分数精度的分辨率。在如上所述的分数精度的运动补偿处理中，在相邻像素之间设定在称为Sub pel的假想分数位置的像素，另外进行产生这种Sub pel的处理(下面称为内插)。换句话说，在分数精度的运动补偿处理中，运动向量的最小分辨率是在分数位置的像素，于是，进行产生在分数位置的像素的内插。图3表示利用内插，垂直方向和水平方向的像素的数目被增大到4倍的图像的像素。要注意的是，在图3中，空白的正方形代表在整数位置的像素(Integer pel (Int.pel))，带斜线的正方形代表分数位置的像素(Sub pel)。此外，正方形中的字母表示该正方形代表的像素的像素值。在通过内插产生的分数位置的像素的像素值b，h, j, a, d，f和r用下面给出的表达式⑴表示。b = (E-5F+20G-20H-5I+J)/32h = (A-5C+20G+20M-5R+T)/32j = (aa-5bb+20b+20s-5gg+hh)/32a = (G-b) /2d = (G+h) /2f = (b+j) /2
r = (m+s) /2. . . (I)要注意的是像素值aa, bb, s, gg和hh可类似于b确定；cc, dd, m, ee和ff可类似于h确定；像素值c可类似于a确定；像素值f，η和q可类似于d确定；e，p和g可类似于r确定。上面给出的表达式(I)是在H. 264/AVC等中的内插中采用的表达式，尽管表达式随标准的差异而不同，不过表达式的目的相同。所述表达式可用具有偶数抽头的有限冲激响应(FIR(有限时长冲激响应))滤波器实现。例如，在H. 264/AVC中，使用具有6个抽头的内插滤波器。同时，在非专利文献1-3中，在最新的研究报告中列举了自适应内插滤波器(AIF)。在使用这种AIF的运动补偿处理中，通过自适应地改变用于内插，并且具有偶数抽头的FIR滤波器的滤波器系数，能够降低混叠或编码失真的影响，从而减小运动补偿的误 差。根据滤波器结构的差异，AIF具有一些变化。作为一种代表，参考图4说明在非专利文献2中公开的可分离自适应内插滤波器(下面称为可分离AIF)。要注意的是，在图4中，带斜线的正方形代表在整数位置的像素(Integer pel (Int. pel)),空白的正方形代表在分数位置的像素(Sub pel)。此外，正方形中的字母表示该正方形代表的像素的像素值。在可分离AIF中，作为第一步，进行水平方向的非整数位置的内插，作为第二步，进行垂直方向的非整数方向的内插。要注意的是，也可以颠倒水平方向和垂直方向的处理顺序。首先，在第一步，借助FIR滤波器，用在整数位置的像素的像素值E，F，G, H, I和J，按照以下的表达式(2)计算在分数位置的像素的像素值a，b和C。这里，h[pos] [η]是滤波器系数，pos代表图3中所示的sub pel的位置，而η代表滤波器系数的数目。该滤波器系数包含在流信息中，并在解码方使用。a = h[a] [O] XE+hl [a] [I] XF+h2[a] [2] XG+h[a] [3] XH+h[a] [4] X I+h[a][5] XJb = h[b]
XE+hl [b] [2] XF+h2[b] [2] XG+h[b] [3] XH+h[b] [4] XI+h[b][5] XJc = h[c]
XE+hl [c] [I] XF+h2[c] [2] XG+h[c] [3] XH+h[c] [4] X l+h[c][5]XJ. .. (2)要注意的是，也可类似于像素值a，b, c，确定在一行像素值Gl，G2, G3, G4, G5的分数位置的像素的像素值(al, bl, cl, a2, b2, c2, a3, b3, c3, a4, b4, c4, a5, b5, c5)。随后，作为第二步骤，可按照以下表达式(3)，计算除像素值a，b，c以外的像素值
d O。d = h[d] [O] XGl+h[d] [I] XG2+h[d] [2] XG+h[d] [3] XG3+h[d] [4] XG4+h[d][5] XG5h = h[h]
XGl+h[h] [I] XG2+h[h] [2] XG+h[h] [3] XG3+h[h] [4]*G4+h[h][5] XG5I = h[l]
XGl+h[l] [I] XG2+h[l] [2] XG+h[l] [3] XG3+h[l] [4]*G4+h[l][5] XG5
e = h[e] [O] Xal+h[e] [I] Xa2+h[e] [2] Xa+h[e] [3] Xa3+h[e] [4]*a4+h[e][5] Xa5i = h[i]
Xal+h[i] [I] Xa2+h[i] [2] Xa+h[i] [3] Xa3+h[i] [4]*a4+h[i][5] Xa5m = h[m]
Xa2+h[m] [I] Xa2+h[m] [2] Xa+h[m] [3] Xa3+h[m] [4]*a4+h[m][5] Xa5f = h[f]
Xbl+h[f] [I] Xb2+h[f] [2] Xb+h[f] [3] Xb3+h[f] [4]*b4+h[f][5] Xb5j = h[j]
Xbl+h[j] [I] Xb2+h[j] [2] Xb+h[j] [3] Xb3+h[j] [4]*b4+h[j][5] Xb5n = h[n]
Xbl+h[n] [2] Xb2+h[n] [2] Xb+h[n] [3] Xb3+h[n] [4]*b4+h[n][5] Xb5g = h [g]
X cl+h [g] [I] X c2+h [g] [2] X c+h [g] [3] X c3+h [g] [4] *c4+h [g][5] Xc5k = h [k]
X cl+h [k] [I] X c2+h [k] [2] X c+h [k] [3] X c3+h [k] [4] *c4+h [k][5] Xc5o = h [o]
X cl+h [o] [I] X c2+h [o] [2] X c+h [o] [3] X c3+h [o] [4] *c4+h [o][5] Xc5…(3)要注意的是，虽然上述方法中的所有滤波器系数彼此独立，不过在非专利文献2中指出了以下表达式(4)。a = h[a]
XE+hl [a] [I] XF+h2[a] [2] XG+h[a] [3] XH+h[a] [4] X I+h[a][5] XJb = h[b]
XE+hl [b] [I] XF+h2[b] [2] XG+h[b] [2] XH+h[b] [I] XI+h[b]xjc = h[c]
XE+hl [c] [I] XF+h2[c] [2] XG+h[c] [3] XH+h[c] [4] X I+h[c][5] XJd = h[d]
XGl+h[d] [2] XG2+h[d] [2] XG+h[d] [3] XG3+h[d] [4]*G4+h[d][5] XG5h = h[h]
XGl+h[h] [I] XG2+h[h] [2] XG+h[h] [2] XG3+h[h] [l]*G4+h[h]
XG5I = h[d] [5] XGl+h[d] [4] XG2+h[d] [3] XG+h[d] [2] XG3+h[d] [l]*G4+h[d]
XG5e = h[e]
Xal+h[e] [I] Xa2+h[e] [2] Xa+h[e] [3] Xa3+h[e] [4]*a4+h[e][5] Xa5i = h[i]
Xal+h[i] [I] Xa2+h[i] [2] Xa+h[i] [2] Xa3+h[i] [I]*a4+h[i]
Xa5m = h[e] [5] Xal+h[e] [4] Xa2+h[e] [3] Xa+h[e] [2] Xa3+h[e] [I]*a4+h[e]
Xa5
f = h[f]
Xbl+h[f] [I] Xb2+h[f] [2] Xb+h[f] [3] Xb3+h[f] [4]*b4+h[f]
Xb5j = h[j]
Xbl+h[j] [I] Xb2+h[j] [2] Xb+h[j] [2] Xb3+h[j] [l]*b4+h[j]
Xb5n = h[f] [5] Xbl+h[f] [4] Xb2+h[f] [3] Xb+h[f] [2] Xb3+h[f] [2]*b4+h[f]
Xb5g = h [g]
X cl+h [g] [I] X c2+h [g] [2] X c+h [g] [3] X c3+h [g] [4] *c4+h [g][5] Xc5 k = h [k]
X cl+h [k] [I] X c2+h [k] [2] X c+h [k] [2] X c3+h [k] [I] *c4+h [k]
Xc5c = h [g] [5] X cl+h [g] [4] X c2+h [g] [3] X c+h [g] [2] X c3+h [g] [I] *c4+h [g]
Xc5. . . (4)例如，用h[b] [2]替换计算像素值b的一个滤波器系数h[b] [3]。在和前一情况一样，所有滤波器系数彼此完全独立的情况下，虽然滤波器系数的总数为90，不过利用非专利文献2的方法，滤波器系数的数目被减小到51。虽然上述AIF提高了内插滤波器的性能，不过由于滤波器系数被包含在流信息中，因此存在开销，从而按照各种情况，编码效率可能降低。于是，在非专利文献3中，利用滤波器系数的对称性来减少滤波器系数，从而降低开销。在编码方，研究哪个Sub pel显示出与不同的Sub pel的滤波器系数近似的滤波器系数，近似的滤波器系数被聚合成一个滤波器系数。指示滤波器系数以何种方式被聚合的对称性的描述符被置于流信息中，并被发送给解码方。在解码方，接收对称性的描述符，从而能够知道滤波器系数是以何种方式聚合的。顺便提及，在H.264/AVC方法中，宏块大小为16X16像素。然而，对于比如成为下一代编码方法的对象的UHD(超高清晰度4000X2000像素)的大画面帧来说，把宏块大小设定为16X16像素不是最佳。于是，在非专利文献4等中，提出把宏块大小扩大到例如32像素X 32像素的更大尺寸。注意，上面说明的常规技术的各个图适合用于说明本申请的发明。现有技术文献非专利文献非专利文献I :Yuri Vatis, Joern Ostermann, “Prediction of P-B-Frames Usinga Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H. 264/AVC, ”ITU-T SG16 VCEG 30th Meeting, Hangzhou China, October 2006 ；非专利文献2 :Steffen ffittmann, Thomas ffedi, “Separable adaptiveinerpolation filte, ” ITU-T SG16C0M16-C219-E，June 2007 ；非专利文献3 :Dmytro Rusanovskyy等，“Improvements onEnhanced DirectionalAdaptive Filtering (EDAIF-2)，，，COM 16-C125-E, January 2009 ；非专利文献4:“Video Coding Using Extended Block Sizes, 1CEG-AD09, ITU-Telecommunications Standardization Sector STURY GROUP Question 16-Contribution123，Jan. 2009
发明内容
如上所述，如果使用AIF，那么能够以切片为单位改变内插滤波器的滤波器系数。然而，滤波器系数信息必须被包含在流信息中，于是存在滤波器系数信息的比特量变成开销并且编码效率降低的可能性。尤其是对B画面来说，所述开销变得相当大。例如，在就图像种类来说，按照B, P, B, P, B, P,…的顺序，每两个画面布置P画面，同时B画面被置于P画面之间的情况下，与P画面相比，在B画面中产生的比特的数量常常较小。虽然认为这起因于以下事实，即，由于可以使用时间距离较小的参考图像，或者可以使用双向预测，因此B画面的帧间预测的画面质量得到提高，不过无论如何，B画面的开销的比率大于P画面的开销的比率。结果，就B画面来说，AIF的效果受到限制。特别地，虽然利用AIF提高了内插滤波器的性能，不过滤波器系数信息的开销变成负载，这增大了损失编码效率的机会。同时，在非专利文献3中公开的方法中，尽管能够自适应地改变滤波器系数的数目，不过编码方必须把对称性的描述符包含在流信息中，以便向解码方告知滤波器系数的数目以何种方式变化。然而，同样由于对称性的描述符变成开销，因此这也导致编码效率的损失。此外，在非专利文献3中公开的方法中，算术运算量增大。特别地，为了掌握关于滤波器系数是否相似的对称性，首先在不假定对称性的情况下，单独计算各个sub pel的滤波器系数，并计算各个sub pel的滤波器系数之间的欧几里德距离。此外，当欧几里德距离的任意值小于阈值时，为了聚合滤波器系数，必须合并统计信息，并重新计算滤波器系数。于是，为了获得对称性的描述符和最后的滤波器系数，算术运算量增大。鉴于如上所述的这种情况，提出了本发明，本发明能够降低开销，和提高编码效率。按照本发明的第一方面的图像处理设备，包括内插滤波器，用于以分数精度内插与编码图像对应的参考图像的像素，在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，内插滤波器利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数；解码装置，用于解码编码图像、对应于编码图像的运动向量和内插滤波器的滤波器系数；和运动补偿装置，用于利用由解码装置解码的滤波器系数的内插滤波器内插的参考图像，和解码装置解码的运动向量，生成预测图像。图像处理设备还可包括选择装置，用于根据编码对象的图像的切片的种类，选择分数精度的像素位置，在所述像素位置，将以切片为单位，把相同滤波器系数用于确定像素。内插滤波器还能够利用围绕在内插滤波器使用的整数位置的像素之间的中央位置反转的滤波器系数，作为用于确定在第一分数精度像素位置的像素和在第二分数精度像素位置的像素的滤波器系数。在预先确定并且不同于前述对称性的不同对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，内插滤波器还能够利用围绕在内插滤波器使用的整数位置的像素之间的中央位置反转的滤波器系数，作为用于确定在第一分数精度像素位置的像素和在第二分数精度像素位置的像素的滤波器系数。图像处理设备还可包括存储装置，用于保存确定的滤波器系数；其中在编码对象的图像的切片是不使用由解码装置解码的滤波器系数的切片的情况下，内插滤波器利用保存在存储装置中的滤波器系数，运动补偿装置利用由保存在存储装置中的滤波器系数的内插滤波器内插的参考图像和解码装置解码的运动向量生成预测图像。图像处理设备还可包括算术运算装置，用于相加解码装置解码的图像和运动补偿装置生成的预测图像，以生成解码图像。按照本发明的第一方面的图像处理方法包括由图像处理设备执行的以下步骤解码编码图像、对应于编码图像的运动向量和内插滤波器的滤波器系数，内插滤波器以分数精度内插与编码图像对应的参考图像的像素，并在预先确定的对称性适用于第一分数精度 像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数；和利用由解码滤波器系数的内插滤波器内插的参考图像和解码的运动向量生成预测图像。按照本发明的第一方面的程序使计算机起以下作用解码装置，解码装置解码编码图像、对应于编码图像的运动向量和内插滤波器的滤波器系数，内插滤波器以分数精度内插与编码图像对应的参考图像的像素，并在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数；和运动补偿装置，运动补偿装置用于利用由解码装置解码的滤波器系数的内插滤波器内插的参考图像，和解码装置解码的运动向量，生成预测图像。按照本发明的第二方面的图像处理设备，包括运动预测装置，用于进行编码对象的图像和参考图像之间的运动预测，以检测运动向量；内插滤波器，用于以分数精度内插参考图像的像素，在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，内插滤波器利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数；系数计算装置，用于利用编码对象的图像、参考图像和运动预测装置检测的运动向量，计算内插滤波器的滤波器系数；和运动补偿装置，用于利用由系数计算装置计算的滤波器系数的内插滤波器内插的参考图像，和运动预测装置检测的运动向量，生成预测图像。图像处理设备还可包括选择装置，用于根据编码对象的图像的切片的种类，选择分数精度的像素位置，在所述像素位置，将以切片为单位把相同滤波器系数用于确定像素。内插滤波器还能够利用围绕在内插滤波器使用的整数位置的像素之间的中央位置反转的滤波器系数，作为用于确定在第一分数精度像素位置的像素，和在第二分数精度像素位置的像素的滤波器系数。在预先确定并且不同于前述对称性的不同对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，内插滤波器还能够利用围绕在内插滤波器使用的整数位置的像素之间的中央位置反转的滤波器系数，作为用于确定在第一分数精度像素位置的像素和在第二分数精度像素位置的像素的滤波器系数。
图像处理设备还可包括存储装置，用于保存确定的滤波器系数；其中在编码对象的图像的切片是不使用由系数计算装置计算的滤波器系数的切片的情况下，内插滤波器利用保存在存储装置中的滤波器系数，运动补偿装置利用由保存在存储装置中的滤波器系数的内插滤波器内插的参考图像和运动预测装置检测的运动向量以生成预测图像。图像处理设备还可包括编码装置，用于编码运动补偿装置生成的预测图像与编码对象的图像之间的差分，和运动预测装置 检测的运动向量。按照本发明的第二方面的图像处理方法包括由图像处理设备执行的以下步骤进行编码对象的图像和参考图像之间的运动预测，以检测运动向量；利用编码对象的图像、参考图像和运动预测装置检测的运动向量，计算内插滤波器的滤波器系数，内插滤波器以分数精度内插参考图像的像素，并在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数；和利用由计算的滤波器系数的内插滤波器内插的参考图像，和检测的运动向量，生成预测图像。按照本发明的第二方面的程序使计算机起以下作用运动预测装置，用于进行编码对象的图像和参考图像之间的运动预测，以检测运动向量；系数计算装置，用于利用编码对象的图像、参考图像和运动预测装置检测的运动向量，计算内插滤波器的滤波器系数，内插滤波器以分数精度内插参考图像的像素，并在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素，和在第二分数精度像素位置的像素的滤波器系数；和运动补偿装置，用于利用由系数计算装置计算的滤波器系数的内插滤波器内插的参考图像和运动预测装置检测的运动向量，生成预测图像。按照本发明的第一方面，编码图像、对应于编码图像的运动向量和内插滤波器的滤波器系数被解码，内插滤波器以分数精度内插与编码图像对应的参考图像的像素，并在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数。此外，利用由解码滤波器系数的内插滤波器内插的参考图像，和解码的运动向量生成预测图像。按照本发明的第二方面，在编码对象的图像和参考图像之间进行运动预测，以检测运动向量；利用编码对象的图像、参考图像和运动预测装置检测的运动向量，计算内插滤波器的滤波器系数，内插滤波器以分数精度内插参考图像的像素，并在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数。另外，利用由计算的滤波器系数的内插滤波器内插的参考图像和检测的运动向量，生成预测图像。注意上述图像处理设备可以作为彼此独立的设备单独提供，或者都可被配置成构成一个图像编码设备或一个图像解码设备的内部部件。借助本发明，能够降低开销，并且能够提高编码效率。此外，借助本发明，就B画面来说，能够降低开销，并且能够提高编码效率。


图1是图解说明常规的帧间预测的示图。图2是具体图解说明常规的帧间预测的示图。图3是图解说明内插的示图。图4是图解说明可分离AIF的示图。图5是表示应用本发明的图像编码设备的第一实施例的结构的方框图。图6是表示运动预测和补偿部分的结构的例子的方框图。图7是图解说明滤波器系数的数目的示图。图8是图解说明水平方向的滤波器系数的计算的示图。图9是图解说明垂直方向的滤波器系数的计算的示图。图10是图解说明分数像素位置的对称性的例子的示图。图11是图解说明分数像素位置的对称性的再一个例子的示图。图12是图解说明分数像素位置的对称性的又一个例子的示图。图13是图解说明分数像素位置的对称性的另一个例子的示图。图14是图解说明图8的图像编码设备的编码处理的流程图。图15是图解说明在图14的步骤S22的运动预测和补偿处理的流程图。图16是表示应用本发明的图像解码设备的第一实施例的例子的方框图。图17是表示图16的运动补偿部分的结构的例子的方框图。图18是图解说明图16的图像解码设备的解码处理的流程图。图19是图解说明在图18的步骤S139的运动补偿处理的流程图。图20是表示在除去固定内插滤波器的情况下，图5的运动预测和补偿部分的结构的例子的不图。图21是图解说明图20的运动预测和补偿部分的运动预测和补偿处理的流程图。图22是表示在除去固定内插滤波器的情况下，图16的运动补偿部分的结构的例子的不图。图23是图解说明图22的运动补偿部分的运动补偿处理的流程图。图24是图解说明扩展块大小的例子的示图。图25是表示计算机的硬件的结构例子的方框图。图26是表示应用本发明的电视接收机的主要结构的例子的方框图。图27是图解说明应用本发明的便携式电话机的主要结构的例子的方框图。图28是表示应用本发明的硬盘记录器的主要结构的例子的方框图。图29是表示应用本发明的图像编码设备的第二实施例的结构的方框图。
具体实施例方式下面参考附图，说明本发明的实施例。[图像编码设备的结构的例子]图5表示作为应用本发明的图像处理设备的图像编码设备的第一实施例的结构。图像编码设备51根据例如H. 264和MPEG_4Part 10 (高级视频编码)(下面称为H. 264/AVC)方法，对输入的图像进行压缩编码。
在图5的例子中，图像编码设备51由A/D转换器61、屏幕重排缓冲器62、算术运算部分63、正交变换部分64、量化部分65、无损编码部分66、累积缓冲器67、反量化部分68、反正交变换部分69、算术运算部分70、解块滤波器71、帧存储器72、开关73、帧内预测部分
74、运动预测和补偿部分75、预测图像选择部分76和速率控制部分77构成。A/D转换器61对输入图像进行A/D转换，把结果图像输出给屏幕重排缓冲器62，以便保存在屏幕重排缓冲器62中。屏幕重排缓冲器62响应GOP (画面组)，把按保存的显示顺序的各帧图像重排成按编码用各帧的顺序的各帧图像。算术运算部分63从读取自屏幕重排缓冲器62的图像中，减去预测图像选择部分76选择的来自帧内预测部分74的预测图像，或者来自运动预测和补偿部分75的预测图像，并把差分信息输出给正交变换部分64。正交变换部分64对来自算术运算部分63的差分信息进行正交变换，比如离散余弦变换，Karhunen-Lowe变换，并输出变换系数。量化部分65量化从正交变换部分64输出的变换系数。从量化部分65输出的量化的变换系数被输入无损编码部分66，借助无损编码部分66，对量化的变换系数进行诸如变长编码或算术编码之类的无损编码，并进行压缩。无损编码部分66从帧内预测部分74获得指示帧内预测的信息，并从运动预测和补偿部分75获得指示帧间预测模式的信息等。注意，指示帧内预测的信息和指示帧间预测模式的信息下面分别称为帧内预测模式信息和帧间预测模式信息。无损编码部分66对量化的变换系数编码，并编码指示帧内预测的信息，指示帧间预测模式的信息等，并把结果代码作为压缩图像中的头部信息的一部分。无损编码部分66把编码数据提供给累积缓冲器67，以便累积在累积缓冲器67中。例如，无损编码部分66进行无损编码处理，比如变长编码或算术编码。作为变长编码，可采用在H. 264/AVC中规定的CAVLC(上下文自适应变长编码)等。作为算术编码，可采用CABAC (上下文自适应二进制算术编码)等。 累积缓冲器67把从无损编码部分66供给的数据作为编码压缩图像，输出给图中未示出的下一级的记录设备或传输路径。同时,从量化部分65输出的量化的变换系数还被输入反量化部分68,从而由反量化部分68反量化，反量化的变换系数由反正交变换部分69进行反正交变换。反正交变换的输出被算术运算部分70添加到从预测图像选择部分76供给的预测图像中，从而被转换成局部解码图像。解块滤波器71从解码图像中消除块失真，随后将结果图像提供给帧存储器72，以便累积在帧存储器72中。在由解块滤波器71进行解块滤波处理之前的图像也被提供给帧存储器72，以便累积在帧存储器72中。开关73把累积在帧存储器72中的参考图像输出给运动预测和补偿部分75或者帧内预测部分74。在图像编码设备51中，例如，来自屏幕重排缓冲器62的I图像、B画面和P画面作为将经历帧内预测(也称为帧内处理)的图像被提供给帧内预测部分74。此外，从屏幕重排缓冲器62读出的B画面和P画面作为将经历帧间预测(也称为帧间处理)的图像被提供给运动预测和补偿部分75。帧内预测部分74根据从屏幕重排缓冲器62读出的帧内预测用图像，和从帧存储器72供给的参考图像，按照所有候选帧内预测模式进行帧内预测处理，从而生成预测图像。随即，帧内预测部分74计算所有候选帧内预测模式的成本函数值，然后选择帧内预测模式中表现出计算的成本函数值中的最小值的一种帧内预测模式，作为最佳帧内预测模式。成本函数也称为RD (率失真)成本，其值是根据诸如JM(联合模型)规定的高复杂性模式或低复杂性模式之类的技术计算的，JM(联合模型)是H. 264/AVC方法的参考软件。特别地，在采用高复杂性模式作为成本函数值的计算技术的情况下，关于所有候选帧内预测模式，临时地进行一直到编码处理的各个处理，并关于帧内预测模式计算用以下表达式(5)表示的成本函数。Cost (Mode) = D+λ · R …(5)D是原始图像和解码图像之间的差分(失真)，R是包括一直到正交变换系数的生成代码量，λ是作为量化参数QP的函数给出的LaGrange乘数。另一方面，在采用低复杂性模式作为成本函数值的计算技术的情况下，关于所有候选帧内预测模式，进行帧内预测图像的生成，和表示帧内预测模式的信息等的头部比特的计算，随后关于帧内预测模式，计算用以下表达式(6)表示的成本函数值。Cost(Mode) = D+QPtoQuant (QP) · Header_Bit ··· (6)D是原始图像和解码图像之间的差分(失真)，Header Bit是关于帧内预测模式的头部比特，QPtoQuant是作为量化参数QP的函数给出的函数。在低复杂性模式下，只需要对于所有帧内预测模式，生成帧内预测图像，不必进行编码处理，于是，算术运算量小。帧内预测部分74把按最佳帧内预测模式生成的预测图像，和预测图像的成本函数值提供给预测图像选择部分76。在预测图像选择部分76选择了按最佳帧内预测模式生成的预测图像的情况下，帧内预测部分74把指示最佳帧内预测模式的信息提供给无损编码部分66。无损编码部分66编码该信息，然后把编码信息用作压缩图像的头部信息的一部分。运动预测和补偿部分75被供给从屏幕重排缓冲器62读出，以便被帧间处理的图像并经由开关73来自帧存储器72的参考图像。运动预测和补偿部分75利用固定内插滤波器，进行参考图像的滤波处理。注意滤波器系数被固定的表示并不意味把滤波器系数固定为1，相反它意味AIF(自适应内插滤波器)中对变化的固定，从而自然可能替换系数。下面，利用固定内插滤波器的滤波处理被称为固定滤波处理。运动预测和补偿部分75根据待帧间处理的图像，和在固定滤波处理之后的参考图像，按所有候选帧间预测模式进行块的运动预测，从而生成每个块的运动向量。随后，运动预测和补偿部分75对固定滤波处理之后的参考图像进行补偿处理，从而生成预测图像。此时，运动预测和补偿部分75对于所有候选帧间预测模式，确定处理对象的块的成本函数值，并确定预测模式，然后确定在确定的预测模式下，处理对象的切片的成本函数值。此外，运动预测和补偿部分75根据对象块是包含在P切片中，还是包含在B切片 中，即，根据切片的种类，选择分数精度的像素位置，在所述像素位置，相同的滤波器系数将被单独用于各个像素。例如，在B切片的情况下，对称性适用于与P切片的情况相比，数目更多的分数精度的像素位置(确定像素位置具有对称性)，并且相同的滤波器系数被用于像素位置。虽然细节在后面参考图10说明，不过在编码方和解码方预先假定和确定这种对称性法则。在下面的说明中，在存在适用对称性的许多像素的情况下，也描述成对称性高。运动预测和补偿部分75利用生成的运动向量，待帧间处理的图像，和参考图像，确定具有由适合于切片的种类的滤波器系数构成的可变系数的内插滤波器(AIF(自适应内插滤波器))的滤波器系数。随后，运动预测和补偿部分75利用确定的滤波器系数的滤波器对参考图像进行滤波处理。要注意的是可变内插滤波器的滤波处理下面也被称为可变滤波处理。运动预测和补偿部分75再次根据待帧间处理的图像，和可变滤波处理之后的参考图像，按所有候选帧间预测模式进行各个块的运动预测，从而生成每个块的运动向量。随后，运动预测和补偿部分75对可变滤波处理之后的参考图像进行补偿处理，以生成预测图像。此时，运动预测和补偿部分75关于所有候选帧间预测模式，确定处理对象的块的成本函数值，并决定预测模式，然后确定在决定的预测模式下，处理对象的切片的成本函数值。
随后，运动预测和补偿部分75比较在固定滤波处理之后的成本函数值，和在可变滤波处理之后的成本函数值。运动预测和补偿部分75采用成本函数值中，值较小的一个成本函数值，然后把预测图像和该成本函数值输出给预测图像选择部分76，并设定指示处理对象的切片是否使用AIF的AIF使用标记。在预测图像选择部分76选择最佳帧间预测模式下的对象块的预测图像的情况下，运动预测和补偿部分75把指示最佳帧间预测模式的信息(帧间预测模式信息)输出给无损编码部分66。此时，运动向量信息，参考帧信息，包含在每个切片的切片头部信息中的切片种类信息，和AIF使用标记，以及滤波器系数(在使用AIF的情况下)等被输出给无损编码部分66。无损编码部分66再次对来自运动预测和补偿部分75的信息进行诸如变长编码或算术编码之类的无损编码处理，然后把结果信息插入压缩图像的头部部分中。预测图像选择部分76根据从帧内预测部分74或运动预测和补偿部分75输出的成本函数值，从最佳帧内预测模式和最佳帧间预测模式中确定最佳预测模式。随后，预测图像选择部分76选择确定的最佳预测模式的预测图像，并把预测图像提供给算术运算部分63和70。此时，如虚线所示，预测图像选择部分76把预测图像的选择信号提供给帧内预测部分74或者运动预测和补偿部分75。速率控制部分77根据累积在累积缓冲器67中的压缩图像，控制量化部分65的量化操作的速率，以便不会发生上溢或下溢。[运动预测和补偿部分的结构的例子]图6是表示运动预测和补偿部分75的结构的例子的方框图。注意在图6中，省略了图5的开关73。在图6的例子中，运动预测和补偿部分75由固定内插滤波器81、低对称性内插滤波器82、低对称性滤波器系数计算部分83、高对称性内插滤波器84、高对称性滤波器系数计算部分85、选择器86、运动预测部分87、运动补偿部分88、另一个选择器89和控制部分90构成。来自屏幕重排缓冲器62的输入图像(待帧间处理的图像)被输入低对称性滤波器系数计算部分83、高对称性滤波器系数计算部分85和运动预测部分87。来自帧存储器72的参考图像被输入固定内插滤波器81、低对称性内插滤波器82、低对称性滤波器系数计算部分83、高对称性内插滤波器84和高对称性滤波器系数计算部分85。固定内插滤波器81是由H. 264/AVC方法规定的固定系数的6抽头内插滤波器。固定内插滤波器81对来自帧存储器72的参考图像进行滤波处理，然后把固定滤波处理之后的参考图像输出给运动预测部分87和运动补偿部分88。低对称性内插滤波器82是其中与高对称性内插滤波器84相比，预先确定的对称性适用于的像素的数目较小的可变滤波器系数的内插滤波器。虽然例如在非专利文献2中说明的AIF滤波器被用作低对称性内插滤波器82，不过由于低对称性内插滤波器82是在P切片的情况下使用的滤波器，因此与在非专利文献2中描述的AIF滤波器相比，滤波器系数的数目会被增大。因此，在P切片的情况下，编码效率被提高。低对称性内插滤波器82利用低对称性滤波器系数计算部分83计算的低对称性滤 波器系数，对来自帧存储器72的参考图像进行滤波处理，然后把在可变滤波处理之后的参考图像输出给选择器86。低对称性滤波器系数计算部分83利用来自屏幕重排缓冲器62的输入图像，来自帧存储器72的参考图像，和来自运动预测部分87的第一次的运动向量，计算例如使在低对称性内插滤波器82的滤波处理之后的参考图像接近输入图像的51个滤波器系数。低对称性滤波器系数计算部分83把计算的滤波器系数提供给低对称性内插滤波器82和选择器89。高对称性内插滤波器84是其中与低对称性内插滤波器82相比，预先确定的对称性适用于的像素的数目较大的可变滤波器系数的内插滤波器。例如，在B切片的情况下，使用高对称性内插滤波器84。高对称性内插滤波器84利用高对称性滤波器系数计算部分85计算的高对称性滤波器系数，对来自帧存储器72的参考图像进行滤波处理，然后把可变滤波处理之后的参考图像输出给选择器86。高对称性滤波器系数计算部分85利用来自屏幕重排缓冲器62的输入图像，来自帧存储器72的参考图像，和来自运动预测部分87的第一次的运动向量，计算使在高对称性内插滤波器84的滤波处理之后的参考图像接近输入图像的18个滤波器系数。高对称性滤波器系数计算部分85把计算的滤波器系数提供给高对称性内插滤波器84和选择器89。在处理对象的切片是P切片的情况下，选择器86在控制部分90的控制下，选择来自低对称性内插滤波器82的可变滤波之后的参考图像，并把选择的参考图像输出给运动预测部分87和运动补偿部分88。在处理对象的切片是B切片的情况下，选择器86在控制部分90的控制下，选择来自高对称性内插滤波器84的可变滤波之后的参考图像，并把选择的参考图像输出给运动预测部分87和运动补偿部分88。 特别地，选择器86在处理对象的切片是P切片的情况下，选择低对称性，而在处理对象的切片是B切片的情况下，选择高对称性。运动预测部分87根据来自屏幕重排缓冲器62的输入图像，和来自固定内插滤波器81的固定滤波之后的参考图像，生成所有候选帧间预测模式的第一次的运动向量，然后把生成的运动向量输出给低对称性滤波器系数计算部分83，高对称性滤波器系数计算部分85和运动补偿部分88。此外，运动预测部分87根据来自屏幕重排缓冲器62的输入图像，和来自选择器的可变滤波之后的参考图像，生成所有候选帧间预测模式的第二次的运动向量，然后把生成的运动向量输出给运动补偿部分88。运动补偿部分88利用第一次的运动向量对来自固定内插滤波器81的固定滤波之后的参考图像进行补偿处理，以生成预测图像。随后，运动补偿部分88计算每个块的成本函数值，以确定最佳帧间预测模式，并计算在确定的最佳帧间预测模式下，对象切片的第一次的成本函数值。运动补偿部分88随后利用第二次的运动向量对来自选择器86的可变滤波之后的参考图像进行补偿处理，以生成预测图像。随后，运动补偿部分88计算每个块的成本函数值，以确定 最佳帧间预测模式，并计算在确定的最佳帧间预测模式下，对象切片的第二次的成本函数值。随后，运动补偿部分88关于对象切片，相互比较第一次的成本函数值和第二次的成本函数值，确定使用滤波器中表现出较低值的那个滤波器。具体地说，在第一次的成本函数值较低的情况下，运动补偿部分88确定对目标切片使用固定滤波器，把利用固定滤波之后的参考图像生成的预测图像和成本函数值提供给预测图像选择部分76，随后把AIF使用标记的值设定为O (不使用)。另一方面，在第二次的成本函数值较低的情况下，运动补偿部分88确定对目标切片使用可变滤波器。随后，运动补偿部分88把利用可变滤波之后的参考图像生成的预测图像和成本函数值提供给预测图像选择部分76，随后把AIF使用标记的值设定为I (使用)。在预测图像选择部分76选择帧间预测图像的情况下，运动补偿部分88在控制部分90的控制下，把最佳帧间预测模式的信息，包括切片的种类和AIF使用标记的切片头部的信息，运动向量，参考图像的信息等等输出给无损编码部分66。如果在预测图像选择部分76中选择帧间预测图像，并且在对象切片中将使用可变滤波器，那么当对象切片是P切片时，选择器89在控制部分90的控制下，把来自低对称性滤波器系数计算部分83的滤波器系数输出给无损编码部分66。如果在预测图像选择部分76中选择帧间预测图像，并且在对象切片中将使用可变滤波器，那么当对象切片是B切片时，选择器89在控制部分90的控制下，把来自高对称性滤波器系数计算部分85的滤波器系数输出给无损编码部分66。根据对象切片的种类，控制部分90选择分数精度的像素位置，并控制选择器86和89，在所述像素位置，相同的滤波器系数将被单独用于各个像素。具体地说，在对象切片是P切片的情况下，控制部分90选择把预先确定的对称性应用于和在B切片的情况下相比，数目较少的分数精度的像素位置，而在对象切片是B切片的情况下，选择把预先确定的对称性应用于和在P切片的情况下相比，数目较多的分数精度的像素位置。另一方面，如果收到表示选择了来自预测图像选择部分76的帧间预测图像的信号，那么控制部分90进行使运动补偿部分88和选择器89把必需的信息输出给无损编码部分66的控制。[滤波器系数的数目]图7是图解说明在P切片的情况下使用的低对称性内插滤波器82，和在B切片的情况下使用的高对称性内插滤波器84中的滤波器系数的数目的示图。要注意的是在图7的例子中，图解说明了上面参考图4说明的可分离AIF的情况的例子。此外，图7的sub pel代表在应用在上面说明的图4中所示的字母的各个位置的像素值。具体地说，在要确定图4中的像素值a的情况下，对低对称性内插滤波器82和高对称性内插滤波器84来说，都需要6个滤波器系数，而在要确定像素值b的情况下，对低对称性内插滤波器82和高对称性内插滤波器84来说，都需要3个滤波器系数。在要确定像素值c的情况下，对低对称性内插滤波器82来说，需要6个滤波器系数。另一方面，在要确定像素值c的情况下，由于预先确定的对称性适用于像素值c的位置和像素值a的位置，从而以反转状态使用当确定像素值a时的滤波器系数，因此对高对称性内插滤波器84来说，不需要滤波器系数。这里，以反转状态使用滤波器系数意味使用围绕 在用于上述AIF的整数位置的像素的中央位置被反转的滤波器系数。在要确定像素值d的情况下，对低对称性内插滤波器82和高对称性内插滤波器84来说，都需要6个滤波器系数。在要确定像素值e，f和g的情况下，对低对称性内插滤波器82来说，需要6个滤波器系数。另一方面，在高对称性内插滤波器84中，由于预先确定的对称性适用于像素值e，f和g的位置和像素值d的位置，从而使用和在确定像素值d的情况下相同的滤波器系数，因此不需要滤波器系数。在要确定像素值h的情况下，对低对称性内插滤波器82和高对称性内插滤波器84来说，都需要3个滤波器系数。在要确定像素值i，j和k的情况下，对低对称性内插滤波器82来说，需要3个滤波器系数。另一方面，在高对称性内插滤波器84中，由于预先确定的对称性适用于像素值i，j和k的位置和像素值h的位置，从而使用和在确定像素值h的情况下相同的滤波器系数，因此不需要滤波器系数。在要确定像素值I的情况下，在低对称性内插滤波器82和高对称性内插滤波器84中，由于预先确定的对称性适用于像素值I的位置和像素值d的位置，并且以反转状态使用当确定像素值d时的滤波器系数，因此不需要滤波器系数。在要确定像素值m的情况下，在低对称性内插滤波器82中，预先确定的对称性适用于像素值m的位置和像素值e的位置，并且以反转状态使用当确定像素值e时的滤波器系数。另一方面，在要确定像素值m的情况下，在高对称性内插滤波器84中，预先确定的对称性适用于像素值m的位置和像素值I的位置。这里，当确定像素值d时的滤波器系数被以反转状态用作像素值I的滤波器系数。结果，在要确定像素值m的情况下，在高对称性内插滤波器84中，以反转状态使用当确定像素值d时的滤波器系数，从而不需要滤波器系数。在要确定像素值η的情况下，在低对称性内插滤波器82中，预先确定的对称性适用于像素值η的位置和像素值f的位置，并且以反转状态使用当确定像素值f时的滤波器系数。另一方面，在要确定像素值η的情况下，在高对称性内插滤波器84中，预先确定的对称性适用于像素值η的位置和像素值I的位置。此时，当确定像素值d时的滤波器系数被以反转状态用作像素值I的滤波器系数。结果，在确定像素值η的情况下，在高对称性内插滤波器84中，由于以反转状态使用当确定像素值d时的滤波器系数，因此不需要滤波器系数。在要确定像素值O的情况下，在低对称性内插滤波器82中，预先确定的对称性适用于像素值ο的位置和像素值g的位置，并且以反转状态使用当确定像素值g时的滤波器系数。另一方面，在要确定像素值O的情况下，在高对称性内插滤波器84中，预先确定的对称性适用于像素值ο的位置和像素值I的位置。此时，当确定像素值d时的滤波器系数被以反转状态用作像素值I的滤波器系数。结果，在要确定像素值ο的情况下，在高对称性内插滤波器84中，由于以反转状态使用当确定像素值d时的滤波器系数，因此不需要滤波器系数。如上所述，虽然低对称性内插滤波器82必需的滤波器系数的数目为51，不过，高对称性内插滤波器84必需的滤波器系数的数目为18。因而，和低对称性内插滤波器82(P切片)的情况相比，高对称性内插滤波器84(B切片)的情况下的滤波器的数目较小。如上所述，在高对称性内插滤波器84 (B切片)的情况下，预先确定的对称性适用于11个分数位置的像素，从而使用相同的滤波器系数或者反转的滤波器系数。另一方面，在低对称性内插滤波器82 (P切片)的情况下，预先确定的对称性适用于4个分数位置的像素，从而使用反转的滤波器系数。特别地，根据切片的种类，选择相同的滤波器系数将被单独用于各个像素的分数精度的像素位置。从而，在B切片的情况下，在流信息中能够降低开销。 要注意的是低对称性内插滤波器82按照上面给出的表达式(4)，用在非专利文献2中描述的可分离自适应内插滤波器(下面称为可分离AIF)进行内插处理。这里，参考图4再次说明高对称性内插滤波器84进行的可分离AIF。另外在高对称性内插滤波器84进行的可分离AIF中，和低对称性内插滤波器82的情况类似，作为第一步，进行横向方向的非整数位置的内插，作为第二步，进行纵向方向的非整数位置的内插。要注意的是也可颠倒横向方向的处理和纵向方向的处理的顺序。首先，作为第一步，根据在整数位置的像素的像素值E，F，G, H和I，用FIR滤波器按照以下表达式(7)计算在分数位置的像素的像素值a，b和C。这里，h[pos] [η]表示滤波器系数，pos表示图3中所示的sub pel的位置，η表示滤波器系数的数目。滤波器系数包含在流信息中，并在解码方使用。a = h[a] [O] XE+hl [a] [I] XF+h2[a] [2] XG+h[a] [3] XH+h[a] [4] X I+h[a][5] XJb = h[b]
XE+hl [b] [2] XF+h2[b] [2] XG+h[b] [2] XH+h[b] [I] XI+h[b]xjc = h[a] [5] XE+hl [c] [4] XF+h2[a] [3] XG+h[a] [2] XH+h[a] [I] X I+h[a]
XJ…(7)要注意的是类似于像素值a，b和c，也可类似地确定在各行像素值Gl，G2, G3, G4和G5 的分数位置的像素的像素值(al, bl, cl, a2, b2, c2, a3, b3, c3, a4, b4, c4, a5, b5, c5)。随后在第二步，按照以下表达式(8)，计算除像素值a，b和c以外的像素值d O。d = h[d] [O] XGl+h[d] [2] XG2+h[d] [2] XG+h[d] [3] XG3+h[d] [4]*G4+h[d][5] XG5h = h[h]
XGl+h[h] [I] XG2+h[h] [2] XG+h[h] [2] XG3+h[h] [l]*G4+h[h]
XG5I = h[d] [5] XGl+h[d] [4] XG2+h[d] [3] XG+h[d] [2] XG3+h[d] [l]*G4+h[d][O] XG5e = h[d] [O] Xal+h[d] [I] Xa2+h[d] [2] Xa+h[d] [3] Xa3+h[d] [4]*a4+h[d][5] Xa5i = h[h]
Xal+h[h] [I] Xa2+h[h] [2] Xa+h[h] [2] Xa3+h[h] [I]*a4+h[h]
Xa5m = h[d] [5] Xal+h[d] [4] Xa2+h[d] [3] Xa+h[d] [2] Xa3+h[d] [I]*a4+h[d]
Xa5f = h[d]
Xbl+h[d] [I] Xb2+h[d] [2] Xb+h[d] [3] Xb3+h[d] [4]*b4+h[d][5] Xb5
j = h[h]
Xbl+h[h] [I] Xb2+h[h] [2] Xb+h[h] [2] Xb3+h[h] [I]*b4+h[h]
Xb5n = h[d] [5] Xbl+h[d] [4] Xb2+h[d] [3] Xb+h[d] [2] Xb3+h[d] [I]*b4+h[d]
Xb5g = h [d]
X cl+h [d] [I] X c2+h [d] [2] X c+h [d] [3] X c3+h [d] [4] *c4+h [d]Xc5k = h [h]
X cl+h [h] [I] X c2+h [h] [2] X c+h [h] [2] X c3+h [h] [I] *c4+h [h]
Xc5o = h [d] [5] X cl+h [d] [4] X c2+h [d] [3] X c+h [d] [2] X c3+h [d] [I] *c4+h [d]
Xc5. . . (8)[滤波器系数的计算方法]下面，说明滤波器系数的计算方法。至于滤波器系数的计算方法，由于就AIF的内插方法来说，可以利用几种滤波器系数的计算方法，尽管稍有差异，不过在使用最小二乘法的基本部分方面，它们都相同。首先作为代表，说明其中在水平内插处理之后，用可分离aif(自适应内插滤波器)分两个阶段进行垂直方向的内插的内插方法。图8表示可分离AIF的水平方向的滤波器。在图8中所示的水平方向的滤波器中，带斜线的正方形代表在整数位置的像素(Integer pel (Int. pel)),空白正方形代表在分数位置的像素(Sub pel)。此外，正方形中的字母表示该正方形代表的像素的像素值。首先，进行水平方向的内插，即，确定图8的像素值a, b和c的分数位置的像素位置的滤波器系数。这里，由于使用6抽头滤波器，因此为了计算在分数位置的像素值a，b和c，使用在整数位置的像素值Cl，C2, C3, C4, C5和C6，并计算滤波器系数，以使以下表达式
(9)最小化。[表达式I]4 - Σ: ^ , · P.,' y] ... (9)这里，e是预测误差，sp是在分数位置的像素值a、b和c之一，S是原始信号，P是解码的参考像素值，X和I是原始信号的对象的像素位置。此外，在表达式(9)中，S是以下表达式(10)。[表达式2]
权利要求
1.一种图像处理设备，包括 内插滤波器，用于以分数精度内插与编码图像对应的参考图像的像素，在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，所述内插滤波器利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数； 解码装置，用于解码编码图像、对应于编码图像的运动向量和所述内插滤波器的滤波器系数；和 运动补偿装置，用于利用由所述解码装置解码的滤波器系数的所述内插滤波器内插的参考图像，和所述解码装置解码的运动向量，生成预测图像。
2.按照权利要求I所述的图像处理设备，还包括 选择装置，用于根据编码对象的图像的切片的种类，选择分数精度的像素位置，在所述像素位置，将以切片为单位把相同滤波器系数用于确定像素。
3.按照权利要求I所述的图像处理设备，其中所述内插滤波器还利用围绕在所述内插滤波器使用的整数位置的像素之间的中央位置反转的滤波器系数，作为用于确定在第一分数精度像素位置的像素和在第二分数精度像素位置的像素的滤波器系数。
4.按照权利要求3所述的图像处理设备，其中在预先确定并且不同于前述对称性的不同对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，所述内插滤波器还利用围绕在所述内插滤波器使用的整数位置的像素之间的中央位置反转的滤波器系数，作为用于确定在第一分数精度像素位置的像素和在第二分数精度像素位置的像素的滤波器系数。
5.按照权利要求I所述的图像处理设备，还包括 存储装置，用于保存确定的滤波器系数；其中 在编码对象的图像的切片是不使用由所述解码装置解码的滤波器系数的切片的情况下，所述内插滤波器利用保存在所述存储装置中的滤波器系数，所述运动补偿装置利用由保存在所述存储装置中的滤波器系数的所述内插滤波器内插的参考图像和所述解码装置解码的运动向量以生成预测图像。
6.按照权利要求I所述的图像处理设备，还包括 算术运算装置，用于相加所述解码装置解码的图像和所述运动补偿装置生成的预测图像，以生成解码图像。
7.一种图像处理方法，包括由图像处理设备执行的以下步骤 解码编码图像、对应于编码图像的运动向量和内插滤波器的滤波器系数，所述内插滤波器以分数精度内插与编码图像对应的参考图像的像素，并在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数；和 利用由解码滤波器系数的内插滤波器内插的参考图像和解码的运动向量生成预测图像。
8.一种使计算机起以下作用的程序 解码装置，所述解码装置解码编码图像、对应于编码图像的运动向量和内插滤波器的滤波器系数，所述内插滤波器以分数精度内插与编码图像对应的参考图像的像素，并在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数；和 运动补偿装置，所述运动补偿装置用于利用由所述解码装置解码的滤波器系数的内插滤波器内插的参考图像，和所述解码装置解码的运动向量，生成预测图像。
9.一种图像处理设备，包括 运动预测装置，用于进行编码对象的图像和参考图像之间的运动预测，以检测运动向量; 内插滤波器，用于以分数精度内插参考图像的像素，在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，所述内插滤波器利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数； 系数计算装置，用于利用编码对象的图像、参考图像和所述运动预测装置检测的运动向量，计算所述内插滤波器的滤波器系数；和 运动补偿装置，用于利用由所述系数计算装置计算的滤波器系数的所述内插滤波器内插的参考图像，和所述运动预测装置检测的运动向量，生成预测图像。
10.按照权利要求9所述的图像处理设备，还包括 选择装置，用于根据编码对象的图像的切片的种类，选择分数精度的像素位置，在所述像素位置，将以切片为单位把相同滤波器系数用于确定像素。
11.按照权利要求9所述的图像处理设备，其中所述内插滤波器还利用围绕在所述内插滤波器使用的整数位置的像素之间的中央位置反转的滤波器系数，作为用于确定在第一分数精度像素位置的像素和在第二分数精度像素位置的像素的滤波器系数。
12.按照权利要求11所述的图像处理设备，其中在预先确定并且不同于前述对称性的不同对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，所述内插滤波器还利用围绕在所述内插滤波器使用的整数位置的像素之间的中央位置反转的滤波器系数，作为用于确定在第一分数精度像素位置的像素和在第二分数精度像素位置的像素的滤波器系数。
13.按照权利要求9所述的图像处理设备，还包括 存储装置，用于保存确定的滤波器系数；其中 在编码对象的图像的切片是不使用由所述系数计算装置计算的滤波器系数的切片的情况下，所述内插滤波器利用保存在所述存储装置中的滤波器系数，所述运动补偿装置利用由保存在所述存储装置中的滤波器系数的所述内插滤波器内插的参考图像和所述运动预测装置检测的运动向量以生成预测图像。
14.按照权利要求9所述的图像处理设备，还包括 编码装置，用于编码所述运动补偿装置生成的预测图像与编码对象的图像之间的差分，和所述运动预测装置检测的运动向量。
15.一种图像处理方法，包括由图像处理设备执行的以下步骤 进行编码对象的图像和参考图像之间的运动预测，以检测运动向量；利用编码对象的图像、参考图像和运动预测装置检测的运动向量，计算内插滤波器的滤波器系数，所述内插滤波器以分数精度内插参考图像的像素，并在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的另一个像素的滤波器系数；和 利用由计算的滤波器系数的内插滤波器内插的参考图像，和检测的运动向量，生成预测图像。
16.一种使计算机起以下作用的程序 运动预测装置，用于进行编码对象的图像和参考图像之间的运动预测，以检测运动向量; 系数计算装置，用于利用编码对象的图像、参考图像和所述运动预测装置检测的运动向量，计算内插滤波器的滤波器系数，所述内插滤波器以分数精度内插参考图像的像素，并在预先确定的对称性适用于第一分数精度像素位置和第二分数精度像素位置的情况下，利用相同的滤波器系数作为确定在第一分数精度像素位置的像素和在第二分数精度像素位置的像素的滤波器系数；和 运动补偿装置，用于利用由所述系数计算装置计算的滤波器系数的内插滤波器内插的参考图像和所述运动预测装置检测的运动向量，生成预测图像。
全文摘要
本发明涉及一种能够降低开销并提高编码效率的图像处理设备和方法及程序。高对称性内插滤波器84是与低对称性内插滤波器82相比，具有的预先确定的对称性适用于的像素的数目更大的可变滤波器系数的内插滤波器。高对称性内插滤波器84利用高对称性滤波器系数计算部分85计算的18个滤波器系数，对来自帧存储器72的参考图像进行滤波器系数，并把可变滤波处理之后的参考图像输出给选择器86。在处理对象的切片是B切片的情况下，选择器86在控制部分90的控制下，选择来自高对称性内插滤波器84的可变滤波之后的参考图像，然后把选择的图像输出给运动预测部分87和运动补偿部分88。本发明可适用于按照例如H.264/AVC方法进行编码的图像编码设备。
文档编号H04N7/32GK102668569SQ20108005852
公开日2012年9月12日 申请日期2010年12月14日 优先权日2009年12月24日
发明者近藤健治 申请人:索尼公司