动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置和动态图像预测 ...的制作方法
【技术领域】
[0001]本发明涉及动态图像预测编码装置和方法、以及动态图像预测解码装置和方法，特别涉及针对画面内的预测编码中使用的参照样本的滤波处理。
【背景技术】
[0002]为了高效地进行动态图像数据的传送和蓄积而使用压缩编码技术。在动态图像的情况下，广泛使用MPEGl?4或H.261?H.264的方式。
[0003]在这些编码方式中，在将作为编码对象的图像分割成多个块后进行编码/解码处理。在画面内的预测编码中，使用位于与对象块相同的画面内的相邻的已再现的图像信号(对已压缩的图像数据进行复原后的图像信号)生成预测信号后，对从对象块的信号中减去该预测信号而得到的差分信号进行编码。在画面间的预测编码中，参照位于与对象块不同的画面内的相邻的已再现的图像信号进行运动的校正，生成预测信号，对从对象块的信号中减去该预测信号而得到的差分信号进行编码。
[0004]在通常的画面间预测(帧间预测)编码中，针对作为编码对象的块，利用从已经再现的画面中搜索与该像素信号类似的信号的方法生成预测信号。然后，对对象块与搜索到的信号构成的区域之间的空间上的位移量即运动矢量、以及对象块的像素信号和预测信号的残差信号进行编码。这样按照每个块搜索运动矢量的手法被称为块匹配。
[0005]图10是用于说明块匹配处理的示意图。这里，以编码对象的画面701上的对象块702为例来说明预测信号的生成顺序。参照画面703已经再现，区域704在空间上是与对象块702同一位置的区域。在块匹配中，设定包围区域704的搜索范围705，从该搜索范围的像素信号中检测与对象块702的像素信号之间的绝对值误差和最小的区域706。该区域706的信号成为预测信号，从区域704到区域706的位移量被检测为运动矢量707。并且，还经常使用如下方法:准备多个参照画面703，按照每个对象块选择要实施块匹配的参照画面，检测参照画面选择信息。在H.264中，为了对应图像的局部特征的变化，准备用于对运动矢量进行编码的块尺寸不同的多个预测类型。H.264的预测类型例如记载在专利文献2中。
[0006]在H.264的画面内预测(帧内预测)编码中，采用在规定方向上对与作为编码对象的块相邻的已再现的像素值进行外插而生成预测信号的方法。图11是用于说明ITUH.264中使用的画面内预测方法的示意图。在图1l(A)中，对象块802是作为编码对象的块，由与该对象块802的边界相邻的像素A?M构成的像素群(参照样本群)801是相邻区域，是在过去的处理中已经再现的图像信号。
[0007]该情况下，向下方拉伸位于对象块802正上方的相邻像素即像素群(参照样本群)801而生成预测信号。并且，在图1l(B)中，向右侧拉伸位于对象块804左侧的已再现像素(I?L)而生成预测信号。生成预测信号的具体方法例如记载在专利文献I中。取得这样利用图1l(A)?(I)所示的方法生成的9个预测信号分别与对象块的像素信号的差分，设差分值最小的预测信号为最佳的预测信号。如上所述，通过对像素进行外插，能够生成预测信号(帧内预测样本)。以上的内容记载在下述专利文献I中。
[0008]并且，在非专利文献I所示的画面内预测中，除了上述9种以外，还准备参照样本的拉伸方向不同的25种(共34种)预测信号生成方法。
[0009]并且，在非专利文献I中，为了抑制参照样本中产生的失真，在生成预测信号之前，对参照样本实施低通滤波。具体而言，对参照样本应用权重系数为I '2:1的121滤波器后进行外插预测。该处理被称为帧内平滑(intra smoothing) ο
[0010]利用图7和图8对非专利文献I的画面内预测进行说明。图7示出块分割的例子。与块尺寸为NXN样本的对象块210相邻的5个块220、230、240、250、260已经再现。在对象块210的帧内预测中使用ref [X] (x = O?4N)所示的参照样本。图8示出画面内预测的处理流程。首先，在步骤310中，实施画面内预测处理的预测信号生成器从保存再现像素的存储器中取得参照样本ref [X] (x = O?4N)。此时，有时由于编码顺序等理由而使得相邻块还未再现，无法取得全部4N+1个参照样本ref [X]。此时，在填充(padding)处理(复制附近存在的样本值)中代用不存在的样本，准备4N+1个参照样本。填充处理的详细情况记载在非专利文献I中。接着，在步骤320中，预测信号生成器利用121滤波器对参照样本实施平滑化处理。最后，在步骤330中，预测信号生成器利用外插法(画面内预测的方向)估计对象块内的信号，生成预测信号(帧内预测样本)。
[0011]现有技术文献
[0012]专利文献
[0013]专利文献1:美国特许公报第6765964号
[0014]专利文献2:美国特许公报第7003035号
[0015]非专利文献
[0016]非专利文献1:B.Bross et.Al, “High efficiency video coding (HEVC) textspecificat1n draft 8，，，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-TSG16WP3and IS0/IEC JTC1/SC29/WG11, JCTVC-J1003, 10th Meeting Stockholm, Sweden, Il-20July, 2012.
【发明内容】
[0017]发明要解决的课题
[0018]图9示出像素值的类似的平坦区域的信号的例子，但是，当利用较粗的量化对原来的像素值(原始样本值)410进行编码时，块内的再现值(再现样本值)420成为固定值，在块边界430产生阶梯状的失真。认为该失真是块噪声，通常，对再现图像实施用于去除块噪声的滤波来去除该失真。但是，由于画面内预测中使用的参照样本是去除该块噪声的滤波处理之前的信号，所以，残留在块边界的参照样本中的块噪声通过画面内预测而传播到对象块的预测信号(帧内预测样本)中。传播到预测信号中的块噪声在针对再现信号的块噪声去除处理中不能去除，所以，直接被传播到下一个对象块的参照样本群中。
[0019]在非专利文献I中，在画面内预测的外插法(画面内预测的方向)中准备34种不同的外插方向，所以，块噪声改变方向并进行传播。其结果，在图像内的平坦区域的再现信号中产生多个伪轮廓。特别是当噪声传播到尺寸较大的块中时，成为伪轮廓在大块内横穿的状况，视觉影响较大。
[0020]【背景技术】中说明的121滤波器具有去除参照样本内的噪音的效果，但是，由于抽头数较短，所以取法去除图9所示的阶梯状的噪声。
[0021]因此，本发明的目的在于，抑制上述伪轮廓这样的人工噪声。
[0022]用于解决课题的手段
[0023]本发明的一个侧面的动态图像预测编码装置的特征在于，该动态图像预测编码装置具有:块分割单元，其将输入图像分割成多个块；预测信号生成单元，其使用与对象块相邻的已再现的参照样本，生成与所述对象块之间的相关度高的块的画面内预测信号，其中所述对象块是由所述块分割单元分割后的块中的作为编码对象的块；残差信号生成单元，其生成所述对象块的预测信号与所述对象块的像素信号之间的残差信号；残差信号压缩单元，其对由所述残差信号生成单元生成的残差信号进行压缩；残差信号复原单元，其生成对所述残差信号的压缩数据进行复原后的再现残差信号；编码单元，其对所述残差信号的压缩数据进行编码；以及块存储单元，其通过对所述预测信号和所述再现残差信号进行相加来复原所述对象块的像素信号，保存复原后的所述对象块的像素信号以用作所述参照样本，所述预测信号生成单元从所述块存储单元中保存的所述对象块的周围的已再现块中取得参照样本，从所述参照样本中选择2个以上的关键参照样本，对所述关键参照样本间进行内插处理，以生成内插参照样本，决定画面内预测的方向，并根据所决定的画面内预测的方向对所述内插参照样本进行外插，生成所述画面内预测，所述编码单元将所述画面内预测的方向信息包含在压缩数据中进行编码。
[0024]在上述动态图像预测编码装置中，也可以是，所述预测信号生成单元根据所述关键参照样本与预定阈值的比较，相应地切换实施所述参照样本的内插处理和参照样本的平滑化处理。
[0025]并且，在上述动态图像预测编码装置中，也可以是，设所述参照样本为位于参照样本群的端部的参照样本，所述内插处理是针对所述关键参照样本间的参照样本的双一次内插处理。
[0026]本发明的一个侧面的动态图像预测解码装置的特征在于，该动态图像预测解码装置具有:解码单元，其从分割成多个块并被编码后的压缩数据中，解码出作为解码对象的对象块的画面内预测中使用的画面内预测方向信息和残差信号的压缩数据；预测信号生成单元，其使用所述画面内预测方向信息和与所述对象块相邻的已再现的参照样本生成画面内预测信号；残差信号复原单元，其从所述残差信号的压缩数据中复原所述对象块的再现残差信号；以及块存储单元，其通过对所述预测信号和所述再现残差信号进行相加来复原所述对象块的像素信号，保存复原后的所述对象块的像素信号以用作所述参照样本，所述预测信号生成单元从所述块存储单元中保存的所述对象块的周围的已再现块中取得参照样本，从所述参照样本中选择2个以上的关键参照样本，对所述关键参照样本间进行内插处理，以生成内插参照样本，根据所述画面内预测的方向对所述内插参照样本进行外插，生成所述画面内预测。
[0027]在上述动态图像预测解码装置中，也可以是，所述预测信号生成单元根据所述关键参照样本与预定阈值的比较，相应地切换实施所述参照样本的内插处理和参照样本的平滑化处理。
[0028]并且，在上述动态图像预测解码装置中，也可以是，设所述参照样本为位于参照样本群的端部的参照样本，所述内插处理是针对所述关键参照样本间的参照样本的双一次内插处理。
[0029]本发明还能够掌握为动态图像预测编码方法的发明、动态图像预测解码方法的发明、动态图像预测编码程序的发明、动态图像预测解码程序的发明，能够如下记述。
[0030]本发明的一个侧面的动态图像预测编码方法是由动态图像预测编码装置执行的动态图像预测编码方法，其特征在于，该动态图像预测编码方法具有以下步骤:块分割步骤，将输入图像分割成多个块；预测信号生成步骤，使用与对象块相邻的已再现的参照样本，生成与所述对象块之间的相关度高的块的画面内预测信号，其中所述对象块是通过所述块分割步骤分割后的块中的作为编码对象的块；残差信号生成步骤，生成所述对象块的预测信号与所述对象块的像素信号之间的残差信号；残差信号压缩步骤，对通过所述残差信号生成步骤生成的残差信号进行压缩；残差信号复原步骤，生成对所述残差信号的压缩数据进行复原后的再现残差信号；编码步骤，对所述残差信号的压缩数据进行编码；以及块存储步骤，通过对所述预测信号和所述再现残差信号进行相加来复原所述对象块的像素信号，保存复原后的所述对象块