动态图像预测解码方法与流程

本发明专利申请是发明名称为“动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置和动态图像预测解码方法”、申请日为2013年6月17日、国际申请号为“pct/jp2013/066616”、国家申请号为“201380041882.x”的发明专利申请的分案申请。

本发明涉及动态图像预测编码装置和方法、以及动态图像预测解码装置和方法，特别涉及针对画面内的预测编码中使用的参照样本的滤波处理。

背景技术：

为了高效地进行动态图像数据的传送和蓄积而使用压缩编码技术。在动态图像的情况下，广泛使用mpeg1～4或h.261～h.264的方式。

在这些编码方式中，在将作为编码对象的图像分割成多个块后进行编码/解码处理。在画面内的预测编码中，使用位于与对象块相同的画面内的相邻的已再现的图像信号(对已压缩的图像数据进行复原后的图像信号)生成预测信号后，对从对象块的信号中减去该预测信号而得到的差分信号进行编码。在画面间的预测编码中，参照位于与对象块不同的画面内的相邻的已再现的图像信号进行运动的校正，生成预测信号，对从对象块的信号中减去该预测信号而得到的差分信号进行编码。

在通常的画面间预测(帧间预测)编码中，针对作为编码对象的块，利用从已经再现的画面中搜索与该像素信号类似的信号的方法生成预测信号。然后，对对象块与搜索到的信号构成的区域之间的空间上的位移量即运动矢量、以及对象块的像素信号和预测信号的残差信号进行编码。这样按照每个块搜索运动矢量的手法被称为块匹配。

图10是用于说明块匹配处理的示意图。这里，以编码对象的画面701上的对象块702为例来说明预测信号的生成顺序。参照画面703已经再现，区域704在空间上是与对象块702同一位置的区域。在块匹配中，设定包围区域704的搜索范围705，从该搜索范围的像素信号中检测与对象块702的像素信号之间的绝对值误差和最小的区域706。该区域706的信号成为预测信号，从区域704到区域706的位移量被检测为运动矢量707。并且，还经常使用如下方法：准备多个参照画面703，按照每个对象块选择要实施块匹配的参照画面，检测参照画面选择信息。在h.264中，为了对应图像的局部特征的变化，准备用于对运动矢量进行编码的块尺寸不同的多个预测类型。h.264的预测类型例如记载在专利文献2中。

在h.264的画面内预测(帧内预测)编码中，采用在规定方向上对与作为编码对象的块相邻的已再现的像素值进行外插而生成预测信号的方法。图11是用于说明ituh.264中使用的画面内预测方法的示意图。在图11(a)中，对象块802是作为编码对象的块，由与该对象块802的边界相邻的像素a～m构成的像素群(参照样本群)801是相邻区域，是在过去的处理中已经再现的图像信号。

该情况下，向下方拉伸位于对象块802正上方的相邻像素即像素群(参照样本群)801而生成预测信号。并且，在图11(b)中，向右侧拉伸位于对象块804左侧的已再现像素(i～l)而生成预测信号。生成预测信号的具体方法例如记载在专利文献1中。取得这样利用图11(a)～(i)所示的方法生成的9个预测信号分别与对象块的像素信号的差分，设差分值最小的预测信号为最佳的预测信号。如上所述，通过对像素进行外插，能够生成预测信号(帧内预测样本)。以上的内容记载在下述专利文献1中。

并且，在非专利文献1所示的画面内预测中，除了上述9种以外，还准备参照样本的拉伸方向不同的25种(共34种)预测信号生成方法。

并且，在非专利文献1中，为了抑制参照样本中产生的失真，在生成预测信号之前，对参照样本实施低通滤波。具体而言，对参照样本应用权重系数为1：2：1的121滤波器后进行外插预测。该处理被称为帧内平滑(intrasmoothing)。

利用图7和图8对非专利文献1的画面内预测进行说明。图7示出块分割的例子。与块尺寸为n×n样本的对象块210相邻的5个块220、230、240、250、260已经再现。在对象块210的帧内预测中使用ref[x](x＝0～4n)所示的参照样本。图8示出画面内预测的处理流程。首先，在步骤310中，实施画面内预测处理的预测信号生成器从保存再现像素的存储器中取得参照样本ref[x](x＝0～4n)。此时，有时由于编码顺序等理由而使得相邻块还未再现，无法取得全部4n+1个参照样本ref[x]。此时，在填充(padding)处理(复制附近存在的样本值)中代用不存在的样本，准备4n+1个参照样本。填充处理的详细情况记载在非专利文献1中。接着，在步骤320中，预测信号生成器利用121滤波器对参照样本实施平滑化处理。最后，在步骤330中，预测信号生成器利用外插法(画面内预测的方向)估计对象块内的信号，生成预测信号(帧内预测样本)。

现有技术文献

专利文献

专利文献1：美国特许公报第6765964号

专利文献2：美国特许公报第7003035号

非专利文献

非专利文献1：b.brosset.al,“highefficiencyvideocoding(hevc)textspecificationdraft8”,jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg11,jctvc-j1003,10thmeeting：stockholm,sweden,11-20july,2012.

技术实现要素：

发明要解决的课题

图9示出像素值的类似的平坦区域的信号的例子，但是，当利用较粗的量化对原来的像素值(原始样本值)410进行编码时，块内的再现值(再现样本值)420成为固定值，在块边界430产生阶梯状的失真。认为该失真是块噪声，通常，对再现图像实施用于去除块噪声的滤波来去除该失真。但是，由于画面内预测中使用的参照样本是去除该块噪声的滤波处理之前的信号，所以，残留在块边界的参照样本中的块噪声通过画面内预测而传播到对象块的预测信号(帧内预测样本)中。传播到预测信号中的块噪声在针对再现信号的块噪声去除处理中不能去除，所以，直接被传播到下一个对象块的参照样本群中。

在非专利文献1中，在画面内预测的外插法(画面内预测的方向)中准备34种不同的外插方向，所以，块噪声改变方向并进行传播。其结果，在图像内的平坦区域的再现信号中产生多个伪轮廓。特别是当噪声传播到尺寸较大的块中时，成为伪轮廓在大块内横穿的状况，视觉影响较大。

背景技术中说明的121滤波器具有去除参照样本内的噪音的效果，但是，由于抽头数较短，所以取法去除图9所示的阶梯状的噪声。

因此，本发明的目的在于，抑制上述伪轮廓这样的人工噪声。

用于解决课题的手段

本发明的一个侧面的由动态图像预测解码装置执行的动态图像预测解码方法，其特征在于，该动态图像预测解码方法具有以下步骤：解码步骤，从分割成多个块并被编码后的压缩数据中，解码出作为解码对象的对象块的表示画面内预测方法的帧内预测模式和残差信号的压缩数据；预测信号生成步骤，使用所述帧内预测模式和与所述对象块相邻的已再现的参照样本生成画面内预测信号；残差信号复原步骤，从所述残差信号的压缩数据中复原所述对象块的再现残差信号；以及块存储步骤，通过对所述预测信号和所述再现残差信号进行相加来复原所述对象块的像素信号，保存复原后的所述对象块的像素信号以用作所述参照样本，在所述预测信号生成步骤中，从所保存的所述对象块的周围的已再现块中取得相邻的一连串参照样本，对所述参照样本中预定位置处的2个以上的关键参照样本间进行内插处理，以生成内插参照样本，根据所述帧内预测模式对所述内插参照样本进行外插，生成所述画面内预测信号，在所述预测信号生成步骤中，根据基于所述关键参照样本的值与预定的阈值的比较，适当地切换实施所述参照样本的内插处理和参照样本的平滑处理，在用数组ref[x]表示所述相邻的一连串参照样本的情况下，参照样本ref[i]的所述平滑处理基于式子(ref[i-1]+2*ref[i]+ref[i+1]+2)/4，其中，n是所述对象块的一边的块尺寸，x是0～4*n的整数，i是1～2*n-1的整数。

本发明的一个侧面的由动态图像预测解码装置执行的动态图像预测解码方法，其特征在于，该动态图像预测解码方法具有以下步骤：解码步骤，从分割成多个块并被编码后的压缩数据中，解码出作为解码对象的对象块的表示画面内预测方法的帧内预测模式和残差信号的压缩数据；预测信号生成步骤，使用所述帧内预测模式和与所述对象块相邻的已再现的参照样本生成画面内预测信号；残差信号复原步骤，从所述残差信号的压缩数据中复原所述对象块的再现残差信号；以及块存储步骤，通过对所述预测信号和所述再现残差信号进行相加来复原所述对象块的像素信号，保存复原后的所述对象块的像素信号以用作所述参照样本，在所述预测信号生成步骤中，从所保存的所述对象块的周围的已再现块中取得相邻的一连串参照样本，对所述参照样本中预定位置处的2个以上的关键参照样本间进行内插处理，以生成内插参照样本，根据所述帧内预测模式对所述内插参照样本进行外插，生成所述画面内预测信号，在所述预测信号生成步骤中，根据基于所述关键参照样本的值与预定的阈值的比较，适当地切换实施所述参照样本的内插处理和参照样本的平滑处理，在用数组ref[x]表示所述相邻的一连串参照样本的情况下，参照样本ref[i]的所述平滑处理基于式子(ref[i-1]+2*ref[i]+ref[i+1]+2)/4，其中，n是所述对象块的一边的块尺寸，x是0～4*n的整数，i是2*n+1～4*n-1的整数。

发明效果

根据本发明的基于双一次内插的针对参照样本的滤波器处理，使用参照样本两端的样本，平缓地改变参照样本内的信号，所以，能够抑制伪轮廓这样的人工噪声。

附图说明

图1是示出本发明的实施方式的动态图像预测编码装置的框图。

图2是示出本发明的实施方式的动态图像预测解码装置的框图。

图3是示出本发明的实施方式的画面内预测方法的流程图。

图4是示出本发明的实施方式的画面内预测方法的不同例的流程图。

图5是示出用于执行记录介质中记录的程序的计算机的硬件结构的图。

图6是用于执行记录介质中记录的程序的计算机的概观图。

图7是说明画面内预测中使用的参照样本的例子的图。

图8是示出现有技术中的画面内预测方法的流程图。

图9是说明平坦区域中的原来的信号和再现信号的关系的图。

图10是用于说明画面间预测中的运动估计处理的示意图。

图11是用于说明基于参照样本的外插的画面内预测的示意图。

图12是说明画面内预测中使用的参照样本的不同例的图。

图13是说明图1的预测信号生成器103的处理的流程图。

图14是说明图2的预测信号生成器208的处理的流程图。

图15是示出本发明的实施方式的画面内预测方法的第2不同例的流程图。

图16是示出动态图像预测编码程序的结构的框图。

图17是示出动态图像预测解码程序的结构的框图。

具体实施方式

下面，使用图1～图7以及图13～图17对本发明的实施方式进行说明。

图1是示出本发明的实施方式的动态图像预测编码装置100的框图。如图1所示，动态图像预测编码装置100具有输入端子101、块分割器102、预测信号生成器103、帧存储器104、减法器105、转换器106、量化器107、逆量化器108、逆转换器109、加法器110、熵编码器111、输出端子112、块存储器113和环路滤波器114。减法器105、转换器106和量化器107对应于权利要求范围所记载的“编码单元”。并且，逆量化器108、逆转换器109和加法器110对应于权利要求范围所记载的“解码单元”。帧存储器104对应于“图像存储单元”，块存储器113对应于“块存储单元”。

下面，叙述如上所述构成的动态图像预测编码装置100的动作。由多张图像构成的动态图像的信号被输入到输入端子101。利用块分割器102将作为编码对象的图像分割成多个区域。在本发明的实施方式中，如图7例示的那样，块尺寸没有限定。多个块尺寸和形状可以混合存在于1个画面中。块的编码顺序例如记载在非专利文献1中。接着，针对作为编码处理对象的区域(以下称为对象块)生成预测信号。在本发明的实施方式中，使用画面间预测和画面内预测这2种预测方法。预测信号生成器103中的预测信号生成处理使用图13在后面叙述。

利用减法器105从对象块的信号(经由线l102)中减去预测信号(经由线l103)，生成残差信号。利用转换器106对该残差信号进行离散余弦转换，利用量化器107对各转换系数进行量化。熵编码器111对量化后的转换系数进行编码，与生成预测信号所需要的预测信息一起从输出端子112送出。

为了对后续对象块进行画面内预测或画面间预测，对压缩后的对象块的信号进行逆处理并使其复原。即，利用逆量化器108对量化后的转换系数进行逆量化后，利用逆转换器109进行逆离散余弦转换，对残差信号进行复原。利用加法器110对复原后的残差信号和从线l103送来的预测信号进行相加，对对象块的信号进行再现。再现后的块的信号存储在块存储器113中以用于进行画面内预测。关于由再现后的信号构成的再现图像，利用环路滤波器114去除再现图像内产生的块噪声后，将其存储在帧存储器104中。

利用图13对预测信号生成器103中的预测信号处理流程进行说明。首先，在步骤s302中，生成画面间预测所需要的预测信息。具体而言，将过去编码后进行复原的再现图像作为参照图像，从该参照图像中搜索给出相对于对象块的误差最小的预测信号的运动矢量和参照画面。此时，经由线l102输入对象块，经由l104输入参照图像。作为参照图像，使用过去编码并复原的多张图像作为参照图像。详细情况与作为现有技术的h.264或非专利文献1所示的方法相同。

在步骤s303中，生成画面内预测所需要的预测信息。如图7所示，使用空间上与对象块相邻的已再现的像素值，针对多个画面内预测的方向生成预测信号。然后，决定给出相对于对象块的误差最小的预测信号的预测方向(帧内预测模式)。此时，在预测信号生成器103中，从块存储器113中经由线l113取得位于相同画面内的已再现的像素信号作为参照样本，通过对这些信号进行外插，生成画面内预测信号。

接着，在步骤s304中，从画面间预测和画面内预测中选择应用于对象块的预测方法。例如，选择给出相对于对象块的误差较小的预测值的预测方法。或者，实际上也可以针对2个预测方法来进行直到编码处理，根据所产生的码量和编码误差图像的绝对值和的关系来选择计算出的评价值较小的一方。选择出的预测方法的选择信息作为生成预测信号所需要的信息而经由线l112送到熵编码器111进行编码后，从输出端子112送出(步骤s305)。

在步骤s306中选择出的预测方法为画面间预测的情况下，根据运动信息(运动矢量和参照画面信息)，在步骤s307中生成预测信号，所生成的画面间预测信号经由线l103输出到减法器105。在步骤s308中，运动信息作为生成预测信号所需要的信息而经由线l112送到熵编码器111进行编码后，从输出端子112送出。

在步骤s306中选择出的预测方法为画面内预测的情况下，根据帧内预测模式，在步骤s309中生成预测信号，所生成的画面内预测信号经由线l103输出到减法器105。在步骤s310中，帧内预测模式作为生成预测信号所需要的信息而经由线l112送到熵编码器111进行编码后，从输出端子112送出。

熵编码器111中使用的编码方法可以是算术编码，也可以是可变长编码。

图2是本发明的实施方式的动态图像预测解码装置200的框图。如图2所示，动态图像预测解码装置200具有输入端子201、数据解析器202、逆量化器203、逆转换器204、加法器205、预测信号生成器208、帧存储器207、输出端子206、环路滤波器209和块存储器215。逆量化器203和逆转换器204对应于权利要求范围所记载的“解码单元”。作为解码单元，也可以使用上述以外的单元。并且，也可以没有逆转换器204。帧存储器207对应于“图像存储单元”，块存储器215对应于“块存储单元”。

下面，叙述如上所述构成的动态图像预测解码装置200的动作。从输入端子201输入利用上述方法进行压缩编码后的压缩数据。在该压缩数据中包含有对将图像分割成多个块而得到的对象块进行预测编码的残差信号、生成预测信号所需要的信息。如图7例示的那样，块尺寸没有限定。多个块尺寸和形状可以混合存在于1个画面中。块的解码顺序例如记载在非专利文献1中。在生成预测信号所需要的信息中包含有预测方法选择信息和运动信息(画面间预测的情况下)或帧内预测模式(画面内预测的情况下)。

数据解析器202从压缩数据中对对象块的残差信号、生成预测信号所需要的信息、量化参数进行解码。利用逆量化器203，根据量化参数(经由线l202)对解码后的对象块的残差信号进行逆量化。进而，利用逆转换器204对逆量化后的残差信号进行逆离散余弦转换，其结果，对残差信号进行复原。接着，经由线l206将生成预测信号所需要的信息送到预测信号生成器208。在预测信号生成器208中，根据生成预测信号所需要的信息生成对象块的预测信号。预测信号生成器208中的预测信号的生成处理使用图14在后面叙述。所生成的预测信号经由线l208送到加法器205，与复原后的残差信号进行相加，对对象块信号进行再现，经由线l205输出到环路滤波器209，同时存储在块存储器215中以用于后续块的画面内预测。环路滤波器209从经由线l205输入的再现信号中去除块噪声，去除了块噪声后的再现图像作为后续图像的解码/再现中使用的再现图像存储在帧存储器207中。

利用图14对预测信号生成器208中的预测信号处理流程进行说明。首先，在步骤s402中，利用数据解析器202取得解码后的预测方法。

在解码后的预测方法为画面间预测的情况下(步骤s403)，利用数据解析器202取得解码后的运动信息(运动矢量和参照画面信息)(步骤s404)，根据运动信息访问帧存储器207，从多个参照图像中取得参照信号并生成预测信号(步骤s405)。

在解码后的预测方法为画面内预测的情况下(步骤s403)，利用数据解析器202取得解码后的帧内预测模式(步骤s406)，访问块存储器215，取得与对象块相邻的已再现的像素信号作为参照样本，根据帧内预测模式生成预测信号(步骤s407)。所生成的预测信号经由l208输出到加法器205。

数据解析器202中使用的解码方法可以是算术解码，也可以是可变长解码。

接着，使用图3和图7对本发明的实施方式的画面内预测方法进行说明。即，对图13的步骤s309和图14的步骤s407的详细情况、即使用从图1的块存储器113或图2的块存储器215中取得的参照样本、通过基于帧内预测模式的外插法来估计对象块的帧内预测样本的方法进行说明。

在本发明中，为了抑制发明要解决的课题所示的伪轮廓这样的噪声的产生，针对作为伪轮廓要因的块，对画面内预测所使用的参照样本群应用双一次内插处理。通过使参照样本群的信号的变化平缓，抑制在参照样本群的块边界产生的阶梯状的噪声的出现。

利用图7说明对参照样本群应用的双一次内插处理。在对象块210的块尺寸为n×n样本时，这里，利用属于其周围的5个已再现块220、230、240、250、260的已再现的信号构成4n+1个参照样本群270(ref[x](x＝0～4n))。在本实施方式中，将位于参照样本群270的端部的下左侧的参照样本bl＝ref[0]和上右侧的参照样本ar＝ref[4n]、以及位于参照样本群270的中央且位于对象块的上左处的上左侧的参照样本al＝ref[2n]这3个参照样本定义为双一次内插的关键参照样本。此时，如下所述对4n+1个参照样本进行内插处理。

ref’[0]＝ref[0](1)

ref’[i]＝bl+(i*(al-bl)+n)/2n(i＝1～2n-1)(2)

ref’[2n]＝ref[2n](3)

ref’[2n+i]＝al+(i*(ar-al)+n)/2n(i＝1～2n-1)(4)

ref’[4n]＝ref[4n](5)

这里，ref’[x](x＝0～4n)表示内插处理后的参照样本(interpolatedreferencesamples)的值。另外，式(2)和(4)可以分别如式(2)’和(4)’那样变形。

ref’[i]＝((2n-i)*bl+i*al+n)/2n(i＝1～2n-1)(2)’

ref’[2n+i]＝((2n-i)*al+i*ar+n)/2n(i＝1～2n-1)(4)’

这样，利用关键参照样本bl和al，通过双一次内插生成bl～al之间的参照样本，利用关键参照样本al和ar，通过双一次内插生成al～ar之间的参照样本，由此，与对象块相邻的内插处理后的参照样本值的电平平缓地变化。其结果，能够抑制针对预测信号的块噪声的传播。

接着，利用图7对应用双一次内插的参照样本的判定基准进行说明。在本实施方式中，使用3个关键参照样本、块边界的2个参照样本以及2个阈值进行判定。这里，设threshold_above和threshold_left分别为用于决定是否在针对对象块的上端的参照样本ref[x](x＝2n+1～4n-1)和左端的参照样本ref[x](x＝1～2n-1)应用双一次内插的判定中使用的阈值。对满足判定基准的参照样本应用双一次内插。

在本实施方式中，使用下述判定基准。下述2个式子中的interpolate_above和interpolate_left是逻辑值，在满足右边的式子的情况下成为ture(1)，应用双一次内插，在不满足右边的式子的情况下成为false(0)，应用现有的基于121滤波器的intrasmoothing。

interpolate_left＝abs(bl+al-2*ref[n])<threshold_left(6)

interpolate_above＝abs(al+ar-2*ref[3n])<threshold_above(7)

在bl、al和ref[3n]的值并列在直线上的情况下，bl+al-2*ref[n]的值成为0。同样，在al、ar和ref[3n]的值并列在直线上的情况下，al+ar-2*ref[3n]的值也成为0。即，上述2个式子对ref[n]相对于从bl连接到al的直线的偏差(deviation)的大小、以及ref[3n]相对于连接al和ar的直线的偏差(deviation)的大小与各自的阈值进行比较。如果计算出的2个偏差小于对应的阈值threshold_above或threshold_left，则逻辑值(interpolate_above或interpolate_left)成为true，对参照样本应用双一次内插。在式(6)和(7)中，abs(x)是计算x的绝对值。

此时，2个阈值的值(threshold_above和threshold_left)可以是预先设定的固定值，也可以以帧单位或汇集多个块的片(slice)单位进行编码并利用解码器进行复原。并且，还可以以块为单位进行编码并利用解码器进行复原。在图2中，利用数据解析器202对2个阈值进行解码并将其输出到预测信号生成器208，用于下述图3和图4中详细说明的画面内预测信号的生成。

图3示出通过外插法(画面内预测的方向)来估计帧内预测样本的处理的流程图。首先，在步骤510中，预测信号生成器(103或208、以下编号省略)从块存储器(113或215、以下编号省略)中取得图7的像素群270所示的参照样本ref[x](x＝0～4n)。此时，在由于编码顺序等理由而使得相邻块还未再现、无法取得全部4n+1个参照样本的情况下，通过填充处理(复制附近存在的样本值)生成不存在的样本，准备4n+1个参照样本。填充处理的详细情况记载在非专利文献1中。接着，在步骤560中，根据式(6)和(7)计算2个逻辑值interpolate_above和interpolate_left。

接着，在步骤520中，预测信号生成器判定对象块是否满足双一次内插应用的判定基准。具体而言，判定对象块的尺寸是否大于预定的m，并且，判断计算出的interpolate_above和interpolate_left是否均为true。将块尺寸作为判定基准是因为，通常情况下，在较大块尺寸中容易产生作为课题的伪轮廓。通过将m的值设定为较大，具有抑制参照样本的不必要变更的效果。

在满足这2个判定基准的情况下(块尺寸>＝m、且interpolate_above＝＝true且interpolate_left＝＝true)，进入步骤530，在不满足这2个判定基准的情况下，进入步骤540。在步骤530中，对参照样本ref[x](x＝0～4n)应用式(1)～(5)所示的双一次内插处理，生成内插处理后的参照样本(interpolatedreferencesamples)ref’[x](x＝0～4n)。在步骤540中，根据式(8)和(9)，对参照样本ref[x](x＝0～4n)应用基于121滤波器的intrasmoothing。

ref’[i]＝ref[i](i＝0and4n)(8)

ref’[i]＝(ref[i-1]+2*ref[i]+ref[i+1]+2)/4(i＝1～4n-1)(9)

这里，ref’[x](x＝0～4n)表示平滑化后的参照样本(smoothedreferencesamples)的值。

最后，在步骤550中，使用已定的帧内预测模式和内插后或平滑化后的参照样本ref’[x](x＝0～4n)，通过外插法(画面内预测的方向)来估计对象块的帧内预测样本。

图4更加详细地说明图3，示出通过外插法(画面内预测的方向)来估计分为左参照样本(ref[x]，x＝0～2n)和上参照样本(ref[x]，x＝2n～4n)而独立实施双一次内插和121滤波器的切换的情况下的帧内预测样本的处理的流程图。首先，在步骤610中，预测信号生成器(103或208、以下编号省略)从块存储器(113或215、以下编号省略)中取得图7的像素群270所示的参照样本ref[x](x＝0～4n)。此时，在由于编码顺序等理由而使得相邻块还未再现、无法取得全部4n+1个参照样本的情况下，通过填充处理(复制附近存在的样本值)生成不存在的样本，准备4n+1个参照样本。填充处理的详细情况记载在非专利文献1中。

接着，在步骤680中，根据式(6)和(7)计算2个逻辑值interpolate_above和interpolate_left。

接着，在步骤620中，预测信号生成器判断对象块是否满足双一次内插应用的判定基准。具体而言，判定对象块的尺寸是否大于预定的m，并且，判定计算出的interpolate_above和interpolate_left中的至少一方是否为true。在满足这2个判定基准的情况下(块尺寸>＝m、且interpolate_above＝＝true或interpolate_left＝＝true)，进入步骤625，在不满足这2个判定基准的情况下，进入步骤660。在步骤660中，根据式(8)和(9)，对参照样本群应用基于121滤波器的intrasmoothing。

在步骤625中，判定是否满足式(6)所示的左参照样本的双一次内插应用的判定基准。即，在interpolate_left为true(1)的情况下，进入步骤630，对参照样本ref[x](x＝0～2n)应用式(1)和(2)所示的双一次内插处理，生成内插处理后的参照样本(interpolatedreferencesamples)ref’[x](x＝0～2n)。在不满足式(6)的判定基准的情况下，进入步骤635，根据式(10)和(11)，对左参照样本ref[x](x＝0～2n)应用基于121滤波器的intrasmoothing。

ref’[0]＝ref[0](10)

ref’[i]＝(ref[i-1]+2*ref[i]+ref[i+1]+2)/4(i＝1～2n-1)(11)

这里，ref’[x](x＝0～2n)表示平滑化后的参照样本(smoothedreferencesamples)的值。

接着，在步骤640中，判定是否满足式(7)所示的上参照样本的双一次内插应用的判定基准。即，在interpolate_above为true(1)的情况下，进入步骤650，根据式(3)、(4)、(5)，对在上参照样本ref[i](i＝2n+1～4n)应用双一次内插处理。在不满足式(7)的判定基准的情况下，进入步骤655，根据式(12)、(13)、(14)，对上参照样本ref[x](x＝2n+1～4n)应用基于121滤波器的intrasmoothing。

ref’[2n]＝ref[2n](12)

ref’[i]＝(ref[i-1]+2*ref[i]+ref[i+1]+2)/4(i＝2n+1～4n-1)(13)

ref’[4n]＝ref[4n](14)

这里，ref’[x](x＝2n+1～4n)表示平滑化后的参照样本(smoothedreferencesamples)的值。

最后，在步骤670中，使用已定的帧内预测模式和内插处理后或平滑化后的参照样本ref’[x](x＝0～4n)，通过外插法(画面内预测的方向)来估计对象块的帧内预测样本。在外插中，利用在从外插的对象块内的样本的位置朝向内插处理后或平滑化后的参照样本(interpolatedorsmoothedreferencesamples)在帧内预测的方向上投影线时、位于接近所投影的线的位置的内插处理后或平滑化后的参照样本(interpolatedorsmoothedreferencesamples)。

用于使计算机作为上述动态图像预测编码装置100发挥功能的动态图像预测编码程序能够存储在记录介质中来提供。同样，用于使计算机作为上述动态图像预测解码装置200发挥功能的动态图像预测解码程序能够存储在记录介质中来提供。作为记录介质，例示了usb存储器、软盘、cd-rom、dvd或rom等记录介质或半导体存储器等。

例如如图16所示，动态图像预测编码程序p100具有块分割模块p101、预测信号生成模块p102、残差信号生成模块p103、残差信号压缩模块p104、残差信号复原模块p105、编码模块p106和块存储模块p107。

并且，例如如图17所示，动态图像预测解码程序p200具有解码模块p201、预测信号生成模块p202、残差信号复原模块p203和块存储模块p204。

这样构成的动态图像预测编码程序p100或动态图像预测解码程序p200存储在后述图5和图6所示的记录介质10中，由后述计算机执行。

图5是示出用于执行记录介质中记录的程序的计算机30的硬件结构的图，图6是用于执行记录介质中记录的程序的计算机30的概观图。这里的计算机30广泛包含具有cpu且进行基于软件的信息处理和控制的dvd播放器、机顶盒、便携电话等。

如图6所示，计算机30具有软盘驱动装置、cd-rom驱动装置、dvd驱动装置等读取装置12、使操作系统常驻的作业用存储器(ram)14、存储记录介质10中存储的程序的存储器16、称为显示器的显示装置18、作为输入装置的鼠标20和键盘22、用于进行数据等的收发的通信装置24、以及对程序的执行进行控制的cpu26。当记录介质10插入读取装置12中时，计算机30能够从读取装置12访问记录介质10中存储的动态图像预测编码程序，能够通过该动态图像预测编码程序作为上述动态图像预测编码装置100进行动作。同样，当记录介质10插入读取装置12中时，计算机30能够从读取装置12访问记录介质10中存储的动态图像预测解码程序，能够通过该动态图像预测解码程序作为上述动态图像预测解码装置200进行动作。

在本发明中，还能够进行下述变形。

(a)双一次内插应用的判定基准

双一次内插应用的判定基准不限于上述实施方式中说明的方法。例如，也可以设内插应用的判定结果始终为true，省略步骤520、620、625、640。该情况下，代替基于121滤波器的平滑化处理(smoothingprocess)而始终应用内插处理(interpolationprocess)。

也可以在判定基准中考虑帧内预测模式。例如，由于在块噪声去除处理中减轻了块边界产生的伪轮廓，所以，在外插处理的预测方向为垂直或水平时，也可以设内插处理应用的判定结果始终为false。

也可以从判断基准中去除块尺寸。并且，也可以代替对象块块尺寸而在判断基准中使用对象块与相邻块的块尺寸的相对关系。在图7的例子中，与对象块210的左侧相邻的块260的块尺寸大于对象块210。该情况下，在ref[n]的周边不会产生块噪声。这样，在相邻块的块尺寸大于对象块的情况下，也可以与式(6)或(7)的结果无关而设内插应用的判定基准为false。另一方面，与对象块210的上侧相邻的块230、240、250小于对象块210。该情况下，由于可能在ref[3n]或ref[2n+n/2]的周边产生块噪声，所以，根据式(6)或(7)的结果来判定内插应用。另外，该对象块与相邻块的块尺寸的相对关系也可以与对象块的块尺寸一起用作判定基准。

式(6)和(7)的阈值(threshold_above和threshold_left)可以针对不同块尺寸、块形状(块的纵向和横向的尺寸差异)、不同帧内预测模式而单独确定并进行编码，利用解码器进行复原。并且，也可以设threshold_above和threshold_left的值为相同值，仅对一方进行编码，利用解码器进行复原。在解码器中，由图2的数据解析器202复原后的阈值被输入到预测信号生成器208。在预测信号生成器208中，根据所输入的阈值计算interpolate_above和interpolate_left的值(图3的步骤560或图4的步骤680)。

并且，也可以代替在步骤520、620、625和640中设置判定基准而将判定结果包含在比特流中进行编码，利用解码器进行复原。该情况下，利用图1的预测信号生成器103，针对interpolate_above和interpolate_left的值(0或1)，根据对象块的尺寸和式(6)或(7)的结果求出2个值，作为预测所需要的预测信息，按照每个块或以汇集多个块而得到的块群单位进行编码。即，在经由线l112送到熵编码器111进行编码后，从输出端子112送出。另外，在求解interpolate_above和interpolate_left的值(0或1)时，也可以使用上述的对象块与相邻块的块尺寸的相对关系、对象块的尺寸以及帧内预测模式。

在图2的数据解析器202中，按照每个块或以汇集多个块而得到的块群单位对interpolate_above和interpolate_left的值进行解码，将其输入到预测信号生成器208。另外，2个值可以单独进行编码、解码，也可以作为2个值的组来进行编码、解码。

利用图15对图2的预测信号生成器208内的画面内预测方法的处理进行说明。该情况下，图15被置换为图4。在图14中，在步骤s406中，与帧内预测模式一起取得解码后的interpolate_above和interpolate_left的值。首先，在步骤710中，预测信号生成器(103或208、以下编号省略)从块存储器(113或215、以下编号省略)中取得图7的像素群270所示的参照样本ref[x](x＝0～4n)。此时，在由于编码顺序等理由而使得相邻块还未再现、无法取得全部4n+1个参照样本的情况下，通过填充处理(复制附近存在的样本值)生成不存在的样本，准备4n+1个参照样本。填充处理的详细情况记载在非专利文献1中。

接着，在步骤790中，取得interpolate_above和interpolate_left的值。在步骤720中，预测信号生成器判定interpolate_above和interpolate_left的值中的任意一方是否为1。在任意一个值为1的情况下，进入步骤725，在不满足的情况下，进入步骤760。在步骤760中，根据式(8)和(9)，对参照样本群应用基于121滤波器的intrasmoothing。

在步骤725中，在interpolate_left的值为1的情况下，进入步骤730，对参照样本ref[x](x＝0～2n)应用式(1)和(2)所示的双一次内插处理，生成内插处理后的参照样本(interpolatedreferencesamples)ref’[x](x＝0～2n)。在interpolate_left的值为0的情况下，进入步骤735，根据式(10)和(11)，对左参照样本ref[x](x＝0～2n)应用基于121滤波器的intrasmoothing。

接着，在步骤740中，在interpolate_above值为1的情况下，进入步骤750，根据式(3)、(4)、(5)，对上参照样本ref[i](i＝2n+1～4n)应用双一次内插处理。在interpolate_above值为0的情况下，进入步骤755，根据式(12)、(13)、(14)，对左参照样本ref[x](x＝2n+1～4n)应用基于121滤波器的intrasmoothing。

最后，在步骤770中，使用解码后的帧内预测模式和内插处理后或平滑化后的参照样本ref’[x](x＝0～4n)，通过外插法(画面内预测的方向)来估计对象块的帧内预测样本。

(b)内插处理

在上述中，在内插处理中使用双一次内插，但是，只要能够去除块边界的噪声即可，所以也可以是其他内插处理。例如，可以利用关键参照样本的平均值来置换全部参照样本。可以根据块尺寸或画面内预测类型来切换内插处理方法，也可以将要应用的内插处理方法包含在比特流中进行编码、解码。

(c)参照样本的画面内预测的处理流程

通过外插法(画面内预测的方向)来估计帧内预测样本的处理流程不限于图4的顺序。例如，步骤625、630、635也可以与步骤640、650、655颠倒顺序。并且，式(3)和式(12)也可以不在步骤650、655中实施而在步骤630、635中实施。并且，由于式(1)(3)(5)和式(10)(12)(14)的处理结果相同，所以，也可以在步骤625之前(步骤620与625之间)或步骤650和655之后(步骤650或655与步骤670之间)统一实施。

并且，也可以设步骤620的判定基准仅为块尺寸。此时，如果将式(12)置换为式(15)和(16)，则处理结果与图4相同，所以也可以这样。

ref’[2n]＝ref[2n]

ifinterpolate_above＝＝true||interpolate_left＝＝true(15)

ref’[2n]＝(ref[2n-1]+2*ref[2n]+ref[2n+1]+2)/4others(16)

这里，ref’[2n]表示平滑化后的参照样本(smoothedreferencesamples)的值。

(d)块尺寸

在上述中，设对象块为正方块，但是，在非正方块中，也能够同样应用本发明的针对参照样本的内插处理。图12示出对象块290的块尺寸为n×2n的例子。该情况下，ref[x]的数量为3n+1个。

(e)关键参照样本

在上述中，设关键参照样本为参照样本群的端部和中央这3个参照样本，但是，其数量和位置没有限定。例如，也可以根据参照块的尺寸和参照块与相邻块的相对关系来改变数量和位置，还可以将关键参照样本的数量和位置包含在比特流中进行编码、解码。并且，针对关键参照样本，也可以设参照样本群的端部和中央这3个参照样本为默认值，将使用默认值还是使用其他关键参照样本作为指示信息进行编码、解码。利用图2的数据解析器202对关键参照样本进行更新。作为要更新的关键参照样本，在图7中，可以追加ref[n+n/2]和ref[2n+n/2]，也可以代替ref[2n]而使用ref[n+n/2]和ref[2n+n/2]。并且，也可以代替ref[0]和ref[4n]而使用ref[n/2]和ref[3n+n/2]，对ref[1]～ref[n/2-1]和ref[3n+n/2]～ref[4n-1]应用121滤波器。

(f)判定基准的式子

步骤520、620、625、640中使用的判定式不限于式(6)和(7)。例如，也可以代替图7的ref[n]和ref[3n]而使用ref[n+1]和ref[3n+1]。

标号说明

100：动态图像预测编码装置；101：输入端子；102：块分割器；103：预测信号生成器；104：帧存储器；105：减法器；106：转换器；107：量化器；108：逆量化器；109：逆转换器；110：加法器；111：熵编码器；112：输出端子；113：块存储器；114：环路滤波器；200：动态图像预测解码装置；201：输入端子；202：数据解析器；203：逆量化器；204：逆转换器；205：加法器；206：输出端子；207：帧存储器；208：预测信号生成器；209：环路滤波器；215：块存储器。