预测图像校正装置、图像编码装置、图像解码装置以及程序的制作方法

本发明涉及预测图像校正装置、图像编码装置、图像解码装置以及程序。

背景技术：

在视频编码技术中，通过以分割帧(图片)单位的当前图像而得到的块单位进行变换和预测等，从而实现有效的编码(压缩)。作为预测，有帧内预测和帧间预测两种方法。

帧内预测是参考与作为编码对象或解码对象的块(以下称为“对象图像块”)相邻的已解码相邻块来生成预测图像的方法。帧间预测是参考与对象图像块所属的当前帧不同的已解码帧来生成预测图像的方法。

在专利文献1中记载了如下的预测图像校正装置：其通过帧间预测来预测对象图像块并生成帧间预测图像，通过帧内预测来预测对象图像块并生成帧内预测图像，并对帧间预测图像和帧内预测图像进行加权平均。

具体地，专利文献1所记载的预测图像校正装置评价与对象图像块对应的帧间预测图像和与对象图像块相邻的已解码相邻块的连续性，在评价为不连续的情况下，使用已解码相邻块通过滤波处理来校正帧间预测图像的端部区域。

现有技术文献

专利技术文献

专利技术文献1：美国专利申请公开第2013/051467号说明书

技术实现要素：

专利文献1所记载的预测图像校正装置与帧间预测的预测精度无关，根据帧间预测图像和已解码相邻块的连续性的评价应用滤波处理。

因此，在目标边界存在于帧间预测图像和已解码相邻块之间的边界处时，即使在帧间预测图像的端部区域的预测精度高的情况下，也会对该端部区域应用滤波处理，因此存在预测图像的精度可能由于滤波处理而降低的问题。

因此，本发明的目的在于提供一种能够适当地校正预测图像的预测图像校正装置、图像编码装置、图像解码装置以及程序。

根据第一特征的帧内预测装置，其主旨在于，包括：预测部，通过使用多个参考图像预测对帧单位的当前图像进行分割而获得的对象图像块，来生成与所述对象图像块对应的预测图像；预测精度评价部，基于用于生成所述预测图像的所述多个参考图像间的相似度来评价所述预测图像的预测精度；以及校正部，使用与所述对象图像块相邻的已解码相邻块来对所述预测图像进行校正处理，所述校正部至少根据所述预测精度评价部的评价结果来控制所述校正处理。

另外，所谓使用多个参考图像进行的预测，是以帧间预测中的双预测为代表的预测，但是并不限于此，例如，在hevc编码方式中使用的图像的帧间bc模式(帧内块复制模式)等那样的、参考多个来生成预测图像的情况下，也能够应用同样的方法。

根据第二特征的图像编码装置的主旨在于，包括根据第一特征的预测图像校正装置。

根据第三特征的图像解码装置的主旨在于，包括根据第一特征的预测图像校正装置。

根据第四特征的程序的主旨在于，使计算机作为根据第一特征的预测图像校正装置发挥功能。

根据本发明，可以提供能够适当地校正预测图像的预测图像校正装置、图像编码装置、图像解码装置以及程序。

附图说明

图1是示出根据实施方式的图像编码装置的结构的图。

图2是示出根据实施方式的图像解码装置的结构的图。

图3是示出帧间预测的一个示例的图。

图4是示出通过帧间预测生成的预测图像的一个示例的图。

图5是示出根据实施方式的预测精度评价部的结构的一个示例的图。

图6是示出根据实施方式的预测图像校正部的结构的一个示例的图。

图7是示出根据实施方式的连续性评价部的动作示例的图。

图8是示出根据实施方式的预测图像校正动作的一个示例的图。

图9是示出根据实施方式的变形例的预测图像校正部的结构的图。

图10是示出根据实施方式的变形例的连续性评价部及滤波处理部的动作示例的图。

具体实施方式

参考附图，对根据实施方式的图像编码装置和图像解码装置进行说明。根据实施方式的图像编码装置和图像解码装置进行以mpeg为代表的动画的编码和解码。在以下附图的记载中，对相同或相似的部分标注相同或相似的符号。

(1.图像编码装置的结构)

图1是示出根据本实施方式的图像编码装置1的结构的图。如图1所示，图像编码装置1包括块分割部100、减法部101、变换部102a、量化部102b、熵编码部103、逆量化部104a、逆变换部104b、合成部105、存储器106、帧内预测部107、帧间预测部108、预测精度评价部109和预测图像校正部(校正部)110。在本实施方式中，帧内预测部107、帧间预测部108、预测精度评价部109以及预测图像校正部110构成预测图像校正装置。

块分割部100将帧(或图片)单位的输入图像分割成块状的小区域，并将图像块输出到减法部101(以及帧间预测部108)。图像块的尺寸例如为32×32像素、16×16像素、8×8像素或4×4像素等。图像块是图像编码装置1进行编码的单位以及图像解码装置2进行解码的单位，将该图像块称为对象图像块。另外，图像块的形状不限于正方形，也可以是长方形的形状。

减法部101计算预测残差，该预测残差表示从块分割部100输入的对象图像块和与对象图像块对应的预测图像(预测图像块)之间的基于像素单位的差分。具体地，减法部101通过从编码对象块的各像素值减去预测图像的各像素值来计算预测残差，并将计算出的预测残差输出到变换部102a。在本实施方式中，预测图像是由后述的预测图像校正部110校正后的图像，其从预测图像校正部110输入到减法部101。

变换部102a和量化部102b构成以块单位进行正交变换处理和量化处理的变换量化部102。

变换部102a对从减法部101输入的预测残差进行正交变换来计算变换系数，并将计算出的变换系数输出到量化部102b。所谓正交变换，例如是指离散余弦变换(dct：discretecosinetransform)、离散正弦变换(dst：discretesinetransform)、卡洛变换(klt：karhunen-loevetransform)等。

量化部102b使用量化参数(qp)和量化矩阵对从变换部102a输入的变换系数进行量化，并生成量化变换系数。量化参数(qp)是对块内的各变换系数共同应用的参数，是确定量化的粗糙度的参数。量化矩阵是具有对各变换系数进行量化时的量化值作为元素的矩阵。量化部102b将量化控制信息、所生成的量化变换系数信息等输出到熵编码部103和逆量化部104a。

熵编码部103对从量化部102b输入的量化变换系数进行熵编码，进行数据压缩以生成编码数据(比特流)，并将编码数据输出到图像编码装置1的外部。在熵编码中，可以使用哈夫曼编码、cabac(context-basedadaptivebinaryarithmeticcoding；基于上下文的自适应二进制算术编码)等。另外，关于预测的信息从帧内预测部107和帧间预测部108输入至熵编码部103。熵编码部103还进行这些信息的熵编码。

逆量化部104a和逆变换部104b构成以块单位进行逆量化处理和逆正交变换处理的逆量化逆变换部104。

逆量化部104a进行与量化部102b进行的量化处理对应的逆量化处理。具体地，逆量化部104a通过使用量化参数(qp)和量化矩阵对从量化部102b输入的量化变换系数进行逆量化，从而复原变换系数，并将复原的变换系数输出到逆变换部104b。

逆变换部104b进行与变换部102a进行的正交变换处理对应的逆正交变换处理。例如，在变换部102a进行了离散余弦变换的情况下，逆变换部104b进行逆离散余弦变换。逆变换部104b对从逆量化部104a输入的变换系数进行逆正交变换来复原预测残差，并将复原的预测残差即复原预测残差输出到合成部105。

合成部105以像素单位将从逆变换部104b输入的复原预测残差与从预测图像校正部110输入的预测图像合成。合成部105将复原预测残差的各像素值与预测图像的各像素值相加来对对象图像块进行重构(解码)，并将重构的对象图像块即重构图像块输出到存储器106。另外，该重构图像块有时被称为已解码块。

存储器106存储从合成部105输入的重构图像块。存储器106以帧单位存储重构图像块。

帧内预测部107参考存储在存储器106中的重构图像块(已解码块)中的、与对象图像块相邻的已解码相邻块来生成帧内预测图像。帧内预测部107选择最佳帧内预测模式，并使用选择的帧内预测模式进行帧内预测。预先规定了与多个帧内预测方向对应的多个帧内预测模式。所谓帧内预测方向，是指在参考与对象图像块相邻的相邻像素来预测对象图像块中的对象像素时，相邻参考像素以对象像素为基准的方向。即，根据帧内预测模式(预测方向)，确定应该用于预测对象图像块中的各像素的相邻参考像素。帧内预测部107将帧内预测图像(和/或相邻参考像素)输出到预测图像校正部110，并且将选择的帧内预测模式的信息输出到熵编码部103。

帧间预测部108使用存储在存储器106中的帧单位的重构图像(解码图像)作为参考图像，进行预测对象图像块的帧间预测。具体地，帧间预测部108通过诸如块匹配等手法计算运动矢量，并基于运动矢量生成帧间预测图像。帧间预测部108从使用多个参考图像的帧间预测(典型地是双预测)和使用一个参考图像的帧间预测(单向预测)中选择最佳的帧间预测方法，并使用选择的帧间预测方法进行帧间预测。在本实施方式中，以帧间预测部108使用双预测的情况为主进行说明，帧间预测部108相当于使用多个参考图像进行预测的预测部。帧间预测部108将生成的帧间预测图像输出到预测图像校正部110，并将与选择的帧间预测方法和运动矢量相关的信息输出到熵编码部103。此外，帧间预测部108将用于帧间预测的多个参考图像输出到预测精度评价部109。

预测精度评价部109基于用于生成帧间预测图像的多个参考图像间的相似度来评价帧间预测图像的端部区域中的预测精度。具体地，在帧间预测部108使用多个参考图像进行帧间预测的情况下，针对每个由一个或多个像素构成的图像部分计算用于帧间预测的多个参考图像间的相似度，根据该相似度针对每个图像部分评价帧间预测图像的预测精度，并将评价结果的信息输出到预测图像校正部110。在本实施方式中，主要说明预测精度评价部109以一个像素单位计算用于预测的多个参考图像间的相似度，并以一个像素单位评价帧间预测图像的预测精度的一个示例。预测精度评价部109的细节将在后文中描述。

预测图像校正部110通过对从帧间预测部108输入的帧间预测图像和从帧内预测部107输入的帧内预测图像进行加权平均来进行校正。具体地，预测图像校正部110使用与帧内预测图像对应的已解码相邻块(相邻参考像素)通过滤波处理对帧间预测图像的端部区域进行校正。另外，预测图像校正部110至少根据预测精度评价部109的评价结果控制滤波处理。所谓“控制滤波处理”，包括是否进行滤波处理的控制和滤波强度的控制。在本实施方式中，以预测图像校正部110至少基于预测精度评价部109的评价结果来控制是否进行滤波处理的一个示例为主进行说明。例如，预测图像校正部110在由预测精度评价部109评价的预测精度为第一阈值以下的情况下进行滤波处理，在由预测精度评价部109评价的预测精度超过第一阈值的情况下不进行滤波处理。在进行滤波处理的情况下，预测图像校正部110将滤波处理后的帧间预测图像作为预测图像输出到减法部101和合成部105，在不进行滤波处理的情况下，预测图像校正部110将帧间预测图像直接作为预测图像输出到减法部101和合成部105。另外，也可以将“预测精度”用“预测的不恰当性”表示。对于“预测的不恰当性”，例如，预测精度为第一阈值以下可以表示预测的不恰当性高。预测精度超过第一阈值可以表示预测的不恰当性低。预测图像校正部110的细节将在后文中描述。

(2.图像解码装置的结构)

图2是示出根据本实施方式的图像解码装置2的结构的图。如图2所示，图像解码装置2包括熵解码部200、逆量化部201a、逆变换部201b、合成部202、存储器203、帧内预测部204、帧间预测部205、预测精度评价部206和预测图像校正部207。在本实施方式中，帧内预测部204、帧间预测部205、预测精度评价部206以及预测图像校正部207构成预测图像校正装置。

熵解码部200对由编码装置1生成的编码数据进行解码，并将量化变换系数输出到逆量化部201a。另外，熵解码部200对编码数据进行解码，取得与预测(帧内预测和帧间预测)相关的信息，将与预测相关的信息输出到帧内预测部204和帧间预测部205。

逆量化部201a和逆变换部201b构成以块单位进行逆量化处理和逆正交变换处理的逆量化逆变换部201。

逆量化部201a进行与图像编码装置1的量化部102b进行的量化处理对应的逆量化处理。逆量化部201a通过使用量化参数(qp)和量化矩阵对从熵解码部200输入的量化变换系数进行逆量化来复原变换系数，并将复原的变换系数输出到逆变换部201b。

逆变换部201b进行与图像编码装置1的变换部102a进行的正交变换处理对应的逆正交变换处理。逆变换部201b对从逆量化部201a输入的变换系数进行逆正交变换来复原预测残差，并将复原的预测残差(复原预测残差)输出到合成部202。

合成部202通过以像素单位将从逆变换部201b输入的预测残差和从预测图像校正部207输入的预测图像合成，来对原来的对象图像块进行重构(解码)，并将重构图像块输出到存储器203。

存储器203存储从合成部202输入的重构图像块。存储器203以帧单位存储重构图像块。存储器203将帧单位的重构图像(解码图像)按显示顺序输出到图像解码装置2的外部。

帧内预测部204参考存储在存储器203中的重构图像块根据从熵解码部200输入的帧内预测信息(帧内预测模式)进行帧内预测，由此生成帧内预测图像。具体地，帧内预测部204参考存储在存储器203中的重图像构块(已解码块)中的、根据帧内预测模式确定的相邻参考像素生成帧内预测图像。帧内预测部204将帧内预测图像(和/或相邻参考像素)输出到预测图像校正部207。

帧间预测部205使用存储在存储器106中的帧单位的重构图像(解码图像)作为参考图像来进行预测对象图像块的帧间预测。帧间预测部205根据从熵解码部200输入的帧间预测信息(运动矢量信息等)进行帧间预测来生成帧间预测图像，并将帧间预测图像输出到预测图像校正部207。此外，帧间预测部205将用于帧间预测的多个参考图像输出到预测精度评价部206。

预测精度评价部206进行与图像编码装置1的预测精度评价部109相同的动作。在帧间预测部205使用多个参考图像进行帧间预测的情况下，预测精度评价部206以像素单位计算多个参考图像间的相似度，由此以像素单位评价预测图像的预测精度，并将评价结果的信息输出到预测图像校正部207。

预测图像校正部207进行与图像编码装置1的预测图像校正部110同样的动作。预测图像校正部207使用与帧内预测图像对应的已解码相邻块(相邻参考像素)通过滤波处理对帧间预测图像的端部区域进行校正。预测图像校正部207在由预测精度评价部206评价的预测精度为第一阈值以下的情况下进行滤波处理，在由预测精度评价部206评价的预测精度超过第一阈值的情况下不进行滤波处理。预测图像校正部207在进行滤波处理的情况下将滤波处理后的帧间预测图像作为预测图像输出到合成部202，在不进行滤波处理的情况下将帧间预测图像直接作为预测图像输出到合成部202。预测图像校正部207的细节将在后文中描述。

(3.帧间预测)

图3是示出帧间预测的一个示例的图。图4是示出通过帧间预测生成的预测图像的一个示例的图。作为帧间预测的简单示例，说明使用在hevc中使用的双预测的情况，特别是使用前方向和后方向预测(双向预测)的情况。

如图3所示，双预测参考相对于对象帧(当前帧)在时间上之前的帧和之后的帧。在图3的示例中，参考第t-1帧和第t+1帧进行第t帧的图像中的块的预测。在运动检测中，从第t-1和第t+1帧的参考帧内从在系统中设定的搜索范围中检测与对象图像块相似的部位(块)。

检测到的部位是参考图像。表示参考图像相对于对象图像块的相对位置的信息为图中所示的箭头，被称为运动矢量。运动矢量的信息在图像编码装置1中与参考图像的帧信息一起通过熵编码而被编码。另一方面，图像解码装置2基于由图像编码装置1生成的运动矢量的信息检测参考图像。

如图3和图4所示，通过运动检测而检测到的参考图像1和参考图像2是在参考的帧内相对于对象图像块位置重合的相似的部分图像，因此是与对象图像块(编码对象图像)相似的图像。在图4的示例中，对象图像块包含星星的图案和部分圆的图案。参考图像1包含星星的图案和整体的圆的图案。参考图像2包含星星的图案，但是不包含圆的图案。

从该参考图像1和参考图像2生成预测图像。另外，预测处理一般通过对特征不同但部分相似的参考图像1和参考图像2进行平均化，从而生成具备各个参考图像的特征的预测图像。但是，也可以并用例如利用低通滤波器、高通滤波器等的信号增强处理等更高级处理来生成预测图像。在此，参考图像1包含圆的图案，参考图像2不包含圆的图案，因此如果将参考图像1及2平均化而生成预测图像，则预测图像中的圆的图案与参考图像1相比信号减半。

从参考图像1和参考图像2得到的预测图像与对象图像块(编码对象图像)的差分是预测残差。在图4所示的预测残差中，仅在星星图案的边缘的偏离部分和圆图案的偏离部分(斜线部)产生大的差分，但是对于其以外的部分，能够高精度地进行预测，差分变少(在图4的示例中没有产生差分)。

未产生差分的部分(星星的图案的非边缘部分以及背景部分)是参考图像1和参考图像2之间的相似度高的部分，是进行了高精度的预测的部分。另一方面，产生大的差分的部分是各参考图像中所特有的部分，即，参考图像1和参考图像2之间的相似度显著低的部分。因此，可知参考图像1和参考图像2之间的相似度显著低的部分的预测精度低，产生大的差分(残差)。

这样，对混合有差分大的部分和没有差分的部分的预测残差进行正交变换，如果因量化而产生变换系数的劣化，则该变换系数的劣化经过逆量化和逆正交变换而整体地传播到图像(块)内。并且，如果将通过逆量化和逆正交变换复原的预测残差(复原预测残差)与预测图像合成以重构对象图像块，则画质的劣化也传递至图4所示的星星图案的非边缘部分和背景部分那样的进行了高精度预测的部分。

(4.预测精度评价部)

图5是示出图像编码装置1中的预测精度评价部109的结构的一个示例的图。预测精度评价部109以像素单位计算用于帧间预测的多个参考图像间的相似度，由此以像素单位评价预测图像的预测精度。在此，说明预测精度评价部109针对预测图像的全部像素评价预测精度的一个示例，但是预测精度评价部109也可以不必针对预测图像的全部像素评价预测精度。预测精度评价部109至少对预测图像的端部区域中的像素评价预测精度即可。

如图5所示，预测精度评价部109包括差分计算部(减法部)109a、标准化部109b和调整部109c。

差分计算部109a以像素单位计算参考图像1和参考图像2之间的差分值的绝对值，并将计算出的差分值的绝对值输出到标准化部109b。差分值的绝对值是表示相似度的值的一个示例。差分值的绝对值越小相似度越高，差分值的绝对值越大相似度越低。差分计算部109a也可以在对各参考图像进行滤波处理之后再计算差分值的绝对值。差分计算部109a也可以计算平方误差等统计量，并将该统计量用作相似度。

标准化部109b使用块内差分值的绝对值最大的像素的差分值的绝对值(即，块内差分值的绝对值的最大值)对从差分计算部109a输入的各个像素的差分值进行标准化，并将标准化后的差分值的绝对值即标准化差分值输出到调整部109c。在本实施方式中，标准化差分值被用作权重，该权重用于对在合成部105中与预测图像合成的复原预测残差以像素单位进行加权。

调整部109c基于确定量化的粗糙度的量化参数(qp)调整从标准化部109b输入的标准化差分值(权重)，并输出该权重。由于量化的粗糙度越大则复原预测残差的劣化度越高，因此调整部109c通过基于量化参数(qp)调整标准化差分值(权重)，从而能够考虑劣化度来进行复原预测残差的加权。

预测精度评价部109输出的各像素(ij)的推测预测精度rij例如可表现下述的式(1)。

rij＝1-(abs(xij-yij)/maxd×scale(qp))…(1)

在式(1)中，xij是参考图像1的像素ij的像素值，yij是参考图像2的像素ij的像素值，abs是获得绝对值的函数。

另外，在式(1)中，maxd是块内的差分值abs(xij-yij)的最大值。为了求出maxd，需要对块内的所有像素求出差分值，但为了省略该处理，也可以用已经处理过的相邻块的最大值等来代替，例如，在存在该值以上的值情况下，可以通过使用过的最大值进行裁剪来进行maxd的标准化。或者，也可以使用确定量化参数(qp)和maxd的对应关系的表从量化参数(qp)求出maxd。或者，也可以将预先在规范中规定的固定值用作maxd。

另外，在式(1)中，scale(qp)是根据量化参数(qp)而乘上的系数。scale(qp)被设计为在qp大的情况下接近1.0，在qp小的情况下接近0，其程度由系统调整。或者，也可以将预先在规范中规定的固定值用作scale(qp)。另外，为了简化处理，也可以将scale(qp)设定为1.0等根据系统设计的固定值。

调整部109c输出推测预测精度rij。另外，该rij也可以输出由根据系统设计的灵敏度函数调整后的加权。例如，不仅可以设为abs(xij-yij)/maxd×scale(qp)＝rij，rij＝clip(rij，1.0，0.0)，而且可以设为rij＝clip(rij+offset，1.0，0.0)以附加与例如qp等控制信息对应的补偿来调整灵敏度。另外，clip(x，max，min)表示在x超过max的情况下以max进行裁剪的处理，在x低于min的情况下以min进行裁剪的处理。

这样计算出的推测预测精度rij是0至1.0的范围内的值。基本上，推测预测精度rij在参考图像间的像素ij的差分值的绝对值大(即，预测精度低)的情况下接近0，在参考图像间的像素ij的差分值的绝对值小(即，预测精度高)的情况下接近1。预测精度评价部109将由块内的各像素ij的推测预测精度rij构成的图信息以块单位输出到预测图像校正部110。

另外，预测精度评价部109可以仅在应用使用多个参考图像的帧间预测的情况下进行评价(推测预测精度rij的计算)，在除此以外的模式、例如单向预测或不使用多个参考图像的帧内预测处理中，不进行评价。

另外，说明了图像编码装置1中的预测精度评价部109，但是图像解码装置2中的预测精度评价部206与图像编码装置1中的预测精度评价部109同样地构成。具体地，图像解码装置2中的预测精度评价部206包括差分计算部206a、标准化部206b和调整部206c。

(5.预测图像校正部)

图6是示出图像编码装置1中的预测图像校正部110的结构的一个示例的图。如图6所示，预测图像校正部110包括连续性评价部110a、滤波判定部110b、滤波处理部110c。

连续性评价部110a评价从帧间预测部108输入的帧间预测图像和从帧内预测部107输入的已解码相邻块的连续性。已解码相邻块是与对象图像块相邻的已解码块。连续性评价部110a将帧间预测图像和已解码相邻块的连续性的评价结果输出到滤波判定部110b。

图7是示出连续性评价部110a的动作示例的图。在图7的示例中，假设在编码的对象图像块的左侧和上侧存在已解码块。连续性评价部110a针对帧间预测图像(对象图像块)和已解码块的块边界以像素单位按照从上向下(或者从下向上)的顺序评价连续性。连续性评价部110a例如通过下式(2)计算图7中跨像素p0和q0的块边界的连续性cont。

cont＝|p2-2×p1+p0|+|q2-2×q1+q0|…(2)

另外，评价连续性时的单位和评价指标不限于式(2)所示的单位和评价指标，只要在系统中预先规定，也可以变更为其他单位和评价指标。例如，可以将连续性的评价的单位作为块边界的边单位(基于左侧边界的连续性评价、上侧边界的连续性评价来进行)，为了简化处理，也可以将跨边界的像素值差分(abs(p0-q0))作为连续性的评价指标。

滤波判定部110b根据从预测精度评价部109输入的预测精度评价结果和从连续性评价部110a输入的连续性评价结果，判定是否进行滤波处理。滤波判定部110b可以以帧间预测图像和已解码块的块边界的像素单位进行判定，也可以以块边界的边单位进行判定。滤波判定部110b也可以根据预测精度评价结果以及连续性评价结果，判定为变更滤波器的强度(例如，滤波器的抽头数或频率响应)。另外，在预测精度评价部109以像素单位评价预测精度的情况下，滤波判定部110b也可以将帧间预测图像的端部区域(滤波处理的对象区域)的各像素的推测预测精度r的平均值用作预测精度评价结果。

滤波判定部110b在由预测精度评价部109评价的预测精度为第一阈值α以下且由连续性评价部110a评价的连续性为第二阈值β以下的情况下，判定为进行滤波处理。另一方面，在由预测精度评价部109评价的预测精度超过第一阈值α和/或由连续性评价部110a评价的连续性超过第二阈值β的情况下，滤波判定部110b判定为不进行滤波处理。在此，作为阈值α和阈值β，可以设定系统固定的值，也可以通过使用量化参数(qp)的函数计算和设定可变值。此外，在推测预测精度r未进行标准化的情况下，阈值α也可以通过使用对象图像块内的推测预测精度的最大值的函数来计算并设定可变值。

在由滤波判定部110b判定为进行滤波处理的情况下，滤波处理部110c对帧间预测图像的端部区域进行滤波处理。如图7所示，滤波处理部110c使用帧间预测图像(编码对象块)的端部区域中包含的预测像素q0、q1、q2以及由帧内预测部107输入的相邻的已解码参考像素p0、p1、p2，通过下式(3)进行校正，输出校正后的预测像素q′0、q′1、q′2。

[数1]

q′0＝clip3(q0-2×tc，q0+2×tc，(p1+2×p0+2×q0+2×q1+q2+4)＞＞2)

q′1＝clip3(q1-2×tc，q1+2×tc，(p0+q0+q1+q2+2)＞＞2)

q′2＝clip3(q2-2×tc，q2+2×tc，(p0+q0+q1+3×q2+2×q3+4)＞＞3)

…(3)

在此，clip(x，max，min)表示在x超过max的情况下用max进行裁剪、在x低于min的情况下用min进行裁剪的处理。另外，式(3)中的tc是用于裁剪的处理的调整补偿，可以通过使用量化参数(qp)的函数计算并设定可变值。

另外，说明了图像编码装置1中的预测图像校正部110，而图像解码装置2中的预测图像校正部207与图像编码装置1中的预测图像校正部110同样地构成。具体地，图像解码装置2中的预测图像校正部207包括连续性评价部207a、滤波判定部207b、滤波处理部207c。

(6.预测图像校正动作)

图8是示出预测图像校正动作的一个示例的图。在此，对图像编码装置1中的预测图像校正动作进行说明，而在图像解码装置2中也进行同样的预测图像校正动作。图8的动作流程也可以以帧间预测图像和已解码块的块边界的像素单位来进行。

如图8所示，在步骤s1中，预测精度评价部109基于帧间预测部108用于生成帧间预测图像的多个参考图像间的相似度来评价帧间预测图像的端部区域中的预测精度。

在步骤s2中，连续性评价部110a评价帧间预测部108输出的帧间预测图像和与帧间预测图像相邻的已解码相邻块的连续性。

在步骤s3中，滤波判定部110b将由预测精度评价部109评价的预测精度与第一阈值α进行比较，将由连续性评价部110a评价的连续性与第二阈值β进行比较。

在预测精度为第1阈值α以下且连续性为第2阈值β以下的情况下(步骤s3中“是”的情况)，滤波判定部110b判定为进行滤波处理。在这种情况下，在步骤s4中，滤波处理部110c使用已解码相邻块(相邻参考像素)通过滤波处理对帧间预测图像的端部区域进行校正。

另一方面，在预测精度超过第一阈值α和/或连续性超过第二阈值β的情况下(步骤s3中“否”的情况)，滤波判定部110b判定为不进行滤波处理。在这种情况下，滤波处理部110c不进行滤波处理。

(7.实施方式的总结)

根据本实施方式的图像编码装置1和图像解码装置2根据帧间预测的预测精度的评价结果来控制滤波处理。由此，在帧间预测图像的端部区域的预测精度高的情况下，能够进行控制以不对该端部区域应用滤波处理，因此能够防止滤波处理引起的预测图像的精度降低。换言之，由于能够设定为可仅在帧间预测图像的端部区域的预测精度低的情况下才对该端部区域应用滤波处理，因此能够适当地进行滤波处理。

另外，在本实施方式中，在图像编码装置1和图像解码装置2中通过共同的动作来判定是否应用滤波处理。具体地，在图像编码装置1和图像解码装置2中分别进行帧间预测的预测精度的评价，基于该评价结果判定是否应用滤波处理。由此，不需要将表示是否应用滤波处理的标志从图像编码装置1传送到图像解码装置2，因此能够防止由标志引起的编码量的增加。

(8.实施方式的变形例1)

在根据上述实施方式的连续性评价和滤波处理中，可以考虑应用于已解码相邻块的帧内预测模式(帧内预测方向)。由此，能够提高连续性评价和滤波处理的精度。图9是示出根据本变形例的预测图像校正部110的结构的图。如图9所示，从帧内预测部107向连续性评价部110a和滤波处理部110c输入应用于已解码相邻块的帧内预测模式。连续性评价部110a根据应用于已解码相邻块的帧内预测模式来评价连续性。另外，滤波处理部110c根据应用于已解码相邻块的帧内预测模式进行滤波处理。

图10是示出根据本变形例的连续性评价部110a和滤波处理部110c的动作示例的图。如图10所示，连续性评价部110a和滤波处理部110c在对与编码对象块对应的帧间预测图像的端部像素q0进行连续性的评价和滤波处理时，按照应用于已解码相邻块的帧内预测模式(帧内预测方向)通过加权平均计算通过q0的直线上的p1、p0、q1、q2。具体地，使用已解码相邻块中的像素值，计算通过q0的直线上的p1、p0，使用帧间预测图像中的像素值，计算通过q0的直线上的q1、q2。连续性评价部110a使用这样计算出的p1、p0、q1、q2通过上述式(2)评价连续性cont。滤波处理部110c使用这样算出的p1、p0、q1、q2通过上述式(3)计算q'0。

(9.实施方式的变形例2)

在上述实施方式中，说明了预测图像校正部110使用已解码相邻块对帧间预测图像的端部区域进行滤波处理作为对帧间预测图像的校正处理的一个示例。

此外，校正处理不限于这种滤波处理，并且帧间预测图像和帧内预测图像的加权平均处理可以用作校正处理。

在本变形例中，图1所示的图像编码装置1的帧内预测部107和预测图像校正部110构成校正部，该校正部使用与对象图像块相邻的已解码相邻块来对帧间预测图像进行校正处理。

帧内预测部107使用已解码相邻块生成与对象图像块对应的帧内预测图像。例如，帧内预测部107通过预先确定的帧内预测模式从已解码相邻块生成帧内预测图像。预测图像校正部110对从帧间预测部108输入的帧间预测图像和从帧内预测部107输入的帧内预测图像执行加权平均处理作为校正处理。另外，也可以构成为，在发送侧从多个帧内预测模式候选中选择一个预测模式来生成帧内预测图像。此时，熵编码部103对帧内预测模式标志进行熵编码，该帧内预测模式标志表示在发送侧使用哪个帧内预测模式做出的帧内预测图像。

同样，图2所示的图像解码装置2的帧内预测部204和预测图像校正部207构成使用与对象图像块相邻的已解码相邻块对帧间预测图像进行校正处理的校正部。帧内预测部204使用已解码相邻块生成与对象图像块对应的帧内预测图像。

例如，帧内预测部204通过预先确定的帧内预测模式从已解码相邻块生成帧内预测图像。预测图像校正部207对从帧间预测部205输入的帧间预测图像和从帧内预测部204输入的帧内预测图像执行加权平均处理作为校正处理。另外，也可以构成为，基于从发送侧发送来的帧内预测模式标志来确定用于帧内预测图像生成的帧内预测模式。

在应用本变形例的结构的情况下，只要将上述实施方式中的“滤波处理”替换为“加权平均处理”即可。另外，不仅可以判定是否进行该加权平均处理，还可以根据预测精度的评价结果和连续性的评价结果来调整加权平均处理中的权重。

<10.其他实施方式>

在上述实施方式中，作为使用多个参考图像的预测，以双预测为主进行了说明。但是，作为使用多个参考图像的预测，也可以应用被称为帧内块复制的技术。在帧内块复制中，将与当前帧相同的帧内的参考图像用于当前帧的对象图像块的预测。

也可以通过使计算机执行图像编码装置1进行的各种处理的程序以及使计算机执行图像解码装置2进行的各种处理的程序提供。另外，程序可以记录在计算机可读介质中。如果使用计算机可读介质，则可以在计算机中安装程序。在此，记录有程序的计算机可读介质也可以是非暂时性记录介质。非暂时性记录介质没有特别限定，例如可以是cd-rom或dvd-rom等记录介质。另外，也可以将执行图像编码装置1进行的各种处理的电路集成化，将图像编码装置1构成为半导体集成电路(芯片组、soc)。同样，也可以将执行图像解码装置2进行的各种处理的电路集成化，将图像解码装置2构成为半导体集成电路(芯片组、soc)。

以上，参考附图对实施方式进行了详细说明，但是具体的结构不限于上述说明，在不脱离主旨的范围内能够进行各种设计变形等。

另外，日本专利申请第2018-72451号(2018年4月4日提出申请)的全部内容通过引用并入本申请说明书。