专利名称：图像编码装置、图像解码装置、图像编码方法及图像解码方法
技术领域：
本发明涉及图像信号的编码及解码技术，特别涉及根据已编码信号来生成针对对象图像信号的预测信号，并使用对与预测信号的差分信号进行编码的画面内预测处理的图像编码装置、图像解码装置、图像编码方法、及图像解码方法。
背景技术：
近年来，介由卫星或地面波等广播波或网络配送数字化图像、声音内容的服务已被实用化，需要用于将具有庞大信息量的图像·声音的信息高效地记录、传输的高效率编码。随着内容的高精细化、多样化，要被编码的图像的数量和数据量进一步増大，要求有一种预想到将来的内容服务的图像信号的更高效率的编码。作为图像的高效率编码，以MPEG2、MPEG4 — AVC (Advanced Video Coding)为代表的、利用动图像信号的同一帧内空间上相邻的像素间的相关、和时间上相邻的帧间或场间的相关来压缩信息量的方式正被使用。在MPEG4 — AVC (文献“ISO / IEC14496 — IOAdvanced Video Coding”)中，将图像分割成多个二维块，按块单位利用同一帧内或帧间的相关来生成预测信号，通过对与预测信号的差分信息进行编码来实现较高的编码效率。利用MPEG4 - AVC中的同一帧内的相关的预测处理被称作帧内预测，如图20所示，使用与对象块相邻的已编码部分的解码图像来生成编码对象块的预测图像。在帧内预测中，从按相邻的解码图像相对于图20所示那样的一定方向预计相关较高的多个(按4X4像素块单位进行预测时有9种)预测模式所生成的预测图像中，选择与编码对象块误差最少的预测模式，同预测模式信息一起被编码。帧内预测成为仅利用与相邻区域的相关性的预测处理，当与编码对象块的分界处的相关性较少时，预测效果会降低。在图像信号中，在远离对象块的位置，也存在物体的形状、模样、背景等具有类似的图像成分的信号。在专利文献I中，提出一种利用与处于远离对象块的位置的图像的相关性来进行预测处理的方法。具体来说，计算出如图21所示那样从对象块在画面内移动偏移量(以下称作偏移矢量)后的位置的已编码解码图像与编码对象块的误差，将误差最少的按偏移矢量参照的参照图像作为预测图像，同偏移矢量一起进行编码。在能生成超过传输偏移矢量的编码量的、相关性较高的预测图像的情况下，对于帧内预测能实现较高的编码效率，但若偏移矢量的传输量较大，则无法发挥足够的预测效率。在专利文献2中，提出了一种为削减上述偏移矢量所需的编码量，不传输偏移矢量地来确定偏移矢量的方法。在专利文献2中，使用与对象块相邻的已编码的解码图像作为模板，计算移动偏移矢量后的位置的已编码解码图像同与上述对象块相邻的已编码的解码图像的误差，将误差最少的偏移矢量判断为编码对象块的偏移矢量，将按偏移矢量参照的参照图像作为预测图像。在该方式中，解码侧也同编码侧一样，使用已编码的解码图像来、检测出偏移矢量，从而能够不接收偏移矢量地计算偏移矢量，故不会因附加信息而引起编码量的増大。〔在先技术文献〕〔专利文献〕〔专利文献I〕特开2005- 159947号公报〔专利文献2〕特开2007- 043651号公报
发明内容
〔发明所要解决的课题〕在MPEG4 —AVC中存在如下课题对于时间上有连续性的图像信号，通过以时间方向不同帧的已解码图像信号为基准进行运动补偿预测处理，能实现较高的编码效率，但进行运动补偿预测处理的基准帧需要仅使用同一帧内的帧内预测来进行编码，当与编码对象块的分界处的相关性较低时，预测效果会降低。在动图像信号不具有时间上的连续性的情况下，由于运动补偿预测不发挥功效，帧内预测的性能界限会导致编码效率降低，也会出现此课题。在专利文献I和专利文献2中所提出的那样的传输或自我生成与对象块的偏移矢量，利用远离对象块的位置的图像相关性的情况下，由于利用相对于图像信号非相邻区域的部分的自相似性进行预测、或者基于具有相同纹理成分的不同物体而进行预测，故受画面内存在的物体的形状变化、亮度变化等的影响，无法充分地活用图像信号具有的自相似性及纹理的相似性。在专利文献I中，在不能计算具有超过偏移矢量的编码量的效果的预测信号的情况下，存在效率降低的课题，在专利文献2中，由于以编码对象块的相邻图像为模板计算偏移矢量，故在相邻图像与对象块之间相关性较低时、以及与按专利文献I中生成的偏移矢量所参照的参照块的相邻图像的相关性较低时等，存在无法求取精度较高的偏移矢量，不能提高效率这样的课题。因此，本发明为大幅提高帧内的预测效率，目的在于实现能比以往方法更有效地活用相对于远离对象块的位置的图像的相关性的帧内预测方法。〔用于解决课题的手段〕为达成上述目的，本发明的图像编码装置是一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码装置，包括偏移矢量检测部，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，并求出上述相关性高的信号与上述编码对象块的画面内偏移、即偏移矢量；偏移预测信号生成部，按照上述偏移矢量生成预测信号；其中，上述偏移矢量检测部针对在偏移矢量中指定的预测信号计算使其水平和垂直的至少一者的排列反转后的信号，检测出包括被反转后的预测信号在内的预测信号中最优的预测信号、以及构成预测信号所需要的偏移矢量及表示反转方向的信息；上述偏移预测信号生成部按照上述偏移矢 量及上述表示反转方向的信息，基于上述局部解码图像生成预测信号；对上述预测信号与上述编码对象块的差分信号、上述偏移矢量及上述表示反转方向的信息进行编码。此外，本发明的图像编码装置是一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码装置，包括周边解码参照偏移矢量推定部，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像，来求出编码对象块与基于上述局部解码图像而生成的预测信号的画面内偏移、即偏移矢量；周边解码参照偏移预测信号生成部，按照上述偏移矢量生成预测信号；其中，上述周边解码参照偏移矢量推定部通过对与编码对象块相邻的局部解码图像和按上述偏移矢量所参照的局部解码图像的相邻部分的信号进行误差评价，来生成上述预测信号和上述偏移矢量，并且，通过对与编码对象块相邻的局部解码图像，和使按上述偏移矢量所参照的局部解码图像的相邻部分的位置、以按上述偏移矢量所参照的局部解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息；上述周边解码参照偏移预测信号生成部按照上述偏移矢量及上述表示反转方向的信息，基于上述局部解码图像生成预测信号；对上述预测信号与上述编码对象块的差分信号进行编码。此外，本发明的图像编码装置是一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码装置，包括偏移矢量检测部，针对编 码对象块，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，并求出上述相关性高的信号与上述编码对象块的画面内偏移、即偏移矢量；偏移预测信号生成部，按照上述偏移矢量生成预测信号；模板反转模式推定部，推定用于使预测信号的水平和垂直的至少一者的排列反转的、表示反转方向的信息；其中，上述模板反转模式推定部通过对与编码对象块相邻的局部解码图像，和使按上述偏移矢量所参照的局部解码图像的相邻部分的位置、以按上述偏移矢量所参照的局部解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息；上述偏移矢量检测部根据上述表示反转方向的信息，计算出使在偏移矢量中指定的预测信号反转后的信号，针对每个偏移矢量进行预测信号与编码对象块的误差评价，由此来检测偏移矢量；上述偏移预测信号生成部按照上述偏移矢量和上述表示反转方向的信息，基于上述局部解码图像生成预测信号；对上述预测信号与上述编码对象块的差分信号、以及上述偏移矢量进行编码。此外，本发明的图像解码装置接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，包括偏移矢量/模式解码部，针对解码对象块，从上述编码流中解码出预测信号、偏移矢量、以及表示反转方向的信息，所述预测信号是基于已被解码的同一图像信号内的块的解码图像而生成的预测信号，所述偏移矢量是与上述解码对象块的画面内偏移，所述反转方向是使在上述偏移矢量中指定的上述解码图像向水平和垂直的至少一方反转的方向；偏移预测信号生成部，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号；通过使上述预测信号与被解码了的残差信号相加，来计算解码图像。此外，本发明的图像解码装置接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，包括周边解码参照偏移矢量推定部，针对解码对象块，使用已被解码了的同一图像信号内的块的解码图像，来求出解码对象块与基于上述解码图像而生成的预测信号的画面内偏移、即偏移矢量；周边解码参照偏移预测信号生成部，按照上述偏移矢量生成预测信号；其中，上述周边解码参照偏移矢量推定部通过对与解码对象块相邻的解码图像和按上述偏移矢量所参照的解码图像的相邻部分的信号进行误差评价，来生成上述预测信号和上述偏移矢量，并且，通过对与解码对象块相邻的解码图像，和使按上述偏移矢量参照的解码图像的相邻部分的位置、以按上述偏移矢量所参照的解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息；上述周边解码参照偏移预测信号生成部按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号；通过使上述预测信号与被解码出的残差信号相加，来计算解码图像。此外，本发明的图像解码装置接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，包括偏移矢量/模式解码部，针对解码对象块，对基于已被解码了的同一图像信号内的块的解码图像而生成的预测信号与上述解码对象块的画面内偏移、即偏移矢量进行解码；模板反转模式推定部，推定用于使预测信号的水平和垂直的至少一者的排列反转的、表示反转方向的信息；其中，上述模板反转模式推定部通过对与解码对象块相邻的解码图像，和使按上述偏移矢量参照的解码图像的相邻部分的位置、以按上述偏移矢量参照的解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息；本图像解码装置还包括偏移预测信号生成部，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号；通过使上述预测信号与解码出的残差信号相加，来计算解码图像。此外，本发明的图像编码方法是一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码方法，包括偏移矢量检测步骤，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，并求出上述相关性高的信号与上述编码对象块的画面内偏移、即偏移矢量；偏移预测信号生成步骤，按照上述偏移矢量生成预测信号；其中，在上述偏移矢量检测步骤中，针对在偏移矢量中指定的预测信号计算使其水平和垂直的至少一者的排列反转后的信号，检测出包括被反转后的预测信号在内的预测信号中最优的预测信号、以及构成预测信号所需要的偏移矢量及表示反转方向的信息；在上述偏移预测信号生成步骤中，按照上述偏移矢量及上述表示反转方向的信息，基于上述局部解码图像生成预测信号；对上述预测信号与上述编码对象块的差分信号、上述偏移矢量、以及上述表示反转方向的信息进行编码。此外，本发明的图像编码方法是一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码方法，包括周边解码参照偏移矢量推定步骤，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像，来求出编码对象块与基于上述局部解码图像而生成的预测信号的画面内偏移、即偏移矢量；周边解码参照偏移预测信号生成步骤，按照上述偏移矢量生成预测信号；其中，在上述周边解码参照偏移矢量推定步骤中，通过对与编码对象块相邻的局部解码图像和按上述偏移矢量所 参照的局部解码图像的相邻部分的信号进行误差评价，来生成上述预测信号和上述偏移矢量，并且，通过对与编码对象块相邻的局部解码图像，和使按上述偏移矢量所参照的局部解码图像的相邻部分的位置、以按上述偏移矢量所参照的局部解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息；在上述周边解码参照偏移预测信号生成步骤中，按照上述偏移矢量及上述表示反转方向的信息，基于上述局部解码图像生成预测信号；对上述预测信号与上述编码对象块的差分信号进行编码。
此外，本发明的图像编码方法是一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码方法，包括偏移矢量检测步骤，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，并求出上述相关性高的信号与上述编码对象块的画面内偏移、即偏移矢量；偏移预测信号生成步骤，按照上述偏移矢量生成预测信号；以及模板反转模式推定步骤，推定用于使预测信号的水平和垂直的至少一者的排列反转的、表示反转方向的信息；其中，在上述模板反转模式推定步骤中，通过对与编码对象块相邻的局部解码图像，和使按上述偏移矢量所参照的局部解码图像的相邻部分的位置、以按上述偏移矢量所参照的局部解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息；在上述偏移矢量检测步骤中，根据上述表示反转方向的信息，计算出使在偏移矢量中指定的预测信号反转后的信号，针对每个偏移矢量进行预测信号与编码对象块的误差评价，由此来检测偏移矢量；在上述偏移预测信号生成步骤中，按照上述偏移矢量和上述表示反转方向的信息，基于上述局部解码图像生成预测信号；对上述预测信号与上述编码对象块的差分信号、以及上述偏移矢量进行编码。此外，本发明的图像解码方法接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，包括偏移矢量/模式解码步骤，针对解码对象块，从上述编码流中解码出预测信号、偏移矢量、以及表示反转方向的信息，所述预测信号是基于已被解码的同一图像信号内的块的解码图像而生成的预测信号，所述偏移矢量是与上述解码对象块的画面内偏移，所述反转方向是使在上述偏移矢量中指定的上述解码图像向水平和垂直的至少一方反转的方向；偏移预测信号生成步骤，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号；通过使上述预测信号与被解码了的残差信号相加，来计算解码图像。此外，本发明的图像解码方法接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，包括周边解码参照偏移矢量推定步骤，针对解码对象块，使用已被解码了的同一图像信号内的块的解码图像，来求出解码对象块与基于上述解码图像而生成的预测信号的画面内偏移、即偏移矢量；周边解码参照偏移预测信号生成步骤，按照上述偏移矢量生成预测信号；其中，在上述周边解码参照偏移矢量推定步骤中，通过对与解码对象块相邻的解码图像和按上述偏移矢量所参照的解码图像的相邻部分的信号进行误差评价，来生成上述预测信号和上述偏移矢量，并且，通过对与解码对象块相邻的解码图像，和使按上述偏移矢量参照的解码图像的相邻部分的位置、以按上述偏移矢量所参照的解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息；在上述周边解码参照偏移预测信号生成步骤中，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号；通过使上述预测信号与被解码出的残差信号相加，来计算解码图像。进而，本发明的图像解码方法接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，包括偏移矢量/模式解码步骤，针对解码对象块，对基于已被解码了的同一图像信号内的块的解码图像而生成的预测信号与上述解码对象块的画面内偏移、即偏移矢量进行解码；模板反转模式推定步骤，推定用于使预测信号的水平和垂直的至少一者的排列反转的、表示反转方向的信息；其中，在上述模板反转模式推定步骤中，通过对与解码对象块相邻的解码图像，和使按上述偏移矢量参照的解码图像的相邻部分的位置、以按上述偏移矢量参照的解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息；还包括偏移预测信号生成步骤，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号；通过使上述预测信号与解码出的残差信号相加，来计算解码图像。〔发明效果〕在本发明的图像编码装置、图像解码装置、图像编码方法及图像解码方法中，通过生成作为用于预测纹理成分的模板信号而使用的、相对于已编码解码图像上下、左右反转后的参照图像，作为预测图像使用，能够提高以往方式中的帧内的图像信号预测的精度。此夕卜，关于反转模式，通过利用与相邻块的反转模式的相关、偏移矢量的相关来生成预测反转模式，能使附加信息较少。通过构成使用它来进行预测处理的图像编码装置、图像解码装置、图像编码方法及图像解码方法，能提高编码效率。
图I是表示本发明第I实施例的图像编码装置的结构图。图2是表示本发明第I实施例的图像解码装置的结构图。图3是说明本发明的画面内偏移预测的概念图。图4是本发明第I实施例中的偏移矢量检测部的结构图。图5是用于说明本发明第I实施例的偏移矢量检测动作的流程图。图6是用于说明本发明第I实施例的偏移矢量解码/预测图像生成动作的流程图。图7是表示本发明第2实施例的图像编码装置的结构图。图8是表示本发明第2实施例的图像解码装置的结构图。图9是本发明第2实施例中的偏移矢量检测部的结构图。图10是用于说明本发明第2实施例的偏移矢量检测动作的流程图。图11是用于说明本发明第2实施例的偏移矢量解码/预测图像生成动作的流程图。图12是表示本发明第3实施例的图像编码装置的结构图。图13是表示本发明第3实施例的图像解码装置的结构图。图14是说明本发明的周边解码参照偏移矢量推定的概念图。
、
图15是本发明第3实施例中的周边解码参照偏移矢量推定部的结构图。图16是用于说明本发明第3实施例的周边解码参照偏移矢量推定动作的流程图。图17是表示本发明第4实施例的图像编码装置的结构图。图18是表示本发明第4实施例的图像解码装置的结构图。图19是用于说明本发明第4实施例的反转模式推定动作的流程图。图20是以往方法的帧内预测的概念图。
图21是以往方 法的画面内偏移预测的概念图。图22是表示MPEG4 — AVC中的对象块和预测运动矢量计算所使用的相邻块的关系的图。
具体实施例方式接下来，参照
本发明的实施方式。〔实施例I〕首先，说明本发明第I实施例的图像编码装置、图像解码装置。图I是表示本发明第I实施例的图像编码装置的结构图。如图I所示，本实施例的图像编码装置由输入端子100、输入图像缓存器101、块分割部102、偏移矢量检测部103、偏移预测信号生成部104、减法器105、正交变换部106、量化部107、逆量化部108、逆正交变换部109、加法器110、帧内解码图像存储器111、偏移矢量/模式预测部112、熵编码部113、流缓存器114、输出端子115、以及编码量控制部116构成。设有偏移矢量检测部103、偏移预测信号生成部104及偏移矢量/模式预测部112，以及这些处理块中的动作是本发明第I实施例的特征，关于其它处理块，是MPEG4 —AVC等图像编码装置中的构成帧内编码处理的处理块。从输入端子100输入的数字图像信号被存储在输入图像缓存器101中。存储在输入图像缓存器101中的数字图像信号被提供给块分割部102，按由16X16像素构成的二维微块单位被划分成编码对象块。块分割部102将划分出的编码对象块提供给偏移矢量检测部103、减法器105。减法器105计算从输入图像缓存器101提供来的编码对象块与由后述的偏移预测信号生成部104供给的预测图像块的差分，将结果作为差分块提供给正交变换部 106。正交变换部106对差分块按水平8像素X垂直8像素单位进行DCT变换，由此生成相当于被正交变换后的频率分量的DCT系数。此外，正交变换部106将所生成的DCT系数汇总成二维微块单位，输出给量化部107。量化部107通过用每频率分量都不同的值除DCT系数，来施加量化处理。量化部107将量化处理后的DCT系数提供给逆量化部108和熵编码部113。逆量化部108通过对从量化部107输入的被量化处理了的DCT系数乘以量化时所除的值，来进行逆量化，将逆量化的结果作为被解码了的DCT系数输出给逆正交变换部109。逆正交变换部109进行逆DCT处理，生成被解码了的差分块。逆正交变换部109将被解码了的差分块提供给加法器110。加法器110使从偏移预测信号生成部104提供来的预测图像块与从逆正交变换部109提供来的被解码了的差分块相加，生成局部解码块。在加法器110中生成的局部解码块以被逆块变换了的形式存储到帧内解码图像存储器111中。偏移矢量检测部103在由块分割部102输入的编码对象块的图像信号与被存储在帧内解码图像存储器111中的解码图像信号之间计算偏移矢量和指示解码图像的反转的模式(以下称作反转模式)。偏移矢量检测部103被从偏移矢量/模式预测部112输入针对对象块的偏移矢量和反转模式的预测值，进行偏移矢量检测处理。关于偏移矢量检测部103的详细动作，将在后面叙述。偏移矢量检测部103将检测出的偏移矢量值和反转模式值输出到偏移预测信号生成部104及偏移矢量/模式预测部112，将与偏移矢量的预测值的差分信息及与反转模式的预测值的差分信息输出到熵编码部113。偏移预测信号生成部104基于由偏移矢量检测部103输入的偏移矢量值和反转模式值，根据帧内解码图像存储器111内存储的解码图像信号而生成预测图像，输出到减法器105和加法器110。关于偏移预测信号生成部104的详细动作，将在后面叙述。偏移矢量/模式预测部112具有存储从偏移矢量检测部103输入的偏移矢量值及反转模式值，生成接下来的编码对象块的偏移矢量及反转模式值的功能。关于偏移矢量/模式预测部112的详细动作，将在后面叙述。熵编码部113使用从量化部107供给的量化处理后的DCT系数、和从偏移矢量检测部103供给的偏移矢量值与反转模式值的预测差分值，进行偏移矢量信息和反转模式信息、以及量化后的DCT系数的可变长度编码。施加可变长度编码后的信息被输出到流缓存器 114。存储在流缓存器114中的编码流介由输出端子115被输出到记录介质或传输路 径。关于编码流的编码量控制，编码量控制部116被提供流缓存器114中所存储的比特流的编码量，与作为目标的编码量之间进行比较，为趋近于目标编码量而控制量化部107的量化细度(量化标尺)。接下来，说明对由本发明第I实施例的图像编码装置生成的编码比特流进行解码的图像解码装置。图2是表示本发明第I实施例的图像解码装置的结构图。如图2所示，本实施方式的图像解码装置由输入端子200、流缓存器201、熵解码部202、偏移矢量/模式解码部203、偏移预测信号生成部204、逆量化部205、逆正交变换部206、加法器207、帧内解码图像存储器208、以及输出端子209构成。设有偏移矢量/模式解码部203和偏移预测信号生成部204这一点、以及这些处理块中的动作是本发明第I实施例的特征，至于其它处理块，是MPEG4 — AVC等图像编码装置中的构成帧内解码处理的处理块。从输入端子200输入的编码比特流被存储在流缓存器201中。存储的编码比特流被从流缓存器201提供到熵解码部202，熵解码部202从所输入的比特流中，针对被编码了的偏移矢量差分信息、反转模式差分信息、以及被量化了的DCT系数进行可变长度解码，向逆量化部205输出被量化了的DCT系数，向偏移矢量/模式解码部203输出偏移矢量差分信息和反转模式差分信息。关于逆量化部205、逆正交变换部206、加法器207、以及帧内解码图像存储器208，进行与第I实施例的动图像编码装置的局部解码处理同样的处理。帧内解码图像存储器208中所存储的解码图像介由输出端子209，作为解码图像信号而被显示在显示装置上。偏移矢量/模式解码部203具有基于从熵解码部202输入的偏移矢量差分信息和反转模式差分信息、以及以前解码的对象块的偏移矢量值及反转模式值，计算偏移矢量预测值和反转模式预测值，通过将上述偏移矢量差分信息与反转模式差分信息相加，来对编码对象块的偏移矢量值和反转模式值进行解码，并输出到偏移预测信号生成部204的功能。偏移矢量/模式解码部203的详细动作将在后面叙述。偏移预测信号生成部204基于从偏移矢量/模式解码部203输出的偏移矢量值和反转模式值，基于帧内解码图像存储器208中存储的解码图像信号而生成预测图像，输出到加法器207。关于偏移预测信号生成部204的详细动作，将在后面叙述。接下来，利用图3说明本发明的画面内偏移预测的方法。第I实施例的本发明发明点在于，为比以往方法更加充分地活用图像信号所具有的自相似性及纹理的相似性，追加使参照图像上下、左右等反转后的块作为预测对象信号，并与反转模式一起编码，从而生成与编码块相关性更高的预测块。图3上部的无反转模板是在以往的使用画面内偏移矢量计算的预测中所使用的参照图像(已编码解码图像)。与此不同，在上下反转模板、左右反转模板、上下左右反转模板中表示了以对象块的左上像素为基准配置使解码图像上下、左右、上下左右反转后的参照图像的示意图。具体来说，基于以对象块为基准移动到偏移矢量所表示的位置的已编码解码图像而取得参照块，并使参照块上下、左右、上下左右地反转，由此能算出相对于这些参照图像的偏移矢量，生成预测图像块。图3下侧所记载的无反转模式预测块、上下反转模式预测块、左右反转模式预测块、上下左右反转模式预测块成为由偏移矢量DV参照的各个反转模式的预测块信号。在计算偏移矢量时，通过在上下、左右、上下左右反转后的位置取得成为预测误差的评价对象的各像素，并评价预测误差，而不增加从解码图像取得的数据地、且无需增加滤波器处理等图像变换所需要的运算地、生成成为参照候选的模板。图I中的偏移矢量检测部103具有进行图3所示的概念的偏移矢量及反转模式的计算的功能，在图4中表示其结构图并说明。如图4所示，偏移矢量检测部103由顺序(sequence)部400、对象图像缓存器401、模式预测值·偏移矢量预测值缓存器402、存储器存取部403、偏移参照图像缓存器404、无反转模式误差计算器405、左右反转模式误差计算器406、上下反转模式误差计算器407、上下左右反转模式误差计算器408、最优偏移矢量更新部409、模式差分·偏移矢量差分计算器410、最优矢量/评价值存储部411构成。编码对象块被从块分割部102输入到对象图像缓存器401进行存储。存储器存取部403按照顺序部400所管理的偏移矢量值从帧内解码图像存储器取得参照块，并存储在偏移参照图像缓存器404中。对象图像缓存器401从对象块的上部向下部按顺序将水平方向的图像信号提供给无反转模式误差计算器405和左右反转模式误差计算器406。同时，对象图像缓存器401从对象块的下部向上部按顺序将水平方向的图像信号提供给上下反转模式误差计算器407和上下左右反转模式误差计算器408。另一方面，偏移参照图像缓存器404从参照块的上部向下部按顺序将水平方向的参照图像信号提供给无反转模式误差计算器405、左右反转模式误差计算器406、上下反转模式误差计算器407、以及上下左右反转模式误差计算器408。无反转模式误差计算器405和上下反转模式误差计算器407具有将所输入的对象 图像和参照图像的水平方向的图像信号按相同水平位置计算两者的平方差，并存储其总和的功能。左右反转模式误差计算器406和上下反转模式误差计算器407具有针对所输入的对象图像和参照图像的水平方向的图像信号，计算水平方向左右对称位置的图像彼此的平方误差，并存储其总和的功能。由此，生成图3所示的无反转模式预测块、上下反转模式预测块、左右反转模式预测块、上下左右反转模式预测块的预测误差评价值。无反转模式误差计算器405、左右反转模式误差计算器406、上下反转模式误差计算器407及上下左右反转模式误差计算器408分别将计算出的平方误差值的块总和输出到最优偏移矢量更新部409。对于从模式预测值 偏移矢量预测值缓存器提供的偏移矢量预测值和反转模式预测值，在模式差分 偏移矢量差分计算器410中，按照顺序部400所管理的偏移矢量值计算针对各反转模式的预测差分值和偏移矢量差分值，输出到最优偏移矢量更新部409。最优偏移矢量更新部409将顺序部400所管理的偏移矢量值中的各反转模式的误差评价值(平方误差总和)与针对同一编码对象块的最小的误差评价值进行比较，将具有最小的评价值的反转模式和偏移矢量作为最优偏移矢量来更新，并同评价值及针对所选择的各反转模式的预测差分值和偏移矢量差分值一起输出到最优矢量/评价值存储部411。在针对顺序部400所管理的检索范围的偏移矢量值的误差评价结束后，最优矢量/评价值存储部411将所存储的反转模式和偏移矢量输出到偏移预测信号生成部104和偏移矢量/模式预测部112，并将针对各反转模式的预测差分值和偏移矢量差分值输出到熵编码部113。图5中用流程图表示了上述检测处理的运算处理的步骤，下面说明在顺序部400中进行管理的处理步骤。针对作为对象的编码块，最初将最小误差值MinErr设定为最大值(例如存储区域为32比特时是Oxffffffff) (S500)。接着，输入作为对象的编码块(S501)。然后，根据编码块的画面内位置设定偏移矢量的检测范围(S502)。在此，对于所设定的偏移矢量检测范围，为不超出画面内的已编码区域而限制检测范围。基于所限制的检测范围，设定偏移矢量的初始值DVSearch(S503)。作为一例，设定在检测范围中靠近编码对象块(偏移矢量较小)的值。针对所设定的DVSearch，由从编码块移动了 DVSearch的位置的解码图像存储器输入参照图像块(S504)。使用参照图像块和编码对象块，累计相对于偏移矢量DVSearch的、编码块和参照图像块的各个像素的误差值，计算出无反转模式的误差值ErrNorm(DVSearch)、左右反转模式的误差值ErrLRinv (DVSearch)、上下反转模式的误差值ErrULinv (DVSearch)、以及上下左右反转模式的误差值ErrULLRinv(DVSearch) (S505)。接着，计算反转模式的预测值ModePred和偏移矢量的预测值DVPred,以及与各模式值及DVSearch的差分值DiffMode、DiffDV，算出编码时的预计编码量InfoBits。将针对各个反转模式计算出的 InfoBits 加到 ErrNorm(DVSearch)、ErrLRinv(DVSearch)、ErrULinv(DVSearch)、ErrULLRinv(DVSearch)中(S506)。关于反转模式，为使得预测模式差I、时反转的方向为一个方向，可以如下这样对应模式值。无反转模式0上下反转模式I上下左右反转模式'2
左右反转模式3关于反转模式的差分，将之与预测值ModePred相加，然后取低位2比特，由此表现反转模式。例如ModePred为左右反转模式(=3)、反转模式为无反转模式时,就传输I。反转模式变小I时，实际上被传输3。预测模式被恰当地预测到时，多数会出现接近的反转模式，通过对O以较少的编码量进行编码，能以较少的信息对反转模式进行编码。例如对于反转模式差分，以下述表I那样的可变长度编码来进行编码。〔表I〕
权利要求
1.一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码装置，其特征在于，包括 偏移矢量检测部，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，并求出上述相关性高的信号与上述编码对象块的画面内偏移、即偏移矢量，和 偏移预测信号生成部，按照上述偏移矢量生成预测信号； 其中，上述偏移矢量检测部针对在偏移矢量中指定的预测信号计算使其水平和垂直的至少一者的排列反转后的信号，检测出包括被反转后的预测信号在内的预测信号中最优的预测信号、以及构成预测信号所需要的偏移矢量及表示反转方向的信息； 上述偏移预测信号生成部按照上述偏移矢量及上述表示反转方向的信息，基于上述局部解码图像生成预测信号； 本图像编码装置对上述预测信号与上述编码对象块的差分信号、上述偏移矢量及上述表示反转方向的信息进行编码。
2.如权利要求I所述的图像编码装置，其特征在于， 针对上述偏移矢量和上述表示反转方向的信息，使用在与上述编码对象块相邻的块中检测出的偏移矢量及表示反转方向的信息，来计算出相对于上述编码对象块的上述偏移矢量及针对上述表示反转方向的信息的预测信息，并对上述偏移矢量、和上述表示反转方向的信息与预测信息的差异进行编码。
3.如权利要求I所述的图像编码装置，其特征在于， 上述偏移矢量检测部包括基于周边解码图像来预测编码对象块的图像信号的直流分量的DC计算部、和计算用上述偏移矢量所表示的预测信号的直流分量的偏移参照DC计算部; 本图像编码装置对基于上述周边解码图像而预测出的直流分量与上述预测信号的直流分量的差分进行修正，将修正后的预测信号评价为上述编码对象块的预测信号的候选，并将之与表示是否进行直流分量的修正的信息一起编码。
4.一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码装置，其特征在于，包括 周边解码参照偏移矢量推定部，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像，来求出编码对象块与基于上述局部解码图像而生成的预测信号的画面内偏移、即偏移矢量，和 周边解码参照偏移预测信号生成部，按照上述偏移矢量生成预测信号； 其中，上述周边解码参照偏移矢量推定部通过对与编码对象块相邻的局部解码图像和按上述偏移矢量所参照的局部解码图像的相邻部分的信号进行误差评价，来生成上述预测信号和上述偏移矢量，并且， 通过对与编码对象块相邻的局部解码图像，和使按上述偏移矢量所参照的局部解码图像的相邻部分的位置、以按上述偏移矢量所参照的局部解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息； 上述周边解码参照偏移预测信号生成部按照上述偏移矢量及上述表示反转方向的信息，基于上述局部解码图像生成预测信号；本图像编码装置对上述预测信号与上述编码对象块的差分信号进行编码。
5.一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码装置，其特征在于，包括 偏移矢量检测部，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，并求出上述相关性高的信号与上述编码对象块的画面内偏移、即偏移矢量， 偏移预测信号生成部，按照上述偏移矢量生成预测信号，以及模板反转模式推定部，推定用于使预测信号的水平和垂直的至少一者的排列反转的、表示反转方向的信息； 其中，上述模板反转模式推定部通过对与编码对象块相邻的局部解码图像，和使按上述偏移矢量所参照的局部解码图像的相邻部分的位置、以按上述偏移矢量所参照的局部解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表不反转方向的信息； 上述偏移矢量检测部根据上述表示反转方向的信息，计算出使在偏移矢量中指定的预测信号反转后的信号，针对每个偏移矢量进行预测信号与编码对象块的误差评价，由此来检测偏移矢量； 上述偏移预测信号生成部按照上述偏移矢量和上述表示反转方向的信息，基于上述局部解码图像生成预测信号； 本图像编码装置对上述预测信号与上述编码对象块的差分信号、以及上述偏移矢量进行编码。
6.一种图像解码装置，接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，其特征在于，包括 偏移矢量/模式解码部，针对解码对象块，从上述编码流中解码出预测信号、偏移矢量、以及表示反转方向的信息，所述预测信号是基于已被解码的同一图像信号内的块的解码图像而生成的预测信号，所述偏移矢量是与上述解码对象块的画面内偏移，所述反转方向是使在上述偏移矢量中指定的上述解码图像向水平和垂直的至少一方反转的方向，和 偏移预测信号生成部，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号； 本图像解码装置通过使上述预测信号与被解码了的残差信号相加，来计算解码图像。
7.如权利要求6所述的图像解码装置，其特征在于， 针对上述偏移矢量和上述表示反转方向的信息，使用在与上述解码对象块相邻的块中检测出的偏移矢量及表示反转方向的信息，来计算出相对于上述解码对象块的上述偏移矢量及针对上述表示反转方向的信息的预测信息，通过将上述偏移矢量及上述表示反转方向的信息与预测信息的差异进行解码并相加，来将上述偏移矢量和上述表示反转方向的信息解码。
8.如权利要求6所述的图像解码装置，其特征在于， 上述偏移预测信号生成部包括基于周边解码图像而预测解码对象块的图像信号的直流分量的DC计算部，和计算由上述偏移矢量所示的预测信号的直流分量的偏移参照DC计算部； 本图像解码装置对表示是否进行直流分量的修正的信息进行解码，基于解码出的信息，在被进行了修正的情况下，修正基于上述周边解码图像而预测出的直流分量与上述预测信号的直流分量的差分，并使用修正后的预测信号，通过与解码出的残差信号相加，来计算解码图像。
9.一种图像解码装置，接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，其特征在于，包括 周边解码参照偏移矢量推定部，针对解码对象块，使用已被解码了的同一图像信号内的块的解码图像，来求出解码对象块与基于上述解码图像而生成的预测信号的画面内偏移、即偏移矢量，和 周边解码参照偏移预测信号生成部，按照上述偏移矢量生成预测信号； 其中，上述周边解码参照偏移矢量推定部通过对与解码对象块相邻的解码图像和按上述偏移矢量所参照的解码图像的相邻部分的信号进行误差评价，来生成上述预测信号和上述偏移矢量， 并且，通过对与解码对象块相邻的解码图像，和使按上述偏移矢量参照的解码图像的相邻部分的位置、以按上述偏移矢量所参照的解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息； 上述周边解码参照偏移预测信号生成部按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号； 通过使上述预测信号与被解码出的残差信号相加，来计算解码图像。
10.一种图像解码装置，接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，其特征在于，包括 偏移矢量/模式解码部，针对解码对象块，对基于已被解码了的同一图像信号内的块的解码图像而生成的预测信号与上述解码对象块的画面内偏移、即偏移矢量进行解码，和模板反转模式推定部，推定用于使预测信号的水平和垂直的至少一者的排列反转的、表不反转方向的信息； 其中，上述模板反转模式推定部通过对与解码对象块相邻的解码图像，和使按上述偏移矢量参照的解码图像的相邻部分的位置、以按上述偏移矢量参照的解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息； 本图像解码装置还包括偏移预测信号生成部，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号； 通过使上述预测信号与解码出的残差信号相加，来计算解码图像。
11.一种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码方法，其特征在于，包括 偏移矢量检测步骤，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，并求出上述相关性高的信号与上述编码对象块的画面内偏移、即偏移矢量，和 偏移预测信号生成步骤，按照上述偏移矢量生成预测信号； 其中，在上述偏移矢量检测步骤中，针对在偏移矢量中指定的预测信号计算使其水平和垂直的至少一者的排列反转后的信号，检测出包括被反转后的预测信号在内的预测信号中最优的预测信号、以及构成预测信号所需要的偏移矢量及表示反转方向的信息； 在上述偏移预测信号生成步骤中，按照上述偏移矢量及上述表示反转方向的信息，基于上述局部解码图像生成预测信号； 对上述预测信号与上述编码对象块的差分信号、上述偏移矢量、以及上述表示反转方向的信息进行编码。
12.—种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码方法，其特征在于，包括 周边解码参照偏移矢量推定步骤，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像，来求出编码对象块与基于上述局部解码图像而生成的预测信号的画面内偏移、即偏移矢量，和 周边解码参照偏移预测信号生成步骤，按照上述偏移矢量生成预测信号； 其中，在上述周边解码参照偏移矢量推定步骤中，通过对与编码对象块相邻的局部解码图像和按上述偏移矢量所参照的局部解码图像的相邻部分的信号进行误差评价，来生成上述预测信号和上述偏移矢量，并且， 通过对与编码对象块相邻的局部解码图像，和使按上述偏移矢量所参照的局部解码图像的相邻部分的位置、以按上述偏移矢量所参照的局部解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息； 在上述周边解码参照偏移预测信号生成步骤中，按照上述偏移矢量及上述表示反转方向的信息，基于上述局部解码图像生成预测信号； 对上述预测信号与上述编码对象块的差分信号进行编码。
13.—种针对图像信号，按由多个像素构成的块单位进行分割，并按分割后的块单位进行编码的图像编码方法，其特征在于，包括 偏移矢量检测步骤，针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，并求出上述相关性高的信号与上述编码对象块的画面内偏移、即偏移矢量， 偏移预测信号生成步骤，按照上述偏移矢量生成预测信号，以及模板反转模式推定步骤，推定用于使预测信号的水平和垂直的至少一者的排列反转的、表示反转方向的信息；其中，在上述模板反转模式推定步骤中，通过对与编码对象块相邻的局部解码图像，和使按上述偏移矢量所参照的局部解码图像的相邻部分的位置、以按上述偏移矢量所参照的局部解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表不反转方向的信息； 在上述偏移矢量检测步骤中，根据上述表示反转方向的信息，计算出使在偏移矢量中指定的预测信号反转后的信号，针对每个偏移矢量进行预测信号与编码对象块的误差评价，由此来检测偏移矢量； 在上述偏移预测信号生成步骤中，按照上述偏移矢量和上述表示反转方向的信息，基于上述局部解码图像生成预测信号； 对上述预测信号与上述编码对象块的差分信号、以及上述偏移矢量进行编码。
14.一种图像解码方法，接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，其特征在于，包括偏移矢量/模式解码步骤，针对解码对象块，从上述编码流中解码出预测信号、偏移矢量、以及表示反转方向的信息，所述预测信号是基于已被解码的同一图像信号内的块的解码图像而生成的预测信号，所述偏移矢量是与上述解码对象块的画面内偏移，所述反转方向是使在上述偏移矢量中指定的上述解码图像向水平和垂直的至少一方反转的方向，和偏移预测信号生成步骤，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号； 通过使上述预测信号与被解码了的残差信号相加，来计算解码图像。
15.一种图像解码方法，接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编 码的编码流，并进行解码，其特征在于，包括 周边解码参照偏移矢量推定步骤，针对解码对象块，使用已被解码了的同一图像信号内的块的解码图像，来求出解码对象块与基于上述解码图像而生成的预测信号的画面内偏移、即偏移矢量，和 周边解码参照偏移预测信号生成步骤，按照上述偏移矢量生成预测信号； 其中，在上述周边解码参照偏移矢量推定步骤中，通过对与解码对象块相邻的解码图像和按上述偏移矢量所参照的解码图像的相邻部分的信号进行误差评价，来生成上述预测信号和上述偏移矢量， 并且，通过对与解码对象块相邻的解码图像，和使按上述偏移矢量参照的解码图像的相邻部分的位置、以按上述偏移矢量所参照的解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息； 在上述周边解码参照偏移预测信号生成步骤中，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号； 通过使上述预测信号与被解码出的残差信号相加，来计算解码图像。
16.一种图像解码方法，接收针对图像信号按由多个像素构成的块单位进行分割，并按分割后的块单位施加了编码的编码流，并进行解码，其特征在于，包括 偏移矢量/模式解码步骤，针对解码对象块，对基于已被解码了的同一图像信号内的块的解码图像而生成的预测信号与上述解码对象块的画面内偏移、即偏移矢量进行解码，和 模板反转模式推定步骤，推定用于使预测信号的水平和垂直的至少一者的排列反转的、表不反转方向的信息； 其中，在上述模板反转模式推定步骤中，通过对与解码对象块相邻的解码图像，和使按上述偏移矢量参照的解码图像的相邻部分的位置、以按上述偏移矢量参照的解码图像为中心、将水平和垂直的至少一者的排列反转后的位置的信号进行误差评价，来生成表示反转方向的信息； 还包括偏移预测信号生成步骤，按照上述偏移矢量和上述表示反转方向的信息，基于上述解码图像生成预测信号； 通过使上述预测信号与解码出的残差信号相加，来计算解码图像。
全文摘要
图像编码装置包括偏移矢量检测部(103)，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，并求出相关性高的信号与编码对象块的画面内偏移、即偏移矢量；偏移预测信号生成部(104)，按照偏移矢量生成预测信号。偏移矢量检测部(103)针对在偏移矢量中指定的预测信号计算使其水平和垂直的至少一者的排列反转后的信号，检测出包括被反转后的预测信号在内的预测信号中最优的预测信号、以及构成预测信号所需要的偏移矢量及表示反转方向的信息。偏移预测信号生成部(104)按照偏移矢量及表示反转方向的信息，基于局部解码图像生成预测信号。
文档编号H04N7/32GK102640496SQ201080053749
公开日2012年8月15日 申请日期2010年11月24日 优先权日2009年11月26日
发明者上田基晴 申请人:Jvc建伍株式会社