图像编码装置及方法，和图像解码装置及方法
【专利摘要】本发明涉及图像编码装置及方法，和图像解码装置及方法，目的是提供压缩率更高的图像编码、解码技术。其中包括：以块单位进行画面内预测并生成预测图像的画面内预测步骤；计算出由上述画面内预测步骤生成的预测图像与原图像之间的预测差分的减法计算步骤；对上述预测差分进行频率变换处理的频率变换步骤；对上述频率变换步骤的输出进行量子化处理的量子化步骤；以及对上述量子化步骤的输出进行可变长度编码处理的可变长度编码步骤，其中，上述画面内预测步骤使用夹着编码对象像素的2个参照像素的像素值，对编码对象像素进行预测。
【专利说明】图像编码装置及方法，和图像解码装置及方法
[0001]本申请是2008年10月10日提出的申请号为200810167499.X的申请的分案申请。【技术领域】
[0002]本发明是涉及对动态图像进行编码的动态图像编码技术【背景技术】
[0003]作为将大容量的动态图像信息数字数据化后进行记录、传送的方法，规定有MPEG (Moving Picture Experts Group:运动图象专家组)等编码方式，并使其以MPEG-1格式、MPEG-2 格式、MPEG-4 格式、H.264/AVC (Advanced Video Coding:先进视频译码)格式等成为国际标准的编码方式。
[0004]在这些格式中，利用编码处理完了的图像信息，按照块(block)单位预测编码对象图像，并对与原图像的预测差分别进行编码，由此去除动态图像的冗长性，减少编码量。特别是在H.264/AVC中，通过采用利用编码对象块的周边像素的画面内预测编码方式，能够实现压缩率的大幅度提高。
[0005]但是，在H.264/AVC中的画面内预测的情况下，预测方法单纯，不能实现充分的预测精度。例如，在基于H.264/AVC的画面内预测中，采用如下预测方式，即仅指定一个参照像素，仅以一个参照像素的像素值为参照值，对沿着预测方向的全部像素进行预测的基于单向的预测，预测精度尚有提高的余地。因此，在寻求一种提高画面内预测精度并提高压缩率的画面内编码技术。
[0006]作为提高画面内预测精度的技术，例如在专利文献I中给出了以下的技术，能够在对图像全体翻转后进行编码，由此能够增加可用于画面内预测的像素的种类。
[0007]专利文献1:日本专利2006-352181
[0008]而且，在非专利文献I中给出了以下的技术，通过按照块为单位变更编码顺序，进行使用上下/左右的块的预测。
[0009]非专利文献1:盐寺太一郎，谷泽昭行，中条健，基于块基础的外插/内插预测的内编码，PCSJ2006, November, 2006
[0010]但是，在专利文献I中，由于在图像翻转后与H.264/AVC同样，仅以一个参照像素的像素值作为参照值，进行基于单方向的单纯预测，所以预测精度不能得到进一步的提高。
[0011]而且，在非专利文献I中，可使用上下/左右块进行预测的块仅限于一部分，除此以外的块与H.264/AVC相比，预测精度下降。
[0012]在这些以往的技术中，例如在亮度值沿预测方向发生大的变化的情况下，对于预测值的差分增大，存在有编码量增大，压缩率下降的问题。
[0013]本发明是鉴于上述问题而提出，其目的在于提供压缩率更高的图像编码、解码技术。
[0014]可以从以下结合附图的详细说明中进一步了解本发明的其他特征、目的和效果。【专利附图】
【附图说明】
[0015]图1是本发明的一个实施例中图像编码装置的说明图。
[0016]图2是本发明的一个实施例中图像解码装置的说明图。
[0017]图3是H.264/AVC中使用的画面内预测编码处理的说明图。
[0018]图4是本发明的一个实施例中画面内预测编码处理的说明图。
[0019]图5是本发明的一个实施例中画面内预测编码处理的说明图。
[0020]图6是H.264/AVC中使用的画面内预测解码处理的说明图。
[0021 ]图7是本发明的一个实施例中画面内预测解码处理的说明图。
[0022]图8是本发明的一个实施例中画面内预测解码处理的说明图。
[0023]图9是H.264/AVC中使用的画面内预测的说明图。
[0024]图10是本发明的一个实施例中画面内预测的说明图。
[0025]图11是本发明的一个实施例中画面内预测的说明图。
[0026]图12是本发明的一个实施例中图像编码装置的流程图。
[0027]图13是本发明的一个实施例中图像编码装置的详细流程图。
[0028]图14是本发明的一个实施例中图像解码装置的流程图。
[0029]图15是本发明的一个实施例中图像解码装置的详细流程图。
[0030]图16是本发明的一个实施例的说明图。
[0031]图17是本发明的一个实施例中与画面内预测不同的预测方法的说明图。
[0032]图18是本发明的一个实施例中编码信息流的构成图。
[0033]图19是本发明的一个实施例中编码信息流的构成图。
【具体实施方式】
[0034]下面的实施方式仅是为了实施本发明的具体化的例子，并不能由此对本发明的技术范围进行限定性的解释。就是说，本发明在不脱离其技术思想、或其主要特征的前提下，能够以各种形式进行实施。
[0035]以下参照附图详细说明本发明的实施方式。
[0036]而且，在各图中，具有共同功能的要素都赋予同样的符号。
[0037]而且，本说明书的各项记载及图面中，“像素的和”的表现。是指像素的像素值相加后的结果。
[0038]首先，使用图3，对基于H.264/AVC的画面内预测编码处理的动作进行说明。在
H.264/AVC中，根据光栅扫描的顺序对编码对象图像执行编码(301)。还有，所谓光栅扫描的顺序，一般是从画面的左上端开始向右端进行处理，其后在进行下一段的从左向右的处理，并重复进行上述处理的顺序。
[0039]这里，对编码对象块的各像素的预测，使用编码对象块的左、左上、上、右上邻接的已编码的块的解码图像的像素值，来进行预测。
[0040]特别是，在已经编码的块中，以图3所示的13个像素中的一个像素值为参考值，以这一个像素为始点，预测方向的同一直线上排列的全部像素都以这一个像素的像素值作为参考值而进行预测(302)。
[0041]例如，如(303)中所示，编码对象块的像素B、C、D、E全部参照同一像素而进行预测编码，计算与像素B (紧接)之上的像素解码后的值A’的差分(预测差分)b、c、d、e。进而，在H.264/AVC中，能够以块为单位从纵、横、斜等8种候补预测方向中选择最佳方向，对预测差分与预测方向的值进行编码。但是，在H.264/AVC中，除了沿着上述特定方向的预测之外，也可以利用“DC预测”，S卩，由参照像素的平均值而对编码对象块中包含的全部像素进行预测(304)。
[0042]接着，使用图6，对基于H.264/AVC的画面内预测解码处理的动作进行说明。解码处理也与编码处理同样，按照光栅扫描的顺序执行解码(601)，使用已经解码的参照像素和预测差分，计算出解码像素的像素值。就是说，通过沿着预测方向将预测差分与参照像素相力口，而得到解码图像。
[0043]例如，在(602)中，对于解码对象块的预测差分b’、c’、d’、e’(分别对上述图3的b、C、d、e进行解码并包含量子化误差)，通过分别计算与已解码参照像素A’的和，取得编码像素B’、C’、D’、E’(分别是相对于上述图3的B、C、D、E的解码像素)。
[0044]以上，在基于H.264/AVC的画面内预测编码处理中，采用仅指定一个参照像素，由其值对沿着预测方向的全部像素进行预测的单向单纯的方法。
[0045]基于H.264/AVC的画面内预测编码的概念如图9所示。这里，水平轴是沿着预测方向设定对象块的坐标值，垂直轴是设定该坐标的像素值(亮度值)。因此，图中的曲线是表示对象块的亮度曲线。如以上的说明,在H.264/AVC中，在进行画面内预测时所能够参照的块，限于在对象块的左侧及上侧位置上的块。因此，在H.264/AVC中，采用在一个方向上复制参照像素的方法。在这种情况下，如(901)所示，如果对象块的亮度梯度小，则预测容易进行，预测差分也小，但是，如(902)那样，亮度梯度大时，随着从参照像素的偏离，预测差分增大，编码量也增大。
[0046]本实施例的画面内预测编码的概念图示于图10。为了解决因H.264/AVC引起的上述问题，在本实施例中，如(1001)所示将位于对象块边界的像素作为新的参照像素(参照像素2)，并与通常的参照像素(参照像素I)组合而进行预测。就是说，选择位于通过对象块的直线上的2个参照像素(参照像素I及参照像素2)，通过基于使用这2个参照像素的内插预测的插补处理，对这些像素所夹的像素的值进行预测。由此，特别是对于亮度梯度大的块，能够提高预测精度，降低预测误差。
[0047]但是，在如H.264/AVC所示按照光栅扫描的顺序进行编码的情况下，在多数情况下仅能够得到位于对象块的边界的2个参照像素中的一个(参照像素I)的值。在本发明的方式中，上述参照像素中的另一个(参照像素2)的值，也能够从已编码的周围块中包含的像素值进行预测。
[0048]就是说，在本实施例中，在能够从已编码的像素选择参照像素I及参照像素2的情况下，从已编码的像素选择。这里，在不能从已编码的像素选择参照像素2的情况下，通过先预从已编码的像素预测参照像素2，通过基于使用如图10所示的2个参照像素的内插预测的插补处理而进行预测。
[0049]由此，即使在2个参照像素中的一个像素不是已编码的像素的情况下，对于亮度梯度大的块，也能够提高预测精度，降低预测误差。
[0050]图4是概念性地表示基于本实施例的画面内预测编码处理的动作例的图。在这种情况下，也是按照光栅扫描的顺序对编码对象图像进行编码，参照对象块的左、左上、上、右上邻接的已编码的块，进行预测。(401)是表示基于垂直方向的画面内预测编码顺序。这里，通过如下两步骤的处理来执行预测，即“步骤1:位于对象块边界的像素(例如(1001)的参照像素2)的预测与预测差分的计算”，以及，“步骤2:利用位于对象块两端的参照像素的双方向预测。
[0051]在步骤I中，选择用于双方向预测中的2个参照像素。这里，在不能从已编码的像素选择参照像素的情况下，从已编码的周围(周边)块进行预测。例如在(402)中，利用位于与对象块左侧相邻接的块同行的4个解码像素A’、B’、C’、D’的平均值Z，对位于对象块最下行的像素的值E、F、G、H进行预测。而且，同时将这4个像素与Z的差分作为预测差分e、f > g、h进行编码。
[0052]接着，在步骤2中，通过基于使用步骤I中选择或预测的2个参照像素的内插预测而进行的插补处理，预测对象块中所包含的其他像素。例如在(403)中，通过使用参照像素I’和由步骤I预测的Z值的线性插补，对属于对象块中相同列的像素J、K、L进行预测，对计算预测差分的j、k、I的顺序进行叙述，进而成为对这些预测差分进行编码。
[0053]图7概念性表示基于本实施例的画面内预测解码处理的动作例。在解码中，可与上述图4的顺序相反进行(701)，首先，使用与对象块左侧相邻接的块计算参照像素Z (702)，通过对位于对象块边界的像素的预测差分e’、f’、g’、h’进行加法计算，而取得解码图像E’、F’、G’、H’。接着，通过基于与对象块上侧相邻接块中包含的参照像素I’，和由上述处理的预测的值Z的内插预测进行的线性插补，而预测对象块中的各像素(703)，通过对预测差分j’、k’、I’进行加法计算，取得解码像素J’、K’、L’。
[0054]在图4所示的画面内预测中，由于是利用与对象像素的左侧及上侧相邻接的块而对参照像素之一进行预测，所以对位于画面端的块不适用本发明的方式。因此，对位于画面端的块，例如通过按照图5的顺序进行画面内预测编码就能够适用本发明的双方向预测(501)。就是说，在步骤I (位于对象块边界的像素预测与预测差分的计算)中，进行使用位于对象块上侧邻接的块两端的2个像素的解码值A’、D’的外插预测，由此对位于对象块中相同列的边界的像素H进行预测，同时将像素值H与预测值Z的差分h作为预测差分而进行编码(502)。
[0055]接着，在步骤2 (利用位于对象块两端的参照像素的双方向预测)中，通过基于使用参照像素D’与上述步骤I中预测值的Z进行的内插预测的线性插补，而对属于对象块中相同列的像素E、F、G进行预测，并对预测差分e、f、g进行编码(503)。就是说，对位于画面端的块的画面内预测处理，与除此以外的情况(图4)相比，步骤I的顺序不同。
[0056]对位于画面端的块通过按照上述顺序，即使是不能利用与对象块的左侧相邻接的块的情况下，也能够进行本实施例的双方向预测。在这种情况下，能够按照图8的顺序进行解码。就是说，在解码中进行可执行与上述图5相反的步骤(801)，首先，使用与对象块的上侧相邻接的块计算参照像素Z (802)，通过对位于对象块边界的像素的预测差分h’进行加法计算，取得解码图像H。接着，通过使用与对象块的上侧相邻接的块中包含的参照像素D’和由上述处理预测的预测值的Z的线性插补，对对象块中的各像素进行预测(903)，并通过对预测差分e’、f’、g’进行加法计算，取得解码像素E’、F’、G’。
[0057]在本发明的方式中，也可以从多个候补中选择预测方法，例如，在图11所示的
H.264/AVC所使用的9个预测方法(1101)中，能够从除DC以外的8种预测方向中利用一种。例如当在水平方向(预测方向I)上预测的情况下(1102)，使用在上侧相邻接的块，预测相对于画面端以外的块属于对象块最右侧列的像素，将其作为参照像素之一而进行双方向预测。
[0058]而且，在如预测方向4所示沿着倾斜方向进行预测的情况(1103)下，分别从与上侧和左侧相邻接的块，对属于对象块最右列的像素，和属于最下行的像素进行预测，而实现双方向预测。另一方面，对与位于画面端的块，例如在水平方向(预测方向I)上进行预测的情况下(1104)，利用在左侧相邻接的块，对属于对象块最左例的像素值进行预测，而实现双方向预测。而且，在预测方向7的情况(1105)下，利用在上侧相邻接的块，预测属于对象块最下行的像素值，而实现双方向预测。在这种情况下，按照(1104)与(1105)的顺序即使是不能利用在上侧、左侧相邻接的块，也能够实现本实施例的双方向预测。
[0059]通过将本实施例的预测编码技术与以往的技术组合使用，能够对应于图像的性质而实现高的压缩率。例如，通过以块单位分别使用本技术与以往的技术进行预测编码，能够实现适应于图像性质的编码。作为以往的技术，例如可以利用图3(图6)所示的H.264/AVC的画面内预测编码方式(解码方式)，在H.264/AVC中也可利用的画面间预测方式(参照不同于编码对象图像的图像的预测方式)等。
[0060]图1是表示本发明中动态图像编码装置的一个实施例的说明图。动态图像编码装置具有以下部件:保存输入的原图像(101)的输入图像存储器(102);将输入图像分割为小区域的块分割部(103);以块为单位检测运动的运动检测部(104);同样以块为单位，按照例如基于H.264/AVC的画面内预测(图3中记载)等本实施例以外的顺序进行画面内预测处理的旧画面内预测部(105);以块为单位，进行基于本实施例的画面内预测(记载在图4及图5中)的新画面内预测部(106);基于运动检测部(104)所检测的动作量，以块为单位进行画面间预测的画面间预测部(107);决定与画面性质相吻合的预测编码手段(预测方法及块尺寸)的模式选择部(108);用于生成预测差分的减法计算部(109);对预测差分进行编码的频率变换部(110)及量子化处理部(111);用于进行与记号的发生概率相对应的编码的可变长度编码部(112);用于对临时编码后的预测差分进行解码的反量子化处理部
(113)及反频率变换部(114)，使用解码后的预测差分生成解码图像的加法计算部(115)；以及用于保存解码图像以便在后面的预测中应用的参照图像存储器(116)。
[0061]输入图像存储器(102)从原图像(101)中取得一张图像作为编码对象图像并进行保存，由块分割部(103)将其分割为细小的块，传送到运动检测部(104)、旧画面内预测部
(105)及新画面内预测部(106)。在运动检测部(104)中，使用参照图像存储器(116)中存储的已解码图像，计算该块的动作量，作为运动矢量传送到画面间预测部(107)。在旧画面内预测部(105)、新画面内预测部(106)及画面间预测部(107)中，以若干大小的块单位执行画面内预测处理及画面间预测处理，由模式选择部(108)选择最佳的预测编码手段。接着，在减法计算部(109)中生成基于最佳的预测编码手段的预测差分，并传送到频率变换部(110)。在频率变换部(110)及量子化处理部(111)中，以指定大小的块单位，对发送来的预测差分分别进行DCT (离散余弦变换:Discrete Cosine Transformat1n)等的频率变换及量子化处理，并传送到可变长度编码部(112)及反量子化处理部(113)。进而，在可变长度编码部(112)中，对由频率变换系数表示的预测差分信息，例如与画面内预测编码中的预测方向或画面间预测编码中的运动矢量等预测解码时所必要的信息一起，根据记号的发生概率进行可变长度编码，生成编码信息流。
[0062]而且，在反量子化处理部(113)及反频率变换部(114)中，对于量子化后的频率变换系数，分别实施反量子化及IDCT(反DCT =Inverse DCT)等反频率变换，得到预测差分并传送到加法计算部(115)。接着由加法计算部(115)生成解码图像，存储在参照图像存储器
(116)中。
[0063]图2表示基于本实施例的动态图像解码装置的一个实施例。动态图像解码装置具有，对于由例如图1所示的动态图像编码装置生成的编码信息流(201)以可变长度编码的相反顺序进行处理的可变长度解码部(202);用于对预测差分进行解码的反量子化处理部
(203)及反频率变换部(204);按照例如基于H.264/AVC的画面内预测(图6中记载)等本实施例以外的顺序进行画面内预测处理的旧画面内预测部(205);进行基于本实施例的画面内预测(图7及图8中记载)的新画面内预测部(206);进行画面内预测的画面间预测部(207);用于取得解码图像的加法计算部(208);以及用于临时存储解码图像的参照图像存储器(209)。
[0064]在可变长度解码部(202)中，对编码信息流(201)进行可变长度解码，取得预测差分的频率变换系数、预测方向及运动矢量等预测处理所必要的信息。对于前者的预测差分信息，发送到反量子化处理部(203)，对于后者的预测处理所必要的信息，与预测手段相对应地发送到旧画面内预测部(205)、新画面内预测部(206)及画面间预测部(207)。接着，在反量子化处理部(203)与反频率变换部(204)中，对预测差分信息分别实施反量子化及反频率变换，而进行解码。另一方面,在旧画面内预测部(205)、新画面内预测部(206)及画面间预测部(207)中，基于从可变长度解码部(202)发送来的信息，参照该参照图像存储器(209)，执行预测处理 ，由加法计算部(208)生成解码图像，同时将解码图像存储在参照图像存储器(209)中。
[0065]图12表示图1所示的动态图像编码装置的实施例中一帧的编码处理顺序。首先，对存在于编码对象的帧内的全部块(1201)，进行以下的处理。就是说，对于该块，临时对全部的编码模式(mode)(预测方法与块尺寸的组合)执行预测编码处理并计算预测差分，从中选择编码效率最高的编码。作为预测处理的方法，除了基于本实施例的方法(以下称为“新画面内预测编码处理”(1205))之外，例如执行H.264/AVC中使用的画面内预测方法(以下称为“旧画面内预测编码处理(1206)”及画面间预测处理(1207)，从中选择最佳的方式，由此能够根据图像的性质高效率地进行编码。从上述多个编码模式中选择编码效率最高的模式时(1208),可通过使用RD-Optimizat1n方式高效地进行编码，该RD-Optimizat1n方式是利用图像质量畸变与编码量的关系来决定最佳编码模式。关于RD-Optimizat1n方式，例如可以使用以下的参考文献中记载的技术。
[0066]参考文献1:G.Sullivan and T.ffiegand: ^Rate-Distort1n Optimizat1n forVideo Compress1n，，, IEEE Signal Processing Magazine, Vol.15, n0.6, pp.74-90，1998。
[0067]接着，对由所选择的编码模式生成的预测差分实施频率变换(1209)及量子化处理(1210)，进而，通过进行可变长度编码而生成编码信息流(1211)。另一方面，对已经量子化的频率变换系数实施反量子化处理(1212)与反频率变换处理(1213)而对预测差分进行解码，生成解码图像并存储在参照图像存储器(1214)中。如果对全部的块完成以上处理，则一帧图像的编码结束(1215)。[0068]图13表示上述新画面内预测编码处理(1205)的详细处理顺序。这里，如图(1101)所示，对于预先定义的全部预测方向(1301)，对沿着预测方向的全部的线进行以下的处理(1302)。就是说，如果对象块位于画面端(1303)，则按照图5步骤I的顺序，计算边界像素的预测及预测差分(1304)。另一方面，如果对象块不位于画面端，则按照图4步骤I的顺序，进行边界像素的预测及预测差分计算(1305)。接着，使用周围块中包含的参照像素和以上述顺序预测的边界像素的值，根据图4及图5的步骤2的顺序进行双方向预测(1305)。如果对全部的预测方向及全部的线完成以上的处理，则对于一个块的预测编码处理结束(1307)。
[0069]图14表示图2所示的动态图像解码装置的实施例中一帧的解码处理顺序。首先，对一帧内的全部块进行以下的处理(1401)。就是说，对输入信息流实施可变长度解码处理(1402)，实施反量子化处理(1403)及反频率变换处理(1404)，解码预测差分。接着，与对象块的预测编码的方法相对应地，进行新画面内预测解码处理(1407)，以往型画面内预测解码处理(1408)，或画面间预测解码处理(1409)，而取得解码图像并存储在参照图像存储器中。如果对帧中的全部的块完成以上的处理，则一帧图像的解码结束(1410)。
[0070]图15表示上述新画面内预测解码处理(1407)的详细处理顺序。这里，对沿着预测方向的全部的线(1501)，进行以下的处理。就是说，如果对象块位于画面端(1402)，则按照图8步骤I的顺序，进行边界像素的预测及预测差分的计算(1403)。另一方面，如果对象块不位于画面端，则按照图7步骤I的顺序，进行边界像素的预测及预测差分的计算(1404)。接着，使用周围块中包含的参照像素和按上述顺序预测的边界像素，按照图7及图8的步骤2的顺序进行双方向预测(1405)。如果对全部的线完成以上的处理，则对于一个块的预测解码处理结束(1406)。
[0071]实施例中作为频率变换的一例，列举有DCT，但也可以是DST (离散正弦变换:Discrete Sine Transformat1n)、WT (微波变换:Wavelet Transformat1n)、DFT (离散傅立叶变换:Discrete Fourier Transformat1n)、KLT (最优正交线性变换:Karhunen_LoeveTransformat1n)等用于像素间相关去除的正交变换等,特别是,也可以不实施频率变换，对预测差分本身进行编码。进而，也可以不特别进行可变长度编码。而且，在实施例中特别对以4X4像素尺寸的块单位进行亮度成分预测的情况进行了说明，但也可以是8X8像素尺寸或16X16像素尺寸等，对什么样尺寸的块都能适用本实施例，除了亮度成分之外，本实施例也能够适用于例如对于色差成分的预测。而且，在实施例中是沿着由H.264/AVC规定的8个方向进行预测，但是，方向数可以增加，也可以减少。
[0072]接着，对本实施例的预测式的一例进行记述。这里，是对以4X4像素尺寸的块单位进行亮度成分预测的情况进行记述。首先，如图16的(1601)所示，以位于对象块的最左上的像素的坐标为(0，0)，设定水平向右侧为X轴，垂直向下为y轴。而且，对象块中的坐标(x，y)的亮度值用P[x，y]表示，预测值用pred4X4[x, y]表示。而且,用于双方向预测的2个参照像素分别为Refl与Ref2。还有，函数Min (a, b)返回2个整数a, b中的小的数值，函数ROUND (a)返回实数a的小数点后第一位四舍五入后的整数值。
[0073]以下，对于沿着9种预测方法(1602)?(1610)中，除DC预测(1604)的8种类的方向的预测的情况，分别记述预测值pred4 X 4的计算式。
[0074]在预测方向O(Vertical) (1602)的情况下，按以下的式I进行预测。
[0075](式I)[0076].在能够利用在左侧及上侧相邻接的块的情况下
[0077]Refl = P [X,-1]
[0078]Ref2 = (p [_1，3]+p [_2，3]+p [_3，3]+p [_4，3]+2) ?2
[0079]pred4x4 [x, y] = ROUND (Ref 1+(Ref 2 Ref I) * (y+1)/4)
[0080].在能够利用在上侧相邻接的块，不能利用在左侧相邻接的块的情况下
[0081]Refl = P [x, -1]
[0082]Ref2 = 2*p[x, -1] -p [x, _4]
[0083]pred4X4 [x, y] = ROUND (Ref 1+(Ref2 Ref I) * (y+1)/4)
[0084]在预测方向I (Horizontal) (1603)的情况下，按以下的式2进行预测。
[0085](式2)
[0086].在能够利用在左侧及上侧相邻接的块的情况下
[0087]Refl = P [-1，y]
[0088]Ref2 = (p [3, _l]+p[3，_2]+p[3，_3]+p[3，_4]+2)〉〉2
[0089]pred4x4 [x, y] = ROUND (Ref 1+(Ref 2 Ref I) * (x+1)/4)
[0090].在能够利用在左侧相邻接的块，不能利用在上侧相邻接的块的情况下
[0091]Refl = P [-1，y]
[0092]Ref2 = 2*p [_1，y] -p [_4，y]
[0093]pred4x4 [x, y] = ROUND (Ref 1+(Ref 2 Ref I) * (x+1)/4)
[0094]在预测方向3 (Diagonal Down Left) (1605)的情况下，按以下的式3进行预测。
[0095](式3)
[0096].在能够利用在左侧及上侧相邻接的块的情况下
[0097].X = y = 3的情况下
[0098]Refl = (p [6，-1] +3*p [7，-1] +2) ?2
[0099]Ref2 = (p [3, _l]+p[3，_2]+p[3，_3]+p[3，_4]+2)〉〉2
[0100]pred4x4[x, y] = ROUND ((Ref1+Ref2)/2)
[0101].除此以外的情况(X不是3且y不是3的情况)下
[0102]Refl = (P [x+y,-1]+2*p [x+y+1,-1]+p [x+y+2,-1]+2) >>2
[0103]Ref 2 = (p [-1, Min (3, x+y) ]+2*p [_1，Min (3, x+y + 1) ]+p [-1，Min (3,x+y+2)]+2)>>2
[0104]pred4x4 [x, y] = ROUND (Ref 1+(Ref 2 Ref I) * (y+1) / (x+y+2))
[0105].在能够利用在上侧相邻接的块，不能利用在左侧相邻接的块的情况下
[0106].X = y = 3的情况下
[0107]Refl = (p[6，-l]+3*p[7，-l]+2)>>2
[0108]Ref2 = (p [3, _l]+p[3，_2]+p[3，_3]+p[3，_4]+2)〉〉2
[0109]pred4x4[x, y] = ROUND ((Ref1+Ref2)/2)
[0110].除此以外的情况(X不是3且y不是3的情况)
[0111]Refl = (P [x+y,-1]+2*p [x+y+1,-1]+p [x+y+2,-1]+2) >>2
[0112]Ref2 = (p [3，_1]+p [3，_2]+p [3，_3]+p [3，_4]+2)〉〉2
[0113]pred4x4 [x, y] = ROUND (Ref 1+(Ref 2 Ref I) * (y+1) / (x+y+2))[0114]在预测方向4(Diagonal Down Right) (1606)的情况下，按以下的式4进行预测。
[0115](式4)
[0116].在能够利用在左侧及上侧相邻接的块的情况下
[0117].x>y的情况下
[0118]Refl = (p[x_y_2，-l]+2*p[x_y_l，_l]+p[x_y，_1]+2)>>2
[0119]Ref2 = (p [3，_1]+p [3，_2]+p [3，_3]+p [3，_4]+2)〉〉2
[0120]pred4x4[x, y] = ROUND (Ref 1+(Ref 2-Ref I) ^x/3)
[0121].x<y的情况下
[0122]Refl = (p [_1，y_x_2]+2*p [_1，y_x_l]+p [_1，y-χ]+2) >>2
[0123]Ref2 = (p [_1，3]+p [_2，3]+p [_3，3]+p [_4，3]+2)〉〉2
[0124]pred4x4[x, y] = ROUND (Ref 1+(Ref 2-Ref I) ^y/3)
[0125].X = y的f青况下 [0126]Refl = (p[0，_l]+2*p[_l，-1]+p[-1，0]+2) ?2
[0127]Ref2 = (p [3，_1]+p [3，_2]+p [_1，3]+p [_2，3]+2)〉〉2
[0128]pred4x4[x, yj = ROUND (Ref 1+ (Ref 2-Ref I) ^ (x+1) / 4)
[0129]在预测方向5(1607) (Vertical Right)的情况下，按以下的式5进行预测。
[0130](式5)
[0131]使zVR = 2*xy 时
[0132].在能够利用在左侧及上侧相邻接的块的情况下
[0133].zVR = 0、2、4、6 的情况下
[0134]Refl= (p[x~(y?l) — 1，-1]+ρ[χ_(7>>1)，_1]+1)>>1
[0135]Ref2 = (p [_1，3]+p [_2，3]+p [_3，3]+p [_4，3]+2)〉〉2
[0136]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (y+1) / 4)
[0137].zVR = 1、3、5 的情况下
[0138]Refl = (p [x_ (y?l)-2，-l]+2*p[x-(y>>l)_l，-l]+p[x- (y?l)，-1]+2) >>2
[0139]Ref2 = (p [_1，3]+p [_2，3]+p [_3，3]+p [_4，3]+2)〉〉2
[0140]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (y+1) / 4)
[0141].zVR = -1 的情况下
[0142]Refl = (p[_l，0]+2*p[_l，_l]+p[0，_l]+2)>>2
[0143]Ref2 = (p [_1，3]+p [_2，3]+p [_3，3]+p [_4，3]+2)〉〉2
[0144]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (y+1) / 4)
[0145].除此以外的情况(zVR = -2，-3的情况)下
[0146]Refl = (_1，y_l]+2*p [_1，y_2]+p [_1，y_3]+2) >>2
[0147]Ref2 = (p [_1，3]+p [_2，3]+p [_3，3]+p [_4，3]+2)〉〉2
[0148]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (y+1) / 4)
[0149]在预测方向6 (Horizontal Down) (1608)的情况下，按以下的式6进行预测。
[0150](式6)
[0151]zHD = 2*yx 时
[0152].在能够利用在左侧及上侧相邻接的块的情况下[0153].zHD = 0、2、4、6 的情况下
[0154]Refl = (p[_l，y-(x?l)-l]+p[-l, y-(x?l)]+l) ?1
[0155]Ref2 = (p[3，_l]+p[3，_2]+p[-1，3]+p[-2，3]+2) ?2
[0156]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (x+1) / 4)
[0157].zHD = 1、3、5 的情况下
[0158]Refl = (p[_l，y-(x>>l)_2]+2*p[-l，y-(x?l)-l]+p[-l, y-(x?l) ]+2) ?2
[0159]Ref2 = (p[3，_l]+p[3，_2]+p[-1，3]+p[-2，3]+2) ?2
[0160]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (x+1) / 4)
[0161].zHD = -1 的情况下
[0162]Refl = (p[_l，0]+2*p[_l，_l]+p[0，_l]+2)>>2
[0163]Ref2 = (p [3，_1]+p [3，_2]+p [_1，3]+p [_2，3]+2)〉〉2
[0164]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (x+1) / 4)
[0165].除此以外的情况(zHD = -2，-3的情况下)
[0166]Refl = (p [x_l，_1]+2*p [x_2，_1]+p [x_3，_1]+2)〉〉2
[0167]Ref2 = (p [3，_1]+p [3，_2]+p [_1，3]+p [_2，3]+2)〉〉2
[0168]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (x+1) / 4)
[0169]在预测方向7(1609) (Vertical Left)的情况下，按以下的式7进行预测。
[0170](式7)
[0171].在能够利用在左侧及上侧相邻接的块的情况下
[0172].y = 0、2的情况下
[0173]Refl = (p[x+ (y?l)，-l]+p[x+ (y?l)+l, -1]+1)?1
[0174]Ref2 = (p [_1，3]+p [_2，3]+p [_3，3]+p [_4，3]+2)〉〉2
[0175]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (y+1) / (x+y+2))
[0176].除此以外的情况(y = 1，3的情况下)
[0177]Refl = (p[x+ (y?l)，_l]+2*p[x+(y?l)+l，-l]+p[x+ (y?l)+2, -l]+2) ?2
[0178]Ref2 = (p [_1，3]+p [_2，3]+p [_3，3]+p [_4，3]+2)〉〉2
[0179]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (y+1) / (x+y+2))
[0180].在能够利用在上侧相邻接的块，不能利用在左侧相邻接的块的情况下
[0181].y = 0、2的情况下
[0182]Refl = (p[x+ (y?l)，_l]+p[x+(y?l)+l，_1]+1)>>1
[0183]Ref2=2*p[x，_l]_p[x，_4]
[0184]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (y+1) / (x+y+2))
[0185].除此以外的情况(y = 1，3的情况)下
[0186]Refl= (p[x+ (y?l)，_l]+2*p[x+(y?l)+l，—I]+p [x+(y?l)+2，-1]+2) >>2
[0187]Ref2 = 2*p[x，_l]_p[x，_4]
[0188]pred4x4[x, y] = ROUND (Ref 1+ (Ref 2-Ref I) ^ (y+1) / (x+y+2))
[0189]在预测方向8 (Horizontal Up) (1610)的情况下，按以下的式8进行预测。
[0190](式8)
[0191]使zHU = x+2*y 时[0192].在能够利用在左侧及上侧相邻接的块的情况下
[0193].zHU = 0、2、4 的情况下
[0194]Refl = (p [_1, y+(χ>>1) ]+p [_1, y+(χ>>1)+1]+1) >>1
[0195]Ref2 = (p [3，-1]+p [3，_2]+p [_1，3]+p [_2，3]+2)》2
[0196]pred4x4 [x, y] = ROUND(Ref1+(Ref2-RefI)*(x+1)/4)
[0197].ZHU = 1、3 的情况下
[0198]Refl = (p[-l7 y+(x?l) ]+2*p[-1, y+ (x?l)+l]+p[-l, y+(x?l)+2]+2) ?2
[0199]Ref2 = (p [3，_1]+p [3，_2]+p [_1，3]+p [_2，3]+2)〉〉2
[0200]pred4x4 [x, y] =ROUND (Ref 1+ (Ref2-Ref I) * (x+1) /4)
[0201].zHU = 5的情况下
[0202]Refl = (p [_1，2] +3*p [_1，3] +2) ?2
[0203]Ref2 = (p [3，_1]+p [3，_2]+p [_1，3]+p [_2，3]+2)〉〉2
[0204]pred4x4 [x, y] = ROUND(Ref1+(Ref2-RefI)*(x+1)/4) [0205].除此以外的情况(zHU>5的情况)下
[0206]Refl = p[-1,3]
[0207]Ref2 = (p [3，_1]+p [3，_2]+p [_1，3]+p [_2，3]+2)〉〉2
[0208]pred4x4 [x, y] = ROUND(Ref1+(Ref2-RefI)*(x+1)/4)
[0209].在能够利用在左侧相邻接的块，不能利用在上侧相邻接的块的情况下
[0210].zHU = 0、2、4 的情况下
[0211]Refl = (p[-l? y+(x?l)]+p[_L y+(x?l)+l]+l)?l
[0212]Ref2 = 2*p [_1，y] -p [-4，y]
[0213]pred4x4 [x, y] = ROUND(Ref1+(Ref2-RefI)*(x+1)/4)
[0214].ZHU = 1、3 的情况下
[0215]Refl = (p[-l7 y+(x?l) ]+2*p[-1, y+ (x?l)+l]+p[-l, y+(x?l)+2]+2) ?2
[0216]Ref2 = 2*p [_1，y] -p [-4，y]
[0217]pred4x4 [x, v] = ROUND(Ref1+(Ref2-RefI)*(x+1)/4)
[0218].zHU = 5的情况下
[0219]Refl = (p [_1，2] +3*p [_1，3] +2) ?2
[0220]Ref2 = 2*p [_1，y] -p [-4，y]
[0221]pred4x4 [x, v] = ROUND(Ref1+(Ref2-RefI)*(x+1)/4)
[0222].除此以外的情况(zHU>5的情况下)
[0223]Refl = p[-1，3]
[0224]Ref2 = 2*p[_l, y]-p[-4, y]
[0225]pred4x4 [x, y] = ROUND(Ref1+(Ref2-RefI)*(x+1)/4)
[0226]在上述实施例中，主要是根据属于已编码邻接块的相同行(或列)的像素平均值，对此2个参照像素中已编码(已解码)的像素不能选择的像素进行预测(例如图4的步骤I中边界像素E、F、G、H的预测)，但是，也可以不使用平均值，可以使用例如最小值、最大值，或中间值，也可以是使用这些像素的外插预测或内插预测等的各种计算式。在进行外插预测的情况下，可以利用例如使用了最小二乘法的直线、抛物线近似，牛顿插补，拉格朗日(Lagrange)插补等各种模型。
[0227]图17表示图4的步骤I (402)中，由外插预测对边界像素E、F、G、H进行预测的情况下的概念图。这里，将水平轴设定为坐标，垂直轴设定为亮度值。(1701)是表示进行直线近似的情况，使用位于在左侧相邻接块的最下行的解码像素A’、B’、C’、D’，由最小二乘法等计算出近似直线，在该直线上将与边界像素E、F、G、H的坐标相对应的点作为预测值。而且，在(1702)中，表示利用基于抛物线近似、牛顿插补、拉格朗日插补等曲线近似的方法进行相同外插预测的情况。在这种情况下，基于使用解码像素A’、B’、C’、D’计算出的预测曲线，预测边界像素E、F、G、H。由上述处理所预测的边界像素，例如在进行图4中步骤2的双方向预测时，作为一个参照像素而利用。
[0228]而且，作为参照像素的预测值利用的信息，只要是邻接块的信息，也不特别地限于属于相同行(或相同列)的像素。进而，实施例中是由使用2个参照像素的线性插补进行双方向预测(例如图4的步骤2中的像素J、K、L的预测)，但是只要是利用夹着对象像素2个参照像素，对其插补方法也没有特别的限制。例如，可以利用2个参照像素的任意直线式来表示对象像素的预测值。在这种情况下，在使2个参照像素为Refl、Ref2的情况下，可利用以下的式9计算预测值pred4X4。
[0229](式9)
[0230]pred4x4 [x,y] = a*Refl+b*Ref2
[0231]式中a、b分别是实数常数，这些值可以是预先确定的一定的值，也可以是由块单位所指定。而且，对于图5(图8)所示的画面端的画面内预测编码方式(解码方式)，特别是，即使不是画面端的块，也能够适用。就是说，该方式可以适用于画面端以外的块。
[0232]图18表示利用本实施例的情况下生成的编码信息流中，与应该以块单位设定的编码参数相关的部分的构成例。这里，与H.264/AVC中的处理单位同样，以固定长度尺寸的宏观块单位而决定编码模式的情况进行说明。宏观块能够进而分割为更细的块，以分割的块单位进行预测编码。此时，用于对每个宏观块确定其坐标的宏观块编号(1801)，表示预测方法及块尺寸的编码模式编号(1802)，还有，例如画面间预测时的运动矢量及画面内预测时的预测方向等进行预测时所必要的信息(1803)，以及预测差分信息(1804)，都进行可变长度编码并存储。特别是对于编码模式编号(1802)，可以是对全部的预测手段连续地分配，也可以是对每个预测手段由不同的比特表示。
[0233]图19表示与应该由图18所示的块单位设定的编码参数部分相关的另一构成例。在该例中，对宏观块编号(1901)与预测方法(1902)，附加表示是否进行利用本实施例的邻接像素的预测的标记(1903)，进而对预测所必要的信息(1904)和预测差分信息(1905)进行保存。
【权利要求】
1.一种图像编码装置，其特征在于，具有: 以块单位进行画面内预测并生成预测图像的画面内预测部； 计算出由所述画面内预测部生成的预测图像与原图像之间的预测差分的减法器； 对所述预测差分进行频率变换处理的频率变换部； 对所述频率变换部的输出进行量子化处理的量子化部；以及 对所述量子化部的输出进行可变长度编码处理的可变长度编码部， 其中，所述画面内预测部使用夹着编码对象像素的2个参照像素的像素值，对编码对象像素进行预测。
2.根据权利要求1所述的图像编码装置，其特征在于: 所述画面内预测编码部，在不能从已编码的像素选择夹着所述编码对象像素的2个参照像素的情况下，将一方的参照像素的像素值或两方的参照像素的像素值，作为从已编码像素的信息预测的像素值。
3.根据权利要求1所述的图像编码装置，其特征在于: 所述画面内预测编码部，基于与编码对象块相邻接的已编码块的信息对两个参照像素进行预测，并使用所述预测后的两个参照像素进行对象像素的预测。
4.一种图像编码方 法，其特征在于，包括: 以块单位进行画面内预测并生成预测图像的画面内预测步骤； 计算出由所述画面内预测步骤生成的预测图像与原图像之间的预测差分的减法计算步骤； 对所述预测差分进行频率变换处理的频率变换步骤； 对所述频率变换步骤的输出进行量子化处理的量子化步骤；以及 对所述量子化步骤的输出进行可变长度编码处理的可变长度编码步骤， 其中，所述画面内预测步骤使用夹着编码对象像素的2个参照像素的像素值，对编码对象像素进行预测。
5.根据权利要求4所述的图像编码方法，其特征在于: 所述画面内预测编码步骤，在不能从已编码的像素选择夹着所述编码对象像素的2个参照像素的情况下，将一方的参照像素的像素值或两方的参照像素的像素值，作为从已编码像素的信息预测的像素值。
6.根据权利要求4所述的图像编码方法，其特征在于: 所述画面内预测编码步骤，基于与编码对象块相邻接的已编码块的信息对两个参照像素进行预测，并使用所述预测后的两个参照像素，进行对象像素的预测。
7.一种图像解码装置，其特征在于，具有: 进行反向可变长度处理的可变长度解码部； 对所述可变长度解码部处理的数据进行反量子化处理的反量子化处理部； 对由所述反量子化处理部反量子化后的数据进行反频率变换处理，而对预测差分进行解码的反频率变换部；以及 使用所述预测差分进行画面内预测并取得解码图像的画面内预测解码部， 其中，所述画面内预测解码部使用夹着解码对象像素的2个参照像素，对解码对象像素进行预测。
8.根据权利要求7所述的图像解码装置，其特征在于: 所述画面内预测解码部，在不能从已解码的像素选择夹着所述解码对象像素的2个参照像素的情况下，将一方的参照像素的像素值或两方的参照像素的像素值，作为从已解码像素的信息预测的像素值。
9.根据权利要求7所述的图像解码装置，其特征在于: 所述画面内预测解码部，基于与解码对象块相邻接的已解码块的信息对两个参照像素进行预测，并使用所述预测后的两个参照像素，进行对象像素的预测。
10.一种图像解码方法，其特征在于，包括: 进行反向可变长度处理的可变长度解码步骤； 对在所述可变长度解码步骤中处理后的数据进行反量子化处理的反量子化处理步骤； 对在所述反量子化处理步骤中反量子化后的数据进行反频率变换处理，而对预测差分进行解码的反频率变换步骤；以及 使用所述预测差分进行画面内预测并取得解码图像的画面内预测解码步骤， 其中，在所述画面 内预测解码步骤中，使用夹着解码对象像素的2个参照像素，对解码对象像素进行预测。
11.根据权利要求10所述的图像解码方法，其特征在于: 在所述画面内预测解码步骤中，在不能从已解码的像素选择夹着所述解码对象像素的2个参照像素的情况下，将一方的参照像素的像素值或两方的参照像素的像素值，作为从已解码像素的信息预测的像素值。
12.根据权利要求10所述的图像解码方法，其特征在于: 在所述画面内预测解码步骤中，基于与解码对象块相邻接的已解码块的信息对两个参照像素进行预测，使用所述预测后的两个参照像素，进行对象像素的预测。
13.一种图像编码方法，其以块为单位进行画面内预测，并对预测差分进行编码，其特征在于，包括: 通过预测生成2个参照像素的像素值第一预测步骤，以及 使用在所述第一预测步骤中生成的2个参照像素的像素值，对配置在所述2个参照像素之间的编码对象像素的像素值进行预测的第二预测步骤。
14.一种图像解码方法，其以块为单位进行画面内预测并对图像进行解码，其特征在于，包括: 通过预测生成2个参照像素的像素值第一预测步骤，以及 使用在所述第一预测步骤中生成的2个参照像素的像素值，对配置在所述2个参照像素之间的解码对象像素的像素值进行预测的第二预测步骤。
【文档编号】H04N19/134GK104038763SQ201410216455
【公开日】2014年9月10日 申请日期:2008年10月10日 优先权日:2007年10月10日
【发明者】高桥昌史, 村上智一 申请人:株式会社日立制作所