运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
【专利摘要】在帧内预测处理是水平方向预测处理的情况下，对预测块的左面所邻接的像素的亮度值相加与预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值，在帧内预测处理是垂直方向预测处理的情况下，对预测块的上面所邻接的像素的亮度值，相加与预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值。
【专利说明】运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
【技术领域】
[0001]本发明涉及高效地对运动图像进行编码的运动图像编码装置以及运动图像编码方法、和对高效地编码了的运动图像进行解码的运动图像解码装置以及运动图像解码方法。
【背景技术】
[0002]例如，在MPEG(MovingPicture Experts Group,运动图像专家组)、“ITU_T H.26x”等国际标准影像编码方式中，将输入影像帧分割为矩形的块(编码块)，并对该编码块实施使用已编码的图像信号的预测处理从而生成预测图像，将作为该编码块与预测图像的差分的预测误差信号按照块单位进行正交变换、量化处理，从而进行信息压缩。
[0003]例如，在作为国际标准方式的MPEG-4 AVC/H.264 (IS0/IEC 14496-10 | ITU-TH.264)中，根据已编码的附近像素进行帧内部(Intra)预测处理或者邻近帧间的运动补偿预测处理(例如，参照非专利文献I)。
[0004]在MPEG-4 AVC/H.264中，在亮度的帧内部预测模式中，能够按照块单位，从多个预测模式中选择I个预测模式。
[0005]图14是示出亮度的块尺寸是4X4像素的情况的帧内部预测模式的说明图。
[0006]在图14中，块内的白圈表示编码对象的像素，黑圈表示作为预测中使用的像素的已编码的像素。在亮度的块尺寸是4X4像素的情况下，规定了模式O至模式8这9个帧内部预测模式。
[0007]在图14中，模式2是进行平均值预测的模式，利用块的上面和左面的邻接像素的平均值，预测块内的像素。
[0008]模式2以外的模式是进行方向性预测的模式。模式O是垂直方向预测，通过在垂直方向上重复块的上面的邻接像素从而生成预测图像。例如，在竖条纹花纹时选择模式O。
[0009]模式I是水平方向预测，通过在水平方向上重复块的左面的邻接像素从而生成预测图像。例如，在横条纹花纹时选择模式I。
[0010]在模式3至模式8中，使用块的上面或者左面的已编码的像素，在规定的方向(箭头表示的方向)上生成插值像素来生成预测图像。
[0011 ] 此处，应用帧内部预测的亮度的块尺寸能够从4X4像素、8 X 8像素、16 X 16像素中选择，在8X8像素的情况下，与4X4像素同样地规定了 9个帧内部预测模式。但是，关于预测中使用的像素，并非是已编码的像素自身，而是使用针对这些像素实施滤波处理而得到的像素。
[0012]相对于此，在16X16像素的情况下，除了与平均值预测、垂直方向预测以及水平方向预测有关的帧内部预测模式以外，还规定了被称为Plane预测的4个帧内部预测模式。
[0013]与Plane预测有关的帧内部预测模式是将针对块的上面和左面的已编码的邻接像素在倾斜方向上进行内插插值而生成的像素作为预测值的模式。[0014]另外，在方向性预测模式中，通过在预定的方向(预测方向)上重复块的邻接像素或者根据邻接像素生成的插值像素从而生成预测值，所以在图15所示那样的预测对象块内的目标的边界(边缘)的方向与预测方向一致、并且块内的信号值沿着预测方向而恒定的情况下，预测效率变高而能够削减符号量。
[0015]非专利文献I:MPEG-4 AVC (IS0/IEC 14496-10) /ITU-T H.264 标准
【发明内容】
[0016]以往的运动图像编码装置如以上那样构成，所以如果预测对象块内的目标的边界(边缘)的方向与预测方向一致、并且预测对象块内的信号值沿着该预测方向而恒定，则能够通过使用方向性预测来高精度地进行预测。但是，存在如下课题:即便预测对象块内的目标的边界(边缘)的方向与预测方向一致，在如图16所示，在信号值沿着该预测方向而变化的情况下，预测误差也会变大。
[0017]本发明是为了解决上述那样的课题而完成的，其目的在于得到一种运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法，即使在信号值沿着预测方向而变化的情况下，也能够实现高精度的预测来提高图像质量。
[0018]在本发明的运动图像编码装置中，帧内部预测单元在生成预测图像时的帧内预测处理是水平方向预测处理的情况下，对预测块的左面所邻接的像素的亮度值相加与预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值，在生成预测图像时的帧内预测处理是垂直方向预测处理的情况下，对预测块的上面所邻接的像素的亮度值相加与预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值。
[0019]根据本发明，帧内部预测单元构成为在生成预测图像时的帧内预测处理是水平方向预测处理的情况下，对预测块的左面所邻接的像素的亮度值相加与预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值，在生成预测图像时的帧内预测处理是垂直方向预测处理的情况下，对预测块的上面所邻接的像素的亮度值相加与预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值，所以具有即使在信号值沿着预测方向而变化的情况下也能够实现高精度的预测来提高图像质量的效果。
【专利附图】
【附图说明】
[0020]图1是示出本发明的实施方式I的运动图像编码装置的结构图。
[0021]图2是示出本发明的实施方式I的运动图像编码装置的处理内容(运动图像编码方法)的流程图。
[0022]图3是示出本发明的实施方式I的运动图像解码装置的结构图。
[0023]图4是示出本发明的实施方式I的运动图像解码装置的处理内容(运动图像解码方法)的流程图。
[0024]图5是示出最大编码块被层次性地分割为多个编码块的例子的说明图。
[0025]图6的(a)是示出分割后的编码块以及预测块的分布的说明图，(b)是示出通过层次分割而分配了编码模式m (Bn)的状况的说明图。[0026]图7是示出编码块Bn内的各预测块Pi11可选择的帧内部预测参数(帧内部预测模式)的一个例子的说明图。
[0027]图8是示出在1IN=nC = 4的情况下生成预测块Pi11内的像素的预测值时使用的像素的一个例子的说明图。
[0028]图9是示出以预测块Pi11内的左上像素为原点的相对坐标的说明图。
[0029]图10是示出垂直方向预测中的以往的为了计算对预测值相加的亮度值变化量而参照的左面的预测块的邻接像素的一个例子的说明图。
[0030]图11是示出垂直方向预测中的以往的对预测值相加的亮度值变化量的缩放值的一个例子的说明图。
[0031]图12是示出水平方向预测中的以往的为了计算对预测值相加的亮度值变化量而参照的上面的预测块的邻接像素的一个例子的说明图。
[0032]图13是示出水平方向预测中的以往的对预测值相加的亮度值变化量的缩放值的一个例子的说明图。
[0033]图14是示出亮度的块尺寸是4X4像素的情况的帧内部预测模式的说明图。
[0034]图15是示出通过水平方向预测而高精度地预测的预测图像的一个例子的说明图。
[0035]图16是示出在通过水平方向预测进行了预测时发生大的预测误差的一个例子的说明图。
[0036]图17是示出编码块Bn内的各预测块Pi11可选择的帧内部预测参数(帧内部预测模式)的一个例子的说明图。
[0037](符号说明)
[0038]1:块分割部(块分割单元);2:编码控制部(编码控制单元);3:切换开关；4:帧内部预测部(帧内部预测单元);5:运动补偿预测部(运动补偿预测单元)；6:减法部(量化单元)；
7:变换/量化部(量化单元);8:逆量化/逆变换部；9:加法部；10:帧内部预测用存储器(帧内部预测单元);11:环路滤波器部；12:运动补偿预测帧存储器(运动补偿预测单元);13:可变长编码部(可变长编码单元);31:可变长解码部(可变长解码单元);32:逆量化/逆变换部(逆量化单元);33:切换开关；34:帧内部预测部(帧内部预测单元);35:运动补偿部(运动补偿预测单元)；36:加法部；37:帧内部预测用存储器(帧内部预测单元)；38:环路滤波器部；39:运动补偿预测帧存储器(运动补偿预测单元)。
【具体实施方式】
[0039]以下，为了更详细地说明本发明，依照附图来说明用于实施本发明的方式。
[0040]实施方式1.[0041]图1是示出本发明的实施方式I的运动图像编码装置的结构图。
[0042]在图1中，块分割部I实施如下处理:如果输入了表示输入图像的影像信号，则将该输入图像分割为由编码控制部2决定的最大尺寸的编码块即最大编码块，并且直至达到由编码控制部2决定的上限的层次数为止，将该最大编码块层次性地分割为各编码块。
[0043]即，块分割部I实施如下处理:根据由编码控制部2决定的分割而将输入图像分割为各编码块，并输出该编码块。另外，各编码块被分割为成为预测处理单位的一个或多个预测块。
[0044]另外，块分割部I构成了块分割单元。
[0045]编码控制部2实施如下处理:决定成为实施预测处理时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从而决定各个编码块的尺寸。
[0046]另外，编码控制部2实施如下处理:从可选择的I个以上的编码模式(I个以上的帧内部编码模式、I个以上的帧间编码模式)中，选择针对从块分割部I输出的编码块的编码效率最高的编码模式。
[0047]另外，编码控制部2实施如下处理:在编码效率最高的编码模式是帧内部编码模式的情况下，针对作为预测处理单位的每个预测块，决定在以该帧内部编码模式实施针对编码块的帧内部预测处理时所使用的帧内部预测参数，在编码效率最高的编码模式是帧间编码模式的情况下，针对作为预测处理单位的每个预测块，决定在以该帧间编码模式实施针对编码块的帧间预测处理时所使用的帧间预测参数。
[0048]而且，编码控制部2实施如下处理:决定对变换/量化部7以及逆量化/逆变换部8提供的预测差分编码参数。
[0049]另外，编码控制部2构成了编码控制单元。
[0050]切换开关3实施如下处理:如果由编码控制部2决定的编码模式是帧内部编码模式，则将从块分割部I输出的编码块输出到帧内部预测部4，如果由编码控制部2决定的编码模式是帧间编码模式，则将从块分割部I输出的编码块输出到运动补偿预测部5。
[0051 ] 帧内部预测部4实施如下处理:针对从切换开关3输出的编码块，按照作为预测处理单位的每个预测块，一边参照帧内部预测用存储器10中储存的局部解码图像，一边实施使用了由编码控制部2决定的帧内部预测参数的帧内部预测处理(帧内预测处理)来生成帧内部预测图像。
[0052]另外，帧内部预测部4在生成预测图像时的帧内预测处理是水平方向预测处理的情况下，对预测块的左面所邻接的像素的亮度值相加与预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值，在生成预测图像时的帧内预测处理是垂直方向预测处理的情况下，对预测块的上面所邻接的像素的亮度值相加与预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值。
[0053]由帧内部预测部4以及帧内部预测用存储器10构成了帧内部预测单元。
[0054]运动补偿预测部5实施如下处理:按照作为预测处理单位的预测块单位，比较从切换开关3输出的编码块和储存在运动补偿预测帧存储器12中的I帧以上的局部解码图像，来搜索运动矢量，并使用该运动矢量和由编码控制部2决定的帧间预测参数，按照预测块单位实施针对该编码块的帧间预测处理(运动补偿预测处理)而生成帧间预测图像。
[0055]减法部6实施如下处理:从由块分割部I输出的编码块减去由帧内部预测部4生成的帧内部预测图像或者由运动补偿预测部5生成的帧间预测图像，将作为其相减结果的预测差分信号(差分图像)输出到变换/量化部7。
[0056]变换/量化部7实施如下处理:参照由编码控制部2决定的预测差分编码参数，实施针对从减法部6输出的预测差分信号的正交变换处理(例如，DCT (离散余弦变换)、预先对特定的学习序列进行基底设计的KL变换等正交变换处理)来计算变换系数，并且参照该预测差分编码参数，对该变换系数进行量化，将作为量化后的变换系数的压缩数据输出到逆量化/逆变换部8以及可变长编码部13。
[0057]另外，由减法部6以及变换/量化部7构成了量化单元。
[0058]逆量化/逆变换部8实施如下处理:参照由编码控制部2决定的预测差分编码参数，对从变换/量化部7输出的压缩数据进行逆量化，并且参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从减法部6输出的预测差分信号相当的局部解码预测差分信号。
[0059]加法部9实施如下处理:将由逆量化/逆变换部8计算出的局部解码预测差分信号、与由帧内部预测部4生成的帧内部预测图像或者由运动补偿预测部5生成的帧间预测图像进行相加，来计算与从块分割部I输出的编码块相当的局部解码图像。
[0060]帧内部预测用存储器10是储存由加法部9计算出的局部解码图像的记录介质。
[0061]环路滤波器部11实施如下处理:对由加法部9计算出的局部解码图像实施规定的滤波处理，输出滤波处理后的局部解码图像。
[0062]运动补偿预测帧存储器12是储存滤波处理后的局部解码图像的记录介质。
[0063]可变长编码部13实施如下处理:对从变换/量化部7输出的压缩数据、编码控制部2的输出信号(最大编码块内的块分割信息、编码模式、预测差分编码参数、帧内部预测参数或者帧间预测参数)、以及从运动补偿预测部5输出的运动矢量(编码模式是帧间编码模式的情况)进行可变长编码，而生成比特流。
[0064]另外，可变长编码部13构成了可变长编码单元。
[0065]在图1的例子中，设想作为运动图像编码装置的构成要素的块分割部1、编码控制部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、帧内部预测用存储器10、环路滤波器部11、运动补偿预测帧存储器12以及可变长编码部13的各个由专用的硬件(例如，安装了 CPU的半导体集成电路、单片式微型计算机等)构成的例子，但在运动图像编码装置由计算机构成的情况下，也可以将记述了块分割部1、编码控制部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波器部11以及可变长编码部13的处理内容的程序储存到计算机的存储器中，并由该计算机的CPU执行该存储器中储存的程序。
[0066]图2是示出本发明的实施方式I的运动图像编码装置的处理内容(运动图像编码方法)的流程图。
[0067]图3是示出本发明的实施方式I的运动图像解码装置的结构图。
[0068]在图3中，可变长解码部31实施如下处理:如果输入了由图1的运动图像编码装置生成的比特流，则从该比特流，对压缩数据、块分割信息、编码模式、帧内部预测参数(编码模式是帧内部编码模式的情况)、帧间预测参数(编码模式是帧间编码模式的情况)、预测差分编码参数以及运动矢量(编码模式是帧间编码模式的情况)进行可变长解码。
[0069]另外，可变长解码部31构成了可变长解码单元。
[0070]逆量化/逆变换部32实施如下处理:参照由可变长解码部31可变长解码了的预测差分编码参数，对由可变长解码部31可变长解码了的压缩数据进行逆量化，并且参照该预测差分编码参数来实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从图1的逆量化/逆变换部8输出的局部解码预测差分信号相同的解码预测差分信号。
[0071]另外，逆量化/逆变换部32构成了逆量化单元。
[0072]切换开关33实施如下处理:如果由可变长解码部31可变长解码了的编码模式是帧内部编码模式，则将由可变长解码部31可变长解码了的帧内部预测参数输出到帧内部预测部34，如果由可变长解码部31可变长解码了的编码模式是帧间编码模式，则将由可变长解码部31可变长解码了的帧间预测参数以及运动矢量输出到运动补偿部35。
[0073]帧内部预测部34实施如下处理:针对根据由可变长解码部31可变长解码了的块分割信息以及编码模式而确定的解码块(与图1的运动图像编码装置的“编码块”相当的块)，按照作为预测处理单位的每个预测块，一边参照帧内部预测用存储器37中储存的解码图像，一边实施使用了从切换开关33输出的帧内部预测参数的帧内部预测处理(帧内预测处理)而生成帧内部预测图像。
[0074]另外，帧内部预测部34在生成预测图像时的帧内预测处理是水平方向预测处理的情况下，对预测块的左面所邻接的像素的亮度值相加与预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值，在生成预测图像时的帧内预测处理是垂直方向预测处理的情况下，对预测块的上面所邻接的像素的亮度值相加与预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为预测图像的预测值。
[0075]由帧内部预测部34以及帧内部预测用存储器37构成了帧内部预测单元。
[0076]运动补偿部35实施如下处理:针对根据由可变长解码部31可变长解码了的块分割信息以及编码模式而确定的解码块，按照作为预测处理单位的每个预测块，一边参照运动补偿预测帧存储器39中储存的解码图像，一边实施使用了从切换开关33输出的运动矢量和帧间预测参数的帧间预测处理(运动补偿预测处理)而生成帧间预测图像。
[0077]加法部36实施如下处理:将由逆量化/逆变换部32计算出的解码预测差分信号、与由帧内部预测部34生成的帧内部预测图像或者由运动补偿部35生成的帧间预测图像进行相加，计算与从图1的加法部9输出的局部解码图像相同的解码图像。
[0078]帧内部预测用存储器37是储存由加法部36计算出的解码图像的记录介质。
[0079]环路滤波器部38实施如下处理:对由加法部36计算出的解码图像实施规定的滤波处理，输出滤波处理后的解码图像。
[0080]运动补偿预测帧存储器39是储存滤波处理后的解码图像的记录介质。
[0081]在图3的例子中，设想作为运动图像解码装置的构成要素的可变长解码部31、逆量化/逆变换部32、切换开关33、帧内部预测部34、运动补偿部35、加法部36、帧内部预测用存储器37、环路滤波器部38以及运动补偿预测帧存储器39的各个由专用的硬件(例如，安装了 CPU的半导体集成电路、单片式微型计算机等)构成的例子，但在运动图像解码装置由计算机构成的情况下，也可以将记述了可变长解码部31、逆量化/逆变换部32、切换开关33、帧内部预测部34、运动补偿部35、加法部36以及环路滤波器部38的处理内容的程序储存到计算机的存储器中，并由该计算机的CPU执行该存储器中储存的程序。
[0082]图4是示出本发明的实施方式I的运动图像解码装置的处理内容(运动图像解码方法)的流程图。[0083]接下来，说明动作。
[0084]在该实施方式I中，说明运动图像编码装置和运动图像解码装置，其中，所述运动图像编码装置将影像的各帧图像作为输入图像，实施基于已编码的附近像素的帧内部预测或者邻近帧间的运动补偿预测，针对所得到的预测差分信号实施基于正交变换/量化的压缩处理，之后进行可变长编码来生成比特流，所述运动图像解码装置对从该运动图像编码装置输出的比特流进行解码。
[0085]图1的运动图像编码装置的特征在于，适应于影像信号的空间/时间方向的局部性的变化，将影像信号分割为各种尺寸的块，来进行帧内/帧间自适应编码。
[0086]一般，影像信号具有信号的复杂度在空间/时间上局部地变化的特性。在空间上观察时，有时在某个影像帧上，例如既有在天空、壁等那样的比较宽的图像区域中具有均匀的信号特性的图样，也混合存在人物或包含细微的纹理的绘画等在小的图像区域内具有复杂的纹理图案的图样。
[0087]即使在时间上观察，虽然关于天空、壁，局部性地时间方向的图样的变化小，但关于活动的人物、物体，由于其轮廓在时间上进行刚体/非刚体的运动，所以时间上的变化大。
[0088]在编码处理中，进行通过时间/空间上的预测来生成信号功率或熵小的预测差分信号从而削减整体的符号量的处理，但只要能够将预测中使用的参数均匀地应用于尽可能大的图像信号区域，就能够减小该参数的符号量。
[0089]另一方面，如果针对时间上/空间上变化大的图像信号图案，将同一预测参数应用于大的图像区域，则预测的错误增加，所以预测差分信号的符号量增加。
[0090]因此，在时间上/空间上变化大的区域中，优选减小应用同一预测参数来进行预测处理的块尺寸，增加预测中使用的参数的数据量，降低预测差分信号的功率/熵。
[0091]在该实施方式I中，为了进行与这样的影像信号的一般的性质适应的编码，采用如下结构:最初从规定的最大块尺寸开始预测处理等，层次性地分割影像信号的区域，针对所分割的每个区域，使预测处理、其预测差分的编码处理自适应化。
[0092]关于图1的运动图像编码装置设为处理对象的影像信号格式，除了由亮度信号和
2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色影像信号以外，还设为单色图像信号、红外线图像信号等影像帧由水平和垂直二维的数字采样(像素)列构成的任意的影像信号。
[0093]其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
[0094]在以下的说明中，为了方便，只要没有特别说明，就说明设为输入图像的影像信号是YUV信号、并且处理2个色差分量U、V相对亮度分量Y被子采样了的4:2:0格式的信号的情况。
[0095]另外，将与影像信号的各帧对应的处理数据单位称为“图片”。
[0096]在该实施方式I中，将“图片”设为依次扫描(逐行扫描)了的影像帧信号而进行说明，但在影像信号是隔行扫描信号的情况下，“图片”也可以是作为构成影像帧的单位的场图像信号。
[0097]最初，说明图1的运动图像编码装置的处理内容。
[0098]首先，编码控制部2决定成为编码对象的图片(当前图片)的编码中使用的最大编码块的尺寸、和对最大编码块进行层次分割的层次数的上限(图2的步骤ST1)。
[0099]作为最大编码块的尺寸的决定方法，例如既可以根据输入图像的影像信号的分辨率而对所有图片决定同一尺寸，也可以将输入图像的影像信号的局部性的运动的复杂度的差异作为参数而进行定量化，对于运动剧烈的图片决定小的尺寸，另一方面对于运动少的图片决定大的尺寸。
[0100]作为分割层次数的上限的决定方法，例如有根据输入图像的影像信号的分辨率针对所有图片决定同一层次数的方法、或在输入图像的影像信号的运动剧烈的情况下设定为增大层次数而能够检测更细微的运动且在运动少的情况下设定为抑制层次数的方法等。
[0101]另外，编码控制部2从可利用的I个以上的编码模式中选择与层次性地分割的各个编码块对应的编码模式(步骤ST2)。
[0102]S卩，编码控制部2针对最大编码块尺寸的每个图像区域，直至达到预先决定的分割层次数的上限为止，层次性地分割为具有编码块尺寸的编码块，决定针对各个编码块的编码模式。
[0103]在编码模式中有一个或多个帧内部编码模式(总称为“INTRA”)、和一个或多个帧间编码模式(总称为“INTER”)，编码控制部2从在该图片中可利用的所有编码模式或者其子集中，选择与各个编码块对应的编码模式。
[0104]其中，由后述块分割部I层次性地分割的各个编码块被进一步分割为作为进行预测处理的单位的一个或多个预测块，预测块的分割状态也作为信息而被包含于编码模式中。
[0105]编码控制部2的编码模式的选择方法是公知的技术，所以省略详细的说明，例如有如下方法等:使用可利用的任意的编码模式来实施针对编码块的编码处理而验证编码效率，在可利用的多个编码模式中选择编码效率最佳的编码模式。
[0106]另外，编码控制部2针对各个编码块的每一个，决定在压缩差分图像时使用的量化参数以及变换块尺寸，并且决定在实施预测处理时使用的预测参数(帧内部预测参数或者帧间预测参数)。
[0107]其中，在编码块进一步被分割为进行预测处理的预测块单位的情况下，能够针对每个预测块选择预测参数(帧内部预测参数或者帧间预测参数)。
[0108]进而，在编码模式是帧内部编码模式的编码块中，由于在如后所述那样进行帧内部预测处理时使用与预测块邻接的已编码的像素，所以需要按照预测块单位进行编码，所以可选择的变换块尺寸被限制为预测块的尺寸以下。
[0109]编码控制部2将包括量化参数以及变换块尺寸的预测差分编码参数输出到变换/量化部7、逆量化/逆变换部8以及可变长编码部13。
[0110]另外，编码控制部2将帧内部预测参数根据需要而输出到帧内部预测部4。
[0111]另外，编码控制部2将帧间预测参数根据需要而输出到运动补偿预测部5。
[0112]如果输入了输入图像的影像信号，则块分割部I将该输入图像的影像信号分割为由编码控制部2决定的最大编码块尺寸，进而将分割了的最大编码块层次性地分割为由编码控制部2决定的编码块，并输出该编码块。
[0113]此处，图5是示出最大编码块被层次性地分割为多个编码块的例子的说明图。
[0114]在图5中，最大编码块是被记载为“第O层次”的亮度分量具有(L°，M0)的尺寸的编码块。[0115]将最大编码块设为出发点，直至利用四叉树构造另行决定的规定的深度为止，层次性地进行分割，从而得到编码块。
[0116]在深度η中，编码块是尺寸(Ln，Mn)的图像区域。
[0117]其中，Ln和Mn既可以相同，也可以不同，但在图5中示出了 Ln = M1^A情形。
[0118]以后，将由编码控制部2决定的编码块尺寸定义为编码块的亮度分量中的尺寸(Ln, Mn)。
[0119]由于进行四叉树分割，所以(Ln+1，Mn+1) = (LV2，Mn/2 )始终成立。
[0120]另外，在RGB信号等所有颜色分量具有同一采样数的彩色影像信号(4:4:4格式)中，所有颜色分量的尺寸成为(Ln，Mn)，但在处理4:2:0格式的情况下，所对应的色差分量的编码块尺寸成为(Ln/2，Mn/2)。
[0121]以后，设为用Bn来表示第η层次的编码块，用m (Bn)来表示在编码块Bn中可选择的编码模式。
[0122]在由多个颜色分量构成的彩色影像信号的情况下，编码模式m (Bn)既可以构成为针对每个颜色分量分别使用单独的模式，也可以构成为针对所有颜色分量使用共同的模式。以后，只要没有特别说明，就指与YUV信号、4:2:0格式的编码块的亮度分量对应的编码模式而进行说明。
[0123]编码块Bn如图6所示，通过块分割部I而被分割为表示预测处理单位的一个或多个预测块。
[0124]以后，将属于编码块Bn的预测块记载为PinG是第η层次中的预测块编号)。图5不出P(i°和的一个例子。
[0125]在编码模式m (Bn)中作为信息而包含有如何进行编码块Bn的预测块分割。
[0126]关于预测块PA全部依照编码模式m (Bn)进行预测处理，但能够针对每个预测块ΡΛ选择单独的预测参数(帧内部预测参数或者帧间预测参数)。
[0127]编码控制部2针对最大编码块，例如生成图6所示那样的块分割状态来确定编码块。
[0128]图6 Ca)的虚线所包围的矩形表示各编码块，各编码块内存在的用斜线涂覆的块表示各预测块的分割状态。
[0129]图6 (b)是关于图6 (a)的例子利用四叉树图形表示了通过层次分割来分配编码模式m (Bn)的状况的图。图6 (b)的□所包围的节点是分配了编码模式m (Bn)的节点(编码块)。
[0130]该四叉树图形的信息与编码模式m (Bn) 一起从编码控制部2输出到可变长编码部13而被复用到比特流。
[0131]切换开关3在由编码控制部2决定的编码模式m (Bn)是帧内部编码模式的情况(m (Bn) e INTRA的情况)下，将从块分割部I输出的编码块Bn输出到帧内部预测部4。
[0132]另一方面，在由编码控制部2决定的编码模式m (Bn)是帧间编码模式的情况(m(Bn) e INTER的情况)下，将从块分割部I输出的编码块Bn输出到运动补偿预测部5。
[0133]在帧内部预测部4中，如果由编码控制部2决定的编码模式m (Bn)是帧内部编码模式(m (Bn) e INTRA的情况)，且从切换开关3接收到编码块Bn (步骤ST3)，则一边参照帧内部预测用存储器10中储存的局部解码图像，一边使用由编码控制部2决定的帧内部预测参数，来实施针对该编码块Bn内的各预测块Pi11的帧内部预测处理而生成帧内部预测图像P1Nmin (步骤 ST4)。
[0134]另外，运动图像解码装置需要生成与帧内部预测图像PINTEAin完全相同的帧内部预测图像，所以帧内部预测图像PINTEAin的生成中使用的帧内部预测参数从编码控制部2输出到可变长编码部13而被复用到比特流。
[0135]在后面详细叙述帧内部预测部4的处理内容。
[0136]在运动补偿预测部5中，如果由编码控制部2决定的编码模式m (Bn)是帧间编码模式(m (Bn)e INTER的情况)，且从切换开关3接收到编码块Bn (步骤ST3)，则比较该编码块^内的各预测块Pi11和运动补偿预测帧存储器12中储存的滤波处理后的局部解码图像来搜索运动矢量，使用该运动矢量和由编码控制部2决定的帧间预测参数，实施针对该编码块Bn内的各预测块Pi11的帧间预测处理，生成帧间预测图像PINTEKin (步骤ST5)。
[0137]另外，运动图像解码装置需要生成与帧间预测图像匕—^完全相同的帧间预测图像，所以帧间预测图像PINTEKin的生成中使用的帧间预测参数从编码控制部2输出到可变长编码部13而被复用到比特流。
[0138]另外，由运动补偿预测部5搜索到的运动矢量也输出到可变长编码部13而被复用到比特流。
[0139]减法部6如果从块分割部I接收到编码块Bn，则从该编码块Bn内的预测块Pi11减去由帧内部预测部4生成的帧内部预测图像PINTEAin或者由运动补偿预测部5生成的帧间预测图像PINTEKin中的某一方，将作为其相减结果的预测差分信号ein输出到变换/量化部7 (步骤 ST6)。
[0140]变换/量化部7如果从减法部6接收到预测差分信号θΛ则参照由编码控制部2决定的预测差分编码参数，实施针对该预测差分信号ef的正交变换处理(例如，DCT (离散余弦变换)、对预先确定的学习序列进行了基底设计的KL变换等正交变换处理)，计算变换系数。
[0141]另外，变换/量化部7参照该预测差分编码参数，对该变换系数进行量化，将作为量化后的变换系数的压缩数据输出到逆量化/逆变换部8以及可变长编码部13(步骤ST7)。
[0142]逆量化/逆变换部8如果从变换/量化部7接收到压缩数据，则参照由编码控制部2决定的预测差分编码参数，对该压缩数据进行逆量化。
[0143]另外，逆量化/逆变换部8参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理(例如，逆DCT、逆KL变换等)，计算与从减法部6输出的预测差分信号ef相当的局部解码预测差分信号并输出到加法部9 (步骤ST8)。
[0144]加法部9如果从逆量化/逆变换部8接收到局部解码预测差分信号，则将该局部解码预测差分信号、与由帧内部预测部4生成的帧内部预测图像PINTKAin和由运动补偿预测部5生成的帧间预测图像PINTEKin中的某一方进行相加，从而计算局部解码图像(步骤ST9)。
[0145]另外， 加法部9将该局部解码图像输出到环路滤波器部11，并且将该局部解码图像储存到帧内部预测用存储器10中。
[0146]该局部解码图像成为在以后的帧内部预测处理时使用的已编码的图像信号。
[0147]环路滤波器部11如果从加法部9接收到局部解码图像，则对该局部解码图像实施规定的滤波处理，将滤波处理后的局部解码图像储存到运动补偿预测帧存储器12中(步骤ST10)。
[0148]另外，关于由环路滤波器部11执行的滤波处理，既可以以所输入的局部解码图像的最大编码块或者各个编码块为单位进行，也可以在输入了 I个图片量的局部解码图像之后集中I个图片量来进行。
[0149]另外，作为规定的滤波处理的例子，可以举出以使编码块边界的不连续性(块噪声)不会变得显著的方式对块边界进行滤波的处理、以使作为输入图像的图1的影像信号与局部解码图像之间的误差成为最小的方式对局部解码图像的失真进行补偿的滤波处理等。
[0150]但是，在进行以使作为输入图像的图1的影像信号与局部解码图像之间的误差成为最小的方式对局部解码图像的失真进行补偿的滤波处理的情况下，需要在环路滤波器部11中参照影像信号，所以需要变更图1的运动图像编码装置使得对环路滤波器部11输入影像信号。
[0151]直至针对层次性地分割了的所有编码块Bn的处理完成为止重复实施步骤ST3?ST9的处理，如果针对所有编码块Bn的处理完成，则转移到步骤ST13的处理(步骤ST11、ST12)。
[0152]可变长编码部13对从变换/量化部7输出的压缩数据、从编码控制部2输出的最大编码块内的块分割信息(以图6 (b)为例子的四叉树信息)、编码模式m (Bn)以及预测差分编码参数、从编码控制部2输出的帧内部预测参数(编码模式是帧内部编码模式的情况)或者帧间预测参数(编码模式是帧间编码模式的情况)、以及从运动补偿预测部5输出的运动矢量(编码模式是帧间编码模式的情况)进行可变长编码，生成表示这些编码结果的比特流(步骤ST13)。
[0153]接下来，详细说明帧内部预测部4的处理内容。
[0154]图7是示出编码块Bn内的各预测块Pi11可选择的帧内部预测参数(帧内部预测模式)的一个例子的说明图。
[0155]在图7中，示出帧内部预测模式和该帧内部预测模式所表示的预测方向矢量，在图7的例子中，进行设计使得随着可选择的帧内部预测模式的个数增加而使预测方向矢量彼此的相对角度变小。
[0156]帧内部预测部4如上述那样参照预测块Pi11的帧内部预测参数，实施针对该预测块Pin的帧内部预测处理，生成帧内部预测图像PINTEAin，但此处说明生成亮度信号中的预测块Pin的帧内部预测信号的帧内部处理。
[0157]将预测块Pi11的尺寸设为IinXmi11像素。
[0158]图8是示出生成1广=nC = 4的情况的预测块Pi11内的像素的预测值时使用的像素的一个例子的说明图。
[0159]在图8中，将预测块Pi11的上面的已编码的像素(2Xlin+l)个、和左面的已编码的像素(2Xmin)个设为预测中使用的像素，但预测中使用的像素既可以多于图8所示的像素也可以少于图8所示的像素。
[0160]另外，在图8中，将预测块Pi11的附近的I行或者I列量的像素用于预测，但也可以将2行或2列、或者其以上的像素用于预测。
[0161]在针对预测块Pi11的帧内部预测模式的索引值是O (垂直方向预测)的情况下，根据下述式(I)而计算预测块Pin内的像素的预测值，生成预测图像。
[0162]S' (X，y) = S(x，-1) + (S(_1，y)-S(_l，_l))/t (I)
[0163]其中，坐标(x，y)是以预测块Pi11内的左上像素为原点的相对坐标(参照图9)，S，(X，y)是坐标(X，y)中的预测值，S (X, y)是坐标(X, y)中的已编码的像素的亮度值(解码了的亮度值)。
[0164]这样，对作为以往(MPEG-4 AVC/H.264)的垂直方向预测的预测值的预测块Pi11的上面所邻接的已编码的像素的亮度值S (X，-1)，相加与预测块Pi11的左面所邻接的已编码的像素(图10的粗框所包围的像素)的表示垂直方向的亮度值的变化量的S (-1，y) -S(-1，-1)成比例的值(将表示垂直方向的亮度值的变化量的S (-1，y)-S (-1，-1)缩放为Ι/t而得到的值)，将该相加后的值决定为预测图像的预测值，从而能够实现追随向预测方向的亮度值的变化的垂直方向预测。
[0165]但是，在上述预测值未收敛于亮度值可取的值的范围内的情况下，对值进行舍入使得收敛于该范围内。
[0166]另外，上述Ι/t也可以设为固定值，但还可以设为根据坐标(X，y)而变化的变量。
[0167]例如，如果设为t = 2X+1，则如图11所示，缩放值从左端的列起依次如1/2、1/4、1/8、1/16那样变小，所以从预测块Pi11的左面所邻接的已编码的像素起的距离越远，相加的垂直方向的亮度值的变化量越小。
[0168]由此，越是与预测块Pi11的左面所邻接的已编码的像素之间的距离远而相关变低的预测对象像素，越能够使预测块Pin的左面所邻接的已编码的像素的影响变小，所以能够进行和与预测块Pin的左面所邻接的已编码的像素之间的相关对应的高精度的预测。
[0169]进而，也可以限定进行式(I)的预测处理的预测块Pi11的块尺寸。一般在大的块尺寸中，在块内易于包含各种信号变化，能够使用方向性预测而高精度地进行预测的情形少，所以例如在16X16像素以上的块尺寸的预测块Pi11中不应用式(I)而设为以往的垂直方向预测的预测值(预测块Pi11的上面所邻接的已编码的像素的亮度值S(x，-1))，仅在比16X16像素小的块中应用式(1)，从而相比于以往的垂直方向预测，能够提高预测性能，并且抑制运算量的增加。
[0170]另外，在针对预测块Pi11的帧内部预测模式的索引值是I (水平方向预测)的情况下，根据下述式(2)而计算预测块Pi11内的像素的预测值，生成预测图像。
[0171]S ' (X, y) = S(_l, y) + (S(x,-1)-S(_1, _l))/u (2)
[0172]其中，坐标(x，y)是以预测块Pi11内的左上像素为原点的相对坐标(参照图9)，S，(X，y)是坐标(X，y)中的预测值，S (X, y)是坐标(X, y)中的已编码的像素的亮度值(解码了的亮度值)。
[0173]这样，对作为以往(MPEG-4 AVC/H.264)的水平方向预测的预测值的预测块Pi11的左面所邻接的已编码的像素的亮度值S (-1，y)，相加与预测块Pi11的上面所邻接的已编码的像素(图12的粗框所包围的像素)的表示水平方向的亮度值的变化量的S (X，-D-S(-1，-1)成比例的值(将表示水平方向的亮度值的变化量的S (x, -D-S (-1，-1)缩放为1/u而得到的值)，并将该相加后的值决定为预测图像的预测值，从而能够实现追随向预测方向的亮度值的变化的水平方向预测。
[0174]但是，在上述预测值未收敛于亮度值可取的值的范围内的情况下，对值进行舍入使得收敛于该范围内。
[0175]另外，上述1/u也可以设为固定值，但还可以设为随着坐标(X，y)而变化的变量。
[0176]例如，如果设为u = 2y+1，则如图13所示，缩放值从上端的行起依次如1/2、1/4、1/8、1/16那样变小，所以从预测块Pi11的上面所邻接的已编码的像素起的距离越远，相加的水平方向的亮度值的变化量越小。
[0177]由此，越是与预测块Pi11的上面所邻接的已编码的像素之间的距离远而相关变低的像素，越能够使预测块Pin的上面所邻接的已编码的像素的影响变小，所以能够进行和与预测块Pin的上面所邻接的已编码的像素之间的相关对应的高精度的预测。
[0178]进而，也可以限定进行式(2)的预测处理的预测块Pi11的块尺寸。一般在大的块尺寸中，在块内易于包含各种信号变化，能够使用方向性预测而高精度地进行预测的情形少，所以例如在16X16像素以上的块尺寸的预测块Pi11中不应用式(2)而设为以往的水平方向预测的预测值(预测块Pi11的左面所邻接的已编码的像素的亮度值S(-l，y))，仅在比16X16像素小的块中应用式(2)，从而相比于以往的水平方向预测，能够提高预测性能，并且抑制运算量的增加。
[0179]另外，在针对预测块Pi11的帧内部预测模式的索引值是2 (平均值预测)的情况下，将预测块Pin的上面所邻接的已编码的像素和预测块Pin的左面所邻接的已编码的像素的平均值作为预测块Pin内的像素的预测值而生成预测图像。
[0180]在帧内部预测模式的索引值是O (垂直方向预测)、1 (水平方向预测)、2 (平均值预测)以外的情况下，根据索引值 表示的预测方向矢量up=(dx，dy)，生成预测块Pi11内的像素的预测值。
[0181]如图9所示，如果以预测块Pi11的左上像素为原点而将预测块Pi11内的相对坐标设定为(x，y)，则预测中使用的参照像素的位置成为下述L和邻接像素的交点。
[0182]
【权利要求】
1.一种运动图像编码装置，其特征在于， 具备帧内部预测单元，该帧内部预测单元在选择帧内部编码模式作为与编码块对应的编码模式的情况下，针对成为进行所述编码块的预测处理时的预测处理单位的每个预测块，实施与所述帧内部编码模式对应的帧内预测处理来生成预测图像， 所述帧内部预测单元在生成所述预测图像时的帧内预测处理是水平方向预测处理的情况下，对所述预测块的左面所邻接的像素的亮度值，相加与所述预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值， 在生成所述预测图像时的帧内预测处理是垂直方向预测处理的情况下，对所述预测块的上面所邻接的像素的亮度值，相加与所述预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值。
2.根据权利要求1所述的运动图像编码装置，其特征在于，具备: 编码控制单元，决定成为实施编码处理时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从能利用的I个以上的编码模式中，选择与层次性地分割的各个编码块对应的编码模式； 块分割单元，将输入图像分割为由所述编码控制单元决定的最大尺寸的编码块，并且直至达到由所述编码控制单元决定的上限的层次数为止，层次性地分割所述编码块； 差分图像生成单元，生成由所述块分割单元分割的编码块与由所述帧内部预测单元生成的预测图像的差分图像； 图像压缩单元，对由所述差分图像生成单元生成的差分图像进行压缩，输出所述差分图像的压缩数据；以及` 可变长编码单元，对从所述图像压缩单元输出的压缩数据以及由所述编码控制单元选择的编码模式进行可变长编码，生成复用了所述压缩数据以及所述编码模式的编码数据的比特流。
3.根据权利要求2所述的运动图像编码装置，其特征在于， 设置运动补偿预测单元，该运动补偿预测单元在由编码控制单元选择帧间编码模式作为与由块分割单元分割了的编码块对应的编码模式的情况下，针对成为进行编码块的预测处理时的预测处理单位的每个预测块，使用参照图像，实施针对该预测块的运动补偿预测处理来生成预测图像， 差分图像生成单元生成由所述块分割单元分割的编码块与由帧内部预测单元或所述运动补偿预测单元生成的预测图像的差分图像。
4.根据权利要求3所述的运动图像编码装置，其特征在于， 编码控制单元针对各个编码块的每一个，决定在压缩差分图像时使用的量化参数以及变换块尺寸，并且针对该编码块的每个预测块，决定在实施预测处理时使用的帧内部预测参数或者帧间预测参数， 图像压缩单元以由所述编码控制单元决定的变换块尺寸为单位，实施由差分图像生成单元生成的差分图像的变换处理，并且使用由所述编码控制单元决定的量化参数，对所述差分图像的变换系数进行量化，将量化后的变换系数作为所述差分图像的压缩数据而输出，可变长编码单元在对从所述图像压缩单元输出的压缩数据以及由所述编码控制单元选择的编码模式进行可变长编码时，对由所述编码控制单元决定的帧内部预测参数或帧间预测参数、和量化参数及变换块尺寸进行可变长编码，生成所述压缩数据、所述编码模式、所述帧内部预测参数或所述帧间预测参数、所述量化参数及所述变换块尺寸的编码数据被复用了的比特流。
5.根据权利要求1所述的运动图像编码装置，其特征在于， 帧内部预测单元在生成预测图像时的帧内预测处理是水平方向预测处理的情况下，对所述预测块的左面所邻接的像素的亮度值，相加对所述预测块的上面所邻接的像素的水平方向的亮度值变化量乘以针对所述预测块的每行设定的缩放值而得到的值，将该相加后的值决定为所述预测图像的预测值， 在生成所述预测图像时的帧内预测处理是垂直方向预测处理的情况下，对所述预测块的上面所邻接的像素的亮度值，相加对所述预测块的左面所邻接的像素的垂直方向的亮度值变化量乘以针对所述预测块的每列设定的缩放值而得到的值，将该相加后的值决定为所述预测图像的预测值。
6.根据权利要求5所述的运动图像编码装置，其特征在于， 关于在由帧内部预测单元实施水平方向预测处理时使用的缩放值，越是与从所述预测块的上面所邻接的像素起的距离远的行有关的缩放值，设定为越小的值，关于在由所述帧内部预测单元实施垂直方向预测处理时使用的缩放值，越是与从所述预测块的左面所邻接的像素起的距离远的列有关的缩放值，设定为越小的值。
7.根据权利要求1所述的运动图像编码装置，其特征在于， 帧内部预测单元在生成预测图像时的帧内预测处理是水平方向预测处理的情况下，关于从所述预测块内的上端起规定的行数内的行，对所述预测块的左面所邻接的像素的亮度值相加与所述预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值，但关于所述预测块内的剩余的行，将所述预测块的左面所邻接的像素的亮度值决定为所述预测图像的预测值， 在生成所述预测图像时的帧内预测处理是垂直方向预测处理的情况下，关于从所述预测块内的左端起规定的列数内的列，对所述预测块的上面所邻接的像素的亮度值相加与所述预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值，但关于所述预测块内的剩余的列，将所述预测块的上面所邻接的像素的亮度值决定为所述预测图像的预测值。
8.根据权利要求5所述的运动图像编码装置，其特征在于， 可变长编码单元对针对所述预测块的每行设定的缩放值以及针对所述预测块的每列设定的缩放值进行可变长编码，生成复用了所述缩放值、压缩数据以及编码模式的编码数据的比特流。
9.根据权利要求7所述的运动图像编码装置，其特征在于， 可变长编码单元可变长编码对于将对所述预测块的左面所邻接的像素的亮度值相加与所述预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值而得到的值作为预测值的预测块内的行进行确定的块内信息、或者对于将对所述预测块的上面所邻接的像素的亮度值相加与所述预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值而得到的值作为预测值的预测块内的列进行确定的块内信息，生成复用了所述块内信息、压缩数据以及编码模式的编码数据的比特流。
10.一种运动图像解码装置，其特征在于， 具备帧内部预测单元，该帧内部预测单元在与可变长解码了的编码块有关的编码模式是帧内部编码模式的情况下，针对成为进行所述编码块的预测处理时的预测处理单位的每个预测块，实施与所述帧内部编码模式对应的帧内预测处理来生成预测图像， 所述帧内部预测单元在生成所述预测图像时的帧内预测处理是水平方向预测处理的情况下，对所述预测块的左面所邻接的像素的亮度值，相加与所述预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值， 在生成所述预测图像时的帧内预测处理是垂直方向预测处理的情况下，对所述预测块的上面所邻接的像素的亮度值，相加与所述预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值。
11.根据权利要求10所述的运动图像解码装置，其特征在于，具备: 可变长解码单元，从复用到比特流中的编码数据，对与层次性地分割了的各个编码块有关的压缩数据以及编码模式进行可变长解码； 差分图像生成单元，根据与由所述可变长解码单元可变长解码了的编码块有关的压缩数据，生成压缩前的差分图像；以及 解码图像生成单元，将由所述差分图像生成单元生成的差分图像与由所述帧内部预测单元生成的预测图像进行相加来生成解码图像。`
12.根据权利要求11所述的运动图像解码装置，其特征在于， 设置运动补偿预测单元，该运动补偿预测单元在与由可变长解码单元可变长解码了的编码块有关的编码模式是帧间编码模式的情况下，针对成为进行编码块的预测处理时的预测处理单位的每个预测块，使用参照图像，实施针对该预测块的运动补偿预测处理来生成预测图像， 解码图像生成单元将由差分图像生成单元生成的差分图像与由帧内部预测单元或所述运动补偿预测单元生成的预测图像进行相加来生成解码图像。
13.根据权利要求12所述的运动图像解码装置，其特征在于， 可变长解码单元从复用到比特流中的编码数据，对与各个编码块有关的压缩数据、编码模式、帧内部预测参数或帧间预测参数、量化参数以及变换块尺寸进行可变长解码， 差分图像生成单元使用与由所述可变长解码单元可变长解码了的编码块有关的量化参数，对与该编码块有关的压缩数据进行逆量化，以所述变换块尺寸为单位来实施逆量化后的压缩数据的逆变换处理，从而生成压缩前的差分图像。
14.根据权利要求10所述的运动图像解码装置，其特征在于， 帧内部预测单元在生成预测图像时的帧内预测处理是水平方向预测处理的情况下，对所述预测块的左面所邻接的像素的亮度值，相加对所述预测块的上面所邻接的像素的水平方向的亮度值变化量乘以针对所述预测块的每行设定的缩放值而得到的值，将该相加后的值决定为所述预测图像的预测值， 在生成所述预测图像时的帧内预测处理是垂直方向预测处理的情况下，对所述预测块的上面所邻接的像素的亮度值，相加对所述预测块的左面所邻接的像素的垂直方向的亮度值变化量乘以针对所述预测块的每列设定的缩放值而得到的值，将该相加后的值决定为所述预测图像的预测值。
15.根据权利要求14所述的运动图像解码装置，其特征在于， 关于在由帧内部预测单元实施水平方向预测处理时使用的缩放值，越是从所述预测块的上面所邻接的像素起距离远的行有关的缩放值，设定为越小的值，关于在由所述帧内部预测单元实施垂直方向预测处理时使用的缩放值，越是从所述预测块的左面所邻接的像素起距离远的列有关的缩放值，设定为越小的值。
16.根据权利要求10所述的运动图像解码装置，其特征在于， 帧内部预测单元在生成预测图像时的帧内预测处理是水平方向预测处理的情况下，关于从所述预测块内的上端起规定的行数内的行，对所述预测块的左面所邻接的像素的亮度值，相加与所述预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值，但关于所述预测块内的剩余的行，将所述预测块的左面所邻接的像素的亮度值决定为所述预测图像的预测值， 在生成所述预测图像时的帧内预测处理是垂直方向预测处理的情况下，关于从所述预测块内的左端起规定的列数内的列，对所述预测块的上面所邻接的像素的亮度值，相加与所述预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值，但关于所述预测块内的剩余的列，将所述预测块的上面所邻接的像素的亮度值决定为所述预测图像的预测值。
17.根据权利要求14所述的运动图像解码装置，其特征在于， 可变长解码单元在从复用到比特流中的编码数据对与编码块有关的压缩数据以及编码模式进行可变长解码时，可变长解码针对所述预测块的每行设定的缩放值以及针对所述预测块的每列设定的缩放值。
18.根据权利要求16所述的运动图像解码装置，其特征在于， 可变长解码单元在从复用到比特流中的编码数据对与编码块有关的压缩数据以及编码模式进行可变长解码时，可变长解码对于将对所述预测块的左面所邻接的像素的亮度值相加与所述预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值而得到的值作为预测值的预测块内的行进行确定的块内信息、或者对于将对所述预测块的上面所邻接的像素的亮度值相加与所述预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值而得到的值作为预测值的预测块内的列进行确定的块内信息。
19.一种运动图像编码方法，其特征在于， 具备帧内部预测处理步骤，在该帧内部预测处理步骤中，帧内部预测单元在选择帧内部编码模式作为与编码块对应的编码模式的情况下，针对成为进行所述编码块的预测处理时的预测处理单位的每个预测块，实施与所述帧内部编码模式对应的帧内预测处理来生成预测图像， 在所述帧内部预测处理步骤中，在生成所述预测图像时的帧内预测处理是水平方向预测处理的情况下，对所述预测块的左面所邻接的像素的亮度值，相加与所述预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值，在生成所述预测图像时的帧内预测处理是垂直方向预测处理的情况下，对所述预测块的上面所邻接的像素的亮度值，相加与所述预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值。
20.一种运动图像解码方法，其特征在于， 具备帧内部预测处理步骤，在该帧内部预测处理步骤中，帧内部预测单元在与可变长解码了的编码块有关的编码模式是帧内部编码模式的情况下，针对成为进行所述编码块的预测处理时的预测处理单位的每个预测块，实施与所述帧内部编码模式对应的帧内预测处理来生成预测图像， 在所述帧内部预测处理步骤中，在生成所述预测图像时的帧内预测处理是水平方向预测处理的情况下，对所述预测块的左面所邻接的像素的亮度值，相加与所述预测块的上面所邻接的像素的水平方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值， 在生成所述预测图像时的帧内预测处理是垂直方向预测处理的情况下，对所述预测块的上面所邻接的像素的亮度值，相加与所述预测块的左面所邻接的像素的垂直方向的亮度值变化量成比例的值，将该相加后的值决定为所述预测图像的预测值。
【文档编号】H04N19/61GK103503457SQ201280021843
【公开日】2014年1月8日 申请日期:2012年5月30日 优先权日:2011年6月24日
【发明者】峯泽彰, 杉本和夫, 关口俊一 申请人:三菱电机株式会社