技术领域
本发明涉及图像的编码以及解码的空间预测方法，尤其涉及伴随边缘检测的方向性空间插补、或者这样的插补的有效安装。
背景技术：
空间预测方法，换言之空间插补用于众多的应用中。空间插补尤其形成众多图像和运动图像的编码、以及处理应用的本质部分。在混合图像或者运动图像(视频)的编码算法中，根据已经编码/解码的块的像素，决定图像块的预测时，通常使用空间预测。另一方面，空间插补，作为被解码的图像或者运动图像(视频)信号的后处理的一部分，尤其也有可能为了错误隐藏而使用。
被标准化的运动图像编码算法的大部分，都是基于混合运动图像编码。混合运动图像编码方法中，为了达到希望的压缩增益，通常将几个不同的可逆以及不可逆压缩方式组合起来。此外，混合运动图像编码不仅是ISO/IEC标准(MPEG-1，MPEG-2，以及MPEG-4等MPEG-X标准)的基础，也是ITU-T标准(H.261和H.263等H.26x标准)的基础。最新且先进的运动图像编码标准，目前是示出为H.264/MPEG-4AVC(advanced video coding：高级视频编码)的标准。这个标准是由作为ITU-T以及ISO/IEC MPEG组的共同团队的JVT(joint video team：联合视频组)进行的标准化活动的结果。
被输入到编码器(图像编码装置)的图像信号(输入信号或者输入运动图像信号)是被称为帧(视频帧)的图像的列，各个帧是像素的二维矩阵。基于混合运动图像编码的所述标准全部都包括：将各个帧分别细分为由多个像素组成的更小的块的单元。通常，宏块(通常表示为16×16像素的块)是基本的图像要素，对其进行编码。然而，针对表示为子块信息和单纯块的8×8、4×4、16×8等尺寸更小的图像要素，可以进行各种各样的特定的编码步骤。
在H.264/MPEG-4AVC的帧内编码方式中，为了减少空间的冗余度，针对尺寸为4×4、8×8、16×16像素的子块或宏块进行空间预测。另外，空间预测也称为空间插补、图片内预测，帧内预测，将利用空间的方向性的空间预测称为方向性空间预测。而且，使用这样的空间预测的编码称为帧内编码或者空间编码，被帧内编码的图像或者块称为帧内编码图像或者帧内编码块。帧内预测中使用帧内预测模式(含有方向性空间预测模式的空间预测的模式)的事先定义的组，所述帧内预测模式是使用已被编码的相邻块的边界像素基本预测编码对象(预测对象)块的模式。
图1是概略地示出了用于4×4像素的子块的8个方向性空间预测模式的图。若方向性空间预测的类型(模式)不同，则会参考不同边缘方向，换言之，如图1所示的适用的二维外插的方向。针对尺寸4×4以及8×8的子块在空间预测中，存在8个不同的方向性空间预测模式和1个DC预测模式，针对16×16像素的宏块，存在3个不同的方向性空间预测模式和1个DC预测模式。
8个方向性空间预测模式，由{0,1,3,4,5,6,7,8}的值302所示，与8个不同的方向301的预测相对应。剩余1个帧内预测模式(空间预测模式)以值2表示，被称为“DC预测模式”。在DC预测模式中，以周围的参考像素的1个平均值来预测块内的像素全部。在8个方向性空间预测模式的每一个中，以沿着对应的方向301反复复制参考像素的方式，预测编码对象块。例如，作为“0”所示的方向性空间预测模式的垂直模式中，针对编码对象块的紧上面的行的参考像素在垂直方向上反复复制。在“1”所示的方向性空间预测模式的水平模式中，将编码对象块的紧左边列的参考像素在水平方向上反复复制。从3至8的值所示的剩余的方向性空间预测模式是倾斜方向的帧内预测模式，参考像素朝着与该模式对应的倾斜方向被反复复制。
在视频编码中，被帧内编码的块，有利于视频顺序的刷新和使错误不传播。然而，在空间编码中，编码效率比时间编码(帧间编码)的性能低，所以不仅是作为结果产生的比特率有很大变化，而且也使整体的压缩增益降低。
于是为了提高编码效率，公开了将预测块的像素的外插方向的数量，不限制为8个的改良型空间预测(参考专利文献1)。更准确地说，在该专利文献1中，对已经被解码的相邻块内，进行边缘检测。根据被判断为优先的边缘的检测，块的像素，根据属于相邻块的像素间的子像素位置被外插或者内插。
所述专利文献1中能够更精确地决定预测方向。这样，良好的空间预测变得精度更好，同时预测误差信号(编码对象块与预测块的差分)变得更小，所以成为更好的压缩。
(现有专利文献)
(专利文献)
专利文献1：欧洲专利申请公开第2081386号说明书
发明概要
发明要解决的问题
然而，边缘检测以及向检测出的优先边缘方向进行外插或者内插，需要除法运算等相当复杂的多个计算，所以复杂程度增加，降低了编码及/或解码的安装的容易程度。在很多应用中，需要至少使解码器(图像解码装置)的复杂程度尽可能减少。尤其是，在具有被限制的电源及/或处理方法的装置内使用时，需要编码器及/或解码器的安装是低复杂程度。
技术实现要素：
于是，本发明为了解决所述问题，其目的在于提供一种空间预测方法，能够减少空间预测的复杂程度。
用于解决问题的手段
为了达到上述目的，本发明的一个方案涉及的图像编码方法，通过对构成图像的编码对象块内的各个像素位置上的像素值进行预测，将图像按每个块进行编码，所述图像编码方法包括如下步骤：基于通过方向性帧内预测模式而得到的水平梯度以及垂直梯度中的至少一个，获得整数斜度，并使用该整数斜度按所述编码对象块内的每个像素位置决定作为边缘与相邻块的边界的交点的小数像素位置，该边缘是经过该像素位置的所述整数斜度的边缘，该相邻块是与所述编码对象块相邻的块；按所述编码对象块内的每个像素位置，基于针对该像素位置决定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值，从而生成预测块；以及从所述编码对象块减去所述预测块；所述整数斜度是通过参考存储在存储器中的除法运算表，将表示所述垂直梯度以及所述水平梯度中的一方的梯度的值用作除数的除法运算的结果，所述除法运算表按每个预先规定的值，示出该预先规定的值和将该预先规定的值用作除数的除法运算的结果，所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述编码对象块最近的列或行。
为了达到上述目的，本发明的一个方案涉及的图像编码装置，通过对构成图像的编码对象块内的各个像素位置上的像素值进行预测，将图像按每个块进行编码，所述图像编码装置具备：决定部，基于通过方向性帧内预测模式而得到的水平梯度以及垂直梯度中的至少一个，获得整数斜度，并使用该整数斜度按所述编码对象块内的每个像素位置决定作为边缘与相邻块的边界的交点的小数像素位置，该边缘是经过该像素位置的所述整数斜度的边缘，该相邻块是与所述编码对象块相邻的块；生成部，按所述编码对象块内的每个像素位置，基于针对该像素位置决定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值，从而生成预测块；以及减法部，从所述编码对象块减去所述预测块；所述整数斜度是通过参考存储在存储器中的除法运算表，将表示所述垂直梯度以及所述水平梯度中的一方的梯度的值用作除数的除法运算的结果，所述除法运算表按每个预先规定的值，示出该预先规定的值和将该预先规定的值用作除数的除法运算的结果，所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述编码对象块最近的列或行。
为了达到上述目的，本发明的一个方案涉及的空间预测方法，对构成图像的预测对象块内的各个像素位置上的像素值进行预测，所述空间预测方法包括如下步骤：通过获得与所述预测对象块相邻的相邻块内的像素间的水平梯度以及垂直梯度，来检测与所述预测对象块重叠的边缘；根据获得的所述水平梯度以及所述垂直梯度中的至少一个，算出整数斜度，该整数斜度以整数值表示检测出的所述边缘的斜度；按所述预测对象块内的每个像素位置，决定作为线与所述相邻块的边界的交点的小数像素位置，该线是具有被算出的所述整数斜度且经过该像素位置的线；以及按所述预测对象块内的每个像素位置，根据针对该像素位置决定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值，所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述预测对象块最近的列或行。
这样，首先被算出与预测对象块重叠的边缘(进入预测对象块的边缘)的整数斜度，按照该整数斜度，决定针对预测对象块内的每个像素位置的的小数像素位置(子像素位置)。在此，利用整数斜度，就不用进行除法运算就能决定针对预测对象块内的每个像素位置的小数像素位置。因此，能够避免按照预测对象块内的每个像素位置，进行除法运算。换言之，能够避免如下的运算：按照预测对象块内的每个像素位置，将该像素位置的水平方向或垂直方向的坐标值和边缘的水平分量以及垂直分量中的一方的分量相乘，进一步将该相乘的结果除以该边缘的另一方的分量。其结果，为了算出边缘的整数斜度只需进行一次除法运算，能够避免针对预测对象块内的每个像素位置进行除法运算，能够减少空间预测的复杂程度。换言之，能够控制复杂的运算。
换句话说，本发明的一个方案涉及的空间预测方法具有如下特征：首先，针对预测对象块进行一次算出，根据垂直梯度及水平梯度中的至少1个，算出被检测的边缘的整数斜度，决定该整数斜度的线和相邻块的边界像素的行或列的交点。
此外，在算出所述整数斜度时，针对所述水平梯度或所述垂直梯度，进行2的c次方的缩放，利用缩放后的所述水平梯度或所述垂直梯度算出所述整数斜度，其中c是正整数，在决定所述小数像素位置时，将进行缩放而生成的所述整数斜度乘以在所述预测对象块内成为预测的对象的像素位置的水平方向或垂直方向的坐标值，从而算出针对所述像素位置的所述小数像素位置。
这样，针对水平梯度或垂直梯度进行2的c次方的缩放，来算出整数斜度，所以将表示该缩放的对象的梯度的值作为被除数(分子)而进行除法运算，算出整数斜度的情况下，通过该缩放能够提高整数斜度的精度。加之，因为进行2的c次方的缩放，通过向左进行比特移位，能够简单地进行该缩放。并且，根据该缩放被算出的小数像素位置的重新缩放，能够根据向右比特移位简单地进行。此外，因为整数斜度的精度高，也能提高小数像素位置的精度。
此外，所述空间预测方法，还根据所述水平梯度或所述垂直梯度的函数，算出所述c。
这样，能够实现恰当地利用c的缩放。例如，将表示该缩放的对象的梯度的值作为被除数(分子)而进行除法运算，被算出整数斜度，表示该缩放的对象的梯度的值大的情况下，通过使适用于该梯度的c的值变小，从而能够避免整数斜度的计算机溢出。
此外，在算出所述整数斜度时，通过参考存储在存储器中的除法运算表，获得将表示所述垂直梯度以及所述水平梯度中的一方的梯度的值用作除数的除法运算的结果，并且利用获得的所述除法运算的结果算出所述整数斜度，所述除法运算表，按每个预先被规定的值，示出该预先被规定的值和将该预先被规定的值用作除数的除法运算的结果。
这样，除法运算表，按每个预先被规定的值，示出将该值用作除数(分母)时的除法运算的结果，并且参考该除法运算表，不用实际进行将表示水平梯度及垂直梯度中的一方的梯度的值用作除数(分母)的除法运算，能够简单地得到该除法运算的结果。而且，因为利用该除法运算的结果算出整数斜度，所以能够简单地算出该整数斜度，即以低复杂程度来算出。
另外，存储器可以是预测像素值的装置(帧内预测部)的内部存储器，也可以是外部存储器。此外，除算所示出的除法运算的结果中，优选的是被除数(分子)是2的a次方(a是正整数)。此外，优选的是a是水平梯度或垂直梯度的函数，尤其是作为除数来使用的梯度的函数。这样，对大的除数能够选择更大的a，对小的除数能够选择更小的a，能够进一步提高预测精度。
此外，所述除法运算表示出的所述预先被规定的值的最大值是2的b次方，其中b是整数，在算出所述整数斜度时，在表示所述垂直梯度以及所述水平梯度中用作除数的梯度的值大于2的b次方的情况下，通过将表示所述梯度的值向右比特移位，从而缩放所述梯度，获得将表示缩放后的所述梯度的值用作除数的除法运算的结果。
这样在表示所述垂直梯度以及所述水平梯度中用作除数的梯度的值大于2的b次方的情况下，换言之，超过除法运算表示出的预先被决定的值的最大值的情况下，通过将表示该梯度的值向右比特移位，从除法运算表获得被比特移位的值用作除数的除法运算的结果。因此，即使除法运算表有限制，能够超过该限制，简单地获得除法运算的结果。
此外，在算出所述整数斜度时，通过表示所述垂直梯度以及所述水平梯度中的一方的梯度的值除以表示另一方的梯度的值，来算出所述整数斜度，在按所述预测对象块内的每个像素位置预测该像素位置的像素值时，在所述边界，按照针对该像素位置决定的所述小数像素位置和与该小数像素位置相邻的多个整数像素位置之间的距离设定权重，通过分别对所述多个整数像素位置的像素值的每一个加上所述权重并算出平均，从而插补所述小数像素位置上的像素值。
这样，能够恰当地插补小数像素位置的像素值。
此外，在算出所述整数斜度时，针对所述预测对象块只算出一个所述整数斜度，在决定所述小数像素位置时，分别对所述预测对象块内的所有的像素位置的每一个，利用共同的所述整数斜度决定所述小数像素位置。
这样，针对预测对象块只算出一个所述整数斜度，所以能够控制运算处理的负担。
另外，本发明不仅能够作为这样的空间预测方法来实现，而且作为根据该空间预测方法预测空间的装置、集成电路、用于使计算机按照该空间预测方法进行预测的程序、以及存储该程序的记录介质来实现。并且，能够作为利用根据该空间预测方法预测出的空间来编码图像的图像编码装置、集成电路、图像编码方法、使计算机按照该图像编码方法进行编码的程序、以及存储该程序的记录介质来实现。并且，能够作为利用根据该空间预测方法预测出的空间来解码图像的图像解码装置、集成电路、图像解码方法、使计算机按照该图像解码方法进行解码的程序、以及存储该程序的记录介质来实现。
上述的空间预测装置，对构成图像的预测对象块内的各个像素位置上的像素值进行预测，所述空间预测装置具备：检测部，通过获得与所述预测对象块相邻的相邻块内的像素间的水平梯度及垂直梯度，来检测与所述预测对象块重叠的边缘；算出部，根据获得的所述水平梯度及所述垂直梯度中的至少一个，算出整数斜度，该整数斜度以整数值表示检测出的所述边缘的斜度；决定部，按所述预测对象块内的每个像素位置，决定作为线与所述相邻块的边界的交点的小数像素位置，该线是具有被算出的所述整数斜度且经过该像素位置的线；以及预测部，按所述预测对象块内的每个像素位置，根据针对该像素位置决定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值，所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述预测对象块最近的列或行。
此外，所述算出部，针对所述水平梯度或所述垂直梯度，进行2的c次方的缩放，利用缩放后的所述水平梯度或所述垂直梯度算出所述整数斜度，其中c是正整数，所述决定部，将进行缩放而生成的所述整数斜度乘以在所述预测对象块内成为预测的对象的像素位置的水平方向或垂直方向的坐标值，从而算出针对所述像素位置的所述小数像素位置。
此外，所述空间预测装置还可以具备系数算出部，该系数算出部根据所述水平梯度(Gy)或所述垂直梯度(Gx)的函数算出所述c。
此外，所述算出部，可以通过参考存储在存储器中的除法运算表，获得将表示所述垂直梯度(Gx)以及所述水平梯度(Gy)中的一方的梯度的值用作除数的除法运算的结果，并且利用获得的所述除法运算的结果算出所述整数斜度，所述除法运算表，按每个预先被规定的值，示出该预先被规定的值和将该预先被规定的值用作除数的除法运算的结果。
此外，所述除法运算表示出的所述预先被规定的值的最大值是2的b次方，其中b是整数，所述算出部，在表示所述垂直梯度(Gx)以及所述水平梯度(Gy)中用作除数的梯度的值大于2的b次方的情况下，通过将表示所述梯度的值向右比特移位，从而缩放所述梯度，获得将表示缩放后的所述梯度的值用作除数的除法运算的结果。
此外，所述算出部，可以通过表示所述垂直梯度(Gx)以及所述水平梯度(Gy)中的一方的梯度的值除以表示另一方的梯度的值，来算出所述整数斜度，所述预测部，可以在所述边界，按照针对该像素位置决定的所述小数像素位置和与该小数像素位置相邻的多个整数像素位置之间的距离设定权重，通过分别对所述多个整数像素位置的像素值的每一个加上所述权重并算出平均，从而插补所述小数像素位置上的像素值。
此外，所述算出部，可以针对所述预测对象块只算出一个所述整数斜度，所述决定部，可以分别对所述预测对象块内的所有的像素位置的每一个，利用共同的所述整数斜度决定所述小数像素位置。
发明效果
本发明的空间预测方法能够减少空间预测的复杂程度。
附图说明
图1是概略地表示4×4像素的子块使用的8个方向性空间预测模式的图。
图2是表示本发明的实施例1中的图像编码装置的一例的方框图。
图3是表示本发明的实施例1中的图像解码装置的一例的方框图。
图4A是表示本发明的实施例1中的边缘矢量和向着正交轴X及Y的该边缘矢量的投影的图。
图4B是表示在本发明的实施例1中的外插的预测的对象的外插对象块的4×4像素的光栅的图。
图4C是表示在本发明的实施例1中的边缘从左侧进入到预测对象块的例子的图。
图4D是表示本发明的实施例1中的边缘方向的其他例的图。
图5是表示本发明的实施例1中的帧内预测部的处理的流程图。
图6是表示本发明的实施例1中的系统的一例的图。
图7是表示本发明的一个方案涉及的空间预测方法的流程图。
图8是实现内容分发服务的内容提供系统的全体构成图。
图9是数字广播用系统的全体构成图。
图10是表示电视机的构成例的方框图。
图11是表示在作为光盘的记录介质上读写信息的信息再生/记录部的构成例的方框图。
图12是表示作为光盘的记录介质的构成例的图。
图13A是表示便携式电话的一例的图。
图13B是表示便携式电话的构成例的方框图。
图14是表示多路复用数据的构成的图。
图15是模式性地表示了各流在多路复用数据中怎样被多路复用的图。
图16是更详细地表示了PES数据包列中视频流怎样被存储的图。
图17是表示多路复用数据的TS数据包和源数据包的构造的图。
图18是表示PMT的数据构成的图。
图19是表示多路复用数据信息的内部构成的图。
图20是表示流属性信息的内部构成的图。
图21是表示识别影像数据的步骤的图。
图22是表示实现各个实施例的运动图像编码方法以及运动图像解码方法的集成电路的构成例的方框图。
图23是表示切换驱动频率的构成的图。
图24是表示识别影像数据，切换驱动频率的步骤的图。
图25是表示使影像数据的标准和驱动频率对应的一览表的一例的图。
图26A是表示将信号处理部的模块共享化的构成的一例的图。
图26B是表示将信号处理部的模块共享化的构成的其他一例的图。
具体实施方式
下面，参考附图来说明本发明的实施方式。
(实施例1)
图2是示出本实施例中的图像编码装置的编码器100的一例的方框图。该编码器100具备：减法运算部105、变换/量化部110、逆量化/逆变换部120、加法运算部125、解块滤波器130、存储器140、插补滤波器150、运动补偿预测部160、运动检测部165、帧内预测部170、帧内/帧间切换部175、后置滤波器设计部180、以及熵编码部190。
首先，减法运算部105决定输入运动图像信号(输入信号)的编码对象块与针对编码对象块被预测的预测块(预测信号)之间的差分(预测误差信号、残差信号、或预测误差块)。预测信号(预测块)可以在时间预测(帧间预测)或空间预测中获得。预测类型可以按每个帧、每个片、或每个宏块变更。
使用了时间预测的预测编码被称为帧间编码，使用了空间预测的预测编码被称为帧内编码。面向运动图像的帧的预测类型，为了尽可能达到高压缩增益，能够由用户来设定，或者能够由编码器100来选择。按照被选择的预测类型，帧内/帧间切换部175将对应的预测信号输出到减法运算部105。使用了时间预测的预测信号，根据存储在存储器140中的已被编码的图像所导出。使用了空间预测的预测信号，根据存储在存储器140中的已编码以及已解码的、相同帧的相邻块的边界像素值所导出。这样，存储器140作为延迟部发挥作用，该延迟部使编码对象的信号值(像素值)和根据前面的信号值生成的预测信号值(像素值)之间的比较成为可能。存储器140存储已编码(以及解码)的多个帧。变换/量化部110将表示为预测误差信号或残差信号的、输入信号与预测信号之间的差分，变换为系数(频率系数)进行量化。而且，为了以可逆压缩方法进一步削减数据量，熵编码部190对被量化的系数(编码运动图像或编码运动图像顺序)进行熵编码。这主要由将可变长的码字(codeword)适用于编码来实现。码字长根据出现概率被选择。熵编码部190输出包含该被熵编码的编码运动图像的编码信号(比特流)。
帧内编码图像(也被称为I类型图像、I图片或I帧)，只由被帧内编码的宏块所构成。换言之，帧内编码图像，可以不参考其他的已解码的图像而解码。帧内编码图像根据因有可能从帧传播到帧的时间预测所产生的错误，将编码运动图像顺序进行刷新，所以对编码运动图像顺序(编码运动图像)给予抗错误性。加之，I帧使编码运动图像顺序内的随机存取成为可能。
帧内预测部170使用帧内预测模式的事先被定义的组。这个组中既有利用已被编码的相邻块的边界像素来预测编码对象块的帧内预测模式，也有作为匹配的模板等利用已被编码的相同帧内的像素所构成的搜索区域的帧内预测模式。
帧内预测模式的事先被定义的组中包含几个方向性帧内预测模式。若方向性帧内预测模式不同，则这些模式参考与适用的二维预测不同的方向。通过这样，即使在各种边缘方向上，也能够有效率地进行空间帧内预测。而且，如上所述，减法运算部105从输入信号减去这样通过帧内预测获得的预测信号。此外，帧内预测部170，将表示帧内预测模式的帧内预测模式信息输出到熵编码部190(图2中未图示)。在这里，该帧内预测模式信息被熵编码，与编码信号一起被输出。另外，本实施例的帧内预测部170，除了这样的处理以外也进行有特征的空间预测。该有特征的空间预测的详细内容在后面说明。
为了获得解码信号(局部解码信号)，在编码器100中编入了解码部。换言之，编码器100包含逆量化/逆变换部120，以使与编码处理对应的解码处理能够进行。逆量化/逆变换部120，针对上述的预测误差信号进行正交变换(频率变换)以及进行量化而生成的量化值，进行逆量化以及逆正交变换(逆频率变换)。其结果，逆量化/逆变换部120生成解码预测误差信号并输出。
在这里，因为被称为量化噪声的量化误差，解码预测误差信号与原来的预测误差信号不同。加法运算部125，通过将解码预测误差信号与预测信号相加，获得再构成信号(再构成图像)。为了在编码器(图像编码装置)100侧和解码器(图像解码装置)侧维持互换性，根据编码器100和解码器双方能够把握的继编码被解码的输入信号(解码信号)，由插补滤波器150、帧内预测部170以及运动补偿预测部160构成的构成要素群获得预测信号。因为量化，量化噪声被重叠在再构成信号。因为块单位的编码，多数情况下被重叠的噪声中存在成块特性，其结果，尤其是较强的量化中，再构成图像(由再构成信号所示的图像)的块边界能够看得见并知道。为了减少这些人为因素，解块滤波器130针对所有再构成图像的块，适用解块滤波处理。解块滤波器130将适用了解块滤波处理的再构成信号，作为解码信号存储到存储器140。
根据帧间编码被编码的图像(帧间编码图像)，为了解码，需要预先被编码后被解码的解码图像(由解码信号所示的图像)。时间预测(帧间预测)，是单方向，换言之可以只使用编码对象的帧之前的时序排列的帧，或者是双方向，换言之也可以使用编码对象的帧之后的帧。根据单方向的时间预测被编码的图像，是被称为P帧(P图片)的帧间编码图像，根据双方向的时间预测被编码的图像，是被称为B帧(B图片)的帧间编码图像，通常，帧间编码图像由P型、B型、或I型的宏块中的任一个组成。帧间编码宏块(P或B宏块)，利用运动补偿预测部160被预测。首先，由运动检测部165在存储在存储器140的预先被编码以及被解码的帧内，发现针对编码对象块最匹配的块。而且，运动补偿预测部160，将该最匹配的块作为预测信号来输出。此外，运动检测部165，将表示编码对象块和与其最一致(匹配)块之间的相对偏差的数据，且是在比特流的编码运动图像顺序内的三维(1时间轴，2空间轴)形状的数据，作为运动数据(运动矢量)输出到运动补偿预测部160。插补滤波器150为了优化预测精度，将参考图像(解码图像)的分辨率，变换为空间的子像素分辨率，例如1/2像素或1/4像素分辨率。换言之，插补滤波器150在参考图像上插补子像素。这样，运动检测部165检测子像素精度(小数像素精度)的运动矢量。
变换/量化部110，不管在帧内编码，还是在帧间编码，通过对作为输入信号与预测信号之间的差的预测误差信号进行正交变换(频率变换)并进行量化，来生成作为被量化的系数(频率系数)的量化值。该频率变换中，通常利用二维的DCT(离散余弦变换：discrete cosine transformation)或该整数形式等正交变换。因为，正交变换会有效地减少加工前的运动图像的相关。进行了该变换后，能够使低频率成分的编码比高频率成分的编码花费更多的比特，在大部分情况下，对于画质来说低频率成分比高频率成分重要。熵编码部190将量化值的2维矩阵变换为1维的排列。通常，通过所谓之字形扫描来进行上述变换。在之字形扫描中，从位于2维排列的左上角的DC系数开始朝着位于右下角的AC系数，按规定的顺序扫描2维排列。通常，能量集中在相当于低频率的系数的2维矩阵的左上部，之字形扫描在结果上成为最后的值为0的排列。这样，能够进行作为实际的熵编码的部分/实际的熵编码之前的部分而利用扫描宽度编码的有效的编码。
此外，变换/量化部110采用标量量化。该标量量化，可由量化参数(QP)和可定制的量化矩阵(QM)进行控制。变换/量化部110，根据被量化的系数按每个宏块来选择52个量化参数中的1个。加之，量化矩阵被具体地设计为，维持信号源(sauce)内的特定的频率，避免画质的损失。量化矩阵与编码运动图像顺序一起被包含在比特流上，进行信号传递。
比特流(编码信号)具有2个功能层，换言之具有VCL(视频编码层：Video Coding Layer)和NAL(网络提取层：Network Abstraction Layer)。VCL提供如上述简单说明的编码功能。NAL按照经由信道的传输和向记忆装置的存储等新的应用，在被称为NAL单元的标准化单元封装信息要素。信息要素是指，例如被编码的预测误差信号(编码运动图像)、和在编码运动图像的解码中需要的其他信息(例如预测类型、量化参数、以及运动矢量等)。比特流中还有包含编码运动图像和与其相关信息的VCL NAL单元、以及封装与编码运动图像顺序整体相关的参数组等附加数据的非VCL单元，或者能够提供用于使解码的性能提高的追加信息的SEI(补充增强信息：Supplemental Enhancement Information)。
后置滤波器设计部180根据解码信号和输入信号，设计用于改善画质的滤波系数等的后置滤波器信息，将该后置滤波器信息输出到熵编码部190。后置滤波器信息经由比特流的SEI(SEI消息)被发送。换言之，后置滤波器设计部180通过比较本地的解码信号和原来的输入信号，在编码器100侧判断后置滤波器信息。通常，后置滤波器信息是用于使解码器设定恰当的滤波器的信息。该信息可以是滤波系数本身，或者可以是为了能够设定滤波系数的其他信息。从后置滤波器设计部180输出的后置滤波器信息，也发送到熵编码部190，以便被编码插入到编码信号。
图3是示出本发明的实施例的作为图像解码装置的解码器200的一例的方框图。该解码器200是对由编码器100所生成的编码信号进行解码的装置，具备：逆量化/逆变换部220、加法运算部225、解块滤波器230、存储器240、插补滤波器250、运动补偿预测部260、帧内预测部270、帧内/帧间切换部275、后置滤波器280、以及熵解码部290。另外，逆量化/逆变换部220、加法运算部225、解块滤波器230、存储器240、插补滤波器250、运动补偿预测部260、帧内预测部270、帧内/帧间切换部275分别与编码器100具备的逆量化/逆变换部120、加法运算部125、解块滤波器130、存储器140、插补滤波器150、运动补偿预测部160、帧内预测部170、以及帧内/帧间切换部175进行同样的处理工作。
具体而言，熵解码部290获得作为编码信号的比特流(向解码器200的输入信号)。该熵解码部290，对量化值(编码运动图像)、解码时需要的信息要素(运动数据和预测模式等)、后置滤波器信息进行熵解码。熵解码部290按照需要从比特流提取帧内预测模式信息，该帧内预测模式信息表示在解码对象的块中适用的空间预测的类型/模式。熵解码部290，将被提取的帧内预测模式信息输出到帧内预测部270。逆量化/逆变换部220获得1维地排列的量化值，并且为了获得2维矩阵，对该1维地排列的量化值进行逆扫描。加之，逆量化/逆变换部220，通过进行逆量化以及逆变换获得解码预测误差信号，该解码预测误差信号相当于从在编码器100的输入信号减去预测信号的差分。
加法运算部225从运动补偿预测部260或帧内预测部270获得预测信号。这些由运动补偿预测部260进行的时间预测以及帧内预测部270进行的空间预测，能够通过帧内/帧间切换部275来切换。换言之，预测可以按照用于信号传递的切换信息来切换在编码器100适用的预测。该切换信息在帧内预测的情况下包含预测类型(帧内预测模式信息),在运动补偿预测的情况下包含运动数据等的预测所需要的信息。为了进行运动补偿预测，按照运动矢量的现行值，有可能需要像素值的插补。这个插补由插补滤波器250进行。而且，加法运算部225，将空间区域的解码预测误差信号与从运动补偿预测部260或帧内预测部270获得的预测信号相加。
解块滤波器230，获得根据该加法运算生成的再构成图像(再构成信号)，并进行解块滤波处理，将其结果获得的解码信号存储到存储器240。该解码信号适用于之后接着的块的时间预测或空间预测的信号。后置滤波器280获得用于设定后置滤波处理的后置滤波器信息。后置滤波器280为了进一步改善画质，对解码信号适用后置滤波处理。这样，作为编码信号的输入信号被解码，解码结果作为输出信号而输出。
下面，对本实施例的帧内预测部170以及270进行的有特征的处理工作进行详细说明。
本发明的根本上存在的课题是基于如下的想法，通过改善边缘检测以及接着的预测的精度，能够提高图像以及运动图像编码中适用的空间(帧内)预测的效率。另一方面，边缘检测以及预测的改善，需要更大的计算能力，需要进行除法运算等复杂的运算。这样，有可能难以有效的实现这样的更复杂的方法。例如，通过对图像处理只用整数运算，就可提高编码以及解码的速度，有效地在通用处理器、数字信号处理器、或者向特殊或可编程的硬件进行安装。然而，被整数的精度所左右，有可能导致乘法运算和除法运算等运算溢出，或者精度下降。
在本实施例的帧内预测部170以及270，为了使帧内预测的预测能力提高，使用被改良的帧内预测。尤其，被改良的帧内预测依存于边缘检测，算出1块边界(或多个块边界)与作为优先被检测的边缘之间的交点。该交点可以在子像素(小数像素)位置上，根据这样的子像素位置进行插补。对应的帧内预测方法的例子，例如公开在所述专利文献1。与所述专利文献1公开的帧内预测方法相比，在本实施例的帧内预测部170以及270，能够有效率且低复杂程度地进行方向性空间预测。
通常，能够通过决定图像(像素间)的梯度矢量场(梯度矢量或梯度场)来检测出图像的边缘。梯度矢量在边缘上更大、且相对于边缘是垂直的。检测梯度场的最常用的方法之一是利用垂直以及水平Sobel算符的图像的卷积。这个算符由如下的掩模((公式1)以及(公式2))表示。
(公式1)
(公式2)
具体而言，特定的像素p(x,y)的垂直梯度矢量坐标(垂直坐标或垂直梯度)Gx和水平梯度矢量坐标(水平坐标或水平梯度)Gy，分别以垂直Sobel掩模Sx和水平Sobel掩模Sy，对像素p(x,y)进行滤波来获得。大部分的应用利用Sobel算符获得梯度场。然而，本发明不限定于根据Sobel算符的方法检测梯度场。通常可以利用提供梯度场的任何边缘检测方法。例如，可以使用与2×2和4×4等Sobel算符不同的尺寸的掩模，也可以使用更大的掩模。按照希望得到什么样的结果来选择特定的掩模。通过使用更大的掩模，可增加边缘检测的精度，抑制小局部边缘的检测，而另一方面，计算的复杂程度增加。代替上述，可以使用Scharr算符或基于更高阶的导函数的算符等Sobel掩模以外的掩模，来检测边缘。
针对位于预测对象块周围的块的多个像素，获得梯度矢量G的垂直坐标Gx以及水平坐标Gy时，能够决定优先梯度或优先边缘矢量。水平坐标(水平分量)Ex以及垂直坐标(垂直分量)Ey的优先边缘矢量(简称为边缘)E，针对梯度矢量G是垂直的。根据这些，优先边缘矢量E的水平分量Ex以及垂直分量Ey，分别与水平梯度Gy以及垂直梯度Gx的尺寸对应(例如，针对逆时针旋转Ex＝-Gy，Ey＝Gx)。通常，预测对象块的优先边缘，被判断为横穿预测对象块的边缘(与预测对象块重叠的边缘)中的具有最大范数的边缘。然而，也可以取边缘的加权平均，或者针对大多数的像素检测出的边缘方向等，使用其他的方法。
另外，梯度矢量的计算，并不一定对相邻块(与预测对象块相邻的周围块)的所有像素进行。通常，较有利的是只对与插补对象块(预测对象块)相邻的周围块的边界附近的像素进行梯度矢量的计算。通过只对相邻块的像素子组算出梯度矢量，从而减少了复杂程度。具体而言，掩模只与相邻块部分重叠，所以与预测对象块直接相邻的行及/或列，不太适合Sobel掩模(或者其他的梯度矢量检测掩模)的适用。因此，优选的是利用与预测对象块相邻的像素的第二个及/或第三个附近的行或列，算出梯度矢量。然而，本发明不被这些所限定，也可以使用相邻块的其他像素。
加之，对预测来说，因为只有进入预测对象块的边缘很重要，所以对靠近边界的边缘检测，也减少了检测错误的边缘的风险。
图4A表示边缘矢量E、和向着正交轴X以及Y的该边缘矢量E的投影Ex以及Ey(分别对应梯度Gy以及Gx)。图4B表示外插对象(预测对象)块的4×4像素的光栅。该外插对象是根据外插的预测的对象。具体而言，白圆点以及黑四角形表示外插对象块的像素。黑四角形440在以下的例子中表示值被外插的预测对象像素p(x,y)。正交轴X贯穿属于与预测对象块的上面相邻的块的像素的最下边的行。这个行的像素用黑三角形或黑圆点表示。正交轴Y贯穿属于与预测对象块的左侧相邻的块的像素的最右边的列。这个列的像素用黑圆点表示。
箭头记号430表示作为进入预测对象块的优先边缘(优先边缘矢量)E被检测的边缘。点线箭头记号表示将优先边缘例示地外插到预测对象像素p(x,y)。优先边缘E，在位于2个整像素(整数像素)410和420(以黑三角形表示的2个)的中间的子像素(小数像素)450，以角度α进入预测对象块。子像素450需要根据到最近的2个整像素410，420为止的距离来被插补。
为了尽可能不丢失边缘的清晰度、位置、以及方向，预测对象像素440沿着边缘方向，如以下所示的(公式3)，根据整像素410及420的双方的像素值被外插。
(公式3)
…(式3)
在这里，w1和w2是权重，优选的是该权重根据从交点(子像素)450分别到整像素410及420的距离而决定。假定点(0,0)位于预测对象块的左上角附近。此外，在所述(公式3)，与右边第1项权重w1相乘的值表示整像素420的像素值，与右边第2项权重w2相乘的值表示整像素410的像素值。此外，如图4B所示的边缘430一样，边缘沿着从左上侧朝向右下侧的方向的情况下，δx表示正的值。另外，边缘沿着从右上侧朝向左下侧的方向的情况下，δx表示负的值。例如，权重w1以及w2，能够按照如以下的(公式4)算出。
(公式4)
以及
…(式4)
在这里，δx是预测对象像素440的X坐标和交点450的X坐标之间的距离。(公式5)示出的算符表示“地板”运算，针对被算符，返还与其最近的小的整数(这个例子中等于1)。(公式6)示出的算符表示“天棚”运算，针对被算符，返还与其最近的大的整数(这个例子中等于2)。
(公式5)
…(式5)
(公式6)
…(式6)
如图4B所示，边缘430的斜度k，能够根据以下的(公式7)来算出。
(公式7)
而且，距离δx能够根据以下的(公式8)来算出。
(公式8)
这样δx的计算中需要除法运算。通常，针对预测对象块的各个像素，算出从预测对象像素的X坐标到边缘与上部周围块的像素的列的交点(插补位于该列的像素间的交点)为止的距离δx。根据算出的距离δx，将预测对象像素440，换言之预测对象像素440的像素值p(x,y)，作为p(x,y)＝p(x-δx,0)来预测。这意味着，预测对象像素440(预测对象像素440的像素值)，作为被插补的子像素450的像素值被外插。
本实施例中，所述的参数全部通常是任意的精度的整数值，被适用的运算是整数运算。例如，参数Ex以及Ey，能够以分别与其对应的8比特长变数来表示。在这样的情况下，距离δx也进行整数的乘法运算(y×Ex)，将该结果除以Ey，从而利用整数运算被算出。在整数运算的除法运算中，该结果也成为整数，整数除法的精度可能会降低一点。通常，被除数的值(y×Ex)越小，除数的值(Ey)越大，则精度的下降也越大。
如上所述，减少为了预测块的像素而进行的运算的数量，就需要首先算出预测对象块的全像素共同的边缘E的斜度k，从而减少执行的除法运算的数量。被算出的斜度k作为规定的精度的整数斜度K＝int(Ex/Ey)而被存储。而且，利用被算出的整数斜度K，如以下(公式9)所示一样算出针对预测对象像素的距离δx。
(公式9)
在这里，符号“int”是强调了操作数为规定的精度的整数的符号。因此，用于斜度的算出的除法运算，针对预测对象像素的块整体只被进行一次。加之，位于同一行的各个像素，预测对象像素的y坐标是相同的，所以距离δx需要按照插补对象(预测对象)块的每个像素行，只算出一次。整数的精度通常是按照安装环境而被选择。其精度，尤其在图像处理中，通常是8比特。因为输入像素成分通常也以8比特来采样。然而，也可以是12、16或者其他的比特数等更高的精度，也可以是比8比特低的精度。
然而，按照每个块只执行1次整数除法运算Ex/Ey，按每个行获得距离δx，与首先执行整数乘法运算(y×Ex)将其结果除以Ey这样的解法相比，可能会导致精度的下降。这因为被除数的Ex更小而产生。加之，之后的整数斜度乘以坐标y的乘法运算会导致，加倍增加对其他行的不准确性。尤其是，因y的值越大则精度变得越低。
继续保持按每个块进行1次除法运算这样的优点，又进一步提高计算的精度，就需要如以下的(公式10)所示，通过在被除数的数量上乘以缩放(Scaling)系数2c来获得整数斜度。在这里，c是整数。δxblock是，被乘以缩放系数的整数斜度。
(公式10)
c优选的是正整数。c的值可以是例如1和4之间的任何值。但是，其他的值也可以。也可以考虑块的尺寸来选择特定的值。例如，c的值的候补是4。因为，最大的块大小是16×16，所以y的最大的值成为16(24＝16)。同样，4×4尺寸的块中，c的值会成为2，8×8尺寸的块中，c的值会成为3。该乘法运算相等于被除数的Ex向左移位c比特。这会使被除数的值变大，所以基于除数Ey的除法运算的精度会增加。而且，距离δx按照以下的(公式11)所示来获得。
(公式11)
δx＝y·δxblock …(式11)
这个情况下，权重w1以及w2，分别按照以下的(公式12)以及(公式13)所示来算出。
(公式12)
w1＝(((δx+2c)＞＞c)＜＜c)-δx …(式12)
(公式13)
w2＝δx-((δx＞＞c)＜＜c) …(式13)
或者根据以下的(公式14)以及(公式15)所示的等式来算出。
(公式14)
w2＝δx&(2c-1) …(式14)
(公式15)
w1＝2c-w2 …(式15)
在这里，运算“>>”表示c比特的向右移位，这相当于通过将结果除以适用的缩放系数2c，重新缩放到原来的大小。运算“<<”表示c比特的向左移位，这相当于乘以缩放系数2c。运算“&”表示比特单位的逻辑算符“And”。
δx的值和权重w1以及w2没有移位，以系数2c被缩放。插补了子像素位置之后，需要进行最终结果除以适用的缩放系数2c的向右比特移位(bitshift)。换言之，像素p(x,y)的像素值，根据以下的(公式16)所表示。
(公式16)
p(x，y)＝(w1·p(x-(δx＞＞c)，0)+w2·p(x-((δx+2c)＞＞c)，0)+2c-1)＞＞c
…(式16)
在这里，偏移2c-1的作用是使最终值成为最接近的整数。在乘以2p(但p是整数(6为适合的值))预先增加了值Ex的精度的情况下，以系数2c增加精度的目的只是为了将y的乘法运算产生的误差除以2c。例如，整数斜度的值根据以下的(公式17)获得。
(公式17)
这个情况下，距离δx按照以下的(公式18)所示来获得。以y/2c乘以除法运算中产生的误差，以系数2p缩放距离δx。该缩放需要一边维持交点成为子像素位置的可能性，一边以整数运算算出距离。
(公式18)
δx＝(y·δxblock+2c-1)＞＞c …(式18)
权重w1以及w2按照以下的(公式19)以及(公式20)所示来获得。
(公式19)
w2＝δx&(2p-1) …(式19)
(公式20)
w1＝2p-w2 …(式20)
而且，作为预测值的预测对象图像p(x,y)的像素值，按照以下的(公式21)来获得。
(公式21)
p(x，y)＝(w1·p(x-(δx＞＞p)，0)+w2·p(x-((δx+2p)＞＞p)，0)+2p-1)＞＞p
…(式21)
从预测对象像素440的x坐标，到相邻于预测对象块的上部的像素的行与边缘的交点为止的距离δx的这个计算，能够使除法运算的精度提高。然而因为乘以y，该乘法运算结果成为必要以上大的值，按照计算机环境支持的整数精度的情况，也有可能成为计算机溢出的原因。
为了一边避免计算机溢出一边维持除法运算的精度提高，如以下的(公式22)所示，按照相当于Ex的值的垂直梯度Gy的值，选择缩放系数2c。在本实施例中，帧内预测部170以及270可以具备算出c以及缩放系数2c的系数算出部。
(公式22)
c＝f(Ex) …(式22)
在这里，函数f()是任意函数。优选的是Ex的值越大则c的值越小。作为函数f()的例子举出以下的(公式23)。
(公式23)
c＝8-int(log2(|Ex|)) …(式23)
这样的情况下，Ex是1时c是8，Ex是128时c是1，Ex是256时c是0。在这个系统中，能够利用更多的比特的情况下，能够定义以下的函数(公式24)。
(公式24)
c＝b-int(log2(|Ex|)) …(式24)
在这里，b是系统能够利用的最大比特数。通常，Ex很小时(例如1)，则能够利用可取的最大精度，Ex很大时(接近256)，则能够利用最大精度减8比特的精度。算出参数c的时候，边缘矢量坐标Ex的符号不重要，所以通常c也能作为c＝f(|Ex|)来算出。
根据本发明的其他的实施例，算出边缘的整数斜度的除法运算完全不进行。这通过以参考表(除法运算表)的处理取代除法运算，就能简单地实现。因此，表存储在存储器中。该存储器，可以是插补计算系统(帧内预测部)的内部存储器，也可以是外部存储器。表由被限定了数量的除数和规定的值除以该除数的结果来组成。例如，这个表，可以包含如以下的(公式25)所示的数2a除以Ey一样的值而得到的结果。
(公式25)
在这里，a是正的整数。例如，a可能与前述的精度p的值相等。为了尽可能用表的处理来代替除法运算，表的除法运算的缩放系数2a，优选的是如以下的(公式26)所示是除数大小的函数|Ey|。
(公式26)
a＝g(|Ey|) …(式26)
函数g()是任意的函数。缩放参数a的值优选的是，Ey的大小(绝对值)越大则越大。作为函数g()的例子举出以下的(公式27)。
(公式27)
a＝b+int(log2(|Ey|)) …(式27)
在这里，b被选择为系统能够利用的比特数(b+8)的值不溢出。通常，针对大的(接近256)Ey，利用可取的最大精度，针对小的(接近1)Ey，利用更低的精度。所述例子的函数f()以及g()只是为了图示目标。这些的函数的值可以即时(on the fly)算出，或者预先存储在存储器的表中也可以。此外，函数f()以及g()也可以由不参考分析规则的表来给予。
而且，被缩放的整数斜度，能够按照如下的(公式28)获得。
(公式28)
δxblock＝2c×Ex×Table[|Ey|]×sign(Ey) …(式28)
在这里，“sign”返还操作数的符号，Table[]表示根据从存储器的表检索的|Ey|的除法运算得到的结果。而且，与上述一样，换言之如(公式29)所示，能够获得距离δx。
(公式29)
δx＝(y·δxblock+2c-1)＞＞c …(式29)
这个情况下，以系数2a对距离δx进行缩放。权重的值和预测对象像素的预测像素值，通过以a来调换p，从而根据上述的公式能够进行推定。其他的可能性是以系数2c+a持续对距离δx进行缩放。这个情况下，为了将值除以2c+a，最终预测必须向右比特移位。换言之，这些的处理由以下的(公式30)～(公式33)所表示。
(公式30)
δx＝y·δxblock …(式30)
(公式31)
w2＝δx&(2c+a-1) …(式31)
(公式32)
w1＝2c+a-w2 …(式32)
(公式33)
p(x，y)＝(w1·p(x-(δx＞＞(c+a))，0)+w2·p(x-((δx+2c+a)＞＞(c+a))，0)+2c+1)＞＞(c+a)
…(式33)
为了限制存储除法运算表而需要的存储器，优选的是被存储的表的登记数只有2b。这意味着|Ey|的登记数为0<|Ey|≤2b。换言之，除法运算表示出的用于除法运算的除数的最大值是2b。优选的是，在表中按每个Ey的值存在登记值(除法运算的结果)。然而，本发明不一定需要这个。通常也可以是，只在Ey的值的隔2个或隔3个时，登记值记载在表上。在登记值不存在时，检索该表中的最近的登记值。然而，只记载几个登记值，会失去准确性。
除数Ey比表内的最大的除数大时，优选的是将边缘矢量坐标Ey以及Ex的双方的值向右比特移位1比特，这相当于除以2。换言之，进行以下的(公式34)所示的处理。
(公式34)
换言之，比特移位之后根据除数Ey的新的值，从表检索除法运算的结果。在除法运算的结果被成功地检索的时候，与上述一样地算出距离δx。当Ey的值尚且大时，直到能够得到除法运算的结果为止，反复比特移位。这样减少表登记数时，边缘方向的分辨率会降低一点。然而，对于能够限制必要的存储器的容量是有利的。通过设定参数b，使边缘方向分辨率与所需的存储器的容量之间的折衷关系，不仅是对插补对象块的尺寸，还有对任意的计算机环境也能恰当地设定。
所述的例子中说明了从上部进入到预测对象块的边缘430。
图4C表示边缘483从左侧进入到预测对象块的其他的例子。通过这个例子，斜度的算出也基于被决定的梯度。然而，x以及y坐标(相当于Ex以及Ey坐标)被交替。例如，斜度k1以及距离δy1，按照以下的(公式35)以及(公式36)所示被算出。
(公式35)
(公式36)
其结果，距离δy1的具体计算与在前述的例子中的距离δx的计算相同。然而，在这里的除数不是Ey而是Ex，而且利用水平坐标x，以取代预测对象像素p(x，y)的垂直坐标y。加之，距离δy1不是针对预测对象块相邻的周围块(相邻块)的像素的行，而是针对列相同。将本发明以及其实施例，以对应的方法适用于这个例子也可以。
图4D表示有可能性的边缘方向的其他的例子。边缘在预测对象块的左边界交叉。然而，在图4C说明的例子不同，切掉预测对象块左边界的边缘482，持续通过该块，切掉在右上侧的周围块的下边的边界(图4D中的箭头记号481)。这个情况下，预测成为来自2方向的边缘插补。为了编码/解码对块进行光栅扫描的系统中将本发明适用在帧内预测的情况下，插补对象块的右上侧周围已经被编码以及被解码，所以该像素也能够利用于预测。在上述的例子中，通过对交点周围的整像素位置的2个像素进行加权，从而进行了预测。然而，可以通过对4个像素进行加权，即位于预测对象块的左边的边界的交点周围的2个像素和位于右上侧的边界的交点周围的2个像素进行加权来进行预测。并且，这个系数的加权，也可以看作是从预测对象像素到指定交点的距离。
为了简化说明，在上述的例子中全部对4×4像素的块进行了说明。然而，本发明不被这样的块所限制。通常在8×8、16×16、8×16、4×8等，任何正方形以及长方形尺寸的块，都能够进行像上述一样的插补。
加之，在所述的例子中，主要说明了图像或者运动图像编码器以及解码器的扩展。然而，本发明不被这些所限定。本发明，能够容易地适用于需要空间的外插或内插的其外的图像处理任务。例如，本发明涉及的外插/内值，也可以用于错误隐藏(error concealment)等的后处理。
图5是总结了帧内预测用的运动图像编码/解码中使用的本发明涉及的像素块(块)的空间预测的图。首先，帧内预测部170、270进行边缘检测(步骤S510)，判别边缘是否被检测(步骤S520)。即，为了进行外插或内插的优先边缘的检测被进行。在这里，当边缘没有被检测时(步骤S520中的“否”)，因为预测对象块的周围实质上光滑，帧内预测部170、270，将所谓DC插补(由DC预测模式进行的预测)适用于预测对象块(步骤S530)。该DC插补是将预测对象块的全部像素设定为与相邻像素的平均值一样的值的插补。另一方面，在检测出边缘时(步骤S520中的“是”)，帧内预测部170、270算出边缘的整数斜度(步骤S540)。
而且，帧内预测部170、270，判别是否有预测对象像素(下面的像素)(步骤S550)，在判别为有时(步骤S550中的“是”)，决定块边界与边缘的交点(步骤S560)。加之，帧内预测部170、270，按照需要插补交点的子像素位置(子像素的像素值)(步骤S570)，利用该子像素位置的像素值，对预测对象像素适宜地进行外插或内插(步骤S580)。另一方面，帧内预测部170、270，在步骤S550中判别为没有预测对象像素时(步骤S550中的“否”)，结束对预测对象块的空间预测。
如图2以及图3所示，在本实施例中，在编码器100的帧内预测部170和在解码器200的帧内预测部270进行上述的空间预测。具体而言，帧内预测部170或270，还可以具备边缘检测部(检测部)、交点决定部(决定部)、相邻块的子像素位置的插补部、以及外插/内插部(预测部)。边缘检测部检测切掉预测对象块的优先边缘。交点决定部决定与由边缘检测部决定的边缘的交点对应的子像素位置和属于预测对象块的周围块的像素的行或列。插补部，根据最近的整像素的值，插补由交点决定部算出的子像素位置的像素值。外插/内插部，根据由交点决定部算出的子像素位置，外插/内插对象像素(预测对象块内的像素)的像素值。
在所述例子中，通过块的光栅扫描，图像被编码及/或解码。这个情况下，能够利用于预测的相邻块必定是位于预测对象块的上面的块和预测对象块的左边的块。然而，本发明在只要相邻预测对象块的已被编码/解码的块至少有1个，并且切掉预测对象块经过相邻块的边缘存在时，对另外的扫描也能适用。
此外，所述的例子中对1个像素块进行了说明。实际上，针对被再分为多个块的图像，可以使用每个块不同的编码方法来进行编码。错误隐藏也能适用于1个块。然而，也可以适用本发明来编码影像序列的1个整体图像或帧。
图6是将包含编码运动图像的比特流从编码器发送到解码器的本发明中的系统的一例的图。这个系统具备编码器1401、信道1402以及解码器1403。编码器1401相当于上述的编码器100，解码器1403相当于上述的解码器200。
输入运动图像信号根据编码器(发信机)1401被编码，发送到信道1402。编码器1401，为了上述至少1个块的帧内预测，进行基于本发明的实施例的伴随方向性空间预测的编码。信道1402可以是记录介质，也可以是发送信道。记录介质，可以是例如易失性或非易失性的存储器，可以是磁介质或光学介质，也可以是记录介质的集合。传输信道，通过任何传输系统的物理资源都能实现。例如，传输信道可以是无线信道和有线信道，也可以是固定信道和可移动信道。此外，传输信道可以是xDSL、ISDN、WLAN、GPRS、UMTS、互联网，或者被规格化的系统和私有系统。
编码器1401可以对输入运动图像信号进行格式变换，也可以具备用于经由信道1402发送比特流的发信机。此外，编码器1401可以包含用于向记录介质发送比特流的应用。
比特流经由信道1402由解码器(接收机)1403所获得。解码器1403进行基于上述的本发明的实施例的方向性空间预测，解码该比特流。
解码器1403可以具备用于经由信道1402接收比特流的接收机，也可以包含用于从记录介质提取比特流的应用。加之，解码器1403可以具备用于进行解码图像的后处理(例如格式变换等)的后处理单元。
总结上述，本发明是有关方向性空间预测的有效安装的发明。在该方向性空间预测中，通过决定相邻块的垂直梯度以及水平梯度来检测边缘，并按每个预测对象像素决定相邻块的像素的行或列和检测边缘的交点，按照被决定的交点外插或内插块的各个像素(预测对象像素)。交点可以是子像素位置。具体而言，在交点的算出中，在预测对象块全体获得共同的整数斜度，所以包含根据垂直梯度或水平梯度的除法运算。这样，除法运算的数量，在每个块能够减少1次。为了使该除法运算的精度提高，按照分别与水平梯度或垂直梯度的值对应的缩放系数来适用缩放。换言之，在本发明的空间预测方法中进行如图7所示的处理。
图7是表示本发明的一个方案涉及的空间预测方法的图。
本发明的一个方案涉及的空间预测方法是，在构成图像的预测对象块内的各个像素位置中预测像素值的空间预测方法。首先，帧内预测部170，通过获得与预测对象块相邻的相邻块内的像素间的水平梯度Gy以及垂直梯度Gx，从而检测与该预测对象块重叠的边缘E(步骤S10)。接着，帧内预测部170，根据该获得的水平梯度Gy以及垂直梯度Gx中的至少1个，算出以整数值表示该检测出的边缘的斜度的整数斜度(步骤S11)。接着，帧内预测部170，按该预测对象块内的每个像素位置，决定小数像素位置450，该小数像素位置450是具有被算出的整数斜度且经过该像素位置440的线430与相邻块的边界的交点(步骤S12)。接着，帧内预测部170，按该预测对象块内的每个像素位置，根据在针对该像素位置440被决定的小数像素位置450被插补的像素值，预测(外插或内插)该像素位置440的像素值(步骤S13)。在这里，该相邻块的边界是该相邻块中包含的像素的多个列或多个行中的，与该预测对象块最近的列或行。这样的处理，在帧内预测部270也同样被进行。
另外，边缘的整数斜度的算出中，根据水平梯度Gy以及垂直梯度Gy中的至少1个算出该整数斜度即可，不必一定用水平梯度Gy以及垂直梯度Gy的2个梯度。
此外，本实施例中，图像编码装置100，作为除了帧内预测部170以外的其他构成要素，具备了运动补偿预测部160等，不过，至少具备减法运算部105以及帧内预测部170即可，可不必具备其他的构成要素。
此外，在本实施例中，图像解码装置200，作为除了帧内预测部270以外的其他构成要素，具备了运动补偿预测部260等，不过，至少具备加法运算部225以及帧内预测部270即可，可不必具备其他的构成要素。
此外，在本实施例中，图像编码装置100，将帧内预测模式信息进行熵编码后输出，图像解码装置200，将该帧内预测模式信息进行熵解码。在这里，帧内预测模式信息可以是表示方向性帧内预测模式的信息，也可以是不表示该方向性帧内预测模式，只表示对编码或解码对象块适用帧内预测的信息。
(实施例2)
通过将用于实现在上述的实施例所示的运动图像编码方法或运动图像解码方法的构成的程序记录到记录介质，从而可以将上述的实施例所示的处理在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。
并且，在此对在上述的实施例所示的运动图像编码方法以及运动图像解码方法的应用实例以及利用这些应用实例的系统进行说明。
图8是示出实现内容分发服务的内容提供系统ex100的全体构成的图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex106、ex107、ex108、ex109、ex110。
在该内容提供系统ex100中，计算机ex111、PDA(个人数字助理：personal digital assistant)ex112、摄像机ex113、便携式电话ex114、游戏机ex115等各种设备通过互联网服务提供商ex102和电话网ex104、以及基站ex106～ex110，在互联网ex101上相连接。
然而，内容提供系统ex100并非局限于图8所示的构成，也可以对任意的要素进行组合来连接。并且，可以不通过作为固定无线局的基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。
摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字摄像机等能够拍摄静止图像以及运动图像的设备。并且，便携式电话ex114可以是GSM(Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA(High-Speed Packet Access：高速分组接入)的便携式电话，或PHS(Personal Handy-phone System：个人手持式电话系统)等任一个。
在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述的实施例所说明的编码处理，并发送到流播放服务器ex103。另一方面，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的进行了编码处理的数据的计算机ex111、PDAex112、摄像机ex113、便携式电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生。
并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像数据以及/或者运动图像数据，也可以通过计算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。
并且，这些编码处理以及解码处理通常在计算机ex111以及各个设备所具有的LSI(Large Scale Integration：大规模集成电路)ex500中处理。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将运动图像编码用以及运动图像解码用的软件安装到能够由计算机ex111等读取的某种记录介质(CD－ROM、软盘、硬盘等)中，并利用该软件来进行编码处理以及解码处理。而且，在便携式电话ex114是附带有相机的情况下，也可以发送由该相机获得的运动图像数据。在这种情况下的运动图像数据是由便携式电话ex114所具有的LSIex500进行编码处理后的数据。
并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。
如以上所述，在内容提供系统ex100中，客户端能够接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。
并且，不仅限于内容供给系统ex100的例子，如图9所示，在数字广播用系统ex200上也能够组装上述各个实施例所示的运动图像编码装置以及图像解码装置中的至少一个。具体而言，在广播电台ex201，影像数据上多路复用了音乐数据的多路复用数据通过电波来通信或被传送到卫星ex202。该影像数据是上述的各个实施例中所说明的通过运动图像编码方法而被编码的数据。接收了这些的广播卫星ex202发送用于广播的电波，这些电波由能够进行卫星广播接收的家庭的天线ex204来接收。接收的多路复用数据由电视机(接收机)ex300或机顶盒(STB)ex217等装置进行解码并再生。
并且，在用于读取并解码DVD、BD(Blu-ray Disc)等记录介质ex215中所记录的多路复用数据、或者将影像信号编码、进而有时与音乐信号多路复用后进行写入的阅读器/记录器ex218上，也能够安装上述各个实施例所示的运动图像解码装置或运动图像编码装置。在这种情况下，被再生的影像信号能够被显示在监视器ex219，并且能够由记录了多路复用数据的记录介质ex215在其他的装置或系统中再生影像信号。并且，也可以将运动图像解码装置安装到与有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装到机顶盒，而将图像解码装置组装到电视机内。
图10示出了利用了在上述的各个实施例中说明的运动图像解码方法以及运动图像编码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像数据上多路复用了声音数据的多路复用数据；调制/解调部ex302，解调接收的多路复用数据，或者为了将多路复用数据发送到外部而进行调制；以及多路复用/分离部ex303，对解调的多路复用数据分为影像数据和声音数据，或者在信号处理部ex306进行了编码的影像数据和声音数据进行多路复用。并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音数据和影像数据进行解码或者对各个信息分别进行编码的声音信号处理部ex304、和影像信号处理部ex305；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307、以及对被解码的影像信号进行显示的显示器等显示部ex308。而且，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。而且，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。
首先，对电视机ex300通过天线ex204等从外部获得的多路复用数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的多路复用数据，在多路复用/分离部ex303进行分离。并且，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出多路复用数据，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出多路复用数据。以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等的构成。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，利用在上述的实施例中说明的编码方法，在声音信号处理部ex304对声音信号进行编码，并在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以是共享一个以上的缓冲器的构成。而且，除图中所示以外，例如可以在调制/解调部ex302与多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲部分，在缓冲器中蓄积数据。
并且，电视机ex300除具有获得来自广播以及记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以是不进行上述的全部的处理，而仅进行上述的接收、解码处理以及外部输出的构成。
并且，在阅读器/记录器ex218从记录介质中读出或写入多路复用数据的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。
作为一个例子，图11示出了从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400包括以下将要说明的要素ex401至ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的代码道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。
以上，以光学头ex401照射激光光点为例进行了说明，不过也可以利用近场光学(near-field optical)来进行高密度的记录。
图12是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在代码道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生代码道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的多路复用数据的读写。
以上以具有一层构成的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层构成的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上记录利用了各种不同波长的颜色的光的信息，或者可以是从各种角度记录不同的信息的层等的具有进行多维的记录/再生的构成的光盘。
此外，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并在车辆ex210具有的车辆导航系统211等的显示装置上再生运动图像。另外，关于车辆导航系统ex211的构成可以考虑成在图10示出的构成中添加GPS接收部，同样也可以考虑在计算机ex111和便携式电话ex114等上。
图13A是示出了利用了在上述的实施例所说明的运动图像编码方法和运动图像解码方法的便携式电话ex114的图。便携式电话ex114具有：天线ex350，用于在与基站ex110之间进行电波的收发；摄像机部ex365，能够拍摄影像和静止图像；显示部ex358，是用于显示在摄像机部ex365拍摄的影像以及由天线ex350接收的影像等被解码后的数据的液晶显示器等。便携式电话ex114还具有：具有操作键部ex366的主体部、声音输出部ex357，是用于输出声音的扬声器等；声音输入部ex356，是用于输入声音的麦克风等；存储器部ex367，用于保存拍摄的影像、静止图像、录音的声音、或者接收的影像、静止图像、邮件等被编码或被解码的数据；或者同样是保存数据的记录介质之间的接口的插槽部ex364。
进一步利用图13B对便携式电话ex114的构成例进行说明。在便携式电话ex114中，针对用于统括控制具有显示部ex358以及操作键部ex366的主体部的各个部的主控制部ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像机接口部ex363、LCD(Liquid Crystal Display：液晶显示器)控制部ex359、调制/解调部ex352、多路复用/分离部ex353、声音信号处理部ex354、插槽部ex364、以及存储器部ex367经由总线ex370相互连接。
电源电路部ex361在通过用户的操作而成为通话结束以及电源键成为导通状态下，通过从电池组向各个部提供电力，从而启动便携式电话ex114，使其成为能够工作的状态。
便携式电话ex114根据由CPU、ROM以及RAM等构成的主控制部ex360的控制，在声音通话模式时，由声音信号处理部ex354将在声音输入部ex356收集的声音信号转换为数字声音信号，并在调制/解调部ex352进行扩频(Spread Spectrum)处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。并且，便携式电话ex114在声音通话模式时，对通过天线ex350接收的接收数据进行放大并进行频率转换处理以及模数转换处理，在调制/解调部ex352进行扩频处理的逆处理，在由声音信号处理部ex354转换为模拟声音信号之后，从声音输出部ex356输出。
并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键部ex366等的操作被输入的电子邮件的文本数据经由操作输入控制部ex362被发送到主控制部ex360。主控制部ex360，由调制/解调部ex352对文本数据进行扩频处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送到基站ex110。在接收电子邮件的情况下、针对接收的数据进行与上述几乎相反的处理，发送到显示部ex358。
在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex355，将从摄像机部ex365提供的影像信号，按照所述各实施例表示的运动图像编码方法来进行压缩编码，并将编码的影像数据发送到多路复用/分离部ex353。此外，声音信号处理部ex354，对摄像机部ex365拍摄影像、静止图像等中，由声音输入部ex356收集的声音信号进行编码，并将被编码的声音数据发送到多路复用/分离部ex353。
多路复用分离部ex353以规定的方式，对从影像信号处理部ex355提供来的被编码的影像数据和从声音信号处理部ex354提供来的被编码的声音数据进行多路复用，将通过多路复用而得到的多路复用数据在调制/解调电路部ex352进行扩频处理，并在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。
在数据通信模式时，接收被链接在主页等的运动图像文件的数据的情况下，或者接收被添加了影像及/或声音的电子邮件的情况下，为了经由天线ex350解码被接收的多路复用数据，多路复用/分离部ex353，通过分割多路复用数据来分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码的影像数据提供给影像信号处理部ex355，并且将被编码的声音数据提供给声音信号处理部ex354。影像信号处理部ex355根据与所述各实施例示出的运动图像编码方法对应的运动图像解码方法进行解码来解码影像信号，通过LCD控制部ex359在显示部ex358显示例如被链接在主页的运动图像文件中包含的影像、静止图像。此外，声音信号处理部ex354解码声音信号，从声音输出部ex357输出声音。
此外，所述便携式电话ex114等终端装置与电视ex300相同可以考虑三种安装形式：具备编码器·解码器双方的收发型终端、还有只有编码器的发送终端、以及只有解码器的接收终端。并且，上述说明了在数字广播用系统ex200，接收以及发送在影像数据上多路复用了音乐数据等的多路复用数据，不过可以是除了声音数据以外多路复用了有关影像的文字数据等的数据，也可以是影像数据本身，而不是多路复用数据。
这样，可以将所述各个实施例示出的运动图像编码方法或者运动图像解码方法用于上述的任一个的设备、系统，通过这样，能够得到所述各个实施例说明的效果。
此外，本发明不被以上所述的实施例所限定，可以不脱离本发明的范围而进行各种变形或修改。
(实施例3)
可以按照需要适宜地切换上述的各个实施例所示的运动图像编码方法或装置与依照MPEG-2、MPEG4-AVC、VC-1等不同的标准的运动图像编码方法或装置，来生成影像数据。
在这里，在根据各自不同的标准生成了多个影像数据的情况下，需要在解码时选择与各自的标准对应的解码方法。然而，不能识别要解码的影像数据是依据了哪个标准的数据，所以产生不能选择恰当的解码方法这样的课题。
为了解决这个课题可以是在影像数据上多路复用了声音数据等的多路复用数据包含识别信息的构成，该识别信息表示影像数据是依据了哪个标准。下面说明包含由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的多路复用数据的具体构成。多路复用数据是MPEG-2传输流形式的数字流。
图14是表示多路复用数据的构成的图。如图14所示多路复用数据是通过对如下流中的一个以上进行多路复用而得到的数据：视频流，音频流，字幕流(presentation graphics：PG)，交互式图形流(interactive graphics stream)。视频流表示电影的主影像以及副影像、音频流(IG)表示电影的主声音部分和与主声音混合的副声音、字幕流表示电影的字幕。在这里，主影像表示在画面显示的通常的影像，副影像是指在主影像中以小画面显示的影像。还有，交互式图形流示出通过在画面上配置图形用户界面元件而作成的对话画面。视频流，根据上述的各个实施例所示的运动图像编码方法或装置，以及以往的MPEG-2、MPEG4-AVC、VC-1等标准的运动图像编码方法或装置被编码。音频流，根据杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或线性PCM等方式被编码。
多路复用数据中包含的各个流由PID被识别。例如，用于电影的影像的视频流分配0x1011，音频流分配从0x1100到0x111F，字幕流分配从0x1200到0x121F，交互式图形流分配从0x1400到0x141F，用于电影的副影像的视频流分配从0x1B00到0x1B1F，用于与主声音混合的副声音的音频流分配从0x1A00到0x1A1F。
图15是表示多路复用数据怎样被多路复用的模式图。首先，由多个视频帧组成的视频流ex235、由多个音频帧组成的音频流ex238，分别变换为PES数据包列ex236以及ex239，变换为TS数据包ex237以及ex240。同样地将字幕流ex241及交互式图形ex244的数据，分别变换为PES数据包列ex242以及ex245，进一步变换为TS数据包ex243以及ex246。多路复用数据ex247，将这些TS数据包多路复用在1个流上而被构成。
在图16详细地示出视频流如何存储在PES数据包列中。在图16的第一段表示视频流的视频帧列。第二段表示PES数据包列。如图16的箭头记号yy1,yy2,yy3,yy4所示，在视频流中作为多个Video Presentation Unit的I图片、B图片、P图片，按每个图片被分割，存储在PES数据包的有效负载中。各PES数据包具有PES头，PES头中存储有作为图片的显示时刻的PTS(Presentation Time-Stamp)、作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图17示出最终被写入到多路复用数据中的TS数据包的形式。TS数据包是具有识别流的PID等的信息的4Byte的TS头以及存储数据的184Byte的TS有效负载所构成的188Byte定长的数据包，所述PES数据包被分割被存储到TS有效负载。在是BD-ROM的情况下，TS数据包被赋予4Byte的TP_Extra_Header，构成192Byte的源数据包，被写入到多路复用数据。在TP_Extra_Header上记载了ATS(Arrival_Time_Stamp)等的信息。ATS表示该TS数据包向解码器的PID滤波器的传输开始时刻。在多路复用数据中如图17的下段所示排列了源数据包，从多路复用数据的开头增加的编号被称为SPN(源数据包编号)。
此外，多路复用数据中包含的TS数据包中除了影像·声音·字幕等各个流以外，还有PAT(Program Association Table：节目关联表)、PMT(Program Map Table：节目映射表)、PCR(Program Clock Reference：节目时钟基准)等。PAT表示多路复用数据中所利用的PMT的PID是什么，PAT自身的PID登记为0。PMT具有多路复用数据中包含的影像·声音·字幕等的各个流的PID以及与各个PID对应的流的属性信息，并且具有与多路复用数据有关的各种描述符。描述符具有复制控制信息等，该复制控制信息指示多路复用数据的复制许可·不许可。PCR为了使作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS·DTS的时间轴的STC(System Time Clock)同步，具有与该PCR数据包传送到解码器的ATS对应的STC时间的信息。
图18是详细地说明PMT的数据构成的图。PMT的开头设置了PMT头，用于记载该PMT中包含的数据的长度等。在其之后设置了多个与多路复用数据有关的描述符。上述复制控制信息等作为描述符被记载。在描述符之后设置了多个与多路复用数据中包含的各个流有关的流信息。流信息，为了识别流的压缩编解码等，由记载了流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符所构成。流描述符的数量与多路复用数据上存在的流的数量相同。
在记录介质等记录的情况下，上述多路复用数据与多路复用数据信息文件一起被记录。
多路复用数据信息文件是图19所示的多路复用数据的管理信息，与多路复用数据一对一地对应，由多路复用数据信息、流属性信息、项目地图所构成。
多路复用数据信息如图19所示，由系统速率、再生开始时刻、再生结束时刻所构成。系统速率表示多路复用数据向着后述的系统目标解码器的PID滤波器的最大传输速率。多路复用数据中包含的ATS的间隔，被设定为是系统速率以下。再生开始时刻是多路复用数据的开头的视频帧的PTS，再生结束时刻被设定为，在多路复用数据的尾端的视频帧的PTS加上1帧的再生间隔。
流属性信息，如图20所示，按每个PID登记包含在多路复用数据中的各个流的属性信息。属性信息按照每个视频流、音频流、字幕流、交互式图形流，具有不同的信息。视频流属性信息具有如下信息：该视频流以怎样的压缩编解码被压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等信息。音频流属性信息，具有如下信息：该音频流以怎样的压缩编解码被压缩、该音频流中包含的频道数是多少、与什么语言对应、采样频率是多少等信息。这些信息，用于在播放器再生之前的解码器的初始化等。
在本实施例，利用所述多路复用数据中的PMT中包含的流类型。此外，在记录介质中记录了多路复用数据的情况下，利用多路复用数据信息中包含的视频流属性信息。具体而言，在上述各个实施例表示的运动图像编码方法或装置中，针对PMT中包含的流类型、或视频流属性信息，设置设定固有的信息的步骤或单元，该固有的信息表示由上述各个实施例示出的运动图像编码方法或装置所生成的影像数据。根据该构成，能够识别由所述各个实施例表示的运动图像编码方法或装置所生成的影像数据与依据其他的标准的影像数据。
此外，图21表示在本实施例的运动图像解码方法的步骤。在步骤exS100，从多路复用数据中获得PMT中包含的流类型、或者多路复用数据信息中包含的视频流属性信息。接着，在步骤exS101，判断流类型或视频流属性信息是否表示是由所述各个实施例表示的运动图像编码方法或装置所生成的多路复用数据。而且，在判断为流类型或视频流属性信息表示是由所述各个实施例表示的运动图像编码方法或装置所生成的数据的情况下，在步骤exS102，根据所述各实施例表示的运动图像解码方法进行解码。此外，流类型或视频流属性信息表示是以往的MPEG-2、MPEG4-AVC、VC-1等的标准的数据的情况下，在步骤exS103，根据所依据的以往的标准的运动图像解码方法来进行解码。
这样，通过在流类型或视频流属性信息设定新的固有值，从而在解码时，能够判断根据所述各个实施例表示的运动图像解码方法或装置是否能够解码。从而，即时被输入了依据不同的标准的多路复用数据时，也能够选择恰当的解码方法或装置，因此能够不产生错误地进行解码。此外，本实施例表示的运动图像编码方法或装置，或者运动图像解码方法或装置，能够用在上述的任一个设备以及系统。
(实施例4)
上述的各个实施例所示的运动图像编码方法以及装置、运动图像解码方法以及装置，典型的能够以作为集成电路的LSI来实现。作为一个例子，图22示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex501至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。
例如，在进行编码处理的情况下，LSIex500，根据具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，根据AV输入输出ex509从麦克风ex117和摄像机ex113等输入AV信号。被输入的AV信号，暂时存储在SDRAM等外部存储器ex511。根据控制部ex501的控制，存储的数据按照处理量和处理速度适当地分为多个被发送到信号处理部ex507，在信号处理部ex507被进行声音信号的编码及/或影像信号的编码。在这里，影像信号的编码处理是所述各个实施例说明的编码处理。在信号处理部ex507，根据情况对被编码的的声音数据和被编码的影像数据进行多路复用等的处理，从流输入输出ex506输出到外部。该被输出的多路复用数据，被发送到基站ex107，或者被写入到记录介质ex215。另外，在多路复用时可以将数据暂时存储到缓冲器ex508，以便同步。
另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。并且，缓冲器ex508不限为一个，也可以具备多个缓冲器。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。
此外，在上述说明中，控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,不过，控制部ex510的构成，不限为这个构成。例如，可以是信号处理部ex507还具备CPU的构成。通过在信号处理部ex507的内部也设置CPU，可以使处理速度提高。此外，作为其他的例子，可以是CPUex502具备信号处理部ex507、或者具备信号处理部ex507的一部分例如声音信号处理部的构成。在这样的情况下，控制部ex501是具备信号处理部ex507或具有其一部分的CPUex502的构成。
在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。
并且，集成电路化的方法不仅限于LSI，也可以以专用电路或通用处理器来实现。在LSI制造后，也可以利用能够编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或能够重构LSI内部的电路单元的连接或设定的可重装处理器。
而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。生物技术的适用等也将成为可能。
(实施例5)
在对根据所述各个实施例表示的运动图像编码方法或装置所生成的影像数据进行解码的情况下，可以想到与对依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据进行解码的情况相比，处理量增加。因此，在LSIex500中需要设定比解码依据以往的标准的影像数据时的CPUex502的驱动频率高的驱动频率。但是驱动频率高，则产生电力消耗高这样的课题。
为了解决这个课题，电视ex300、LSIex500等运动图像解码装置是，识别影像数据依据了哪个标准，按照标准切换驱动频率的构成。图23表示在本实施例的构成ex800。驱动频率切换部ex803，在影像数据是由所述各个实施例表示的运动图像编码方法或装置所生成的情况下，设定高的驱动频率。而且，对执行所述各个实施例表示的运动图像解码方法的解码处理部ex801进行指示，以解码影像数据。另一方面，在影像数据是依据以往的标准的影像数据的情况的情况下，与影像数据由所述各实施例示出的运动图像编码方法或装置所生成的情况相比，设定低的驱动频率。而且，指示依据以往的标准的解码处理部ex802，对影像数据进行解码。
更具体而言，驱动频率切换部ex803由图22的CPUex502与驱动频率控制部ex512所构成。此外，执行所述各个实施例示出的运动图像解码方法的解码处理部ex801，以及依据以往的标准的解码处理部ex802，相当于图22的信号处理部ex507。CPUex502识别影像数据依据哪个标准。而且，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，根据来自CPUex502的信号，信号处理部ex507进行影像数据的解码。在这里，可以考虑在影像数据的识别中利用例如在实施例3记载的识别信息。有关识别信息，不仅限于在实施例3记载的信息，只要是能够识别影像数据是依据哪个标准的信息就可以。例如，根据对影像数据是不是用于电视，是不是用于盘等进行识别的外部信号，能识别影像数据是依据哪个标准的情况下，可以根据这样的外部信号进行识别。此外，在CPUex502的驱动频率的选择，可以考虑根据例如如图25一样的使影像数据的标准和驱动频率对应的一览表来进行。将一览表预先存储在缓冲器ex508和LSI的内存储器中，通过CPUex502参考这个一览表，能够选择驱动频率。
图24示出了实施本实施例的方法的步骤。首先，在步骤exS200中，由信号处理部ex507从多路复用数据中获得识别信息。接着，在步骤exS201中，CPUex502根据识别信息，识别影像数据是不是由所述各个实施例示出的编码方法或装置所生成的数据。在影像数据是由所述各个实施例示出的编码方法或装置所生成的数据情况下，在步骤exS202中，将设定高的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512设定高的驱动频率。另一方面，在示出了是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下，在步骤exS203中，将设定低的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512，设定与影像数据由所述各个实施例示出的编码方法或装置所生成的情况相比低的驱动频率。
加之，与驱动频率的切换联动，通过变更对LSIex500或包含LSIex500的装置施加的电压，可以提高省电效果。例如，在设定低驱动频率的情况下，随之与设定高驱动频率的情况相比，可以考虑使对LSIex500或包含LSIex500的装置施加的电压设定为低电压。
此外，关于驱动频率的设定方法，只要在解码时的处理量大的情况下，设定高的驱动频率，在解码时的处理量小的情况下，设定低的驱动频率就可以，不限于上述的设定方法。例如对依据MPEG4-AVC标准的影像数据进行解码的处理量，大于对由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据进行解码的处理量的情况下，可以考虑将驱动频率的设定与上述的情况相反地进行。
加之，驱动频率的设定方法不限于使驱动频率设为低的构成。例如，可以考虑在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，对LSIex500或包含LSIex500的装置施加的电压设定为高的电压，在示出是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下，对LSIex500或包含LSIex500的装置施加的电压设定为低的电压。此外，作为其他的例子，可以考虑在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，不停止CPUex502的驱动，在示出是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下，因为处理有余量，可以暂时停止CPUex502的驱动。即使在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，如果处理有余量，也可以考虑暂时停止CPUex502的驱动。这个情况下，可以考虑与识别信息示出是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况相比，停止时间设定地较短。
这样，按照影像数据依据的标准来切换驱动频率，从而可以得到省电的效果。此外，在利用电池驱动包含LSIex500或LSIex500的装置的情况下，随着省电化，可以延长电池的寿命。
(实施例6)
电视和便携式电话等上述的设备以及系统，有时被输入依据不同标准的多个影像数据。这样，即使在被输入了依据不同标准的多个影像数据的情况下也能进行解码，从而LSIex500的信号处理部ex507需要与多个标准对应。但是，与各个标准对应的信号处理部ex507个别利用时，使LSIex500的电路规模变大，还产生成本增加这样的课题。
为了解决上述课题可以是如下的构成，将用于执行所述各个实施例示出的运动图像解码方法的解码处理部与依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的解码处理部，进行一部分共享。图26A的ex900示出该构成例。例如，所述各个实施例示出的运动图像解码方法和依据MPEG4-AVC标准的运动图像解码方法，在熵编码、逆量化、解块·滤波器、运动补偿等处理中，一部分处理内容是共同的。关于共同的处理内容，可以考虑共享与MPEG4-AVC标准对应的解码处理部ex902，关于与MPEG4-AVC标准不对应的本发明特有的其他处理内容，使用专用的解码处理部ex901这样的构成。对于解码处理部的共享化的构成，关于共同的处理内容，共享用于执行所述各个实施例示出的运动图像解码方法的解码处理部，关于MPEG4-AVC标准特有的处理内容，使用专用的解码处理部。
此外，图26B的ex1000示出了处理的部分共享化的其他例子。在这个例子的构成是，使用与本发明特有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准特有的处理内容对应的专用的解码处理部ex1002、与本发明的运动图像解码方法及其他的以往标准的运动图像解码方法共同的处理内容相对应的共用的解码处理部ex1003。在这里，专用的解码处理部ex1001、ex1002，不一定是本发明或其他以往标准特有的处理内容所特有的，可以是能够执行其他通用处理的部。此外，也可以是在LSIex500安装本实施例的构成。
这样，关于本发明的运动图像解码方法与以往的标准的运动图像解码方法共同的处理内容，通过共享解码处理部，可以使LSI的电路规模变小，并且能够减少成本。
工业实用性
本发明涉及的空间预测方法能够减少空间预测的复杂程度，能够适用于例如用该空间预测的结果编码图像的图像编码装置、用该空间预测的结果解码图像的图像解码装置、或者至少具备该图像编码装置以及图像解码装置中的一个的便携式电话、个人电脑或者记录再生装置等。
符号说明
100 图像编码装置(编码器)
105 减法运算部
110 变换/量化部
120 逆量化/逆变换部
125 加法运算部
130 解块滤波器
140 存储器
150 插补滤波器
160 运动补偿预测部
165 运动检测部
170 帧内预测部
175 帧内/帧间切换部
180 后置滤波器设计部
190 熵编码部
200 图像解码装置(解码器)
220 逆量化/逆变换部
225 加法运算部
230 解块滤波器
240 存储器
250 插补滤波器
260 运动补偿预测部
270 帧内预测部
275 帧内/帧间切换部
280 后置滤波器
290 熵解码部