专利名称：空间预测方法、图像解码方法、以及图像编码方法
技术领域：
本发明涉及图像的编码以及解码的空间预测方法，尤其涉及伴随边缘检测的方向性空间插补、或者这样的插补的有效安装。
背景技术：
空间预测方法，換言之空间插补用于众多的应用中。空间插补尤其形成众多图像和运动图像的编码、以及处理应用的本质部分。在混合图像或者运动图像(视频)的编码算法中，根据已经编码/解码的块的像素，决定图像块的预测时，通常使用空间预測。另ー方面，空间插补，作为被解码的图像或者运动图像(视频)信号的后处理的一部分，尤其也有可能为了错误隐藏而使用。 被标准化的运动图像编码算法的大部分，都是基于混合运动图像编码。混合运动图像编码方法中，为了达到希望的压缩增益，通常将几个不同的可逆以及不可逆压缩方式组合起来。此外，混合运动图像编码不仅是IS0/IEC标准(MPEG-1，MPEG-2，以及MPEG-4等MPEG-X标准)的基础，也是ITU-T标准(H. 261和H. 263等H. 26x标准)的基础。最新且先进的运动图像编码标准，目前是示出为H. 264/MPEG-4 AVC (advanced video coding :高级视频编码)的标准。这个标准是由作为ITU-T以及IS0/IEC MPEG组的共同团队的JVT( jointvideo team :联合视频组)进行的标准化活动的结果。被输入到编码器(图像编码装置)的图像信号(输入信号或者输入运动图像信号)是被称为帧(视频帧)的图像的列，各个帧是像素的ニ维矩阵。基于混合运动图像编码的所述标准全部都包括将各个帧分别细分为由多个像素组成的更小的块的单元。通常，宏块(通常表示为16X16像素的块)是基本的图像要素，对其进行编码。然而，针对表示为子块信息和单纯块的8X8、4X4、16X8等尺寸更小的图像要素，可以进行各种各样的特定的编码步骤。在H. 264/MPEG-4 AVC的帧内编码方式中，为了减少空间的冗余度，针对尺寸为4\4、8父8、16\16像素的子块或宏块进行空间预测。另外，空间预测也称为空间插补、图片内预测，帧内预测，将利用空间的方向性的空间预测称为方向性空间预測。而且，使用这样的空间预测的编码称为帧内编码或者空间编码，被帧内编码的图像或者块称为帧内编码图像或者帧内编码块。帧内预测中使用帧内预测模式(含有方向性空间预测模式的空间预测的模式)的事先定义的组，所述帧内预测模式是使用已被编码的相邻块的边界像素基本预测编码对象(预测对象)块的模式。图I是概略地示出了用于4X4像素的子块的8个方向性空间预测模式的图。若方向性空间预测的类型(模式)不同，则会參考不同边缘方向，換言之，如图I所示的适用的ニ维外插的方向。针对尺寸4X4以及8X8的子块在空间预测中，存在8个不同的方向性空间预测模式和I个DC预测模式，针对16X 16像素的宏块，存在3个不同的方向性空间预测模式和I个DC预测模式。8个方向性空间预测模式，由{O, I, 3，4，5，6，7,8}的值302所示，与8个不同的方向301的预测相对应。剰余I个帧内预测模式(空间预测模式)以值2表示，被称为“DC预测模式”。在DC预测模式中，以周围的參考像素的I个平均值来预测块内的像素全部。在8个方向性空间预测模式的每ー个中，以沿着对应的方向301反复复制參考像素的方式，预测编码对象块。例如，作为“O”所示的方向性空间预测模式的垂直模式中，针对编码对象块的紧上面的行的參考像素在垂直方向上反复复制。在“I”所示的方向性空间预测模式的水平模式中，将编码对象块的紧左边列的參考像素在水平方向上反复复制。从3至8的值所示的剰余的方向性空间预测模式是倾斜方向的帧内预测模式，參考像素朝着与该模式对应的倾斜方向被反复复制。在视频编码中，被帧内编码的块，有利于视频顺序的刷新和使错误不传播。然而，在空间编码中，编码效率比时间编码(帧间编码)的性能低，所以不仅是作为结果产生的比特率有很大变化，而且也使整体的压缩增益降低。于是为了提高编码效率，公开了将预测块的像素的外插方向的数量，不限制为8 个的改良型空间预测(參考专利文献I)。更准确地说，在该专利文献I中，对已经被解码的相邻块内，进行边缘检測。根据被判断为优先的边缘的检测，块的像素，根据属于相邻块的像素间的子像素位置被外插或者内插。所述专利文献I中能够更精确地决定预测方向。这样，良好的空间预测变得精度更好，同时预测误差信号(编码对象块与预测块的差分)变得更小，所以成为更好的压缩。(现有专利文献)(专利文献)专利文献I :欧洲专利申请公开第2081386号说明书发明概要发明要解决的问题然而，边缘检测以及向检测出的优先边缘方向进行外插或者内插，需要除法运算等相当复杂的多个计算，所以复杂程度増加，降低了编码及/或解码的安装的容易程度。在很多应用中，需要至少使解码器(图像解码装置)的复杂程度尽可能減少。尤其是，在具有被限制的电源及/或处理方法的装置内使用时，需要编码器及/或解码器的安装是低复杂程度。
发明内容
于是，本发明为了解决所述问题，其目的在于提供ー种空间预测方法，能够减少空间预测的复杂程度。用于解决问题的手段为了达到上述目的，本发明的一个方案涉及的空间预测方法，对构成图像的预测对象块内的各个像素位置上的像素值进行预测，所述空间预测方法包括如下步骤通过获得与所述预测对象块相邻的相邻块内的像素间的水平梯度以及垂直梯度，来检测与所述预测对象块重叠的边缘；根据获得的所述水平梯度以及所述垂直梯度中的至少ー个，算出整数斜度，该整数斜度以整数值表示检测出的所述边缘的斜度；按所述预测对象块内的每个像素位置，决定作为线与所述相邻块的边界的交点的小数像素位置，该线是具有被算出的所述整数斜度且经过该像素位置的线；以及按所述预测对象块内的每个像素位置，根据针对该像素位置決定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值，所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述预测对象块最近的列或行。这样，首先被算出与预测对象块重叠的边缘(进入预测对象块的边缘)的整数斜度，按照该整数斜度，决定针对预测对象块内的每个像素位置的的小数像素位置(子像素位置)。在此，利用整数斜度，就不用进行除法运算就能决定针对预测对象块内的每个像素位置的小数像素位置。因此，能够避免按照预测对象块内的每个像素位置，进行除法运算。换言之，能够避免如下的运算按照预测对象块内的每个像素位置，将该像素位置的水平方向或垂直方向的坐标值和边缘的水平分量以及垂直分量中的一方的分量相乘，进ー步将该相乘的结果除以该边缘的另一方的分量。其结果，为了算出边缘的整数斜度只需进行一次除法运算，能够避免针对预测对象块内的每个像素位置进行除法运算，能够减少空间预测的 复杂程度。換言之，能够控制复杂的运算。换句话说，本发明的一个方案涉及的空间预测方法具有如下特征首先，针对预测对象块进行一次算出，根据垂直梯度及水平梯度中的至少I个，算出被检测的边缘的整数斜度，决定该整数斜度的线和相邻块的边界像素的行或列的交点。此外，在算出所述整数斜度时，针对所述水平梯度或所述垂直梯度，进行2的c次方的缩放，利用缩放后的所述水平梯度或所述垂直梯度算出所述整数斜度，其中c是正整数，在决定所述小数像素位置时，将进行缩放而生成的所述整数斜度乘以在所述预测对象块内成为预测的对象的像素位置的水平方向或垂直方向的坐标值，从而算出针对所述像素位置的所述小数像素位置。这样，针对水平梯度或垂直梯度进行2的c次方的缩放，来算出整数斜度，所以将表示该缩放的对象的梯度的值作为被除数(分子)而进行除法运算，算出整数斜度的情况下，通过该缩放能够提高整数斜度的精度。加之，因为进行2的c次方的缩放，通过向左进行比特移位，能够简单地进行该缩放。并且，根据该缩放被算出的小数像素位置的重新缩放，能够根据向右比特移位简单地进行。此外，因为整数斜度的精度高，也能提高小数像素位置的精度。此外，所述空间预测方法，还根据所述水平梯度或所述垂直梯度的函数，算出所述
Co这样，能够实现恰当地利用c的缩放。例如，将表示该缩放的对象的梯度的值作为被除数(分子)而进行除法运算，被算出整数斜度，表示该缩放的对象的梯度的值大的情况下，通过使适用于该梯度的c的值变小，从而能够避免整数斜度的计算机溢出。此外，在算出所述整数斜度时，通过參考存储在存储器中的除法运算表，获得将表示所述垂直梯度以及所述水平梯度中的一方的梯度的值用作除数的除法运算的结果，并且利用获得的所述除法运算的结果算出所述整数斜度，所述除法运算表，按每个预先被规定的值，示出该预先被规定的值和将该预先被规定的值用作除数的除法运算的結果。这样，除法运算表，按每个预先被规定的值，示出将该值用作除数(分母)时的除法运算的结果，并且參考该除法运算表，不用实际进行将表示水平梯度及垂直梯度中的一方的梯度的值用作除数(分母)的除法运算，能够简单地得到该除法运算的結果。而且，因为利用该除法运算的结果算出整数斜度，所以能够简单地算出该整数斜度，即以低复杂程度来算出。另外，存储器可以是预测像素值的装置(帧内预测部)的内部存储器，也可以是外部存储器。此外，除算所示出的除法运算的结果中，优选的是被除数(分子)是2的a次方(a是正整数)。此外，优选的是a是水平梯度或垂直梯度的函数，尤其是作为除数来使用的梯度的函数。这样，对大的除数能够选择更大的a，对小的除数能够选择更小的a，能够进ー步提闻预测精度。此外，所述除法运算表示出的所述预先被规定的值的最大值是2的b次方，其中b是整数，在算出所述整数斜度时，在表示所述垂直梯度以及所述水平梯度中用作除数的梯度的值大于2的b次方的情况下，通过将表示所述梯度的值向右比特移位，从而缩放所述梯度，获得将表示缩放后的所述梯度的值用作除数的除法运算的結果。这样在表示所述垂直梯度以及所述水平梯度中用作除数的梯度的值大于2的b次 方的情况下，換言之，超过除法运算表示出的预先被決定的值的最大值的情况下，通过将表示该梯度的值向右比特移位，从除法运算表获得被比特移位的值用作除数的除法运算的结果。因此，即使除法运算表有限制，能够超过该限制，简单地获得除法运算的結果。此外，在算出所述整数斜度时，通过表示所述垂直梯度以及所述水平梯度中的一方的梯度的值除以表示另一方的梯度的值，来算出所述整数斜度，在按所述预测对象块内的每个像素位置预测该像素位置的像素值时，在所述边界，按照针对该像素位置決定的所述小数像素位置和与该小数像素位置相邻的多个整数像素位置之间的距离设定权重，通过分别对所述多个整数像素位置的像素值的每ー个加上所述权重并算出平均，从而插补所述小数像素位置上的像素值。这样，能够恰当地插补小数像素位置的像素值。此外，在算出所述整数斜度吋，针对所述预测对象块只算出一个所述整数斜度，在决定所述小数像素位置时，分别对所述预测对象块内的所有的像素位置的每ー个，利用共同的所述整数斜度决定所述小数像素位置。这样，针对预测对象块只算出一个所述整数斜度，所以能够控制运算处理的负担。另外，本发明不仅能够作为这样的空间预测方法来实现，而且作为根据该空间预测方法预测空间的装置、集成电路、用于使计算机按照该空间预测方法进行预测的程序、以及存储该程序的记录介质来实现。并且，能够作为利用根据该空间预测方法预测出的空间来编码图像的图像编码装置、集成电路、图像编码方法、使计算机按照该图像编码方法进行编码的程序、以及存储该程序的记录介质来实现。并且，能够作为利用根据该空间预测方法预测出的空间来解码图像的图像解码装置、集成电路、图像解码方法、使计算机按照该图像解码方法进行解码的程序、以及存储该程序的记录介质来实现。上述的空间预测装置，对构成图像的预测对象块内的各个像素位置上的像素值进行预测，所述空间预测装置具备检测部，通过获得与所述预测对象块相邻的相邻块内的像素间的水平梯度及垂直梯度，来检测与所述预测对象块重叠的边缘；算出部，根据获得的所述水平梯度及所述垂直梯度中的至少ー个，算出整数斜度，该整数斜度以整数值表示检测出的所述边缘的斜度；决定部，按所述预测对象块内的每个像素位置，决定作为线与所述相邻块的边界的交点的小数像素位置，该线是具有被算出的所述整数斜度且经过该像素位置的线；以及预测部，按所述预测对象块内的每个像素位置，根据针对该像素位置決定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值，所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述预测对象块最近的列或行。此外，所述算出部，针对所述水平梯度或所述垂直梯度，进行2的c次方的缩放，利用缩放后的所述水平梯度或所述垂直梯度算出所述整数斜度，其中c是正整数，所述决定部，将进行缩放而生成的所述整数斜度乘以在所述预测对象块内成为预测的对象的像素位置的水平方向或垂直方向的坐标值，从而算出针对所述像素位置的所述小数像素位置。此外，所述空间预测装置还可以具备系数算出部，该系数算出部根据所述水平梯度(Gy)或所述垂直梯度(Gx)的函数算出所述C。此外，所述算出部，可以通过參考存储在存储器中的除法运算表，获得将表示所述垂直梯度(Gx)以及所述水平梯度(Gy)中的一方的梯度的值用作除数的除法运算的結果，并且利用获得的所述除法运算的结果算出所述整数斜度，所述除法运算表，按每个预先被规定的值，示出该预先被规定的值和将该预先被规定的值用作除数的除法运算的結果。
此外，所述除法运算表示出的所述预先被规定的值的最大值是2的b次方，其中b是整数，所述算出部，在表示所述垂直梯度(Gx)以及所述水平梯度(Gy)中用作除数的梯度的值大于2的b次方的情况下，通过将表示所述梯度的值向右比特移位，从而缩放所述梯度，获得将表示缩放后的所述梯度的值用作除数的除法运算的結果。此外，所述算出部，可以通过表示所述垂直梯度(Gx)以及所述水平梯度(Gy)中的一方的梯度的值除以表示另一方的梯度的值，来算出所述整数斜度，所述预测部，可以在所述边界，按照针对该像素位置決定的所述小数像素位置和与该小数像素位置相邻的多个整数像素位置之间的距离设定权重，通过分别对所述多个整数像素位置的像素值的每ー个加上所述权重并算出平均，从而插补所述小数像素位置上的像素值。此外，所述算出部，可以针对所述预测对象块只算出一个所述整数斜度，所述决定部，可以分别对所述预测对象块内的所有的像素位置的每ー个，利用共同的所述整数斜度决定所述小数像素位置。发明效果本发明的空间预测方法能够减少空间预测的复杂程度。
图I是概略地表示4X4像素的子块使用的8个方向性空间预测模式的图。图2是表示本发明的实施例I中的图像编码装置的一例的方框图。图3是表示本发明的实施例I中的图像解码装置的一例的方框图。图4A是表示本发明的实施例I中的边缘矢量和向着正交轴X及Y的该边缘矢量的投影的图。图4B是表示在本发明的实施例I中的外插的预测的对象的外插对象块的4X4像素的光栅的图。图4C是表示在本发明的实施例I中的边缘从左侧进入到预测对象块的例子的图。
图4D是表示本发明的实施例I中的边缘方向的其他例的图。图5是表示本发明的实施例I中的帧内预测部的处理的流程图。图6是表示本发明的实施例I中的系统的一例的图。
图7是表示本发明的一个方案涉及的空间预测方法的流程图。图8是实现内容分发服务的内容提供系统的全体构成图。图9是数字广播用系统的全体构成图。图10是表示电视机的构成例的方框图。图11是表示在作为光盘的记录介质上读写信息的信息再生/记录部的构成例的方框图。图12是表示作为光盘的记录介质的构成例的图。图13A是表示便携式电话的一例的图。图13B是表示便携式电话的构成例的方框图。 图14是表示多路复用数据的构成的图。图15是模式性地表示了各流在多路复用数据中怎样被多路复用的图。图16是更详细地表示了 PES数据包列中视频流怎样被存储的图。图17是表示多路复用数据的TS数据包和源数据包的构造的图。图18是表示PMT的数据构成的图。图19是表示多路复用数据信息的内部构成的图。图20是表示流属性信息的内部构成的图。图21是表示识别影像数据的步骤的图。图22是表示实现各个实施例的运动图像编码方法以及运动图像解码方法的集成电路的构成例的方框图。图23是表示切换驱动频率的构成的图。图24是表示识别影像数据，切換驱动频率的步骤的图。图25是表示使影像数据的标准和驱动频率对应的一览表的一例的图。图26A是表示将信号处理部的模块共享化的构成的一例的图。图26B是表示将信号处理部的模块共享化的构成的其他一例的图。
具体实施例方式下面，參考附图来说明本发明的实施方式。(实施例I)图2是示出本实施例中的图像编码装置的编码器100的一例的方框图。该编码器100具备减法运算部105、变换/量化部110、逆量化/逆变换部120、加法运算部125、解块滤波器130、存储器140、插补滤波器150、运动补偿预测部160、运动检测部165、帧内预测部170、帧内/帧间切换部175、后置滤波器设计部180、以及熵编码部190。首先，減法运算部105决定输入运动图像信号(输入信号)的编码对象块与针对编码对象块被预测的预测块(预测信号)之间的差分(预测误差信号、残差信号、或预测误差块)。预测信号(预测块)可以在时间预测(帧间预测)或空间预测中获得。预测类型可以按每个帧、每个片、或每个宏块变更。使用了时间预测的预测编码被称为帧间编码，使用了空间预测的预测编码被称为帧内编码。面向运动图像的帧的预测类型，为了尽可能达到高压缩增益，能够由用户来设定，或者能够由编码器100来选择。按照被选择的预测类型，帧内/帧间切換部175将对应的预测信号输出到減法运算部105。使用了时间预测的预测信号，根据存储在存储器140中的已被编码的图像所导出。使用了空间预测的预测信号，根据存储在存储器140中的已编码以及已解码的、相同帧的相邻块的边界像素值所导出。这样，存储器140作为延迟部发挥作用，该延迟部使编码对象的信号值(像素值)和根据前面的信号值生成的预测信号值(像素值)之间的比较成为可能。存储器140存储已编码(以及解码)的多个帧。变换/量化部110将表示为预测误差信号或残差信号的、输入信号与预测信号之间的差分，变换为系数(频率系数)进行量化。而且，为了以可逆压缩方法进ー步削减数据量，熵编码部190对被量化的系数(编码运动图像或编码运动图像顺序)进行熵编码。这主要由将可变长的码字(codeword)适用于编码来实现。码字长根据出现概率被选择。熵编码部190输出包含该被熵编码的编码运动图像的编码信号(比特流)。帧内编码图像(也被称为I类型图像、I图片或I帧)，只由被帧内编码的宏块所构成。換言之，帧内编码图像，可以不參考其他的已解码的图像而解码。帧内编码图像根据因有可能从帧传播到帧的时间预测所产生的错误，将编码运动图像顺序进行刷新，所以对编码运动图像顺序(编码运动图像)给予抗错误性。加之，I帧使编码运动图像顺序内的随机存取成为可能。
帧内预测部170使用帧内预测模式的事先被定义的组。这个组中既有利用已被编码的相邻块的边界像素来预测编码对象块的帧内预测模式，也有作为匹配的模板等利用已被编码的相同帧内的像素所构成的搜索区域的帧内预测模式。帧内预测模式的事先被定义的组中包含几个方向性帧内预测模式。若方向性帧内预测模式不同，则这些模式參考与适用的ニ维预测不同的方向。通过这样，即使在各种边缘方向上，也能够有效率地进行空间帧内预测。而且，如上所述，減法运算部105从输入信号减去这样通过帧内预测获得的预测信号。此外，帧内预测部170，将表示帧内预测模式的帧内预测模式信息输出到熵编码部190 (图2中未图示)。在这里，该帧内预测模式信息被熵编码，与编码信号一起被输出。另外，本实施例的帧内预测部170，除了这样的处理以外也进行有特征的空间预測。该有特征的空间预测的详细内容在后面说明。为了获得解码信号(局部解码信号)，在编码器100中編入了解码部。換言之，编码器100包含逆量化/逆变换部120，以使与编码处理对应的解码处理能够进行。逆量化/逆变换部120，针对上述的预测误差信号进行正交变换(频率变换)以及进行量化而生成的量化值，进行逆量化以及逆正交变换(逆频率变换)。其结果，逆量化/逆变换部120生成解码预测误差信号并输出。在这里，因为被称为量化噪声的量化误差，解码预测误差信号与原来的预测误差信号不同。加法运算部125，通过将解码预测误差信号与预测信号相加，获得再构成信号(再构成图像)。为了在编码器(图像编码装置)100侧和解码器(图像解码装置)侧维持互換性，根据编码器100和解码器双方能够把握的继编码被解码的输入信号(解码信号)，由插补滤波器150、帧内预测部170以及运动补偿预测部160构成的构成要素群获得预测信号。因为量化，量化噪声被重叠在再构成信号。因为块单位的编码，多数情况下被重叠的噪声中存在成块特性，其結果，尤其是较强的量化中，再构成图像(由再构成信号所示的图像)的块边界能够看得见并知道。为了减少这些人为因素，解块滤波器130针对所有再构成图像的块，适用解块滤波处理。解块滤波器130将适用了解块滤波处理的再构成信号，作为解码信号存储到存储器140。根据帧间编码被编码的图像(帧间编码图像)，为了解码，需要预先被编码后被解码的解码图像(由解码信号所示的图像)。时间预测(帧间预测)，是单方向，換言之可以只使用编码对象的帧之前的时序排列的帧，或者是双方向，換言之也可以使用编码对象的帧之后的帧。根据单方向的时间预测被编码的图像，是被称为P帧(P图片)的帧间编码图像，根据双方向的时间预测被编码的图像，是被称为B帧(B图片)的帧间编码图像，通常，帧间编码图像由P型、B型、或I型的宏块中的任ー个组成。帧间编码宏块(P或B宏块)，利用运动补偿预测部160被预测。首先，由运动检测部165在存储在存储器140的预先被编码以及被解码的帧内，发现针对编码对象块最匹配的块。而且，运动补偿预测部160，将该最匹配的块作为预测信号来输出。此外，运动检测部165，将表示编码对象块和与其最一致(匹配)块之间的相对偏差的数据，且是在比特流的编码运动图像顺序内的三维(I时间轴，2空间轴)形状的数据，作为运动数据(运动矢量)输出到运动补偿预测部160。插补滤波器150为了 优化预测精度，将參考图像(解码图像)的分辨率，变换为空间的子像素分辨率，例如1/2像素或1/4像素分辨率。换言之，插补滤波器150在參考图像上插补子像素。这样,运动检 测部165检测子像素精度(小数像素精度)的运动矢量。变换/量化部110，不管在帧内编码，还是在帧间编码，通过对作为输入信号与预测信号之间的差的预测误差信号进行正交变换(频率变换)并进行量化，来生成作为被量化的系数(频率系数)的量化值。该频率变换中，通常利用ニ维的DCT(离散余弦变换discretecosine transformation)或该整数形式等正交变换。因为，正交变换会有效地减少加工前的运动图像的相关。进行了该变换后，能够使低频率成分的编码比高频率成分的编码花费更多的比特，在大部分情况下，对于画质来说低频率成分比高频率成分重要。熵编码部190将量化值的2维矩阵变换为I维的排列。通常，通过所谓之字形扫描来进行上述变换。在之字形扫描中，从位于2维排列的左上角的DC系数开始朝着位于右下角的AC系数，按规定的顺序扫描2维排列。通常，能量集中在相当于低频率的系数的2维矩阵的左上部，之字形扫描在结果上成为最后的值为O的排列。这样，能够进行作为实际的熵编码的部分/实际的熵编码之前的部分而利用扫描宽度编码的有效的编码。此外,变换/量化部110采用标量量化。该标量量化，可由量化參数(QP)和可定制的量化矩阵(QM)进行控制。变换/量化部110，根据被量化的系数按每个宏块来选择52个量化參数中的I个。加之，量化矩阵被具体地设计为，維持信号源(sauce)内的特定的频率，避免画质的损失。量化矩阵与编码运动图像顺序一起被包含在比特流上，进行信号传递。比特流(编码信号)具有2个功能层，換言之具有VCL (视频编码层Video CodingLayer)和NAL (网络提取层Network Abstraction Layer)。VCL提供如上述简单说明的编码功能。NAL按照经由信道的传输和向记忆装置的存储等新的应用，在被称为NAL単元的标准化単元封装信息要素。信息要素是指，例如被编码的预测误差信号(编码运动图像)、和在编码运动图像的解码中需要的其他信息(例如预测类型、量化參数、以及运动矢量等)。比特流中还有包含编码运动图像和与其相关信息的VCL NAL単元、以及封装与编码运动图像顺序整体相关的參数组等附加数据的非VCL単元，或者能够提供用于使解码的性能提高的追加信息的 SEI (补充增强信息！Supplemental Enhancement Information)。
后置滤波器设计部180根据解码信号和输入信号，设计用于改善画质的滤波系数等的后置滤波器信息，将该后置滤波器信息输出到熵编码部190。后置滤波器信息经由比特流的SEI (SEI消息)被发送。換言之，后置滤波器设计部180通过比较本地的解码信号和原来的输入信号，在编码器100侧判断后置滤波器信息。通常，后置滤波器信息是用于使解码器设定恰当的滤波器的信息。该信息可以是滤波系数本身，或者可以是为了能够设定滤波系数的其他信息。从后置滤波器设计部180输出的后置滤波器信息，也发送到熵编码部190，以便被编码插入到编码信号。图3是示出本发明的实施例的作为图像解码装置的解码器200的一例的方框图。该解码器200是对由编码器100所生成的编码信号进行解码的装置，具备逆量化/逆变换部220、加法运算部225、解块滤波器230、存储器240、插补滤波器250、运动补偿预测部260、帧内预测部270、帧内/帧间切換部275、后置滤波器280、以及熵解码部290。另外，逆量化/逆变换部220、加法运算部225、解块滤波器230、存储器240、插补滤波器250、运动
补偿预测部260、帧内预测部270、帧内/帧间切換部275分别与编码器100具备的逆量化/逆变换部120、加法运算部125、解块滤波器130、存储器140、插补滤波器150、运动补偿预测部160、帧内预测部170、以及帧内/帧间切換部175进行同样的处理工作。具体而言，熵解码部290获得作为编码信号的比特流(向解码器200的输入信号)。该熵解码部290，对量化值(编码运动图像)、解码时需要的信息要素(运动数据和预测模式等)、后置滤波器信息进行熵解码。熵解码部290按照需要从比特流提取帧内预测模式信息，该帧内预测模式信息表示在解码对象的块中适用的空间预测的类型/摸式。熵解码部290，将被提取的帧内预测模式信息输出到帧内预测部270。逆量化/逆变换部220获得I维地排列的量化值，并且为了获得2维矩阵，对该I维地排列的量化值进行逆扫描。加之，逆量化/逆变换部220，通过进行逆量化以及逆变换获得解码预测误差信号，该解码预测误差信号相当于从在编码器100的输入信号减去预测信号的差分。加法运算部225从运动补偿预测部260或帧内预测部270获得预测信号。这些由运动补偿预测部260进行的时间预测以及帧内预测部270进行的空间预测，能够通过帧内/帧间切換部275来切換。換言之，预测可以按照用于信号传递的切換信息来切換在编码器100适用的预测。该切换信息在帧内预测的情况下包含预测类型(帧内预测模式信息)，在运动补偿预测的情况下包含运动数据等的预测所需要的信息。为了进行运动补偿预測，按照运动矢量的现行值，有可能需要像素值的插补。这个插补由插补滤波器250进行。而且，加法运算部225，将空间区域的解码预测误差信号与从运动补偿预测部260或帧内预测部270获得的预测信号相加。解块滤波器230，获得根据该加法运算生成的再构成图像(再构成信号)，并进行解块滤波处理，将其结果获得的解码信号存储到存储器240。该解码信号适用于之后接着的块的时间预测或空间预测的信号。后置滤波器280获得用于设定后置滤波处理的后置滤波器信息。后置滤波器280为了进一歩改善画质，对解码信号适用后置滤波处理。这样，作为编码信号的输入信号被解码，解码结果作为输出信号而输出。下面，对本实施例的帧内预测部170以及270进行的有特征的处理工作进行详细说明。本发明的根本上存在的课题是基于如下的想法，通过改善边缘检测以及接着的预测的精度，能够提高图像以及运动图像编码中适用的空间(帧内)预测的效率。另ー方面，边缘检测以及预测的改善，需要更大的计算能力，需要进行除法运算等复杂的运算。这样，有可能难以有效的实现这样的更复杂的方法。例如，通过对图像处理只用整数运算，就可提高编码以及解码的速度，有效地在通用处理器、数字信号处理器、或者向特殊或可编程的硬件进行安装。然而，被整数的精度所左右，有可能导致乘法运算和除法运算等运算溢出，或者精度下降。在本实施例的帧内预测部170以及270，为了使帧内预测的预测能力提高，使用被改良的帧内预測。尤其，被改良的帧内预测依存于边缘检测，算出I块边界(或多个块边界)与作为优先被检测的边缘之间的交点。该交点可以在子像素(小数像素)位置上，根据这样的子像素位置进行插补。对应的帧内预测方法的例子，例如公开在所述专利文献I。与所述专利文献I公开的帧内预测方法相比，在本实施例的帧内预测部170以及270，能够有效率且低复杂程度地进行方向性空间预测。
通常，能够通过决定图像(像素间)的梯度矢量场(梯度矢量或梯度场)来检测出图像的边缘。梯度矢量在边缘上更大、且相对于边缘是垂直的。检测梯度场的最常用的方法之ー是利用垂直以及水平Sobel算符的图像的卷积。这个算符由如下的掩模((公式I)以及(公式2))表示。(公式I)
权利要求
1.一种空间预测方法，对构成图像的预测对象块内的各个像素位置上的像素值进行预测，所述空间预测方法包括如下步骤 通过获得与所述预测对象块相邻的相邻块内的像素间的水平梯度以及垂直梯度，来检测与所述预测对象块重叠的边缘； 根据获得的所述水平梯度以及所述垂直梯度中的至少一个，算出整数斜度，该整数斜度以整数值表示检测出的所述边缘的斜度； 按所述预测对象块内的每个像素位置，决定作为线与所述相邻块的边界的交点的小数像素位置，该线是具有被算出的所述整数斜度且经过该像素位置的线；以及 按所述预测对象块内的每个像素位置，根据针对该像素位置决定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值， 所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述预测对象块最近的列或行。
2.如权利要求I所述的空间预测方法， 在算出所述整数斜度时， 针对所述水平梯度或所述垂直梯度，进行2的c次方的缩放，利用缩放后的所述水平梯度或所述垂直梯度算出所述整数斜度，其中c是正整数， 在决定所述小数像素位置时， 将进行缩放而生成的所述整数斜度乘以在所述预测对象块内成为预测的对象的像素位置的水平方向或垂直方向的坐标值，从而算出针对所述像素位置的所述小数像素位置。
3.如权利要求2所述的空间预测方法， 所述空间预测方法，还根据所述水平梯度或所述垂直梯度的函数，算出所述C。
4.如权利要求I 3中的任一项所述的空间预测方法， 在算出所述整数斜度时， 通过参考存储在存储器中的除法运算表，获得将表示所述垂直梯度以及所述水平梯度中的一方的梯度的值用作除数的除法运算的结果，并且利用获得的所述除法运算的结果算出所述整数斜度，所述除法运算表，按每个预先被规定的值，示出该预先被规定的值和将该预先被规定的值用作除数的除法运算的结果。
5.如权利要求4所述的空间预测方法， 所述除法运算表示出的所述预先被规定的值的最大值是2的b次方，其中b是整数， 在算出所述整数斜度时， 在表示所述垂直梯度以及所述水平梯度中用作除数的梯度的值大于2的b次方的情况下，通过将表示所述梯度的值向右比特移位，从而缩放所述梯度，获得将表示缩放后的所述梯度的值用作除数的除法运算的结果。
6.如权利要求I 5中的任一项所述的空间预测方法， 在算出所述整数斜度时， 通过表示所述垂直梯度以及所述水平梯度中的一方的梯度的值除以表示另一方的梯度的值，来算出所述整数斜度， 在按所述预测对象块内的每个像素位置预测该像素位置的像素值时， 在所述边界，按照针对该像素位置决定的所述小数像素位置和与该小数像素位置相邻的多个整数像素位置之间距离设定权重， 通过分别对所述多个整数像素位置的像素值的每一个附加所述权重并算出平均，从而插补所述小数像素位置上的像素值。
7.如权利要求I 6中的任一项所述的空间预测方法， 在算出所述整数斜度时， 针对所述预测对象块只算出一个所述整数斜度， 在决定所述小数像素位置时， 分别对所述预测对象块内的所有的像素位置的每一个，利用共同的所述整数斜度决定所述小数像素位置。
8.一种图像解码方法，对按每个块进行了编码的图像进行解码，所述图像解码方法包括如下步骤 通过利用权利要求I 7中的任一项所述的空间预测方法，预测在解码对象块内的各个像素位置上的像素值，从而生成预测块； 获得预测误差块；以及 将所述预测误差块与所述预测块相加。
9.一种图像编码方法，按每个块编码图像，所述图像编码方法包括如下步骤 通过利用权利要求I 7中的任一项所述的空间预测方法，预测在编码对象块内的各个像素位置上的像素值，从而生成预测块；以及从所述编码对象块中减去所述预测块。
10.一种空间预测装置，对构成图像的预测对象块内的各个像素位置上的像素值进行预测，所述空间预测装置具备 检测部，通过获得与所述预测对象块相邻的相邻块内的像素间的水平梯度以及垂直梯度，来检测与所述预测对象块重叠的边缘； 算出部，根据获得的所述水平梯度以及所述垂直梯度中的至少一个，算出整数斜度，该整数斜度以整数值表示检测出的所述边缘的斜度； 决定部，按所述预测对象块内的每个像素位置，决定作为线与所述相邻块的边界的交点的小数像素位置，该线是具有被算出的所述整数斜度且经过该像素位置的线；以及 预测部，按所述预测对象块内的每个像素位置，根据针对该像素位置决定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值， 所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述预测对象块最近的列或行。
11.一种图像解码装置，对按每个块进行了编码的图像进行解码，所述图像解码装置具备 权利要求10所述的空间预测装置，通过预测在解码对象块内的各个像素位置上的像素值来生成预测块；以及 加法运算部，获得预测误差块，并将所述预测误差块与所述预测块相加。
12.—种图像编码装置，按每个块编码图像，所述图像编码装置具备 权利要求10所述的空间预测装置，通过预测在编码对象块内的各个像素位置上的像素值来生成预测块；以及减法运算部，从所述编码对象块中减去所述预测块。
13.一种程序，用于对构成图像的预测对象块内的各个像素位置上的像素值进行预测，所述程序使计算机执行如下步骤 通过获得与所述预测对象块相邻的相邻块内的像素间的水平梯度以及垂直梯度，来检测与所述预测对象块重叠的边缘； 根据获得的所述水平梯度以及所述垂直梯度中的至少一个，算出整数斜度，该整数斜度以整数值表示检测出的所述边缘的斜度； 按所述预测对象块内的每个像素位置，决定作为线与所述相邻块的边界的交点的小数像素位置，该线是具有被算出的所述整数斜度且经过该像素位置的线；以及 按所述预测对象块内的每个像素位置，根据针对该像素位置决定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值， 所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述预测对象块最近的列或行。
14.一种图像解码程序，用于对按每个块进行了编码的图像进行解码，所述图像解码程序使计算机执行如下步骤 通过利用权利要求13所述的程序，预测在解码对象块内的各个像素位置上的像素值，从而生成预测块； 获得预测误差块；以及 将所述预测误差块与所述预测块相加。
15.一种图像编码程序，用于按每个块编码图像，所述图像编码程序使计算机执行如下步骤 通过利用权利要求13所述的程序，预测在编码对象块内的各个像素位置上的像素值，从而生成预测块；以及 从所述编码对象块中减去所述预测块。
16.一种集成电路，对构成图像的预测对象块内的各个像素位置上的像素值进行预测，所述集成电路具备 检测部，通过获得与所述预测对象块相邻的相邻块内的像素间的水平梯度以及垂直梯度，来检测与所述预测对象块重叠的边缘； 算出部，根据获得的所述水平梯度以及所述垂直梯度中的至少一个，算出整数斜度，该整数斜度以整数值表示检测出的所述边缘的斜度； 决定部，按所述预测对象块内的每个像素位置，决定作为线与所述相邻块的边界的交点的小数像素位置，该线是具有被算出的所述整数斜度且经过该像素位置的线；以及 预测部，按所述预测对象块内的每个像素位置，根据针对该像素位置决定的所述小数像素位置上被插补的像素值，预测该像素位置的像素值， 所述相邻块的边界是该相邻块中包含的像素的多个列或多个行中的、与所述预测对象块最近的列或行。
17.一种图像解码集成电路，对按每个块进行了编码的图像进行解码，所述图像解码集成电路具备 权利要求16所述的集成电路，通过预测在解码对象块内的各个像素位置上的像素值来生成预测块；以及 加法运算部，获得预测误差块，并将所述预测误差块与所述预测块相加。
18.一种图像编码集成电路，按每个块编码图像，所述图像编码集成电路具备 权利要求16所述的集成电路，通过预测在编码对象块内的各个像素位置上的像素值来生成预测块；以及 减法运算部，从所述编码对象块中减去所述预测块。
全文摘要
能够减少空间预测的复杂程度的空间预测方法，通过获得与预测对象块相邻的相邻块内的像素间的水平梯度(Gy)以及垂直梯度(Gx)，来检测与预测对象块重叠的边缘(E)(S10)；算出检测出的边缘的整数斜度(S11)；按预测对象块内的每个像素位置，决定作为线(430)与相邻块的边界的交点的小数像素位置(450)，该线是具有被算出的整数斜度且经过该像素位置(440)的线(S12)；以及按预测对象块内的每个像素位置，根据针对该像素位置决定的小数像素位置(450)上被插补的像素值，预测该像素位置(440)的像素值(S13)，相邻块的边界是相邻块中包含的像素的多个列或多个行中的、与预测对象块最近的列或行。
文档编号H04N7/32GK102835112SQ201180018178
公开日2012年12月19日 申请日期2011年4月11日 优先权日2010年4月12日
发明者V·德吕容, 柴原阳司, 西孝启, 笹井寿郎, 谷川京子 申请人:松下电器产业株式会社