专利名称：内部预测装置的制作方法
技术领域：
本发明涉及一种可用于动画压缩等的内部预测装置，还涉及作为一种动画压缩方法的用来减少内部预测计算量的技术。
背景技术：
近年来，随着宽带等通信基础设施的普及和以个人计算机、HDD和DVD等为首的大容量存储装置、存储卡等价格的走低，普通消费者对图像进行编辑、存储、传送、携带的环境已经具备，使用者越来越多。
如此，一方面普通消费者处理图像的场景在增加，但是另一方面，即使现在个人计算机不断提高性能，还是不能在图像处理方面获得更好的性能。例如，如果图像信息量非常多，那么即使使用高性能的个人计算机进行动画压缩还是需要很多时间。作为解决该问题的策略，可以考虑以更少的计算量来处理相同编码性能的高效率计算方法。另外，如果执行高效率的计算，由于减少了耗电量，所以能够缓解便携式摄影器材电池寿命对于摄影时间的制约。以此为背景，从而可以不断寻求更高效率的动画压缩技术。
其中，新产生的国际标准动画压缩规格H.264(例如，参考非专利文献1)以提高图像质量和编码效率为目的，采用了多种动画压缩方法。另外，H.264具有通过依次比较多种预测方法，并选择编码效率最好的预测方法进行编码的特征。
例如，在对图1所示图片I中包含的16×16像素宏块进行编码的情况下，对通过16份分割宏块得到的4×4像素的各个块从多个方向进行内部预测，同时，对宏块从多个方向上进行内部预测。
作为其代表性的例子，4×4内部预测通过比较多种预测方法，选择编码效率最好的预测方法。
在该预测方法中，如图2所示那样，存在根据上部MB(宏块)计算预测像素值并预测垂直方向像素值的预测模式0(垂直)、根据相邻MB计算预测像素值并预测水平方向像素值的预测模式1(水平)、根据邻接MB计算预测像素值并预测在偏离水平方向±22.5-44.5度的方向上进行预测的预测模式8(水平-上)、预测模式6(水平-下)、预测模式4(对角-下-右)、根据邻接MB计算预测像素值来预测偏离垂直方向±22.5-44.5度的方向上进行预测的预测模式5(垂直-右)、预测模式7(垂直-左)、预测模式3(对角-下-左)的8个方向的预测处理，加上通过对根据邻接MB像素值平均进行预测的预测模式2(平均)，总共9种。
同样，16×16内部预测也具有多种预测方法。在这种16×16内部预测中具有相同种类上的4种的预测方法。
对于16×16内部预测，如图3所示的那样，存在预测模式0(垂直)、预测模式1(水平)、预测模式2(平均)、预测模式3(平面)的预测方法。
因此，在现有的内部预测装置中，如图4所示那样，如果输入图片I，那么就对块0计算有关9种预测模式的预测误差(绝对值差分和)。也就是，对于9种的预测模式，全部计算出参照像素和编码对象像素的差分值和绝对值差分和。从而，内部预测装置使用预测误差最小的预测作为内部预测。
一旦结束块0的内部预测，内部预测装置就返回到上述相同的处理，并执行块1～块15的内部预测。
一旦结束块15的内部预测，就对该宏块在4种预测模式上全部计算出参照像素和编码对象像素之间的差分值和绝对值差分和。从而，内部预测装置使用预测误差最小，也就是，使用例如在各个块的绝对值差分和的总数和宏块的绝对值差分和较小的一个作为内部预测。即，在各个块的绝对值差分和的总数小的情况下，内部预测装置输出有关各个块的差分值。与此相反，在宏块的绝对值差分和小的情况下，内部预测装置输出有关宏块的差分值。
如此来对图片I进行数据压缩。
但是，如在上述例子中所示的那样，在现有的内部预测装置中，在作为现在所公开的国际标准、动画压缩方式H.264的内部预测中，通过用于提高画面质量的多种预测方法(4×4内部预测中为9种，16×16内部预测中为4种)来制作预测图像，由于从各种预测方法中选择最合适的预测方法，也就是由于根据编码时的结果选择了编码效率最高的处理，所以不能避免画质提高、编码效率提高而导致的编码计算量的增加，从而增大了开销和计算负荷。
因此，现在为了实现高画质高效率的动画压缩技术，需要降低优化图像质量的H.264的编码计算量。
非专利文献《H.264用于普通视听服务的高级视频编码》(“H.264Advanced video coding for generic audiovisual services”，トリケツプス出版社发行)。
发明内容
在此，本发明目的在于提供一种在有助于提高画质、编码效率的同时，能够减少计算负荷的内部预测装置。
为了实现有关的目的，本发明人经过研究后发现在通常使用邻接宏块(下面简略为MB)的像素进行预测的情况下，与邻接MB的像素的距离相比，像素间的相关性变得更低。在不考虑像素间的相关性，使用所有预测方向进行内部预测的情况下，本发明人注意到使用对编码效率没有帮助的预测方向进行内部预测会产生无用的处理。另外，本发明人还注意到如果在不对照图像特性而一意地进行内部预测的话，存在执行对于编码效率没有帮助的预测方向处理等不必要处理的问题。
另外，在系统地处理预测方向以减少内部预测处理的方法来说，存在下面的问题。例如，在4×4内部预测中，首先评价通过水平方向和垂直方向的预测，根据该结果，决定进行下次评价的预测方向。在该方案中，本发明人注意到，即使在事先知道垂直方向的预测对编码效率没有帮助的情况下，也需要通过垂直方向进行再次评价，从而存在通过不需要的垂直方向执行预测的问题。
根据这些注意点，想到了本发明。
为了解决上述问题，有关本发明的内部预测装置的特征在于包括用来从适应于图像数据的特征的多个内部预测方向中限定适用于构成该图像数据的多个像素块的内部预测方向候补的候补限定装置，和使用通过所述候补限定装置所限定的内部预测方向执行内部预测的内部预测执行装置。
也就是，本发明在执行内部预测时，根据图像的特点，事先省略了对于编码效率有害的处理和在编码效率上不产生差别的处理。
由此，在有助于提高画质和编码效率的同时，可以减轻计算负荷。
在有关本发明的内部预测装置中，所述候补限定装置的特征在于能够根据作为所述图像特征的像素纵横比限定内部预测方向的候补。
另外，在有关本发明的内部预测装置中，所述纵横比的特征在于可以从图像信号输入机器和来自视频流内外所得到的信息的任何一个中获得。
另外，在有关本发明的内部预测装置中，所述候补限定装置的特征在于使用根据所述像素纵横比在原始图像中的邻接像素间的水平和垂直距离作为内部预测的水平方向和垂直方向的预测的可信度，来限定内部预测方向候补。
另外，在有关本发明的内部预测装置中，所述候补限定装置的特征在于可以通过表示是否是隔行扫描和逐行扫描的任何一种来根据作为所述图像数据特点的图片构造信息限定内部预测方向的候补。
另外，在有关本发明的内部预测装置中，所述图片构造信息的特征在于能够从图像信号输入机器和来自视频流内外所得到的信息的任何一方获得。
另外，在有关本发明的内部预测装置中，所述候补限定装置的特征在于，在所述图片构造信息表示隔行扫描的情况下，能够从候补中优先排除包含在所述内部预测方向中的垂直-右方向和垂直-左方向。
另外，在有关本发明的内部预测装置中，所述候补限定装置的特征在于，在所述图片构造信息表示隔行扫描的情况下，能够从候补中优先排除包含在所述内部预测方向中的垂直-右方向、垂直-左方向、以及对角-下-右方向和对角-下-左方向。
另外，在有关本发明的内部预测装置中，所述候补限定装置的特征在于，在所述图片构造信息表示隔行扫描的情况下，能够从候补中优先排除包含在所述内部预测方向中的平均方向。
另外，在有关本发明的内部预测装置中，所述候补限定装置的特征在于，在所述图片构造信息表示隔行扫描的情况下，能够从候补中优先排除包含在所述内部预测方向的平均方向和垂直方向。
另外，在有关本发明的内部预测装置中，所述候补限定装置的特征在于，在使用有关动画压缩方式的图片级自适应(Pict-Level Adaptive)进行编码时，可以限定相应于图片构造信息的内部预测方向候补。
另外，在有关本发明的内部预测装置中，所述图片构造信息是场构造和帧构造中的任意一个，所述候补限定装置的特征在于，在使用有关动画压缩方式的宏块级自适应(MB-Level Adaptive)进行编码时，当通过切换场构造上的一对宏块对和帧构造上的一对宏块对进行预测时，可以相应于该宏块对是场构造还是帧构造的信息限定内部预测候补。
另外，在有关本发明的内部预测装置中，所述候补限定装置的特征在于，能够基于对编码顺序在先的原始图像或编码图像所得到的结果，限定内部预测方向的候补。
根据上述，能够容易地限定内部预测方向的候补。
另外，在有关本发明内部预测装置中，特征在于可以使用编码对象的图像的前1个原始图像或编码图像作为编码顺序在先的原始图像或编码图像。
由此，该在先原始图像或编码图像与编码对象的图像之间的相关性能够变高，并能够精确地限定内部预测方向。
另外，在有关本发明的内部预测装置中，特征在于所述结果是从编码顺序在先的编码图像所得到的动态向量，所述候补限定装置可以基于所述动态向量的方向限定内部预测方向的候补。
由此，在图像中存在动画的情况下，能够精确并高效地从已知动态向量中排除相关性低的内部预测方向候补。
另外，在有关本发明的内部预测装置中，特征在于，作为所述动态向量，可以使用有关表示与编码对象的宏块的空间相同的位置、包含该空间相同位置周围的位置和图像整体的任何一个单位区域的动态向量。
由此，能够提高对于编码对象宏块的动态向量的精度，并能够精确有效地从该动态向量中排除相关性低的内部预测方向候补。
另外，在有关本发明的内部预测装置中，特征在于所述结果是可以从编码顺序在先的编码图像所得到的内部预测方向，所述候补限定装置可以基于所述内部预测方向限定内部预测方向的候补。
由此，不受图像活动情况的约束，能够精确并有效地从已知内部预测方向中排除相关性低的内部预测方向候补。
另外，在本发明的内部预测装置中，特征在于，作为所述内部预测方向，可以使用有关与编码对象宏块的空间相同的位置和包含该空间相同位置周围的位置的宏块的内部预测方向。
由此，能够提高对编码对象宏块的内部预测方向的精度，并能够精确并有效地从该内部预测方向排除相关性低的内部预测方向候补。
另外，在有关本发明的内部预测装置中，特征在于所述结果是所述编码顺序在先的原始图像或编码图像的邻接像素差分，所述候补限定装置能够基于所述邻接像素差分限定内部预测方向候补。
由此，在图像活动较少的情况下，能够精确并有效地从已知的像素差分中排除相关性较低的内部预测方向候补。
在本发明所涉及的内部预测装置中，其特征在于能够根据所述内部预测装置的处理性能，所述候补限定装置从所述内部预测方向的候补中调整限定数。
再有，本发明并不仅仅能够作为这样的内部预测装置来实现，还可以将这种内部预测装置所具备的特征以步骤作为内部预测方法来实现，还可以将这些步骤作为在计算机中可以执行的程序来实现。因此，不言而喻，这种程序可以通过CD-ROM等记录介质和因特网等传送媒介进行传送。而且，还可以作为具备上述内部预测装置的图像编码装置来实现。
如从上述描述可以看出的那样，根据有关本发明的内部预测装置，仍然可以维持高画质和高编码效率，并能够减轻内部预测的计算处理。
也就是，虽然内部预测是通过从周围像素复制像素值来形成预测图像的处理，但是在内部预测中，因为使用多个预测方向来选择高的编码效率，结果没有选择的预测方向的计算变得冗长。因此，由于对于编码效率没有帮助，所以就减少编码计算量来说，省略对编码效率不太产生差别的内部预测是有效的。另外，在隔行扫描方式的场图像中，为了减少该冗长，通过不使用事先在编码效率上没有产生差别的预测方式，能够减轻有关内部预测的负荷。另外，通过使用图像的特点，从而可以减少相应于图像的内部预测处理，并且与现有方法相比，处理效率更高。
因此，在数码相机和具有照相机的移动电话等广泛普及的今天，本发明的实用价值极高。
图1是表示包含在图片I中的16×16像素的宏块和4×4像素的各块之间的关系的图。
图2是表示4×4内部预测方向的图。
图3是表示16×16内部预测方向的图。
图4是表示现有内部预测装置执行的预测处理的顺序图。
图5是表示适用于有关本发明实施例的内部预测装置的图像编码装置1的整体结构的功能方框图。
图6是表示使用图像特征量的内部预测装置11的功能结构的方框图。
图7是表示内部预测装置11的各部分执行的详细处理的顺序图。
图8是表示使用图片构造情况的内部预测装置11的功能结构的方框图。
图9是表示使用纵横比情况的内部预测装置11的功能结构的方框图。
图10是表示有关4×4内部预测在原始图像和场之间的角度偏离的图。
图11是表示有关16×16内部预测在场的像素位置和原始图像的像素位置之间的距离关系的图。
图12是表示使用动态向量、预测模式和像素计算信息的内部预测装置11的功能结构的方框图。
图13是用于说明通过动态向量进行预测方向候补决定的图。特别是，图13(a)是表示按照编码顺序排列的原始图像的图，图13(b)是表示按照编码顺序排列的编码图像的图，图13(c)是表示编码顺序在先的编码图像和编码对象的图像之间的关系的图。
图14是用于说明通过预测模式进行预测方向候补决定的图。特别是，图14(a)是表示按照编码顺序排列的原始图像的图，图14(b)是表示按照编码顺序排列的编码图像的图，图14(c)是表示编码顺序在先的编码图像和编码对象图像之间的关系的图。
图15是表示候补限定单元111使用已知结果、内部预测限定内部预测候补的内部预测候补限定处理操作的流程图。
具体实施例方式
下面，参照附图对有关本发明实施例的内部预测装置加以说明。
图5是表示适用于有关本发明实施例的内部预测装置的编码装置1的整体结构的功能方框图。
编码装置1用来对图片I进行内部(画面内)预测编码、对图片P和图片B进行外部(画面间)编码的装置，如图1所示那样，其包括内部预测装置11、减法器12、模式切换开关13、变换单元14、量化单元15、熵编码单元16、外部预测单元17和编码控制单元18等。另外，外部预测单元17可以由模式切换开关170、逆量化单元171、逆变换单元172、加法器173、环形滤波器174、帧存储器175、动态预测单元176和动态补充单元177等构成。
就要被外部编码的图片来说，成为该编码对象的图片被分割成称作宏块的例如水平16×垂直16像素的块(宏块)，并被以块为单元执行以下的处理。
对于作为编码对象的图片，通过在减法器12中取得作为动态补偿单元177的输出的预测图像信号之间的差分，可以变换成差分图像。差分图像被通过模式切换开关13输出到变换单元14。
通过变换单元14将差分图像从时间轴变换成频率轴，并由量化单元15进一步执行量化，生成由变换系数构成的残差信号。
该残差信号通过外部预测单元17被本地解码。即，残差信号在逆量化单元171中被逆量化。从而，逆变换单元172通过进行逆频率变换等图像解码处理，生成残差解码信号。加法器173通过相加残差解码信号和预测图像信号，生成重构图像信号。所得到的重构图像信号在通过环形滤波器174除去块失真后，被存储在帧存储器175中。
另一方面，从帧存储器175中读出的宏块单位的输入图像信号被输入到动态预测单元176。在此，以存储在帧存储器175中的1个或多个编码完毕的图片为探索对象，通过检测最接近输入图像信号的图像区域来确定指示该位置的动态向量和参照图片索引，该索引指示了此时所选择的图片。动态向量的检测是以进一步分割成宏块的单位来执行的。动态预测单元176使用所得到的动态向量和参照图片索引，从存储在帧存储器175中编码完毕的图片中取出最合适的图像区域，并生成预测图像。
对于通过上述一连串处理所输出的动态向量、参照图片索引、残差编码信号等编码信息，通过在熵编码单元16中实施可变长编码，可以通过该编码处理输出数据量较少的比特流。
以上处理的流程虽然是在执行画面间预测编码情况下的操作，但是也可以通过开关114和开关115切换到画面内预测编码。
执行内部编码的情况并不通过动态补偿生成预测图像，在内部预测装置11中，根据同一画面内编码完毕的区域生成编码对象区域的预测图像，并通过取差分生成差分图像信号。另外，在后面对此进行详细描述。与外部编码的情况相同，该差分图像信号在变换单元14和量化单元15中被变换成残差编码信号，并在熵编码单元16中实施可变长编码，从而输出数据量较少的比特流。
下面，对图5所示内部预测装置11的详细结构进行说明。
图6是表示使用图像特征量的内部预测装置11的功能结构的方框图。另外，还在该图中显示了包括编码控制单元18的图像特征量输入单元181。
编码控制单元18的图像特征量输入单元181取得添加到视频流内外的信息和图像输入机器所具有的信息作为图像特征量，并向内部预测装置11输出所取得的图像特征量。
内部预测装置11具有用来从合并到该图像特征的多个中限定适用于构成图像的多个像素的每个块的内部预测方向候补的候补限定单元111，和对通过候补限定单元111所限定的内部预测方向执行内部预测的内部预测执行单元112。另外，内部预测执行单元112具有用来计算有关各预测模式的参照像素和编码对象像素的差分值、计算出绝对值差分值的预测误差计算单元，与变换单元14相同功能的变换单元，与量化单元15相同功能的量化单元，与逆量化单元171相同功能的逆量化单元，与逆变换单元172相同功能的逆变换单元，和从参照像素的像素值和差分值复原出复原图像的像素值的逆预测单元。
候补限定单元111首先根据来自图像特征量输入单元181的图像特征量限定内部预测方向候补。
接着，内部预测执行单元112对通过候补限定单元111所限定的内部预测方向执行内部预测。也就是，计算预测误差，并使用最小的预测误差作为内部预测。
在内部预测中，在图像的特征量和内部预测方向的预测精度之间存在相关性。
通过使用从图像特征量类推出的高预测精度的预测方向作为预测方向候补，能够优先省略预测精度低的预测方向和预测精度没有变为其它的预测方向，并能够减轻内部预测处理的负荷。在此所述的图像特征量包含通过对图像和像素计算求得的特征量和摄像元件等图像输入机器所具有的特性等其它外部因素。
例如，摄影时，使用将照相机在水平方向旋转的摄影镜头。该摄影镜头可以通过设置在例如照相机中的陀螺传感器来检测。另外，根据该图像的前后动态向量也可以检测摄影镜头。一旦取出该摄影镜头旁的图像的1个帧，就在横向方向上形成像素间相关性很强的帧。根据该像素间的相关性，可以估计内部预测方向的预测精度，并能够预先减去预测精度低的内部预测方向候补。
另外，在机器设定以低比特率进行编码的情况下，以低分辨率进行编码的情况下，和在使用预测方向相近的例如预测模式0(水平)和预测模式6(水平-下)的情况下，两种模式的预测误差没有差别，并且编码性能也没有差别。在此，优先预测候补预测方向的方向大不相同的预测模式0(水平)等。也就是，优先删掉预测模式6。
另外，根据动态向量可以确定预测方向。也就是，在执行内部预测时，使用过去或未来帧的动态向量作为图像特征量。在该动态向量方向上存在高相关性像素值的可能性很大。从而，能够省略大大偏离该动态向量方向的内部预测方向。在此，作为过去或未来帧动态向量，即可以是画面整体的动态向量，也可以是画面内特定区域的动态向量。
另外，能够从编码MB的内部预测方向候补中省略大大偏离编码MB邻接MB附近动态向量方向的内部预测方向。
而且，在编码MB中，在已经求出动态向量时，如果将该动态向量作为特征量，那么能够进一步选定高精度的内部预测方向候补。
在H.264中，对图片I仅执行内部预测，对P或B图片实施内部预测/外部预测两种预测，从而以残差信号少的编码模式执行编码。因此，可以在全部的图片中实施内部预测。
由于使用了这些，所以限制了对编码对象图片预测方向的候补。也就是，候补限定单元111基于从编码顺序在先的原始图像或编码图像得到的结果，能够限定内部预测方向候补。据此，也能够容易地限定内部预测方向候补。
具体来说，首先，预先在存储器中记录首先编码的图片内部预测的预测方向和图片内的MB位置。接着，使用记录在所述存储器的图片内MB位置和预测方向执行与编码处理图片相同的MB位置的内部预测。例如，在画面整体不动的情况下，相对空间位置MB的内部预测的预测方向，显示顺序连续的图片在同一方向的可能性很高。例如，在以显示顺序I、B1、B2、P...构造进行编码的情况下，B1图片内某个MB的预测方向作为与图片I或图片P相同位置的MB的编码结果的相同位置的可能性很高。因此，将作为图片I编码结果和图片P的编码结果的预测方向作为图片B1的内部预测方向候补。同样，图片B2将图片B1和图片P的内部预测方向作为候补。在选择图片B1和图片P共同的外部预测的情况下，将图片B2的预测候补置为0，并且还可以只执行外部预测。
在此，虽然言及图片内相同位置的MB，但是也可以将邻接MB的预测方向包含在候补内。也就是，在上述例子中，作为图片B2的预测候补，通过添加到图片B1或图片P相同位置MB，可以将上下左右的MB预测方向作为候补。
图7是表示内部预测装置11的各单元执行的详细处理的顺序图。
一旦输入图片I，候补限定单元111首先根据来自图像特征量输入单元181的图像特征量限定内部预测方向的候补。该限定能够适用于块和宏块任何一个或两者。
接着，内部预测执行单元112对于通过候补限定单元111所限定的内部预测方向执行内部预测。更具体地说，对为块0限定的预测模式计算预测误差(绝对值差分和)。也就是，仅仅对所限定的预测模式计算参照像素和编码对象的像素之间的差分值以及绝对值差分和。从而，内部预测执行单元112使用预测误差最小的作为内部预测。也就是，在绝对值差分和最小的预测模式0的情况下，通过变换、量化、逆量化、逆变换、逆预测与预测模式1相关的块0的参照像素和编码对象的像素的差分值，根据参照像素的像素值和差分值复原块0的复原图像的像素值。
一旦复原出块0的复原图像的像素值，内部预测执行单元112就重复与上述相同的处理，从而复原出块1～块15的复原图像的像素值。
一旦复原出块15的复原图像，就对该宏块，仅仅以引入的预测模式计算参照像素和编码对象像素的差分值和绝对值差分和。从而，内部预测执行单元112使用预测误差最小的，也就是，例如使用各块的绝对值差分和的总数和宏块的较小绝对值差分和作为内部预测。即，在各块的绝对值差分和的总数较小的情况下，内部预测执行单元112输出有关各块的差分值。与此相反，在宏块的绝对值差分和较小的情况下，内部预测执行单元112输出有关宏块的差分值。
从而，在限定预测模式时，能够大幅度减轻内部预测执行单元112的负荷，并能够提高内部预测的计算性能。
另外，这种内部预测装置11不仅是硬件结构，还可以通过CPU、存储器、程序等手段来实现。
下面，依次说明通过合并图像特征量限定候补的情况。
首先，对图像特征量为像素纵横比的情况进行说明。
图8是表示使用像素纵横比作为图像特征量的内部预测装置11的功能结构的方框图。另外，在该图中，还显示了合并了编码控制单元18的图像特征量输入单元181所具备的像素纵横比检测单元183。另外，对于与图6的情况对应的结构部分给予相同的序号，并省略其详细描述。
在场结构中，能够使用每隔一像素记录水平像素的图像。由此，在场上的方向和原始图像的方向上产生变化。同样，一旦使表示邻接像素间的水平和垂直距离比的像素纵横比变化，那么原始图像方向和像素纵横比的图像方向上产生变化。像素纵横比检测单元183检测出该变化。相应于通过该像素纵横比在原始图像方向上的变化，候补限定单元111能够限定恰当的预测方向候补，从而能够提高内部预测的计算性能。
下面描述改变像素纵横比情况下的具体例子。由于half D1的图像在水平方向上像素保持着间隔，所以在half D1上的方向和原始图像上的方向产生变化。因此，存在如同场结构情况那样，对于编码效率没有帮助的预测方向。具体来说，是图2所示的预测模式6和预测模式8。这些一旦恢复到原始图像的方向上，就靠近预测模式0的水平方向，并且在编码效率上不会产生差别。从而，通过省略该预测方向，能够减轻计算处理。另外，能够在相应于像素纵横比的预测方向上修正内部预测的预测方向，从而还可以提高所有预测方向上的性能。
另外，这种内部预测装置11不仅仅是由硬件构成，还可以通过CPU、存储器、程序等手段来实现。
另外，在内部预测装置11中，相应于像素纵横比，作为限定恰当的预测方向候补方法，可以使用原始图像上的水平、垂直距离。
将各个距离的倒数作为预测的可信度。例如，在场结构中，原始图像上的距离将水平距离置为“1”，将垂直距离置为水平距离的2倍，为“2”。如此，可信度为“1”和“1/2”。
由于这种情况、垂直方向的确定比水平方向的确定更大，因此预测结果是沿着这个倾向的。因而，作为预测方向的候补，优先采用接近水平方向的候补。也就是，通过优先删除垂直方向和近似该方向的方向，从而能够减轻负荷。
另外，在此所记载并不仅是装置，还可以是通过程序等手段来实现。
另外，对于像素纵横比信息，可以从摄影机器、录像机器取得，并使用该信息执行内部预测。
例如，在摄影机器的摄像元件不是正方形的情况下，在原始图像上的垂直距离和水平距离上会产生差值。另外，通过改变在录像机器等中的画面纵横比，在进行记录的情况下，在原始图像的垂直距离和水平距离上也产生差值。
另外，如从H.264的VUI参数aspect ratio idc中得到信息等那样，某些编码方式通过添加到视频流内外的信息进行内部预测。
另外，在此所记载并不仅仅是装置，还可以通过程序等手段来实现。
下面，对图像特征量为图片构造的情况进行说明。
图9是表示使用图片构造作为图像特征量的内部预测装置11的功能结构的方框图。其中，在该图中还图示了编码控制单元18的图像特征量输入单元181所具备的图片构造判定单元182。另外，对于与图6情况相对应的构成部分给予相同的序号，并省略其详细描述。
隔行扫描方式的场图像是通过在垂直方向上由保持间隔一个原始图像的像素间隔来构成的。因此，虽然水平方向像素的连续性与逐行扫描方式的帧图像相比没有变化，但是垂直方向像素的连续性比帧图像低。该连续性的高低由图片构造判定单元182判定。
通过使用该特性，与垂直方向的预测相比，候补限定单元111更容易选择水平方向的预测。也就是，从候补中优先排除垂直方向的预测(4×4预测模式0和16×16预测模式0)。
其中，在此所记载的并不仅仅是装置，还可以通过程序等手段来实现。
另外，在隔行扫描方式中，一旦将4×4内部预测方向换算成原始图像上的方向，那么就如图10所示的那样，在预测方式不会产生差值。
在隔行扫描方式的某场图像中，引入如图10所示的8个方向的直线。
隔行扫描方式的场图像，如图10(a)所示那样，是每1行保持像素间隔的结构的图像，并且在垂直方向上将距离压缩成1/2的状态。相反，如图10(b)所示的那样，一旦重新将其放置在原始图像上的像素位置上，垂直距离就成为没有拉长间隔的水平距离的2倍。因此，在原始图像上，8个方向的直线角度分别变化。
特别应该注意的是预测模式5(垂直-右)、预测模式7(垂直-左)的方向。这些方向非常接近于预测模式0(垂直)的方向。
因此，在4×4内部预测中，在预测模式5(垂直-右)、预测模式7(垂直-左)、预测模式0(垂直)的方向上预测的像素值非常近似，从而在作为与原始图像的差的预测误差中不太会产生差值。同样，对于预测模式3(对角-下-左)、预测模式4(对角-下-右)的方向上，会出现同样的倾向。
使用这种特性，如果预先限制预测候补，不会降低画质并能够简化内部预测处理。
该情况下，在图片构造判定单元182中，通过判断图片构造是隔行扫描方式的场图像，还是逐行扫描方式的帧图像，向内部预测装置11输出判断结果。
如果是场图像，内部预测装置11的候补限定单元111就把场用内部预测候补例传送到内部预测执行单元112，所述场用内部预测候补例是省略图9所示那样几个预测候补的场用内部预测候补例。内部预测执行单元112通过对所限定的内部预测方向候补进行预测计算处理，确定预测方向。
另外，在此所记载的并不仅仅是装置，还可以通过程序等手段来实现。
进而，一般在使用邻接MB的像素进行预测的情况下，与离开邻接MB的距离相比，像素间的相关性变得更低。
因此，原始图像上像素间的距离变长时预测误差变大的可能性增加。
在水平距离和垂直距离之间存在差值的情况下，在有关内部16×16预测的预测模式0(垂直)和通过预测模式1(水平)的预测方向的预测误差之间也存在差值。
在图片构造为隔行扫描的情况下，如图11所示那样，原始图像上的像素间隔的垂直距离成为水平距离的两倍，垂直方向的像素相关性变低，预测误差变大。
在隔行扫描方式的场图像中，可以优先省略与16×16内部预测相关的预测模式0(垂直)预测。
同样，在通过邻接的右侧MB的右端像素值和邻接的上部的MB的下端像素值的平均预测的预测模式2(平均)的预测中，将垂直相关性低的像素用于预测像素计算从而预测误差变大，能够优先省略有关16×16内部预测的预测模式2(平均)。
另外，在此所记载的并不仅仅是装置，还可以通过程序等手段来实现。
另外，图像记录方式为隔行扫描方式还是逐行扫描方式的确定可以想到下面的情况。下面，在通过指定隔行扫描方式、逐行扫描方式进行记录时，记录方式和再现时间被称作再现方式。
存在通过用户选择的情况和通过摄影机器、录像机器、显示机器等的规格参数确定的情况。
例如，考虑通过用户进行选择的情况，在摄影机器相应于隔行扫描方式、逐行扫描方式两种方式的情况下，用户通过合并自身配置的显示机器、再现装置等再现环境来选择记录方式。作为该显示机器的电视机如果是隔行扫描方式，那么通过在作为摄影机器的录像机中编码时选择隔行扫描方式，就可以省略对于编码效率没有帮助的内部预测方向。
例如，考虑通过摄影机器的规格参数进行确定的情况，如果摄影机器只对应于隔行扫描方式，那么通过省略以隔行扫描方式摄影时的内部预测方向，就可以提高编码效率。
另外，考虑通过录像机器的规格参数进行确定的情况，在来自其它图像输入机器在录像装置等中进行编码时，如果判断出图像机器的输入为隔行扫描方式，那么通过省略内部预测方向，就可以提高编码效率。
下面对于在此所述的来自其它图像输入机器的输入进行补充。
在使用其它编码方式进行编码的情况下，以基于该编码方式的规则可以判断是否是隔行扫描方式。也就是，可以根据报头信息等进行该判断。
而且，考虑以显示机器的规格参数进行确定的情况，通过合并连接录像机器的显示机器的再现方式，并在以隔行扫描方式进行录像的时省略内部预测，能够提高编码效率。
另外，在此所记载的并不仅仅是装置，还可以通过程序等手段来实现。
另外，所谓H.264内部预测图片级自适应是指对于每个图片来说，通过比较有关帧构造的内部预测结果和有关场构造的内部预测结果，将编码性能最佳的一方作为预测结果的方式。在作为其场构造进行预测时，使用在图片构造中限定预测方向候补的候补限定单元111。
由于已经知道图片构造判断单元182在编码时使用图片级自适应，所以在使用该方式的情况下，在以场构造进行编码，即，以隔行扫描方式进行编码时，候补限定单元111能够减少预测方向的候补。
另外，所谓H.264内部预测宏块级自适应是指以MB为单位，通过比较有关帧构造的内部预测结果和有关场构造的内部预测结果，将编码性能最佳的一方作为预测结果的方式。在预测作为场构造时，使用在图片构造中限定预测方向候补的候补限定单元111。由于已经知道图片构造判断单元182在编码时使用宏块级自适应，所以在使用该方式的情况下，在以场构造进行编码，即以隔行扫描方式进行编码时，候补限定单元111能够减少预测方向的候补。
另外，在此所记载的并不仅仅是装置，还可以通过程序等手段来实现。
下面，对于图像特征量为根据编码顺序在先的原始图像或编码图像得到的结果的情况进行说明。
图12是表示使用动态向量、预测模式和像素计算信息作为上述结果的内部预测装置11的功能结构的方框图。另外，在该图中，一并示出了编码控制单元18的图像特征量输入单元181所具备的动态向量输入单元184、预测模式输入单元185、像素计算信息输入单元186。另外，对于与图6情况对应的构成部分给予相同的序号，并省略其详细描述。
如上所述，H.264对图片I只进行内部预测，而对于图片P或B实施内部预测/外部预测两种方式预测，并以残差信号少的编码模式进行编码。
因此，对于编码顺序在先的原始图像或编码图像来说，邻接像素差分和内部预测方向等结果是已知的。另外，在编码顺序在先的编码图像为图片P和图片B的情况下，各宏块的动态向量是已知的。而且，根据图像的特性，编码顺序在先的原始图像或编码图像与编码对象图像之间的相关性极高的情况很多。
从而，即使通过使用对于编码顺序在先的原始图像或编码图像得到的结果，也就是说，即使使用已知的动态向量、内部预测和和邻接像素差分来限定内部预测方向的候补，也能够提前省略编码效率不良的处理和在编码效率上不产生差别的处理。
因此，在该实施例中，如图12所示那样，在图像特征量输入单元181中可以设置分别用来输入作为对编码顺序在先的原始图像或编码图像得到的结果的动态向量、预测模式的方向和邻接像素差分(也称作像素计算信息)的动态向量输入单元184、预测模式输入单元185和像素计算信息输入单元186。因此，图像特征量输入单元181可以由将来自动态向量输入单元184、预测模式输入单元185和像素计算信息输入单元186的动态向量、预测模式方向和邻接像素差分选择性地输出到候补限定单元111来构成。
下面，对于有关从动态向量输入单元184输出动态向量的情况，通过动态向量进行预测方向候补的决定进行说明。
图13是用来描述通过动态向量进行预测方向候补决定的图。特别地，图13(a)是表示按照编码顺序排列的原始图像的图，图13(b)是表示按照编码顺序排列的编码图像的图，图13(c)是表示编码顺序在先的编码图像和编码对象图像之间的关系的图。
在此，图示了使用编码对象图像的前一个编码图像作为编码顺序在先的编码图像。这是因为，在先的原始图像或编码图像与编码对象图像之间的相关性变高，并能够精确地限定内部预测方向候补。
因此，该编码图像如图示那样，由宏块MB1～MB9构成，并以各宏块MB1～MB9的动态向量为MV1～MV9进行描述。另外，以编码对象宏块为图中所示的α为例进行描述。
在对宏块α进行内部预测的情况下，候补限定单元111以前一个编码图像的空间位置相同的宏块MB9为单位区域，参照该单位区域的动态向量MV9，并基于该动态向量MV9的方向，限定内部预测方向候补。
具体来说，动态向量MV9水平方向的成分多，垂直方向的成分极少。即，动态向量MV9方向上的水平方向成分是主要的，并且与编码对象宏块α之间的水平方向的相关性较高。因此，候补限定单元111垂直方向的预测方向排除在候补对象外。也就是，候补限定单元111从动态向量MV9中省略0、5、7模式。
从而，在图像存在动画的情况下，能够提高对编码对象宏块的动态向量的精度，并能够精确有效地从已知动态向量中排除相关性低的内部预测方向候补。
另外，将包含该宏块MB9的周围，也就是宏块MB5、MB6、MB8的区域作为单元区域，基于该单位区域的动态向量方向，可以确定内部预测方向的候补。即，基于合成动态向量MV5、MV6、MV8、MV9的动态向量的方向，也可以限定内部预测方向的候补。即便在此情况下，由于合成动态向量的方向是通过将动态向量MV5、MV6、MV8、MV9分别分解成水平方向和垂直方向相加计算得到的，所以水平方向成分是主要的。因此，候补限定单元111能够将垂直方向的预测方向排除在候补对象之外。也就是，候补限定单元111从动态向量MV5、MV6、MV8、MV9中省略了0、5、7模式。
另外，参照前一个编码图像整体的动态向量朝向哪边，也可以确定内部预测候补。即，将宏块MB1～MB9整体作为单元区域，基于该单位区域的动态向量方向，也可以确定内部预测方向。
下面，对于有关从预测模式输入单元185输出预测模式情况，通过预测模式确定预测方向候补进行描述。
图14是用于描述通过预测模式进行确定预测方向候补的图。尤其图14(a)是表示按照编码顺序排列的原始图像，图14(b)是表示按照编码顺序排列的编码图像，图14(c)是表示编码顺序在先的编码图像和编码对象图像之间的关系的图。而且，该编码图像如图所示那样，以由宏块MB1～MB9构成来进行描述。另外，以编码对象宏块为图中所示α进行描述。
在此，在编码图像为图片I的情况中，对于在内部预测中采用的宏块，保留了所限定预测模式的结果。从而，在该情况下，可以使用所限定的预测模式的方向。与此相对，在编码图像为图片P或B的情况下，内部预测时的结果、预测模式通常被废弃。但是，在本实施例中，内部预测时的结果、预测模式以暂时保留在存储器中那样构成的结果来进行描述。
图15是表示候补限定单元111使用已知结果、内部预测限定内部预测候补的内部预测候补限定处理操作的流程图。
在对宏块α进行内部预测的情况下，候补限定单元111首先判断编码顺序在先的参照编码图像是否是图片I(S11)。另外，可以使用编码对象图像的前一个编码图像作为编码顺序在先的编码图像。这是因为在先的原始图像或编码图像与编码对象的图像之间的相关性变高，能够精确限定内部预测方向候补。
在判断结果为图片I的情况下(S11中是)，候补限定单元111使用图片I的预测结果，限定内部预测候补(S12)，并结束内部预测候补限定处理。即，候补限定单元111将前一个编码图像的空间位置相同的宏块MB9作为单位区域，参照该单位区域的内部预测模式的方向，对在该内部预测中采用的宏块，基于所限定的预测模式方向的方面，限定内部预测方向的候补。具体来说，如果所限定的预测模式的方向例如为水平方向，那么编码对象宏块α的内部预测方向为水平方向的概率就变高。因此，候补限定单元111将垂直方向的预测方向排除在候补对象之外。
从而，即使在图像中存在动画的情况的其他方面，在图像动画较少的情况中，能够提高对编码对象宏块的预测方向的精度，并能够从已知的预测模式的方向中精确有效地排除相关性较低的内部预测方向候补。
另外，通过将包含对应于该编码对象宏块α的宏块MB9的周围，即，宏块MB5、MB6、MB8的区域作为单位区域，基于该单位区域的预测模式方向，也可以确定内部预测方向的候补。
与此相对，在不是图片I的情况下(S11中的否)，候补限定单元111使用内部编码情况下的预测结果限定内部预测候补(S13)，并结束内部预测候补引入处理。
从而，即使是在编码顺序在先的编码图像不是图片I的情况下，不管图像如何动，都能够精确容易有效地从已知的内部预测方向中排除相关性较低的内部预测方向候补。
下面，就有关从像素计算信息输入单元186输出邻接像素差分，即像素计算信息的情况，对通过像素计算信息进行确定预测方向候补加以说明。
这里，所谓像素计算信息意味着是包含在图像特征中的编码顺序在先的原始图像像素邻接差分和编码图像邻接像素差分中的任何其中一个。这种像素计算信息是事先计算完毕已知的。因而，通过预先暂时将该结果保持在存储器中以便能够再使用或再计算，从而可以减轻候补限定单元111的负荷。另外，在此，以内部预测时的结果、像素计算信息被暂时保留在存储器中这样的结构进行描述。
候补限定单元111根据包含在所述图像特征中的编码顺序在先的原始图像或编码图像的邻接像素差分限定内部预测候补。另外，可以使用编码对象图像前一个的原始图像或编码图像作为编码顺序在先的原始图像或编码图像。这是因为在先的原始图像或编码图像与编码对象图像之间的相关性变高，从而能够精确限定内部预测方向候补。
而且，候补限定单元111以前一个原始图像或编码图像的空间位置相同的宏块为单位区域，参照该单位区域的像素计算信息，基于在该内部预测中所采用的宏块的像素计算信息，对编码对象图像的宏块α限定内部预测方向候补。具体来说，根据单位区域水平方向的邻接像素差分与垂直成分邻接像素差分之间的比，限定内部预测候补。由此，可以知道水平方向和垂直方向哪一个的相关性高，即，相关性高的方向。从而，在图像的移动量较少的情况下，能够从已知像素计算信息中精确有效地排除相关性低的内部预测方向候补。
在上述实施例中，候选限定单元依据和图像数据的特征不同的要因，可以从内部预测方向候补中调整限定数。例如，根据内部预测装置的处理性能，能够从内部预测方向候补中调整限定数。
另外，在此所记载的并不仅仅是装置，还可以通过程序等手段来实现。
另外，虽然在上述实施例中对于图像为动画的情况进行了描述，但是内部预测的对象也可以是图片I，对JPEG等静止图像也可以适用根据本发明的内部预测，并且还可以进一步压缩编码数据。
如果使用根据本发明的内部预测装置，能够以更少的计算负荷实现H.264的图像编码，并能够适用于除了个人计算机和HDD录像机、DVD录像机等之外带有摄像机、照相机的便携式电话机。另外，还能够适用于具备该内部预测装置的编码装置。
权利要求
1.一种内部预测装置，其特征在于，包括用来通过适应图像数据的特征从多个内部预测方向中限定适用于构成该图像数据的多个像素块的内部预测方向候补的候补限定装置，和使用通过所述候补限定装置所限定的内部预测方向来执行内部预测的内部预测执行装置。
2.根据权利要求1所记载的内部预测装置，其特征在于，所述候补限定装置根据作为所述图像数据特征的像素纵横比限定内部预测方向候补。
3.根据权利要求2所记载的内部预测装置，其特征在于，所述纵横比是从图像信号输入机器和来自视频流内外所得到的信息中的任何一个获得的。
4.根据权利要求2所记载的内部预测装置，其特征在于，所述候补限定装置通过使用根据所述像素纵横比在原始图像中的邻接像素间的水平和垂直距离作为内部预测的水平方向和垂直方向的预测的可信度，来限定内部预测方向候补。
5.根据权利要求1记载的内部预测装置，其特征在于，所述候补限定装置通过显示是隔行扫描和逐行扫描中的哪一种，根据作为所述图像特征的图片构造信息，限定内部预测方向候补。
6.根据权利要求5所记载的内部预测装置，其特征在于，所述图片构造信息是从图像信号输入机器和来自视频流内外所得到信息中的任意一个获得的。
7.根据权利要求5所记载的内部预测装置，其特征在于，在所述图片构造信息显示隔行扫描的情况下，所述候补限定装置从候补中优先排除包含在所述内部预测方向中的垂直-右方向和垂直-左方向。
8.根据权利要求5所记载的内部预测装置，其特征在于，在所述图片构造信息显示隔行扫描的情况下，所述候补限定装置优先从候补中排除包含在所述内部预测方向的垂直-右方向、垂直-左方向、对角-下-右方向和对角-下-左方向。
9.根据权利要求5所记载的内部预测装置，其特征在于，在所述图片构造信息显示隔行扫描的情况下，所述候补限定装置优先从候补中排除包含在所述内部预测方向中的平均方向。
10.根据权利要求5所记载的内部预测装置，其特征在于，在所述图片构造信息显示隔行扫描的情况下，所述候补限定装置优先从候补中排除包含在所述内部预测方向中的平均方向和垂直方向。
11.根据权利要求5所记载的内部预测装置，其特征在于，在通过有关动画压缩方式的图片级自适应进行编码时，所述候补限定装置根据图片构造信息限定内部预测方向候补。
12.根据权利要求5所记载的内部预测装置，其特征在于，所述图片构造信息是场构造和帧构造中的任意一个，在通过有关动画压缩方式的宏块级自适应进行编码时，在通过切换场构造上的一对宏块对和帧构造上的一对宏块对并进行预测时，所述候补限定装置根据该宏块对是场构造还是帧构造的信息限定内部预测候补。
13.根据权利要求1所记载的内部预测装置，其特征在于，所述候补限定装置基于根据编码顺序在先的原始图像或编码图像得到的结果限定内部预测方向候补。
14.根据权利要求13所记载的内部预测装置，其特征在于，可以使用编码对象图像前一个的原始图像或编码图像作为所述编码顺序在先的原始图像或编码图像。
15.根据权利要求13所记载的内部预测装置，其特征在于，所述结果是从编码顺序在先的编码图像所得到的动态向量，所述候补限定装置基于所述动态向量的方向限定内部预测方向候补。
16.根据权利要求15所记载的内部预测装置，其特征在于，作为所述动态向量，可以使用对于表示与编码对象的宏块相同空间的位置、包含该空间相同位置周围的位置以及图像整体中的任何一个的单位领域的动态向量。
17.根据权利要求13所记载的内部预测装置，其特征在于，所述结果是从编码顺序在先的编码图像所得到的内部预测方向，所述候补限定装置基于所述内部预测方向限定内部预测方向候补。
18.根据权利要求17所记载的内部预测装置，其特征在于，作为所述内部预测方向，可以使用对于与编码对象的宏块相同空间的位置和包含该空间相同位置周围的位置的宏块的内部预测方向。
19.根据权利要求13所记载的内部预测装置，其特征在于，所述结果是所述编码顺序在先的原始图像或编码图像的邻接像素差分，所述候补限定装置基于所述邻接像素差分限定内部预测方向候补。
20.根据权利要求1所记载的内部预测装置，其特征在于，根据所述内部预测装置的处理性能，所述候补限定装置从所述内部预测方向的候补中调整限定数。
21.一种内部预测方法，其特征在于，包含通过适应图像数据的特征从多个内部预测方向中限定适用于构成该图像数据的多个像素块的内部预测方向候补的候补限定步骤，和使用通过所述候补限定步骤所限定的内部预测方向候补来执行内部预测的内部预测执行步骤。
22.根据权利要求21所记载的内部预测装置，其特征在于，根据执行所述内部预测方法的内部预测装置的处理性能，从所述内部预测方向候补中调整限定数。
23.一种计算机程序，其特征在于，它是用于在计算机中执行内部预测的、记录在计算机可读取介质上的计算机程序，包括在计算机中执行候补限定步骤的计算机可执行程序代码，所述候补限定步骤是通过适应图像数据的特征从多个内部预测方向中限定适用于构成该图像数据的多个像素块的内部预测方向候补，和在计算机中执行内部预测执行步骤的计算机可执行程序代码，所述内部预测执行步骤是通过使用由所述候补限定步骤所限定的内部预测方向候补来执行内部预测。
24.根据权利要求23所记载的计算机程序，其特征在于，根据计算机的处理性能，从所述内部预测方向的候补中调整限定数。
全文摘要
本发明提供了一种有助于提高画面质量和编码效率、并能够减轻计算负荷的内部预测装置。内部预测装置(11)包括用来通过适应图像数据的特征从多个内部预测方向中限定适用于构成该图像数据的多个像素块的内部预测方向候补的候补限定单元(111)，和使用通过候补限定单元(111)所限定的内部预测方向来执行内部预测的内部预测执行单元(112)。由此，在有助于提供画面质量和编码效率的同时，能够减轻计算负荷。
文档编号H04N7/32GK1784016SQ20051012757
公开日2006年6月7日 申请日期2005年12月5日 优先权日2004年12月3日
发明者田坂启, 荒川博, 增野贵司, 有村耕治, 重里达郎 申请人:松下电器产业株式会社