技术领域
本发明涉及运动图像编码装置以及运动图像解码装置。
背景技术：
近年来，ITU－T与ISO/IEC共同地，推荐了ITU－T REC.H.264及ISO/IEC14496－10(以下，称为“H.264”)作为使编码效率大幅提高的运动图像编码方法。在H.264中，不依赖于预测处理方法，就能进行使用离散余弦变换的正交变换·逆正交变换处理。
例如，专利文献1及非专利文献1中公开了，将H.264的正交变换·逆正交变换扩展，按作为帧内预测模式而确定了的9种预测方向中的每种，对发生了的预测误差进行正交变换时，保有使变换后的系数饱和度变高的变换基底，并通过正交变换·逆正交变换，提高编码效率的方法。
现有技术文献
专利文献1：国际公开号WO2008157431号公开文本
非专利文献1：M.Karczewicz,“Improved intra coding”,ITU-TSG16/Q.6,VCEG Document,VCEG-AF15,April 2007.
技术实现要素：
但是，在上述专利文献1及非专利文献1所记载的方法中，需要针对每个帧内预测模式不同的正交变换处理，在考虑了用硬件实现的情况下，除了H.264中需要的离散余弦变换·逆离散余弦变换用的专用硬件之外，还必须通过追加构成进行8种不同的正交变换·逆正交变换的专用硬件，电路规模将增大。
本发明的目的在于提供一种运动图像编码装置以及运动图像解码装置，能够在提高正交变换后的系数饱和度的同时，削减正交变换以及逆正交变换中的硬件实现时的电路规模。
本发明的一方面的运动图像编码装置的特征在于，具备：预测部，使用依据多个帧内预测模式中的选择模式的帧内预测，求出编码对象的预测误差信号；帧内预测分类部，将所述选择模式分类为表示是具有预测方向的帧内预测的第1预测模式、和表示是不具有预测方向的帧内预测的第2预测模式；第1正交变换部，在所述选择模式被分类到所述第1预测模式的情况下，使用预先确定为使变换后的系数饱和度比变换前变高的第1变换基底，对所述预测误差信号进行正交变换而得到变换系数；第2正交变换部，在所述选择模式被分类到所述第2预测模式的情况下，对所述预测误差信号进行正交变换而得到变换系数；系数顺序控制部，按照对于所述多个帧内预测模式中的各个预先确定的扫描顺序中与所述选择模式对应的扫描顺序，对所述变换系数重新排序；以及熵编码部，对表示所述选择模式的信息和所述重新排序后的变换系数进行编码。
本发明的一方面的运动图像解码装置的特征在于，具备：熵解码部，根据编码数据取得预测模式和变换系数；帧内预测图像生成部，按照所述预测模式，生成预测图像信号；帧内预测分类部，将所述预测模式分类为表示是具有预测方向的帧内预测的第1预测模式、和表示是不具有预测方向的帧内预测的第2预测模式；系数顺序控制部，按照对于多个帧内预测模式的各个预先确定的扫描顺序中与所述预测模式对应的扫描顺序，对所述变换系数进行重新排序；第1逆正交变换部，在所述预测模式被分类到所述第1预测模式的情况下，使用与所述第1预测模式对应的第1变换基底，对所述重新排序后的变换系数进行逆正交变换，得到预测误差信号；第2逆正交变换部，在所述预测模式被分类到所述第2预测模式的情况下，对所述重新排序后的变换系数进行逆正交变换，得到所述第2预测模式的预测误差信号；以及加法器，对所述预测误差信号和所述预测图像信号进行加法运算，生成解码图像信号。
附图说明
图1是第1、第2及第3实施方式的运动图像编码装置的框图。
图2A是示出作为编码或解码的对象的像素块和编码处理方向的图。
图2B是示出意味着编码或解码的处理块单位的16x16像素块的图。
图3A是示出帧内预测的预测模式和预测方向的图。
图3B是示出参照像素和编码对象像素的配置的图。
图3C是示出水平预测时的预测例的图。
图3D是示出垂直预测时的预测例的图。
图4A是示出表示使用了系数顺序控制部中的锯齿扫描的2D－1D变换时的2D数据的位置和扫描顺序的图。
图4B是示出使用系数顺序控制部中的锯齿扫描进行2D－1D变换时的1D数据的图。
图4C是使用两种指标表示系数顺序控制部中的锯齿扫描的图。
图5是第1及第2实施方式的正交变换部的框图。
图6是第1、第2、第5及第6实施方式的逆正交变换部的框图。
图7A是示出帧内预测模式与正交变换序号的对应的图。
图7B是说明正交变换序号和名称的图。
图8是系数顺序控制部的框图。
图9是使用两种指标表示系数顺序控制部中的针对帧内预测的每种预测方向不同的扫描顺序的图。
图10A是示出对第1实施方式的编码对象像素块进行编码时的处理的流程的流程图的图。
图10B是示出接着图10A的流程图的图。
图11是示出第1至第8实施方式中的语法构造的图。
图12是示出第1至第8实施方式中片段头语法所包含的信息的图。
图13是示出第1至第8的实施方式中的宏块层语法所包含的信息的图。
图14是示出第2及第6实施方式中的帧内预测图像生成部的框图。
图15是示出第2及第6实施方式中的双方向帧内预测与单方向的预测模式序号、以及变换序号的关系的图。
图16是示出第2及第6实施方式中的片段头语法所包含的信息的图。
图17是示出第2及第6的实施方式中的宏块层语法所包含的信息的图。
图18是示出第3实施方式中的正交变换部的块的图。
图19A是示出第3及第7实施方式中的预测模式序号和变换序号的关系的图。
图19B是示出第3及第7实施方式中的变换序号和名称的图。
图20是示出第3及第7实施方式中的逆正交变换的框图。
图21是示出第5至第8实施方式中的运动图像解码装置的框图。
图22是示出第5至第8实施方式中的系数顺序控制部的框图。
图23是第4实施方式中的正交变换部的框图。
图24是第4及第8实施方式中的逆正交变换部的框图。
图25A是示出第4及第8实施方式中的预测模式序号和变换序号的关系的图。
图25B是示出第4及第8实施方式中的变换序号和名称的图。
图26A是示出第4及第8实施方式中的一维的变换序号和二维的变换序号的图。
图26B是示出第4及第8实施方式中的垂直方向中的一维的变换序号和矩阵的名称的图。
图26C是示出第4及第8实施方式中的水平方向中的一维的变换序号和矩阵的名称的图。
附图标记说明
100：运动图像编码装置；101：减法器；102：正交变换部；103：量化部；104：逆量化部；105：逆正交变换部；106：加法器；107：参照图像存储器；108：帧内预测图像生成部；109：帧间预测图像生成部；110：预测选择部；111：预测选择开关；112：帧内预测分类部；113：系数顺序控制部；114：熵编码部；115：输出缓冲器；116：编码控制部；117：量化变换系数列；118：输入图像信号；119：预测误差信号；120：变换系数；121：量化变换系数；122：逆量化变换系数；123：还原预测误差信号；124：解码图像信号；125：参照图像信号；126：预测信息；127：预测图像信号；128：预测模式；129：变换基底选择信息；130：编码数据；501：第一正交变换部；502：第二正交变换部；503：基底选择开关；601：第一逆正交变换部；602：第二逆正交变换部；603：基底选择开关；801：预测模式选择开关；802～810：2D－1D变换部；1100：语法；1101：高级语法；1102：片段级语法；1103：宏块级语法；1104：序列参数组语法；1105：图片参数组语法；1106：片段头语法；1107：片段数据语法；1108：宏块层语法；1109：宏块预报语法；1401：单方向帧内预测图像生成部；1402：双方向帧内预测图像生成部；1403：预测模式生成部；1404：预测选择开关；1801：第三正交变换部；1802：第二正交变换部；2001：第三逆正交变换部；2002：第二逆正交变换部；2100：运动图像解码装置；2101：输入缓冲器；2102：熵解码部；2103：系数顺序控制部；2104：逆量化部；2105：逆正交变换部；2106：加法器；2107：参照图像存储器；2108：帧内预测图像生成部；2109：帧间预测图像生成部；2110：预测选择开关；2111：帧内预测分类部；2112：输出缓冲器；2113：解码控制部；2114：编码数据；2115：量化变换系数列；2116：量化变换系数；2117：逆量化变换系数；2118：还原预测误差信号；2119：解码图像信号；2120：参照图像信号；2121：预测模式；2122：变换基底选择信息；2123：预测图像信号；2124：预测信息；2201：预测模式选择开关；2202～2210：1D－2D变换部；2301：第一正交变换部；2302：第二正交变换部；2303：第三正交变换部；2304：第四正交变换部；2401：第一逆正交变换部；2402：第二逆正交变换部；2403：第三逆正交变换部；2404：第四逆正交变换部。
具体实施方式
以下，参照附图详细地说明本发明的实施方式的运动图像编码装置以及运动图像解码装置。另外，在以下的实施方式中，对附以同一序号的部分，作为进行同样动作的部分，省略重复的说明。
以下，根据附图说明第1实施方式至第8实施方式。第1实施方式、第2实施方式、第3实施方式及第4实施方式是基于运动图像编码装置的实施方式，第5实施方式、第6实施方式、第7实施方式及第8实施方式是基于运动图像解码装置的实施方式。
在以下的实施方式中说明的运动图像编码装置，是将构成输入图像信号的各个帧分割为多个像素块，对这些分割后的像素块进行编码处理而进行压缩编码，输出符号列的装置。
首先，说明与运动图像编码装置相关的第1至第4实施方式。
[第1实施方式]
参照图1说明实现使用本实施方式的编码方法的运动图像编码装置100。
图1的运动图像编码装置100，根据从编码控制部116输入的编码参数，进行针对输入图像信号118的帧内预测(画面内预测、或帧之内预测)或者帧间预测(画面间预测、或帧之间预测)编码处理，生成预测图像信号127，对输入图像信号118与预测图像信号127的差分信号进行正交变换·量化，进行熵编码，输出编码数据130。
运动图像编码装置100，将运动图像或静止图像的输入图像信号118分割为像素块单位、例如宏块单位而输入。输入图像信号118是包括帧及场这两者的进行一个编码的处理单位。另外，本实施方式中，说明将帧作为进行一个编码的处理单位的例子。
运动图像编码装置100进行基于块尺寸、或预测图像信号127的生成方法不同的多个预测模式的编码。预测图像信号127的生成方法，具体而言，大致分为仅在编码对象的帧内生成预测图像的帧内预测(帧之内预测或画面内预测)、和使用在时间上不同的多个参照帧进行预测的帧间预测(帧之间预测或画面间预测)。本实施方式中，详细说明使用帧内预测生成预测图像信号的例子。
第1实施方式至第4实施方式中，为了简化说明，如图2A所示，设为从左上向右下进行编码处理的方式。图2A中，在进行编码处理的编码帧f中，与作为编码对象的块c相比位于左及上的块是编码完成块p。
第1实施方式至第4实施方式中，将宏块设为编码处理的基本处理块尺寸。宏块，典型地为例如图2B所示的16×16像素块，但也可以是32×32像素块单位、8×8像素块单位。并且宏块的形状也不必是正方格子。以下，将输入图像信号118的编码对象块或者宏块仅称为“预测对象块”。
运动图像编码装置100具有：减法器101、正交变换部102、量化部103、逆量化部104、逆正交变换部105、加法器106、参照图像存储器107、帧内预测图像生成部108、帧间预测图像生成部109、预测选择部110、预测选择开关111、帧内预测分类部112、系数顺序控制部113、熵编码部114。运动图像编码装置100与编码控制部116连接。
接下来，说明运动图像编码装置100中的编码的流程。
首先，将输入图像信号118输入减法器101。还向减法器101输入从预测选择开关111输出的与各个预测模式对应的预测图像信号127。减法器101，算出从输入图像信号118中减去预测图像信号127的预测误差信号119。向正交变换部102输入预测误差信号119。
正交变换部102具有对预测误差信号119实施例如离散余弦变换(DCT)那样的正交变换的功能。按照从帧内预测分类部112输入的变换基底选择信息129，进行正交变换，生成变换系数120。向量化部103输入所生成的变换系数120。这里示出了使用DCT的例子，但也可以使用阿达玛变换(Hadamard Transformation)、后述的K-L变换(Karhunen-Loeve Transformation)、离散正弦变换等正交变换。在量化部103中，按照由编码控制部116提供的表示量化的精度的量化参数、按每个变换系数的分量对量化的精度加权的量化矩阵等所代表的量化信息，对变换系数120进行量化。量化部103，将量化变换系数121向系数顺序控制部113输出，还向逆量化部104输出。
系数顺序控制部113具有根据从预测选择部110输出的预测信息126所包含的预测模式128将量化变换系数121的二维数据变换为一维数据的功能。作为代表性的扫描顺序，能例举锯齿扫描等。变换为一维数据的量化变换系数121，作为量化变换系数列117，向熵编码部114输入。
熵编码部114，对量化变换系数列117进行熵编码、例如哈弗曼编码、算术编码等。熵编码部114还对从预测选择部110输出的预测信息126、从编码控制部116输出的量化信息、将对象块编码时所用的各种各样的编码参数进行熵编码。由此，生成编码数据130。
另外，编码参数，是预测信息、与变换系数相关的信息、与量化相关的信息等解码时所需的参数。另外，预测对象块的编码参数，在编码控制部116的内部存储器(未图示)中保持，在预测对象块作为其它像素块的邻接块而使用时被利用。
由熵编码部114生成的编码数据130，从运动图像编码装置100输出，经过复用等而暂时蓄积在输出缓冲器115中后，按照编码控制部116管理的恰当的输出定时，作为编码数据130而输出。编码数据130，例如，向未图示的蓄积系统(蓄积介质)或传送系统(通信线路)送出。
逆量化部104，对从量化部103输出的量化变换系数121进行逆量化处理。此处，从编码控制部116的内部存储器加载与量化部103中使用的量化信息对应的量化信息，而进行逆量化处理。另外，量化信息，例如是上述的量化参数、上述的量化矩阵等所代表的参数。实施了逆量化处理后的量化变换系数121，变为逆量化变换系数122，而向逆正交变换部105输入。
逆正交变换部105中，对逆量化变换系数122，按照从帧内预测分类部112输入的变换基底选择信息129，施加逆正交变换，从而再生还原预测误差信号123。逆正交变换部105，在例如正交变换部102中进行了DCT的情况下，实施逆离散余弦变换(IDCT)这样的逆正交变换。这里，示出了使用IDCT的例子，但在正交变换部102中使用了阿达玛变换、后述的K-L变换、离散正弦变换等正交变换的情况下，使用它们的正交变换基底进行逆变换。
向加法器106输入还原预测误差信号123。在加法器106中，通过将还原预测误差信号123和从预测选择开关111输出的预测图像信号127进行加法运算，生成解码图像信号124。解码图像信号124是局部解码图像信号。解码图像信号124作为参照图像信号125而蓄积于参照图像存储器107。参照图像存储器107中蓄积的参照图像信号125向帧内预测图像生成部108、帧间预测图像生成部109等输出，并在预测时等进行参照。
参照图像存储器107中储存的参照图像信号125，向帧内预测图像生成部108输出。帧内预测图像生成部108中，具有利用所输入的参照图像信号125进行帧内预测的功能。例如，在H.264中，利用与预测对象块邻接的已经编码完成的参照像素值，顺着垂直方向、水平方向等预测方向进行像素填补，从而生成预测图像。图3A示出H.264中的帧内预测的预测方向。此外，图3B示出H.264中的参照像素与编码对象像素的配置。进而图3C及图3D示出水平预测以及正交右下预测的预测例。进而图7A及图7B示出H.264中的预测模式与预测名称的关系。另外，也可以在使用预先确定的插值方法对像素值进行插值之后，在预先确定的预测方向上复制插值像素值。
帧间预测图像生成部109中具有根据预测对象块和参照图像信号125进行块匹配处理而算出运动的偏移量(运动向量)，根据该运动向量进行插值处理而生成预测图像信号的功能。H.264中，能够进行到1/4像素精度的插值图像处理。算出的运动向量，作为预测信息126而进行熵编码。
预测选择开关111具有按照预测信息126对帧内预测图像生成部108的输出端和帧间预测图像生成部109的输出端进行选择的功能。在预测信息126所示的信息为帧内预测的情况下，将开关与帧内预测图像生成部108连接。而在预测信息126为帧间预测的情况下，将开关与帧间预测图像生成部109连接。另外，预测信息126的例子后述。
向预测选择开关111输出所生成的预测图像信号127。此外，在生成预测图像信号127时所利用的预测模式128，由编码控制部116控制。例如，帧内预测图像生成部108中进行帧内预测时，从编码控制部116向帧内预测图像生成部108提供预测模式128，根据其的值生成预测图像信号127。例如，在进行帧内预测时，编码控制部116，可以从序号小的预测模式128开始顺序地进行帧内预测，也可以从序号大的开始进行预测，也可以按照输入图像的特性对预测模式进行限定。此外，也可以不必对全部的预测模式生成预测图像信号127，而是按照输入图像的特性对预测模式进行限定，对于编码对象块生成至少一个预测图像信号127。
预测选择部110，具有按照编码控制部116控制的预测模式，设定预测信息126的功能。作为预测模式，能够选择帧内预测或帧间预测，也可以针对各个存在多个模式。如果更具体地说明预测模式的判定，则使用下式那样的损失(cost)决定预测信息126(或者预测模式128)。使用将与选择该预测模式128时所需的预测信息126相关的编码量(例如运动向量的编码量、预测块尺寸的编码量等)设为OH、将输入图像信号118和预测图像信号127的差分绝对和(意味着预测误差信号119的绝对累积和)设为SAD的、以下的判定式。
【数1】
K＝SAD+λ×OH (1)
这里，K表示损失，λ表示常数。λ是根据量化参数的值决定的拉格朗日乘数。本判定式中，作为最佳预测模式，选择提供损失K最小的值的模式。
代替式(1)，可以仅使用(a)预测信息、(b)SAD来决定预测信息126，也可以利用对(b)施加阿达玛变换等后的值、或与其近似的值。
进而作为其它例子，也可以准备临时编码单元，使用对由临时编码单元在某种预测模式下生成的预测误差信号119进行实际编码的情况下的编码量、输入图像信号118和解码图像信号124之间的二乘误差，决定预测信息126。这种情况下的判定式，如下。
【数2】
J＝D+λ×R (2)
这里，J是编码损失，D是表示输入图像信号118与解码图像信号124之间的二乘误差的编码失真。而R表示通过临时编码而估计的编码量。
如果使用式(2)的编码损失J，则针对每种预测模式均需要临时编码和局部解码处理，所以电路规模或运算量将增大。相反地，由于使用更准确的编码量和编码失真，能够维持高的编码效率。也可以代替式(2)，仅使用R或仅使用D来算出损失，或使用近似于R或D的值生成损失函数。
帧内预测分类部112具有根据输入的预测模式128，生成正交变换中使用的变换基底选择信息129的功能。
以上是本发明的本实施方式中的运动图像编码装置100的概略。接下来，使用图5、图6进行正交变换部102和逆正交变换部105的详细说明，使用图7进行帧内预测分类部112的详细说明。进而，使用图8对系数顺序控制部113进行详细说明。
图5的正交变换部102具有第一正交变换部501以及第二正交变换部502、基底选择开关503。图5是运动图像编码装置100具有的正交变换部102的框图。
首先，对基底选择开关503进行说明。基底选择开关503具有按照所输入的变换基底选择信息129选择减法器101的输出端的功能。在变换基底选择信息129为第一正交变换的情况下，基底选择开关503将开关与第一正交变换部501与连接。而在变换基底选择信息129为第二正交变换的情况下，基底选择开关503将输出端与第二正交变换部502连接。另外，变换基底选择信息129的例子如后述的图7B所示。
接下来，对第一正交变换部501的处理具体进行说明。采用了H.264等的帧内预测，将与编码对象块邻接的参照像素在预测方向上复制，所以在所生成的预测误差信号119中产生方向依赖性。根据本实施方式，针对每种预测模式决定了预测方向，所以通过预先设计变换基底而使对针对每个预测方向发生的预测误差进行正交变换时的变换后的系数饱和度比变换前高，从而能够提高变换效率。
例如，二维的分离型正交变换如下式所示。
【数3】
Y＝AXBT (3)
A、BT分别是表示矩阵的变换矩阵，T意味着转置矩阵。X是变换前的输入矩阵，Y是变换后的输出矩阵。如果将图像信号设为NxN的矩阵，则A、BT分别为NxN的变换矩阵。
这里，也可以为了以整数精度进行正交变换，而进行变换矩阵的整数化。这时的正交变换为下式。
【数4】
这里，C、DT是整数化后的变换矩阵，S是用于缩放的归一化矩阵。此处，下面的符号是进行矩阵的要素彼此的乘法的运算符。
【数5】
例如，将编码对象块设为水平预测(模式1)，而生成预测图像信号127，将所生成的预测误差信号119作为输入样本来设计变换矩阵A的情况下，使用该变换矩阵，对相同的输入样本进行正交变换时的系数饱和度，与DCT等相比较变高。第一正交变换部501中，对于所输入的预测误差信号119，使用在例如水平方向(模式1)中设计的变换矩阵而进行正交变换。预测误差信号119，在第一正交变换部501中进行正交变换而成为变换系数120，向量化部103输入。将采用以这种方法设计的正交变换的方法，称为考虑方向型正交变换。
接下来，对第二正交变换部502进行说明。第二正交变换部502使用例如DCT进行正交变换。预测误差信号119，经正交变换而变为变换系数120，向量化部103输入。此外，也可以采用使用垂直预测(模式0)等而设计的变换基底，进行正交变换。
图6的逆正交变换部105具有第一逆正交变换部601和第二逆正交变换部602、基底选择开关603。首先，对基底选择开关603进行说明。基底选择开关603具有按照所输入的变换基底选择信息129选择逆量化部104的输出端的功能。在变换基底选择信息129为第一正交变换的情况下，将开关与第一逆正交变换部601连接。而在变换基底选择信息129为第二正交变换的情况下，将输出端与第二逆正交变换部602连接。
接下来，对第一逆正交变换部601的处理具体进行说明。例如，二维的分离型逆正交变换如下式所示。
【数6】
X＝BTYA (6)
这里，为了以整数精度进行逆正交变换，也可以进行变换矩阵的整数化。这时的逆正交变换变为下式。
【数7】
第一逆正交变换部601中，采用第一正交变换部501中利用的变换矩阵，对逆量化变换系数122，使用式(6)或者式(7)进行逆正交变换处理。例如，采用使用水平预测(模式1)而设计的变换矩阵进行逆正交变换处理。实施逆正交变换后的逆量化变换系数122，成为还原预测误差信号123，而向加法器106输入。
接下来，说明第二逆正交变换部602。第二逆正交变换部602中，采用第二正交变换部502中利用的变换矩阵，对逆量化变换系数122使用式(6)或者式(7)进行逆正交变换处理。该逆正交变换例如可以是IDCT。此外，第二正交变换部502中，采用使用垂直预测(模式0)等设计的变换矩阵进行了正交变换的情况下，在第二逆正交变换部602中也采用相同的变换矩阵。
接下来，对帧内预测分类部112进行说明。帧内预测分类部112具有根据所输入的预测模式128生成正交变换中所用的变换基底选择信息129的功能。帧内预测分类部112中，根据从预测选择部110输出的预测信息126所包含的预测模式128，生成变换基底选择信息129。此处，使用图7A及图7B所示的分类表，将预测模式分为两类，按分类后的每种预测模式，设定TransformIdx中出现的变换基底选择信息129。另外，图7A及图7B是示出运动图像编码装置100所具有的帧内预测分类部112的分类方法的图。这里，表中所示的IntraNxNPredMdeIndex表示预测模式128。此外，N是表示块尺寸的指标，4x4像素块中为4，8x8像素块中为8，16x16像素块中为16。此外的块尺寸也同样。此处，示出由NxN所示的正方块的例子，但很容易作为MxN而扩展到矩形块。
TransformIdx表示0的情况下，意味着使用第一正交变换以及第一逆正交变换。而在TransformIdx表示1的情况下，意味着使用第二正交变换以及第二逆正交变换。这里，在像素块是由MxN表现的矩形块的情况下，作为进行正交变换的块尺寸使用MxN。
在这里，仅对DC预测(与预测模式2对应)将TransformIdx设为1，对于具有此外的空间预测方向的预测模式将TransformIdx设为0。
接下来，说明系数顺序控制部113。图8的系数顺序控制部113具有预测模式选择开关801和9种2D－1D变换部802～810。预测模式选择开关801，根据图7A的左侧所示的预测模式的模式指标序号将来自量化部103的输出端与2D－1D变换部连接。例如，在输入了预测模式0的情况下，预测模式选择开关801将输出端与垂直2D－1D变换部802连接。预测模式与2D－1D变换部一一对应，与预测模式对应的2D－1D变换部始终连接。预测模式与9种2D－1D变换部802～810一一对应，按每个预测模式选择输出端。
9种2D－1D变换部802～810具有将在量化部103中量化处理后的量化变换系数121的二维数据变换为一维数据的功能。例如，H.264中，使用锯齿扫描将二维数据变换为一维数据。
将4x4块的二维数据通过锯齿扫描而变换为一维数据的例子在图4A及图4B中示出。这里示出了将4x4尺寸的块所包含的量化变换系数121通过锯齿扫描而变换为一维数据的例子。如果将图4A及图4B中的量化变换系数121的分量用cij表示，则使用锯齿扫描的2D－1D变换由图4C表示。这里，idx是2D－1D变换后的一维数据的指标。
这里，9种2D－1D变换部802～810使用针对每个预测模式128不同的扫描顺序。图9示出4x4像素块中的预测模式和扫描顺序的关系。根据图7A的IntraNxNPredMdeIndex的序号，选择不同的扫描顺序。这里，示出了4x4像素块中的例子，但对于8x8像素块、16x16像素块，也同样地能够选择针对每个预测模式不同的扫描顺序。此外，在像素块是由MxN表现的矩形块的情况下，作为进行2D－1D变换的块尺寸，也可以采用MxN。在这种情况，与矩形块对应地，针对每种预测模式准备图9所示的扫描顺序表即可。以上是本实施方式中的运动图像编码装置100的概要。
图10A及图10B是示出运动图像编码装置100的编码对象块(宏块)的处理的流程图。图10A及图10B中所示的各处理中、提供相同指标的处理示出相同的处理内容。
如果输入编码对象块的输入图像，则开始像素块的编码处理(S1001)。首先，使用参照图像存储器107所保持的参照图像信号125，在帧内预测图像生成部108及帧间预测图像生成部109中生成预测图像信号127(S1002)。根据到底是在哪一个预测图像生成部中生成了预测图像，编码控制部116生成预测信息126(包含预测模式128)而对预测选择部110设定，并且预测选择部110，将预测信息126向预测选择开关111输出，并且向熵编码部114输出(S1003)。预测选择开关111，判断预测信息126是否为帧内预测(S1004)，在所述信息是帧内预测的情况下(YES)，将开关的输出端与帧内预测图像生成部108连接。而在所述信息是帧间预测的情况下(NO)，将开关的输出端与帧间预测图像生成部109连接。
首先对预测信息126是帧内预测的情况进行说明。帧内预测图像生成部108中生成的预测图像信号127，在减法器101中与输入图像信号相减，生成预测误差信号119(S1005)。同时，预测选择部110，将由编码控制部116设定的预测信息126向熵编码部114输出，并且将预测信息126中包含的预测模式128向帧内预测分类部112输出(S1006)。帧内预测分类部112中，根据所输入的预测模式128，从预测分类表(图7A)所示的表中生成变换基底选择信息129(S1007)。所生成的变换基底选择信息129，向正交变换部102输入，并判断基底选择开关503根据该信息将开关的输出端连接到哪里(S1008)。在所述信息为YES(TransformIdx为1)的情况下，基底选择开关503将输出端与第二正交变换部502连接(S1009)。所述信息为NO的情形下(TransformIdx为0)，基底选择开关503将输出端与第一正交变换部501连接(S1010)。
预测误差信号119向正交变换部102输入，通过所连接的输出端而在第一正交变换部501或者第二正交变换部502中，进行正交变换处理，生成变换系数120(S1011)。正交变换后的变换系数120向量化部103输入。量化部103，进行量化处理，生成量化变换系数121(S1012)。量化变换系数121向系数顺序控制部113输入。系数顺序控制部113中，根据所输入的预测模式128，按照图7A将预测模式选择开关801的输出端与2D－1D变换部802～810中的某一个连接(S1013)。
2D－1D变换部802～810中，针对每个预测模式，使用图9所示的表进行2D－1D变换处理，生成量化变换系数列117(S1014)。量化变换系数列117向熵编码部114输入，实施熵编码之后，在编码控制部116所管理的恰当定时向运动图像编码装置100外输出(S1015)。另一方面，量化变换系数121向逆量化部104输入，进行逆量化处理，生成逆量化变换系数122(S1016)。
逆正交变换部105，根据变换基底选择信息129，判断将基底选择开关603的输出端连接到哪里(S1017)。在所述信息为YES(TransformIdx为1)的情况下，基底选择开关603将输出端与第二逆正交变换部602连接(S1018)。所述信息为NO的情况下(TransformIdx为0)，基底选择开关603将输出端与第一逆正交变换部601连接(S1019)。向逆正交变换部105输入逆量化变换系数122，通过所连接的输出端，在第一逆正交变换部601或者第二逆正交变换部602，进行逆正交变换处理，生成还原预测误差信号123(S1020)。还原预测误差信号123与帧内预测图像生成部108中生成的预测图像信号127在加法器106中进行加法运算，变为解码图像信号124，而向参照图像存储器107输入，并保存(S1021)。根据以上的处理，对一个编码对象像素块进行帧内编码(S1022)。
接下来，对预测信息126为帧间预测的情况进行说明。帧间预测图像生成部109中生成的预测图像信号127，在减法器101中与输入图像相减，生成预测误差信号119(S1005)。预测误差信号119向正交变换部102输入。这里，在预测方法为帧间预测的情况下，正交变换部102的基底选择开关503始终将开关的输出端与第二正交变换部502连接。所输入的预测误差信号119，在第二正交变换部502中进行正交变换(例如DCT)，生成变换系数120(S1011)。
向量化部103输入正交变换后的变换系数120。在量化部103中进行量化处理，生成量化变换系数121(S1012)。向系数顺序控制部113输入量化变换系数121。在系数顺序控制部113中，预测方法为帧间预测的情况下，将预测模式选择开关801的输出端始终与DCT用2D－1D变换部804连接。2D－1D变换部804中，使用图4C中所示的锯齿扫描或者图9的Intra_NxN_DC所示的扫描顺序中的某一个，进行2D－1D变换处理，生成量化变换系数列117(S1014)。将量化变换系数列117输入熵编码部114，并施加熵编码之后后，在编码控制部116管理的恰当的定时，向运动图像编码装置100外输出(S1015)。
另一方面，将量化变换系数121向逆量化部104输入，并进行逆量化处理，生成逆量化变换系数122(S1016)。逆量化变换系数122向逆正交变换部105输入。这里，在预测方法为帧间预测的情况下，逆正交变换部105的基底选择开关603，将开关的输出端始终与第二逆正交变换部602连接。逆量化变换系数122向逆正交变换部105输入，通过连接的输出端而在第二逆正交变换部602中，进行逆正交变换处理(例如IDCT)，并生成还原预测误差信号123(S1020)。还原预测误差信号123与在帧间预测图像生成部109中生成的预测图像信号127在加法器106中进行加法运算，成为解码图像信号124而向参照图像存储器107输入，并保存(S1021)。根据以上的处理，对一个编码对象像素块进行帧间编码(S1022)。
以上是本发明的本实施方式中的运动图像编码装置100的处理流程图。
一般而言，式(3)、(4)所示的正交变换矩阵是固定矩阵，所以在考虑硬件实现的情况下，多是不使用乘法器而由硬线逻辑器构成。例如，也可以按H.264中规定的9种预测模式中的每一个，准备考虑了预测方向的正交变换。但是，9种预测模式的每个中，固定系数组不同，所以除了H.264中所需的DCT用的专用硬件之外，必须以追加的方式构成8种专用硬件，电路规模将增大。
此外，由于运动图像编码装置中使用的信号为二维的图像数据，所以如式(3)、式(4)所示，施加二维的正交变换。这里，为了去除垂直方向与水平方向的相关，如果准备两种分离型的正交变换基底，则追加地需要16种一维的正交变换矩阵，硬件实现时的电路规模将增大。
另一方面，在本实施方式中，能够构成为作为正交变换部仅具有考虑了帧内预测的预测方向的第一正交变换、和例如DCT那样的第二正交变换这两种正交变换部，所以能够防止电路规模的增加。
在使用考虑了预测方向的正交变换的情况下，对实施了正交变换后的变换系数120实施量化处理后得到的量化变换系数121，具有偏向块内的变为非零的变换系数的发生倾向的性质。该非零变换系数的发生倾向具有对每个帧内预测的预测方向不同的性质。但是，对不同影像编码时在相同的预测方向上的非零变换系数的发生倾向具有相似的性质。2D－1D变换时，从非零变换系数发生概率高的位置的变换系数开始优先地进行熵编码，从而能够削减变换系数进行编码的信息。因此，根据表示预测方向的预测模式128，预先学习非零变换系数的发生概率，并确定9种2D－1D变换方法，从而与例如H.264相比较，能够不引起运算量的增加地，削减变换系数的编码量。
此外，向本发明的本实施方式那样，作为正交变换部，分为考虑了帧内预测的预测方向的第一正交变换、和例如DCT那样的第二正交变换的两种正交变换部的情况下，将DC预测以外的预测方向强制地分配给第一正交变换，所以在使用H.264中所用的锯齿扫描顺序时的电力集中度未必变高。因此，利用非零变换系数的发生倾向针对预测模式相似的性质，在2D－1D变换时，从非零变换系数的发生概率高的位置的变换系数开始优先地进行熵编码，由此能够削减变换系数进行编码的信息。
接下来，对式(3)及式(4)中的正交变换矩阵的设计方法进行说明。H.264的4x4像素块以及8x8像素块中，分别定义了9种预测模式，在16x16像素块中定义了4种预测模式。其中，对除了DC预测的预测模式，设计考虑了预测方向的方向变换矩阵。准备多个训练图像，生成以各个预测模式进行预测时的预测误差信号119。生成将其按每个预测模式累积的K个训练向量。例如4x4像素块的训练向量存在K个4x4尺寸的训练向量。对于该训练向量，进行奇异值分解，生成表示行与列的归一正交基底。
【数8】
M＝U∑VT (8)
此处，M表示NxN尺寸的训练向量，U表示N行N列的酉矩阵，矩阵Σ表示N行N列中对角分量以外为0、对角分量为非负的奇异值矩阵。VT为N行N列的酉矩阵V的伴随矩阵(复数共轭且为转置矩阵)。这里，模拟逆矩阵由下式所定义。
【数9】
M’＝U∑’VT (9)
M’表示模拟逆变换后的输出向量，Σ’是将Σ的对角分量的倒数作为分量的矩阵的转置。对于K个训练向量，采用线性最小二乘法设计式(8)和式(9)中所示的正交变换前后的二乘误差变为最小的矩阵U和矩阵V。这样设计的矩阵U以及VT作为式(3)中的变换矩阵而使用。另外，设计后的矩阵U以及VT的各要素变为实数所以通过进行整数化，能够作为式(4)中的变换矩阵而使用。这里，示出了4x4像素块中的设计例，但也能够同样地进行8x8像素块以及16x16像素块的变换矩阵的设计。
接下来，对图9所示的系数扫描顺序的设计方法进行说明。系数扫描顺序，根据量化部103中所生成的量化变换系数121而进行设计。例如，在4x4像素块的系数扫描顺序的设计中，准备多个训练图像，生成以9种预测模式进行预测后的预测误差信号119。对于该预测误差信号119，进行式(3)或式(4)中所示的正交变换，并对变换系数120进行量化处理。对于量化后的量化变换系数121，对4x4像素块内的各要素的非零变换系数进行累积加法运算。将其对全部的训练图像进行，并按4x4像素块的16个要素中的每个生成非零变换系数的直方图。根据该直方图，从发生频度高的要素开始按升序提供指标0～15。这样提供的指标与1D中的扫描顺序相当。通过针对每个预测模式设计上述的指标，能够设计系数扫描顺序。此处，示出了4x4像素块中的设计例，但8x8像素块以及16x16像素块的系数扫描顺序设计也能够同样地进行。
接下来，对运动图像编码装置100中的语法构造进行说明。图11是示出语法1100的结构的图。语法表示了对运动图像数据进行编码时的编码数据的构造。对该编码数据解码时，以具有相同语法构造的解码装置进行语法解释。如图11所示，语法1100主要具有三部分。高级语法1101，针对表现帧或场所包含的矩形区域或者连续区域的片段，具有与其相比上层的语法信息。片段级语法1102，针对每个片段具有进行解码所需的信息，宏块级语法1103，针对每个宏块具有进行解码所需要的信息。
各部分由更详细的语法构成。高级语法1101，包含序列参数组语法1104和图片参数组语法1105等、序列以及图片级的语法。片段级语法1102包含片段头语法1106、片段数据语法1107等。宏块级语法1103包含宏块层语法1108、宏块预报语法1109等。
图12是示出与本发明的本实施方式相关的片段头语法1106的例子的图。图12中所示的slice_uni_directional_transform_flag，是表示是否对该片段应用考虑方向型正交变换的语法要素。在slice_uni_directional_transform_flag为0的情况下，在正交变换部102以及逆正交变换部105中，能够利用第一正交变换部501以及第一逆正交变换部601。这种情况下，无论变换基底选择信息129如何，基底选择开关503都将开关的输出端与第二正交变换部502连接，并且基底选择开关603都将开关的输出端与第二逆正交变换部602连接。此外，在这种情况下，系数顺序控制部113中，不能使用DCT用2D－1D变换部804以外的部件。这种情况下，无论预测模式128如何，预测模式选择开关801均将开关的输出端与DCT用2D－1D变换部804连接。
另一方面，在slice_uni_directional_transform_flag为1的情况下，按照图10A及图10B中所说明的编码流程图进行编码处理。即，在正交变换部102及逆正交变换部105中，能够按照变换基底选择信息129，选择第一正交变换部501和第二正交变换部502，并且按照变换基底选择信息129，选择第一逆正交变换部601和第二逆正交变换部602。此外，预测模式选择开关801，能够按照预测模式128将开关的输出端与2D－1D变换部802～810连接。
作为其它实施方式，图13示出与本发明的其它实施方式相关的宏块层语法1108的例子。图13中示出的mb_uni_directional_transform_flag是表示是否在该宏块中应用考虑方向型正交变换的语法要素。此外，图13中所示的mb_type表示该编码宏块的编码类型。I_NxN表示编码类型为帧内预测编码、预测块尺寸为NxN尺寸。N从4、8、16开始，包括32、64等。mb_uni_directional_transform_flag仅在slice_uni_directional_transform_flag为1、宏块的编码类型为帧内预测时进行编码。在mb_uni_directional_transform_flag为0的情况下，在正交变换部102以及逆正交变换部105中，不能利用第一正交变换部501以及第一逆正交变换部601。在这种情况下，无论变换基底选择信息129如何，基底选择开关503都将开关的输出端与第二正交变换部502连接，并且基底选择开关603都将开关的输出端与第二逆正交变换部602连接。此外，在这种情况下，在系数顺序控制部113中，不能使用DCT用2D－1D变换部804以外的部件。在这种情况下，无论预测模式128如何，预测模式选择开关801均将开关的输出端与DCT用2D－1D变换部804连接。
另一方面，在mb_uni_directional_transform_flag为1的情况下，按照图10A及图10B中所说明的编码流程图进行编码处理。即，在正交变换部102以及逆正交变换部105中，根据变换基底选择信息129，选择第一正交变换部501和第二正交变换部502，并且能够按照变换基底选择信息129，选择第一逆正交变换部601与第二逆正交变换部602。此外，预测模式选择开关801，能够按照预测模式128将开关的输出端与2D－1D变换部802～810连接。
通过在宏块层将表示是否应用上述考虑方向型正交变换的标识进行编码，与变换的选择相关的信息量增加，但能够针对图像的每个局部区域实施最佳的正交变换。
另外，即可以在图12至图13所示的语法的表中的行间，插入在本实施方式中未规定的语法要素，也可以包含与其它条件分支相关的描述。此外，也可以将语法表分割为多个表，或整合多个语法表。此外，未必需要使用同一用语，也可以根据利用的方式任意地进行改变。
根据以上的第1实施方式，与预测误差的相关对应地，将帧内预测模式的预测方向进行分类，而实施正交变换·逆正交变换，从而能够使变换后的系数饱和度比变换前升高，并且削减硬件实现时的电路规模。
[第2实施方式]
接下来，对第2实施方式进行说明。第2实施方式的运动图像编码装置的结构，与第1实施方式是同一的，但帧内预测图像生成部108的内部构造不同。另外，对与第1实施方式具有相同功能的块、语法附以同一符号，在此省略说明。此处，使用图14说明帧内预测图像生成部108。图14是表示帧内预测图像生成部108的框图。与本实施方式相关的帧内预测图像生成部108，具有：单方向帧内预测图像生成部1401、双方向帧内预测图像生成部1402、预测模式生成部1403、预测选择开关1404。
第1实施方式的帧内预测图像生成部108，在图14中不存在双方向帧内预测图像生成部1402和预测选择开关1404。此处，单方向帧内预测图像生成部1401已经在图3、图4及第1实施方式中描述了处理内容，所以省略说明。
双方向帧内预测图像生成部1402中，通过生成两个单方向的帧内预测图像信号，并对它们实施加权平均，从而生成预测图像信号127。例如，说明采用了图3C及图3D所示的水平预测和正交右下预测的双方向预测。首先，分别生成单方向的预测图像信号。此处，如果将水平预测设为P1[x,y]，将正交右下预测设为P2[x,y]，则双方向预测的预测图像信号P[x,y]由下式表示。
【数10】
P[x，y]＝(W[x，y]*P1[x，y]+(128-W[x，y])*P2[x，y]+64)＞＞7 (10)
此处，W[x,y]表示加权表，是取0～128的值的矩阵。双方向帧内预测的预测序号、两个单方向的组合、和变换基底信息在图15中示出。
此处，IntraNxNPredModeIndexL0表示双方向帧内预测中的第一单方向帧内预测的模式序号，IntraNxNPredModeIndexL1表示双方向帧内预测中的第二单方向帧内预测的模式序号。分别追加附记了L0、L1，但都是与图3A对应的预测模式。IntraNxNBiPredModeIndex表示双方向帧内预测的模式序号。此外，bipred_intra_flag，是表示是否应用双方向帧内预测的的语法要素，对其后述。
接下来，说明预测模式生成部1403的功能。在双方向帧内预测图像生成部1402中，在根据从编码控制部116输入的信息生成基于双方向帧内预测的预测图像信号的情况下，预测模式生成部1403，按照图15所示的表导出预测模式128，并输出。即，预测模式128包含：bipred_intra_flag、IntraNxNBiPredModeIndex、IntraNxNPredModeIndexL0、IntraNxNPredModeIndexL1。
预测选择开关1404，按照输入的预测模式128，将开关的输出端与两个帧内预测图像生成部1401、1402中的某个输出端连接。此处，在bipred_intra_flag为0的情况下，开关将输出端与单方向帧内预测图像生成部1401连接。在bipred_intra_flag为1的情况下，开关将输出端向双方向帧内预测图像生成部1402输出。
通过使用式(10)所示的双方向预测，与单纯的单方向预测相比较，能够对预测方向线性地施加变化，生成与自然图像等中的渐变等亮度变化对应的预测图像信号，从而能够进行更接近输入图像的预测。
此处，示例了以相对于IntraNxNPredModeIndexL1，IntraNxNPredModeIndexL0必须变小的方式制作表的例子。一般而言，IntraNxNPredModeIndex中所示的序号，对选择概率高的预测模式提供小序号。因此，通过按照IntraNxNPredModeIndexL0所示的预测模式来设计TransformIdx，从而能够提高变换效率。另一方面，也可以替换IntraNxNPredModeIndexL0与IntraNxNPredModeIndexL1。在这种情况下，TransformIdx也能够按照序号小的来设定。
此外，在图15的表中，除了9种单方向预测模式以外，示出了追加18种双方向预测的组合的例子，也可以对组合数进行增减，使用相同规则设定TransformIdx即可。
以上是与本发明的本实施方式相关的帧内预测图像生成部108的说明。
接下来，说明帧内预测分类部112。帧内预测分类部112具有根据输入的预测模式128来生成正交变换中所用的变换基底选择信息129的功能。帧内预测分类部112中，根据输入的预测模式128来生成变换基底选择信息129。这里，使用图7A及图15所示的分类表，将预测模式分为两类，针对分类后的每种预测模式，设定TransformIdx中表现的变换基底选择信息129。在图15中，在两个帧内预测模式中，IntraNxNPredModeIndexL0中所示的帧内预测模式变为2(DC预测)的情况下将TransformIdx设为1，在这以外的方向预测的情况下设为0。例如，IntraNxNPredModeIndexL1中所示的帧内预测模式为2的情况下，既可以将TransformIdx设为1，也可以按照在各个方向预测中所生成的预测图像信号的生成方向而区分情况。更具体地进行说明的话，在例如IntraNxNPredModeIndexL0为0、IntraNxNPredModeIndexL1为1的情况下，两个预测方向所成的角度变为90度。这样，在预测方向所成的角过大的情况下，还能准备将TransformIdx设为1的、这种组合。
接下来，说明系数顺序控制部113。在输入的预测模式128中，按照IntraNxNPredModeIndexL0所示的模式序号，确定TransformIdx。IntraNxNPredModeIndexL0，表示单方向的帧内预测模式，提供9种预测模式。
此处，9种2D－1D变换部802～810使用针对每种预测模式128不同的扫描顺序。图9示出4x4像素块中的预测模式与扫描顺序的关系。与图15的IntraNxNPredMdeIndexL0的序号对应地，选择不同的扫描顺序。此处，示出了4x4像素块的例子，但对8x8像素块、16x16像素块也同样地选择针对每个预测模式不同的扫描顺序。此外，在像素块为以MxN表现的矩形块的情况下，作为进行2D－1D变换的块尺寸，可以使用MxN。这种情况下，与矩形块对应地，针对每个预测模式准备图9所示的扫描顺序表即可。
以上为本发明的本实施方式的运动图像编码装置100的概要。
接下来，对本发明的本实施方式的运动图像编码装置100中的语法构造进行说明。
图16是示出与本发明的本实施方式相关的片段头语法1106的例子的图。图中所示的slice_uni_directional_transform_flag，是表示是否对该片段应用考虑方向型正交变换的语法要素，由于与第1实施方式同一而省略说明。
图16中示出的slice_bipred_intra_flag是表示是否对该片段应用双方向帧内预测的语法要素，在slice_bipred_intra_flag为0的情况下，在帧内预测图像生成部108中不能利用双方向帧内预测图像生成部1402。在这种情况下，无论预测模式128如何，预测选择开关1404将开关的输出端与单方向帧内预测图像生成部1401连接。
另一方面，在slice_bipred_intra_flag为1的情况下，在帧内预测图像生成部108内的预测选择开关1404中，能够按照预测模式128选择单方向帧内预测图像生成部1401和双方向帧内预测图像生成部1402。
图17示出与本发明的实施方式相关的宏块层语法1108的例子。图中所示的bipred_intra_flag是表示在该宏块中是否应用双方向帧内预测的语法要素。bipred_intra_flag仅在slice_bipred_intra_flag为1而宏块的编码类型为帧内预测时进行编码。在bipred_intra_flag为0的情况下，在该宏块的帧内预测图像生成部108中，不能利用双方向帧内预测图像生成部1402。这种情况下，无论预测模式128如何，预测选择开关1404都将开关的输出端与单方向帧内预测图像生成部1401连接。
另一方面，在bipred_intra_flag为1的情况下，在该宏块中的帧内预测图像生成部108内的预测选择开关1404中，能够按照预测模式128选择单方向帧内预测图像生成部1401和双方向帧内预测图像生成部1402。
基于以上的第2实施方式，除了第1实施方式的效果以外，通过使用双方向预测，与单纯的单方向预测相比较能向预测方向加入线性的变化，通过生成与自然图像等中的渐变等的亮度变化对应的预测图像信号，能够进行更接近输入图像的预测。
[第3实施方式]
接下来，对第3实施方式进行说明。第3实施方式的运动图像编码装置的结构与第1实施方式同一，但正交变换部102以及逆正交变换部105的内部构造不同。另外，对于第1实施方式具有相同功能的块、语法附以同一符合，在此处省略说明。
在此处，使用图18、图20说明正交变换部102和逆正交变换部105。图18是示出正交变换部102的框图。与本实施方式相关的正交变换部102，除了图5中示出的各处理块外，还具有第三正交变换部1801。在此处，第一正交变换部501与第二正交变换部1802进行在式(3)、式(4)所表示的考虑了预测方向的正交变换。而第三正交变换部1801进行例如DCT。这时的变换基底选择信息129在图19A、图19B中示出。在TransformIdx为0的情况下，基底选择开关503将开关的输出端与第一正交变换部501连接。在TransformIdx为1的情况下，基底选择开关503将开关的输出端与第二正交变换部1802连接。在TransformIdx为2的情况下，基底选择开关503将开关的输出端与第三正交变换部1801连接。
在此处，作为例子，假定对垂直方向的预测模式(图3A中的模式0)设计第一正交变换部501的正交变换基底，对水平方向(图3A中的模式1)的预测模式设计第二正交变换部1802的正交变换基底。在此处，将垂直方向的预测模式设为在第1基准方向时相对于垂直方向的预测模式预测方向所成的角小的预测模式，对于模式6、模式8将TransformIdx设为了0。此外，将水平方向的预测模式设为在第2基准方向时相对于水平方向的预测模式预测方向所成的角小的预测模式，对于模式5、模式7将TransformIdx设为1。对于相对于对两个基准方向所成的角相等的模式3、模式4和无法定义预测方向的模式2(DC预测)，将TransformIdx设为2。
帧内预测分类部112，比较帧内预测模式的预测方向与第1基准方向(垂直方向)所成的第1角度、和帧内预测模式的预测方向与第2基准方向(水平方向)所成的第2角度，当第1角度为第2角度以下时将预测模式分类到垂直方向的预测模式，在第1角度大于第2角度时将预测模式分类到水平方向的预测模式。
此外，图20是示出逆正交变换部105的框图。与本实施方式相关的逆正交变换部105，除了图6中所示的各处理块以外，还具有第三逆正交变换部2001。在此处，第一逆正交变换部601与第二逆正交变换部2002,进行如式(6)、式(7)所示那样的考虑了预测方向的正交变换。第三逆正交变换部2001进行例如IDCT。此时的变换基底选择信息129如图19A、图19B所示。在TransformIdx为0的情况下，基底选择开关603将开关的输出端与第一逆正交变换部601连接。在TransformIdx为1的情况下，基底选择开关603将开关的输出端与第二逆正交变换部2002连接。TransformIdx为2时，基底选择开关603将开关的输出端与第三逆正交变换部2001连接。
在实施方式中使用三个正交变换。其中在第一正交变换部和第二正交变换部中使用考虑方向型的正交变换基底进行正交变换。作为预测模式的基准方向，准备形成90度角度的垂直预测模式和水平预测模式，将与它们分别所成的角不足45度的预测模式分类到使用同一正交变换的类。这样，通过使用空间方向相关而分类正交变换，从而能进行使考虑方向型正交变换的系数饱和度升高的编码。
另外，到此为止，说明了将本发明的本实施方式中，按照对第一正交变换、第二正交变换、第三正交变换这3种正交变换和第一逆正交变换、第二逆正交变换、第三逆正交变换这3种逆正交变换进行分别分类的每个预测模式进行切换的方式进行了说明，但也可以增加它们的数量。这种情况下，需要不同的正交变换·逆正交变换的硬件等，但选择取得电路规模与编码效率的平衡的组合即可。
此外，也可以是组合了第2实施方式与第3实施方式的运动图像编码装置的结构。
基于以上的第3实施方式，除了第1实施方式的效果以外，作为预测模式的基准方向，准备成90度角度的垂直预测模式和水平预测模式，将与它们分别所成的角不足45度的预测模式分类为使用同一正交变换的类。这样，通过使用空间方向相关来分类正交变换，能够进行使考虑方向型正交变换的系数饱和度升高的编码。
[第4实施方式]
接下来，对第4实施方式进行说明。第4实施方式的运动图像编码装置的结构与第1实施方式同一，但正交变换部102以及逆正交变换部105的内部构造不同。另外，对与第1实施方式具有相同功能的块、语法附以同一符号，在此处省略说明。
在此处，利用图23、图24说明正交变换部102和逆正交变换部105。图23是示出正交变换部102的框图。与本实施方式相关的正交变换部102，相对于图5所示的各处理块，改变了第一正交变换部2301、第二正交变换部2302，具有第三正交变换部2303、第四正交变换部2304。在此处，第一正交变换部2301～第四正交变换部2304进行式(3)、式(4)所示的那样的考虑了与预测方向相应地生成的预测误差的正交变换。在此处，可以将这些第一正交变换部2301～第四正交变换部2304中的某一个置换为DCT等。这时的变换基底选择信息129在图25A、图25B中示出。图25A的表，根据与预测方向相应地生成的预测误差的倾向，进行了分类。此时，根据在帧内预测中进行参照的像素线，将预测模式分为4类。例如，对不能定义预测方向的DC预测(预测模式2)定义TransformIdx＝3，对仅使用纵方向的参照像素线的预测模式0、3、7定义TransformIdx＝1，对仅使用横方向的参照像素线的预测模式1、8定义TransformIdx＝2，对使用纵、横两个参照像素线的预测模式4、5、6定义TransformIdx＝0。
在TransformIdx为0的情况下，基底选择开关503将开关的输出端与第一正交变换部2301连接。在TransformIdx为1的情况下，基底选择开关503将开关的输出端与第二正交变换部2302连接。在TransformIdx为2的情况下，基底选择开关503将开关的输出端与第三正交变换部2303连接。在TransformIdx为3的情况下，基底选择开关503将开关的输出端与第四正交变换部2304连接。
在此处，根据分类后的预测模式4、5、6的预测误差，设计TransformIdx＝0的正交变换基底，根据预测模式0、3、7的预测残差，设计TransformIdx＝1的正交变换基底，根据预测模式1、8的预测残差，设计TransformIdx＝2的正交变换基底，根据DC预测(预测模式2)的预测残差，设计TransformIdx＝3的正交变换基底。另外，在此处，示出了与TransformIdx＝3对应的第四正交变换部2304进行基于DCT的正交变换的例子。
此外，图24是示出逆正交变换部105的框图。与本实施方式相关的逆正交变换部105，对于图6中所示的各处理块，改变了第一逆正交变换部2401、第二逆正交变换部2402，具有第三逆正交变换部2403、第四逆正交变换部2404。在此处，第一逆正交变换部2401～第四逆正交变换部2404，进行考虑了与式(6)、式(7)所示的那样的预测方向对应地生成的预测误差的正交变换。在此处，这些第一逆正交变换部2401～第四逆正交变换部2404的任意一个可以置换为IDCT等。
这时的变换基底选择信息129如图25A、图25B所示。在TransformIdx为0的情况，基底选择开关603将开关的输出端与第一逆正交变换部2401连接。在TransformIdx为1的情况下，基底选择开关603将开关的输出端与第二逆正交变换部2402连接。在TransformIdx为2情况下，基底选择开关603将开关的输出端与第三逆正交变换部2403连接。在TransformIdx为3的情况下，基底选择开关603将开关的输出端与第四逆正交变换部2404连接。
在本实施方式中，使用四个正交变换。其中，第一正交变换部和第四正交变换部中，采用考虑了与预测方向相应地生成的预测误差的相关的正交变换基底而进行正交变换。这时，通过与生成预测像素的参照像素线相应地来分类正交变换，能够进行使正交变换的变换系数的饱和度升高的编码。
另外，说明了将本发明的本实施方式中，按照对第一正交变换、第二正交变换、第三正交变换、第四正交变换这4种正交变换和第一逆正交变换、第二逆正交变换、第三逆正交变换、第四逆正交变换这3种逆正交变换进行分别分类的每个预测模式进行切换的方式进行了说明，但也可以增加或减少它们的数量。这种情况下，需要不同的正交变换·逆正交变换的硬件等，但选择取得了电路规模与编码效率的平衡的组合即可。此外，也能是将第2实施方式和第4实施方式组合而成的运动图像编码装置的结构。
此外，在本发明的第4实施方式中说明了针对将4种正交变换和4种逆正交变换分别分类的每种预测模式进行切换的方式，但也能够通过对进行该变换·逆变换时的正交变换矩阵进行共有化，进一步削减硬件实现时的电路规模。例如，式(3)、式(4)所示的二维的分离型的变换中的矩阵A、B或者矩阵C、D能够按不同预测模式循环使用。在图26A、图26B、图26C中示出其一例。在此处，明示了与式(3)中的矩阵A对应的一维变换和与矩阵B对应的一维变换的组合(与式(4)中的矩阵C对应的一维变换和与矩阵D对应的一维变换也同样)。例如，在TransformIdx＝0的情况下，意味着对式(3)的矩阵A、B，使用共通的1D Transform Matrixα。通过对变换矩阵的共有化，能够削减针对每个正交变换部或者逆正交变换部而需要2类的变换矩阵数。例如，本发明的本实施方式中，保持了4种(逆)正交变换部，所以需要8种变换矩阵，但也能仅以两种变换矩阵进行4种(逆)正交变换。另外，在式(6)、(7)的逆变换中也能进行同样的共有化。
基于以上的第4实施方式，除了第1实施方式的效果以外，通过进行考虑了与预测方向对应地生成的预测误差的相关的、4种正交变换基底，能够进行进一步提高系数饱和度并削减了硬件实现时的电路规模的正交变换·逆正交变换。
此外，向本发明的本实施方式那样，作为正交变换部，考虑帧内的预测方向而使用4种正交变换的情况下，将预测模式4、5、6强制地分配了TransformIdx＝0，所以在使用H.264中所用的锯齿扫描顺序时的电力集中度未必变高。因此，利用非零变换系数的发生倾向针对每种预测模式相似的性质，在2D－1D变换时，从非零变换系数的发生概率高的位置的变换系数开始优先地进行熵编码，由此能够削减变换系数进行编码的信息。
接下来，对与运动图像解码装置相关的第5至第8实施方式进行叙述。
[第5实施方式]
图21示出依照第5实施方式的运动图像解码装置。图21的运动图像解码装置2100例如对由依第1实施方式的运动图像编码装置所生成的编码数据进行解码。
图21的运动图像解码装置2100对输入缓冲器2101储存的编码数据2114进行解码，并将解码图像信号2119向输出缓冲器2112输出。编码数据2114是例如从运动图像编码装置100等被送出，经过未图示的蓄积系统或传送系统输送，暂时储存在输入缓冲器2101并进行复用的编码数据。
运动图像解码装置2100具有：熵解码部2102、系数顺序控制部2103、逆量化部2104、逆正交变换部2105、加法器2106、参照图像存储器2107、帧内预测图像生成部2108、帧间预测图像生成部2109、预测选择开关2110、以及帧内预测分类部2111。运动图像解码装置2100，此外，与输入缓冲器2101、输出缓冲器2112、以及、解码控制部2113连接。
熵解码部2102按每1帧或1场根据语法对编码数据2114进行基于句法解析的解读。熵解码部2102顺次对各语法的符号列进行熵解码，生成预测信息2124、量化变换系数列2115以及编码对象块的编码参数等。所谓编码参数，包含与预测相关的信息、与量化相关的信息等的解码时所需的全部参数。
熵解码部2102中进行解读后的量化变换系数列2115向系数顺序控制部2103输入。此外，预测信息2124所包含的预测模式2121向系数顺序控制部2103输入。系数顺序控制部2103具有将作为一维数据的量化变换系数列2115变换为二维数据的功能。系数顺序控制部2103中进行变换后的量化变换系数列2115，变为量化变换系数2116而输入到逆量化部2104。逆量化部2104中，根据与解读后的量化相关的信息进行逆量化，而还原变换系数。逆量化部2104中进行还原后的量化变换系数2116，变为逆量化变换系数2117而输入到逆正交变换部2105。逆正交变换部2105的功能后述，但根据从帧内预测分类部2111输入的变换基底选择信息2122，进行例如逆离散余弦变换(IDCT)。
由逆正交变换部2105施加逆正交变换，生成的还原预测误差信号2118向加法器2106输入。加法器2106，对还原预测误差信号2118和后述的从预测选择开关2110输出的预测图像信号2123进行加法运算，生成解码图像信号2119。
所生成的解码图像信号2119向参照图像存储器2107输入。参照图像存储器2107中将输入的解码图像信号2119向输出缓冲器2112输出，并且将解码图像信号2119作为参照图像信号2120保持于内部存储器，在后述的预测图像信号生成处理中利用。从参照图像存储器2107输出的解码图像信号2119，从运动图像解码装置2100输出，在输出缓冲器2112中暂时蓄积后，按照解码控制部2113管理的输出定时进行输出。
参照图像信号2120，从参照图像存储器2107中，顺次按每帧或者每场被读出，并向帧内预测图像生成部2108或者帧间预测图像生成部2109输入。
另外，图21的帧内预测图像生成部2108具有图1中示出的运动图像编码装置100中的帧内预测图像生成部108所示的同名的各部和同一功能及结构。由此，省略本部分的说明。
另外，图21的帧间预测图像生成部2109具有与图1中示出的帧间预测图像生成部109所示的同名的各部同一功能及结构。由此，本部分的说明省略。
接下来，对系数顺序控制部2103的详细进行说明。图22中示出系数顺序控制部2103的框图。图22的系数顺序控制部2103具有预测模式选择开关2201和9种1D－2D变换部2202～2210。预测模式选择开关2201与图7A的左侧示出的预测模式的模式序号对应地，将开关的输出端与1D－2D变换部连接。例如，在输入预测模式0的情况下，预测模式选择开关2201将输出端与垂直1D－2D变换部2202连接。预测模式与1D－2D变换部一一对应，始终连接到与预测模式对应的1D－2D变换部。预测模式与9种1D－2D变换部2202～2210一一对应，针对每个预测模式选择输出端。
9种1D－2D变换部2202～2210具有将解码后的量化变换系数列2115的一维数据变换为二维数据的功能。例如，在H.264中，采用逆锯齿扫描，将一维数据变换到二维数据。
将4x4块的一维数据通过逆锯齿扫描变换为二维数据的例子在图4B及图4A中示出。这里，示出了通过对解读后的量化变换系数列2115(与图4B对应)进行逆锯齿扫描，从而变换为二维数据(与图4A对应)的例子。如果用cij表示图中的量化变换系数2116的分量，则采用逆锯齿扫描的1D－2D变换在图4C中示出。这里，idx是1D－2D变换前的一维数据的指标。
在此处，9种1D－2D变换部2202～2210，使用针对每个预测模式2121而不同的扫描顺序。图9示出4x4像素块中的预测模式和扫描顺序的关系。根据图7A的IntraNxNPredMdeIndex的序号，选择不同的扫描顺序。在此处，示出了4x4像素块中的例子，但对于8x8像素块或16x16像素块，也同样地，能够选择针对每个预测模式不同的扫描顺序。此外，在像素块为以MxN表现的矩形块的情况下，作为进行1D－2D变换的块尺寸，可以采用MxN。在这种情况下，与矩形块对应地，针对每个预测模式准备图9所示的扫描顺序表即可。
接下来，说明帧内预测分类部2111。帧内预测分类部2111具有根据熵解码部2102中解读的预测信息2124所包含的预测模式2121生成逆正交变换中使用的变换基底选择信息2122的功能。在此处，使用图7A及图7B所示的分类表将预测模式分为两类，按照每个分类后的预测模式，设定由TransformIdx表现的变换基底选择信息2122。在此处，表中所示的IntraNxNPredMdeIndex表示预测模式2121。此外，N是表示块尺寸的指标，在4x4像素块中为4，在8x8像素块中为8，在16x16像素块中中为16。此外，这以外的块尺寸中也同样。在此处，示出了关于以NxN表示的正方块的例子，但也容易作为MxN扩展到矩形块。
在TransformIdx示出0的情况下，意味着采用第一逆正交变换。而在TransformIdx示出1的情况下，意味着第二逆正交变换被采用。在此处，在像素块为由MxN表现的矩形块的情况下，作为进行逆正交变换的块尺寸，也可以使用MxN。
在此处，仅对DC预测(与预测模式2对应)将TransformIdx设为1，对于具有除此以外的空间预测方向的预测模式，将TransformIdx设为0。
逆正交变换部2105具有与图6的逆正交变换部105同样的功能。在此处，图6中的逆量化变换系数122、变换基底选择信息129、还原预测误差信号123，在图21中分别对应于逆量化变换系数2117、变换基底选择信息2122、还原预测误差信号2118。图6所示的逆正交变换部105和图21所示的逆正交变换部2105为同功能，所以在此处省略详细说明。
在逆正交变换部2105的第一逆正交变换部中，对于逆量化变换系数2117，使用式(6)或式(7)进行逆正交变换处理。例如，使用用水平预测(模式1)设计的变换矩阵，进行逆正交变换处理。逆正交变换部2105的第二逆正交变换部中，对于逆量化变换系数2117，使用式(6)或式(7)进行逆正交变换处理。该逆正交变换可以是例如IDCT。无论如何，使用与第1实施方式中使用的正交变换对应的变换矩阵，进行逆正交变换。
以上是第5实施方式中所示的运动图像解码装置2100的处理的概要。
接下来，对运动图像解码装置2100进行解码的编码数据的语法构造进行说明。运动图像解码装置2100所解码的编码数据2114优选具有与运动图像编码装置100同一的语法构造。在此处，设为采用与图12至图13同一的语法，省略详细的说明。
图12是示出与本发明的本实施方式相关的片段头语法1106的例子的图。图12中所示的slice_uni_directional_transform_flag是表示是否对该片段应用考虑方向型正交变换的语法要素。slice_uni_directional_transform_flag为0时，在正交变换部102以及逆正交变换部105中，不能利用第一正交变换部501以及第一逆正交变换部601。这种情况下，无论变换基底选择信息129如何，基底选择开关503都将开关的输出端与第二正交变换部502连接，并且基底选择开关603将开关的输出端与第二逆正交变换部602连接。此外，这种情况下，在系数顺序控制部113中，不能使用DCT用2D－1D变换部804以外的部件。这种情况下，无论预测模式128如何，预测模式选择开关801将开关的输出端与DCT用2D－1D变换部804连接。
另一方面，slice_uni_directional_transform_flag为1时，根据图10A及图10B中说明的编码流程图，进行编码处理。即，在正交变换部102以及逆正交变换部105中，能够按照变换基底选择信息129，选择第一正交变换部501和第二正交变换部502，并且能够按照变换基底选择信息129，选择第一逆正交变换部601和第二逆正交变换部602。此外，预测模式选择开关801，能够按照预测模式128将开关的输出端与2D－1D变换部802～810连接。
作为其它实施方式，图13示出与本发明的其它实施方式相关的宏块层语法1108的例子。图13中示出的mb_uni_directional_transform_flag是表示是否在该宏块中应用考虑方向型正交变换的语法要素。此外，图13中示出的mb_type表示该编码宏块的编码类型。I_NxN表示编码类型为帧内预测编码、预测块尺寸为NxN尺寸。N中除了4、8、16外还包含32、64等。mb_uni_directional_transform_flag，仅在slice_uni_directional_transform_flag为1且宏块的编码类型为帧内预测时，进行编码。mb_uni_directional_transform_flag为0的情况下，在正交变换部102以及逆正交变换部105中，不能利用第一正交变换部501以及第一逆正交变换部601。在这种情况下，无论变换基底选择信息129，基底选择开关503将开关的输出端与第二正交变换部502连接，并且基底选择开关603将开关的输出端与第二逆正交变换部602连接。此外，在这种情况下，在系数顺序控制部113中，不能用DCT用2D－1D变换部804以外的部件。在这种情况下，无论预测模式128如何，预测模式选择开关801都将开关的输出端与DCT用2D－1D变换部804连接。
另一方面，mb_uni_directional_transform_flag为1时，按照图10A及图10B中说明的编码流程图，进行编码处理。即，在正交变换部102以及逆正交变换部105中，能够按照变换基底选择信息129，选择第一正交变换部501和第二正交变换部502，并且能够按照变换基底选择信息129，选择第一逆正交变换部601和第二逆正交变换部602。此外，预测模式选择开关801，能够按照预测模式128将开关的输出端与2D－1D变换部802～810连接。
通过对表示在宏块层中是否应用上述考虑方向型正交变换的标识进行编码，与变换的选择相关的信息量增加，但能够针对图片的每个局部区域实施最佳的正交变换。
另外，在图12至图13所示的语法的表中的行间，既可以插入在本实施方式中为规定的语法要素，也可以包含与其它条件分支相关的记述。此外，可以将语法表分割为多个表，或对多个语法表进行整合。此外，未必需要采用同一用语，也可以根据利用的方式进行任意改变。
根据以上的第5实施方式，通过对帧内预测模式的预测方向与预测误差的相关相应地进行分类并施加逆正交变换，从而使变换后的系数饱和度升高，并且能够削减硬件实现时的电路规模。
[第6实施方式]
接下来，对第6实施方式进行说明。第6实施方式中的运动图像解码装置的结构与第5实施方式同一。依第6实施方式的运动图像解码装置2100，对例如由第2实施方式中的运动图像编码装置而生成的编码数据进行解码。另外，对与第5实施方式具有相同功能的块、语法附以同一符号，在这里省略说明。第6实施方式中，仅帧内预测图像生成部2108的内部构造与第5实施方式不同。
在此处，使用图14说明帧内预测图像生成部2108。图14是示出帧内预测图像生成部2108(108)的框图。图14中的预测模式128、预测图像信号127、参照图像信号125，与图21中的预测模式2121、预测图像信号2123、参照图像信号2120分别对应。
与本实施方式相关的帧内预测图像生成部2108(108)，具有单方向帧内预测图像生成部1401、双方向帧内预测图像生成部1402、预测模式生成部1403、预测选择开关1404。
第1实施方式中的帧内预测图像生成部108，在图14中，不存在双方向帧内预测图像生成部1402和预测选择开关1404。在此处，单方向帧内预测图像生成部1401，已经在图3、图4及第1实施方式中记述了处理内容，所以省略说明。
双方向帧内预测图像生成部1402中，生成两个单方向的帧内预测图像信号，并对它们施加加权平均而生成预测图像信号127。例如，说明采用了图3C及图3D所示的水平预测和正交右下预测的双方向预测。首先，分别生成单方向的预测图像信号。这里，如果将水平预测设为P1[x,y]，将正交右下预测设为P2[x,y]，则双方向预测的预测图像信号P[x,y]由式(10)表示。将双方向帧内预测的预测序号、两个单方向的组合、和变换基底信息在图15中示出。
接下来，说明预测模式生成部1403的功能。在熵解码部2102中解读的预测信息2124，在解码控制部2113中进行保持、控制。在此处，作为预测信息2124中包含的预测信息，在选择双方向帧内预测的情况下，预测模式生成部1403按照图15中示出的表导出双方向帧内预测中的预测模式2121并输出。预测选择开关1404，按输入来的预测模式2121将开关的输出端与两个帧内预测图像生成部1401、1402的输出端进行连接。在此处，bipred_intra_flag为0时开关将输出端与单方向帧内预测图像生成部1401连接。bipred_intra_flag为1时，开关将输出端向双方向帧内预测图像生成部1402输出。
以上是与本发明的本实施方式相关的帧内预测图像生成部2108(108)的说明。
接下来，说明帧内预测分类部2111。图21的帧内预测分类部2111与第2实施方式的帧内预测分类部112具有同一功能。具有根据所输入的预测模式2121生成逆正交变换中所用的变换基底选择信息2122的功能。帧内预测分类部2111中，根据从帧内预测图像生成部2108输入的预测模式2121，生成变换基底选择信息2122。在此处，使用图7A及图15所示的分类表，将预测模式分为两类，按照分类后的每个预测模式对由TransformIdx表现的变换基底选择信息129进行设定。
接下来，说明系数顺序控制部2103。在所输入的预测模式2121中，按照IntraNxNPredModeIndexL0所示的模式序号来确定TransformIdx。IntraNxNPredModeIndexL0表示单方向的帧内预测模式，提供9种预测模式。
在此处，9种1D－2D变换部2202～2210使用针对每个预测模式2121不同的扫描顺序。图9中示出4x4像素块中的预测模式与扫描顺序的关系。与图15的IntraNxNPredMdeIndexL0的序号相应地选择不同的扫描顺序。在此处，示出了4x4像素块中的例子，但对于8x8像素块或16x16像素块，也能够同样地选择针对每个预测模式不同的扫描顺序。此外，在像素块为由MxN表现的矩形块的情况下，作为进行2D－1D变换的块尺寸，也可以采用MxN。在这种情况下，与矩形块对应地，按每个预测模式准备图9所示那样的扫描顺序表即可。
图16是示出本发明的本实施方式的片段头语法1106的例子的图。图中所示的slice_uni_directional_transform_flag是表示是否对该片段应用考虑方向型正交变换的语法要素，由于与第1实施方式同一，所以省略说明。
图16中所示的slice_bipred_intra_flag是表示对该片段是否应用双方向帧内预测的语法要素。slice_bipred_intra_flag为0时，在帧内预测图像生成部108中，不能利用双方向帧内预测图像生成部1402。在这种情况下，无论预测模式128如何，预测选择开关1404均将开关的输出端与单方向帧内预测图像生成部1401连接。
另一方面，slice_bipred_intra_flag为1时，在帧内预测图像生成部108内的预测选择开关1404中，能够按照预测模式128，选择单方向帧内预测图像生成部1401和双方向帧内预测图像生成部1402。
图17示出本发明的实施方式的宏块层语法1108的例子。图中所示的bipred_intra_flag是表示是否在该宏块中应用双方向帧内预测的语法要素。bipred_intra_flag仅在slice_bipred_intra_flag为1且宏块的编码类型为帧内预测时进行编码。bipred_intra_flag为0时，在该宏块的帧内预测图像生成部108中，不能利用双方向帧内预测图像生成部1402。在这种情况下，无论预测模式128如何，预测选择开关1404都将开关的输出端与单方向帧内预测图像生成部1401连接。
另一方面，在bipred_intra_flag为1的情况下，在该宏块中的帧内预测图像生成部108内的预测选择开关1404中，能够按照预测模式128，选择单方向帧内预测图像生成部1401和双方向帧内预测图像生成部1402。
根据以上的第6实施方式，除了第5实施方式的效果以外，能够对由依第2实施方式的运动图像编码装置而生成的编码数据进行解码。
[第7实施方式]
接下来，对第7实施方式进行说明。第7实施方式的运动图像解码装置的结构，与第5实施方式同一。依第7实施方式的运动图像解码装置2100，对由例如依第3实施方式的运动图像编码装置而生成的编码数据进行解码。另外，对与第5实施方式具有相同功能的块、语法附以同一符号，并在这里省略说明。第7实施方式中，仅逆正交变换部2105的内部构造与第5实施方式不同。
在此处，使用图20说明逆正交变换部2105。图20中的逆正交变换部105与图21中的逆正交变换部2105具有同一功能。图20中，逆量化变换系数122、变换基底选择信息129、还原预测误差信号123与图21中的逆量化变换系数2117、变换基底选择信息2122、还原预测误差信号2118分别对应。
图20是示出逆正交变换部2105(105)的框图。本实施方式的逆正交变换部2105(105)，除了图6中所示的各处理块，具有第三逆正交变换部2001。在此处，第一逆正交变换部601和第二逆正交变换部602，进行式(6)、式(7)中所示那样的考虑了预测方向的逆正交变换。而第三逆正交变换部2001例如进行IDCT。这种情况下的变换基底选择信息2122在图19A、图19B中所示。TransformIdx为0时，基底选择开关603将开关的输出端与第一逆正交变换部601连接。TransformIdx为1时，基底选择开关603将开关的输出端与第二逆正交变换部602连接。TransformIdx为2时，基底选择开关603将开关的输出端与第三逆正交变换部2001连接。
另外，也能够是将第6实施方式和第7实施方式组合而成的运动图像解码装置的结构。
基于以上的第7实施方式，除了第5实施方式的效果以外，还能对由依第3实施方式的运动图像编码装置生成的编码数据进行解码。
[第8实施方式]
接下来，对第8实施方式进行说明。第8实施方式的运动图像解码装置的结构与第5实施方式同一。依第8实施方式的运动图像解码装置2100，由例如依第4实施方式的运动图像编码装置而生成的编码数据进行解码。另外，对与第5实施方式具有相同功能的的块、语法附以同一符号，在此处省略说明。第8实施方式中仅逆正交变换部2105的内部构造与第5实施方式不同。
在此处，用图24说明逆正交变换部2105。图24中的逆正交变换部105，与图21中的逆正交变换部2105具有同一功能。图20中，逆量化变换系数122、变换基底选择信息129、还原预测误差信号123与图21中的逆量化变换系数2117、变换基底选择信息2122、还原预测误差信号2118分别对应。
图24是示出逆正交变换部2105(105)的框图。与本实施方式相关的逆正交变换部2105(105)，除了图6所示的各处理块以外，改变了第一逆正交变换部2401、第二逆正交变换部2402，具有第三逆正交变换部2403、第四逆正交变换部2404。在此处，第一逆正交变换部2401～第四逆正交变换部2404进行考虑了与式(6)、式(7)中示出那样的预测方向相应地生成的预测误差的逆正交变换。在此处，这些第一逆正交变换部2401～第四逆正交变换部2404中的某个可以置换为IDCT等。
这时的变换基底选择信息129在图25A、图25B中示出。TransformIdx为0时，基底选择开关603将开关的输出端与第一逆正交变换部2401连接。TransformIdx为1时，基底选择开关603将开关的输出端与第二逆正交变换部2402连接。TransformIdx为2时，基底选择开关603将开关的输出端与第三逆正交变换部2403连接。TransformIdx为3时，基底选择开关603将开关的输出端与第四逆正交变换部2404连接。
本实施方式中，用四个逆正交变换。其中，在第一逆正交变换部和第四逆正交变换部中，使用考虑了根据预测方向而生成的预测误差的相关的正交变换基底进行逆正交变换。这时，通过根据生成预测像素的参照像素线对逆正交变换进行分类，从而能够进行使变换系数的饱和度升高的编码。
另外，在将本发明的本实施方式中，说明了按照每个对第一逆正交变换、第二逆正交变换、第三逆正交变换、第四逆正交变换这四种逆正交变换分别分类的每个预测模式进行切换的方式进行了说明，但也可以增加它们的数量。这种情况下，需要不同的正交变换·逆正交变换的硬件等，但选择取得电路规模与编码时的编码效率的平衡的组合即可。
此外，还能够是将第6实施方式与第8实施方式进行组合的运动图像解码装置的结构。
此外，在本发明的第8实施方式中说明了针对将4种逆正交变换分别分类的每种预测模式进行切换的方式，但通过对进行该逆变换时的正交变换矩阵进行共有化，能够进一步削减硬件实现时的电路规模。例如，式(6)、式(7)所示的二维的分离型的变换中的矩阵A、B或者矩阵C、D也能按不同的预测模式循环使用。在图26A、图26B、图26C中示出其一例。在此处，明示了与式(6)中的矩阵A对应的一维变换和与矩阵B对应的一维变换的组合(与式(7)中的矩阵C对应的一维变换和与矩阵D对应的一维变换也同样)。例如，在TransformIdx＝0的情况下，意味着对式(6)的矩阵A、B，使用共通的1D Transform Matrixα。通过进行这样的变换矩阵的共有化，能够削减针对每个逆正交变换部而需要两类的变换矩阵数。例如，本发明的本实施方式中，保持了4种逆正交变换部，所以需要8种变换矩阵，但也能仅以两种变换矩阵进行4种逆正交变换。
根据以上的第8实施方式，除了第5实施方式的效果以外，还能对由依第4实施方式的运动图像编码装置而生成的编码数据进行解码。
(第1至第8实施方式的变形例)
(1)在图12、图13、图16、图17所示语法的表中的行间，既可以插入在本实施方式中未规定的语法要素，也可以包含与其它条件分支相关的记述。此外，也可以将语法表分割为多个表，或整合多个语法表。此外，未必需要使用同一用语，也可以根据利用的方式任意地改变。
(2)第1至第8实施方式中，说明了将处理对象帧分割为16×16像素尺寸等的矩块，并如图2A所示地从画面左上的块向右下顺序进行编码/解码的情况，但编码顺序及解码顺序不限于此。例如，既可以从右下向左上顺序进行编码及解码，也可以从画面中央向着螺旋状顺序地进行编码及解码。进而，也可以从右上向左下顺序进行编码及解码，或者也可以进行从画面的周边部向中心部顺序进行编码及解码。
(3)第1至第8实施方式中，将块尺寸设为4×4像素块、8×8像素块、16×16像素块进行了说明，但预测对象块不需设为均匀的块形状，也可以是16×8像素块、8×16像素块、8×4像素块、4×8像素块等任意的块尺寸。此外，即使在一个宏块内，也不需要使全部的块，也可以使不同尺寸的块混合存在。在这种情况下，如果分割数增加，则用于将分割信息进行编码或解码的编码量增加。因此，考虑变换系数的编码量与局部解码图像或解码图像之间的平衡，而选择块尺寸即可。
(4)第1至第8实施方式中，不分亮度信号和色差信号，作为对一种色信号分量进行限定的例子，进行了记述。但是，预测处理在亮度信号和色差信号中不同的情况下，既可以采用不用的预测方法，也可以使用同一预测方法。在使用不同的预测方法的情况下，将对色差信号选择的预测方法以与亮度信号同样的方法进行编码或解码。
(5)第1至第8实施方式中，不分割亮度信号和色差信号，而是作为一方的色信号分量进行了限定的例子进行了记述。但是，正交变换处理，在亮度信号和色差信号上不同的情况下，既可以使用分别不同的正交变换方法，也可以使用同一正交变换方法。在使用不同的正交变换方法的情况下，对色差信号以所选择的正交变换方法是与亮度信号同样的方法进行编码或解码。
基于以上的实施方式，使帧内预测编码中的正交变换后的系数饱和度升高，并且削减硬件实现时的电路规模。即，在由硬件实现正交变换时，不使利用与预测方向对应的专用硬件的电路规模大幅增加，而使正交变换后的系数饱和度升高，从而起到在使编码效率提高的同时也提高主观画质这样的效果。
此外，上述的实施方式中所述的处理顺序所示的指示能够根据作为软件的程序而被执行。通用的计算机系统，将该程序预先存储起来并读入该程序，从而得到与上述的实施方式的运动图像编码装置以及运动图像解码装置带来的效果同样的效果。上述的实施方式中记述的指示，作为能使计算机执行的程序，记录于磁盘(软盘、硬盘等)、光盘(CD－ROM、CD－R、CD－RW、DVD－ROM、DVD±R、DVD±RW等)、半导体存储器、或与此类似的记录媒质。如果是计算机或者嵌入式系统可读取的记录媒质，则其存储形式可以是任意方式。计算机，如果从该记录媒质读入程序，并根据该程序将程序所记述的指示在CPU中执行，则能够实现与上述的实施方式的运动图像编码装置以及运动图像解码装置同样的动作。当然，计算机取得或者读入程序时也可以通过网络来进行取得或者读入。
此外，也可以根据从记录媒质向计算机或嵌入式系统安装的程序的指示，由在计算机上运转的OS(操作系统)、数据库管理软件、网络等的MW(中间件)等来执行用于实现本实施方式的各处理的一部分。
进而，本申请发明中的记录媒质，不限于与计算机或者嵌入式系统独立的媒质，也可以包含下载通过LAN或互联网等传送的程序而进行存储或临时存储的记录媒质。
此外，记录媒质不限于一个，在从多个媒质执行本实施方式中的处理的情况下，包含在本发明的记录媒质中，媒质的结构可以是任意的结构。
另外，本申请发明中的计算机或嵌入式系统，为用于根据记录媒质所存储的程序来执行本实施方式中的各处理的，可以是有个人电脑、微型电脑等之一构成的装置、网络连接多个装置的系统等任意结构。
此外，所谓本申请发明的实施方式中的计算机，不限于个人电脑，也包含信息处理设备中包括的运算处理装置、微型电脑等，统称为通过程序能够实现本发明的实施方式中的功能的设备、装置。
对本发明的若干实施方式进行了说明，但这些实施方式是作为例子而进行提示的记载，并不意图要对发明的范围进行限定。这些新颖的实施方式，能够通过其他各种各样的方式来实施，在不脱离发明的要旨的范围内，能够进行各种的省略、置换、改变。这些实施方式及其变形，包含在发明的范围及要旨内，并且包含在权利要求书所记载的发明及与其等同的范围内。