运动图像解码装置及运动图像解码方法与流程

本发明涉及对被编码后的码串进行解码的运动图像解码装置及运动图像解码方法。

背景技术：
近年，伴随多媒体应用的发展，一般将图像、声音以及文本等所有媒体的信息统一地进行处理。另外，由于经数字化的图像具有庞大的数据量，因此为了蓄积以及传输，图像的信息压缩技术不可或缺。另一方面，为了将压缩后的图像数据相互运用，压缩技术的标准化也很重要。例如，作为图像压缩技术的标准规格，有ITU-T(国际电信联盟电信标准化部门)的H.261、H.263、H.264、ISO／IEC(国际标准化机构)的MPEG-1、MPEG-3、MPEG-4、MPEG-4AVC等。另外，当前，基于ITU-T和ISO／IEC的协作的称为HEVC的下一代画面编码方式的标准化活动正在进展。在这样的运动图像的编码中，将编码对象的各图片分割成编码单位块，按每块来削减时间方向以及空间方向的冗余性从而进行信息量的压缩。在以时间性的冗余性的削减为目的的画面间预测编码中，参照前方或后方的图片以块单位来进行运动的检测以及预测图像的创建，并取得所得到的预测图像与编码对象的块的输入图像之间的差分图像。另外，在以空间性的冗余性的削减为目的的画面内预测编码中，根据周边的编码完毕块的像素信息来进行预测图像的生成，并取得所得到的预测图像与编码对象的块的输入图像之间的差分图像。进而，对所得到的差分图像进行离散余弦变换等正交变换以及量化，使用可变长编码来生成码串，从而压缩信息量。另外，在解码中，对通过所述编码处理而生成的码串进行解析来取得预测信息以及残差系数信息，使用预测信息进行画面间预测解码以及画面内预测解码来生成预测图像，对残差系数信息进行逆量化以及逆正交变换来生成差分图像，并对所得到的预测图像和差分图像进行相加，由此复原最终的输出图像。在H.264(非专利文献1)中，为了制约块单位的处理量的上限，定义了块单位的发生码量的最大值(具体而言为3200比特)。若进行前述的通常的编码处理，则基于输入图像的性质、量化处理的条件而存在会生成超过了所述发生码量的最大值的码串的可能性，因此通过使用称为IPCM的特殊的编码模式而能始终落在最大值内。IPCM与通常的编码模式不同，是不进行基于画面内·画面间预测的差分图像的生成、正交变换·量化，而将输入图像的像素值直接作为比特串记述至码串的模式。若使用该模式，则在例如输入图像的格式为各像素8比特的YUV4：2：0的情况下，由于亮度分量的块为16×16像素，2个色差分量的块分别为8×8像素，因此总共成为384字节，即使在报头中包含必要的信息，也必定能落在所述最大值的3200比特以下。先行技术文献非专利文献ITU-TH.264：AdVancedVideocodingforgenericaudioVisualserVices(03／2010)

技术实现要素：
发明要解决的课题众多运动图像编码·解码装置通过称为LSI的集成电路实现了编码·解码处理。在这样的编码·解码装置中，为使处理高速化，采取了称为流水线的能进行并行动作的构成。具体而言，通过在1个块的处理完成前开始下一个块的处理，从而处理同时进行。图14(a)示出编码中的流水线的例子。对于块1依次应用像素读入、模式判定(是作为画面间预测模式还是作为画面内预测模式的判定)、画面间／内预测、变换／量化、可变长编码的各处理，对于块2也应用同样的处理。此时，块2在块1的像素读入完成的时间点立刻开始处理，从而使处理定时各延迟1步骤的同时并行进行处理。在H.264或HEVC的编码·解码处理中，由于参照过去编码·解码出的块的信息的同时进行处理，因此需要如图中那样块2参照块1所确定的预测信息、像素信息、编码信息等的同时进行处理。然而，关于前述的块单位的发生码量是否落在最大值以下，若不调查可变长编码完成的时间点上的码量则不能判断。故而，在如果判定为超过最大值的情况下，必须在该时间点切换成IPCM来重新生成码串。图14(b)示出发生了向IPCM的切换的情况下的流水线的例子。假设在块1的可变长编码处理中，确定出向IPCM进行切换。然而，此时，块2已经在参照块1进行了通常的编码的情况下的预测信息、像素信息等的同时进行编码处理。故而，必须返回到块1的模式判定，重置到块1以IPCM进行编码的前提来更新所参照的信息，重新进行块2的处理。如此回溯流水线的控制需要非常复杂的处理控制。另外，若在对象图片内IPCM发生多次从而回溯的次数增加，则成为处理速度延迟的原因，因此将不能在要求时间内完成对象图片的编码处理。本发明为了解决上述课题，其目的在于，提供在运动图像编码装置构成为使块单位的发生码量落在特定的最大值以下、且具有流水线构造的情况下，能对由这样的运动图像编码装置编码出的码串进行解码的运动图像解码装置以及运动图像解码方法。用于解决课题的手段本发明的运动图像解码装置是将解码对象码串以块单位进行解码的运动图像解码装置，运动图像解码装置具备：受理部，其将(1)包括基于所编码的残差系数的信息以及与所述信息建立了对应的报头信息在内的第1解码对象码串、或(2)包括对解码对象码串的编码处理过程中所得到的图像即进行了可变长编码后的差分图像以及与所述差分图像建立了对应的报头信息在内的第2解码对象码串，作为解码对象码串进行受理；报头解析部，其从报头信息中至少取得在生成了解码对象码串时所利用的预测图像相关的信息即预测信息；系数码串解析部，其在受理了第1解码对象码串的情况下，对第1解码对象码串进行可变长解码并输出残差系数，另一方面，在受理了第2解码对象码串的情况下，对第2解码对象码串进行可变长解码并输出差分图像；预测残差解码部，其在系数码串解析部输出残差系数的情况下，对所输出的残差系数进行逆量化以及逆正交变换，生成残差解码图像；预测图像生成部，其基于由报头解析部取得的预测信息，来生成与解码对象码串对应的预测图像；以及加法器，其(1)在由受理部受理的解码对象码串是第1解码对象码串的情况下，通过对由预测残差解码部生成的残差解码图像与由预测图像生成部生成的预测图像进行相加来生成重构图像并进行输出，(2)在由受理部受理的解码对象码串是第2解码对象码串的情况下，通过对系数码串解析部所输出的差分图像与由预测图像生成部生成的预测图像进行相加，来生成重构图像并进行输出。此外，本发明还能作为程序或集成电路来实现与这样的运动图像解码装置中所含的各单元等同的处理。发明效果根据本发明的运动图像解码装置，对于由运动图像编码装置根据是否为PCM模式等而进行了编码后的第1解码对象码串以及第2解码对象码串，能进行与之相适合的解码处理。故而，能构成为在能使运动图像编码装置以PCM模式进行编码的同时抑制回溯流水线，且使块单位的发生码量落在特定的最大值以下。附图说明图1是表示实施方式1所涉及的运动图像编码装置的构成的框图。图2是实施方式1所涉及的码串生成处理的流程图。图3是用于说明通过实施方式1而生成的码串的语法的一例的概念图。图4是用于说明通过实施方式1而生成的码串的语法的另一例的概念图。图5是用于说明通过实施方式1而生成的码串的语法的又一例的概念图。图6是用于说明实施方式1所涉及的运动图像编码装置的流水线控制的概念图。图7是表示实施方式2所涉及的运动图像编码装置的构成的框图。图8是实施方式2所涉及的码串生成处理的流程图。图9是用于说明实施方式2所涉及的运动图像编码装置的流水线控制的概念图。图10是表示实施方式3所涉及的运动图像编码装置的构成的框图。图11是实施方式3所涉及的码串生成处理的流程图。图12是表示实施方式4所涉及的运动图像解码装置的构成的框图。图13是实施方式4所涉及的码串解析处理的流程图。图14是用于说明现有的运动图像编码装置的流水线控制的概念图。具体实施方式(实施方式1)参照附图来说明本实施方式1所涉及的运动图像编码装置。1.运动图像编码装置的构成图1是表示本实施方式所涉及的运动图像编码装置100的构成的框图。运动图像编码装置100将以图片单位所输入的运动图像分割成块，并以块单位进行编码处理来生成码串。该运动图像编码装置100具备：图片存储器101、预测残差编码部102、预测残差解码部103、本地缓冲器104、预测编码部105、量化值决定部106、报头码串生成部107、以及系数码串生成部108。图片存储器101按照进行编码的顺序进行图片的重排来蓄积按照进行显示的顺序以图片单位所输入的输入图像信号151。接下来，图片存储器101在受理到来自差分运算部109或预测编码部105的读出命令时分别输出该读出命令所涉及的输入图像信号。此时，各图片被分割成称为编码单元(以下，称为CU)的由多个像素构成的编码单位。该CU是例如水平64×垂直64像素的块、水平32×垂直32像素的块、水平16×垂直16像素的块等。此外，在本实施方式中的运动图像编码装置100中，以CU单位进行以后的处理。预测残差编码部102对从差分运算部109输出的差分图像信号152进行正交变换。进而，预测残差编码部102通过对所得到的各频率分量的正交变换系数进行量化来进行图像信息的压缩，生成残差编码信号153。预测残差编码部102将所生成的残差编码信号153输出至预测残差解码部103以及系数码串生成部108。此时，预测残差编码部102使用在量化值决定部106中所决定的量化值信号158，对正交变换系数进行量化。预测残差解码部103通过对从预测残差编码部102输出的残差编码信号153进行逆量化以及逆正交变换来生成残差解码信号154。然后，将所生成的残差解码信号154输出至加法运算部110。本地缓冲器104存放从加法运算部110输出的重构图像信号155。该重构图像信号155用于从成为当前编码对象的图片起以后的图片的编码中的预测编码处理。也就是，重构图像信号155在对从成为当前编码对象的图片起以后的图片进行编码时，作为像素数据被参照。本地缓冲器104按照来自预测编码部105的读出命令，将所存放的重构图像信号155作为像素数据输出至预测编码部105。预测编码部105以从图片存储器101输出的输入图像信号为基础，使用画面内预测或画面间预测来生成预测图像信号156。然后，预测编码部105将所生成的预测图像信号156输出至差分运算部109以及加法运算部110。此外，预测编码部105在使用画面间预测时，使用本地缓冲器104中所蓄积的已编码完成的过去的图片的重构图像信号155。另外，预测编码部105在使用画面内预测时，使用与编码对象CU相邻的已编码完成的CU的当前的图片的重构图像信号155。关于是使用画面内预测还是使用画面间预测的模式判定方法，对哪一种预测方法能进一步减少残差信号的信息量进行预测来执行。量化值决定部106基于图片存储器101中所存放的图片，设定在预测残差编码部102中对差分图像信号152进行量化时的量化值。量化值决定部106将已设定的量化值输出至预测残差编码部102以及报头码串生成部107。此外，作为量化值决定部106中的量化值的设定方法，可以设定量化值以使码串信号159的比特速率接近于作为目标的比特速率，即利用基于所谓的速率控制的量化值的设定方法。报头码串生成部107通过对预测编码部105所输出的预测信息信号157、量化值决定部106所输出的量化值信号158、和与其他的编码控制相关的控制信息进行可变长编码，来生成码串。此外，预测信息信号157中所含的预测信息包括：例如表示画面内预测模式的信息、表示画面间预测模式的信息、表示运动矢量的信息、以及表示参照图片的信息等。另外，控制信息是在系数码串生成部108中的处理前能取得的信息，即表示在CU编码时所应用的编码条件的信息。例如包含块编码类型、块分割信息等。系数码串生成部108通过将对预测残差编码部102所输出的残差编码信号153进行可变长编码而生成的码串、或者不对从预测残差解码部103输出的残差解码信号154进行可变长编码而生成的码串，接着报头码串生成部107所生成的码串来进行追记，从而生成最终的码串信号159。此外，在此所谓的可变长编码包含算术编码。以下也同样。也就是，系数码串生成部108按照所输入的信号来切换执行2个模式。第1模式是根据对预测残差编码部102所输出的残差编码信号153进行可变长编码而得到的码串和报头码串生成部107所输出的码串来生成码串信号159并进行输出的模式。第2模式是根据预测残差解码部103所输出的残差解码信号154和报头码串生成部107所输出的码串来生成码串信号159并进行输出的模式。在使用该第2模式输出码串信号159的情况下，不对残差解码信号154进行可变长编码，而将残差解码信号154直接作为码串处理。差分运算部109生成从图片存储器101读出的图像信号、与作为预测编码部105的输出的预测图像信号156之间的差分值即差分图像信号152，并输出至预测残差编码部102。加法运算部110通过对从预测残差解码部103输出的残差解码信号154与从预测编码部105输出的预测图像信号156进行相加来生成重构图像信号155，并输出至本地缓冲器104以及预测编码部105。2.码串信号的生成方法关于在报头码串生成部107以及系数码串生成部108中生成码串信号的方法，使用图2的流程图来具体说明。首先，报头码串生成部107通过对进行了前述的编码处理而作为结果生成的预测信息信号157、量化值信号158、其他的编码控制信息进行可变长编码，来生成报头信息的码串(S401)。接下来，系数码串生成部108使用所输入的残差编码信号153，来判定是否存在编码对象CU的发生码量超过规定值的可能性(S402)。在步骤S402中判断为不存在超过的可能性的情况下，对表示以Residual模式(残差模式)编码过系数的标识符进行编码(S403)，接着，与现有的编码同样地通过对所输入的残差编码信号153进行可变长编码(Residual模式)来生成码串(S404)。另一方面，在步骤S402中判断为存在超过的可能性的情况下，对表示以PCM模式编码过系数的标识符进行编码(S405)，接着，通过不对所输入的残差解码信号154进行可变长编码而直接追加至码串(PCM模式)来生成码串(S406)。此外，尽管在步骤S402中，使用所输入的残差编码信号153来判定了是否存在编码对象CU的发生码量超过规定值的可能性，但也可以使用除此以外的方法来判定是否存在发生码量超过规定值的可能性。例如，存在使用码串信号159来判定码量是否超过既定值的方法。在此情况下，由于在进行判定的时间点已经从系数码串生成部108输出了码串，因此在该码串中，取代对残差编码信号153进行可变长编码所得到的码串，而直接置换成所输入的残差解码信号154，来执行处理。另外，也可以取代以CU单位进行判定，而以多个CU单位或者以别的块单位来进行判定。3.语法图3是示出通过本实施方式而生成的码串中的、CU单位的语法：coding_unit()的一例的图。在语法的排头，记述了由报头码串生成部107生成的、对预测模式：pred_mode、预测信息：prediction_unit()、量化值：qp_value等信息进行了可变长编码的码串。接着，记述了图2中说明过的标识符即pcm_flag。该标识符为0表示：通过Residual模式将系数码串记述在了Residual_data()中。另外，标识符为1表示：通过PCM模式将系数码串记述在了pcm_data()中。pcm_data()中所记述的系数码串是如前所述不进行可变长编码的残差解码信号154。图4是示出通过本实施方式而生成的码串的CU单位的语法：coding_unit()的另一例的图。与图3中说明过的语法不同之处仅在于，取代pcm_flag而使用cbp_yuv_root作为标识符这一点。该标识符用于表示现有的编码中是否在亮度分量以及色差分量的每一个中存在残差编码信号。该标识符从0到7表示：如现有技术所示通过Residual模式将系数码串记述在了Residual_data()中。该标识符为8表示：通过PCM模式将系数码串记述在了pcm_data()中。也就是，将第8个信息追加至现有技术存在的从0到7的信息。由此，能在不导致因新的标识符的追加所致的码量的增加的前提下追加新的功能。图5是示出通过本实施方式而生成的码串的CU单位的语法：coding_unit()的又一例的图。与图3中说明过的语法不同之处仅在于，取代pcm_flag而使用residual_data_flag作为标识符这一点。该标识符用于表示在现有的别的编码中是否在对象块中存在残差编码信号。也就是，该标识符为0表示：如同现有技术那样没有系数信息。另外，标识符为1表示：如同现有技术那样，关于系数信息，通过Residual模式将系数码串记述在了Residual_data()中。进而，标识符为2表示：通过PCM模式将系数码串记述在了pcm_data()中。由此，能共有现有技术中存在的信号作为标识符来使用，能抑制因新的标识符的追加所致的码量的增加。此外，图3、图4、图5中说明过的语法以及标识符的值只是用于说明本实施方式的一例，可以通过分配与在此记载的内容不同的语法或标识符的值来实现同样的功能。此外，图2的步骤S402中的规定值是指，在使所述残差解码信号154直接作为码串进行记述时所需的码量、与对要记述在所述报头码串中的全部的信息进行编码时所需的最大的码量合在一起的码量上相加了裕度量后的码量。例如，在图像的格式为各像素8比特的YUV4：2：0、且编码对象CU的尺寸为32×32像素的情况下，将所述残差解码信号154直接作为码串进行记述时所需的码量成为1536字节。在此情况下，认为规定值是使该码量、对要记述在所述报头码串中的全部的信息进行编码时所需的最大的码量、以及裕度量合在一起的码量。例如认为是13000比特等的值。4.流水线改善效果使用图6来表示本实施方式的运动图像编码装置的流水线的例子。图6(a)是表示图2的步骤S402的判定结果为以Residual模式生成了系数码串的情况下的流水线的控制的图。以与图14(a)中说明过的现有的控制完全相同的流程来进行处理。另一方面，图6(b)是表示图2的步骤S402的判定结果为以PCM模式生成了系数码串的情况下的流水线控制的图。在本实施方式中，在第1模式下，如前所述，对由预测残差编码部102生成的残差编码信号153进行可变长编码来生成系数码串，以将由报头码串生成部107生成的报头信息与系数码串建立了对应的状态来输出系数码串以及所述报头信息。另一方面，在第2模式下，不对由预测残差解码部103生成的残差解码信号154进行可变长编码，而将残差解码信号154直接作为系数码串，以将由报头信息码串生成部107生成的报头信息与系数码串建立了对应的状态来输出系数码串以及报头信息。在此，残差解码信号154基于与残差编码信号153相同的输入图像信号151。另外，在解码装置中，若使用该信号和设置的预测信息来对残差编码信号153进行解码，则得到与残差解码信号154相同的信号。也就是，在解码装置中最终生成的重构图像信号的像素信息不管是在第1模式的情况下还是在第2模式的情况下都相同。故而，即使块1切换至PCM模式，也不需要报头码串中所记述的预测信息的变更、或再次的编码。故而，不会对在参照块1的预测信息或像素信息的同时进行编码处理的块2的处理造成任何影响。由此，能不用回溯流水线而直接仅将系数码串以PCM模式进行编码。此外，在输出残差解码信号154的情况下，在解码装置中不需要该信号的解码。故而，在解码该信号方面不需要预测信息，但该预测信息在块2的解码等中被参照。如此，本实施方式的运动图像编码装置能不回溯流水线而切换成PCM模式来进行编码，因此能不使处理速度延迟或者处理量增加地将块单位的发生码量落在特定的最大值以下。5.总结本实施方式中的运动图像编码装置100是将所输入的运动图像以块单位进行编码的运动图像编码装置100，具备：预测编码部105，其生成与编码对象图像对应的预测图像；差分运算部109，其生成所述编码对象图像与所生成的所述预测图像之间的差分图像信号152；预测残差编码部102，其对所述差分运算部109的输出进行正交变换处理以及量化处理，生成残差编码信号153；预测残差解码部103，其对所述残差编码信号153进行逆量化处理以及逆正交变换处理，生成残差解码信号154；加法运算部110，其通过对由所述预测编码部105生成的预测图像与由所述预测残差解码部103生成的残差解码信号154进行相加，来生成重构图像信号155；报头码串生成部107，其生成至少包括在生成所述预测图像时所利用的预测信息在内的报头信息；以及系数码串生成部108，其在第1模式下，对由所述预测残差编码部102生成的残差编码信号153进行可变长编码来生成系数码串，以将由所述报头信息生成部生成的报头信息与所述系数码串建立了对应的状态来输出所述系数码串以及所述报头信息，另一方面，在第2模式下，不对由所述预测残差解码部103生成的残差解码信号154进行可变长编码而将所述残差解码信号154直接作为系数码串，以将由所述报头信息生成部生成的报头信息与所述系数码串建立了对应的状态来输出所述系数码串以及所述报头信息。另外，优选地，所述系数码串生成部108以将标识符与所述系数码串以及所述报头信息建立了对应的状态来输出所述系数码串、所述报头信息以及所述标识符，所述标识符表示在对所述系数码串进行解码时是否进行逆量化以及逆正交变换。另外，优选地，所述标识符是在所述第1模式下的系数码串以及所述第2模式下的系数码串中被公共使用的标识符，该标识符信息当中的一个表示作为所述第1模式下的系数码串进行了编码，另外一个表示作为所述第2模式下的系数码串进行了编码、且表示是否存在已编码的残差编码信号153。(实施方式2)参照附图来说明实施方式2所涉及的运动图像编码装置。1.运动图像编码装置的构成图7是本实施方式所涉及的运动图像编码装置100－1的框图。运动图像编码装置100－1将以图片单位所输入的运动图像分割成块，并以块单位进行编码处理来生成码串。该运动图像编码装置100－1取代实施方式1的运动图像编码装置100的系数码串生成部108而具备系数码串生成部108－1。以下，为了说明方便，针对与实施方式1同样的构成，省略其详细的说明。进而，在图7中，针对与图1具有同样功能的块赋予相同的编号。系数码串生成部108－1具有第1模式，在第1模式下，通过将对预测残差编码部102所输出的残差编码信号153进行可变长编码而得到的码串，接着报头码串生成部107所生成的码串进行追记，从而生成最终的码串信号159－1。进而，系数码串生成部108－1还具有第2模式，在第2模式下，通过将未对从差分运算部109输出的差分图像信号152进行可变长编码而得到的码串接着报头码串生成部107所生成的码串进行追记，从而生成最终的码串信号159－1。此外，上述第2模式也可以是通过将对从差分运算部109输出的差分图像信号152进行可变长编码而得到的码串接着报头码串生成部107所生成的码串进行追记从而生成最终的码串信号159－1的模式。系数码串生成部108－1切换执行上述的第1模式以及第2模式。2.码串的生成方法图8是表示在报头码串生成部107以及系数码串生成部108－1中生成码串信号的方法的流程图。该流程图取代实施方式1的图2的流程图中的步骤S406而进行步骤S406－1的处理。具体而言，在步骤S402中判断为存在编码对象CU的发生码量超过规定值的可能性的情况下，对表示以PCM模式编码过系数的标识符进行编码(S405)。接着，通过不对所输入的差分图像信号152进行可变长编码而直接追加至码串(PCM模式)，从而生成码串(S406－1)。此外，上述也可以设为对差分图像信号152进行可变长编码来进行输出的构成。3.语法本实施方式中的语法以及S405中进行编码的标识符与实施方式1相同。此外，图8的步骤S402中的规定值是指，在使差分图像(差分图像信号152的像素值)直接作为码串进行记述时所需的码量、与对要记述在所述报头码串中的全部的信息进行编码时所需的最大的码量合在一起的码量上相加了裕度量后的码量。例如，在图像的格式为各像素8比特的YUV4：2：0、且编码对象CU的尺寸为32×32像素的情况下，将差分图像信号152的像素值直接作为码串进行记述时所需的码量成为1536字节，在对此相加了对要记述在所述报头码串中的全部的信息进行编码时所需的最大的码量后的码量上相加裕度量，作为所述规定值而考虑13000比特等的值。4.流水线改善效果使用图9来表示本实施方式的运动图像编码装置的流水线的例子。图9(a)是表示图8的步骤S402的判定结果为以Residual模式生成了系数码串的情况下的流水线的控制的图。以与图14(a)中说明过的现有的控制完全相同的流程来进行了处理。另一方面，图9(b)是表示图8的步骤S402的判定结果为以PCM模式生成了系数码串的情况下的流水线的控制的图。在本实施方式中，如前所述，在第1模式下，通过将对预测残差编码部102所输出的残差编码信号153进行可变长编码而得到的码串，接着报头码串生成部107所生成的码串来进行追记，从而生成最终的码串信号159－1。另一方面，在第2模式下，通过将不对从差分运算部109输出的差分图像信号152进行可变长编码而得到的码串，接着报头码串生成部107所生成的码串来进行追记，从而生成最终的码串信号159－1。在此，残差编码信号153基于与差分图像信号152相同的输入图像信号151。故而，即使在块1切换至PCM模式的情况下，也不需要报头码串中所记述的预测信息的变更。但是，在解码装置中使用该信号和设置的预测信息来对残差编码信号153进行了解码的情况下，生成与差分图像信号152不同的信号。故而，在以第1模式进行了编码时、以及以第2模式进行了编码时，在解码装置中最终得到的重构图像信号的像素信息不同。此时，正进行参照块1的像素信息的块2的编码处理。故而，在块2中，也需要置换像素信息来重新进行处理。因此，需要回溯到块1的画面间/内预测的处理。但与图14(b)中说明过的现有的控制进行比较，回溯的处理数变少。如此，本实施方式的运动图像编码装置能将回溯流水线的处理量减少得比现有少。故而，能在抑制处理速度的延迟或者处理量的增加的同时，使块单位的发生码量落在特定的最大值以下。另外，在本实施方式中，对编码处理前的差分图像进行编码。故而，能使在对应的运动图像解码装置中解码出的图像的画质得以提高。5.总结本实施方式中的运动图像编码装置是将所输入的运动图像以块单位进行编码的运动图像编码装置100－1，具备：预测编码部105，其生成与编码对象图像对应的预测图像；差分运算部109，其生成所述编码对象图像与所生成的所述预测图像之间的差分图像信号152；预测残差编码部102，其对所述差分运算部109的输出进行正交变换处理以及量化处理，生成残差编码信号153；预测残差解码部103，其对所述残差编码信号153进行逆量化处理以及逆正交变换处理，生成残差解码信号154；加法运算部110，其通过对由所述预测编码部105生成的预测图像与由所述预测残差解码部103生成的残差解码信号154进行相加，来生成重构图像信号155；报头码串生成部107，其生成至少包括在生成所述预测图像时所利用的预测信息在内的报头信息；以及系数码串生成部108－1，其在第1模式下，对由所述预测残差编码部102生成的残差编码信号153进行可变长编码来生成系数码串，以将由所述报头信息生成部生成的报头信息与所述系数码串建立了对应的状态来输出所述系数码串以及所述报头信息，另一方面，在第2模式下，不对由所述差分运算部109生成的差分图像信号152进行可变长编码而将所述差分图像信号152直接作为系数码串，以将由所述报头信息生成部生成的报头信息与所述系数码串建立了对应的状态来输出所述系数码串以及所述报头信息。另外，本实施方式中的运动图像编码装置是将所输入的运动图像以块单位进行编码的运动图像编码装置100－1，具备：预测编码部105，其生成与编码对象图像对应的预测图像；差分运算部109，其生成所述编码对象图像与所生成的所述预测图像之间的差分图像信号152；预测残差编码部102，其对所述差分运算部109的输出进行正交变换处理以及量化处理，生成残差编码信号153；预测残差解码部103，其对所述残差编码信号153进行逆量化处理以及逆正交变换处理，生成残差解码信号154；加法运算部110，其通过对由所述预测编码部105生成的预测图像与由所述预测残差解码部103生成的残差解码信号154进行相加，来生成重构图像信号155；报头码串生成部107，其生成至少包括在生成所述预测图像时所利用的预测信息在内的报头信息；以及系数码串生成部108－1，其在第1模式下，对由所述预测残差编码部102生成的残差编码信号153进行可变长编码来生成系数码串，以将由所述报头信息生成部生成的报头信息与所述系数码串建立了对应的状态来输出所述系数码串以及所述报头信息，另一方面，在第2模式下，对由所述差分运算部109生成的差分图像信号152进行可变长编码并将所述差分图像信号152直接作为系数码串，以将由所述报头信息生成部生成的报头信息与所述系数码串建立了对应的状态来输出所述系数码串以及所述报头信息。另外，优选地，所述系数码串生成部108－1以将标识符与所述系数码串以及所述报头信息建立了对应的状态来输出所述系数码串、所述报头信息以及所述标识符，所述标识符表示在对所述系数码串进行解码时是否进行逆量化以及逆正交变换。另外，优选地，所述标识符是在所述第1模式下的系数码串以及所述第2模式下的系数码串中被公共使用的标识符，该标识符信息当中的一个表示作为所述第1模式下的系数码串进行了编码，另一个表示作为所述第2模式下的系数码串进行了编码、且表示是否存在已编码的残差编码信号153。(实施方式3)参照附图来说明实施方式3所涉及的运动图像编码装置。1.运动图像编码装置的构成图10是本实施方式所涉及的运动图像编码装置100－2的框图。运动图像编码装置100－2将以图片单位所输入的运动图像分割成块，并以块单位进行编码处理来生成码串。该运动图像编码装置100－2取代实施方式1的运动图像编码装置100的系数码串生成部108而具备系数码串生成部108－2。以下，为了说明方便，针对与实施方式1同样的构成，省略其详细说明。进而，在图10中，针对与图1和图7具有同样功能的块赋予相同的编号。系数码串生成部108－2按照所输入的信号来切换执行2个模式。第1模式是将对预测残差编码部102所输出的残差编码信号153进行可变长编码而得到的码串接着报头码串生成部107所生成的码串来进行追记从而生成最终的码串信号159－2的模式。第2模式是通过将不对使残差解码信号154的各系数为1/N倍(N是自然数)后的码串进行可变长编码而得到的码串接着报头码串生成部107所生成的码串来进行追记从而生成最终的码串信号159－2的模式。2.码串的生成方法图11是表示在报头码串生成部107以及系数码串生成部108－2中生成码串信号的方法的流程图。该流程图仅在取代实施方式1的图2的流程图中的步骤S406而进行步骤S406－2的处理这一点上不同。具体而言，在步骤S402中判断为存在编码对象CU的发生码量超过规定值的可能性的情况下，对表示以PCM模式编码过系数的标识符进行编码(S405)。接着，通过使所输入的残差解码信号154的各系数变为1／N倍且不进行可变长编码而直接追加至码串(PCM模式)，来生成码串(S406－2)。3.语法本实施方式中的语法以及S405中进行编码的标识符与实施方式1相同。4.流水线改善效果本实施方式的运动图像编码装置的流水线的例子与图9几乎相同，以下说明不同点。在图8的步骤S402的判定结果为选择了PCM模式的情况下，虽使残差解码图像为1/N倍，但在解码时需要变为N倍来生成残差解码图像。故而，以±(N－1)的范围发生误差。图9(b)是表示图8的步骤S402的判定结果为以PCM模式生成了系数码串的情况下的流水线控制的图。在块1切换至PCM模式的情况下，不对报头码串中所记述的预测信息进行变更。但残差解码图像却发生变化。故而，正在进行参照块1的像素信息的块2的编码处理。其结果，需要置换像素信息来重新进行处理。故而，回溯到块1的画面间／内预测的处理。但与图14(b)中说明过的现有的控制进行比较，回溯的处理数变少。如此，本实施方式的运动图像编码装置能将回溯流水线的处理量减少得比现有少。故而，能在抑制处理速度的延迟或者处理量的增加的同时，使块单位的发生码量落在特定的最大值以下。另外，在本实施方式中，使残差解码图像为1／N倍。故而，能削减比特量。在将N的值设为了固定的值的情况下，可以不在语法上进行记述。在语法上记载N的值的情况下，可以设置以图片单位设定一个值的字段，并记述该值。5.总结本实施方式中的系数码串生成部108—2在所述第1模式的情况下，对所述残差编码信号153进行可变长编码来生成第1系数码串，在所述第2模式的情况下，将成为了1／N倍(N是自然数)后的所述差分解码图像作为第2系数码串。另外，本实施方式中的系数码串生成部108—2在所述第1模式的情况下，对所述残差编码信号153进行可变长编码来生成第1系数码串，在所述第2模式的情况下，将成为了1／N倍(N是自然数)后的所述差分图像信号152作为第2系数码串。(实施方式4)参照附图来说明实施方式4所涉及的运动图像解码装置。1.运动图像解码装置的构成图12是表示实施方式4所涉及的运动图像解码装置200的构成的框图。运动图像解码装置200对于由实施方式2中说明过的运动图像编码装置生成的码串，以称为编码单元(CU)的块单位进行解码处理，来生成输出图像。该运动图像解码装置200具备：报头码串解析部201、系数码串解析部202、预测残差解码部203、图片存储器204、预测解码部205、以及量化值决定部206。报头码串解析部201通过对所输入的块单位的码串信号251的报头区域实施可变长解码来进行报头信息的解析。报头码串解析部201将通过解析而得到的预测信息信号256输出至预测解码部205。进而，报头码串解析部201将通过解析而得到的量化值信息输出至量化值决定部206。系数码串解析部202进行接着由报头码串解析部201解析出的报头信息被编码后的系数码串的解析。此时，系数码串解析部202在解析结果为系数码串是残差编码信号252的情况下，将该残差编码信号252输出至预测残差解码部203。另一方面，系数码串解析部202在解析结果为系数码串是差分图像信号259的情况下，绕开预测残差解码部203将该差分图像信号259输出至加法器207。也就是，在系数码串是差分图像信号259的情况下，不进行预测残差解码部203所执行的残差解码信号253的生成处理。此外，在对系数码串进行了可变长编码的情况下，系数码串解析部在对系数码串进行了可变长解码后作为残差编码信号252或差分图像信号259进行输出。另一方面，在未进行可变长编码的情况下，系数码串解析部不对系数码串进行可变长解码而作为残差编码信号252或差分图像信号259进行输出。预测残差解码部203通过对从系数码串解析部202输入的残差编码信号252进行逆量化以及逆正交变换来生成残差解码信号253。然后，预测残差解码部203将所生成的残差解码信号253输出至加法运算部207。此时，预测残差解码部203通过使用在量化值决定部206中所决定的量化值信号257来控制逆量化。预测解码部205以从报头码串解析部201输出的预测信息信号256为基础，使用画面内预测或画面间预测来生成预测图像信号254。然后，预测解码部205将所生成的预测图像信号254输出至加法运算部207。此外，预测解码部205在使用画面间预测时，使用图片存储器204中所蓄积的已解码完成的过去的图片的重构图像信号255。另外，预测解码部205在使用画面内预测时，使用与解码对象CU相邻的已解码完成的CU的当前的图片的重构图像信号255。关于是使用画面内预测还是使用画面间预测的判定，遵照所输入的预测信息信号256来进行。在加法运算部207中，通过在从预测残差解码部203输出的残差解码信号253或者从系数码串解析部202输出的差分图像信号259上相加从预测解码部205输出的预测图像信号254，来生成重构图像信号255。所生成的重构图像信号255存放于图片存储器204，最终作为图片单位的输出图像信号258而被输出至显示装置。2.码串的解析方法针对在报头码串解析部201以及系数码串解析部202中进行码串的解析的方法，使用图13的流程图来具体说明。首先，报头码串解析部201通过对所输入的码串的报头区域实施可变长解码来进行报头信息的解析，并将所生成的预测信息信号256、量化值信息、其他的解码控制信息输出至图12的各处理块(S1201)。接下来，系数码串解析部202在步骤S1202中进行标识符的解析，接着在步骤S1203中判定解析出的标识符是表示以PCM模式对系数进行了编码，还是以Residual模式对系数进行了编码。在步骤S1203中判定为以Residual模式对系数进行了编码的情况下，与现有同样地通过对所输入的系数码串实施可变长解码来取得残差编码信号252，并输出至预测残差解码部203(S1204)。另一方面，在步骤S1203中判定为以PCM模式对系数进行了编码的情况下，不对所输入的系数码串实施可变长解码，而直接作为差分图像信号259置换成从预测残差解码部203输出的残差解码信号253，来进行以后的处理(S1205)。此外，尽管在此说明了针对实施方式2中说明过的运动图像编码装置100—1所生成的码串的处理方法，但对于实施方式1中说明过的运动图像编码装置100所生成的码串，也能以完全相同的处理方法来进行解码。此时，尽管步骤S1205中所取得的信息置换成对应的编码装置中的残差解码后的残差解码信号252，但作为解码处理也能不区分地进行处理。另外，对于实施方式3中说明过的运动图像编码装置100—2所生成的码串，将由步骤S1205在系数码串解析部202中使残差解码信号252的各系数成为了N倍后的信号作为残差解码信号252进行输出仅这部分不同，其他的处理能以完全相同的处理方法来进行解码。3.语法在本实施方式中进行解码处理的码串的语法以及S1202中进行解析的标识符与实施方式1相同。4.流水线改善效果通过使用本实施方式的运动图像解码装置，从而与之对应的生成码串的运动图像编码装置能采用实施方式1中说明过的那样的构成，能如图6(b)所示那样不回溯流水线而切换成PCM模式来进行编码。故而，能不使处理速度延迟或者处理量增加地将块单位的发生码量落在特定的最大值以下。另外，同样地，通过使用本实施方式的运动图像解码装置，从而与之对应的生成码串的运动图像编码装置能采用实施方式2或者实施方式3中说明过的那样的构成，能如图9(b)那样将回溯流水线的处理量减少得比现有少。故而，能在抑制处理速度的延迟或者处理量的增加的同时，使块单位的发生码量落在特定的最大值以下，进而能使解码出的图像的画质得以提高。5.总结本实施方式中的运动图像解码装置200是将解码对象码串以块单位进行解码的运动图像解码装置200，具备：报头码串解析部201，其将包括基于所编码的残差系数的信息以及与之建立了对应的报头信息在内的第1解码对象码串、或包括所述解码对象码串的编码处理过程中所得到的残差图像以及与之建立了对应的报头信息在内的第2解码对象码串作为所述解码对象码串进行受理；报头码串解析部201，其从所述报头信息中至少取得在生成所述解码对象码串时所利用的预测图像相关的信息即所述预测信息；系数码串解析部202，其对所述报头码串解析部201所受理的解码对象码串进行可变长解码来输出残差系数；预测残差解码部203，其对所述系数码串解析部202所输出的残差系数进行逆量化以及逆正交变换来生成残差解码图像；预测解码部205，其基于由所述报头码串解析部201取得的所述预测信息，来生成与所述解码对象码串对应的预测图像；以及加法运算部207，其在由所述报头码串解析部201受理的解码对象码串是所述第1解码对象码串的情况下，通过对由所述预测残差解码部203生成的所述残差解码图像与由所述预测解码部205生成的所述预测图像进行相加，来生成重构图像并进行输出，另一方面，在由所述报头码串解析部201受理的解码对象码串是所述第2解码对象码串的情况下，通过对所述第2解码对象码串中所含的残差图像与由所述预测解码部205生成的所述预测图像进行相加，来生成重构图像并进行输出。另外，本实施方式中的运动图像解码装置200是将解码对象码串以块单位进行解码的运动图像解码装置200，具备：报头码串解析部201，其将包括基于所编码的残差系数的信息以及与之建立了对应的报头信息在内的第1解码对象码串、或包括对所述解码对象码串的编码处理过程中所得到的残差系数进行了本地解码后的残差解码图像以及与之建立了对应的报头信息在内的第2解码对象码串作为解码对象码串进行受理；报头码串解析部201，其从所述报头信息中至少取得在生成所述解码对象码串时所利用的预测图像相关的信息即所述预测信息；系数码串解析部202，其对所述报头码串解析部201所受理的解码对象码串进行可变长解码来输出残差系数；预测残差解码部203，其对所述系数码串解析部202所输出的残差系数进行逆量化以及逆正交变换来生成残差解码图像；预测解码部205，其基于由所述报头码串解析部201取得的所述预测信息，来生成与所述解码对象码串对应的预测图像；以及加法运算部207，其在由所述报头码串解析部201受理的解码对象码串是所述第1解码对象码串的情况下，通过对由所述预测残差解码部203生成的所述残差解码图像与由所述预测解码部205生成的所述预测图像进行相加，来生成重构图像并进行输出，另一方面，在由所述报头码串解析部201受理的解码对象码串是所述第2解码对象码串的情况下，通过对所述第2解码对象码串中所含的残差解码图像与由所述预测解码部205生成的所述预测图像进行相加，来生成重构图像并进行输出。另外，优选地，所述解码对象码串包含标识符，所述标识符表示所述解码对象码串的编码处理过程中所得到的残差图像是否包含在所述解码对象码串中，在所述标识符表示在所述解码对象码串中未包含所述解码对象码串的编码处理过程中所得到的残差图像的情况下，所述加法运算部207通过对由所述预测残差解码部203生成的所述残差解码图像与由所述预测解码部205生成的所述预测图像进行相加，来生成重构图像并进行输出，在所述标识符表示在所述解码对象码串中包含所述解码对象码串的编码处理过程中所得到的残差图像的情况下，所述加法运算部207通过对所述第2解码对象码串中所含的残差图像与由所述预测解码部205生成的所述预测图像进行相加，来生成重构图像并进行输出。另外，优选地，所述解码对象码串包含标识符，所述标识符表示对所述解码对象码串的编码处理过程中所得到的残差系数进行了本地解码后的残差解码图像是否包含在所述解码对象码串中，在所述标识符表示在所述解码对象码串中未包含对所述解码对象码串的编码处理过程中所得到的残差系数进行了本地解码后的残差解码图像的情况下，所述加法运算部207通过对由所述预测残差解码部203生成的所述残差解码图像与由所述预测解码部205生成的所述预测图像进行相加，来生成重构图像并进行输出，在所述标识符表示在所述解码对象码串中包含对所述解码对象码串的编码处理过程中所得到的残差系数进行了本地解码后的残差解码图像的情况下，所述加法运算部207通过对所述第2解码对象码串中所含的残差解码图像与由所述预测解码部205生成的所述预测图像进行相加，来生成重构图像并进行输出。另外，优选地，在所述报头码串解析部201受理了所述第2解码对象码串的情况下，所述预测残差解码部203不对所述系数码串进行逆量化以及逆正交变换。(其他的实施方式)通过将具备与上述各实施方式中所示的运动图像编码装置以及运动图像解码装置中所含的各单元等同的功能的程序记录至软盘等记录介质，从而能在独立的计算机系统中简单实施上述实施方式所示的处理。此外，记录介质不限于软盘，还可以是光盘、IC卡、ROM盒等，只要能记录程序即可。另外，可以将与上述实施方式中所示的运动图像编码装置以及运动图像解码装置中所含的各单元等同的功能实现为集成电路即LSI。可以进行单芯片化以包含它们的一部分或全部。LSI根据集成度的不同，有时也称为IC、系统LSI、超LSI、超级LSI。另外，集成电路化的手法不限于LSI，还可以以专用电路或通用处理器来实现。也可以利用在LSI制造后能编程的FPGA(FieldProgrammableGateArray；现场可编程门阵列)、或能重构LSI内部的电路单元的连接或设定的可重构处理器。进而，若因半导体技术的进步或衍变的别的技术而置换为LSI等的集成电路的技术出现，当然也可以使用该技术来进行功能块的集成化。另外，本发明还可以应用于包含上述的运动图像编码装置以及运动图像解码装置在内的、压缩从广播站广播的广播波来进行记录的DVD刻录机、BD刻录机等的广播波记录装置。另外，可以对上述实施方式所涉及的运动图像编码装置以及运动图像解码装置、或其变形例的功能当中的至少一部分进行组合。工业实用性本发明例如作为数码摄像机、数码相机、录像机、便携式电话、以及个人计算机等中的、对构成输入图像的各图片进行编码并作为运动图像编码数据进行输出的运动图像编码装置、或对所述运动图像编码数据进行解码来生成解码图像的运动图像解码装置是有用的。符号说明100、100—1、100—2运动图像编码装置101图片存储器102预测残差编码部103预测残差解码部104本地缓冲器105预测编码部106量化值决定部107报头码串生成部108、108—1、108—2系数码串生成部109差分运算部110加法运算部151输入图像信号152差分图像信号153残差编码信号154残差解码信号155重构图像信号156预测图像信号157预测信息信号158量化值信号159、159—1、159—2码串信号200运动图像解码装置201报头码串解析部202系数码串解析部203预测残差解码部204图片存储器205预测解码部206量化值决定部251码串信号252残差编码信号253残差解码信号254预测图像信号255重构图像信号256预测信息信号257量化值信号258输出图像信号259差分图像信号