编码装置以及编码方法与流程

本申请为专利申请案(申请日2012年6月14日，国际申请号pct/jp2012/003909，于2013年12月13日进入中国国家阶段，中国国家阶段申请号201280029362.2，发明名称为“动态图像编码装置以及动态图像编码方法”)的分案申请。

本发明涉及一种对渐进式动态图像信号以及交错式动态图像信号进行编码的动态图像编码装置以及动态图像编码方法。

背景技术：

近年来，随着多媒体应用的发展，一般的做法是将图像、声音以及文字等各种媒体信息统一处理。另外，数字化的图像具有庞大的数据量。因此，为了进行存储以及传输，图像的信息压缩技术就变得必不可少。

另一方面，为了相互运用被压缩的图像数据，压缩技术的标准化也很重要。例如，作为图像压缩技术的标准规格，存在itu-t(国际电信联盟&电信标准化部门)的h.261、h.263、h.264、iso/iec(国际标准化机构)的mpeg-1、mpeg-2、mpeg-4、mpeg-4avc等规格。另外，目前，由itu-t与iso/iec共同开发的被称为hevc(highefficiencyvideocoding：高效动态图像编码)的新一代的图像编码方式的标准化活动在不断进行。

根据这种动态图像的编码，将编码对象图片分割成编码单位块，按照每一块削减时间方向以及空间方向的冗长性。由此，进行信息量的压缩。根据以削减时间冗长性为目的的画面间预测编码，参照前方或后方的图片，以块单位进行运动的检测以及预测图像的制作，获取所获得的预测图像与编码对象块的差分图像。另外，在以削减空间冗长性为目的的画面内预测编码中，从周边的编码完毕的块的像素信息生成预测图像，获取所获得的预测图像与编码对象块的差分图像。再对所获得的差分图像进行离散余弦变换等的正交变换以及量化，使用可变长编码生成编码串，由此，将信息量压缩。

另外，在解码中，对利用上述编码处理生成的编码串进行分析从而获取预测信息以及残差系数信息。然后，使用预测信息进行画面间预测解码以及画面内预测解码来生成预测图像。之后，对残差系数信息进行逆量化以及逆正交变换从而生成差分图像，通过将所获得的预测图像与差分图像相加来复原最终的输出图像。

此时，作为成为编码以及解码对象的动态图像的形式，具有渐进式与交错式两种形式。

渐进式是同时拍摄一个画面的所有像素作为1帧的形式。交错式是以只拍摄了一个画面的像素当中的偶数列像素的顶场和只拍摄了奇数列像素的底场的两个帧构成1帧的形式。

图20以及图21表示的是在h.264中对渐进式以及交错式的动态图像进行编码的方法。如图20所示，针对渐进式的动态图像，将1帧作为1张图片进行编码。例如，frm3被作为p_frm1编码。另外，此时，对各图片分配指定被称为poc(pictureordercount：图像序列号)的显示顺序的信息。例如，按照显示顺序，p_frm1被显示在frm3的位置，因此，作为poc分配了3。

另一方面，如图21所示，对于交错式的动态图像，存在将1场作为1张图片编码的方法和将两场作为1张图片编码的方法。例如，fldt6与fldb7分别如p_fldt1和p_fldb2所示，作为具有各自的场结构的图片被编码；相比之下，fldt12与fldb13如p_frm7所示，作为具有1帧结构的图片被编码。另外，关于poc，当作为场结构而编码时，一个值被分配给1张图片；当作为帧结构而编码时，两个值被分配给1张图片。例如，由于p_frm7按照显示顺序在fldt12与fldb13的位置被分割显示，因此，作为poc被分配了12与13(非专利文献1)。

另一方面，hevc是只能够对渐进式的动态图像进行编码的编码方式，只定义了如图20所示的将1帧作为1张图片进行编码的方法(非专利文献2)。

现有技术文献

非专利文献1：itu-th.264：advancedvideocodingforgenericaudiovisualservices(03/2010)

非专利文献2：jct-vcwd2：workingdraft2ofhigh-efficiencyvideocoding(03/2011)

发明概要

发明要解决的技术课题

今后，可以预见的是，动态图像的形式的主流会从交错式逐渐转移到渐进式。但是，在现有的动态图像内容中还存在很多以交错式制作的内容，今后也需要有效地利用这些内容。

但是，如上所述，在当前正在进行标准化的hevc技术中，只对渐进式定义了编码方法，还不能对交错式的内容进行编码。

发明概要

本发明就是为了解决上述课题而实现的，其目的是：在使用hevc的动态图像的编码以及解码中，能够容易地实现针对交错式的处理。

解决技术课题的手段

本发明中的动态图像编码装置将所输入的动态图像信号以图片单位进行编码。该动态图像编码装置具有：

动态图像形式信息获取部，其获取表示动态图像信号的动态图像形式是交错式以及渐进式中的哪一种形式的动态图像形式信息；

显示控制信息生成部，其基于动态图像形式信息，生成当将编码后的动态图像信号所表示的动态图像作为动态图像形式信息所表示的动态图像形式的动态图像进行显示时所使用的显示控制信息；

图片设定部，其在动态图像形式信息表示渐进式的情况下，将动态图像信号中的1帧设定为图片并且按照编码顺序进行排序；在动态图像形式信息表示交错式的情况下，将动态图像信号中的1场设定为图片并且按照编码顺序进行排序；

图片数据编码部，其使用不依存于动态图像形式的共同的信号处理方式以及共同的语法结构将在所设定的图片中所包括的像素数据进行编码，由此输出第一编码串；

扩展信息区域编码部，其将显示控制信息进行编码并生成扩展信息区域编码串；以及

第二编码串生成部，其输出将第一编码串以及扩展信息区域编码串建立对应的第二编码串，

显示控制信息由以下两个信息构成，它们分别是：在属于作为编码对象的序列的所有图片的显示处理中共同使用的序列单位显示控制信息；以及在作为编码对象的图片的显示处理中个别使用的图片单位显示控制信息，

扩展信息区域编码部，将扩展信息区域编码串保存在以图片单位生成的扩展信息区域中。

本发明中的动态图像编码方法将所输入的动态图像信号以图片单位进行编码。在该动态图像编码方法中，

获取表示动态图像信号的动态图像形式是交错式以及渐进式当中的哪一种形式的动态图像形式信息；

基于动态图像形式信息，生成当将编码后的动态图像信号所表示的动态图像作为动态图像形式信息所表示的动态图像形式的动态图像进行显示时所使用的显示控制信息；

在动态图像形式信息表示渐进式的情况下，将动态图像信号中所包括的多个帧按照编码顺序进行排序，并且将多个帧分别设定为图片；在动态图像形式信息表示交错式的情况下，将动态图像信号中所包括的多个场按照编码顺序进行排序，并且将多个场分别设定为图片，并按照编码顺序进行排序；

使用不依存于动态图像形式的共同的信号处理方式以及共同的语法结构，将在所设定的图片中所包括的像素数据进行编码，由此输出第一编码串；

将显示控制信息进行编码并生成扩展信息区域编码串；以及

输出将第一编码串以及扩展信息区域编码串建立对应的第二编码串，

显示控制信息由以下两个信息构成，它们分别是：在属于作为编码对象的序列的所有图片的显示处理中共同使用的序列单位显示控制信息；以及在作为编码对象的图片的显示处理中个别使用的图片单位显示控制信息，

各显示控制信息被保存在以图片单位生成的扩展信息区域中。

另外，本发明不仅能够作为这种动态图像编码装置来实现，而且也能够将与这种动态图像编码装置中所包括的各单元同等的处理作为程序或集成电路来实现。

发明的效果

本发明中的动态图像编码装置无论在输入渐进式动态图像的情况下，还是在输入交错式动态图像的情况下，都能够在不增加处理量的情况下通过共同的控制进行图片数据的编码处理。因此，能够容易地进行编码装置的安装。

一般来讲，在动态图像解码装置中，作为不同的阶段来控制以下两个处理，即，解码被编码的编码串并生成解码图像的解码处理以及将所生成的解码图像在对应的显示装置上进行显示的显示处理。例如，采用以硬件构成前者，以软件构成后者的这一方法。由此，在例如电视机与计算机这样的显示方法不同的装置的开发中，进行解码处理的硬件使用通用的硬件，只有进行显示处理的软件按照每个装置进行制作，由此，能够削减开发工时。

根据本发明，只记述了编码处理中不需要的信息(显示控制信息等)的扩展信息区域与记述了解码处理所需要的信息的除此之外的区域被完全分离。由此，在如上所述的用途中，就变得容易对进行解码处理的阶段与进行显示处理的阶段只发送各个阶段所需要的编码串，每一阶段的独立性提高。即，无论是对应渐进式的解码装置、还是对应交错式的解码装置，都能够在进行解码处理的阶段(硬件)使用完全共同的硬件来构成装置。

附图说明

图1是表示实施方式1的动态图像编码装置的构成的框图。

图2是实施方式1的编码处理的流程图。

图3是用于说明实施方式1的将渐进式的输入图像按照编码顺序排序的方法的一个例子的示意图。

图4是用于说明实施方式1的将交错式的输入图像按照编码顺序排序的方法的一个例子的示意图。

图5是用于说明实施方式1的将交错式的输入图像按照编码顺序排序的方法的另外一个例子的示意图。

图6是用于说明通过实施方式所生成的编码串的构成的示意图。

图7是用于说明通过实施方式所生成的序列头的语法的一个例子的示意图。

图8是用于说明通过实施方式所生成的扩展信息的语法的一个例子的示意图。

图9是表示实施方式2的动态图像解码装置的构成的框图。

图10是实施方式2的解码处理的流程图。

图11是用于说明实施方式2的将渐进式的解码图像按照显示顺序排列的方法的一个例子的示意图。

图12是用于说明实施方式2的将交错式的解码图像按照显示顺序排序的方法的一个例子的示意图。

图13是用于说明实施方式2的将交错式的解码图像按照显示顺序排序的方法的另外一个例子的示意图。

图14是表示实施方式3的动态图像编码装置的构成的框图。

图15是实施方式3的编码处理的流程图。

图16是用于说明通过实施方式3生成的编码串的构成的示意图。

图17是用于说明通过实施方式3所生成的扩展信息的语法的一个例子的示意图。

图18是表示实施方式4的动态图像解码装置的构成的框图。

图19是实施方式4的解码处理的流程图。

图20是用于说明以往的渐进式动态图像的编码方法的示意图。

图21是用于说明以往的交错式动态图像的编码方法的示意图。

附图标记的说明：

100、100-1动态图像编码装置

101图片设定部

102动态图像形式指定部

103显示控制信息生成部

104、104-1第二编码串生成部

110、110-1图片数据编码部

111图片存储器

112预测残差编码部

113预测残差解码部

114本地缓冲器

115预测编码部

116量化值决定部

117、117-1第一编码串生成部

118差分运算部

119加法运算部

151输入图像信号

152动态图像形式信号

153显示控制信息信号

154编码串信号

161差分图像信号

162残差编码信号

163残差解码信号

164重构图像信号

165预测图像信号

166预测信息信号

200、200-1动态图像解码装置

201、201-1第二编码串分析部

202显示控制信息分析部

203输出图片设定部

210、210-1图片数据解码部

211、211-1第一编码串分析部

212预测残差解码部

213图片存储器

214预测解码部

215量化值决定部

216加法运算部

251编码串信号

252显示控制信息信号

253显示控制信号

254输出图像信号

261残差编码信号

262残差解码信号

263重构图像信号

264预测图像信号

265预测信息信号

具体实施方式

(本实施方式得以实现的经过)

如本发明要解决的技术课题一栏所说明的那样，在当前正在进行标准化的hevc方式中，只对渐进式定义了编码方法，而不能对交错式的内容进行编码。

为了应对交错式，可以考虑导入与用图21说明的h.264相同的编码控制的方法。

但是，如果导入该方法，则必须区分编码对象图片是像p_frm7一样为帧结构的图片，还是像p_fldt1一样是顶场结构的图片，还是像p_fldb2一样是底场结构的图片，来进行编码以及解码处理。

另外，在hevc方式中，参照过去进行了编码的图片的编码信息，进行编码对象的图片的编码处理。因此，例如，在编码对象是p_frm7并且参照编码信息的图片是p_fldt1与p_fldb2的情况下，必须将场结构的两张图片的编码信息加工成帧结构的一张图片的编码信息进行参照。因此，处理变得非常复杂。

因此，在本实施方式的动态图像编码装置中，在动态图像形式信息表示渐进式的情况下，将动态图像信号中的1帧设定为图片；在动态图像形式信息表示交错式的情况下，将动态图像信号中的1场设定为图片。并且，使用不依存于动态图像形式的共同的信号处理方式以及共同的语法结构将所设定的图片中所包括的像素数据进行编码。

另外，根据本实施方式的动态图像解码装置，使用不依存于动态图像形式的共同的语法分析以及共同的信号处理方式将第一编码串解码，获取图片。并且，在显示控制信息表示渐进式的情况下，将所获取的图片设定为1帧，并按照显示顺序将帧一个一个地输出；在显示控制信息表示交错式的情况下，将所获取的图片设定为1场，并在获取成对的顶场与底场的时刻按照显示顺序输出。

以下，对本实施方式的动态图像编码装置以及动态图像解码装置进行详细说明。

(实施方式1)

(编码处理)

关于实施方式1，参照附图进行说明。

1.动态图像编码装置的构成

图1是本实施方式的动态图像编码装置的框图。

该动态图像编码装置100具有：图片设定部101、动态图像形式指定部102、显示控制信息生成部103、第二编码串生成部104以及图片数据编码部110。另外，图片数据编码部110包括：图片存储器111、预测残差编码部112、预测残差解码部113、本地缓冲器114、预测编码部115、量化值决定部116以及第一编码串生成部117。

图片设定部101根据从动态图像形式指定部102输入的动态图像形式信号152，按照进行编码的顺序进行图片的排序，将按照进行显示的顺序以图片单位输入的输入图像信号151输出到图片数据编码部110。此时，如果图片的动态图像形式是渐进式，则将输入图像信号151的1帧设定为1张图片；如果动态图像形式是交错式，则将输入图像信号151的1场设定为1张图片。

图片数据编码部110将从图片设定部101输入的各图片分割成块，以块单位进行编码处理生成图片数据的编码串。此时，与动态图像形式是渐进式还是交错式无关，以图片单位使用共同的编码处理，其结果是所生成的图片数据的编码串也具有共同的语法。

动态图像形式指定部102基于来自外部的指定或所输入的图像信号的信息，决定编码对象的动态图像是渐进式还是交错式。并且，动态图像形式指定部102将动态图像形式信号152输出给显示控制信息生成部103以及图片设定部101。

显示控制信息生成部103根据从动态图像形式指定部102输入的动态图像形式信号152，生成显示控制信息信号153，并向第二编码串生成部104输出。

在此，显示控制信息信号153是在与该动态图像编码装置100对应的动态图像解码装置中显示该解码图像时所使用的控制信息信号。

第二编码串生成部104将显示控制信息生成部103所输出的显示控制信息信号153、与关于序列单位以及图片单位的编码控制的信息作为标头信息进行编码，生成图片高位层编码串。而且，第二编码串生成部104将所生成的图片高位层编码串与图片数据编码部110所生成的图片数据的编码串建立对应，生成作为最终的输出的编码串信号154。

接下来，对图片数据编码部110的处理进行说明。

图片存储器111将从图片设定部101输出的图片单位的输入图像分割成由多个像素构成的块。块是编码处理单位。以被分割的块为单位，根据来自差分运算部118、预测编码部115以及量化值决定部116的读出命令，将所对应的图像信号分别输出。该块由例如水平64×垂直64像素、水平32×垂直32像素、水平16×垂直16像素构成。即，该块的尺寸只要是能够进行之后的处理的尺寸，就可以是任意的尺寸。

预测残差编码部112对从差分运算部118输出的差分图像信号161进行正交变换。而且，预测残差编码部112将所获得的各频率分量的正交变换系数量化，生成残差编码信号162。并且，预测残差编码部112将所生成的残差编码信号162向预测残差解码部113以及第一编码串生成部117输出。此时，预测残差编码部112使用在量化值决定部116中所决定的量化值，将正交变换系数量化。

预测残差解码部113对从预测残差编码部112输出的残差编码信号162进行逆量化以及逆正交变换，由此，进行差分图像信息的复原。然后，预测残差解码部113将所生成的残差解码信号163输出到加法运算部119。

本地缓冲器114保存从加法运算部119输出的重构图像信号164。该重构图像信号164在成为当前编码对象的图片之后的图片的编码的预测编码处理中作为参照用像素数据来使用。本地缓冲器114根据来自预测编码部115的读出命令，将所保存的重构图像信号164作为像素数据输出给预测编码部115。

预测编码部115基于从图片存储器111输出的图像信号，使用画面内或画面间预测来生成预测图像信号165。然后，预测编码部115将所生成的预测图像信号165输出给差分运算部118以及加法运算部119。另外，当使用画面间预测时，预测编码部115会使用存储在本地缓冲器114中的已经编码完毕的过去的图片的重构图像信号164。另外，当使用画面内预测时，使用与编码对象块相邻的已经编码完毕的块的当前的图片的重构图像信号164。使用画面内预测、还是使用画面间预测的模式判断是通过推定哪一个预测方法能够更加减少残差信号的信息量(残差编码信号162与编码串信号154等的信息量)来进行的。

量化值决定部116基于保存在图片存储器111中的图片，决定利用预测残差编码部112进行差分图像信号161的量化时的量化值。另外，作为量化值决定部116的量化值的决定方法，也可以使用以编码串信号154的比特率接近作为对象的比特率的方式设定量化值的这种基于比率控制的量化值的决定方法。

第一编码串生成部117通过将预测残差编码部112输出的残差编码信号162、预测编码部115输出的预测信息信号166、量化值决定部116输出的量化值以及关于其他的编码控制的信息进行可变长编码，从而生成图片数据的编码串。

差分运算部118生成作为从图片存储器111读出的图像信号与从预测编码部115输出的预测图像信号165的差分值的差分图像信号161。然后，差分运算部118将所生成的差分图像信号161输出给预测残差编码部112。

加法运算部119通过将从预测残差解码部113输出的残差解码信号163与从预测编码部115输出的预测图像信号165相加，从而生成重构图像信号164。然后，加法运算部119将所生成的重构图像信号164输出给本地缓冲器114。

2.显示控制信息的生成方法

使用图2的整个编码处理的流程图，对以下两个方法进行具体说明。其中一个方法是：从动态图像形式指定部102接收到动态图像形式信号152，由显示控制信息生成部103生成显示控制信息信号153，在第二编码串生成部104中记述于编码串中；另一方法是：在图片设定部101中按照编码顺序对输入图像进行排序的方法。

首先，第二编码串生成部104进行以序列为单位的标头区域的编码串生成(s501)。具体而言，第二编码串生成部104将由显示控制信息生成部103生成的序列单位的显示控制信息记述到编码串中的以序列为单位的标头区域中。另外，显示控制信息生成部103根据由动态图像形式指定部102所指定的动态图像形式来生成序列单位的显示控制信息。

接下来，第二编码串生成部104进行以图片为单位的标头区域的编码串生成(s502)。具体而言，第二编码串生成部104将通过显示控制信息生成部103所生成的图片单位的显示控制信息记述在编码串中的以图片为单位的扩展信息区域中。另外，显示控制信息生成部103根据由动态图像形式指定部102所指定的动态图像形式来生成图片单位的显示控制信息。

接下来，图片设定部101将以显示顺序输入的输入图像按照编码顺序排序，选择成为编码对象的图片(s503)。具体而言，图片设定部101根据由动态图像形式指定部102所指定的动态图像形式进行输入图像的排序。

接下来，图片数据编码部110进行使用图1所说明的一系列编码处理，生成图片数据的编码串(s504)。另外，在步骤504中，完全无需区分动态图像形式是渐进式还是交错式，都适用共同的编码处理。

接下来，一旦当前处理中的编码对象图片的处理结束，就返回到步骤502并进入接下来的图片的编码处理，到序列内的所有图片的编码处理结束为止，反复进行步骤s502到步骤s504的处理(s505)。

3.图片的排序

关于步骤s503中的图片的排序处理，使用图3、图4和图5进行详细说明。

作为动态图像形式为渐进式的情况下的图片排序方法的一个例子，存在图3所示的方法。该排序方法与使用图20所说明的以往的渐进式处理完全相同。输入的1帧作为1张图片被排序并编码。通过画面间预测能够只参照按照编码顺序先完成了编码的图片。即，在进行图3所示的排序的情况下，p_1能够只参照i_0，b_2能够参照i_0和p_1。如果能将其按显示顺序置换来考虑，则p_1相当于frm3，因此，变得只能参照位于前方的frm0；b_2相当于frm1，因此，变得能够参照位于前方的frm0与位于后方的frm3。通过像这样进行图片的编码顺序的排序，能够控制画面间预测中的参照图片的参照方法，从而能够进行更有效的预测。另外，i_0是无需参照其他图片只进行画面内预测的图片。

另一方面，作为动态图像形式为交错式的情况下的图片的排序方法的一个例子，存在图4以及图5所示的方法。其与使用图21所说明的以往的交错式处理不同，总是将所输入的1场作为1张图片来排序并编码。另外，作为指定显示顺序的信息的poc也总是被针对1张图片而一个一个地分配。排序后的各图片无需区别是顶场还是底场，以与输入渐进式的情况完全相同的方法按照每个图片进行编码处理。

另外，在图4的例子中，属于1帧的顶场与底场总是成对地进行排序。例如，fldt6与fldb7被作为p2_与p_3而排序，编码顺序就变成总是连续的。其他的图片也完全相同。通过进行这种排序，能够连续地进行输入的顶场与底场的编码处理，能够简化图片设定部101中的存储器管理处理。

相比之下，在图5中，与顶场和底场属于哪一帧毫无关系地进行排序。如果只看编码结构，虽然成为与图3所说明的渐进式的情况完全相同的结构，但是，例如fldt6与fldb7被作为p_4与b_8而排序，编码顺序相隔4个图片。其他的图片也同样地成为从1图片到4图片分隔开的编码顺序。通过进行这种排序，渐进式与交错式能够以完全相同的编码顺序进行处理。但是，需要将所输入的顶场与底场错开最大4图片份进行编码处理，图片设定部101中的存储器管理处理变得复杂。

4.编码串构成以及语法

接下来，使用图6对通过本实施方式生成的编码串的构成进行说明。

第二编码串生成部104输出的编码串信号154所示的编码串由以下部分构成，分别是：记述了序列单位的编码控制信息的上述序列标头区域、记述了图片单位的编码控制信息的图片标头区域、记述了图片单位的辅助信息的扩展信息区域以及图片数据。此时，在图2的步骤s501说明的序列单位的显示控制信息被记述到序列标头区域。而且，在图2的步骤s502说明的图片单位的显示控制信息被记述到扩展信息区域。另外，显示控制信息以外的各信息完全无需区别动态图像形式是渐进式还是交错式，都以共同的语法被记述到编码串中。

在此，使用图7对记述了序列单位的显示控制信息的序列标头区域的语法进行详细说明。另外，在图7中省略关于本实施方式的语法的记载。

序列标头通过存在于seq_parameter_set_data()中的语法结构被编码。作为序列单位的显示控制信息，存在interlace_flag、continual_flag以及max_distance_num三个参数。这些参数被记述在收集了序列标头内的图像信息的vui_parameters()的区域中。

interlace_flag指定对象序列的动态图像形式是渐进式还是交错式。具体而言，如果对象序列的动态图像形式是渐进式，则interlace_flag具有0的值；如果是交错式，则具有1的值。另外，也不局限于上述结构，如果是渐进式，则interlace_flag可以具有1的值；如果是交错式，则可以具有0的值。

在对象序列的动态图像形式是交错式的情况下，continual_flag指定属于相同的帧的顶场与底场是否总是按照编码顺序处于连续的位置关系。具体而言，如果属于相同的帧的顶场与底场不总是按照编码顺序处于连续的位置关系，则continual_flag具有0的值；如果总是处于连续的位置关系，则具有1的值。即，在进行用图4说明的排序的情况下，continual_flag成为1的值；在进行用图5说明的排序的情况下，成为0的值。通过使用该参数可知，在对应的解码装置中是否总是能够将连续的两张图片成对地进行解码以及显示控制。由此，能够容易地进行是否能够解码的判断。另外，也不局限于上述结构，如果属于相同的帧的顶场与底场不总是按照编码顺序处于连续的位置关系，则continual_flag也可以具有1的值；如果总是处于连续的位置关系，则也可以具有0的值。

在continual_flag为0的值的情况下，max_distance_num指定属于相同的帧的顶场与低场按照编码顺序相隔的最大的图片张数。例如，在进行如图5所说明的排序的情况下，p_4与b_8是相隔最远的组合，上述最大张数成为4。通过使用该参数，在与本动态图像编码装置100对应的解码装置中，能够确定在属于相同帧的顶场与底场凑齐之前需要等待的图片张数。由此，能够容易地进行是否可解码的判断以及所需的图片存储容量的确定。

另外，在此说明的参数名以及参数值只是一个例子，也可以使用除此之外的参数名以及参数值来实现同样的功能。另外，也可以不使用在此说明的所有参数，而只使用一部分的参数。另外，虽然在此说明了在vui_parameters()的区域中记述上述各参数的例子，但只要是能够记述序列单位的控制信息的区域，也可以记述在除此之外的区域中。

接下来，使用图8对记述了图片单位的显示控制信息的扩展信息区域的语法进行详细说明。另外，在图8中省略了关于本实施方式的语法以外的记载。

扩展信息区域由多个被称为sei(supplementalenhancementinformation：补充增强信息)的参数组构成。图8的pic_timing_sei()是上述sei之一，具有指定编码对象图片的解码时刻以及显示时刻的作用。作为图片单位的显示控制信息，具有pic_struct与field_pair_poc两个参数。这些参数被记述于pic_timing_sei()的区域中。

pic_struct是指定编码对象图片的显示方式的参数。在作为渐进式中的帧显示的情况下具有0的值；在作为交错式的顶场显示的情况下具有1的值；在作为交错式的底场显示的情况下具有2的值；在以除此之外的方式显示的情况下具有与其相应的值。另外，不局限于上述结构，例如，pic_struct也可以在作为渐进式中的帧显示的情况下具有1的值；在作为交错式的顶场显示的情况下具有0的值；在作为交错式的底场显示的情况下具有2的值；在以除此之外的方式显示的情况下具有与其相应的值。即，如果pic_struct至少是能够识别作为渐进式中的帧显示的情况、作为交错式的顶场显示的情况以及作为交错式的底场显示的情况的信息，则可以是任意的值。

field_pair_poc是：在根据pic_struct指定了编码对象图片作为交错式的顶场或底场显示的情况下，表示属于相同帧的成对的场的poc的信息。例如，在图4中，在编码对象图片是p_2的情况下，成对的图片是p_3，因此，field_pair_poc成为7。另外，同样，在图5中，在编码对象图片是b_8的情况下，成对的图片是p_4，因此，field_pair_poc成为6。通过使用该参数，在对应的解码装置中，能够判断属于相同的帧的顶场与底场是哪个图片，能够进行与交错式对应的显示控制。

另外，field_pair_poc除了直接指定poc值之外，还可以以poc的差分值进行指定。例如，在图4中，在编码对象图片为p_2的情况下，成对的图片是p_3，因此，field_pair_poc成为7-6＝1。另外，同样，在图5中，在编码对象图片是b_8的情况下，成对的图片是p_4，因此，field_pair_poc成为6-7＝-1。通过像这样使用差分值，能够以更少的编码量来指定成对的图片。

另外，在利用图7说明的continual_flag为1的值的情况下，可以保证属于相同的帧的顶场与底场总是按照编码顺序处于连续的位置关系。因此，能够容易地确定成对的图片，所以，可以无需记述field_pair_poc。

另外，作为图片单位的显示控制信息的pic_struct与field_pair_poc也可以只在对象序列的动态图像形式为交错式的情况下记述。在这种情况下，pic_struct只要是能够识别将编码对象图片作为顶场显示的情况和作为底场显示的情况的信息即可。

另外，在此说明的参数名与参数值只是一个例子，使用除此以外的参数名与参数值也可以实现相同的功能。另外，也可以不使用在此说明的所有参数而只使用一部分的参数。另外，在此，虽然对在pic_timing_sei()的区域中记述上述各参数的例子进行了说明，但只要是能够记述图片单位的控制信息的区域，也可以记述在除此以外的区域中。

5.总结

5-1.构成

本实施方式的动态图像编码装置100将所输入的动态图像信号以图片单位进行编码。动态图像编码装置100具有：

动态图像形式指定部102(动态图像形式信息获取部)，其获取对动态图像信号的动态图像形式是交错式以及渐进式中的哪一种形式进行表示的动态图像形式信息；

显示控制信息生成部103，其基于动态图像形式信息，生成当将编码后的动态图像信号所表示的动态图像作为动态图像形式信息所表示的动态图像形式的动态图像来显示时所使用的显示控制信息；

图片设定部101，其在动态图像形式信息表示渐进式的情况下，将动态图像信号中的1帧设定为图片并且按照编码顺序排序；在动态图像形式信息表示交错式的情况下，将动态图像信号中的1场设定为图片并且按照编码顺序排序；

图片数据编码部110，其通过使用不依存于动态图像形式的共同的信号处理方式以及共同的语法结构，将在所设定的图片中包括的像素数据按照每个作为编码处理单位的块进行编码，从而生成块层编码串，再通过使用不依存于动态图像形式的共同的信号处理方式以及共同的语法结构，将当编码像素数据时以片单位使用的编码控制信息进行编码，从而生成片层编码串，并输出将块层编码串与片层编码串建立对应的第一编码串；

第二编码串生成部104(图片高位层编码部)，其将在编码像素数据时以图片单位使用的编码控制信息、以序列单位使用的编码控制信息以及显示控制信息进行编码，并生成图片高位层编码串；以及

第二编码串生成部104，其输出将第一编码串以及图片高位层编码串建立对应的第二编码串。

另外，优选的是，显示控制信息生成部103生成显示控制信息，该显示控制信息由在属于作为编码对象的序列的所有图片的显示处理中共同使用的序列单位显示控制信息以及在作为编码对象的图片的显示处理中个别使用的图片单位显示控制信息构成。

另外，优选的是，第二编码串生成部104(图片高位层编码部)针对在图片高位层编码串中以序列单位生成的序列标头所包括的图像信息区域，保存序列单位显示控制信息。

另外，优选的是，第二编码串生成部104(图片高位层编码部)针对图片高位层编码串中属于相同序列的各图片的各扩展信息区域，保存所有相同值的序列单位显示控制信息。

另外，优选的是，第二编码串生成部104(图片高位层编码部)针对图片高位层编码串中以图片单位生成的扩展信息区域，保存图片单位显示控制信息。

另外，优选的是，显示控制信息生成部103生成包括用于识别编码对象的动态图像信号是渐进式还是交错式的第一识别码的序列单位显示控制信息。

另外，优选的是，显示控制信息生成部103在编码对象的动态图像信号是交错式的情况下，生成包括用于识别属于同一帧的两个场是否在该序列中总是按照编码顺序相互连接的第二识别码的序列单位显示控制信息。

另外，优选的是，显示控制信息生成部103在编码对象的动态图像信号是交错式的情况下，生成包括对属于同一帧的第一个场与第二个场的编码顺序中的间隔的该序列的最大值进行表示的信息的序列单位显示控制信息。

另外，优选的是，在作为编码对象的图片的显示处理中，显示控制信息生成部103生成包括第三识别码的图片单位显示控制信息，该第三识别码指定：(1)是否作为属于渐进式的动态图像信号的1帧进行显示；(2)是否作为属于交错式的动态图像信号的顶场显示；(3)是否作为属于交错式的动态图像信号的底场显示；以及(4)是否以其他的方式显示。

另外，优选的是，只在编码对象的动态图像信号是交错式的情况下，显示控制信息生成部103在作为编码对象的图片的显示处理中，生成包括第三识别码的图片单位显示控制信息，该第三识别码指定：(1)是否作为属于交错式的动态图像信号的顶场来显示；以及(2)是否作为属于交错式的动态图像信号的底场来显示。

另外，优选的是，在当将编码对象图片进行解码并显示时，作为属于交错式的动态图像信号的顶场或底场进行显示的情况下，显示控制信息生成部103生成包括指定属于与编码对象图片相同的帧的成对的图片的指定信息的图片单位显示控制信息。

另外，优选的是，显示控制信息生成部103记述被分配给与编码对象图片属于相同的帧的成对的图片的显示顺序信息作为指定信息。

另外，优选的是，显示控制信息生成部103记述被分配给编码对象图片的显示顺序信息和被分配给与编码对象图片属于相同的帧的成对的图片的显示顺序信息的差分值作为指定信息。

本实施方式的动态图像编码方法将所输入的动态图像信号以图片单位进行编码。在该动态图像编码方法中，

获取对动态图像信号的动态图像形式是交错式以及渐进式中的哪一种形式进行表示的动态图像形式信息；

基于动态图像形式信息，生成当将编码后的动态图像信号作为动态图像形式信息所表示的动态图像形式的动态图像信号显示时所使用的显示控制信息；

在动态图像形式信息表示渐进式的情况下，将动态图像信号中的1帧作为图片按照编码顺序进行排序并设定；另一方面，在动态图像形式信息表示交错式的情况下，将动态图像信号中的1场作为图片按照编码顺序进行排序并设定；

通过使用不依存于动态图像形式的共同的信号处理方式以及共同的语法结构，将在所设定的图片中包括的像素数据按照每个作为编码处理单位的块进行编码，从而生成块层编码串，再通过使用不依存于动态图像形式的共同的信号处理方式以及共同的语法结构，将当编码像素数据时以片单位使用的编码控制信息进行编码，从而生成片层编码串，并输出将块层编码串与片层编码串建立对应的第一编码串；

将当编码像素数据时以图片单位使用的编码控制信息、以序列单位使用的编码控制信息以及显示控制信息进行编码，生成图片高位层编码串；以及

输出将第一编码串以及图片高位层编码串建立对应的第二编码串。

5-2.效果等

通过使用根据本实施方式的动态图像编码装置100，无论是在输入渐进式的动态图像的情况下，还是在输入交错式的动态图像的情况下，都能够不增加处理量地通过共同的控制进行图片数据的编码处理，并且，能够很容易地进行编码装置的安装。

(实施方式2)

(解码处理)

参照附图对实施方式2进行说明。

1.动态图像解码装置的构成

图9是本实施方式的动态图像解码装置的框图。

该动态图像解码装置200具有：第二编码串分析部201、显示控制信息分析部202、图片数据解码部210以及输出图片设定部203。另外，图片数据解码部210包括：第一编码串分析部211、预测残差解码部212、图片存储器213、预测解码部214以及量化值决定部215。

第二编码串分析部201从被输入的编码串信号251中所包括的标头信息的编码串中提取显示控制信息以及与序列单位和图片单位的解码控制相关的信息。然后，第二编码串分析部201将所提取的信息作为显示控制信息信号252输出给显示控制信息分析部202。

图片数据解码部210针对所输入的编码串信号251中所包括的图片数据的编码串，以块单位进行解码处理并生成对象图片的解码图像。此时，与动态图像形式是渐进式还是交错式无关，作为图片，使用共同的解码处理，另外，成为解码对象的图片数据的编码串也具有共同的语法。

显示控制信息分析部202对从第二编码串分析部201输出的显示控制信息信号252进行分析，决定解码对象的动态图像是渐进式还是交错式。并且，显示控制信息分析部202将基于决定结果的显示控制信号253输出到输出图片设定部203。

输出图片设定部203按照从显示控制信息分析部202输出的显示控制信号253，将图片数据解码部210所生成的解码完毕的图片以进行输出的顺序进行排序。然后，输出图片设定部203将排序后的图片作为输出图像信号254向外部输出。输出图像信号254是渐进式与交错式两者，在渐进式的情况下，将1张图片作为1帧进行显示控制；在交错式的情况下，将1张图片作为1场进行显示控制。

接下来，对图片数据解码部210的处理进行说明。

第一编码串分析部211对所输入的编码串信号251的图片数据的编码串实施可变长解码，由此，进行解码控制信息的分析以及块单位的图片数据分析。第一编码串分析部211将分析获得的残差编码信号261输出给预测残差解码部212。然后，第一编码串分析部211将分析获得的预测信息信号265输出给预测解码部214。然后，第一编码串分析部211将分析获得的量化值信息输出给量化值决定部215。

预测残差解码部212针对从第一编码串分析部211输出的残差编码信号261进行逆量化以及逆正交变换，从而生成残差解码信号262，并向加法运算部216输出。此时，预测残差解码部212使用在量化值决定部215中所决定的量化值，对残差编码信号261进行逆量化。

图片存储器213保存从加法运算部216输出的重构图像信号263。该重构图像信号263在成为当前解码对象的图片之后的图片的解码的预测解码处理中作为参照用的像素数据来使用。图片存储器213按照来自预测解码部214的读出命令，将保存的重构图像信号263作为像素数据而输出给预测解码部214。另外，同时，该重构图像信号263也被作为最终的输出图像而输出给输出图片设定部203。

预测解码部214基于从第一编码串211输出的预测信息信号265，使用画面内预测或画面间预测来生成预测图像信号264，并向加法运算部216输出。另外，当使用画面间预测时，预测解码部214使用存储在图片存储器213中的已经解码完毕的过去的图片的重构图像信号263。另外，当使用画面内预测时，使用与解码对象块相邻的已经解码完毕的块的当前图片的重构图像信号263。使用画面内预测还是使用画面间预测的判断是根据所输入的预测信息信号265进行的。

加法运算部216通过将从预测残差解码部212输出的残差解码信号262与从预测解码部214输出的预测图像信号264相加，从而生成重构图像信号263，并向图片存储器213输出。

2.显示控制方法

关于利用显示控制信息分析部202分析显示控制信息，在输出图片设定部203将已经解码完毕的图片按照输出顺序进行排序作为输出图像的方法，使用图10的整个解码处理的流程图进行具体说明。

首先，第二编码串分析部201进行序列单位的标头区域的编码串分析(s1401)。此时，显示控制信息分析部202获取序列单位的显示控制信息。

接下来，第二编码串分析部201进行图片单位的标头区域的编码串分析(s1402)。此时，显示控制信息分析部202获取图片单位的显示控制信息。

接下来，图片数据解码部210进行使用图9所说明的一系列的解码处理，并生成对象图片的解码图像(s1403)。另外，在步骤s1403中，无论动态图像形式是渐进式还是交错式，都完全不用区别地进行共同的解码处理。

接下来，输出图片设定部203将按照解码顺序存储的解码图像按照显示顺序进行排序，进行选择作为显示对象的图片的处理(s1404)。此时，输出图片设定部203按照通过显示控制信息分析部202分析的显示方法进行图片的排序。

接下来，一旦当前处理中的解码对象图片的处理完成，就返回到步骤s1402并转移到图片的解码处理，在序列内的所有图片的解码处理完成之前，反复进行从步骤s1402到步骤s1404的处理(s1405)。

3.图片的排序

关于步骤s1404中的图片的排序处理，使用图11、图12以及图13进行详细说明。

作为动态图像形式是渐进式的情况下的图片排序方法的一个例子，具有图11所示的方法。该排序是与使用图3所说明的编码装置中的渐进式的排序处理相反的处理，其将解码的一张图片作为一帧进行排序并显示。

另一方面，作为动态图像形式是交错式的情况下的图片的排序方法的一个例子，具有图12以及图13所示的方法。该排序是与使用图4以及图5所说明的编码装置中的交错式的排序处理相反的处理，被解码的一张图片总是被作为1场进行排序并显示。

另外，在图12中，属于一帧的顶场与底场总是以成对的方式被排序。例如，p_2与p_3被作为fldt6与fldb7进行排序，显示顺序总是成为连续的。其他的图片也完全相同。通过进行这种排序，能够将被解码的顶场与底场连续地进行显示处理，能够简化输出图片设定部203中的存储器管理处理。

相比之下，在图13中，与顶场和底场属于哪个帧毫无关系地进行排序。如果只看编码结构的话，虽然成为与在图11中所说明的渐进式的情况完全相同的结构，但是，例如，p_4与b_8被作为fldt6与fldb7进行排序，必须将解码顺序相隔4图片份的2场以成对的方式进行排序。关于其他的图片，也同样按照解码顺序将相隔1图片到4图片份的2场以成对的方式进行排序。通过进行这种排序，渐进式与交错式能够按照完全相同的解码顺序进行处理。但是，需要使被解码的顶场与底场错开最大4图片份并且两者都凑齐之后进行显示处理，输出图片设定部203中的存储器管理处理变得复杂。

另外，图片存储器213通过为了限制存储器容量而将所存储的图片中不需要的图片从存储器删除，从而进行确保用于接下来存储的图片的区域的处理。此时，满足(1)在预测编码处理中不会再作为参照用的像素数据来使用的图片、(2)已经进行了显示处理的图片这两个条件的图片能够删除。即，在动态图像形式是交错式的情况下，在属于1帧的顶场与底场的两张图片的解码处理完成，在两张图片的显示处理完成之后，能够从图片存储器213中删除。

4.编码串构成以及语法

在本实施方式作为解码对象的编码串的构成以及语法与在实施方式1使用图6到图8所说明的内容完全相同，因此，在此省略其说明。

5.总结

5-1.构成

本实施方式的动态图像解码装置200针对将具有交错式或渐进式的动态图像形式的动态图像信号以图片单位编码所获得的编码串以图片单位进行解码。该动态图像解码装置200具有：

第二编码串分析部201，其分析编码串并获取图片高位层编码串以及第一编码串；

第二编码串分析部201(图片高位层解码部)，其从图片高位层编码串获取当编码动态图像信号时使用的编码控制信息以及当显示被解码的图片时使用的显示控制信息；

图片数据解码部210，其使用不依存于动态图像形式的共同的语法分析与共同的信号处理方式、以及编码控制信息中与动态图像形式无关地在编码时共同使用的信息，将第一编码串按照作为解码处理单位的每个块进行解码，获取图片；以及

输出图片设定部203，其在显示控制信息表示渐进式的情况下，将所获取的图片设定为1帧，并将帧按照显示顺序一个一个地输出，另一方面，在显示控制信息表示交错式的情况下，将所获取的图片设定为1场，并且当获取成对的顶场与底场时按照显示顺序输出。

另外，优选的是，第二编码串分析部201(图片高位层解码部)由在属于作为解码对象的序列的所有图片的显示处理中共同使用的序列单位显示控制信息、以及在作为解码对象的图片的显示处理中个别使用的图片单位显示控制信息构成。

另外，优选的是，第二编码串分析部201(图片高位层解码部)从图片高位层编码串中以序列单位分析的序列标头中所包括的图像信息区域获取序列单位显示控制信息。

另外，优选的是，在属于相同序列的各图片单位的各扩展信息区域中保存所有相同值的序列单位显示控制信息。

另外，优选的是，第二编码串分析部201(图片高位层解码部)从图片高位层编码串中以图片单位分析的扩展信息区域获取图片单位显示控制信息。

另外，优选的是，第二编码串分析部201(图片高位层解码部)获取包括用于识别解码对象的动态图像信号是渐进式还是交错式的第一识别码的序列单位显示控制信息，输出图片设定部203基于所获取的第一识别码来变更图片的输出方法。

另外，优选的是，第二编码串分析部201(图片高位层解码部)在解码对象的动态图像信号是交错式的情况下，获取包括用于识别属于同一帧的两个场在该序列中是否总是以解码顺序彼此连续的第二识别码的序列单位显示控制信息，输出图片设定部203基于所获取的第二识别码来变更图片的输出方法。

另外，优选的是，第二编码串分析部201(图片高位层解码部)在解码对象的动态图像信号是交错式的情况下，获取包括用于表示属于同一帧的第一场与第二场的解码顺序的间隔的该序列中的最大值的信息的序列单位显示控制信息，输出图片设定部203基于所获取的表示最大值的信息来变更图片的输出方法。

另外，优选的是，第二编码串分析部201(图片高位层解码部)获取包括第三识别码的图片单位显示控制信息，该第三识别码指定：在作为解码对象的图片的显示处理中(1)是否作为属于渐进式的动态图像信号的1帧进行显示；(2)是否作为属于交错式的动态图像信号的顶场进行显示；(3)是否作为属于交错式的动态图像信号的底场进行显示；以及(4)是否以其他的方式进行显示，输出图片设定部203基于所获取的第三识别码来变更图片的输出方法。

另外，优选的是，第二编码串分析部201(图片高位层解码部)只在解码对象的动态图像信号是交错式的情况下，获取包括第三识别码的图片单位显示控制信息，该第三识别码指定：在作为解码对象的图片的显示处理中，(1)是否作为属于交错式动态图像信号的顶场进行显示；(2)是否作为属于交错式动态图像信号的底场进行显示，输出图片设定部203基于所获取的第三识别码来变更图片的输出方法。

另外，优选的是，第二编码串分析部201(图片高位层解码部)当表示解码对象图片时，在作为属于交错式的动态图像信号的顶场或底场进行显示的情况下，获取包括指定与解码对象图片属于相同帧的成对的图片的指定信号的图片单位显示控制信息，输出图片设定部203当将解码对象图片输出时，以与指定信息所指定的图片成对的方式输出。

另外，优选的是，第二编码串分析部201(图片高位层解码部)获取被分配给与解码对象图片属于同一帧的成对的图片的显示顺序信息作为指定信息。

另外，优选的是，第二编码串分析部201(图片高位层解码部)获取被分配给解码对象图片的显示顺序信息、与被分配给与解码对象图片属于同一帧的成对的图片的显示顺序信息的差分值作为指定信息。

本实施方式的动态图像解码方法将以图片单位对具有交错式或渐进式的动态图像形式的动态图像信号进行编码所获取的编码串以图片单位进行解码。在该动态图像解码方法中，

分析编码串，获取图片高位层编码串以及第一编码串；

从图片高位层编码串获取当编码动态图像信号时所使用的编码控制信息以及显示解码后的图片时所使用的显示控制信息；

使用不依存于动态图像形式的共同的语法分析与共同的信号处理方式、以及编码控制信息中与动态图像形式无关地编码时共同使用的信息，按照作为解码处理单位的每个块，对第一编码串进行解码，获取图片；

在显示控制信息表示渐进式的情况下，将所获取的图片设定为1帧，并按照显示顺序将帧一个一个地输出，另一方面，在显示控制信息表示交错式的情况下，将获取的图片设定为1场，并在获取了成对的顶场与底场的时刻按照显示顺序输出。

5-2.效果等

通过使用根据本实施方式的动态图像解码装置200，无论是对将渐进式的动态图像编码的编码串，还是对将交错式的动态图像编码的编码串，都能够不增加处理量地利用共同的控制进行图片数据的解码处理以及显示控制。由此，能够很容易地进行解码装置的安装。

(实施方式3)

(编码处理的其他的例子)

参照附图对实施方式3进行说明。

1.动态图像编码装置的构成

图14是本实施方式的动态图像编码装置的框图。

该动态图像编码装置100-1具有图片数据编码部110-1和第二编码串生成部104-1，以代替实施方式1的动态图像编码装置100的图片数据编码部110以及第二编码串生成部104。图片数据编码部110-1包括第一编码串生成部117-1，以代替第一编码串生成部117。

以下，为了便于说明，省略对与实施方式1相同的构成进行详细说明。而且，在图14中，对与图1具有相同功能的块标注相同的编码。

图片数据编码部110-1将从图片没定部101输入的各图片分割成块，以块单位进行编码处理而生成图片数据的编码串。此时，与动态图像形式是渐进式还是交错式无关地，以图片单位实施共同的编码处理，其结果是，所生成的图片数据的编码串也具有共同的语法。另外，在本实施方式中，图片数据编码部110-1生成序列标头的编码串以及图片标头的编码串。

第一编码串生成部117-1通过将预测残差编码部112所输出的残差编码信号162、预测编码部115所输出的预测信息信号166、量子化值决定部116所输出的量子化值以及关于其他编码控制的信息进行可变长编码，从而生成图片数据的编码串。另外，在本实施方式中，第一编码串生成部117-1将关于序列单位以及图片单位的编码控制的信息作为标头信息进行编码，并生成序列标头的编码串以及图片标头的编码串。

第二编码串生成部104-1将显示控制信息生成部103所输出的显示控制信息信号153进行编码，生成扩展信息区域编码串。显示控制信息信号153包括序列单位以及图片单位的显示控制信息。而且，第二编码串生成部104-1将生成的扩展信息区域编码串、图片数据编码部110所生成的序列标头、图片标头以及图片数据的编码串建立对应，生成作为最终的输出的编码串信号154。

2.显示控制信息的生成方法

使用图15的整个编码处理的流程图对以下两个方法进行具体说明，其中一个方法是：从动态图像形式指定部102接收动态图像形式信号152，由显示控制信息生成部103生成显示控制信息信号153，并在第二编码串生成部104-1中记述在编码串中；另一个方法是：在图片设定部101中将输入图像按照编码顺序进行排序。

首先，第一编码串生成部117-1进行以序列为单位的标头区域的编码串生成(s1801)。

接下来，第一编码串生成部117-1进行以图片为单位的标头区域的编码串生成(s1802)。

接下来，显示控制信息生成部103根据由动态图像形式指定部102指定的动态图像形式，生成序列单位的显示控制信息以及图片单位的显示控制信息(s1803)。第二编码串生成部104-1将这些显示控制信息进行编码，并记述在编码串中的扩展信息区域中。

接下来，图片设定部101将以显示顺序输入的输入图像按照编码顺序进行排序，选择作为编码对象的图片(s1804)。此时，图片设定部101根据由动态图像形式指定部102指定的动态图像形式进行图片的排序。

接下来，图片数据编码部110-1进行上述一系列的编码处理，并生成图片数据的编码串(s1805)。另外，在步骤s1805中，无论动态图像形式是渐进式还是交错式，都毫无区别地进行共同的编码处理。

接下来，一旦当前处理中的编码对象图片的处理结束，就返回到步骤s1802，进入下一个图片的编码处理，在序列内的所有图片的编码处理结束之前，反复进行步骤s1802到步骤s1805的处理(s1806)。

3.图片的排序

关于步骤s1804中的图片的排序处理，进行与在实施方式1使用图3、图4和图5所说明的处理相同的处理。因此，省略其说明。

4.编码串构成以及语法

接下来，使用图16对根据本实施方式生成的编码列的构成进行说明。

所生成的编码串由记述了序列单位的编码控制信息的序列标头区域、记述了图片单位的编码控制信息的图片标头区域、记述了图片单位的辅助信息的扩展信息区域以及图片数据构成。此时，序列单位的显示控制信息以及图片单位的显示控制信息这两者都记述在扩展信息区域中。另外，显示控制信息以外的各信息与输入图像形式是渐进式还是交错式完全无关地利用共同的语法而记述在编码串中。

在此，关于记述了序列单位的显示控制信息以及图片单位的显示控制信息的扩展信息区域的语法，使用图17进行详细说明。另外，在图17中，省略对与本实施方式相关的语法以外的内容的记述。

在图17中，interlace_flag、continual_flag、max_distance_flag、pic_struct与field_pair_poc都记述在pic_timing_sei()中。关于各参数的详细说明，与在图7以及图8所说明的内容完全相同，因此，在此省略。

扩展信息区域被按照每张图片进行编码，因此，虽然序列单位的显示控制信息的interlace_flag、continual_flag、max_distance_flag较长，但在序列内总是相同的值按照每张图片被反复记述。但是，通过如图17所示将所有的显示控制信息统一记述到扩展信息区域中，无论动态图像形式是渐进式还是交错式，扩展信息区域以外的所有语法区域都能够毫无区别地设为共同的语法。因此，能够实现更简化的编码处理。

另外，关于在此说明的参数名以及参数值只是其中一例，使用除此以外的参数名以及参数值也可以实现同样的功能。另外，也可以不使用在此说明的所有参数，而只使用一部分的参数。另外，虽然在此对在pic_timing_sei()的区域记述的例子进行了说明，但只要是能够记述图片单位的控制信息的区域，也可以记述在除此之外的区域中。

5.总结

5-1.构成

本实施方式的动态图像编码装置100-1将所输入的动态图像信号以图片单位进行编码。该动态图像编码装置100-1具有：

动态图像形式指定部102(动态图像形式信息获取部)，其获取对动态图像信号的动态图像形式是交错式以及渐进式中的哪一种形式进行表示的动态图像形式信息；

显示控制信息生成部103，其基于动态图像形式信息，生成当将编码后的动态图像信号所表示的动态图像作为动态图像形式信息所表示的动态图像形式的动态图像进行显示时所使用的显示控制信息；

图片设定部101，其在动态图像形式信息表示渐进式的情况下，将动态图像信号中的1帧设定为图片并且按照编码顺序进行排序；在动态图像形式信息表示交错式的情况下，将动态图像信号中的1场设定为图片并且按照编码顺序进行排序；

图片数据编码部110-1，其通过使用不依存于动态图像形式的共同的信号处理方式以及共同的语法结构，将在所设定的图片中包括的像素数据进行编码，从而输出第一编码串；

第二编码串生成部104-1(扩展信息区域编码部)，其将显示控制信息进行编码，并生成扩展信息区域编码串；以及

第二编码串生成部104-1，其输出将第一编码串以及扩展信息区域编码串建立对应的第二编码串，

显示控制信息由在属于作为编码对象的序列的所有图片的显示处理中共同使用的序列单位显示控制信息、以及在作为编码对象的图片的显示处理中个别使用的图片单位显示控制信息构成，

第二编码串生成部104-1(扩展信息区域编码部)将扩展信息区域编码串保存在以图片单位生成的扩展信息区域中。

另外，优选的是，第二编码串生成部104-1(扩展信息区域编码部)在属于同一序列的各图片的各扩展信息区域中保存所有相同值的序列单位显示控制信息。

另外，优选的是，显示控制信息生成部103生成包括用于识别编码对象的动态图像信号是渐进式还是交错式的第一识别码的序列单位显示控制信息。

另外，优选的是，显示控制信息生成部103在编码对象的动态图像信号是交错式的情况下，生成包括用于识别属于同一帧的两个场是否在该序列中总是按照编码顺序相互连接的第二识别码的序列单位显示控制信息。

另外，优选的是，显示控制信息生成部103在编码对象的动态图像信号是交错式的情况下，生成包括表示属于同一帧的第一个场与第二个场的编码顺序中的间隔的该序列的最大值的信息的序列单位显示控制信息。

另外，优选的是，显示控制信息生成部103生成包括第三识别码的图片单位显示控制信息，该第三识别码指定：在作为编码对象的图片的显示处理中，(1)是否作为属于渐进式的动态图像信号的1帧进行显示；(2)是否作为属于交错式的动态图像信号的顶场进行显示；(3)是否作为属于交错式的动态图像信号的底场进行显示；以及(4)是否以其他的方式进行显示。

另外，优选的是，只在编码对象的动态图像信号是交错式的情况下，显示控制信息生成部103生成包括第三识别码的图片单位显示控制信息，该第三识别码指定：在作为编码对象的图片的显示处理中，(1)是否作为属于交错式的动态图像信号的顶场进行显示；以及(2)是否作为属于交错式的动态图像信号的底场进行显示。

另外，优选的是，在当将编码对象图片解码显示时，作为属于交错式的动态图像信号的顶场或底场进行显示的情况下，显示控制信息生成部103生成包括指定属于与编码对象图片相同的帧的成对的图片的指定信息的图片单位显示控制信息。

另外，优选的是，显示控制信息生成部103记述被分配给与编码对象图片属于相同的帧的成对的图片的显示顺序信息作为指定信息。

另外，优选的是，显示控制信息生成部103记述被分配给编码对象图片的显示顺序信息、与被分配给与编码对象图片属于相同的帧的成对的图片的显示顺序信息的差分值作为指定信息。

本实施方式的动态图像编码方法将所输入的动态图像信号以图片单位进行编码。在该动态图像编码方法中，

获取对动态图像信号的动态图像形式是交错式以及渐进式中的哪一种形式进行表示的动态图像形式信息；

基于动态图像形式信息，生成当将编码后的动态图像信号所表示的动态图像作为动态图像形式信息所表示的动态图像形式的动态图像显示时所使用的显示控制信息；

在动态图像形式信息表示渐进式的情况下，将动态图像信号中包括的多个帧按照编码顺序进行排序，并且，将多个帧分别设定为图片；在动态图像形式信息表示交错式的情况下，将动态图像信号所包括的多个场按照编码顺序进行排序，并将多个场分别设为图片，并按照编码顺序进行排序；

通过使用不依存于动态图像形式的共同的信号处理方式以及共同的语法结构，将在所设定的图片中包括的像素数据进行编码，从而生成第一编码串；

将显示控制信息进行编码，生成扩展信息区域编码串；

输出将第一编码串以及扩展信息区域编码串建立对应的第二编码串；

显示控制信息由在属于作为编码对象的序列的所有图片的显示处理中共同使用的序列单位显示控制信息、以及在作为编码对象的图片的显示处理中个别使用的图片单位显示控制信息构成，

各显示控制信息被保存在以图片单位生成的扩展信息区域中。

5-2.效果等

通过使用根据本实施方式的动态图像编码装置100-1，无论是在输入渐进式的动态图像的情况下，还是在输入交错式的动态图像的情况下，都能够不增加处理量地通过共同的控制进行图片数据的编码处理，能够容易地进行编码装置的安装。

一般地，在动态图像解码装置中，将被编码的编码串解码生成解码图像的解码处理与将所生成的解码图像在对应的显示装置上显示的显示处理，是作为不同的阶段进行控制的。例如，能够采取前者由硬件构成、后者由软件构成的方法。由此，例如，在像电视机与计算机这样的显示方法不同的装置的开发中，进行解码处理的硬件使用共同的硬件，只有进行显示处理的软件要按照每个装置来制作，由此，能够削减开发工时。

在本实施方式中，如在图16所说明的编码串那样，只记述了编码处理不需要的信息(显示控制信息等)的扩展信息区域与记述了解码处理所需的信息的除此以外的区域被完全分离。由此，在上述用途中，向进行解码处理的阶段与进行显示处理的阶段分别只发送各阶段所需的编码串就变得较容易，每个阶段的独立性提高。即，无论是与渐进式对应的解码装置、还是与交错式对应的解码装置，都能够使用完全共用的硬件作为进行解码处理的阶段(硬件)来构成装置。

(实施方式4)

(解码处理的其他例子)

参照附图对实施方式4进行说明。

1.动态图像解码装置的构成

图18是涉及本实施方式的动态图像解码装置的框图。

该动态图像解码装置200-1具有图片数据解码部210-1和第二编码串分析部201-1，以代替实施方式2的动态图像解码装置200的图片数据解码部210、第二编码串分析部201。图片数据解码部210-1包括第一编码串分析部211-1，以代替第一编码串分析部211。

以下，为了便于说明，省略对与实施方式2相同的结构进行的详细说明。而且，在图18中，对与图1具有相同功能的块标注相同的编号。

第二编码串分析部201从包括在所输入的编码串信号251中的标头信息的编码串的扩展信息区域至少提取显示控制信息。然后，第二编码串分析部201将提取的信息作为显示控制信息信号252而输出给显示控制信息分析部202。

图片数据解码部210针对所输入的编码串信号251中所包括的图片数据的编码串，以块单位进行解码处理并生成对象图片的解码图像。此时，与动态图像形式是渐进式还是交错式无关地，作为图片而使用共同的解码处理，另外，成为解码对象的图片数据的编码串也具有共同的语法。

第一编码串分析部211对所输入的编码串信号251的图片数据的编码串实施可变长解码，由此，进行解码控制信息的分析以及块单位的图片数据分析。该解码控制信息中包括与序列单位以及图片单位的解码控制相关的信息。第一编码串分析部211将分析获得的残差编码信号261输出给预测残差解码部212。然后，第一编码串分析部211将分析获得的预测信息信号265输出给预测解码部214。然后，第一编码串分析部211将分析获得的量子化值信息输出给量子化值决定部215。

2.显示控制方法

关于利用显示控制信息分析部202分析显示控制信息，在输出图片设定部203中将已经解码完毕的图片按照输出顺序进行排序而作为输出图像的方法，使用图19的整个解码处理的流程图进行具体说明。

首先，第一编码串分析部211-1进行序列单位的标头区域的编码串分析(s1901)。

接下来，第一编码串分析部211-1进行图片单位的标头区域的编码串分析(s1902)。

接下来，第二编码串分析部201-1进行扩展信息区域的编码串分析(s1903)。此时，显示控制信息分析部202获取序列单位的显示控制信息以及图片单位的显示控制信息。

接下来，图片数据解码部210-1进行一系列的解码处理，生成对象图片的解码图像(s1904)。另外，在步骤s1904中，无论动态图像形式是渐进式还是交错式，都毫无区别地进行共同的解码处理。

接下来，输出图片设定部203将按照解码顺序存储的解码图像以显示顺序进行排序，选择作为显示对象的图片(s1905)。此时，输出图片设定部203按照由显示控制信息分析部202分析的显示控制方法进行图片的排序。

接下来，一旦当前处理中的解码对象图片的处理结束，就返回到步骤s1902，进入下一个图片的解码处理，在序列内的所有图片的解码处理完成之前，反复进行步骤s1902到步骤s1904的处理(s1905)。

3.图片的排序

关于步骤s1905中的图片的排序处理，进行与在实施方式2利用图11、图12和图13所说明的处理相同的处理。因此，省略说明。

4.编码串构成以及语法

在本实施方式中作为解码对象的编码串的构成以及语法与在实施方式1用图6到图8说明的内容完全相同，因此，在此省略其说明。

5.总结

5-1.构成

本实施方式的动态图像解码装置200-1针对将具有交错式或渐进式的动态图像形式的动态图像信号以图片单位编码所获得的编码串，以图片单位进行解码。该动态图像解码装置200-1具有：

第二编码串分析部201-1，其分析编码串并获取扩展信息区域编码串以及第一编码串；

第二编码串分析部201-1(扩展信息区域解码部)，其从扩展信息区域编码串获取当显示解码的图片时使用的显示控制信息；

图片数据解码部210-1，其使用不依存于动态图像形式的共同的语法分析以及共同的信号处理方式，将第一编码串进行解码，获取图片；以及

输出图片设定部203，其在显示控制信息表示渐进式的情况下，将所获取的图片设定为1帧，并将帧按照显示顺序一个一个地输出，在显示控制信息表示交错式的情况下，将所获取的图片设定为1场，并且当获取成对的顶场与底场时按照显示顺序输出，

显示控制信息由在属于作为解码对象的序列的所有图片的显示处理中共同使用的序列单位显示控制信息、以及在作为解码对象的图片的显示处理中个别使用的图片单位显示控制信息构成，

扩展信息区域解码部201-1从图片单位的扩展信息区域获取各显示控制信息。

另外，优选的是，在属于相同序列的各图片单位的各扩展信息区域中保存所有相同值的序列单位显示控制信息。

另外，优选的是，第二编码串分析部201-1(扩展信息区域解码部)获取包括用于识别解码对象的动态图像信号是渐进式还是交错式的第一识别码的序列单位显示控制信息，输出图片设定部203基于所获取的第一识别码来变更图片的输出方法。

另外，优选的是，第二编码串分析部201-1(扩展信息区域解码部)在解码对象的动态图像信号是交错式的情况下，获取包括用于识别属于同一帧的两个场在该序列中是否总是以解码顺序彼此连续的第二识别码的序列单位显示控制信息，输出图片设定部203基于所获取的第二识别码来变更图片的输出方法。

另外，优选的是，第二编码串分析部201-1(扩展信息区域解码部)在解码对象的动态图像信号是交错式的情况下，获取包括用于表示属于同一帧的第一场与第二场的解码顺序的间隔的该序列中的最大值的信息的序列单位显示控制信息，输出图片设定部203基于所获取的表示最大值的信息来变更图片的输出方法。

另外，优选的是，第二编码串分析部201-1(扩展信息区域解码部)获取包括第三识别码的图片单位显示控制信息，该第三识别码指定：在作为解码对象的图片的显示处理中，(1)是否作为属于渐进式的动态图像信号的1帧进行显示；(2)是否作为属于交错式的动态图像信号的顶场进行显示；(3)是否作为属于交错式的动态图像信号的底场进行显示；以及(4)是否以其他的方式进行显示，输出图片设定部203基于所获取的第三识别码来变更图片的输出方法。

另外，优选的是，第二编码串分析部201-1(扩展信息区域解码部)只在解码对象的动态图像信号是交错式的情况下，获取包括第三识别码的图片单位显示控制信息，该第三识别码指定：在作为解码对象的图片的显示处理中，(1)是否作为属于交错式动态图像信号的顶场进行显示；(2)是否作为属于交错式动态图像信号的底场进行显示，输出图片设定部203基于所获取的第三识别码来变更图片的输出方法。

另外，优选的是，第二编码串分析部201-1(扩展信息区域解码部)当表示解码对象图片时，在作为属于交错式的动态图像信号的顶场或底场进行显示的情况下，获取包括指定与解码对象图片属于相同帧的成对的图片的指定信息的图片单位显示控制信息，输出图片设定部203当将解码对象图片输出时，以与指定信息所指定的图片成对的方式输出。

另外，优选的是，第二编码串分析部201-1(扩展信息区域解码部)获取被分配给与解码对象图片属于同一帧的成对的图片的显示顺序信息作为指定信息。

另外，优选的是，第二编码串分析部201-1(扩展信息区域解码部)获取被分配给解码对象图片的显示顺序信息、与被分配给与解码对象图片属于同一帧的成对的图片的显示顺序信息的差分值作为指定信息。

本实施方式的动态图像解码方法，将以图片单位对具有交错式或渐进式的动态图像形式的动态图像信号进行编码所获取的编码串以图片单位进行解码。在该动态图像解码方法中，

分析编码串，获取扩展信息区域编码串以及第一编码串；

从扩展信息区域编码串获取当显示解码的图片时所使用的显示控制信息；

使用不依存于动态图像形式的共同的语法分析以及共同的信号处理方式，进行第一编码串解码，获取图片；

在显示控制信息表示渐进式的情况下，将所获取的图片设定为1帧，并按照显示顺序将帧一个一个地输出，在显示控制信息表示交错式的情况下，将获取的图片设定为1场，并在获取了成对的顶场与底场的时刻按照显示顺序输出，

显示控制信息由在属于作为解码对象的序列的所有图片的显示处理中共同使用的序列单位显示控制信息、以及在作为解码对象的图片的显示处理中个别使用的图片单位显示控制信息构成，

从图片单位的扩展信息区域获取各显示控制信息。

5-2.效果等

通过使用根据本实施方式的动态图像解码装置200-1，无论是对将渐进式的动态图像编码的编码串，还是对将交错式的动态图像编码的编码串，都能够不增加处理量地利用共同的控制进行图片数据的解码处理以及显示控制。由此，能够容易地进行解码装置的安装。

另外，如在实施方式3中所说明的那样，在本实施方式中，只记述了编码处理不需要的信息(显示控制信息等)的扩展信息区域与记述了解码处理所需的信息的除此以外的区域被完全分离。由此，在上述用途中，向进行解码处理的阶段与进行显示处理的阶段分别只发送各阶段所需的编码串就变得较容易，每个阶段的独立性提高。即，无论是与渐进式对应的解码装置还是与交错式对应的解码装置，都能够使用完全共用的硬件作为进行解码处理的阶段(硬件)来构成装置。

(其他实施方式)

具有与在上述实施方式所示的动态图像编码装置以及动态图像解码装置中所包括的各单元同等的功能的程序，可以记录在软盘等的记录介质中。由此，能够在独立的计算机系统中简单地实施上述实施方式所示的处理。另外，记录介质不局限于软盘，也可以是光盘、ic卡、rom卡带等能记录程序的任意介质。

另外，也可以通过作为集成电路的lsi来实现与在上述实施方式所示的动态图像编码装置以及动态图像解码装置中所包括的各单元同等的功能。它们可以以包括一部分或全部的方式进行芯片化。lsi由于集成度的不同也被称为ic、系统lsi、超级集成电路和大规模集成电路。

另外，集成电路的方法不局限于lsi，也可以通过专用电路或通用处理器来实现。在lsi制造后，可以利用能够编程的fpga(fieldprogrammablegatearray：现场可编程门阵列)或能够重构lsi内部的电路单元的连接或设定的可重构处理器。

而且，如果根据半导体技术的进步或所衍生出的其他技术，出现了置换lsi等的集成电路技术，则当然可以使用该技术进行功能块的集成化。

另外，本发明也可以用在将从包括上述动态图像编码装置以及动态图像解码装置的广播电视台发出的播放波进行压缩、并进行记录的dvd录影机、bd录影机等的播放波记录装置中。

另外，也可以将涉及上述实施方式的动态图像编码装置以及动态图像解码装置或其变形例的功能中的至少一部分进行组合。

产业上的可利用性

本发明作为例如摄像机、数码相机、录影机、便携式电话以及个人计算机等中的对构成输入图像的各图片进行编码、并作为动态图像编码数据输出的动态图像编码装置或将动态图像编码数据进行解码并生成解码图像的动态图像解码装置很有用。