专利名称：图像编码方法、图像解码方法、图像编码装置及图像解码装置的制作方法
技术领域：
本发明涉及从多个预测运动矢量候选中选择对编码对象的运动矢量的编码而言效率最高的预测运动矢量，并进行动态图像的预测编码的图像编码方法、图像解码方法、图像编码装置及图像解码装置。
背景技术：
图32是表示以往的将动态图像编码的图像编码装置的结构例的模块图。在动态图像的编码中，采用作为已经被标准化的动态图像编码方式的H. 264等方式(例如，参照非专利文献I)。图32的图像编码装置中，根据图片类型决定部124所决定的图片类型(例如H. 264的切片类型(slice type))和预测运动矢量竞争标志切换部125所输出的预测运动矢量竞争标志(以下记述为“mv_competition_flag”),巾贞间预测控制部131控制巾贞间预测部112，进行帧间预测编码。具体地，根据P图片(例如H. 264的P切片)或者B图片(例如H. 264的B切片)等图片类型和mv_competition_flag的开启或者关闭，巾贞间预测控制部131对在各个预测单位块的帧间编码中使用的用于运动矢量编码的预测运动矢量的求出方法进行切换。mv_competition_flag包含于按每个第I处理单位(例如H. 264的切片)赋予给比特流的第I头信息(例如H. 264的切片头(slice header))中，由图像编码装置通知给图像解码装置。在mv_comp etition_flag为开启的情况下，图像编码装置例如将在各个预测单位块的周边使用的一个以上的运动矢量作为预测运动矢量候选，将最终在各个预测单位块的运动矢量的预测中使用的预测运动矢量候选的索引号赋予给比特流。mv_competition_flag为关闭的情况下，图像编码装置例如根据在各个预测单位块的周边使用的运动矢量生成一个预测运动矢量，使用该预测运动矢量将运动矢量编码。图33A中表示mv_competition_flag为开启情况下由以往的图像编码装置进行的预测运动矢量候选生成处理的一例。图像编码装置首先求出预测单位块的左(相邻块A)、上(相邻块B)、右上(相邻块C)的相邻的预测单位块，求出各个运动矢量MV_A、MV_B、MV_C。然后，图像编码装置使用运动矢量MV_A、MV_B、MV_C的各分量的中间值求出中间运动矢量Median (MV_A、MV_B、MV_C)，对中间运动矢量 Median (MV_A、MV_B、MV_C)附加预测运动矢量索引O。此外，图像编码装置按照MV_A、MV_B、MV_C的顺序，对各个运动矢量分别附加预测运动矢量索引1、2、3。图33B是表示预测运动矢量索引和预测运动矢量候选的对应关系的图。图像编码装置选择对编码对象预测块的运动矢量的编码而言效率最高的预测运动矢量候选，将所选择的预测运动矢量候选的索引号附加到比特流。此外，图像编码装置在预测运动矢量候选全部具有相同值的矢量等情况下，通过将矢量合并而减少候选数量，在最终候选数量为I的情况下，进行不将预测运动矢量索引附加到比特流等的处理。图34是表示对应于图32的以往的图像编码装置的图像解码装置的结构例的模块图。动态图像的解码中使用作为已经被标准化的动态图像解码方式的H. 264等的方式。图34的图像解码装置中，根据对比特流附加的mv_competition_flag和预测运动矢量索引，帧间预测控制部231控制帧间预测部212，进行帧间预测解码。先行技术文献非专利文献非专利文献I IS0/IEC 14496-10 [MPEG-4 PartlO Advanced Video Coding]发明概要发明所要解决的技术问题以往的图像编码装置和图像解码装置中，在mv_competition_flag开启的情况下，即使在编码对象预测块为跳跃(skip)块(例如H. 264的P_skip、B_skip)的情况下,如果预测运动矢量候选数量为2以上，则需要将预测运动矢量索引附加到比特流(图35、图36)。因此，例如在以低比特率为目标进行编码的情况下，也会产生使用跳跃块等的编码模式不能变更预测运动矢量索引的发生编码量的课题。
发明内容
本发明是为了解决上述课题而作出的，目的在于提供一种能够变更预测运动矢量索引的发生编码量的图像编码方法。解决技术问题的手段根据本发明的一个方面的图像编码方法，进行动态图像的预测编码，包括 第I标志生成步骤，生成第I标志，该第I标志表示是否从一个以上的预测运动矢量候选中选择预测运动矢量；第2标志生成步骤，在所述第I标志表示选择预测运动矢量的情况下，生成第2标志，该第2标志表示在将编码对象块以规定的编码模式编码时是否从所述一个以上的预测运动矢量候选中选择预测运动矢量；以及编码信号生成步骤，在所述第I标志表示选择预测运动矢量的情况下，生成在头信息中包含所述第I标志和所述第2标志的编码信号。通过此结构，能够根据编码模式来控制预测运动矢量索引的发生编码量。S卩，在第I标志表示选择预测运动矢量的情况下，能够生成将第I标志和第2标志包含于头信息中的编码信号，在第I标志表示不选择预测运动矢量的情况下，能够生成头信息中不包含第2标志的编码信号。由于不包含第2标志，因此能够变更预测运动矢量索引的发生编码量。由此，能够控制跳跃块的预测运动矢量竞争标志(第2标志)。例如以低比特率为目标进行编码时，通过只将跳跃块用的预测运动矢量竞争标志关闭，能够减少跳跃块的预测运动矢量索引的发生编码量，抑制画质破绽等。根据本发明的其他方面的图像解码方法，将对动态图像进行预测编码而得到的编码信号解码，包括第I标志解码步骤，将所述编码信号的头信息中包含的第I标志解码，该第I标志表示是否从一个以上的预测运动矢量候选中选择预测运动矢量；以及第2标志解码步骤，在所述第I标志表示选择预测运动矢量的情况下，将所述头信息中包含的第2标志解码，该第2标志表示在将解码对象块以规定的解码模式解码时是否从所述一个以上的预测运动矢量候选中选择预测运动矢量。通过这种结构，能够对根据编码模式来控制预测运动矢量索引的发生编码量而得到的编码信号进行解码。
另外，本发明不仅能够作为包含这样的特征步骤的图像编码方法或者图像解码方法实现，还能够作为以图像编码方法或者图像解码方法中包含的特征步骤作为处理部的图像编码装置或者图像解码装置来实现。而且，能够作为用于使计算机执行图像编码方法或者图像解码方法所包含的特征步骤的程序来实现。此外，能够作为使计算机作为图像编码装置或者图像解码装置中包含的特征处理部来发挥功能的程序实现。而且，当然能够使这样的程序经由Q)-R0M (Compact Disc-Read Only Memory)等计算机可读取的非暂时性的记录介质和互联网等通信网络流通。发明的效果
通过本发明，能够提供一种能够变更预测运动矢量索引的发生编码量的图像编码方法等。
图1是表示本发明的实施方式I的图像编码装置的结构例的模块图。
图2是表示图像编码装置中的跳跃用预测运动矢量竞争标志切换控制的一例的流程图。
图3是表示图像编码装置中的帧间预测控制的一例的流程图。
图4A是表示可变长度编码部中的头的编码控制的一例的流程图。
图4B是表不头的句法的一例的图。
图5是表示可变长度编码部中的预测单位块的编码控制的一例的流程图。
图6是表示预测单位块的句法的一例的图。
图7是表示本发明的实施方式I的图像解码装置的结构例的模块图。
图8是表示可变长度解码部中的头的解码控制的一例的流程图。
图9是表示可变长度解码部中的预测单位块的解码控制的一例的流程图。
图10是表示图像解码装置中的帧间预测控制的一例的流程图。
图1lA是表示头的句法的另外一例的图。
图1lB是表示预测单位块的句法的另外一例的图。
图12是表示预测单位块的句法的一例的图。
图13是实现内容分发服务的内容供给系统的整体结构图。
图14是数字广播用系统的整体结构图。
图15是表示电视机的结构例的模块图。
图16是表示对作为光盘的记录介质进行信息的读写的信息再现 /记录部的结构例的模块图。
图17是表示作为光盘的记录介质的构造例的图。
图18A是表示便携电话的一例的图。
图18B是表示便携电话的结构例的模块图。
图19是表示复用数据的结构的图。
图20是示意地表示各流在复用数据中怎样被复用的图。
图21是更详细地表示在PES包序列中视频流怎样被保存的图。
图22是表示复用数据的TS包和源包的构造的图。
图23是表示PMT的数据结构的图。图24是表示复用数据信息的内部结构的图。图25是表示流属性信息的内部结构的图。图26是表示识别影像数据的步骤的图。图27是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。图28是表示切换驱动频率的结构的图。图29是表示识别影像数据、切换驱动频率的步骤的图。图30是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。图31A是表示将信号处理部的模块共用的结构的一例的图。图31B是表示将信号处理部的模块共用的结构的另一例的图。图32是表示以往的图像编码装置的结构例的模块图。图33A是表示以往的预测运动矢量候选的生成处理的概念图。图33B是表示预测运动矢量索引和预测运动矢量候选的对应关系的图。图34是表示以往的图像解码装置的结构例的模块图。图35是表示以往的帧间预测控制的流程图。图36是表示以往的预测单位块的句法的图。
具体实施例方式下面使用附图对本发明的实施方式详细说明。另外，以下所说明的实施方式都是表示本发明的优选的一个具体例。以下实施方式中所表示的数值、构成要素、构成要素的配置位置和连接形式、步骤、以及步骤顺序等是一个例，并没有限定本发明的意思。本发明仅由权利要求的范围限定。因此，以下实施方式的构成要素中，关于表示本发明的最上位概念的独立权利要求中没有记载的构成要素，作为对于解决本发明的技术问题不是必须的、但构成更优选的方式的结构来说明。下面参考附图对本发明的实施方式进行说明。(实施方式I)图1是表示本发明的实施方式I的图像编码装置的结构例的模块图。与图32所表示的以往的图像编码装置不同的是具有跳跃块用预测运动矢量竞争标志切换部126、以及具备将跳跃块用预测运动矢量竞争标志(以下记述为mv_competition_skip_flag)附加到比特流的结构。在图1的图像编码装置中，通过按每个图片赋予的头(例如H. 264的sliceheader),将上述mv_competition_skip_flag通知给图像编码装置。另外，mv_competition_skip_flag并不一定需要通过按每个图片赋予的头来通知，也可以是通过按每个由多张图像构成的单位赋予的头(例如H. 264的sequence parameter set)或能够在多个图片中共通使用的头信息(例如H. 264的picture parameter set)通知的结构。 图1所示的图像编码装置具有减法部102、正交变换部103、量化部104、可变长度编码部105、逆量化部106、逆正交变换部107、加法部108、块存储器109、帧内预测部110、帧存储器111、帧间预测部112、开关113、帧间预测控制部121、图片类型决定部124、预测运动矢量竞争标志切换部125以及跳跃块用预测运动矢量竞争标志切换部126。减法部102从输入的图像数据中减去预测图像数据，输出预测误差数据。正交变换部103对预测误差数据进行从图像域到频率域的变换。量化部104对变换为频率域的预测误差数据进行量化处理。逆量化部106对由量化部104进行量化处理后的预测误差数据进行逆量化处理。逆正交变换部107对逆量化处理后的预测误差数据进行从频率域到图像域的变换。加法部108将预测误差数据和预测图像数据相加，输出重构图像数据。块存储器109将重构图像数据以块为单位保存，帧存储器111将重构图像数据以帧为单位保存。帧内预测部110使用块存储器109中保存的以块为单位的重构图像数据将编码对象块通过帧内预测而编码，生成预测图像数据。帧间预测部112使用帧存储器中保存的以帧为单位的重构图像数据和通过运动检测导出的运动矢量，将编码对象块通过帧间预测而编码，生成预测图像数据。开关113将编码模式切换为帧内预测或者帧间预测。图片类型决定部124决定以I图片、B图片、P图片的哪个图片类型将输入图像序列编码，生成图片类型信息。预测运动矢量竞争标志切换部125生成表示是否从一个以上的预测运动矢量候选中选择预测运动矢量的mv_competition_flag。跳跃块用预测运动矢量竞争标志切换部126在mv_competition_flag表示选择预测运动矢量的情况下，生成表示在对编码对象块以规定的编码模式进行编码时是否从一个以上的预测运动矢量候选中选择预测运动矢量的mv_competition_skip_flag。帧间预测控制部121从一个以上的预测运动矢量候选中选择预测运动矢量。
可变长度编码部105对量化处理后的预测误差数据、预测运动矢量索引、预测运动矢量候选的预测误差信息(差分矢量)以及图片类型信息等进行可变长度编码处理。由此，可变长度编码部105生成比特流。图2表示跳跃块用预测运动矢量竞争标志切换部126的动作流程的一个例。跳跃块用预测运动矢量竞争标志切换部126例如判定编码时的目标比特率是否在一定值以下(S1001),若判定结果为真(S1001为是)，则将mv_competition_skip_flag设为关闭(S1002)。若判定结果为假(S1001为否)，则将mv_competition_skip_flag设为开启(S1003)。开启与关闭所表示的值为开启设定为1、关闭设定为O等只要是能够区别开启(有效)、关闭(无效)的值，设定为任何值都可以。跳跃块用预测运动矢量竞争标志切换部126将设定的mv_competition_skip_flag向图1的可变长度编码部105发送(S1004)，编入按每个图像附加的头中。以上，用目标比特率对mv_competition_skip_flag的开启、关闭控制进行了说明，但是并不一定限定于此。例如，也可以基于量化参数的大小而控制为，在量化参数大的情况下，将mv_competition_skip_flag设为关闭，在量化参数小的情况下，将mv_competition_skip_flag设为开启。以这种结构，能够根据量化参数的值适当地控制mv_competition_skip_flag,例如在以固定比特率编码等时,在量化参数达到一定值以上时将mv_competition_skip_flag设为关闭，由此能够抑制画质破绽。接下来，图3中表示图1的图像编码装置中的帧间预测控制部121的动作流程的例。
帧间预测控制部121例如根据目标比特率和到现在为止的发生编码量等判断是否将帧间编码对象的预测块作为跳跃块(S1101)，将其结果设定到跳跃标志，并发送给可变长度编码部105。步骤SllOl的判定结果为假的情况下(S1101为否)，帧间预测控制部121进行跳跃块以外的帧间编码块的处理(S1108)。步骤SI 101的判定结果为真的情况下(SI 101为是)，帧间预测控制部121判定mv_competition_flag是否为开启(S1102),其结果若为真(S1102为是)，则判定mv_competition_skip_flag是否为开启(S1103)。若步骤S1103的判定结果为真(S1103为是)，则帧间预测控制部121计算出预测运动矢量候选(S1104)。帧间预测控制部121判定预测运动矢量候选数是否存在2个以上(S1105)，若判定结果为真(S1105为是)，则将在运动矢量的编码中使用的预测运动矢量的索引发送给可变长度编码部105 (S1106)。S1102、S1103和S1105的某一个判定结果为假的情况下(S1102为否，S1103为否或者S1105为否)，帧间预测控制部121将预测运动矢量索引设定为无效(S1107)，并将不附加到比特流的状况传达给可变长度编码部105。作为将预测运动矢量索引设定为无效的方法，例如将预测运动矢量索引设定为-1。但是，只要是能够传达不附加预测运动矢量索引的手段，什么样的手段都可以。 接下来，图4A中表示图1的图像编码装置的可变长度编码部105中的头控制的动作流程的例。可变长度编码部105首先将从预测运动矢量竞争标志切换部125接收的mv_competition_flag附加到按每个图像赋予的头等(S1201),判定mv_competition_flag是否为开启(S1202)。在mV_C0mpetiti0n_flag为开启的情况下(S1202为是是)，可变长度编码部 105 进一步将 mv_competition_skip_flag 附加到头(S1203)。在mv_competition_skip_flag为关闭的情况下(S1202为否)，可变长度编码部105 不将 mv_competition_skip_flag 附加到头。由此,与总是将mv_competition_skip_flag附加到头的情况相比，能够减少编码量。上述头的句法例表示于图4B。接下来，图5中表示图1的图像编码装置的可变长度编码部105中的预测单位块控制的动作流程。可变长度编码部105首先判定编码对象的切片类型是否为I切片(S1301)，若切片类型为I切片(S1301为是)，则进行I切片的编码处理(S1310)。若切片类型不是I切片(S1301为否)，则可变长度编码部105将从帧间预测控制部121接收的跳跃标志附加到比特流(S1302)。步骤S1302处理之后，可变长度编码部105判定跳跃标志是否为开启(S1303)，若跳跃标志为开启(S1303为是)，则可变长度编码部105进入对跳跃块的编码处理，判定mv_competition_flag是否为开启(S1304)。若跳跃标志为关闭(S1303为否)，则可变长度编码部105执行跳跃块以外的帧间编码块处理(S1309)。mv_competition_flag为开启的情况下(S1304为是),可变长度编码部105接着判定 mv_competition_skip_flag 是否为开启(S1305)。若 mv_competition_skip_flag 为开启、并且从帧间预测控制部121接收的预测运动矢量索引为有效的情况下(S1305为是、S1306为是)，可变长度编码部105将预测运动矢量索引附加到比特流(S1307)。步骤S1304到步骤S1306的某一个的判定结果为假的情况下，可变长度编码部105不将预测运动矢量索引附加到比特流(S1308 )。通过以上，即使在mv_competition_flag开启的情况下，若mv_competition_skip_flag为关闭，则不将预测运动矢量索引附加到比特流，所以能够抑制编码量。图6中表示预测单位块的句法例。图7是表示对应于图1的图像编码装置的图像解码装置的结构例的模块图。与图34的以往的图像解码装置的不同点是从比特流读入mv_competition_skip_flag,使用于帧间预测控制部221的处理中。图7所示的图像解码装置具有可变长度解码部205、逆量化部206、逆正交变换部207、加法部208、块存储器209、帧内预测部210、帧存储器211、帧间预测部212、开关213以及帧间预测控制部221。
可变长度解码部205对输入的比特流进行可变长度解码处理，解码图片类型信息、预测运动矢量索引、预测误差数据等。逆量化部206对预测误差数据进行逆量化处理。逆正交变换部207将进行逆量化处理后的预测误差数据从频率域变换到图像域。加法部208通过将预测图像数据和预测误差数据相加，生成解码图像数据。块存储器209将解码图像数据以块为单位保存。帧存储器211将解码图像数据以帧为单位保存。帧内预测部210使用块存储器中保存的以块为单位的解码图像数据，执行帧内预测，由此生成解码对象块的预测图像数据。帧间预测部212使用帧存储器中保存的帧单位的解码图像数据，执行帧间预测，由此生成解码对象块的预测图像数据。开关213将编码模式切换到帧内预测或者帧间预测。帧间预测控制部221从一个以上的预测矢量候选中，选择预测矢量。另外，帧间预测控制部221使用由可变长度解码部205解码后的预测运动矢量索引从一个以上的预测矢量候选中选择预测运动矢量。图8表示图7的图像解码装置的可变长度解码部205中的头控制的动作流程。可变长度解码部205将比特流内的mv_competition_flag解码(S1401),若mv_competition_flag 为开启(S1402 为是)，则接着将 mv_competition_skip_flag 解石马(S1403)。图9表示图7的图像解码装置的可变长度解码部205中的预测单位块控制的动作流程。可变长度解码部205判定解码对象的切片类型是否为I切片(S1501)，若切片类型为I切片(S1501为是)，则进行I切片的解码处理(S1511)。若切片类型不是I切片(S1501为否)，则可变长度解码部205将比特流内的跳跃标志解码(S1502)。步骤S1502处理后，可变长度解码部205判定跳跃标志是否开启(S1503)，若跳跃标志为开启(S1503为是)，则可变长度解码部205进入对跳跃块的解码处理，判定mv_competition_flag是否为开启(S1504)。若跳跃标志为关闭(S1503为否)，则可变长度解码部205执行跳跃块以外的帧间解码块处理(S1501)。
若mv_competition_flag为开启(S1504为是)，则可变长度解码部205接着判定mv_competition_skip_flag是否为开启(S1505),若判定结果为真(S1505为是)，则可变长度解码部205计算出预测运动矢量候选(S1506)。可变长度解码部205判定预测运动矢量候选数量是否存在2个以上(S1507)，若判定结果为真(S1507为是)，则将比特流内的预测运动矢量索引解码(S1508)。若S1504、S1505和S1507的某一个判定结果为假，则可变长度解码部205将预测运动矢量索引设定为O (S1509)。图10表示图7的图像解码装置中的帧间预测控制部221的动作流程。帧间预测控制部221判定从可变长度解码部205接收的跳跃标志是否为开启(S1601)，若判定结果为假(S1601为否)，则进行跳跃块以外的帧间解码块的处理(S1607)。若步骤S1601的判定结果为真(S1601为是)，则帧间预测控制部221判定mv_competition_flag是否为开启(S1602),若判定结果为真(S1602为是)，则接着判定mv_competition_skip_flag 是否为开启(S1603)。若步骤S1603的判定结果为真(S1603为是)，则帧间预测控制部221计算预测运动矢量候选(S1604)，使用从可变长度解码部205接收的预测运动矢量索引生成预测运动矢量(S1605)。若S1602和S1603的某一个的判定结果为假，则帧间预测控制部221使用周边块的运动矢量生成预测运动 矢量，例如生成在各个预测单位块周边使用的运动矢量的平均值作为预测运动矢量等(S1606)。在上述中，设为步骤S1604再次计算预测运动矢量候选而进行了说明，但是也可以构成为接收由可变长度解码部205求出的预测运动矢量候选。此外,在本实施方式中，如图4B的句法所示,若mv_competition_flag为开启，贝丨J将mv_competition_skip_flag附加到比特流,但也可以是,如图1lA的句法所示,将mv_competition_f lag和mv_competition_skip_f lag双方附加到头，如图1IB所不变更预测单位块的句法。此外，本实施方式中，将mv_competition_flag 和 mv_competition_skip_flag 作为不同的标志作了说明，但也可以将mv_competition_flag作为2比特,将上位比特表示为原来的 mv_competition_flag, >!嘗下位比特表为 mv_competition_skip_flag。此外，本实施方式中，作为编码模式，以跳跃块为例作了说明，但是在以直接模式(direct mode)编码时，也可以以同样的方法控制直接模式时的预测运动矢量竞争标志。图12中表示此情况下的句法例。根据图12所示的句法，能够只在直接模式时将预测运动矢量竞争标志设为关闭，抑制预测运动矢量索引的编码量。(实施方式2)通过将用来实现上述各实施方式所示的动态图像编码方法或动态图像解码方法的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。进而，这里说明在上述各实施方式中示出的动态图像编码方法及动态图像解码方法的应用例和使用它的系统。
图13是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网exl04、及基站 exl06 exllO 连接着计算机 exlll、PDA (Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。但是，内容供给系统exlOO并不限定于图13那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl06 exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。照相机exll3是数字摄像机等的能够进行动态图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evoluti on)方式、HSPA (High Speed Packet Access)的便携电话机、或 PHS(Personal Handyphone System)等，是哪种都可以。在内容供给系统exlOO中，通过将照相机exll3等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场分发等。在现场分发中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机exlll、PDAexll2、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现。另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或动态图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(⑶一 ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话exll4具有的LSIex500编码处理的数据。此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
另外，并不限定于内容供给系统exlOO的例子，如图14所示，在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置或动态图像解码装置的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的复用数据解码并将其再现。此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。图15是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或`调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。此外，电视机ex300具备具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机eX300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着,对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图16中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex40 1移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。在图17中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外，车载导航仪ex211的结构可以考虑例如在图15所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。图18A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话exll4的图。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话exll4还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。进而，使用图18B对便携电话exll4的结构例进行说明。便携电话exll4对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD (LiquidCrystal Display :液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。便携电话exll4基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音信号后，将其经由声音输出部ex357输出。进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收 到的数据执行上述处理的大致逆处理，并输出到显示部ex3580
在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码，经由IXD控制部ex359从显示部ex358显例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还 可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。(实施方式3)也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG - 2、MPEG4 — AVC,VC 一 I等不同的标准的动态图像编码方法或装置根据需要而适当切换,来生成影像数据。这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。图19是表示复用数据的结构的图。如图19所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG - 2、MPEG4 — AVC,VC 一 I等标准的动态图像编码方法或装置编码。音频流由杜比AC - 3, Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的方式编码。包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。图20是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。图21更详细地表示在PES包序列中怎样保存视频流。图21的第I段表示视频流的视频巾贞序列。第2段表示PES包序列。如图21的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS (Presentation Time-Stamp)及作为图片的解码时刻的 DTS (Decoding Time-Stamp) 图22表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header, 构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图22下段所示排列，从复用数据的开头起递增的号码被称作SPN (源包号)。此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为O。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC (Arrival Time Clock)与作为PTS及DTS的时间轴的STC (System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。图23是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。复用数据信息文件如图24所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。复用数据信息如图24所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。流属性信息如图25所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样 的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。此外，在图26中表示本实施方式的动态图像解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的动态图像解码方法进行解码。这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。(实施方式4)
在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图27中表示I芯片化的LSIex500的结构。LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exll7及照相机exll3等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。此外，在上述中，假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex501的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或`其一部分的CPUex502的结构。另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。(实施方式5)在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图28表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。更具体地讲，驱动频率切换部ex803由图27的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图27的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图30所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。图29表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4 - AVC,VC 一 I 等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4 - AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的影像数据的情况相比，将停止时间设定得短。这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。(实施方式6)在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的解码处理部一部分共用的结构。图31A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4 - AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构关于共通的处理内容，共用对应于MPEG4 - AVC标准的解码处理部ex902，关于不对应于MPEG4 — AVC标准的本发明的一个方式所特有的其 他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4 - AVC标准所特有的处理内容，使用专用的解码处理部。此外,用图31B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里,专用的解码处理部exl001、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。这样，对于在本发明的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。此次公开的实施方式在所有方面都是例示而不应被认为是限制性的。本发明的范围并非由上述的说明表示，而是由权利要求书表示，意味着包括与权利要求书等效的意义以及范围内的所有的变更。
102减法部
103正交变换部
104量化部
105可变长度编码部
106,206逆量化部
107,207逆正交变换部
108,208加法部
109,209块存储器
110,210帧内预测部
111,211帧存储器
112,212帧间预测部
113,213开关
121、131、221、231帧间预测控制部
124图片类型决定部
125预测运 动矢量竞争标志切换部
126跳跃块用预测运动矢量竞争标志切换部
205可变长度解码部
权利要求
1.一种图像编码方法，进行动态图像的预测编码，包括 第I标志生成步骤，生成第I标志，该第I标志表示是否从一个以上的预测运动矢量候选中选择预测运动矢量； 第2标志生成步骤，在所述第I标志表示选择预测运动矢量的情况下，生成第2标志，该第2标志表示在将编码对象块以规定的编码模式编码时是否从所述一个以上的预测运动矢量候选中选择预测运动矢量；以及 编码信号生成步骤，在所述第I标志表示选择预测运动矢量的情况下，生成在头信息中包含所述第I标志和所述第2标志的编码信号。
2.如权利要求1所记载的图像编码方法， 在所述编码信号生成步骤中，还在所述第I标志表示不选择预测运动矢量的情况下，生成在头信息中不包含所述第2标志的编码信号。
3.如权利要求2所记载的图像编码方法， 还包括如下步骤在将所述编码对象块以所述规定的编码模式编码时，在所述第I标志以及所述第2标志都表示选择预测运动矢量的情况下，将表示从所述一个以上的预测运动矢量候选中选择的预测运动矢量的索引信息包含于所述编码信号中。
4.如权利要求3所记载的图像编码方法， 所述规定的编码模式为跳跃模式， 在所述第2标志生成步骤中，基于在编码时作为目标的目标比特率或所述编码对象块的量化中的量化参数的值，决定所述第2标志的值。
5.一种图像解码方法，将对动态图像进行预测编码而得到的编码信号解码，包括 第I标志解码步骤，将所述编码信号的头信息中包含的第I标志解码，该第I标志表示是否从一个以上的预测运动矢量候选中选择预测运动矢量；以及 第2标志解码步骤，在所述第I标志表示选择预测运动矢量的情况下，将所述头信息中包含的第2标志解码，该第2标志表示在将解码对象块以规定的解码模式解码时是否从所述一个以上的预测运动矢量候选中选择预测运动矢量。
6.如权利要求5所记载的图像解码方法，还包括 索引信息解码步骤，在将所述解码对象块以所述规定的解码模式解码时，所述第I标志以及所述第2标志都表示选择预测运动矢量的情况下，从所述编码信号中将表示从所述一个以上的预测运动矢量候选中选择的预测运动矢量的索引信息解码。
7.一种图像编码装置，进行动态图像的预测编码，具备 预测运动矢量竞争标志切换部，生成第I标志，该第I标志表示是否从一个以上的预测运动矢量候选中选择预测运动矢量； 跳跃块用预测运动矢量竞争标志切换部，在所述第I标志表示选择预测运动矢量的情况下，生成第2标志，该第2标志表示在将编码对象块以规定的编码模式编码时是否从所述一个以上的预测运动矢量候选中选择预测运动矢量；以及 可变长度编码部，在所述第I标志表示选择预测运动矢量的情况下，生成在头信息中包含所述第I标志和所述第2标志的编码信号。
8.一种图像解码装置，将对动态图像进行预测编码而得到的编码信号解码，具备 可变长度解码部，将所述编码信号的头信息中包含的第I标志解码，该第I标志表示是否从一个以上的预测运动矢量候选中选择预测运动矢量，在所述第I标志表示选择预测运动矢量的情况下，将所述头信息中包含的第2标志解码，该第2标志表示在将解码对象块以规定的解码模式解码时是否从所述一个以上的预测运动矢量候选中选择预测运动矢量。
9.一种程序，用于使计算机执行权利要求1所记载的图像编码方法或权利要求5所记载的图像解码方法。
全文摘要
一种图像编码方法，包括第1标志生成步骤，生成第1标志，该第1标志表示是否从一个以上的预测运动矢量候选中选择预测运动矢量；第2标志生成步骤，在第1标志表示选择预测运动矢量的情况下，生成第2标志，该第2标志表示在将编码对象块以规定的编码模式编码时是否从一个以上的预测运动矢量候选中选择预测运动矢量；以及编码信号生成步骤，在第1标志表示选择预测运动矢量的情况下，生成在头信息中包含第1标志和第2标志的编码信号。
文档编号H04N7/32GK103039076SQ20118003699
公开日2013年4月10日 申请日期2011年9月21日 优先权日2010年9月24日
发明者杉尾敏康, 西孝启, 柴原阳司, 笹井寿郎 申请人:松下电器产业株式会社