图像编码方法以及图像编码装置与流程

本申请是2012年9月5日提交的申请号为201280031715.2、发明名称为“图像编码方法、图像解码方法、图像编码装置、图像解码装置以及图像编码和解码装置”的中国专利申请的分案申请。

本发明涉及图像编码方法、图像解码方法、图像编码装置、图像解码装置以及图像编码和解码装置，并且尤其涉及图像编码方法和图像解码方法，其中每一种方法都使用用于指定要在缓冲器中保持的图片的缓冲器描述。

背景技术：

诸如mpeg-4avc/h.264(参照非专利文献1)和即将到来的hevc(高效视频编码)的现有技术的视频编码方案，使用根据先前编码或解码的参照图片的图片间预测来执行图像或视频内容的编码。换句话说，视频编码方案利用在时间上连续的图片之间的信息冗余度。在mpeg-4avc视频编码方案中，解码图片缓冲器(dpb)中的参照图片通过以下的任意一种方法来管理，第一种方法是使用用于从dpb中去除编码顺序较早的图片的预先定义的滑动窗，第二种方法是明确地使用编码比特流中的多个缓冲器管理信号来对未使用的参照图片进行管理和移除。

[现有技术文献]

[非专利文献]

[非专利文献1]：iso/iec14496-10“mpeg-4part10advancedvideocoding”

技术实现要素：

[发明要解决的技术问题]

在采用这样的视频编码方案的图像编码方法和图像解码方法中，期望进一步提高编码效率。

因而，本发明提供能够提高编码效率的图像编码方法或者图像解码方法。

[用于解决问题的手段]

根据本发明一个方面的一种图像编码方法，使用用于指定被保持在缓冲器中的图片的缓冲器描述来生成编码比特流，其特征在于，包括：缓冲器描述定义信息写入步骤，将定义多个缓冲器描述的缓冲器描述定义信息写入与所述编码比特流对应的顺序参数集合；选择信息写入步骤，将从所述多个缓冲器描述中确定一个缓冲器描述的缓冲器描述选择信息写入所述编码比特流中包含的切片报头；以及编码步骤，使用由所述缓冲器描述选择信息所确定的缓冲器描述对切片进行编码；所述缓冲器描述定义信息包含长期信息，该长期信息表示由所述多个缓冲器描述所表示的多个参照图片中的、被分配为长期参照图片的参照图片。

这些总括和具体方面可以使用系统、方法、集成电路、计算机程序或者诸如cd-rom的计算机可读记录介质来实现，也可以使用系统、方法、集成电路、计算机程序或者计算机可读记录介质的任意组合来实现。

[发明效果]

本发明提供其中能够提高编码效率的图像编码方法或者图像解码方法。

附图说明

图1示出了图片参照结构的示例。

图2示出了编码比特流的结构。

图3是根据本发明实施例1的图像编码装置的方框图。

图4是根据本发明实施例1的图像编码方法的流程图。

图5示出了本发明实施例1的编码比特流的结构。

图6示出了本发明实施例1的变型的编码比特流的结构。

图7是根据本发明实施例1的图像解码装置的方框图。

图8是根据本发明实施例1的图像解码方法的流程图。

图9是根据本发明实施例2的图像编码方法的流程图。

图10示出了根据本发明实施例2的编码比特流的结构。

图11示出了根据本发明实施例2的变型的编码比特流的结构。

图12是根据本发明实施例2的图像解码方法的流程图。

图13是根据本发明实施例3的图像编码方法的流程图。

图14示出了根据本发明实施例3的编码比特流的结构。

图15示出了根据本发明实施例3的变型的编码比特流的结构。

图16是根据本发明实施例3的图像解码方法的流程图。

图17是根据本发明实施例4的图像编码方法的流程图。

图18示出了根据本发明实施例4的编码比特流的结构。

图19示出了根据本发明实施例4的序列参数集合的句法结构。

图20示出了根据本发明实施例4的切片报头的句法结构。

图21是根据本发明实施例4的图像解码方法的流程图。

图22示出了用于实现内容分发服务的内容提供系统的整体配置。

图23示出了数字广播系统的整体配置。

图24示出了说明电视机的配置示例的方框图。

图25示出了说明信息再现/记录单元的配置示例的方框图，该信息再现/记录单元从作为光盘的记录介质读取信息并且在作为光盘的记录介质上写入信息。

图26示出了作为光盘的记录介质的配置示例。

图27a示出了蜂窝电话的示例。

图27b是表示蜂窝电话的配置示例的方框图。

图28说明了复用数据的结构。

图29示意性示出了如何在复用数据中复用每一个流。

图30更加详细地示出了如何将视频流存储在pes分组流中。

图31示出了复用数据中的ts分组和源分组的结构。

图32示出了pmt的数据结构。

图33示出了复用数据信息的内部结构。

图34示出了流属性信息的内部结构。

图35示出了用于识别视频数据的步骤。

图36是表示用于实现根据每一个实施例的运动图片编码方法和运动图片解码方法的集成电路的配置示例的方框图。

图37示出了用于在驱动频率之间进行切换的配置。

图38示出了用于识别视频数据并且在驱动频率之间进行切换的步骤。

图39示出了其中使视频数据标准与驱动频率相关联的查找表的示例。

图40a是表示用于共享信号处理单元的模块的配置示例的图。

图40b是表示用于共享信号处理单元的模块的另一配置示例的图。

具体实施方式

(形成本发明的基础的基础知识)

hevc视频编码方案的最近发展包括引入使用缓冲器描述的dpb管理。所述缓冲器描述也被称为参照图片集合。代替对要被从dpb移除的图片进行定义，缓冲器描述对保留在dpb中的图片进行定义。换句话说，缓冲器描述是指示存储在dpb中的全部参照图片的图片标识符的列表。而且，所述缓冲器描述是存储在缓冲器中的多个参照图片的绝对描述，将在对当前或将来要处理的编码图像进行解码的过程中使用该多个参照图片。将该列表中的每一个项目称为缓冲器要素。缓冲器要素包含诸如图片顺序计数(poc)数目的对于每一个图片固有的图片标识符，以及诸如temporal_id值的该图片的附加信息。

在图片的编码或者解码的开始时激活该缓冲器描述。从dpb中移除没有包括在活动的缓冲器描述中的图片。这一缓冲器描述的优点包括针对传输/传送损失的提高的鲁棒性以及不存在的图片的简化的处理。

在某些情况下，视频序列中的多个图片共享相同的图片参照结构。例如，如图1所示，低延迟编码结构使用周期性集群结构，其中以具有四个图片的单元周期性地重复相同的层结构。将这一重复单元(这里为4个图片)称为集群。

在图1所示的示例中，图片编号(p0～p12)指示图片的固有的编码顺序和固有的显示或输出顺序二者。图片p0、p4、p8和p12构成图片的第一层。例如通过应用最弱的量化来以最高的画质对这些图片进行编码。图片p2、p6和p10构成第二层。这些图片以比第一层更低的画质被编码。图片p1、p3、p5、p7、p9和p11构成第三层。这些图片以最低的画质被编码。在这样的周期性参照结构中，集群内位于相同的相对位置处的图片(例如p1、p5和p9)通常使用相同的相对图片参照结构。例如，图片p5使用图片p4和p2作为参照图片，而图片p9使用图片p8和p6作为参照图片。

为了适应诸如上面结构的周期性集群结构，一种可设想的方案是缓冲器描述的周期性信号发送。这一缓冲器描述指定参照图片相对于要被编码或者解码的目标图片的时间距离或位置。由此，能够指定存储在dpb中的参照图片。例如，一旦这一缓冲器描述位于图片参数集合(pps)中，就对该缓冲器描述进行信号发送。然后，在集群内具有相同相对位置的多个图片的切片报头中重复地参照这一缓冲器描述。例如，指定{-1，-3}的相对位置的缓冲器描述能够用于p5中以便指定{p4，p2}作为参照图片并且能够由p9使用以便指定{p8，p6}作为参照图片。

图2示出了在这一情况下缓冲器描述的信号发送结构的示例。图2中示出的编码比特流500包括序列参数集合(sps)501(sps0)、多个图片参数集合(pps)502(pps0和pps1)、以及多个图片数据503。每一个图片数据503包括多个切片数据535。每一个切片数据535包括切片报头541和切片数据部分542。切片数据部分542包括多个编码单元(cu)数据543。

每一个pps502包括pps标识符522(pps_id)和缓冲器描述定义信息512(bd定义)。缓冲器描述定义信息512指示多个缓冲器描述515(bd0～bdn)。每一个缓冲器描述515包括多个缓冲器要素515a(be0～be2)。

因而，使用图片参数集合502中的缓冲器描述定义信息512来定义多个缓冲器描述515。每一个pps502由对于该pps固有的pps标识符522进行识别。

切片报头541包括pps选择信息533(pps_select)和缓冲器描述更新信息523(bd更新)。

pps选择信息533指示在切片的编码或者解码期间参照的pps502。在图2的示例中，满足pps_select＝0，并且选择具有pps_id＝0的pps0。

缓冲器描述更新信息523包括指定从缓冲器描述515中选择的缓冲器描述的信息。在图2的示例中，选择缓冲器描述bd1。此外，缓冲器描述更新信息523包括缓冲器描述修改信息。缓冲器描述修改信息向选择的缓冲器描述515内的选择的缓冲器要素515a分配图片标识符。这里，或者使用相对位置或者使用对于图片固有的标识符来指定图片标识符。对于该图片固有的标识符例如包括图片顺序计数(poc)数目。在图2的示例中，将由其poc数目＝214识别的图片p214分配给缓冲器描述bd1内的缓冲器要素be0。这一修改仅适用于当前的目标切片，而不适用于后续切片。当在使用缓存器描述bd1的后续切片或图片中要求具有相同内容的修改(将图片p214分配给缓冲器要素be0)时，这些后续切片或图片的切片报头应该包括具有相同内容的缓冲器描述更新信息523。

最近的视频编码方案支持使用长期参照图片，这些参照图片是在相当长的时段内保持在dpb中并且用作用于在这一时段期间对多个图片进行编码的帧间预测参照图片的参照图片。在avc视频编码方案中，使用存储器管理控制操作(mmco)处理来管理dpb中的长期参照图片。

在上面的缓冲器描述中，按照下面的方式来定义和管理长期参照图片。当通过指定参照图片的poc数目将该图片分配到缓冲器要素时，认为该参照图片是长期参照图片。另一方面，当通过指定到目标图片的相对距离(poc距离)将该图片分配到缓冲器要素时，认为该图片是非长期(短期)参照图片。只要每一个连续的缓冲器描述包括长期参照图片，该长期参照图片就保持在dpb中。

用于指定长期参照图片的参数仅在切片报头处可用。因此，为了在连续图片的范围上将长期参照图片保持在dpb内，该连续图片的范围内的每一个切片报头应该包含指示该长期参照图片的缓存器描述更新信息523。

因而，在上述技术中，用于分配长期参照图片的信息仅应用于要被编码或者解码的切片。此外，为了在长的时段内使用长期参照图片，编码比特流应该包括指示相同的分配的多条信息。

因而，本发明人发现的第一个问题是：由于包括在编码比特流中的重复的信息，编码效率下降。

而且，在上述技术中，使用固有的图片号码(poc数目)作为识别长期参照图片的信息。这一poc数目可能具有大的值并且因此需要许多比特。实际上，一次只使用几个长期参照图片。因此，不必要使用用于识别每一个长期参照图片的大的值。

因而，本发明人发现的第二个问题是：由于需要很多比特来指定长期参照图片，编码效率下降。

为了解决上述问题，根据本发明一个方面的图像编码方法是用于通过使用用于指定要被保持在缓冲器中的图片的缓冲器描述对图像进行编码来生成编码比特流的图像编码方法，该图像编码方法包括：将用于定义多个缓冲器描述的缓冲器描述定义信息写入序列参数集合；对于作为图片或者切片的每一个处理单元，选择所述缓冲器描述中的一个，并且将用于指定选择的缓冲器描述的缓冲器描述选择信息写入所述处理单元的第一报头，所述第一报头包括在所述编码比特流中；并且使用选择的缓冲器描述对所述处理单元进行编码，其中，所述缓冲器描述定义信息包括用于在由缓冲器描述覆盖的多个参照图片中间识别要被分配为长期参照图片的参照图片的长期信息。

由此，在根据本发明一个方面的图像编码方法中，将包括用于将参照图片分配为长期参照图片的长期信息的缓冲器描述定义信息写入由多个图片共享的序列参数集合，并且将指示要被选择的缓冲器描述的缓冲器描述标识符写入每一个图片或者切片的报头。与将用于将参照图片分配为长期参照图片的信息写入切片报头的情况相比较，这允许降低冗余信息，并且从而允许提高编码效率。

例如，该长期信息可以包括用于将要被分配的参照图片识别为长期参照图片的第一长期索引。

例如，该长期信息可以进一步包括用于指定与第一长期索引相关联的参照图片的固有图片顺序计数(poc)数目。

例如，第一报头可以进一步包括用于将要被分配的参照图片识别为长期参照图片的第二长期索引。

而且，根据本发明一个方面的图像解码方法是用于使用用于指定要被保持在缓冲器中的图片的缓冲器描述对编码比特流进行解码的图形解码方法，该图像解码方法包括以下步骤：从与所述编码比特流相对应的序列参数集合中获得用于定义多个缓冲器描述的缓冲器描述定义信息；从作为图片或者切片的处理单元的第一报头中获得用于指定所述缓冲器描述中的一个的缓冲器描述选择信息，所述第一报头包括在所述编码比特流中；并且使用在所述缓冲器描述选择信息中指定的缓冲器描述对所述处理单元进行解码，其中，所述缓冲器描述定义信息包括用于在由所述缓冲器描述覆盖的多个参照图片中间识别要被分配为长期参照图片的参照图片的长期信息。

由此，在根据本发明一个方面的图像解码方法中，能够以提高的编码效率对编码比特流进行解码。

例如，该长期信息可以包括用于识别要被分配为长期参照图片的参照图片的第一长期索引。

例如，该长期信息可以进一步包括用于指定与第一长期索引相关联的参照图片的固有的图片顺序计数(poc)数目。

例如，所述第一报头可以进一步包括用于识别要被分配为长期参照图片的参照图片的第二长期索引。

而且，根据本发明一个方面的图像编码装置是用于通过使用用于指定要被保持在缓冲器中的图片的缓冲器描述对图像进行编码来生成编码比特流的图像编码装置，所述图像编码装置包括：将用于定义多个缓冲器描述的缓冲器描述定义信息写入序列参数集合；并且对于作为图片或者切片的每一个处理单元，选择缓冲器描述中的一个，并且将用于指定选择的缓冲器描述的缓冲器描述选择信息写入包括在所述编码比特流中的第一报头，所述缓冲器描述定义信息包括用于在由缓冲器描述覆盖的多个参照图片中间识别要被分配为长期参照图片的参照图片的长期信息，并且所述图像编码装置使用选择的缓冲器描述来对所述处理单元进行编码。

由此，在根据本发明一个方面的图像编码装置中，将包括用于将参照图片分配为长期参照图片的长期信息的缓冲器描述定义信息写入由多个图片共享的序列参数集合，并且将指示要被选择的缓冲器描述的缓冲器描述标识符写入每一个图片或切片的报头。与将用于将参照图片分配为长期参照图片的信息写入切片报头中的情况相比较，这允许降低冗余信息，并且从而允许提高编码效率。

而且，根据本发明一个方面的图像解码装置是用于使用用于指定要被保持在缓冲器中的图片的缓冲器描述对编码比特流进行解码的图像解码装置，所述图像解码装置包括配置为执行下列步骤的帧存储器控制单元：从与所述编码比特流相对应的序列参数集合中获得用于定义多个缓冲器描述的缓冲器描述定义信息；并且从作为图片或者切片的处理单元的第一报头中获得用于指定缓冲器描述中的一个的缓冲器描述选择信息，所述第一报头包括在所述编码比特流中，其中，所述缓冲器描述定义信息包括用于在由所述缓冲器描述覆盖的多个参照图片中间识别要被分配为长期参照图片的参照图片的长期信息，并且所述图像解码装置使用在所述缓冲器描述选择信息中指定的缓冲器描述对所述处理单元进行解码。

由此，在根据本发明一个方面的图像解码装置中，能够对具有改善的编码效率的编码比特流进行解码。

而且，根据本发明一个方面的图像编码和解码装置包括所述图像编码装置和所述图像解码装置。

这些总括和具体的方面可以使用系统、方法、集成电路、计算机程序或者诸如cd-rom的计算机可读记录介质来实现，也可以通过系统、方法、集成电路、计算机程序或者计算机可读记录介质的任意组合来实现。

下面参照附图来更加详细地描述实施例。

以下描述的每一个实施例均示出了总括或者具体的示例。在下面的实施例中示出的数值、形状、材料、结构要素、结构要素的布置和连接、步骤、步骤的处理顺序等等只是示例，并且因此并不限制本发明。因此，在下面实施例中的结构要素中间、将在限定本发明概念的最广泛部分的独立权利要求中未引述的结构要素描述为任意的结构要素。

下面描述了四个实施例。本领域普通技术人员将明白，能够执行这些实施例的组合以便进一步增加周期性缓冲器描述定义的有用性和适用性。

(实施例1)

在这一实施例中，将包括长期信息的缓冲器描述定义信息写入sps。由此，与将长期信息写入切片报头中的情况相比较，这允许降低冗余信息，并且从而允许提高编码效率。

[编码装置]

图3是表示根据这一实施例的图像编码装置100的结构的方框图。

图像编码装置100逐块地对输入图像信号120进行编码，以便生成编码比特流132。如图3所示，图像编码装置100包括减法器101、正交变换单元102、量化单元103、逆量化单元104、逆正交变换单元105、加法器106、块存储器107、帧存储器108、帧内预测单元109、帧间预测单元110、图片类型确定单元111、可变长度编码单元112以及帧存储器控制单元113。

输入图像信号120是视频或者图像比特流。减法器101计算预测图像数据131与输入图像信号120之间的差值，从而生成预测误差数据121。正交变换单元102对预测误差数据121执行正交变换以便生成频率系数122。量化单元103对频率系数122进行量化，从而生成量化值123。可变长度编码单元112对量化值123执行熵编码(可变长度编码)，从而生成编码比特流132。

逆量化单元104对量化值123进行逆量化，从而生成频率系数124。逆正交变换单元105对频率系数122执行逆正交变换，从而生成预测误差数据125。加法器106对预测误差数据125和预测图像数据131进行相加，从而生成解码图像数据126。块存储器107将解码图像数据126逐块地保持为解码图像数据127。帧存储器108将解码图像数据126逐帧地保持为解码图像数据128。

帧内预测单元109执行帧内预测，以便生成要被编码的当前块的预测图像数据129。具体而言，帧内预测单元109在存储在块存储器107中的解码图像数据127内进行搜索，并且估计与输入图像信号120最相似的图像区域。

帧间预测单元110使用存储在帧存储器108中的每帧解码图像数据128执行帧间预测，以便生成当前块的预测图像数据130。

图片类型确定单元111选择预测图像数据129和预测图像数据130中的一个，并且输出选择的数据作为预测图像数据131。

帧存储器控制单元113对存储在帧存储器108中的解码图像数据128进行管理。具体而言，帧存储器控制单元113确定是否将解码图像数据128保持在帧存储器208中或者从帧存储器208删除。而且，帧存储器控制单元113构建要由帧间预测单元110使用的参照列表。而且，帧存储器控制单元113生成包括缓冲器描述定义信息的帧存储器控制信息133。可变长度编码单元112生成包括这一帧存储器控制信息133的编码比特流132。

[编码处理]

接着，对通过上面提及的图像编码装置100执行的图像编码方法进行描述。

图4是根据这一实施例的图像编码方法的流程图。而且，图4示出了对包括多个图片的单个视频序列执行的编码处理。

首先，图像编码装置100确定要对视频序列中的多个图片使用的多个缓冲器描述(s101)。缓冲器描述用于指定要被保持在缓冲器(帧存储器)中的图片。具体而言，每一个缓冲器描述包括多个缓冲器要素。每一个缓冲器要素包含与存储在帧存储器中的一个参照图片相对应的固有图片标识符。这意味着，每一个缓冲器描述指示存储在帧存储器中的多个参照图片。所述缓冲器描述也被称为参照图片集合。

而且，图像编码装置100确定在由所述缓冲器描述覆盖的多个参照图片中要被分配为长期参照图片的参照图片。

这里，长期参照图片指示在相对长的时段内保持在帧缓冲器中的参照图片。除了长期参照图片，将仅在短的时段内保持在帧缓冲器中的正常参照图片称为短期参照图片。这意味着，与短期参照图片相比较，长期参照图片在较长的时段内保持在帧缓冲器中。换句话说，长期参照图片到当前图片的时间距离比短期参照图片到当前图片的时间距离要长(例如，poc数目的差值的绝对值大)。

此外，取决于要被参照的参照图片是长期参照图片或者短期参照图片，编码和解码处理的细节部分不同。例如，在帧间预测中运动向量的使用取决于要被参照的参照图片是长期参照图片或者短期参照图片而不同。

接下来，图像编码装置100将定义确定的缓冲器描述的缓冲器描述定义信息写入编码比特流132中的序列参数集合(sps)(s102)。这里，sps是每一个视频序列中的参数集合(报头信息)。而且，这一缓冲器描述定义信息包括识别在由缓冲器描述覆盖的多个参照图片中间要被分配为长期参照图片的参照图片的长期信息。

接下来，图像编码装置100对于每一个图片选择要被用于对图片进行编码的多个缓冲器描述中的一个(s103)。值得注意的是，图像编码装置100对于每一个切片可以选择一个缓冲器描述。

接下来，图像编码装置100将指定选择的缓冲器描述的缓冲器描述选择信息写入包括在编码比特流132中的与当前图片相对应的图片报头(或者与当前切片相对应的切片报头)(s104)。

最后，图像编码装置100使用对于当前图片或切片选择的缓冲器描述和长期信息，对该当前图片或切片进行编码(s105)。而且，图像编码装置100生成包括产生的编码数据的编码比特流132。应该注意到，假设在长期信息中指示的参照图片为长期参照图片，使用长期信息进行编码具体而言意味着执行编码处理(如帧间预测处理)并且管理帧缓冲器。

[句法图解]

图5和图6是分别表示在这一实施例中缓冲器描述定义信息在编码比特流中的位置的句法图解。下面描述了两个示例性句法位置。

图5所示的编码比特流132包括sps301(sps0)、多个pps302(pps0和pps1)、以及多个图片数据303。每一个图片数据303包括图片报头331和图片数据部分332。图片数据部分332包括多个切片数据335。

sps301包括缓冲器描述定义信息312(bd定义)和sps标识符311(sps_id)。

缓冲器描述定义信息312定义多个缓冲器描述。例如，与上述缓冲器描述515类似，缓冲器描述分别包括多个缓冲器要素。

这里，上面的缓冲器描述定义信息312包括以下信息：

(1)指示在sps中定义的缓冲器描述的数量的参数(numofbd或num_short_term_ref_pic_sets)；

(2)指示每一个缓冲器描述中的缓冲器要素的数量的参数(numofbe[i]，num_negative_pics[i]或num_negative_pics[i])，其中每一个索引[i]是识别缓冲器描述的索引；

(3)识别被分配到每一个缓冲器描述中的缓冲器要素的多个参照图片的参数(be[i][j])，其中每一个索引[j]是识别缓冲器描述的索引，即，be[i][j]与在由索引“i”识别的缓冲器描述中由索引“j”指示的缓冲器要素相对应。

这里，按照下面来定义并且创建周期性缓冲器描述。首先，根据预定的循环来顺序地选择所有缓冲器描述中的所有缓冲器要素。随后，重复地创建用于将参照图片分配到每一个选择的缓冲器要素的参数be[i][j]。

每一个pps302包括sps选择信息321(sps_select)和pps标识符322(pps_id)。sps选择信息321(例如sps_select＝0)指示被参照的sps301。而且，由固有的pps标识符322(例如pps_id＝0)来识别每一个pps302。

图片报头331包括pps选择信息(pps_select)333和缓冲器描述选择信息334(bd_select)。

pps选择信息333(例如pps_select＝0)指示被参照的pps302。使用这一pps选择信息333，从图片报头331中参照pps302中的一个。而且，使用包括在pps302中的sps选择信息321，从被参照的pps302中参照sps301。这将当前图片链接到在sps301中定义的可用的多个缓冲器描述。

利用缓冲器描述选择信息334(例如bd_select＝2)，指定缓冲器描述中的一个。因而，从多个缓冲器描述中选择一个缓冲器描述。

根据选择的缓冲器描述，使用按顺序排列的参照图片对包括在图片数据303中的切片数据335进行编码和解码。

而且，如图6所示，每一个切片数据335包括切片报头341和切片数据部分342。切片数据部分342包括多个编码单元(cu)数据343。

在编码比特流132a中，pps选择信息333和缓冲器描述选择信息334没有包括在图片报头331a中，而是包括在切片报头341中。并且在这一情况下，能够获得与图5所示的情况相同的效果。

要注意到，可以将上述解释中的“切片”置换为“子图片单元”。子图片单元例如包括碎片(tile)、熵切片以及构成波面处理的子图片分割的块群(波面并行处理(wpp)单元)。

在这一实施例中，例如，为了将长期参照图片分配到缓冲器要素，使用作为绝对图片号码(如poc数目)的图片标识符。在这一情况下，当由缓冲器要素中的图片标识符识别参照图片时，将该参照图片看作是长期参照图片。这意味着，包括在缓冲器描述定义信息312中的长期信息可以包括识别要被分配为长期参照图片的参照图片的图片标识符。

要注意到，可以使用长期索引来将长期参照图片分配到缓冲器要素。换句话说，上述长期信息可以包括识别要被分配为长期参照图片的参照图片的长期索引。具体而言，首先将固有的长期索引分配到帧缓冲器中的参照图片。接下来，使用分配到缓冲器描述中的缓冲器要素的长期索引来选择参照图片。这意味着，长期索引是识别包括在帧缓冲器中的多个参照图片的索引。要注意到，长期索引可以是上述以外的索引。例如，长期索引可以是识别多个长期参照图片的索引。

当由活动的缓冲器描述中的长期索引识别参照图片时，将该参照图片认为是长期参照图片。要注意到，长期信息可以进一步包括用于将长期索引与由图片标识符(poc数目)识别的参照图片相关联的信息。这意味着，长期信息可以进一步包括用于指定与长期索引相关联的参照图片的固有的图片标识符(poc数目)。换言之，长期信息可以包括指示长期索引与图片标识符(poc数目)之间的对应关系的信息。

当将与被分配到第一参照图片的长期索引具有相同值的长期索引分配到位于第一参照图片之后的第二参照图片时，该长期索引指定所述第二参照图片并且不再指定第一参照图片。例如，可以将分配到包括在第一sps中的第一参照图片的长期索引的值直接分配到包括在第二sps中的第二参照图片。当所述第二sps变为活动时，长期索引的值不指定第一参照图片，而是指定第二参照图片。

要注意到，上述的图片标识符和长期索引二者可以用于将长期参照图片分配到缓冲器要素。在这一情况下，当由图片标识符或长期索引识别参照图片时，认为该参照图片是长期参照图片。

要注意到，只要长期信息将参照图片指定为长期参照图片，该长期信息可以是除上述以外的信息。例如，所述长期信息可以是指示是否要将由缓冲器要素指示的参照图片分配为长期参照图片的标志。或者，长期信息可以是指定要被分配为长期参照图片的一个或者多个参照图片的信息。对于这一指定，可以例如使用上述的长期索引和图片标识符(poc数目)中的至少一个。而且，所述长期信息可以是用于指定多个长期参照图片的列表。

[编码方法的效果]

如上所述，根据这一实施例的图像编码装置100能够防止用于构建参照列表的相同参数在编码比特流中的冗余重复。这允许图像编码装置100提高描述参照列表构造的参数的编码效率。而且，该图像编码装置100能够实现编码比特流的层级结构的发送信号单元的设计协调。

[解码装置]

图7是表示根据这一实施例的图像解码装置200的结构的方框图。

图7所示的图像解码装置200逐块地对编码比特流232进行解码，从而生成解码图像数据226。这一图像解码装置200包括可变长度解码单元212、逆量化单元204、逆正交变换单元205、加法器206、块存储器207、帧存储器208、帧内预测单元209、帧间预测单元210、图片类型确定单元211、以及帧存储器控制单元213。

编码比特流232例如是由上述的图像编码装置100生成的编码比特流132。

可变长度解码单元212对编码比特流232进行可变长度解码(熵解码)，以便生成量化值223和帧存储器控制信息233。这里，帧存储器控制信息233与上述的帧存储器控制信息133相对应。

逆量化单元204对量化值223进行逆量化，从而生成频率系数224。逆正交变换单元205对频率系数224执行逆频率变换，从而生成预测误差数据225。加法器206对预测误差数据225和预测图像数据231进行相加，从而生成解码图像数据226。将该解码图像数据226从图像解码装置200输出，并且例如进行显示。

块存储器207逐块地将解码图像数据226保持为解码图像数据227。帧存储器208逐帧地将解码图像数据226保持为解码图像数据228。

帧内预测单元209执行帧内预测以便生成要被解码的当前块的预测图像数据229。具体而言，帧内预测单元209在存储在块存储器207中的解码图像数据227内进行搜索，并且估计与解码图像数据226最相似的图像区域。

帧间预测单元210使用存储在帧存储器208中的每帧解码图像数据228执行帧间预测，以便生成当前块的预测图像数据230。

图片类型确定单元211选择预测图像数据229和预测图像数据230中的一个，并且将选择的数据输出作为预测图像数据231。

帧存储器控制单元213对存储在帧存储器208中的解码图像数据228进行管理。具体而言，帧存储器控制单元213根据帧存储器控制信息233执行存储器管理处理。帧存储器控制单元213确定将解码图像数据128保持在帧存储器208中还是从帧存储器208删除。而且，帧存储器控制单元213构造要由帧间预测单元210使用的参照列表。

[解码处理]

接下来，对由上述的图像解码装置200执行的图像解码方法进行描述。

图8是根据这一实施例的图像解码方法的流程图。而且，图8示出了对包括多个图片的单个视频序列执行的解码处理。

首先，图像解码装置200从编码比特流232中的sps获得包括长期信息并且定义多个缓冲器描述的缓冲器描述定义信息(s201)。

接下来，图像解码装置200从编码比特流232中的图片报头(或切片报头)获得缓冲器描述选择信息(s202)。对于当前图片(或者切片)，图像解码装置200然后从缓冲器描述中选择在缓冲器描述选择信息中指定的一个缓冲器描述(s203)。

最后，图像解码装置200使用选择的缓冲器描述和长期信息对当前图片(或切片)进行解码(s204)。要注意到，假设在长期信息中指示的参照图片为长期参照图片，使用长期信息进行解码具体而言意味着执行解码处理(如帧间预测处理)并且管理帧缓冲器。

[解码方法的效果]

如上所述，根据这一实施例的图像解码装置200能够对以提高的编码效率和缓冲器描述数据的协调设计的形式编码的编码比特流进行解码。

(实施例2)

这一实施例描述上述实施例1的变型。根据这一实施例的图像编码装置进一步将用于修改缓冲器描述的包括长期信息的缓冲器描述更新信息写入pps。

下面主要描述与实施例1的不同之处，并且因此省略重复的说明。

[编码装置]

根据这一实施例的图像编码装置100的方框图与图3中所示的相同或相似，并且因此不再进行解释。

[编码处理]

下面描述由根据这一实施例的图像编码装置100执行的图像编码方法。

图9是根据这一实施例的图像编码方法的流程图。与图4所示的根据实施例1的图像编码方法相比较，图9所示的处理附加地包括步骤s301和s302。

在步骤s102之后，图像编码装置100对多个缓冲器描述进行修改(s301)。具体而言，图像编码装置100对多个缓冲器描述中的一个或者多个缓冲器描述进行修改。要注意到，图像编码装置100可以代替修改原始缓冲器描述而添加新的缓冲器描述。图像编码装置100可以修改缓冲器描述中的一些或全部。例如，图像编码装置100可以修改包括在缓冲器描述中的多个缓冲器要素中的一些或者全部。而且，图像编码装置100确定是否要将包括在修改的缓冲器描述中的参照图片分配为长期参照图片。

接下来，为了对多个缓冲器描述中的一些缓冲器描述进行修改，图像编码装置100将指示该修改的细节的缓冲器描述更新信息写入编码比特流132中的pps(s302)。这里，缓冲器描述更新信息包括用于将参照图片分配为长期参照图片的长期信息。

要注意到，当在步骤s301中确定要创建新的缓冲器描述时，缓冲器描述更新信息包括用于定义新的附加的缓冲器描述的信息。

接下来，图像编码装置100从修改的多个缓冲器描述中选择一个缓冲器描述(s103)，并且将指定选择的缓冲器描述的缓冲器描述选择信息写入编码比特流132中的当前图片的图片报头(s104)。最后，图像编码装置100使用选择的缓冲器描述和长期信息，对当前的图片或切片进行编码(s105)。

[句法图解]

图10和图11是表示在这一实施例中缓冲器描述更新信息在编码比特流中的位置的句法图解。下面描述两个示例性句法位置。

图10所示的编码比特流132b与图5所示的编码比特流132的不同之处在于，pps302b更换pps302。具体而言，pps302b进一步包括缓冲器描述更新信息323(bd更新)。

这一缓冲器描述更新信息323包括：指定缓冲器描述的缓冲器描述选择信息；指定缓冲器要素的缓冲器要素选择信息；以及图片标识符。所述图片标识符包括在缓冲器描述选择信息中指定的缓冲器描述中，并且指定被分配到在缓冲器要素选择信息中指定的缓冲器要素的图片。要注意到，一个缓冲器要素与存储在帧缓冲器中的一个参照图片相对应。要注意到，所述缓冲器描述更新信息323可以包括所述缓冲器描述选择信息、所述缓冲器要素选择信息和所述图片标识符的多个集合。换句话说，所述缓冲器描述更新信息323可以包括用于更新多个缓冲器要素的信息。

而且，当编码比特流132b包括多个pps302时，一个pps302中的缓冲器描述更新信息323与另一个pps302中的缓冲器描述更新信息独立。即，可以使不同的pps302与不同的缓冲器描述相关联。例如，当第二pps为活动时，不使用包括在第一pps中的缓冲器描述更新信息323。在这一情况下，将包括在活动的第二pps中的缓冲器描述更新信息323应用于包括在sps301中的缓冲器描述定义信息312。

要注意到，这同样适用于使用长期索引的情况。具体而言，当第二pps为活动时，不使用包括在活动的第一pps中的长期索引。

而且，在缓冲器描述更新信息323中，将长期参照图片分配到缓冲器要素的方法可以与上述缓冲器描述定义信息312的情况相同或相似。在缓冲器描述更新信息323中，当由图片标识符或长期索引指示参照图片时，将该参照图片认为是长期参照图片。

这意味着包括在缓冲器描述更新信息323中的长期信息可以包括识别要被分配为长期参照图片的参照图片的图片标识符。而且，上述长期信息可以包括识别要被分配为长期参照图片的参照图片的长期索引。而且，所述长期信息可以进一步包括用于指定与所述长期索引相关联的参照图片的固有的图片标识符(poc数目)。

如上所述，对于当前图片，参照在包括在当前图片的图片报头中的pps选择信息333中指示的pps302b，并且然后参照包含在被参照的pps302b中的缓冲器描述更新信息323。而且，参照在包括在pps302b中的sps选择信息321中指示的sps301，并且参照包括在被参照的sps301中的缓冲器描述定义信息312。当被参照的缓冲器描述更新信息323包括用于更新在包括在上述图片报头331中的缓冲器描述选择信息334中指定的缓冲器描述的信息时，在对当前图片进行编码或解码的处理中使用基于这样的信息更新的缓冲器描述。相反，当被参照的缓冲器描述更新信息323不包括用于更新在包括在上述图片报头331中的缓冲器描述选择信息334中指定的缓冲器描述的信息时，在对当前图片进行编码或解码的处理中使用包括在sps301中的缓冲器描述定义信息312中并且在缓冲器描述选择信息334中指定的缓冲器描述。

在图11所示的编码比特流132c中，pps选择信息333和缓冲器描述选择信息334没有包括在图片报头331a中，而是包括在切片报头341中。而且在这一情况下，可以获得与图10所示情况相同的效果。

缓冲器描述更新信息323除了可以位于编码比特流中的pps中，还可以位于信号发送单元内。这样的其它信号发送单元与pps具有相同的特性，原因在于它们包含由一个或多个图片中的多个切片共同使用的参数。本领域普通技术人员能够明白从pps到这些其它信号发送单元的扩展和修改。

尽管上文描述了其中缓冲器描述定义信息312和缓冲器描述更新信息323都包括长期信息的示例，但是也可以仅缓冲器描述定义信息312和缓冲器描述更新信息323中的一个包括所述长期信息。

[编码方法的效果]

如上所述，根据这一实施例的图像编码装置100能够防止用于构建参照列表的相同参数在编码比特流中的冗余重复。该允许图像编码装置100提高描述参照列表构造的参数的编码效率。而且，该图像编码装置100能够实现编码比特流的层级结构的信令单元的设计协调。

[解码装置]

根据这一实施例的图像解码装置200的方框图与图7所示的相同或相似，并且因此不再进行解释。

[解码处理]

下面对由根据这一实施例的图像解码装置200执行的图像解码方法进行描述。

图12是根据这一实施例的图像解码方法的流程图。与图8所示的根据实施例1的图像解码方法中的步骤相比较，图12所示的处理附加地包括步骤s401。

在步骤s201之后，图像解码装置200从编码比特流232中的pps获得用于修改多个缓冲器描述的缓冲器描述更新信息(s401)。这里，所述缓冲器描述更新信息包括长期信息。

接下来，图像解码装置200从编码比特流232中的当前图片的图片报头中获得缓冲器描述选择信息，用于从修改的多个缓冲器描述中选择一个缓冲器描述(s202)。接下来，图像解码装置200对于当前图片(或切片)选择在缓冲器描述选择信息中指定的一个缓冲器描述(s203)。最后，图像解码装置200使用选择的缓冲器描述和长期信息，对当前图片或切片进行解码(s204)。

[解码方法的效果]

如上所述，根据这一实施例的图像解码装置200能够对按照提高的编码效率和缓冲器描述数据的协调设计的形式进行编码的编码比特流进行解码。

(实施例3)

这一实施例描述了上述实施例2的变型。这一实施例中的编码比特流在缓冲器描述更新信息的结构方面与实施例2不同。下面主要描述与实施例1或2的不同之处，并且因此不再进行解释。

[编码装置]

根据这一实施例的图像编码装置100的方框图与图3所示的相同或相似，并且因此不再进行解释。

[编码处理]

下面描述由根据这一实施例的图像编码装置100执行的图像编码方法。

图13是根据这一实施例的图像编码方法的流程图。与图4所示的根据实施例1的图像编码方法相比较，图13所示的处理附加地包括步骤s301a和s302a。而且，步骤s104a中的处理与步骤s104中的不同。

在步骤s103之后，图像编码装置100确定对于选择的缓冲器描述的修改(s301a)。而且，图像编码装置100确定是否要将包括在修改的缓冲器描述中的参照图片分配为长期参照图片。

接下来，为了选择并且修改选择的缓冲器描述，图像编码装置100将指示该修改的细节的缓冲器描述更新信息写入编码比特流132中的pps(s302a)。这里，缓冲器描述更新信息包括用于将参照图片分配为长期参照图片的长期信息。

要注意到，所述缓冲器描述更新信息的结构几乎与上述实施例2中的相同，但是例如，在这一实施例中，所述缓冲器描述更新信息仅包括缓冲器描述选择信息、缓冲器要素选择信息和图片标识符的一个集合。

接下来，图像编码装置100将pps选择信息写入编码比特流132中的当前图片的图片报头(或当前切片的切片报头)中，用于指示由所述图片参照上述pps(s104a)。由此参照一个相对应的缓冲器描述。最后，图像编码装置100使用选择的缓冲器描述和所述长期信息对当前图片或切片进行编码(s105)。

[句法图解]

图14和图15是分别表示在这一实施例中缓冲器描述更新信息在编码比特流中的位置的句法图解。下面描述两个示例性句法位置。

图14所示的编码比特流132d与图10所示的编码比特流132b的不同之处在于，pps302d中的缓冲器描述更新信息323d替换pps302b中的缓冲器描述更新信息323。而且，图片报头331d与图片报头331不同。

尽管所述缓冲器描述更新信息323d的结构与所述缓冲器描述更新信息323的结构几乎相同，但是例如，所述缓冲器描述更新信息323d仅包括缓冲器描述选择信息、缓冲器要素选择信息和图片标识符的一个集合。

要注意到，图片报头331d不包括缓冲器描述选择信息334。

如上所述，对于当前图片，参照在包括在当前图片的图片报头331d中的pps选择信息333中指示的pps302d，并且然后参照包括在被参照的pps302d中的缓冲器描述更新信息323d。随后，在对当前图片进行编码或解码的处理中使用被参照的缓存器描述更新信息323d。这意味着使用在相同的缓冲器描述更新信息323d中指示的一个更新的缓冲器描述来对参照相同的pps302d的图片或切片进行编码和解码。

在图15所示的编码比特流132e中，pps选择信息333没有包括在图片报头331a中，而是包括在切片报头341e中。并且在这一情况下，能够获得与图14所示的情况相同的效果。

要注意到，缓冲器描述更新信息323d除了可以位于编码比特流中的pps中以外，还可以位于信号发送单元中。

[编码方法的效果]

如上所述，根据这一实施例的图像编码装置100能够防止用于构建参照列表的相同参数在编码比特流中的冗余重复。这允许图像编码装置100提高描述参照列表构造的参数的编码效率。而且，图像编码装置100能够实现编码比特流的层级结构的信号发送单元的设计协调。

[解码装置]

根据这一实施例的图像解码装置200的方框图与图7所示的相同或相似，并且因此不再进行解释。

[解码处理]

下面对由根据这一实施例的图像解码装置200执行的图像解码方法进行描述。

图16是根据这一实施例的图像解码方法的流程图。与图8中所示的根据实施例1的图像解码方法相比较，图16所示的处理附加地包括步骤s401a。而且，步骤s202a和s203a中的处理与步骤s202和s203中的处理不同。

在步骤s201之后，图像解码装置200从编码比特流中的pps获得包括长期信息的缓冲器描述更新信息以及缓冲器描述选择信息，用于选择并且修改多个缓冲器描述中的一个缓冲器描述(s401a)。

接下来，图像解码装置200从编码比特流中的当前图片的图片报头中获得用于指示由当前图片参照上述pps的pps标识符(s202a)。接下来，图像解码装置200对于当前图片(或切片)选择在由pps标识符指定的pps中的缓冲器描述选择信息中指定的一个缓冲器描述(s203a)。最后，图像解码装置200使用选择的缓冲器描述和所述长期信息，对当前图片或切片进行解码(s204)。

[解码方法的效果]

如上所述，根据这一实施例的图像解码装置200能够对按照提高的编码效率和缓冲器描述数据的协调设计的形式进行编码的编码比特流进行解码。

(实施例4)

这一本实施例描述了上述实施例3的变型。在这一实施例中，缓冲器描述更新信息包括在切片报头中。下面主要描述与实施例1、2或3的不同之处，并且因而省略重复的解释。

[编码装置]

根据这一实施例的图像编码装置100的方框图与图3所示的相同或相似，并且因此不再进行解释。

[编码处理]

下面描述由根据这一实施例的图像编码装置100执行的图像编码方法。

图17是根据这一实施例的图像编码方法的流程图。图17所示的处理代替图13所示的根据实施例3的图像编码方法中的步骤s302a和s104a而包括步骤s302b。

在步骤s301a之后，为了修改选择的缓冲器描述，图像编码装置100将包括指定选择的缓冲器描述的缓冲器描述选择信息的缓冲器描述更新信息写入编码比特流中的当前切片的切片报头(s302b)。这里，缓冲器描述更新信息包括长期信息。

要注意到，缓冲器描述更新信息的结构例如与在上述实施例3中的结构相同或相似。

最后，图像编码装置100使用选择的缓冲器描述和长期信息对当前切片进行编码(s105)。

[句法图解]

图18是表示在这一实施例中缓冲器描述更新信息在编码比特流中的位置的句法图解。

图18所示的编码比特流132f与图15所示的编码比特流132e的不同之处在于，缓冲器描述更新信息323d没有包括在pps302d中，而是包括在切片报头341e中。

如上所述，对于当前切片，参照包括在当前切片的切片报头341f中的缓冲器描述更新信息323d。随后，在对当前图片进行编码或解码的处理中使用被参照的缓存器描述更新信息323d。

这里，一个切片报头341f中的缓冲器描述更新信息323d与另一个切片报头341f中的缓冲器描述更新信息相独立。换句话说，在包括在一个切片报头341f中的缓冲器描述更新信息323d中指示的更新处理仅应用于该切片而不能应用于另一个切片。此外，将包括在活动的切片报头341f中的缓冲器描述更新信息323d应用于包括在sps301中的缓冲器描述定义信息312。

下面描述根据这一实施例的sps301和切片报头341f的句法结构。图19示出了根据这一实施例的sps301的句法结构。图20示出了根据这一实施例的切片报头的句法结构。

如图19所示，sps301包括缓冲器描述定义信息312。所述缓冲器描述定义信息312包括用于将由包括在一个或多个缓冲器描述中的一个或多个缓冲器要素指示的参照图片分配为长期参照图片的长期信息402。这一长期信息402包括图片标识符403(如poc数目)和长期索引404。

如图20所示，切片报头341f(或子图片单元)包括缓冲器描述更新信息323d。所述缓冲器描述更新信息323d是用于选择缓冲器描述中的一个并且更新选择的缓冲器描述的信息。这一缓冲器描述更新信息323d包括缓冲器描述选择信息334以及用于将由包括在一个或多个缓冲器描述中的一个或多个缓冲器要素指示的参照图片分配为长期参照图片的长期信息405。这一长期信息405包括长期索引406和图片标识符407(poc数目)。

要注意到，可以使用包括在切片报头341f中的图片标识符407和长期索引406中的仅一个或二者来将长期参照图片分配到缓冲器要素。同样，可以使用包括在所述sps301中的图片标识符403和长期索引404中的仅一个或二者来将长期参照图片分配到缓冲器要素。

要注意到，在上述的其它实施例中，也可以使用相同或相似的句法结构。例如，还是在上述实施例1中，可以使用图19所示的sps的句法结构。而且，在实施例1中，切片报头341包含缓冲器描述选择信息334(short_term_ref_pic_set_idx)。

[编码方法的效果]

如上所述，根据这一实施例的图像编码装置100能够防止用于构造参照列表的相同参数在编码比特流中的冗余重复。这允许图像编码装置100提高描述参照列表构造的参数的编码效率。而且，图像编码装置100能够实现编码比特流的层级结构的信号发送单元的设计协调。

[解码装置]

根据这一实施例的图像解码装置200的方框图与图7所示的相同或相似，并且因此不再进行解释。

[解码处理]

下面对由根据这一实施例的图像解码装置200执行的图像解码方法进行描述。

图21是根据这一实施例的图像解码方法的流程图。图21所示的处理代替图8中所示的根据实施例1的图像解码方法中的步骤s202而包括步骤s401b。

在步骤s201之后，图像解码装置200从编码比特流中的当前切片的切片报头获得包括缓冲器描述选择信息的缓冲器描述更新信息，用于选择并且修改多个缓冲器描述中的一个缓冲器描述(s401b)。这里，缓冲器描述更新信息包括长期信息。

接下来，图像解码装置200选择在缓冲器描述选择信息中指定的缓冲器描述(s203)。最后，图像解码装置200使用选择的缓冲器描述和长期信息对当前切片进行解码(s204)。

[解码方法的效果]

如上所述，根据这一实施例的图像解码装置200能够对以提高的编码效率和缓冲器描述数据的协调设计的形式进行编码的编码比特流进行解码。

如上所述，在根据这一实施例的图像编码方法中，将定义多个缓冲器描述的缓冲器描述定义信息写入与编码比特流相对应的sps。

而且，在该图像编码方法中，对于作为图片或切片的每一个处理单元，选择缓冲器描述中的一个，并且将指定选择的缓冲器描述的缓冲器描述选择信息写入包括在编码比特流中的该处理单元的第一报头。这里，第一报头是图片或切片的报头，具体而言是pps、图片报头或切片报头。

在该图像编码方法中，使用选择的缓冲器描述对上述处理单元进行编码。

而且，上述缓冲器描述定义信息包括用于将参照图片分配为长期参照图片的长期信息。

如上所述，在该图像编码方法中，将包括长期信息的缓冲器描述定义信息写入由多个图片共享的序列参数集合中，并且将指示要被选择的缓冲器描述的缓冲器描述标识符写入每一个图片或切片的报头。与将缓冲器描述定义信息写入图片参数集合中的情况相比较，这允许降低冗余信息并且从而允许提高图像编码方法的编码效率。而且，在该图像编码方法中，与将长期信息写入切片报头中的情况相比较，能够降低冗余信息并且因此能够提高编码效率。

尽管上面描述了根据本发明实施例的图像编码装置和图像解码装置，但是本发明并不局限于这些实施例。

例如，尽管上面描述了sps包括在包括切片数据等等的编码比特流中的示例，但是，也可以与包括切片数据等等的编码比特流分离地将sps从图像编码装置传输到图像解码装置。

典型地将根据每一个上述实施例的图像编码装置和图像解码装置中包括的各自处理单元实现为作为集成电路的大规模集成电路(lsi)。可以将这些处理单元分别提供在单个芯片上，并且可以将它们中的部分或全部形成在单个芯片中。

而且，实现集成的方式并不局限于lsi，并且专用电路或通用处理器也可以实现集成。在制造lsi之后能够被编程的现场可编程门阵列(fpga)或允许lsi的连接或配置的重新配置的可配置处理器也可以用于相同的目的。

可以将每一个上述实施例中的每一个结构要素配置为专用硬件产品的形式或者可以通过执行适于所述结构要素的软件程序来实现。可以通过利用诸如cpu和处理器的程序执行单元读取和执行记录在诸如硬盘或半导体存储器的记录介质中的软件程序来实现每一个结构要素。

而且，可以将本发明实现为上述的软件程序，并且也可以实现为其上记录有上述程序的非暂态计算机可读记录介质。此外，理所当然能够经由诸如互联网的通信网络来分发这样的程序。

这里给出的数字全部是为了特别地说明本发明，并且因此本发明不局限于所述数字。

每一个方框图中的功能框的分割是一个示例，并且，可以将功能框中的一些实现为一个功能框同时可以将一个功能框划分为多个部分，并且可以将一个功能框的功能的一部分转移到另一个功能框。而且，可以通过单个硬件或软件并行或以时间分割的方式来处理具有相似功能的多个功能框的功能。

给出包括在上面的图像编码或解码方法中的步骤的处理顺序以便特别地说明本发明，并且因此也可以是任何其它顺序。上述步骤的一部分也可以与其它步骤同时(并行)执行。

(实施例5)

通过将用于实现在每一个上述实施例中描述的运动图片编码方法和运动图片解码方法的配置的程序记录在记录介质中，能够将在每一个上述实施例中描述的处理简单地实现在独立的计算机系统中。所述记录介质可以是只要能够记录程序的任何记录介质，例如磁盘、光盘、光磁盘、ic卡和半导体存储器。

以下将描述在每一个上述实施例中描述的运动图片编码方法和运动图片解码方法的应用以及使用其的系统。所述系统具有一个具有包括使用图像编码方法的图像编码装置和使用图像解码方法的图像解码装置的图像编码和解码装置的特征。所述系统的其它配置可以根据情况而适当改变。

图22说明了用于实现内容分发服务的内容提供系统ex100的整体配置。将用于提供通信服务的区域划分为具有期望尺寸的单元，并且在每一个单元中放置作为固定无线站的基站ex106、ex107、ex108、ex109和ex110。

所述内容提供系统ex100经由互联网ex101、互联网服务提供商ex102、电话网络ex104和基站ex106到ex110分别连接到诸如计算机ex111、个人数字助理(pda)ex112、照相机ex113、蜂窝电话ex114和游戏机ex115的设备。

然而，内容提供系统ex100的配置并不局限于图22所示的配置，并且其中连接任何要素的组合是可接受的。此外，每一个设备可以直接连接到电话网络ex104，而不是经由作为固定无线站的基站ex106到ex110。而且，也可以经由短距离无线通信等等将设备彼此互连。

诸如数码摄像机的照相机ex113能够拍摄视频。诸如数码相机的照相机ex116能够拍摄静止图像和视频。而且，蜂窝电话ex114可以是满足任何标准的设备，这些标准例如是全球移动通信系统(gsm)(注册商标)、码分多址(cdma)、宽带码分多址(w-cdma)、长期演进(lte)和高速分组接入(hspa)。或者，蜂窝电话ex114可以是个人手持电话系统(phs)。

在内容提供系统ex100中，经由电话网络ex104和基站ex109将流媒体服务器ex103连接到照相机ex113，这能够进行现场显示的图像等等的分发。在这样的分发中，按照上面在每一个实施例中描述的那样对由使用照相机ex113的用户拍摄的内容(例如音乐会现场的视频)(即，照相机起根据本发明方面的图像编码装置的作用)，并且将编码的内容传输到流媒体服务器ex103。另一方面，流媒体服务器ex103将传输的内容数据根据客户端的请求而向客户端执行流分发。所述客户端包括能够对上述编码的数据进行解码的计算机ex111、pdaex112、照相机ex113、蜂窝电话ex114和游戏机ex115。接收到分发的数据的每一个设备对该编码数据进行解码和再现(即，起根据本发明方面的图像解码装置的作用)。

可以通过照相机ex113或传输数据的流媒体服务器ex103对拍摄的数据进行编码，或者所述编码处理可以在照相机ex113和流媒体服务器ex103之间共享。类似地，可以通过客户端或流媒体服务器ex103解码分发的数据，或者所述解码处理可以在客户端和流媒体服务器ex103之间共享。而且，可以将不仅由照相机ex113而且由照相机ex116拍摄的静止图像和视频的数据经过计算机ex111传输到流媒体服务器ex103。所述编码处理可以通过照相机ex116、计算机ex111或流媒体服务器ex103执行，或者可以在它们之间共享。

并且，可以由通常包括在每一个计算机ex111和所述设备中的lsiex500执行所述编码解码处理。lsiex500可以配置有单个芯片或多个芯片。可以将用于对视频进行编码和解码的软件集成到能够由计算机ex111等等读取的某一类型的记录介质(例如cd-rom、软盘、硬盘)中，并且可以使用所述软件执行编码和解码处理。而且，当蜂窝电话ex114配备有照相机时，可以传输通过所述照相机获得的视频数据。视频数据是由包括在蜂窝电话ex114中的lsiex500解码的数据。

而且，流媒体服务器ex103可以由服务器和计算机组成，并且可以使数据分散且处理分散的数据、记录或者分发数据。

如上所述，在内容提供系统ex100中，客户端可以在内容提供系统ex100中接收并且再现编码数据。换句话说，在内容提供系统ex100中，客户端能够接收和解码由用户传输的信息，并且实时地再现解码的数据，以使得不具有任何特定权利和设备的用户能够实现个人广播。

除了内容提供系统ex100的示例之外，可以在图23中说明的数字广播系统ex200中实现在每一个实施例中描述的运动图片编码装置(图像编码装置)和运动图片解码装置(图像解码装置)中的至少一个。更具体地说，广播站ex201经由无线点播将通过将音频数据等等复用到视频数据上获得的复用数据通信或者传输到广播卫星ex202。该视频数据是通过在每一个实施例中描述的运动图片编码方法进行编码的数据(即，由根据本发明方面的图像编码装置进行编码的数据)。在接收到该复用数据时，广播卫星ex202发射无线电波用于广播。然后，具有卫星广播接收功能的家庭用天线ex204接收该无线电波。接下来，诸如电视机(接收机)ex300或机顶盒(stb)ex217的设备对接收的复用数据进行解码，并且再现解码的数据(即，起根据本发明方面的图像解码装置的作用)。

而且，读取器/记录仪ex218(ⅰ)对记录在诸如dvd、bd等等的记录介质ex215上的复用数据进行读取和解码，或者(ⅱ)对记录介质ex215中的视频信号进行编码，并且在一些情况下，对通过将音频数据复用在编码数据上获得的数据进行写入。读取器/记录仪ex218能够包括在每一个实施例中示出的运动图片解码装置或运动图片编码装置。在这一情况下，可以将再现的视频信号显示在监视器ex219上，并且能够通过使用其上记录有复用数据的记录介质ex215的另一设备或系统来再现视频信号。也能够在连接到用于有线电视的线缆ex203或用于卫星/地面广播的天线ex204的机顶盒ex217中实现运动图片解码装置，以便在电视机ex300的监视器ex219上显示视频信号。可以不是在机顶盒中而是在电视机ex300中实现运动图片解码装置。

图24说明了使用在每一个实施例中描述的运动图片编码方法和运动图片解码方法的电视机(接收机)ex300。电视机ex300包括：获得或者提供通过经由接收广播的天线ex204或线缆ex203将音频数据复用到视频数据上获得的复用数据的调谐器ex301；解调接收的复用数据或者将数据调制为要被供应到外部的复用数据的调制/解调单元ex302；将调制的复用数据解复用为视频数据和音频数据或者将由信号处理单元ex306编码的视频数据和音频数据复用为数据的复用/解复用单元ex303。

电视机ex300进一步包括：包括分别对音频数据和视频数据进行解码并且对音频数据和视频数据进行编码的音频信号处理单元ex304和视频信号处理单元ex305(起根据本发明方面的图像编码装置和图像解码装置的作用)的信号处理单元ex306；以及包括提供解码音频信号的扬声器ex307和诸如显示器的显示解码视频信号的显示单元ex308的输出单元ex309。而且，电视机ex300包括具接收用户操作的输入的操作输入单元ex312的接口单元ex317。而且，电视机ex300包括整体控制电视机ex300的每一个构成元件的控制单元ex310、向每一个元件供应功率的电源供应电路单元ex311。除了操作输入单元ex312，接口单元ex317还可以包括：连接到诸如读取器/记录仪ex218的外部设备的桥ex313；用于使能诸如sd卡的记录介质ex216的附接的插槽单元ex314；要被连接到诸如硬盘的外部记录介质的驱动器ex315；以及要被连接到电话网络的调制解调器ex316。这里，记录介质ex216能够使用用于存储的非易失性/易失性半导体存储元件来电气地记录信息。电视机ex300的构成元件经过同步总线彼此连接。

首先，将描述其中电视机ex300对经过天线ex204等等从外部获得的复用数据进行解码并且再现解码数据的配置。在电视机ex300中，当具有经远程控制器ex220等等的用户操作时，在包括cpu的控制单元ex310的控制下，复用/解复用单元ex303对由调制/解调单元ex302解调的复用数据进行解复用。而且，在电视机ex300中，使用在每一个实施例中描述的解码方法，音频信号处理单元ex304对解复用的音频数据进行解码，并且视频信号处理单元ex305对解复用的视频数据进行解码。输出单元ex309分别将解码的视频信号和音频信号输出到外部。当输出单元ex309提供视频信号和音频信号时，可以将这些信号临时存储在缓冲器ex318和ex319等等中，以使得彼此同步地再现这些信号。而且，电视机ex300可以不经过广播等等而是从诸如磁盘、光盘和sd卡的记录介质ex215和ex216来读取复用数据。接下来，将对其中电视机ex300对音频信号和视频信号进行编码并且将数据传输到外部或者将数据写入到记录介质中的配置进行说明。在电视机ex300中，在具有经过远程控制器ex220等等的用户操作时，在控制单元ex310的控制下，使用在每一个实施例中描述的编码方法，音频信号处理单元ex304对音频信号进行编码，并且视频信号处理单元ex305对视频信号进行编码。复用/解复用单元ex303对编码的视频信号和音频信号进行复用，并且将产生的信号提供到外部。当复用/解复用单元ex303对视频信号和音频信号进行复用时，可以将这些信号临时存储在缓冲器ex320和ex321等等中，以使得能够彼此同步地再现这些信号。这里，缓冲器ex318、ex319、ex320、ex321可以如所说明的那样为多个，或者可以在电视机ex300中共享至少一个缓冲器。而且，可以将数据存储在缓冲器中，以使得能够例如在调制/解调单元ex302和复用/解复用单元ex303之间避免上溢和下溢。

而且，电视机ex300除了包括用于从广播或者记录介质获得音频和视频数据的配置之外，也可以包括用于接收从麦克风或照相机输入的av的配置，并且可以对获得的数据进行编码。尽管在该描述中电视机ex300能够编码、复用并且提供外部数据，但是它也能够仅接收、解码和提供外部数据而不进行编码、复用和提供外部数据。

而且，当读取器/记录仪ex218从记录介质读取复用数据或者向记录介质写入复用数据时，电视机ex300和读取器/记录仪ex218中的一个可以对复用数据进行解码或编码，并且电视机ex300和读取器/记录仪ex218可以共享解码或编码。

作为示例，图25说明了当从光盘读取数据或向光盘写入数据时信息再现/记录单元ex400的配置。信息再现/记录单元ex400包括以下要进行描述的单元ex401、ex402、ex403、ex404、ex405、ex406和ex407。光学头ex401在作为光盘的记录介质ex215的记录表面中照射激光斑以便写入信息，并且检测来自记录介质ex215的记录表面的反射光以便读取信息。调制记录单元ex402电气地驱动包括在光学头ex401中的半导体激光器，并且根据记录数据来调制激光。再现解调单元ex403使用包括在光学头ex401中的光检测器放大通过电气地检测来自记录表面的反射光获得的再现信号，并且通过分离记录在记录介质ex215上的信号分量来解调再现信号，以便再现必要信息。缓冲器ex404临时保持要被记录在记录介质ex215上的信息以及从记录介质ex215再现的信息。盘马达ex405使记录介质ex215旋转。伺服控制单元ex406在控制盘马达ex405的旋转驱动的同时使光学头ex401移动到预定的信息轨道，以便追踪激光斑。系统控制单元ex407整体控制信息再现/记录单元ex400。通过使用存储在缓冲器ex404中的各种信息并且根据需要生成且添加新信息的系统控制单元ex407，并且通过在按照协调的方式进行操作的同时经过光学头ex401记录并且再现信息的调制记录单元ex402、再现解调单元ex403和伺服控制单元ex406，能够实现读取和写入处理。系统控制单元ex407例如包括微处理器，并且通过使计算机执行用于读取和写入的程序来执行处理。

尽管在该描述中所述光学头ex401照射激光斑，但是也可以使用近场光来执行高密度记录。

图26说明了作为光盘的记录介质ex215。在记录介质ex215的记录表面上，以螺旋状形成导引槽，并且信息轨道ex230根据导引槽形状的改变提前记录指示在该盘上的绝对位置的地址信息。该地址信息包括用于确定作为用于记录数据的单元的记录块ex231的位置的信息。在记录和再现数据的装置中再现信息轨道ex230并且读取地址信息可以导致记录块位置的确定。而且，记录介质ex215包括数据记录区域ex233、内周区域ex232和外周区域ex234。数据记录区域ex233是用于在记录用户数据时使用的区域。分别位于所述数据记录区域ex233内侧和外侧的内周区域ex232和外周区域ex234用于除了记录用户数据之外的特定用途。所述信息再现/记录单元400从记录介质ex215的数据记录区域ex233读取编码的音频、编码的视频数据或通过复用编码的音频和视频数据获得的复用数据并且将该编码的音频、编码的视频数据或通过复用编码的语音和视频数据获得的复用数据写入该记录介质ex215的数据记录区域ex233中。

尽管在说明中作为示例描述了具有层状的光盘，例如dvd和bd，但是所述光盘并不局限于这些，并且可以是具有多层结构且能够在表面以外的部分上进行记录的光盘。而且，光盘可以具有用于多维记录/再现的结构，例如在光盘的相同部分中使用具有不同波长的颜色的光的信息的记录，以及从各种角度记录具有不同层的信息。

而且，在数字广播系统ex200中，具有天线ex205的车辆ex210能够从卫星ex202等等接收数据，并且在诸如设置在车辆ex210内的车辆导航系统ex211的显示设备上再现视频。这里，车辆导航系统ex211的配置可以例如是包括来自图24中说明的配置的gps接收单元的配置。对于具有计算机ex111、蜂窝电话ex114等等的配置，也是如此。

图27a说明了使用在上述实施例中描述的运动图片编码方法和运动图片解码方法的蜂窝电话ex114。蜂窝电话ex114包括：用于经过基站ex110发射和接收无线电波的天线ex350；能够拍摄运动和静止图像的照相机单元ex365；以及例如用于显示诸如由照相机单元ex365拍摄的或由天线ex350接收的解码的视频的液晶显示器的显示单元ex358。蜂窝电话ex114进一步包括：包括操作键单元ex366的主体单元；用于输出音频的诸如扬声器的音频输出单元ex357；用于输入音频的诸如麦克风的音频输入单元ex356；用于存储拍摄的视频或静止图片，记录的音频，接收的音频的编码或解码数据、静止图像、电子邮件等等的存储器单元ex367；以及作为用于按照存储器单元ex367相同方式存储数据的记录介质的接口单元的插槽单元ex364。

接下来，将参照图27b描述蜂窝电话ex114的配置的示例。在蜂窝电话ex114中，设计为总体控制包括显示单元ex358以及操作键单元ex366的主体的每一个单元的主控制单元ex360，经由同步总线ex370共同连接到电源电路单元ex361、操作输入控制单元ex362、视频信号处理单元ex355、照相机接口单元ex363、液晶显示器(lcd)控制单元ex359、调制/解调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、插槽单元ex364和存储器单元ex367。

当通过用户的操作开启通话结束键或者电源键时，电源电路单元ex361从电池组向各自单元供应功率以便激活蜂窝电话ex114。

在蜂窝电话ex114中，在包括cpu、rom和ram的主控制单元ex360的控制下，音频信号处理单元ex354将在语音通话模式中由音频输入单元ex356收集的音频信号转换为数字音频信号。然后，调制/解调单元ex352对所述数字音频信号执行扩频处理，并且发射和接收单元ex351对数据执行数模转换和频率变换，以便经由天线ex350发射产生的数据。并且，在蜂窝电话ex114中，发射和接收单元ex351放大在语音通话模式中由天线ex350接收的数据并对所述数据执行频率变换和数模转换。然后，所述调制/解调单元ex352对所述数据执行逆扩频处理，并且所述音频信号处理单元ex354将该数据转换为模拟音频信号，以便经由音频输出单元ex357将其输出。

而且，当在数据通信模式下发送电子邮件时，将通过操作主体的操作键单元ex366等等输入的电子邮件的文本数据经由操作输入控制单元ex362发送出到主控制单元ex360。主控制单元ex360使调制/解调单元ex352对该文本数据执行扩频处理，并且发射和接收单元ex351对产生的数据执行数模转换和频率变换，以便经由天线ex350向基站ex110发射数据。当接收到电子邮件时，对接收的数据执行与上述用于发送电子邮件的处理近似为逆的处理，并且将产生的数据提供到显示单元ex358。

当发射视频、静止图像、或者数据通信模式中的视频和音频时，视频信号处理单元ex355使用在每一个实施例中示出的运动图片编码方法对从照相机单元ex365供应的视频信号进行压缩和编码，并且将编码的视频数据发射到复用/解复用单元ex353。相反地，在照相机单元ex365拍摄视频、静止图像等等期间，音频信号处理单元ex354对由音频输入单元ex356收集的音频信号进行编码，并将编码的音频数据发射到复用/解复用单元ex353。

所述复用/解复用单元ex353使用预定的方法，对从视频信号处理单元ex355供应的编码的视频数据和从音频信号处理单元ex354供应的编码的音频数据进行复用。然后，调制/解调单元(调制/解调电路单元)ex352对复用数据执行扩频处理，并且发射和接收单元ex351对该数据执行数模转换和频率变换，以便经由天线ex350发射产生的数据。

当在数据通信模式下接收到具有链接到网页等等的视频文件的数据时，或者当接收到附加有视频和/或音频的电子邮件时，为了对经由天线ex350接收的复用数据进行解码，复用/解复用单元ex353将复用数据解复用为视频数据比特流和音频数据比特流，并且经过同步总线ex370为视频信号处理单元ex355供应编码的视频数据且为音频信号处理单元ex354供应编码的音频数据。所述视频信号处理单元ex355使用在每一个实施例中示出的与运动图片编码方法相对应的运动图片解码方法来对视频信号进行解码(即，起根据本发明方面的图像解码装置的作用)，并且然后，所述显示单元ex358例如经由lcd控制单元ex359显示包括在链接到网页的视频文件中的视频和静止图像。而且，所述音频信号处理单元ex354对音频信号进行解码，并且所述音频输出单元ex357提供音频。

而且，与电视机ex300类似，诸如蜂窝电话ex114的终端可能具有三种类型的实现配置，不仅包括(ⅰ)包括编码装置和解码装置二者的发射和接收终端，还包括(ⅱ)仅包括编码装置的发射终端以及(ⅲ)仅包括解码装置的接收终端。尽管在该描述中数字广播用系统ex200接收和发射通过将音频数据复用到视频数据上获得的复用数据，但是复用数据可以是通过将与视频相关的字符数据而非音频数据复用到视频数据上获得的数据，并且也可以不是复用数据而是视频数据本身。

这样，可以在所描述的任意设备和系统中使用每一个实施例中的运动图片编码方法和运动图片解码方法。因而，能够获得在每一个实施例中描述的优点。

而且，本发明并不局限于上述每一个实施例，并且能够对本发明的任意实施例做出各种变型或修改。

(实施例6)

如果需要，可以通过在(i)在上述每一个实施例中示出的运动图片编码方法或运动图片编码装置与(ii)符合诸如mpeg-2、mpeg-4avc和vc-1的不同标准的运动图片编码方法或运动图片编码装置之间进行切换来生成视频数据。

这里，当生成并且然后解码符合不同标准的多个视频数据时，需要选择解码方法以便符合不同的标准。然而，由于不能够检测要被解码的多个视频数据中的每一个符合哪个标准，因此存在不能够选择适当的解码方法的问题。

为了解决该问题，通过将音频数据等等复用到视频数据获得的复用数据具有包括指示该视频数据符合哪个标准的识别信息的结构。以下将描述包括通过在每一个实施例中示出的运动图片编码方法和运动图片编码装置中生成的视频数据的复用数据的具体结构。所述复用数据是mpeg-2传输流格式的数字流。

图28说明了复用数据的结构。如图28中说明的，能够通过复用视频流、音频流、演示图形流(pg)和交互图形流中的至少一个来获得复用数据。视频流代表电影的主视频和辅视频，音频流(ig)代表主音频部分和要与主音频部分混合的辅音频部分，并且演示图形流代表电影的字幕。这里，主视频是要在屏幕上显示的正常视频，并且辅视频是要在主视频中的较小窗口上显示的视频。而且，交互图形流代表通过在屏幕上布置gui部件生成的交互屏幕。通过在每一个实施例中示出的运动图片编码方法或运动图片编码装置或者通过符合诸如mpeg-2、mpeg-4avc和vc-1的传统标准的运动图片编码方法或运动图片编码装置来对视频流进行编码。根据诸如杜比ac-3、杜比数字+、mlp、dts、dts-hd和线性pcm的标准对音频流进行编码。

包括在复用数据中的每一个媒体流由pid进行识别。例如，将0x1011分配到要用于电影的视频的视频流，将0x1100到0x111f分配到音频流，将0x1200到0x121f分配到演示图形流，将0x1400到0x141f分配到交互图形流，将0x1b00到0x1b1f分配到要用于电影的辅视频的视频流，并且将0x1a00到0x1a1f分配到要用于与主音频混合的辅音频的音频流。

图29示意性说明了如何复用数据。首先，将由视频帧构成的视频流ex235和由音频帧构成的音频流ex238分别变换为pes分组流ex236和pes分组流ex239，并且进一步地分别变换为ts分组ex237和ts分组ex240。类似地，将演示图形流ex241的数据和交互图形流ex244的数据分别变换为pes分组流ex242和pes分组流ex245，并且进一步地分别变换为ts分组ex243和ts分组ex246。将这些ts分组复用为流以便获得复用数据ex247。

图30更加详细地说明了如何将视频流存储在pes分组流中。图30中的第一条形示出了视频流中的视频帧流。第2条形示出了pes分组流。如图30中的箭头yy1、yy2、yy3和yy4所指示的，将视频流划分为分别作为视频演示单元的i-图片、b-图片和p-图片的图片，并且将这些图片保存在每一个pes分组的有效载荷中。每一个pes分组具有pes报头，并且所述pes报头存储指示图片的显示时间的演示时间戳(pts)以及指示图片的解码时间的解码时间戳(dts)。

图31说明了要被最终写入在复用数据上的ts分组的格式。每一个ts分组是包括具有诸如用于识别流的pid的信息的4字节ts报头和用于存储数据的184字节ts有效载荷的188字节固定长度分组。所述pes分组分别被划分并且存储在ts有效载荷中。当使用bdrom时，对每一个ts分组给出4字节tp_extra_header，因而产生192字节源分组。将源分组写入在复用数据上。tp_extra_header存储诸如ats(arrival_time_stamp)的信息。ats表示要将每一个ts分组传送到pid滤波器的传送开始时间。如图31的下部示出的，在复用数据中布置源分组。将从复用数据的报头开始递增的号码称为源分组号码(spn)。

包括在复用数据中的每一个ts分组不仅包括视频、音频、字幕等等的流，而且还包括程序关联表(pat)、程序映射表(pmt)以及程序时钟参考(pcr)。pat表示在复用数据中使用的pmt中的pid指示什么，并且pat自身的pid被登记为0。pmt存储包括在复用数据中的视频、音频、字幕等等的流的pid以及与pid相对应的流的属性信息。pmt还具有与复用数据相关的各种描述。描述具有诸如表示是否允许复用数据的拷贝的拷贝控制信息的信息。pcr存储与ats相对应的表示何时将pcr分组传送到解码器的stc时间信息，以便实现作为ats的时间轴的到达时间时钟(atc)与作为pts和dts的时间轴的系统时间时钟(stc)之间的同步。

图32详细地说明了pmt的数据结构。将pmt报头布置在该pmt的顶部处。pmt报头描述了包括在该pmt中的数据长度等等。在pmt报头之后布置有与复用数据相关的多个描述符。在该描述符中描述了诸如拷贝控制信息的信息。在描述符之后布置有与包括在复用数据中的流相关的多条流信息。每一条流信息包括流描述符，每一个流描述符描述诸如用于识别流的压缩编解码器的流类型、流pid和流属性信息(例如帧速率或宽高比)的信息。所述流描述符在数量上与复用数据中的流的数量相等。

当将复用数据记录到记录介质等等上时，将上述复用数据与复用数据信息文件一起进行记录。

每一个复用数据信息文件是如图33所示的复用数据的管理信息。复用数据信息文件与复用数据一对一地对应，并且每一个文件包括复用数据信息、流属性信息以及条目地图。

如图33中说明的，复用数据信息包括系统速率、再现开始时间和再现结束时间。系统速率指示后面将描述的系统目标解码器向pid滤波器传送复用数据的最大传送速率。将包括在复用数据中的ats的间隔设置为不高于系统速率。再现开始时间指示在复用数据的报头处视频帧中的pts。向位于复用数据末端的视频帧中的pts添加一个帧的间隔，并且将pts设置为再现结束时间。

如图34所示，对于包括在复用数据中的每一个流的每一个pid，在流属性信息中登记一条属性信息。取决于相对应的流是视频流、音频流、演示图形流或交互图形流，每一条属性信息具有不同的信息。每一条视频流属性信息携带有包括使用何种压缩编解码器对视频流进行压缩、分辨率、宽高比以及包括在视频流中的多段图片数据的帧速率的信息。每一条音频流属性信息携带有包括使用何种压缩编解码器对音频流进行压缩、音频流中包括多少信道、音频流支持哪种语言以及采样频率是多高的信息。所述视频流属性信息和所述音频流属性信息用于在播放器重放信息之前解码器的初始化。

在当前实施例中，要被使用的复用数据具有包括在pmt中的流类型。而且，当在记录介质上记录复用数据时，使用包括在复用数据信息中的视频流属性信息。具体而言，在每一个实施例中描述的运动图片编码方法或运动图片编码装置包括如下步骤或单元，该步骤或单元用于将指示由每一个实施例中的运动图片编码方法或者运动图片编码装置生成的视频数据的固有信息分配到包括在pmt中的流类型或视频流属性信息。利用该配置，能够将通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据与符合另一标准的视频数据区分开。

而且，图35说明了根据当前实施例的运动图片解码方法的步骤。在步骤exs100中，从复用数据获得包括在pmt中的流类型或者包括在复用数据信息中的视频流属性信息。接下来，在步骤exs101中，确定该流类型或视频流属性信息是否指示该复用数据通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成。当确定该流类型或视频流属性信息指示复用数据通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成时，在步骤exs102中，通过在上述各实施例中描述的运动图片解码方法进行解码。而且，当该流类型或视频流属性信息指示符合诸如mpeg-2、mpeg-4avc和vc-1的传统标准时，在步骤exs103中，通过符合传统标准的运动图片解码方法执行解码。

这样，通过向流类型或者视频流属性信息分配新的固有值，能够确定在上述各实施例中描述的运动图片解码方法或运动图片解码装置是否能够执行解码。甚至当输入符合不同标准的复用数据时，也能够选择适当的解码方法或装置。因而，能够没有任何误差地对信息进行解码。而且，可以在上述的设备和系统中使用当前实施例中的运动图片编码方法或装置、或者运动图片解码方法或装置。

(实施例7)

典型地按照集成电路或大规模集成(lsi)电路的形式实现在上述各实施例中描述的运动图片编码方法、运动图片编码装置、运动图片解码方法和运动图片解码装置。作为所述lsi的示例，图36说明了被制造在一个芯片中的lsiex500的配置。lsiex500包括要在下面描述的元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508和ex509，并且所述元件经过总线ex510彼此连接。当电源电路单元ex505接通时，通过对每一个元件供应功率来激活电源电路单元ex505。

例如，当执行编码时，在包括cpuex502、存储器控制器ex503、流控制器ex504和驱动频率控制单元ex512的控制单元ex501的控制下，所述lsiex500经过avi/oex509接收从麦克风ex117和照相机ex113等等输入的av信号。接收到的av信号被临时存储在诸如sdram的外部存储器ex511中。在控制单元ex501的控制下，根据处理量以及要传输到信号处理单元ex507的速度，将存储的数据分段为数据部分。然后，信号处理单元ex507对音频信号和/或视频信号进行编码。这里，视频信号的编码是在上述各实施例中描述的编码。而且，所述信号处理单元ex507有时对编码的音频数据和编码的视频数据进行复用，并且流i/oex506将复用数据提供到外部。将该提供的复用数据传输到基站ex107，或者写入记录介质ex215。当复用数据集合时，可以将数据临时存储在缓冲器ex508中以使得数据集合彼此同步。

尽管存储器ex511是位于lsiex500外部的元件，但是也可以将其包括在lsiex500中。缓冲器ex508也并不局限于一个缓冲器，而是可以由多个缓冲器组成。而且，可以将lsiex500制造在一个芯片或者多个芯片中。

而且，尽管控制单元ex510包括cpuex502、存储器控制器ex503、流控制器ex504、驱动频率控制单元ex512，但是控制单元ex510的配置并不局限于此。例如，信号处理单元ex507可以进一步包括cpu。在信号处理单元ex507中包括另一cpu能够提高处理速度。而且，作为另一示例，cpuex502可以用作信号处理单元ex507或者作为信号处理单元ex507的一部分，并且例如，cpuex502可以包括音频信号处理单元。在这样的情况下，控制单元ex501包括信号处理单元ex507或者包括具有信号处理单元ex507一部分的cpuex502。

这里使用的名称为lsi，但是取决于集成度，也可以将其称作ic、系统lsi、超级lsi或特级lsi。

而且，实现集成的方式并不局限于lsi，并且专用电路或通用处理器等等也可以实现集成。能够在lsi制造之后进行编程的现场可编程门阵列(fpga)或者允许lsi的连接或配置的重新配置的可配置处理器能够用于相同目的。

未来，随着半导体技术的发展，新生技术可能替代lsi。可以使用这样的技术来集成功能方框。本发明有可能应用于生物技术。

(实施例8)

与当对符合诸如mpeg-2、mpeg-4avc和vc-1的传统标准的视频数据进行解码时相比较，当对通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据进行解码时，处理量可能会增加。因而，需要将lsiex500设置到比在对符合传统标准的视频数据进行解码时使用的cpuex502的驱动频率更高的驱动频率。然而，当将驱动频率设置得较高时，存在功耗增加的问题。

为了解决该问题，诸如电视机ex300和lsiex500的运动图片解码装置配置为确定视频数据符合哪个标准，并且根据确定的标准在驱动频率之间进行切换。图37说明了当前实施例中的配置ex800。当通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成视频数据时，驱动频率切换单元ex803将驱动频率设置为较高驱动频率。然后，驱动频率切换单元ex803指导执行在上述各实施例中描述的运动图片解码方法的解码处理单元ex801对视频数据进行解码。当视频数据符合传统标准时，驱动频率切换单元ex803将驱动频率设置为比通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据的驱动频率更低的驱动频率。然后，驱动频率切换单元ex803指导符合传统标准的解码处理单元ex802对视频数据进行解码。

更具体地，驱动频率切换单元ex803包括图36所示的cpuex502和驱动频率控制单元ex512。这里，执行在上述各实施例中描述的运动图片解码方法的解码处理单元ex801以及符合传统标准的解码处理单元ex802中的每一个与图36中的信号处理单元ex507相对应。cpuex502确定视频数据符合哪个标准。然后，驱动频率控制单元ex512以来自cpuex502的信号为基础来确定驱动频率。而且，信号处理单元ex507以来自cpuex502的信号为基础来对视频数据进行解码。例如，在实施例8中描述的识别信息可能用于识别视频数据。识别信息并不局限于在实施例8中描述的信息，而是可以是只要能够指示视频数据符合哪个标准的任何信息。例如，当以用于确定视频数据用于电视机或者盘等等的外部信号为基础来确定视频数据符合哪个标准时，可以以这样的外部信号为基础来进行确定。而且，cpuex502例如以查找表为基础来选择驱动频率，如图39所示，在查找表中，将视频数据的标准与驱动频率相关联。可以通过将查找表存储在缓冲器ex508中和lsi的内部存储器中，并且通过cpuex502参照该查找表，来选择驱动频率。

图38说明了用于执行当前实施例的方法的步骤。首先，在步骤exs200中，信号处理单元ex507从复用数据中获得识别信息。接下来，在步骤exs201中，以该识别信息为基础，cpuex502确定视频数据是否由在上述各实施例中描述的编码方法和编码装置生成。当视频数据由在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成时，在步骤exs202中，cpuex502发送将用于将驱动频率设置到较高驱动频率的信号传输到驱动频率控制单元ex512。然后，驱动频率控制单元ex512将驱动频率设置到较高驱动频率。另一方面，当识别信息指示视频数据符合诸如mpeg-2、mpeg-4avc和vc-1的传统标准时，在步骤exs203中，cpuex502将用于将驱动频率设置到较低驱动频率的信号传输到驱动频率控制单元ex512。然后，与由在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据的情况相比较，驱动频率控制单元ex512将驱动频率设置到较低驱动频率。

而且，随着驱动频率的切换，通过改变要施加到lsiex500或包括lsiex500的装置的电压来提高节电效果。例如，当将驱动频率设置得较低时，与将驱动频率设置得较高的情况相比，将对lsiex500或包括lsiex500的装置施加的电压设定得更低。

而且，作为用于设置驱动频率的方法，当用于解码的处理量较大时，可以将驱动频率设置得较高，并且当用于解码的处理量较小时，可以将驱动频率设定得较低。因而，设置方法并不局限于上述的设置方法。例如，当用于对符合mpeg-4avc的视频数据进行解码的处理量大于用于对由在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据进行解码的处理量时，与上述的情况相反地设置驱动频率。

而且，用于设置驱动频率的方法并不局限于用于将驱动频率设置得更低的方法。例如，当识别信息指示通过在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据时，可以将施加到lsiex500或包括lsiex500的装置的电压设置得更高。当识别信息指示视频数据符合诸如mpeg-2、mpeg-4avc和vc-1的传统标准时，可以将施加到lsiex500或包括lsiex500的装置的电压设置得更低。作为另一示例，当识别信息指示通过在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据时，可能不必暂停cpuex502的驱动。当识别信息指示视频数据符合诸如mpeg-2、mpeg-4avc和vc-1的传统标准时，由于cpuex502具有额外的处理能力，因此可能在给定时间暂停cpuex502的驱动。即使当识别信息指示通过在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据时，在cpuex502具有额外处理能力的情况下，也可能在给定时间暂停cpuex502的驱动。在这样的情况下，与当识别信息指示视频数据符合诸如mpeg-2、mpeg-4avc和vc-1的传统标准时的情况相比较，可以将暂停时间设置得较短。

因此，通过根据视频数据符合的标准来切换驱动频率，能够提高节电效果。并且，当使用电池来驱动lsiex500或包括lsiex500的装置时，能够随着节电效果而延长电池的寿命。

(实施例9)

存在将符合不同标准的多个数据提供到诸如电视机和蜂窝电话的设备和系统的情况。为了能够对符合不同标准的多个视频数据进行解码，lsiex500的信号处理单元ex507需要符合不同的标准。然而，随着符合各自标准的信号处理单元ex507的单独使用，会产生增加lsiex500的电路规模以及增加成本的问题。

为了解决该问题，设想一种其中部分地共享用于实现在上述各实施例中描述的运动图片解码方法的解码处理单元和符合诸如mpeg-2、mpeg-4avc和vc-1的传统标准的解码处理单元的配置。图40a中的ex900表示该配置的示例。例如，在上述各实施例中描述的运动图片解码方法与符合mpeg-4avc的运动图片解码方法部分共同地具有诸如熵编码、逆量化、解块滤波器和运动补偿预测的处理细节。要被共享的处理细节可能包括符合mpeg-4avc的解码处理单元ex902的使用。相反，专用解码处理单元ex901可以用于对于本发明一个方面固有的其它处理。尤其是，由于本发明的方面例如以帧存储器控制为特征，因此，专用解码处理单元ex901用于帧存储器控制。否则，可能对于熵解码、解块滤波器和运动补偿中的一个或者处理的全部来共享解码处理单元。对于要被共享的处理，可以共享在上述各实施例中描述的运动图片解码方法，并且专用的解码处理单元可以用于mpeg-4avc特有的处理。

而且，图40b中的ex1000表示将部分地共享处理的另一示例。这一示例使用包括支持对于本发明的一个方面特有的处理的专用解码处理单元ex1001、支持对于另一传统标准特有的处理的专用解码处理单元ex1002以及支持要在根据本发明一个方面的运动图片解码方法和传统的运动图片解码方法之间共享的处理的解码处理单元ex1003的配置。这里，专用解码处理单元ex1001和ex1002不必分别地专用于根据本发明一个方面的处理和所述具有传统标准的处理，并且可以是能够实现通用处理的解码处理单元。并且，也能够通过lsiex500实现当前实施例的配置。

这样，通过共享用于要在根据本发明一个方面的运动图片解码方法和符合传统标准的运动图片解码方法之间共享的处理的解码处理单元，能够减小lsi的电路规模并且降低成本。

尽管基于以上实施例描述了根据一个或多个方面的图像编码装置和图像解码装置，但是本发明并不局限于这些实施例。本领域的普通技术人员将容易意识到，在不实质上背离本发明的原理和精神的情况下，所附权利要求旨在不仅覆盖和包含所公开的特定实施例，而且还覆盖和包含通过对所述实施例做出各种修改并且通过对不同实施例中的结构元件进行组合而获得的等同结构、方法和/或使用。

[产业上的可用性]

本发明应用于图像编码方法、图像解码方法、图像编码装置和图像解码装置。本发明能够用于包括电视机、数字视频录像机、车载导航系统、蜂窝电话、数字照相机和数字视频照相机的具有高分辨率的信息显示设备和成像设备。

[标号说明]

100图像编码装置

101减法器

102正交变换单元

103量化单元

104，204逆量化单元

105，205逆正交变换单元

106，206加法器

107，207块存储器

108，208帧存储器

109，209帧内预测单元

110，210帧间预测单元

111，211图片类型确定单元

112可变长度编码单元

113，213帧存储器控制单元

120输入图像信号

121，125，225预测误差数据

122，124，224频率系数

123，223量化值

126，127，128，226，227，228解码图像数据

129，130，131，229，230，231预测图像数据

132，132a，132b，132c，132d，132e，132f，232，500编码比特流

133，233帧存储器控制信息

200图像解码装置

212可变长度解码单元

301，501顺序参数集合(sps)

302，302b，302d，502图片参数集合(pps)

303，503图片数据

311sps标识符

312，512缓冲器描述定义信息

321sps选择信息

322，522pps标识符

323，323d，523缓冲器描述更新信息

331，331a，331d图片报头

332图片数据部分

333，533pps选择信息

334缓冲器描述选择信息

335，535切片数据

341，341e，341f，541切片报头

342，542切片数据部分

343，543cu数据

402，405长期信息

403，407图片标识符

404，406长期索引

515缓冲器描述

515a缓冲器要素