用于使用周期性缓冲器描述对视频进行编码和解码的方法和装置制造方法
【专利摘要】根据本发明的对视频进行编码的方法包括：将多个预定的缓冲器描述写入编码视频比特流的序列参数集合中（802）；将多个更新参数写入所述编码视频比特流的切片报头中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述（804）；并且使用所述切片报头和修改的缓冲器描述来将切片编码在所述编码视频比特流中（805）。
【专利说明】用于使用周期性缓冲器描述对视频进行编码和解码的方法和装置
【技术领域】
[0001]本发明可以用于任何多媒体数据编码中，并且更加具体地，本发明可以用于利用图片间预测的图像和视频内容的编码中。
【背景技术】
[0002]诸如MPEG-4AVC/H.264和即将到来的HEVC (高效视频编码)的现有技术的视频编码方案，使用根据先前编码或解码的参照图片的图片间预测来执行图像/视频内容的编码，以便利用时间上连续的图片之间的信息冗余。在MPEG-4AVC视频编码方案中，解码图片缓冲器(DPB)中的参照图片通过以下方式进行管理:使用用于从DPB中去除编码顺序中的较早图片的预定义的滑动窗方案，或者明确地使用编码视频比特流中的多个缓冲器管理信号来对未使用的参照图片进行管理和移除。
[0003]HEVC视频编码方案的近来发展包括引入使用缓冲器描述的DPB管理。基本上，缓冲器描述定义被保持/包括在DPB中的图片而不是定义要被从DPB移除的图片。缓冲器描述是指示存储在DPB中的所有参照图片的唯一图片标识符的列表。在图片的编码/解码的开始处激活缓冲器描述。没有包括在活动的缓冲器描述中的图片被从DPB移除。缓冲器描述相较于传统方法的益处包括关于传输/传送损失的改善的稳健性以及不存在图片的简化处理。
[0004]在编码视频序列中经常在多个图片之间重复图片参照结构。例如，如图1所示，低延迟编码结构可以使用尺寸为四的周期性集群。
[0005]在这一示例中，图片编号(O到12)指示编码顺序和图片的显示/输出顺序。图片P0.P4.P8和P12构成图片的第一时间层并且被以最高的画质进行编码(例如通过最强烈地应用量化)。图片P2、P6和PlO构成第二时间层并且被利用比第一层低的画质进行编码。图片P1、P3、P5、P7、P9和Pll构成第三时间层并且被利用最低的画质进行编码。在这样的周期性集群结构中，位于其集群内相同的相对位置中的图片(例如，PU P5和P9)经常使用相同的相对图片参照结构。例如，P5使用P4和P2作为参照图片，而P9使用P8和P6作为参照图片。
[0006]为了适应诸如上面的示例性结构的周期性集群结构，引入了缓冲器描述的周期性信号传送。周期性缓冲器描述通过指定参照图片关于要被编码/解码的目标图片的时间距尚/位直来列出存储在DPB中的参照图片。在现有技术中，在图片参数集合(PPS)中对周期性缓冲器描述进行信号传送一次，并且然后在周期性集群内具有相同的相对位置的图片的切片报头中被重复地参照。例如，指定具有{-1，-3}相对位置的周期性缓冲器描述可以用在P5中用于指定{P4，P2}作为参照图片并且由P9使用以便指定{P8，P6}作为参照图片。
[0007]图2示出了现有技术中周期性缓冲器描述的信号传送结构的示例。在图片参数集合中指定多个周期性缓冲器描述。每一个PPS由唯一的“PPS_id”参数识别。在切片报头中，“PPS选择”参数识别在切片的编码/解码期间被参照的PPS。在图2的示例中，选择具有PPSjd=O的PPS。多个“BD更新”参数选择预定义的缓冲器描述中的周期性缓冲器描述。在图2的示例中，选择缓冲器描述BD1。此外，“BD更新”参数还包括缓冲器描述修改命令。缓冲器修改命令将图片标识符指派到选择的缓冲器描述内的选择的缓冲器元素。这里指定唯一 /绝对的图片标识符来代替相对图片标识符。在图2的示例中，唯一的图片PG被指派到缓冲器描述BDl内的缓冲器元素BEO。这一修改仅应用于当前目标切片。为了在随后的切片中使用相同的修改，这些随后的切片的切片报头应该相应地指定“BD更新”参数。
【发明内容】
[0008][发明要解决的技术问题]
[0009]现有技术的周期性缓冲器描述的一个问题在于用于修改周期性缓冲器描述的参数仅被应用一次(即，应用在要被编码/解码的当前切片中)。结果，需要对相同的修改进行信号传送多次以便多于一次地对其进行使用。
[0010]现有技术的另一问题在于在图片参数集合(PPS)中对用于创建周期性缓冲器描述的参数进行信号传送。然而，周期性图片集群结构通常在大量图片上并且经常在整个编码视频序列上使用。因此，在整个编码视频序列中，相同的参数会在多个图片参数集合中被重复地进行信号传送。这样重复的信号传送在编码视频比特流中不必要地占用比特。
[0011][用于解决问题的手段]
[0012]为了解决上面的问题，本发明引入了用于对编码视频比特流中的周期性缓冲器描述进行信号传送的新的方法和装置。
[0013]本发明的新颖性在于，其提供了用于按照层级的方式创建和修改周期性缓冲器描述的手段，从而实现与编码视频比特流中被层级构造的信号传送单元(例如，网络抽象层单元)的改善的协调。
[0014][发明效果]
[0015]本发明的效果在于编码视频比特流中缓冲器描述数据的编码效率改善以及缓冲器描述数据单元与编码视频比特流中的层级构造的信号传送单元的设计协调。
【专利附图】
【附图说明】
[0016]图1示出了图片参照结构的示例。
[0017]图2是表示根据现有技术用于创建和修改编码视频比特流中的缓冲器描述的参数的位置的图。
[0018]图3是表示本发明中的视频/图像编码装置的方框图。
[0019]图4是表示根据本发明第一实施例的图片编码处理的流程图。
[0020]图5A是表示在本发明第一实施例的示例实施例中用于创建和修改编码视频比特流中的缓冲器描述的参数的位置的句法图。
[0021]图5B是表示在本发明第一实施例的示例实施例中用于创建和修改编码视频比特流中的缓冲器描述的参数的位置的句法图。
[0022]图6是表示本发明中的视频/图像解码装置的结构的方框图。
[0023]图7是表示根据本发明第一实施例的图片解码处理的流程图。
[0024]图8是表示根据本发明第二实施例的图片编码处理的流程图。[0025]图9A是在本发明第二实施例的示例实施例中用于创建和修改编码视频比特流中的缓冲器描述的参数的位置的句法图。
[0026]图9B是在本发明第二实施例的示例实施例中用于创建和修改编码视频比特流中的缓冲器描述的参数的位置的句法图。
[0027]图10是表示根据本发明第二实施例的图片解码处理的流程图。
[0028]图11是表示根据本发明第三实施例的图片编码处理的流程图。
[0029]图12A是表示缓冲器描述在SPS中的示例位置的表。
[0030]图12B是表示用于选择并且修改切片报头中的缓冲器描述的更新参数的示例位置的表。
[0031]图12C是表示用于选择并且修改切片报头中的缓冲器描述的更新参数的示例位置的表。
[0032]图13是表示在本发明第三实施例的示例实施例中用于创建并且修改编码视频比特流中的缓冲器描述的参数的位置的句法图。
[0033]图14是表示根据本发明第三实施例的图片解码处理的流程图。
[0034]图15示出了用于实现内容分发服务的内容提供系统的整体配置。
[0035]图16示出了数字广播系统的整体配置。
[0036]图17示出了说明电视机的配置示例的方框图。
[0037]图18示出了说明信息再现/记录单元的配置示例的方框图，该信息再现/记录单元从作为光盘的记录介质读取信息并且在作为光盘的记录介质上写入信息。
[0038]图19示出了作为光盘的记录介质的配置示例。
[0039]图20A示出了蜂窝电话的示例。
[0040]图20B是表示蜂窝电话的配置示例的方框图。
[0041]图21说明了复用数据的结构。
[0042]图22示意性示出了如何在复用数据中复用每一个流。
[0043]图23更加详细地示出了如何将视频流存储在PES分组流中。
[0044]图24示出了复用数据中的TS分组和源分组的结构。
[0045]图25示出了 PMT的数据结构。
[0046]图26示出了复用数据信息的内部结构。
[0047]图27示出了流属性信息的内部结构。
[0048]图28示出了用于识别视频数据的步骤。
[0049]图29示出了用于实现根据每一个实施例的运动图片编码方法和运动图片解码方法的集成电路的配置示例。
[0050]图30示出了用于在驱动频率之间进行切换的配置。
[0051]图31示出了用于识别视频数据并且在驱动频率之间进行切换的步骤。
[0052]图32示出了其中使视频数据标准与驱动频率相关联的查找表的示例。
[0053]图33A是表示用于共享信号处理单元的模块的配置示例的图。
[0054]图33B是表示用于共享信号处理单元的模块的另一配置示例的图。
【具体实施方式】[0055]下面将参照附图来描述根据本发明方面的图像解码装置和图像编码装置。
[0056]注意到，下面描述的实施例示出了本发明的具体示例。在下面的示例性实施例中示出的数字值、形状、材料、结构元件、该结构元件的布置和连接、步骤以及该步骤的处理顺序等等只是示例。因此，在下面的示例实施例中的结构元件中间，将在定义本发明概念的最广泛部分的任一独立权利要求中没有引述的结构元件描述为任意结构元件。
[0057]下面描述本发明的三个实施例。对于本领域的普通技术人员显而易见的是，可以执行所述实施例的组合以便进一步增加周期性缓冲器描述的适用性和灵活性。
[0058](实施例1)
[0059](编码装置)
[0060]图3是表示本发明中的视频/图像编码装置200的结构的方框图。
[0061]视频编码装置200是逐块地对输入视频/图像比特流进行编码以便生成编码输出比特流的装置。如图3所示，图像编码装置200包括变换单元201、量化单元202、逆量化单元203、逆变换单元204、块存储器205、帧存储器206、帧内预测单元207、帧间预测单元208、熵编码单元209、帧存储器控制单元210。
[0062]将输入视频输入到加法器，并且将加和的值输出到变换单元201。变换单元201将加和的值变换为频率系数，并且将产生的频率系数输出到量化单元202。量化单元202对输入的频率系数进行量化，并且将产生的量化值输出到逆量化单元203和熵编码单元209。熵编码单元209对从量化单元202输出的量化值进行编码，并且输出比特流。
[0063]逆量化单元203对从量化单元202输出的采样值进行逆量化，并且将频率系数输出到逆变换单元204。逆变换单元204对频率系数执行逆变换以便将该频率系数变换为比特流的采样值，并且将产生的采样值输出到加法器。加法器将从逆变换单元204输出的比特流的采样值加和到从帧间/帧内预测单元207，208输出的预测的视频/图像值，并且将产生的加和值输出到块存储器205或者帧存储器206 (经过帧存储器控制单元210)，用于进一步预测。帧间/帧内预测单元207、208在存储在块存储器205或者帧存储器206中的重构的视频/图像内进行搜索，并且估计例如与输入视频/图像最类似的视频/图像区域用于预测。
[0064]帧存储器控制器单元210管理存储在帧存储器206中的重构的图片。其也发送帧存储器控制参数以便由熵编码单元208写入到输出比特流中。
[0065](编码处理)
[0066]图4是表示根据本发明第一实施例的图片编码处理400的流程图。
[0067]步骤401确定要在编码视频序列中的多个图片上使用的多个预定的周期性缓冲器描述。步骤402然后将所述多个缓冲器描述写入编码视频流的序列参数集合中。接下来，步骤403确定要对于所述多个缓冲器描述中的缓冲器描述的子集执行的多个修改。步骤404然后将多个更新参数写入所述编码视频比特流的图片参数集合中用于执行对于所述缓冲器描述的子集的修改。在目标图片的编码期间，步骤405将缓冲器描述标识符写入所述编码视频比特流中的所述目标图片的报头中用于选择多个修改的缓冲器描述中的一个缓冲器描述。步骤406然后使用所述图片参数集合和选择的缓冲器描述来将所述目标图片编码在所述编码视频比特流中。
[0068]在步骤404中写入的所述更新参数包括用于选择缓冲器描述的缓冲器描述标识符，被识别用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素，以及用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。缓冲器描述由多个缓冲器要素构成，其中每一个缓冲器要素与存储在帧存储器中的唯一的参照图片相对应。
[0069]在步骤404中写入的所述更新参数可以附加地包括标志/参数以便指示没有执行缓冲器描述修改并且在序列参数集合中定义的所述缓冲器描述为原样。当在所述编码视频比特流中存在多个图片参数时，在不同的图片参数集合中指定的缓冲器描述修改彼此独立。即，当第二图片参数集合为活动(在使用中)时，不应用在第二图片参数集合中指定的修改，并且在序列参数集合中定义的初始缓冲器描述的顶部上应用在所述活动的第二图片参数集合中指定的修改。
[0070]在步骤404中写入的所述更新参数包括多个参数以便创建/定义除了在序列参数集合中定义的多个缓冲器描述之外的新的附加的缓冲器描述。
[0071]在本发明的可能实现中，在步骤402中写入的所述序列参数集合包括指示所述多个缓冲器描述是否存在于所述序列参数集合中的标志。当缓冲器描述没有存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建一个或多个缓冲器描述的多个参数。
[0072](编码发明的效果)
[0073]本发明的效果在于编码视频比特流中缓冲器描述数据的编码效率改善以及缓冲器描述数据单元与编码视频比特流中的层级构造的信号传送单元的设计协调。使用本发明，去除了用于创建和修改周期性缓冲器描述的编码视频比特流中的相同参数的冗余重复。
[0074](句法图)
[0075]图5A和5B分别是表示在本发明示例实施例中用于创建并且修改编码视频比特流中的缓冲器描述的参数的位置的句法图。
[0076]在图5A中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数集合使用唯一的SPS_id参数由图片参数集合参照。用于更新所述多个缓冲器描述的参数位于图片参数集合中。在编码图片的图片报头中，使用唯一的SPS_id参数来参照图片参数集合。图片由图片报头和一个或多个切片(或者子图片)构成。用于选择多个修改的缓冲器描述中的一个缓冲器描述的缓冲器描述选择参数位于所述编码图片的所述图片报头中。
[0077]在图5B中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数集合使用唯一的SPS_id参数由图片参数集合参照。用于更新所述多个缓冲器描述的参数位于图片参数集合中。在编码切片(或者子图片单元)的切片报头(或者子图片单元报头)中，使用唯一的SPS_id参数来参照图片参数集合。用于选择多个修改的缓冲器描述中的一个缓冲器描述的缓冲器描述选择参数位于所述切片报头(或者子图片单元报头)中。
[0078]在本发明的可能实现中，子图片单元的示例包括片段、熵切片以及构成处理子图片划分的波阵面的一组块。
[0079](解码装置)
[0080]图6是表示本发明中的视频解码装置300的结构的方框图。
[0081]视频解码装置300是用于逐块地对输入编码比特流进行解码并且输出视频/图像的装置，并且如图6所示包括熵解码单元301、逆量化单元302、逆变换单元303、块存储器304、帧存储器305、帧内预测单元306、帧间预测单元307、帧存储器控制单元308。
[0082]将输入编码比特流输入到熵解码单元301。在将输入编码比特流输入到熵解码单元301之后，熵解码单元301对输入编码比特流进行解码，并且将解码值输入到逆量化单元302。逆量化单元302对解码值进行逆量化，并且将频率系数输出到逆变换单元303。逆变换单元303对频率系数执行逆频率变换以便将频率系数变换为采样值，并且将产生的像素值输出到加法器。加法器将产生的像素值加和到从帧内/帧间预测单元306、307输出的预测的视频/图像值，并且将产生的值输出到显示器，并且将产生的值输出到块存储器304或者帧存储器305 (经过帧存储器控制单元308)用于进一步预测。此外，帧内/帧间预测单元306、307在存储在块存储器304或者帧存储器305中的视频/图像内进行搜索，并且估计例如与解码的视频/图像最类似的视频/图像区域用于预测。
[0083]帧存储器控制单元308管理存储在帧存储器305中的重构的图片。其从熵解码单元301读取帧存储器控制参数并且相应地执行存储器控制操作。
[0084](解码处理)
[0085]图7是表示根据本发明第一实施例的图片解码处理500的流程图。
[0086]步骤501从编码视频比特流的序列参数集合解析多个缓冲器描述。接下来，步骤502从所述编码视频比特流的图片参数集合解析多个更新参数用于修改所述多个缓冲器描述中的缓冲器描述的子集。步骤503然后从所述编码视频比特流中的图片的报头解析缓冲器描述标识符用于选择多个修改的缓冲器描述中的一个缓冲器描述。最后，步骤504使用所述图片参数集合和选择的缓冲器描述来对来自所述编码视频比特流的图片进行解码。
[0087](解码发明的效果)
[0088]本发明的效果在于使能以改善的编码效率以及缓冲器描述数据的协调设计进行编码的编码视频比特流的解码。
[0089](实施例2)
[0090](编码装置)
[0091]图3是表示本发明中视频/图像编码装置200的结构的方框图。
[0092]视频编码装置200是用于逐块地对输入视频/图像比特流进行编码以便生成编码输出比特流的装置。如图3所示，图像编码装置200包括变换单元201、量化单元202、逆量化单元203、逆变换单元204、块存储器205、帧存储器206、帧内预测单元207、帧间预测单元208、熵编码单元209、帧存储器控制单元210。
[0093]将输入视频输入到加法器，并且将加和的值输出到变换单元201。变换单元201将加和的值变换为频率系数，并且将产生的频率系数输出到量化单元202。量化单元202对输入的频率系数进行量化，并且将产生的量化值输出到逆量化单元203和熵编码单元209。熵编码单元209对从量化单元202输出的量化值进行编码，并且输出比特流。
[0094]逆量化单元203对从量化单元202输出的采样值进行逆量化，并且将频率系数输出到逆变换单元204。逆变换单元204对频率系数执行逆变换以便将该频率系数变换为比特流的采样值，并且将产生的采样值输出到加法器。加法器将从逆变换单元204输出的比特流的采样值加和到从帧间/帧内预测单元207，208输出的预测的视频/图像值，并且将产生的加和值输出到块存储器205或者帧存储器206 (经过帧存储器控制单元210)，用于进一步预测。帧间/帧内预测单元207、208在存储在块存储器205或者帧存储器206中的重构的视频/图像内进行搜索，并且估计例如与输入视频/图像最类似的视频/图像区域用于预测。
[0095]帧存储器控制器单元210管理存储在帧存储器206中的重构的图片。其也发送帧存储器控制参数以便由熵编码单元208写入到输出比特流中。
[0096](编码处理)
[0097]图8是表示根据本发明第二实施例的图片编码处理600的流程图。
[0098]步骤601确定要在编码视频序列中的多个图片上使用的多个预定的周期性缓冲器描述。步骤602然后将所述多个缓冲器描述写入编码视频流的序列参数集合中。接下来，步骤603选择所述多个缓冲器描述中的一个缓冲器描述并且确定要对于选择的缓冲器描述执行的多个修改。步骤604然后将多个更新参数写入所述编码视频比特流的图片参数集合中用于选择并且修改选择的缓冲器描述。最后，步骤605使用所述图片参数集合和修改的缓冲器描述来将一个或多个目标图片编码在所述编码视频比特流中。
[0099]在步骤604中写入图片参数集合的所述更新参数包括用于选择缓冲器描述的缓冲器描述标识符，被识别用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素，以及用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。缓冲器描述由多个缓冲器要素构成，其中每一个缓冲器要素与存储在帧存储器中的唯一的参照图片相对应。
[0100]在步骤604中写入的所述更新参数可以附加地包括标志/参数以便指示选择的缓冲器描述是否被修改。当所述标志指示没有修改选择的缓冲器描述时，根据所述选择的缓冲器描述在序列参数集合中的初始定义来使用所选择的缓冲器描述。根据本发明第二实施例，所述图片参数集合中的所述更新参数(步骤604)仅选择并且修改在所述序列参数集合中定义的所述多个缓冲器描述中的一个缓冲器描述。
[0101]当多个图片参数集合存在于所述编码视频比特流中时，在不同的图片参数集合中指定的缓冲器描述修改彼此独立。即，不同的图片参数集合可以选择不同的缓冲器描述；而且，当第二图片参数集合为活动(在使用中)时，不应用在第一图片参数集合中指定的修改，并且在序列参数集合中定义的传输缓冲器描述的顶部上应用在所述活动的第二图片参数集合中指定的修改。
[0102]在本发明的可能实现中，在步骤602中写入的所述序列参数集合包括指示所述多个缓冲器描述是否存在于所述序列参数集合中的标志。当缓冲器描述没有存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建缓冲器描述的多个参数。
[0103](编码发明的效果)
[0104]本发明的效果在于编码视频比特流中缓冲器描述数据的编码效率改善以及缓冲器描述数据单元与编码视频比特流中的层级构造的信号传送单元的设计协调。使用本发明，去除了用于创建和修改周期性缓冲器描述的编码视频比特流中的相同参数的冗余重复。
[0105](句法图)
[0106]图9A和9B分别是表示在本发明示例实施例中用于创建并且修改编码视频比特流中的缓冲器描述的参数的位置的句法图。
[0107]在图9A中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数集合使用唯一的SPS_id参数由图片参数集合参照。用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的参数位于图片参数集合中。在图片报头中，使用唯一的SPS_id参数来参照图片参数集合。包括多个切片(或者子图片单元)的多个图片可以参照与唯一的SPS_id值相关联的相同的图片参数集合。当在图片报头中参照图片参数集合时，由参照的图片参数集合选择和修改的缓冲器描述变为活动(在使用中)。
[0108]在图9B中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数集合使用唯一的SPS_id参数由图片参数集合参照。用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的参数位于图片参数集合中。在编码切片(或者子图片单元)的切片报头(或者子图片单元报头)中，使用唯一的SPS_id参数来参照图片参数集合。多个切片可以参照与唯一的SPS_id值相关联的相同的图片参数集合。当在切片报头中参照图片参数集合时，由参照的图片参数集合选择和修改的缓冲器描述变为活动(在使用中)。
[0109]在本发明的可能实现中，子图片单元的示例包括片段、熵切片以及构成处理子图片划分的波阵面的一组块。
[0110](解码装置)
[0111]图6是表示本发明中的视频解码装置300的结构的方框图。
[0112]视频解码装置300是用于逐块地对输入编码比特流进行解码并且输出视频/图像的装置，并且如图6所示包括熵解码单元301、逆量化单元302、逆变换单元303、块存储器304、帧存储器305、帧内预测单元306、帧间预测单元307、帧存储器控制单元308。
[0113]将输入编码比特流输入到熵解码单元301。在将输入编码比特流输入到熵解码单元301之后，熵解码单元301对输入编码比特流进行解码，并且将解码值输入到逆量化单元302。逆量化单元302对解码值进行逆量化，并且将频率系数输出到逆变换单元303。逆变换单元303对频率系数执行逆频率变换以便将频率系数变换为采样值，并且将产生的像素值输出到加法器。加法器将产生的像素值加和到从帧内/帧间预测单元306、307输出的预测的视频/图像值，并且将产生的值输出到显示器，并且将产生的值输出到块存储器304或者帧存储器305 (经过帧存储器控制单元308)用于进一步预测。此外，帧内/帧间预测单元306、307在存储在块存储器304或者帧存储器305中的视频/图像内进行搜索，并且估计例如与解码的视频/图像最类似的视频/图像区域用于预测。
[0114]帧存储器控制单元308管理存储在帧存储器305中的重构的图片。其从熵解码单元301读取帧存储器控制参数并且相应地执行存储器控制操作。
[0115](解码处理)
[0116]图10是表示根据本发明第二实施例的图片解码处理700的流程图。
[0117]步骤701从编码视频比特流的序列参数集合解析多个缓冲器描述。接下来，步骤702从所述编码视频比特流的图片参数集合解析多个更新参数用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述。步骤703使用所述图片参数集合和修改的缓冲器描述来对来自所述编码视频比特流的一个或者多个图片进行解码。
[0118](解码发明的效果)
[0119]本发明的效果在于使能以改善的编码效率以及缓冲器描述数据的协调设计进行编码的编码视频比特流的解码。
[0120](实施例3)
[0121](编码装置)
[0122]图3是表示本发明中的视频/图像编码装置200的结构的方框图。
[0123]视频编码装置200是逐块地对输入视频/图像比特流进行编码，以便生成编码输出比特流的装置。如图3所示，图像编码装置200包括变换单元201、量化单元202、逆量化单元203、逆变换单元204、块存储器205、帧存储器206、帧内预测单元207、帧间预测单元208、熵编码单元209、帧存储器控制单元210。
[0124]将输入视频输入到加法器，并且将加和的值输出到变换单元201。变换单元201将加和的值变换为频率系数，并且将产生的频率系数输出到量化单元202。量化单元202对输入的频率系数进行量化，并且将产生的量化值输出到逆量化单元203和熵编码单元209。熵编码单元209对从量化单元202输出的量化值进行编码，并且输出比特流。
[0125]逆量化单元203对从量化单元202输出的采样值进行逆量化，并且将频率系数输出到逆变换单元204。逆变换单元204对频率系数执行逆变换以便将该频率系数变换为比特流的采样值，并且将产生的采样值输出到加法器。加法器将从逆变换单元204输出的比特流的采样值加和到从帧间/帧内预测单元207，208输出的预测的视频/图像值，并且将产生的加和值输出到块存储器205或者帧存储器206 (经过帧存储器控制单元210)，用于进一步预测。帧间/帧内预测单元207、208在存储在块存储器205或者帧存储器206中的重构的视频/图像内进行搜索，并且估计例如与输入视频/图像最类似的视频/图像区域用于预测。
[0126]帧存储器控制器单元210管理存储在帧存储器206中的重构的图片。其也发送帧存储器控制参数以便由熵编码单元208写入到输出比特流中。
[0127](编码处理)
[0128]图11是表示根据本发明第三实施例的图片编码处理800的流程图。
[0129]步骤801确定要在编码视频序列中的多个图片上使用的多个预定的周期性缓冲器描述。步骤802然后将所述多个缓冲器描述(图12A的1300)写入编码视频流的序列参数集合中。缓冲器描述是在当前和未来的编码图片的解码处理中使用的参照图片(存储在缓冲器中)的绝对描述。缓冲器描述的另一可能名称是参照图片集合(RPS)。接下来，步骤803选择所述多个缓冲器描述(RPS)中的一个缓冲器描述(RPS)并且确定要对选择的缓冲器描述执行的多个修改。步骤804然后将多个更新参数(例如，图12B和图12C的1302、1304和1308)写入所述编码视频比特流的切片报头中用于选择并且修改所选择的缓冲器描述。最后，步骤805使用所述切片报头和修改的缓冲器描述来将切片编码在所述编码视频比特流中。
[0130]在步骤804中写入的所述更新参数包括用于选择缓冲器描述的缓冲器描述标识符(图12X的1304)，被识别用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素，以及用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的所述选择的缓冲器要素相关联的图片标识符(图12C的1308)。缓冲器描述由多个缓冲器要素构成，其中每一个缓冲器要素与存储在帧存储器中的唯一的参照图片相对应。
[0131 ] 在步骤804中写入切片报头中的所述更新参数可以附加地包括标志/参数以便指示是否修了选择的缓冲器描述。当所述标志指示没有修改选择的缓冲器描述，则根据其在序列参数集合中的初始定义来使用所述选择的缓冲器描述。根据本发明第三实施例，所述切片报头中的所述更新参数(步骤804)仅选择并且修改在所述序列参数集合中定义的所述多个缓冲器描述中的一个缓冲器描述。
[0132]在不同的切片报头中指定的缓冲器描述修改彼此独立。即，在切片报头中指定的修改仅应用于相关联的切片的编码/解码而不应用于任何其它切片；并且，在所述序列参数集合中定义的初始缓冲器描述的顶部上应用在每一个活动的切片报头中指定的修改。
[0133]在本发明的可能实现中，在步骤802中写入的所述序列参数集合包括指示所述多个缓冲器描述是否存在于所述序列参数集合中的标志。当缓冲器描述没有存在于所述序列参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲器描述的多个参数(例如，图 12C 的 1310)。
[0134](编码发明的效果)
[0135]本发明的效果在于编码视频比特流中缓冲器描述数据的编码效率改善以及缓冲器描述数据单元与编码视频比特流中的层级构造的信号传送单元的设计协调。使用本发明，去除了用于创建和修改周期性缓冲器描述的编码视频比特流中的相同参数的冗余重复。
[0136](句法图)
[0137]图13是表示在本发明示例实施例中用于创建并且修改编码视频比特流中的缓冲器描述的参数的位置的句法图。
[0138]在图13中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数集合使用唯一的SPS_id参数由图片参数集合参照。编码切片(或者子图片单元)的切片报头(或者子图片单元报头)使用唯一的SPS_id参数来参照图片参数集合及其相关联的序列参数集合。用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的参数位于所述切片报头(或者子图片单元报头)中。在本发明的可能实现中，子图片单元的示例包括片段、熵切片以及构成处理子图片划分的波阵面的一组块。
[0139](解码装置)
[0140]图6是表示本发明中的视频解码装置300的结构的方框图。
[0141]视频解码装置300是用于逐块地对输入编码比特流进行解码并且输出视频/图像的装置，并且如图6所示包括熵解码单元301、逆量化单元302、逆变换单元303、块存储器304、帧存储器305、帧内预测单元306、帧间预测单元307、帧存储器控制单元308。
[0142]将输入编码比特流输入到熵解码单元301。在将输入编码比特流输入到熵解码单元301之后，熵解码单元301对输入编码比特流进行解码，并且将解码值输入到逆量化单元302。逆量化单元302对解码值进行逆量化，并且将频率系数输出到逆变换单元303。逆变换单元303对频率系数执行逆频率变换以便将频率系数变换为采样值，并且将产生的像素值输出到加法器。加法器将产生的像素值加和到从帧内/帧间预测单元306、307输出的预测的视频/图像值，并且将产生的值输出到显示器，并且将产生的值输出到款存储器304或者帧存储器305 (经过帧存储器控制单元308)用于进一步预测。此外，帧内/帧间预测单元306、307在存储在块存储器304或者帧存储器305中的视频/图像内进行搜索，并且估计例如与解码的视频/图像最类似的视频/图像区域用于预测。[0143]帧存储器控制单元308管理存储在帧存储器305中的重构的图片。其从熵解码单元301读取帧存储器控制参数并且相应地执行存储器控制操作。
[0144](解码处理)
[0145]图14是表示根据本发明第三实施例的图片解码处理900的流程图。
[0146]步骤901从编码视频比特流的序列参数集合解析多个缓冲器描述(例如，图12A的1300)。缓冲器描述是在当前和未来的编码图片的解码处理中使用的参照图片(存储在缓冲器中)的绝对描述。缓冲器描述的另一可能名称是参照图片集合(RPS)。接下来，步骤902从所述编码视频比特流的切片报头解析多个更新参数(例如，图12B和图12C的1302、1304和1308)用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述。步骤903使用所述切片报头和修改的缓冲器描述来对来自所述编码视频比特流的切片进行解码。
[0147]在步骤902中从切片报头解析的所述更新参数包括用于选择缓冲器描述的缓冲器描述标识符(例如，图12C的1304)、用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素标识符以及用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符(例如，图12C的1308)。缓冲器描述由多个缓冲器要素构成，其中每一个缓冲器要素与存储在图片存储器中的唯一的参照图片相对应。
[0148]在步骤902中写入切片报头中的所述更新参数可以附加地包括用于指示是否修改选择的缓冲器描述的标志/参数(例如，图12B的1302)。当所述标志指示没有修改选择的缓冲器描述，则根据其在序列参数集合中的初始定义来使用所述选择的缓冲器描述。根据本发明的第三实施例，所述切片报头中的所述更新参数(步骤902)仅选择并且修改在所述序列参数集合中定义的所述多个缓冲器描述中的一个缓冲器描述。
[0149]在不同的切片报头中指定的缓冲器描述修改彼此独立。即，在切片报头中指定的修改仅应用于相关联的切片的编码/解码并且不应用于任何其它切片；而且，在所述序列参数集合中定义的初始缓冲器描述的顶部上应用在每一个活动的切片报头中指定的修改。
[0150]在本发明的可能实现中，在步骤901中解析的所述序列参数集合包括用于指示所述多个缓冲器描述是否存在于所述序列参数集合中的标志(例如，图12A的1312)。当缓冲器描述没有存在于所述序列参数集合中时，切片报头中的所述更新参数包括用于创建缓冲器描述的多个参数(例如，图12C的1310)。
[0151](解码发明的效果)
[0152]本发明的效果在于使能以改善的编码效率以及缓冲器描述数据的协调设计进行编码的编码视频比特流的解码。
[0153]如上所述，根据本发明的对视频进行编码的方法包括:将多个预定的缓冲器描述写入编码视频比特率的序列参数集合中；将多个更新参数写入所述编码视频比特流的图片参数集合中用于修改所述多个缓冲器描述中的缓冲器描述的子集；将缓冲器描述标识符写入所述编码视频比特流中的图片的报头中用于选择多个修改的缓冲器描述中的一个缓冲器描述；使用所述图片参数集合以及选择的缓冲器描述将所述图片编码在所述编码视频比特流中。
[0154]而且，一种对视频进行解码的方法包括:从编码视频比特流的序列参数集合解析多个缓冲器描述；从所述编码视频比特流的图片参数集合解析多个更新参数用于修改所述多个缓冲器描述中的缓冲器描述的子集；从所述编码视频比特流中的图片的报头解析缓冲器描述标识符用于选择多个修改的缓冲器描述中的一个缓冲器描述；使用所述图片参数集合以及选择的缓冲器描述来对来自所述编码视频比特流的所述图片进行解码。
[0155]而且，一种对视频进行编码的方法包括:将多个预定的缓冲器描述写入编码视频比特流的序列参数集合中；将多个更新参数写入所述编码视频比特流的图片参数集合中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述；使用所述图片参数集合和修改的缓冲器描述来将一个或多个图片编码在所述编码视频比特流中。
[0156]而且，一种对视频进行解码的方法包括:从编码视频比特流的序列参数集合解析多个缓冲器描述；将多个更新参数写入所述编码视频比特流的图片参数集合中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述；使用所述图片参数集合以及修改的缓冲器描述来对来自所述编码视频比特流的一个或者多个图片进行解码。
[0157]而且，一种对视频进行编码的方法包括:将多个预定的缓冲器描述写入编码视频比特流的序列参数集合中；将多个更新参数写入所述编码视频比特流的切片报头中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述；使用所述切片报头和修改的缓冲器描述来将切片编码在所述编码视频比特流中。
[0158]而且，一种对视频进行解码的方法包括:从编码视频比特流的序列参数集合解析多个缓冲器描述；从所述编码视频比特流的切片报头解析多个更新参数用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述；使用所述切片报头以及修改的缓冲器描述来对来自所述编码视频比特流的切片进行解码。
[0159]而且，所述对视频进行编码或者解码的方法，其中所述更新参数包括:用于选择缓冲器描述的缓冲器描述标识符；被识别用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素，其中缓冲器要素与唯一的参照图片相对应；用于重新指派唯一的参照图片以便与所述选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。
[0160]而且，所述对视频进行编码或者解码的方法，其中所述更新参数指示没有修改被写入在所述序列参数集合中的所述缓冲器描述中的任意一个。
[0161]而且，所述对视频进行编码或者解码的方法，其中所述更新参数包括用于创建除了被写入在所述序列参数集合中的多个缓冲器描述的附加的多个缓冲器描述的参数。
[0162]而且，所述对视频进行编码或者解码的方法，其中所述图片参数集合包括用于指示是否修改选择的缓冲器描述的标志，其中当所述标志指示没有修改选择的缓冲器描述时，所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述但是不修改选择的缓冲器描述。
[0163]而且，所述对视频进行编码或者解码的方法，其中所述切片报头包括用于指示是否修改选择的缓冲器描述的标志，其中当所述标志指示没有修改选择的缓冲器描述时，所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述但是不修改选择的缓冲器描述。
[0164]而且，所述对视频进行编码或者解码的方法，其中所述序列参数集合包括用于指示缓冲器描述是否存在于所述序列参数集合中的标志。
[0165]而且，所述对视频进行编码或者解码的方法，其中当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建一个或者多个缓冲器描述的参数。
[0166]而且，所述对视频进行编码或者解码的方法，其中当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建缓冲器描述的参数。
[0167]而且，所述对视频进行编码或者解码的方法，其中当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲器描述的参数。
[0168]而且，一种视频比特流编码装置包括:用于将多个预定的缓冲器描述写入编码视频比特流的序列参数集合中的写入单元；用于将多个更新参数写入所述编码视频比特流的图片参数集合中用于修改所述多个缓冲器描述中的缓冲器描述的子集的写入单元；用于将缓冲器描述标识符写入所述编码视频比特流的图片的报头中用于选择多个修改的缓冲器描述中的一个缓冲器描述的写入单元；用于使用所述图片参数集合和选择的缓冲器描述将所述图片编码在所述编码视频比特流中的编码单元。
[0169]而且，一种视频比特流解码装置包括:用于从编码视频比特流的序列参数集合解析多个缓冲器描述的解析单元；用于从所述编码视频比特流的图片参数集合解析多个更新参数用于修改所述多个缓冲器描述中的缓冲器描述的子集的解析单元；用于从所述编码视频比特流中的图片的报头解析缓冲器描述标识符用于选择多个修改的缓冲器描述中的一个缓冲器描述的解析单元；用于使用所述图片参数集合以及选择的缓冲器描述来对来自所述编码视频比特流的所述图片进行解码的解码单元。
[0170]而且，一种视频比特流编码装置包括:用于将多个预定的缓冲器描述写入编码视频比特流的序列参数集合中的写入单元；用于将多个更新参数写入所述编码视频比特流的图片参数集合中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的写入单元；用于使用所述图片参数集合和修改的缓冲器描述将一个或者多个图片编码在所述编码视频比特流中的编码单元。
[0171]而且，一种视频比特流解码装置包括:用于从编码视频比特流的序列参数集合解析多个缓冲器描述的解析单元；用于将多个更新参数写入所述编码视频比特流的图片参数集合中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的写入单元；用于使用所述图片参数集合以及修改的缓冲器描述来对来自所述编码视频比特流的一个或者多个图片进行解码的解码单元。
[0172]而且，一种视频比特流编码装置包括:用于将多个预定的缓冲器描述写入编码视频比特流的序列参数集合中的写入单元；用于将多个更新参数写入所述编码视频比特流的切片报头中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的写入单元；用于使用所述切片报头和修改的缓冲器描述来将切片编码在所述编码视频比特流中的编码单
J Li ο
[0173]而且，一种视频比特流解码装置包括:用于从编码视频比特流的序列参数集合解析多个缓冲器描述的解析单元；用于从所述编码视频比特流的切片报头解析多个更新参数用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的解析单元；用于使用所述切片报头以及修改的缓冲器描述来对来自所述编码视频比特流的切片进行解码的解码单元。
[0174]而且，所述视频比特流编码或者解码装置，其中所述更新参数包括:用于选择缓冲器描述的缓冲器描述标识符；被识别用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素，其中缓冲器要素与唯一的参照图片相对应；用于重新指派唯一的参照图片以便与所述选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。
[0175]而且，所述视频比特流编码或者解码装置，其中所述更新参数指示没有修改被写入在所述序列参数集合中的所述缓冲器描述中的任意一个。
[0176]而且，所述视频比特流编码或者解码装置，其中所述更新参数包括用于创建除了被写入在所述序列参数集合中的多个缓冲器描述的附加的多个缓冲器描述的参数。
[0177]而且，所述视频比特流编码或者解码装置，其中所述图片参数集合包括用于指示是否修改选择的缓冲器描述的标志，其中当所述标志指示没有修改选择的缓冲器描述时，所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述但是不修改选择的缓冲器描述。
[0178]而且，所述视频比特流编码或者解码装置，其中所述切片报头包括用于指示是否修改选择的缓冲器描述的标志，其中当所述标志指示没有修改选择的缓冲器描述时，所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述但是不修改选择的缓冲器描述。
[0179]而且，所述视频比特流编码或者解码装置，其中所述序列参数集合包括用于指示缓冲器描述是否存在于所述序列参数集合中的标志。
[0180]而且，所述视频比特流编码或者解码装置，其中当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建一个或者多个缓冲器描述的参数。
[0181]而且，所述视频比特流编码或者解码装置，其中当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建缓冲器描述的参数。
[0182]而且，所述视频比特流编码或者解码装置，其中当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲器描述的参数。
[0183]应该注意到，这些广泛和具体的方面可以使用系统、方法、集成电路、计算机程序或记录介质或者系统、方法、集成电路、计算机程序或记录介质的任何组合来实现。
[0184](实施例4)
[0185]通过将用于实现在每一个实施例中描述的运动图片编码方法(图像编码方法)和运动图片解码方法(图像解码方法)的配置的程序记录在记录介质中，能够将在每一个实施例中描述的处理简单地实现在独立的计算机系统中。所述记录介质可以是只要能够记录程序的任何记录介质，例如磁盘、光盘、磁光盘、IC卡和半导体存储器。
[0186]以下将描述在每一个实施例中描述的运动图片编码方法(图像编码方法)和运动图片解码方法(图像解码方法)以及使用其的系统的应用。所述系统具有下列特征:具有包括使用图像编码方法的图像编码装置和使用图像解码方法的图像解码装置的图像编码和解码装置。所述系统的其它配置可以根据情况而适当改变。
[0187]图15说明了用于实现内容分发服务的内容提供系统exlOO的整体配置。将用于提供通信服务的区域划分为具有期望尺寸的单元，并且在每一个单元中放置作为固定无线站的基站 exl06、exl07、exl08、exl09 和 exllO。
[0188]所述内容提供系统exlOO经由互联网exlOl、互联网服务提供商exl02、电话网络exl04和基站exl06到exllO分别连接到诸如计算机exlll、个人数字助理(PDA)exll2、照相机exll3、蜂窝电话exll4和游戏机exll5的设备。
[0189]然而，内容提供系统exlOO的配置并不局限于图15所示的配置，并且其中连接任何要素的组合是可接受的。此外，每一个设备可以直接连接到电话网络exl04，而不是经由作为固定无线站的基站exl06到exllO。而且，也可以经由短距离无线通信等等将设备彼此互连。
[0190]诸如数码摄像机的照相机exll3能够拍摄视频。诸如数码相机的照相机exll6能够拍摄静止图像和视频。而且，蜂窝电话exll4可以是满足任何标准的设备，这些标准例如是全球移动通信系统(GSM)(注册商标)、码分多址(CDMA)、宽带码分多址(W-CDMA)、长期演进(LTE )和高速分组接入(HSPA )。或者，蜂窝电话ex 114可以是个人手持电话系统(PHS )。
[0191]在内容提供系统exlOO中，经由电话网络exl04和基站exl09将流媒体服务器exl03连接到照相机exll3,这能够进行现场的图像等等的分发。在这样的分发中，按照上面在每一个实施例中描述的那样对由使用照相机exll3的用户拍摄的内容(例如音乐会现场的视频)进行编码(即，照相机起根据本发明方面的图像编码装置的作用)，并且将编码的内容传输到流媒体服务器exl03。另一方面，流媒体服务器exl03将传输的内容数据根据客户端的请求而向客户端执行流分发。所述客户端包括能够对上述编码数据进行解码的计算机exlll、PDA exll2、照相机exll3、蜂窝电话exll4和游戏机exll5。接收到分发的数据的每一个设备对该编码数据进行解码和再现(即，起根据本发明方面的图像解码装置的作用)。
[0192]可以通过照相机exll3或传输数据的流媒体服务器exl03对拍摄的数据进行编码，或者所述编码处理可以在照相机exll3和流媒体服务器exl03之间共享。类似地，可以通过客户端或流媒体服务器exl03解码分发的数据，或者所述解码处理可以在客户端和流媒体服务器exl03之间共享。而且，可以将不仅由照相机exll3而且由照相机exll6拍摄的静止图像和视频的数据经过计算机exlll传输到流媒体服务器exl03。所述编码处理可以通过照相机exll6、计算机exlll或流媒体服务器exl03执行，或者可以在它们之间共享。
[0193]并且，可以由通常包括在每一个计算机exlll和所述设备中的LSIex500执行所述编码和解码处理。LSI ex500可以配置有单个芯片或多个芯片。可以将用于对视频进行编码和解码的软件集成到能够由计算机exlll等等读取的某一类型的记录介质(例如CD-ROM、软盘、硬盘)中，并且可以使用所述软件执行编码和解码处理。而且，当蜂窝电话exll4配备有照相机时，可以传输通过所述照相机获得的视频数据。视频数据是由包括在蜂窝电话exll4中的LSI ex500编码的数据。
[0194]而且，流媒体服务器exl03可以由服务器和计算机组成，并且可以使数据分散且处理分散的数据、记录或者分发数据。
[0195]如上所述，客户端可以在内容提供系统exlOO中接收并且再现编码数据。换句话说，在内容提供系统exlOO中，客户端能够接收和解码由用户传输的信息，并且实时地再现解码数据，以使得不具有任何特定权利和设备的用户能够实现个人广播。
[0196]除了内容提供系统exlOO的示例之外，可以在图16中说明的数字广播系统ex200中实现在每一个实施例中描述的运动图片编码装置(图像编码装置)和运动图片解码装置(图像解码装置)中的至少一个。更具体地说，广播站ex201经由无线电播将通过将音频数据等等复用到视频数据上获得的复用数据通信或者传输到广播卫星ex202。该视频数据是通过在每一个实施例中描述的运动图片编码方法进行编码的数据(即，由根据本发明方面的图像编码装置进行编码的数据)。在接收到该复用数据时，广播卫星ex202发射无线电波用于广播。然后，具有卫星广播接收功能的家庭用天线ex204接收该无线电波。接下来，诸如电视机(接收机)ex300或机顶盒(STB)ex217的设备对接收到的复用数据进行解码，并且再现解码数据(即，起根据本发明方面的图像解码装置的作用)。
[0197]而且,读取器/记录仪ex218 ( i )对记录在诸如DVD和BD等等的记录介质ex215上的复用数据进行读取和解码，或者(ii)对记录介质ex215中的视频信号进行编码，并且在一些情况下，对通过将音频数据复用在编码数据上获得的数据进行写入。读取器/记录仪ex218能够包括在每一个实施例中示出的运动图片解码装置或运动图片编码装置。在这一情况下，可以将再现的视频信号显示在监视器ex219上，并且能够通过使用其上记录有复用数据的记录介质ex215的另一设备或系统来再现视频信号。也能够在连接到用于有线电视的电缆ex203或用于卫星/地面广播的天线ex204的机顶盒ex217中实现运动图片解码装置，以便在电视机ex300的监视器ex219上显示视频信号。可以不是在机顶盒中而是在电视机ex300中实现运动图片解码装置。
[0198]图17说明了使用在每一个实施例中描述的运动图片编码方法和运动图片解码方法的电视机(接收机)ex300。电视机ex300包括:获得或者提供通过经由接收广播的天线ex204或电缆ex203将音频数据复用到视频数据上获得的复用数据的调谐器ex301 ;解调接收到的复用数据或者将数据调制为要被供应到外部的复用数据的调制/解调单元ex302 ；以及将调制的复用数据解复用为视频数据和音频数据或者将由信号处理单元ex306编码的视频数据和音频数据复用为数据的复用/解复用单元ex303。
[0199]电视机ex300进一步包括:包括分别对音频数据和视频数据进行解码并且对音频数据和视频数据进行编码的音频信号处理单元ex304和视频信号处理单元ex305 (起根据本发明方面的图像编码装置和图像解码装置的作用)的信号处理单元ex306 ;以及包括提供解码音频信号的扬声器ex307和显示解码视频信号的诸如显示器的显示单元ex308的输出单元ex309。而且，电视机eX300包括具有接收用户操作的输入的操作输入单元ex312的接口单元ex317。而且，电视机ex300包括整体控制电视机ex300的每一个构成元件的控制单元ex310以及向每一个元件供应功率的电源电路单元ex311。除了操作输入单元ex312,接口单元ex317还可以包括:连接到诸如读取器/记录仪ex218的外部设备的桥ex313 ;用于使能诸如SD卡的记录介质ex216的附接的插槽单元ex314 ;要被连接到诸如硬盘的外部记录介质的驱动器ex315 ;以及要被连接到电话网络的调制解调器ex316。这里，记录介质ex216能够使用用于存储的非易失性/易失性半导体存储元件来电学地记录信息。电视机ex300的构成元件经过同步总线彼此连接。
[0200]首先，将描述其中电视机ex300对经过天线ex204等等从外部获得的复用数据进行解码并且再现解码数据的配置。在电视机ex300中，当具有经过远程控制器ex220等等的用户操作时，在包括CPU的控制单元ex310的控制下，复用/解复用单元ex303对由调制/解调单元ex302解调的复用数据进行解复用。而且，在电视机ex300中，使用在每一个实施例中描述的解码方法，音频信号处理单元ex304对解复用的音频数据进行解码，并且视频信号处理单元ex305对解复用的视频数据进行解码。输出单元ex309分别将解码的视频信号和音频信号输出到外部。当输出单元ex309提供视频信号和音频信号时，可以将这些信号临时存储在缓冲器ex318和ex319等等中，以使得彼此同步地再现这些信号。而且，电视机ex300可以不经过广播等等而是从诸如磁盘、光盘和SD卡的记录介质ex215和ex216来读取复用数据。接下来，将对其中电视机ex300对音频信号和视频信号进行编码并且将数据传输到外部或者将数据写入到记录介质中的配置进行说明。在电视机ex300中，在具有经过远程控制器ex220等等的用户操作时，在控制单元ex310的控制下，使用在每一个实施例中描述的编码方法，音频信号处理单元ex304对音频信号进行编码，并且视频信号处理单兀ex305对视频/[目号进行编码。复用/解复用单兀ex303对编码的视频/[目号和首频/[目号进行复用，并且将产生的信号提供到外部。当复用/解复用单元ex303对视频信号和音频信号进行复用时，可以将这些信号临时存储在缓冲器ex320和ex321等等中，以使得能够彼此同步地再现这些信号。这里，缓冲器ex318、ex319、ex320、ex321可以如所说明的那样为多个，或者可以在电视机ex300中共享至少一个缓冲器。而且，可以将数据存储在缓冲器中，以使得能够例如在调制/解调单元ex302和复用/解复用单元ex303之间避免系统上溢和下溢。
[0201]而且，电视机ex300除了包括用于从广播或者记录介质获得音频和视频数据的配置之外，也可以包括用于接收从麦克风或照相机输入的AV的配置，并且可以对获得的数据进行编码。尽管在该描述中电视机ex300能够编码、复用并且提供外部数据，但是它也能够仅接收、解码和提供外部数据而不进行编码、复用和提供外部数据。
[0202]而且，当读取器/记录仪ex218从记录介质读取复用数据或者在记录介质上写入复用数据时，电视机ex300和读取器/记录仪ex218中的一个可以对复用数据进行解码或编码，并且电视机ex300和读取器/记录仪ex218可以共享该解码或编码。
[0203]作为示例，图18说明了当从光盘读取数据或在光盘上写入数据时信息再现/记录单元ex400的配置。信息再现/记录单元ex400包括以下要进行描述的构成元件ex401、ex402、ex403、ex404、ex405、ex406 和 ex407。光学头 ex401 在作为光盘的记录介质 ex215的记录表面中照射激光斑以便写入信息，并且检测来自记录介质ex215的记录表面的反射光以便读取信息。调制记录单元ex402电学地驱动包括在光学头ex401中的半导体激光器，并且根据记录数据来调制激光。再现解调单元ex403使用包括在光学头ex401中的光检测器来放大通过电学地检测来自记录表面的反射光获得的再现信号，并且通过分离记录在记录介质ex215上的信号分量来解调再现信号，以便再现必要信息。缓冲器ex404临时保持要被记录在记录介质ex215上的信息以及从记录介质ex215再现的信息。盘马达ex405使记录介质ex215旋转。伺服控制单元ex406在控制盘马达ex405的旋转驱动的同时使光学头ex401移动到预定的信息轨道，以便追踪激光斑。系统控制单元ex407整体控制信息再现/记录单元ex400。通过使用存储在缓冲器ex404中的各种信息并且根据需要生成且添加新信息的系统控制单元ex407，并且通过在按照协调的方式进行操作的同时经过光学头eX401记录并且再现信息的调制记录单元ex402、再现解调单元ex403和伺服控制单元ex406,能够实现读取和写入处理。系统控制单元ex407例如包括微处理器，并且通过使计算机执行用于读取和写入的程序来执行处理。
[0204]尽管在该描述中所述光学头ex401照射激光斑，但是也可以使用近场光来执行高密度记录。
[0205]图19说明了作为光盘的记录介质ex215。在记录介质ex215的记录表面上，以螺旋状形成导引槽，并且信息轨道ex230根据导引槽形状的改变提前记录指示在该盘上的绝对位置的地址信息。该地址信息包括用于确定作为用于记录数据的单元的记录块ex231的位置的信息。在记录和再现数据的装置中再现信息轨道ex230并且读取地址信息可以导致记录块位置的确定。而且，记录介质ex215包括数据记录区域ex233、内周区域ex232和外周区域ex234。数据记录区域ex233是用于在记录用户数据时使用的区域。分别位于所述数据记录区域ex233内侧和外侧的内周区域ex232和外周区域ex234用于除了记录用户数据之外的特定用途。所述信息再现/记录单元400从记录介质ex215的数据记录区域ex233读取编码的音频、编码的视频数据或通过复用编码的音频和视频数据获得的复用数据并且将该编码的音频、编码的视频数据或通过复用编码的语音和视频数据获得的复用数据写入该记录介质ex215的数据记录区域ex233中。
[0206]尽管在该描述中作为示例描述了具有层状的光盘，例如DVD和BD，但是所述光盘并不局限于这些，并且可以是具有多层结构且能够在表面以外的部分上进行记录的光盘。而且，光盘可以具有用于多维记录/再现的结构，例如在光盘的相同部分中使用具有不同波长的颜色的光的信息的记录，以及从各种角度记录具有不同层的信息。
[0207]而且，在数字广播系统ex200中，具有天线ex205的车辆ex210能够从卫星ex202等等接收数据，并且在诸如设置在车辆ex210内的车辆导航系统ex211的显示设备上再现视频。这里，车辆导航系统ex211的配置可以例如是包括来自图17中说明的配置的GPS接收单元的配置。对于具有计算机exlll、蜂窝电话exll4等等的配置，也是如此。
[0208]图20A说明了使用在上述实施例中描述的运动图片编码方法和运动图片解码方法的蜂窝电话exll4。蜂窝电话exll4包括:用于经过基站exllO发射和接收无线电波的天线ex350 ;能够拍摄运动和静止图像的照相机单元ex365 ;以及例如用于显示诸如由照相机单元ex365拍摄的或由天线ex350接收的解码的视频的液晶显示器的显示单元ex358。蜂窝电话exll4进一步包括:包括操作键单元ex366的主体单元；用于输出音频的诸如扬声器的音频输出单兀ex357 ;用于输入音频的诸如麦克风的音频输入单兀ex356 ;用于存储拍摄的视频或静止图片，记录的音频，接收的音频的编码或解码数据、静止图像、电子邮件等等的存储器单元ex367 ；以及作为用于按照与存储器单元ex367相同的方式存储数据的记录介质的接口单元的插槽单元ex364。
[0209]接下来，将参照图20B描述蜂窝电话exl 14的配置的示例。在蜂窝电话exll4中，设计为整体控制包括显示单元ex358以及操作键单元ex366的主体的每一个单元的主控制单元ex360,经由同步总线ex370共同连接到电源电路单元ex361、操作输入控制单元ex362、视频信号处理单元ex355、照相机接口单元ex363、液晶显示器(IXD)控制单元ex359、调制/解调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、插槽单兀ex364和存储器单兀ex367。
[0210]当通过用户的操作开启通话结束键或者电源键时，电源电路单元ex361从电池组向各自单元供应功率以便激活蜂窝电话exll4。
[0211]在蜂窝电话exl 14中，在包括CPU、R0M和RAM的主控制单元ex360的控制下，音频信号处理单元ex354将在语音通话模式中由音频输入单元ex356收集的音频信号转换为数字音频信号。然后，调制/解调单元ex352对所述数字音频信号执行扩频处理，并且发射和接收单元ex351对数据执行数模转换和频率变换，以便经由天线ex350发射产生的数据。并且，在蜂窝电话exl 14中，发射和接收单元ex351放大在语音通话模式中由天线ex350接收到的数据并且对所述数据执行频率变换和数模转换。然后，所述调制/解调单元ex352对所述数据执行逆扩频处理，并且所述音频信号处理单元ex354将该数据转换为模拟音频信号，以便经由音频输出单元ex357将其输出。
[0212]而且，当在数据通信模式中发送电子邮件时，将通过操作主体的操作键单元ex366等等输入的电子邮件的文本数据经由操作输入控制单元ex362发送出到主控制单元ex360。主控制单元ex360使调制/解调单元ex352对该文本数据执行扩频处理，并且发射和接收单元ex351对产生的数据执行数模转换和频率变换，以便经由天线ex350向基站exllO发射数据。当接收到电子邮件时，对接收的数据执行与上述用于发送电子邮件的处理近似为逆的处理，并且将产生的数据提供到显示单元ex358。
[0213]当发射视频、静止图像、或者数据通信模式中的视频和音频时，视频信号处理单元ex355使用在每一个实施例中示出的运动图片编码方法对从照相机单元ex365供应的视频信号进行压缩和编码(即，用作根据本发明方面的图像编码装置)，并且将编码的视频数据发射到复用/解复用单元ex353。相反地，在照相机单元ex365拍摄视频、静止图像等等期间，音频信号处理单元ex354对由音频输入单元ex356收集的音频信号进行编码，并将编码的音频数据发射到复用/解复用单元ex353。
[0214]所述复用/解复用单元ex353使用预定的方法，对从视频信号处理单元ex355供应的编码的视频数据和从音频信号处理单元ex354供应的编码的音频数据进行复用。然后，调制/解调单元(调制/解调电路单元)ex352对复用数据执行扩频处理，并且发射和接收单元ex351对该数据执行数模转换和频率变换，以便经由天线ex350发射产生的数据。
[0215]当在数据通信模式下接收到具有链接到网页等等的视频文件的数据时，或者当接收到附加有视频和/或音频的电子邮件时，为了对经由天线ex350接收的复用数据进行解码，复用/解复用单元ex353将复用数据解复用为视频数据比特流和音频数据比特流，并且经过同步总线ex370为视频信号处理单元ex355供应编码的视频数据并且为音频信号处理单元ex354供应编码的音频数据。所述视频信号处理单元ex355使用在每一个实施例中示出的与运动图片编码方法相对应的运动图片解码方法来对视频信号进行解码(即，起根据本发明方面的图像解码装置的作用)，并且然后，所述显示单元ex358例如经由IXD控制单元ex359显示包括在链接到网页的视频文件中的视频和静止图像。而且，所述音频信号处理单元ex354对音频信号进行解码，并且所述音频输出单元ex357提供音频。
[0216]而且，与电视机ex300类似，诸如蜂窝电话exl 14的终端可能具有三种类型的实现配置，不仅包括(i )包括编码装置和解码装置二者的发射和接收终端，还包括(ii)仅包括编码装置的发射终端以及(iii)仅包括解码装置的接收终端。尽管在该描述中数字广播用系统eX200接收和发射通过将音频数据复用到视频数据上获得的复用数据，但是复用数据可以是通过将与视频相关的字符数据而非音频数据复用到视频数据上获得的数据，并且也可以不是复用数据而是视频数据本身。
[0217]这样，可以在所描述的任意设备和系统中使用每一个实施例中的运动图片编码方法和运动图片解码方法。因而，能够获得在每一个实施例中描述的优点。
[0218]而且，本发明并不局限于上述实施例，并且在不偏离本发明的范围的情况下，能够做出各种变型或修改。[0219](实施例5)
[0220]如果需要，可以通过在（i)在上述每一个实施例中示出的运动图片编码方法或运动图片编码装置与（i i)符合诸如MPEG-2、MPEG-4AVC和VC-I的不同标准的运动图片编码方法或运动图片编码装置之间进行切换来生成视频数据。
[0221]这里，当生成并且然后解码符合不同标准的多个视频数据时，需要选择解码方法以便符合不同的标准。然而，由于不能够检测要被解码的多个视频数据中的每一个符合哪个标准，因此存在不能够选择适当的解码方法的问题。
[0222]为了解决该问题，通过将音频数据等等复用到视频数据获得的复用数据具有包括指示该视频数据符合哪个标准的识别信息的结构。以下将描述包括通过在每一个实施例中示出的运动图片编码方法和运动图片编码装置中生成的视频数据的复用数据的具体结构。所述复用数据是MPEG-2传输流格式的数字流。
[0223]图21说明了复用数据的结构。如图21中说明的，能够通过复用视频流、音频流、演示图形流（PG)和交互图形流中的至少一个来获得复用数据。视频流代表电影的主视频和辅视频，音频流（IG)代表主音频部分和要与主音频部分混合的辅音频部分，并且演示图形流代表电影的字幕。这里，主视频是要在屏幕上显示的正常视频，并且辅视频是要在主视频中的较小窗口上显示的视频。而且，交互图形流代表通过在屏幕上布置⑶I部件生成的交互屏幕。通过在每一个实施例中示出的运动图片编码方法或运动图片编码装置或者通过符合诸如MPEG-2、MPEG-4AVC和VC-I的传统标准的运动图片编码方法或运动图片编码装置来对视频流进行编码。根据诸如杜比AC-3、杜比数字+、MLP、DTS、DTS-HD和线性PCM的标准对音频流进行编码。
[0224]包括在复用数据中的每一个媒体流由PID进行识别。例如，将0x1011分配到要用于电影的视频的视频流，将0x1100到OxlllF分配到音频流，将0x1200到0xl21F分配到演示图形流，将0x1400到0xl41F分配到交互图形流，将OxlBOO到OxlBlF分配到要用于电影的辅视频的视频流，并且将OxIAOO到OxlAlF分配到要用于与主音频混合的辅音频的音频流。
[0225]图22示意性说明了如何复用数据。首先，将由视频帧构成的视频流ex235和由音频帧构成的音频流ex238分别变换为PES分组流ex236和PES分组流ex239，并且进一步地分别变换为TS分组ex237和TS分组ex240。类似地，将演示图形流ex241的数据和交互图形流ex244的数据分别变换为PES分组流ex242和PES分组流ex245，并且进一步地分别变换为TS分组ex243和TS分组ex246。将这些TS分组复用为流以便获得复用数据ex247。
[0226]图23更加详细地说明了如何将视频流存储在PES分组流中。图23中的第一条形示出了视频流中的视频巾贞流。第二条形示出了 PES分组流。如图23中的箭头yyl、yy2、yy3和yy4指示的，将视频流划分为分别作为视频演示单元的I-图片、B-图片和P-图片的图片，并且将这些图片保存在每一个PES分组的有效载荷中。每一个PES分组具有PES报头，并且所述PES报头存储指示图片的显示时间的演示时间戳（PTS)以及指示图片的解码时间的解码时间戳（DTS)。
[0227]图24说明了要被最终写入在复用数据上的TS分组的格式。每一个TS分组是包括具有诸如用于识别流的PID的信息的4字节TS报头和用于存储数据的184字节TS有效载荷的188字节固定长度分组。所述PES分组分别被划分并且存储在TS有效载荷中。当使用BD ROM时，对每一个TS分组给出4字节TP_Extra_Header，因而产生192字节源分组。将源分组写入在复用数据上。TP_Extra_Header存储诸如ATS (Arrival_Time_Stamp)的信息。ATS表示要将每一个TS分组传送到PID滤波器的传送开始时间。如图24的下部示出的，在复用数据中布置源分组。将从复用数据的报头开始递增的号码称为源分组号码(SPN)。
[0228]包括在复用数据中的每一个TS分组不仅包括音频、视频、字幕等等的流，而且还包括程序关联表（PAT)、程序映射表（PMT)以及程序时钟参考（PCR)。PAT表示在复用数据中使用的PMT中的PID指示什么，并且PAT自身的PID被登记为O。PMT存储包括在复用数据中包括的视频、音频、字幕等等的流的PID以及与PID相对应的流的属性信息。PMT还具有与复用数据相关的各种描述符。描述符具有诸如表示是否允许复用数据的拷贝的拷贝控制信息的信息。PCR存储与ATS相对应的表示何时将PCR分组传送到解码器的STC时间信息，以便实现作为ATS的时间轴的到达时间时钟（ATC)与作为PTS和DTS的时间轴的系统时间时钟（STC)之间的同步。
[0229]图25详细地说明了 PMT的数据结构。将PMT报头设置在该PMT的顶部处。PMT报头描述了包括在该PMT中的数据长度等等。在PMT报头之后设置有与复用数据相关的多个描述符。在该描述符中描述了诸如拷贝控制信息的信息。在描述符之后设置有与包括在复用数据中的流相关的多条流信息。每一条流信息包括流描述符，每一个流描述符描述诸如用于识别流的压缩编解码器的流类型、流PID和流属性信息(例如帧速率或宽高比)的信息。所述流描述符在数量上与复用数据中的流的数量相等。
[0230]当将复用数据记录到记录介质等等上时，将上述复用数据与复用数据信息文件一起进行记录。
[0231]每一个复用数据信息文件是如图26所示的复用数据的管理信息。复用数据信息文件与复用数据一对一地对应，并且每一个文件包括复用数据信息、流属性信息以及条目地图。
[0232]如图26中说明的，复用数据信息包括系统速率、再现开始时间和再现结束时间。系统速率指示后面将描述的系统目标解码器向PID滤波器传送复用数据的最大传送速率。将包括在复用数据中的ATS的间隔设置为不高于系统速率。再现开始时间指示在复用数据的报头处视频帧中的PTS。向位于复用数据末端的视频帧中的PTS添加一个帧的间隔，并且将PTS设置为再现结束时间。
[0233]如图27所示，对于包括在复用数据中的每一个流的每一个PID，在流属性信息中登记一条属性信息。取决于相对应的流是视频流、音频流、演示图形流或交互图形流，每一条属性信息具有不同的信息。每一条视频流属性信息携带有包括使用何种压缩编解码器对视频流进行压缩、分辨率、宽高比以及包括在视频流中的多段图片数据的帧速率的信息。每一条音频流属性信息携带有包括使用何种压缩编解码器对音频流进行压缩、音频流中包括多少信道、音频流支持哪种语言以及采样频率是多高的信息。所述视频流属性信息和所述音频流属性信息用于在播放器重放信息之前解码器的初始化。
[0234]在当前实施例中，要被使用的复用数据具有包括在PMT中的流类型。而且，当在记录介质上记录复用数据时，使用包括在复用数据信息中的视频流属性信息。具体而言，在每一个实施例中描述的运动图片编码方法或运动图片编码装置包括如下步骤或单元，该步骤或单元用于将指示由每一个实施例中的运动图片编码方法或者运动图片编码装置生成的视频数据的唯一信息分配到包括在PMT中的流类型或视频流属性信息。利用该配置，能够将通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据与符合另一标准的视频数据区分开。
[0235]而且，图28说明了根据当前实施例的运动图片解码方法的步骤。在步骤exSlOO中，从复用数据获得包括在PMT中的流类型或者包括在复用数据信息中的视频流属性信息。接下来，在步骤exSlOl中，确定该流类型或视频流属性信息是否指示该复用数据通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成。当确定该流类型或视频流属性信息指示复用数据通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成时，在步骤exS102中，通过在上述每一个实施例中描述的运动图片解码方法进行解码。而且，当该流类型或视频流属性信息指示符合诸如MPEG-2、MPEG-4AVC和VC-I的传统标准时，在步骤exS103中，通过符合传统标准的运动图片解码方法执行解码。
[0236]这样，通过向流类型或者视频流属性信息分配新的唯一值，能够确定在上述每一个实施例中描述的运动图片解码方法或运动图片解码装置是否能够执行解码。甚至当输入符合不同标准的复用数据时，也能够选择适当的解码方法或装置。因而，能够没有任何误差地对信息进行解码。而且，可以在上述的设备和系统中使用当前实施例中的运动图片编码方法或装置、或者运动图片解码方法或装置。
[0237](实施例6)
[0238]典型地按照集成电路或大规模集成（LSI)电路的形式实现在上述每一个实施例中描述的运动图片编码方法、运动图片编码装置、运动图片解码方法和运动图片解码装置。作为所述LSI的示例，图29说明了被制造在一个芯片中的LSI ex500的配置。LSI ex500包括要在下面描述的元件 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508 和 ex509，并且所述元件经过总线ex510彼此连接。当电源电路单元ex505接通时,通过对每一个元件供应功率来激活电源电路单元ex505。
[0239]例如，当执行编码时，在包括CPU ex502、存储器控制器ex503、流控制器ex504和驱动频率控制单元ex512的控制单元ex501的控制下，所述LSI ex500经过AV I/O ex509从麦克风exll7和照相机exll3等等接收AV信号。接收到的AV信号被临时存储在诸如SDRAM的外部存储器ex511中。在控制单元ex501的控制下，根据处理量以及要传输到信号处理单元ex507的速度，将存储的数据分段为数据部分。然后，信号处理单元ex507对音频信号和/或视频信号进行编码。这里，视频信号的编码是在上述每一个实施例中描述的编码。而且，所述信号处理单元ex507有时对编码的音频数据和编码的视频数据进行复用，并且流I/O ex506将复用数据提供到外部。将该提供的复用数据传输到基站exl07，或者写入记录介质ex215。当复用数据集合时，可以将数据临时存储在缓冲器ex508中以使得数据集合彼此同步。
[0240]尽管存储器ex511是位于LSI ex500外部的元件，但是也可以将其包括在LSIex500中。缓冲器ex508也并不局限于一个缓冲器，而是可以由多个缓冲器组成。而且，可以将LSI ex500制造在一个芯片或者多个芯片中。
[0241]而且，尽管控制单元ex510包括CPU ex502、存储器控制器ex503、流控制器ex504、驱动频率控制单元ex512，但是控制单元ex510的配置并不局限于此。例如，信号处理单元ex507可以进一步包括CPU。在信号处理单元ex507中包括另一 CPU能够提高处理速度。而且，作为另一示例，CPU ex502可以用作信号处理单元ex507或者作为信号处理单元ex507的一部分，并且例如，CPU ex502可以包括音频信号处理单元。在这样的情况下，控制单元ex501包括信号处理单元ex507或者具有信号处理单元ex507 —部分的CPU ex502。
[0242]这里使用的名称为LSI，但是取决于集成度，也可以将其称为1C、系统LSI、超级LSI或特级LSI。
[0243]而且，实现集成的方式并不局限于LSI，并且专用电路或通用处理器等等也可以实现集成。能够在LSI制造之后进行编程的现场可编程门阵列（FPGA)或者允许LSI的连接或配置的重新配置的可配置处理器能够用于相同目的。
[0244]未来，随着半导体技术的发展，新生技术可能代替LSI。可以使用这样的技术来集成功能方框。本发明有可能应用于生物技术。
[0245](实施例7)
[0246]与当对符合诸如MPEG-2、MPEG_4AVC和VC-1的传统标准的视频数据进行解码时相比较，当对通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据进行解码时，处理量可能会增加。因而，需要将LSI ex500设置到比在对符合传统标准的视频数据进行解码时使用的CPU ex502的驱动频率更高的驱动频率。然而，当将驱动频率设置得较高时，存在功耗增加的问题。
[0247]为了解决该问题,诸如电视机ex300和LSI ex500的运动图片解码装置配置为确定视频数据符合哪个标准，并且根据确定的标准在驱动频率之间进行切换。图30说明了当前实施例中的配置ex800。当通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成视频数据时，驱动频率切换单元ex803将驱动频率设置为较高驱动频率。然后，驱动频率切换单元ex803指导执行在上述每一个实施例中描述的运动图片解码方法的解码处理单元ex801对视频数据进行解码。当视频数据符合传统标准时，驱动频率切换单元ex803将驱动频率设置为比通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据的驱动频率更低的驱动频率。然后，驱动频率切换单元ex803指导符合传统标准的解码处理单元ex802对视频数据进行解码。
[0248]更具体地，驱动频率切换单元ex803包括图29所示的CPU ex502和驱动频率控制单元ex512。这里，执行在上述每一个实施例中描述的运动图片解码方法的解码处理单元ex801以及符合传统标准的解码处理单元ex802中的每一个与图29中的信号处理单元ex507相对应。CPU ex502确定视频数据符合哪一个标准。然后，驱动频率控制单元ex512以来自CPU ex502的信号为基础来确定驱动频率。而且，信号处理单元ex507以来自CPUex502的信号为基础来对视频数据进行解码。例如，在实施例5中描述的识别信息可能用于识别视频数据。识别信息并不局限于在实施例5中描述的信息，而是可以是只要能够指示视频数据符合哪一个标准的任何信息。例如，当以用于确定视频数据用于电视机或者盘等等的外部信号为基础来确定视频数据符合哪一个标准时，可以以这样的外部信号为基础来进行确定。而且，CPU ex502例如以查找表为基础来选择驱动频率，如图32所示，在查找表中，将视频数据的标准与驱动频率相关联。可以通过将查找表存储在缓冲器ex508中和LSI的内部存储器中，并且通过CPU ex502参照该查找表，来选择驱动频率。[0249]图31说明了用于执行当前实施例的方法的步骤。首先，在步骤exS200中，信号处理单元ex507从复用数据中获得识别信息。接下来，在步骤exS201中，以该识别信息为基础，CPU ex502确定视频数据是否由在上述每一个实施例中描述的编码方法和编码装置生成。当视频数据由在上述每一个实施例中描述的运动图片编码方法和运动图片编码装置生成时，在步骤exS202中，CPU ex502将用于将驱动频率设置到较高驱动频率的信号传输到驱动频率控制单元ex512。然后,驱动频率控制单元ex512将驱动频率设置到较高驱动频率。另一方面，当识别信息指示视频数据符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准时，在步骤exS203中，CPU ex502将用于将驱动频率设置到较低驱动频率的信号传输到驱动频率控制单元ex512。然后，与由在上述每一个实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据的情况相比较，驱动频率控制单元ex512将驱动频率设置到较低驱动频率。
[0250]而且，随着驱动频率的切换，通过改变要施加到LSI ex500或包括LSI ex500的装置的电压来提高节电效果。例如，当将驱动频率设置得较低时，与将驱动频率设置得较高的情况相比，将要施加到LSI ex500或包括LSI ex500的装置的电压设置得更低。
[0251]而且，作为用于设置驱动频率的方法，当用于解码的处理量较大时，可以将驱动频率设置得较高，并且当用于解码的处理量较小时，可以将驱动频率设定得较低。因而，设置方法并不局限于上述的设置方法。例如，当用于对符合MPEG-4AVC的视频数据进行解码的处理量大于用于对由在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据进行解码的处理量时，可能与上述的情况相反地设置驱动频率。
[0252]而且，用于设置驱动频率的方法并不局限于用于将驱动频率设置得较低的方法。例如，当识别信息指示通过在上述每一个实施例中描述`的运动图片编码方法和运动图片编码装置生成视频数据时，可以将要施加到LSI ex500或包括LSI ex500的装置的电压设置得较高。当识别信息指示视频数据符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准时，可以将要施加到LSI ex500或包括LSI ex500的装置的电压设置得较低。作为另一示例，当识别信息指示通过在上述每一个实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据时，可能不必暂停CPU ex502的驱动。当识别信息指示视频数据符合诸如MPEG-2、MPEG-4AV(^PVC-1的传统标准时，由于CPU ex502具有额外的处理能力，因此可能在给定时间暂停CPU ex502的驱动。即使当识别信息指示通过在上述每一个实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据时，在CPU ex502具有额外处理能力的情况下，也可能在给定时间暂停CPU ex502的驱动。在这样的情况下，与当识别信息指示视频数据符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准时的情况相比较，可以将暂停时间设置得较短。
[0253]因此，通过根据视频数据符合的标准来切换驱动频率，能够提高节电效果。并且，当使用电池来驱动LSI ex500或包括LSI ex500的装置时，能够随着节电效果而延长电池的寿命。
[0254](实施例8)
[0255]存在将符合不同标准的多个视频数据提供到诸如电视机和蜂窝电话的设备和系统的情况。为了能够对符合不同标准的多个视频数据进行解码，LSI eX500的信号处理单元ex507需要符合不同的标准。然而，随着符合各自标准的信号处理单元ex507的单独使用,会产生增加LSI ex500的电路规模以及增加成本的问题。
[0256]为了解决该问题，设想一种其中部分地共享用于实现在上述每一个实施例中描述的运动图片解码方法的解码处理单元和符合诸如MPEG-2、MPEG-4AVC和VC-I的传统标准的解码处理单元的配置。图33A中的ex900表示该配置的示例。例如，在上述每一个实施例中描述的运动图片解码方法与符合MPEG-4AVC的运动图片解码方法部分共同地具有诸如熵编码、逆量化、解块滤波和运动补偿预测的处理细节。要被共享的处理细节可能包括符合MPEG-4AVC的解码处理单元ex902的使用。相反，专用解码处理单元ex901可以用于对于本发明方面唯一的其它处理。尤其是，由于本发明的方面例如以逆量化为特征，因此，专用解码处理单元ex901用于逆量化。否则，可能对于熵解码、解块滤波和运动补偿中的一个或者处理的全部来共享解码处理单元。对于要被共享的处理，可以共享用于实现在上述每一个实施例中描述的运动图片解码方法的解码处理单元，并且专用解码处理单元可以用于MPEG-4AVC特有的处理。
[0257]而且，图33B中的exlOOO表示将部分地共享处理的另一示例。这一示例使用包括支持对于本发明方面特有的处理的专用解码处理单元exlOOl、支持对于另一传统标准特有的处理的专用解码处理单元exl002以及支持要在根据本发明方面的运动图片解码方法和传统的运动图片解码方法之间共享的处理的解码处理单元exl003的配置。这里，专用解码处理单元exlOOl和ΘΧ1002不必分别专用于根据本发明一个方面的处理和所述具有传统标准的处理，并且可以是能够实现通用处理的解码处理单元。并且，也能够通过LSI eX500实现当前实施例的配置。
[0258]这样，通过共享用于要在根据本发明方面的运动图片解码方法和符合传统标准的运动图片解码方法之间共享的处理的解码处理单元，能够减小LSI的电路规模并且降低成本。
[0259]尽管上面描述了根据本发明概念的一个或多个方面的图像编码装置和图像解码装置，但是要认为本文描述的主题只是描述性和说明性的。本领域的普通技术人员将容易意识到，在不实质上背离本发明概念的原理和精神的情况下，所附权利要求旨在不仅覆盖和包含所公开的特定实施例，而且还覆盖和包含通过对所述实施例做出各种修改并且通过对不同实施例中的结构元件进行组合而获得的等同结构、方法和/或使用。
[0260][产业上的可用性]
[0261]本文公开的一个或多个实施例可以应用于图像编码方法、图像解码方法、图像编码装置和图像解码装置。与本公开一个或多个示例实施例一致的图像编码方法、图像解码方法、图像编码装置和图像解码装置可以用于包括电视机、数字视频录像机、车载导航系统、蜂窝电话、数字照相机和数字视频照相机的具有高分辨率的信息显示设备和成像设备。
[0262][标号说明]
[0263]200 视频编码装置
[0264]201 变换单元
[0265]202 量化单元
[0266]203 逆量化单元
[0267]204 逆变换单元
[0268]205 块存储器[0269]206帧存储器
[0270]207帧内预测单元
[0271]208帧间预测单元
[0272]209熵编码单元
[0273]210帧存储器控制单元
[0274]300视频解码装置
[0275]301熵解码单元
[0276]302逆量化单元
[0277]303逆变换单元
[0278]304块存储器
[0279]305帧存储器
[0280]306帧内预测单元
[0281]307帧间预测单元`
【权利要求】
1.一种对视频进行编码的方法，包括: 将多个预定的缓冲器描述写入编码视频比特流的序列参数集合中； 将多个更新参数写入所述编码视频比特流的切片报头中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述；并且 使用所述切片报头和修改的缓冲器描述来将切片编码在所述编码视频比特流中。
2.根据权利要求1所述的对视频进行编码的方法， 其中，所述更新参数由下列各项组成: 用于选择缓冲器描述的缓冲器描述标识符； 用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素标识符，其中缓冲器要素与唯一的参照图片相对应；以及 用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。
3.根据权利要求1所述的对视频进行编码的方法， 其中，所述切片报头包括用于指示是否修改所选择的缓冲器描述的标志，其中当所述标志指示不修改所选择的缓冲器描述时，所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述，但是不修改所选择的缓冲器描述。
4.根据权利要求1所述的对视频进行编码的方法， 其中，所述序列参数集合包括用于指示缓冲器描述是否存在于所述序列参数集合中的标志。
5.根据权利要求4所述的对视频进行编码的方法， 其中，当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲器描述的参数。
6.一种对视频进行解码的方法，包括: 从编码视频比特流的序列参数集合解析多个缓冲器描述； 从所述编码视频比特流的切片报头解析多个更新参数用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述；并且 使用所述切片报头和修改的缓冲器描述来对来自所述编码视频比特流的切片进行解码。
7.根据权利要求6所述的对视频进行解码的方法， 其中，所述更新参数由下列各项组成: 用于选择缓冲器描述的缓冲器描述标识符； 用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素标识符，其中缓冲器要素与唯一的参照图片相对应；以及 用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。
8.根据权利要求6所述的对视频进行解码的方法， 其中，所述切片报头包括用于指示是否修改所选择的缓冲器描述的标志，其中当所述标志指示不修改所选择的缓冲器描述时，所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述，但是不修改所选择的缓冲器描述。
9.根据权利要求6所述的对视频进行解码的方法， 其中，所述序列参数集合包括用于指示缓冲器描述是否存在于所述序列参数集合中的标志。
10.根据权利要求9所述的对视频进行解码的方法， 其中，当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲器描述的参数。
11.一种比特流编码装置，包括: 用于将多个预定的缓冲器描述写入编码视频比特流的序列参数集合中的写入单元；用于将多个更新参数写入所述编码视频比特流的切片报头中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的写入单元；以及 用于使用所述切片报头和修改的缓冲器描述来将切片编码在所述编码视频比特流中的编码单元。
12.根据权利要求11所述的视频比特流编码装置， 其中，所述更新参数包括: 用于选择缓冲器描述的缓冲器描述标识符； 被识别用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素，其中缓冲器要素与唯一的参照图片相对应；以及 用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。
13.根据权利要求11所述的视频比特流编码装置， 其中，所述切片报头包括用于指示是否修改所选择的缓冲器描述的标志，其中当所述标志指示不修改所选择的缓冲器描述时，所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述，但是不修改所选择的缓冲器描述。
14.根据权利要求13所述的视频比特流编码装置， 其中，当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲器描述的参数。
15.一种视频比特流解码装置，包括: 用于从编码视频比特流的序列参数集合解析多个缓冲器描述的解析单元； 用于从所述编码视频比特流的切片报头解析多个更新参数用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的解析单元；以及 用于使用所述切片报头和修改的缓冲器描述来对来自所述编码视频比特流的切片进行解码的解码单元。
16.根据权利要求15所述的视频比特流解码装置， 其中，所述更新参数包括: 用于选择缓冲器描述的缓冲器描述标识符； 被识别用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素，其中缓冲器要素与唯一的参照图片相对应；以及 用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。
17.根据权利要求15所述的视频比特流解码装置， 其中，所述切片报头包括用于指示是否修改所选择的缓冲器描述的标志，其中当所述标志指示不修改所选择的缓冲器描述时，所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述但是不修改所选择的缓冲器描述。
18.根据权利要求17所述的视频比特流解码装置， 其中，当如由所述标志指示的缓冲器描述不存在于所述序列参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲器描述的参数。
【文档编号】H04N19/174GK103843349SQ201280040892
【公开日】2014年6月4日 申请日期:2012年8月24日 优先权日:2011年8月25日
【发明者】袁明亮, 林宗顺, 乃苏孟德, 孙海威, 西孝启, 笹井寿郎, 柴原阳司, 杉尾敏康, 谷川京子, 松延彻 申请人:松下电器产业株式会社