专利名称：运动画面产生装置,编码装置,解码装置及多路复用装置的制作方法
技术领域：
本发明涉及一种产生编码运动画面流的装置，特别是产生可以对其执行跳入播 放、变速播放、逆向播放之类的特技播放的流的装置。
背景技术：
最近，将声音、画面以及其它像素值集成到一种媒体中的多媒体时代已经到来，并 且将报纸、杂志、TV、无线电和电话之类的通信工具的现有信息媒体也看成是多媒体的目 标。 一般地讲，多媒体是一种不仅将字符，而且也将图像、声音、特别是画面同时显现的形 式。为了将上述现有信息媒体作为多媒体来处理，需要数字地显现信息。
但是，利用上述现有信息媒体直接地数字处理巨量信息时不现实的，因为在把上 述每种信息媒体的数据量计算为数字数据量时，每个字符的数据量是1至2字节，而每秒声 音的数据量不小于64千字节(电话语音质量)，每秒运动画面的数据量则不小于100兆字 节(当前TV接收质量)。例如，由于具有64kbps至1. 5mbps的传输速度的综合服务数字网 (ISDN)的出现，TV电话已经投入商业使用，但是，TV摄像机的运动画面使用ISDN时，则不 能传输它们。 这是为什么需要信息压縮技术的原因。例如，将国际电信同盟-电信标准化部 (ITU-T)推荐的H. 261或H. 263的运动画面压縮技术标准用于TV电话。此外，利用MPEG-1 标准的信息压縮技术，也使得能够将图像信息与声音信息一同存储在一张普通音乐CD(光 盘)中。 在这里，运动画面专家组(MPEG)是数字压縮运动画面信号的，并且已经被ISO/ IEC(国际标准化组织/国际工程协会(InternationalStMKkrdization Organization/ Internation Engineering Consortium))标准化的国际标准。MPEG—l是一禾中将运动画面 信号压縮到1.5Mbps，S卩，压縮到大约百分之一的标准。此外，满足MPEG-1标准的质量是能 够在大约1. 5Mbps的传输率实现的中等水平。因此，将MPEG-2标准化以便满足更高画面质 量的需要，并且它将运动画面信号压縮到2至15Mbps。当前，标准化MPEG-1和MPEG-2的工 作组(IS0/IEC JTC1/SC29/WG11)已经将具有更高压縮率的MPEG-4标准化。MPEG-4标准 (i)取得了比MPEG-1和MPEG-2更高的压縮率，(ii)允许在一个对象接一个对象的基础上 编码，解码和执行操作，和(iii)实现了多媒体时代中的新的功能要求。MPEG-4的最初目的 是要标准化具有低比特率的画面的编码方法，但是，目标扩展到了具有高比特率的隔行扫 描画面的通用目的的编码方法。此后，IS0/IEC和ITU-T共同标准化了作为具有高压縮率 的画面的下一代画面编码方法的MPEG-4 AVC(高级视频编码)。预期用于下一代光盘装置或在对移动终端的广播中使用。 —般地讲，在对运动画面编码中，通过减少时间和空间冗余来压縮信息量。在针对 减少时间冗余的画面间预测编码中，通过参考在前画面或随后画面，在一块接一块的基础 上执行运动评估和预测画面产生，并且对得到的预测画面和要编码的画面之间的差值进行 编码。这里使用的"画面(Picture)"是代表一个画面的术语。在行进画面中，一个画面意 味着一帧，而在隔行扫描画面中，它意味着一帧或一场。这里所述的"隔行扫描画面"表示 由具有轻微时间滞后的两个场构成的帧。在隔行扫描画面的编码和解码中，可以将一帧作 为其本身来处理，作为两个场来处理，或在一帧中的每块的一帧接一帧或场接场的基础上处理。 用于执行不参考任何参考画面的内部预测编码的画面叫做内编码画面(Intra Coded Picture) (I画面)。此外，用于执行仅参考一个画面的相互间预测编码的画面叫做 预测编码画面(Predictive Coded Picture) (P画面)。用于执行参考两个参考画面的相互 间预测编石马的画面叫f故Bi-预测编石马画面(Bi-predictive Coded Picture) (B画面)。B画 面可以参考选择为在显示时间上在前和在后画面的任意组合的两个画面。这两个参考画面 可以在一块接一块基础上规定，块是编码和解码的基础单元。这些参考画面如下相互区分 将编码比特流中较早说明的参考画面称为第一参考画面，而把以后说明的其它参考画面称 为第二参考画面。应当注意，为了编码或解码P画面或B画面，这些参考画面必须是已经编 码或解码的。 运动补偿相互间预测编码用于P画面和B画面的编码。运动补偿内部预测编码是 一种应用运动补偿的内部预测编码方法。运动补偿是一种通过估算画面的每个块的运动量 (以下称为运动向量)和通过执行考虑到运动向量的预测编码而提高预测精度和减小数据 量的方法。例如，通过估算要编码的画面的运动向量和通过给位移了每个运动向量的量的 每个预测值与要编码的每个当前画面之间的每个预测余量编码，而减小数据量。在使用这 种方法的情况下，由于在解码中需要运动向量信息，所以也要编码、记录或发送运动向量。
运动向量是在一个宏块接一个宏块的基础上估算的。更具体地讲，运动向量是通 过固定要编码的宏块、在搜索范围内移动参考画面的宏块、和发现最靠近标准块的参考宏 块的位置而估算的。 图1A和IB分别是现有MPEG-2流的结构图。如图IB中所示，MPEG-2流具有下面 要说明的层级结构。流是由画面组(Group of Pictures)(以下称为GOP)构成的。将GOP 用作编码处理过程中的基础单元能够编辑运动画面或执行随机存取。G0P是由I画面、P画 面、和B画面构成的。流、GOP、和画面进一步包括指示单元的边界的同步信号(sync)，和指 示各单元中共同数据的首部，在这里各单元分别是流、GOP和画面。 图2A和2B分别示出了如何执行MPEG-2中使用的画面间预测编码的例子。图中带 有斜线的画面是被其它画面参考的画面。如图2A中所示，在MPEG-2中的预测编码中，P画 面(P0， P6， P9， P12和P15)可以仅参考选择为在显示时间上紧挨靠前的I画面或P画面的 单一画面。B画面(Bl， B2， B4， B5， B7， B8， B10， Bll， B13， B14， B16， B17， B19和B20)可以参 考选择作为紧挨靠前的I画面或P画面和紧挨靠后的I画面或P画面的组合的两个画面。 此外，要确定画面在流中放置的顺序。多个I画面和一个P画面按照显示时间的顺序放置， 而每个B紧挨着要紧接着B画面之后显示的I画面之后放置，或紧接着一个P画面之后放置。作为GOP的结构的例子，如图2B中所示，从13到B14的画面被组成一个单一的GOP。
图3A是MPEG-4 AVC流的结构图。在MPEG-4 AVC中，不存在与GOP等价的概念。但 是，由于可以通过在能够不依赖其它画面解码的特定画面的基础上将数据分段来构造等价 于GOP的随机存取单元，以下将这种单元称为RUA(随机存取单元(Random Access Unit))。 也就是说，随机存取单元RAU是以能够不依赖任何画面解码的内编码画面开始的编码画面 组。 接下来，说明作为处理流的基础单元的存取单元(以下简称为AU) 。AU是用于存储 等价于一个画面的编码数据的单元，并且包括参数集PS、片段数据、等等。有两种类型的参 数集PS。它们中的一个是作为等价于每个画面的首部的数据的画面参数集PPS(以下简称 为PPS)。另一个是等价于包括在MPEG-2中的一个或更多GOP的单元中的首部的序列参数 集SPS(以下简称为SPS)。 SPS包括参考画面的最大数量，画面大小，等等。另一方面，PPS 包括可变长度编码类型，量化步骤的初始值，参考画面的号码，等等。每个画面被赋予指示 要参考上述PPS和SPS中哪一个的标识符。此外，在片段数据中包括作为标识画面的标识 号的帧号FN。应当注意，如下面要说明的，序列以所有解码所需的状态要在其重置的特殊画 面开始，并且它是由以特殊画面开始并以紧靠下一个特殊画面之前放置的画面结束的画面 组构成的。 在MPEG-4 AVC中有两种类型的I画面。它们是瞬时解码器刷新(IDR)画面和另 一种类型。IDR画面是可以不用参考按解码顺序放置在IDR画面之前的画面，能够对按解码 顺序放置在IDR之后的所有画面解码的I画面，也就是说，它是解码所需的状态在其被重置 的I画面。IDR画面对应于MPEG-2闭合GOP的最前端I画面。MPEG-4 AVC中的序列以IDR 画面开始。在I画面不是IDR画面的情况下，按解码顺序位于该I画面的之后的画面可以 参考按解码顺序位于该I画面前面的画面。以下定义各画面类型。IDR画面和I画面是仅 由I片段组成的画面。P画面是可以由P片段和I片段构成的画面。B画面可以是由B片 段，P片段和I片段构成的画面。应当注意，IDR画面的片段存储在其类型与存储非IDR画 面的片段的NAL单元的类型不同的NAL单元中。在这里，NAL单元是子画面单元。
在MPEG-4 AVC中的AU中，不仅可以包括解码所需的数据，而且也可以包括补充 信息和AU的边界信息。这种补充信息叫作补充增强信息(SEI)，并且片段数据的解码不 需要这种补充信息。诸如参数集PS、片段数据、和SEI之类的所有数据存储在网络抽象层 (Network AbstractionLayer) (NAL)单元，S卩，NALU中。NAL单元是由首部和有效负载构成 的。首部包括指示存储的数据类型的字段(以下称为NAL单元类型)。分别为片段或SEI之 类的数据类型定义了 NAL单元类型的值。参考这种NAL单元类型的值能够识别存储在NAL 单元中的数据的类型。NAL单元的首部包括叫作nal—refjdc的字段。将nal_ref_idC定 义为2字节字段，并且根据NAL单元的类型具有0、1或更大的值。例如，SPS或PPS的NAL 单元具有1或更大的值。在片段的NAL单元的情况下，要被其它片段参考的片段采用1或 更大的值，而不被参考的片段采用值O。此外，SEI的NAL单元总是采用值O。
可以将一个或更多的SEI消息存储在SEI的NAL单元中。SEI消息是由首部和有 效负载构成的，存储在有效负载中的信息类型由首部中指示的SEI消息的类型标识。在下 文中，解码AU表示对AU中的片段数据解码，而显示AU表示显示AU中片段数据的解码结果。
在这里，由于NAL单元不包括用于标识NAL单元边界的信息，所以可以在存储作为
10AU的NAL单元时，将边界信息加入到每个NAL单元的最前端。在处理MPEG-2传输流(TS) 中或MPEG-2程序流(PS)中的MPEG-4 AVC流中，将显示为0x000001的3字节的开始码前 缀加到NAL单元的最前端。此外，定义了必须将指示AU边界的NAL单元插入到MPEG-2 TS 或PS中的AU的最前端，将这个AU称为存取单元定界符(Access Unit Delimiter)。
按常规，已经提出了类似这样的各种有关运动画面编码的技术(例如，参考专利 文献1)。 专利文献1 :日本未审查专利申请特许公开2003-18549。
图4是现有技术的运动画面编码装置的方框图。 运动画面编码装置1是输出通过压縮编码将被输入的输入视频信号Vin转换成可 变长度编码流的比特流而得到的编码流Str的装置。运动画面编码装置包括预测结构确定 单元PTYPE，运动向量估算单元ME，运动补偿单元MC，减法单元Sub，正交变换单元T，量化单 元Q，逆量化单元IQ，逆正交变换单元IT，加法单元Add,画面存储器PicMem，开关，和可变长 度编码单元VLC。 输入的视频信号Vin被输入到减法单元Sub和运动向量估算单元ME。减法单元 Sub计算输入的输入视频信号Vin与预测画面之间的差值，并将它输出到正交变换单元。正 交变换单元T将差值转换成频率系数，并将它输出到量化单元Q。量化单元Q对输入的频率 系数执行量化，并将量化值Qcoef输出到可变长度编码单元。 逆量化单元IQ对量化值Qcoef执行逆量化，以重构频率系数，并将它输出到逆正 交变换单元IT。逆正交变换单元IT执行逆频率变换，以将频率系数变换成像素差值，并将 它输出到加法单元Add。加法单元Add将像素差值加到从运动补偿单元MC输出的预测画 面，以产生解码画面。当指令存储解码画面时，开关SW转变到0N，并将解码画面存储在画面 存储器PicMem中。 另一方面，在一个宏块接一个宏块的基础上输入了输入视频信号Vin的运动向量 估算单元ME搜索存储在画面存储器PicMem中的解码画面，和估算最接近输入画面信号的 画面区，从而确定指示位置的运动向量MV。运动向量估算是在一块接一块的基础上执行的， 块是宏块的分割部分。由于此时多个画面可以被用作参考画面，所以需要在一块接一块基 础上的指定要参考的画面的标识号(相关索引)。通过计算相关索引指示的画面号，可以指 定参考画面，这种画面号被赋予画面存储器PicMem中的对应画面。 运动补偿单元MC从存储在画面存储器PicMem中的解码画面选择最佳的画面区作 为预测画面。 在随机存取单元开始画面RAUin指示随机存取单元RAU以当前画面开始的情况 下，预测结构确定单元PTYPE指令运动向量估算单元ME和运动补偿单元MC对作为可利用 其画面类型Ptype随机存取的特殊画面的目标画面执行画面内编码，并指令可变长度编码 单元VLC给画面类型Ptype编码。 可以长度编码单元VLC对量化值Qcoef 、相关索引Index、画面类型Ptype、和运动 向量MV执行量化，以产生编码流Str。 图5是现有技术的运动画面解码装置2的方框图。该运动画面解码装置2包括可 变长度解码单元VLD，画面存储器PicMem，运动补偿单元MC，加法单元Add，逆正交变换单元 IT，和逆量化单元IQ。应当注意，在图中，对与图4的方框图中所示的现有技术运动画面编码装置中的处理单元执行相同的操作的处理单元被赋予了相同的参考标号，并且省略了对 它们的说明。 可变长度解码单元VLD对编码流Str解码，并输出量化值Qcoef、相关索引Index、 画面类型Ptype、和运动向量MV。量化值Qcoef、相关索引Index、和运动向量MV被分别输入 到画面存储器PicMem、运动补偿单元MC、和逆量化单元IQ中，然后，对它们执行解码处理。 现有运动画面编码装置的这些操作已经利用图4的方框图进行了说明。
随机存取单元RAU示出了解码可以从随机存取单元中的最前端AU开始执行。但 是，由于现有技术的MPEG-4 AVC流允许十分灵活的预测结构，具有光盘或硬盘的存储装置 不能获得用于确定要在变速播放或逆向播放时解码或显示的AU的信息。
图6A和6B是AU的预测结构的例子。在这里，每个AU中存储着画面。图6A是 MPEG-2流中使用的AU的预测结构。图中具有斜线阴影的画面是其它AU参考的画面。在 MPEG-2中，P画面(P4和P7)的AU可以仅参考选择作为按显示时间紧接着向前的I画面 或P画面的AU的单一 AU执行预测编码。此外，B画面(Bl， B2， B3， B5和B6)的AU可以仅 参考选择作为按显示时间紧接着向前的I画面或P画面和紧接着向后的I画面或P画面的 AU的组合的两个AU执行预测编码。此外，画面在流中放置的顺序如下预定1画面和P画 面的AU可以按显示时间的顺序放置；B画面的每个AU紧接着I画面或紧接着每个B画面 的AU之后放置的P画面之一的AU之后放置。结果，可以通过以下三种方式进行解码(1) 对所有画面解码；(2)仅解码和显示一个I画面和多个P画面的AU ;和(3)仅解码和显示一 个I画面的AU。因此，可以容易执行以下三种类型的播放(l)正常播放，(2)中速播放，和 (3)高速播放。 在MPEG-4 AVC中，可以执行B画面的AU参考B画面的AU的预测。图6B是MPEG-4 AVC流中预测结构，和B画面(Bl和B3)的AU参考B画面(B2)的AU的例子。在这个例子 中，可以实现以下四种类型的解码或显示(l)对所有画面解码；(2)仅解码和显示要被参 考的一个I画面，多个P画面和多个B画面的AU ; (3)仅解码和显示一个I画面和多个P画 面的AU ; (4)仅解码和显示一个I画面的AU。 此夕卜，在MPEG-4 AVC中，P画面的AU可以参考B画面的AU。如图7中所示，P画 面(P7)的AU可以参考B画面(B2)的AU。在这种情况下，仅在解码了 B画面(B2)的AU之 后才可以对P画面(P7)的AU解码。因此，可以实现以下三种类型的解码或显示(l)对所 有画面解码；(2)仅解码和显示要被参考的一个I画面，多个P画面和多个B画面的AU ; (3) 仅解码和显示一个I画面的AU。 在这种方式中，由于在MPEG-4 AVC中允许各种不同的预测结构，所以必须进行片 段数据的分析和预测结构的判断，以便知道AU之间的参考关系。不像MPEG-2的情况下那 样，这造成了在执行跳入播放、变速播放、和逆向播放的时候，不能根据一种根据播放速度 预定的规则确定要解码或显示的AU的问题。
发明内容
本发明的一个目的是要提供(i) 一种即使在诸如MPEG-4 AVC之类的允许灵活预 测结构的编码方法的情况下，也能产生可以执行诸如跳入播放、变速置，和(ii) 一种对这种运动画面流解码的运动画面解码装置。 为了实现上述目的，本发明的运动画面流产生装置产生包括构成运动画面的画面 的流。该装置包括补充信息产生单元，用于在随机存取单元的基础上产生在每个随机存取 单元播放时要参考的补充信息，每个随机存取单元包括一个或更多的画面；和流产生单元， 用于通过将补充信息添加到每个对应的随机存取单元而产生包括产生的补充信息和画面 的流。在每个随机存取单元的最前端，放置可以不依赖任何画面而解码的内编码画面，并且 补充信息包括用于指定特技播放中播放包括在每个随机存取单元中的画面时要解码的画 面的信息。在这种方式中，每个随机存取单元RAU包括用于在对包括在随机存取单元中的 画面执行特技播放的情况下指定要解码的画面的信息。在播放时参考补充信息使得能够立 即确定特技播放所需的画面，而无需分析复杂的预测结构。因此，即使在允许各种预测结构 的MPEG-4 AVC这样的编码方法的情况下，也能执行诸如变速播放和逆向播放之类的特技播 放。 在本发明的第一方面，在运动画面流产生装置中，特技播放包括以下至少一种跳 入播放；变速播放；和逆向播放。此外，在本发明的第二方面，在运动画面流产生装置中，每 个画面是由子画面单元组成的，并且流产生单元用于将补充信息存储到与存储每个画面的 像素值的第二子画面单元不同的第一子画面单元中。此时，在本发明的第三方面，在运动画 面流产生装置中，每个随机存取单元优选是一个或更多画面，并且流产生单元将补充信息 存储到包括在每个随机存取单元中的最前端画面中。 应当注意，在本发明的第四方面，在运动画面流产生装置中，补充信息可以包括用 于指定以规定的速度播放每个随机存取单元时要解码的画面的信息。在本发明的第四方 面，在运动画面流产生装置中，补充信息可以包括指示每个随机存取单元根据其播放的画 面优先次序的信息。在本发明的第四方面，在运动画面流产生装置中，补充信息可以包括指 示包括在每个随机存取单元中的所有画面的画面类型的多条信息，多条信息以对应于画面 的解码顺序的次序放置。在这里，在本发明的第七方面，在运动画面流产生装置中，画面类 型包括对其执行内编码的I画面；参考每块一个画面而对其执行相互间编码的P画面，块 是编码中的基础单元；参考每块两个画面而对其执行相互间编码的参考B画面，块是编码 中的基础单元，并且参考B画面是一个被另外的画面参考的画面。和参考每块两个画面而 对其执行相互间编码的非参考B画面，块是编码中的基础单元，并且非参考B画面是不被另 外的画面参考的画面。 此外，在本发明的第四方面，在运动画面流产生装置中，补充信息可以包括指示包 括在每个随机存取单元中的所有画面的画面结构类型的多条信息，多条信息按对应于画面 的解码顺序的次序放置。在这里，每个画面结构中包括至少一个场结构和一个帧结构。此 外，在画面具有帧结构的情况下，指示画面具有等价于两个画面的显示场或是画面具有等 价于三个画面的显示场的信息可以包括在每个画面结构类型中。 此外，在本发明的第十方面，在运动画面流产生装置中，在画面具有一种帧结构的 情况下，画面结构类型可以进一步包括带有指示画面具有等价于两个画面的显示场或是画 面具有等价于三个画面的显示场的信息的帧结构。更具体地讲，在本发明的第一方面，运动 画面流产生装置可以进一步包括用于将作为有关一个或更多画面的参数的组的序列参数 集加到每个随机存取单元的序列参数集加入单元，在该装置中，序列以一个解码所需的所有状态在其重置的特殊画面开始，并且以紧挨着下一个特殊画面之前放置的画面结束。在
这种方式中，序列参数集不仅可以显示序列信息，而且也可以用作随机存取单元的边界信
息。在这里，序列以解码所需的所有状态在其重置的特殊画面开始，并且它是由以一个特殊
画面开始，并且以紧挨着下一个特殊画面之前放置的画面结束的多个画面构成的。 应当注意，本发明不仅可以实现为上述运动画面流产生装置，而且也可以实现为
具有除了这些单元之外还具有编码单元的运动画面编码装置，实现为将编码流分割成信息
分组并将编码流与补充信息一同多路复用的运动画面多路复用装置，和实现为对这样的编
码流进行解码并执行编码流的特技播放的运动画面解码装置。此外，本发明也可以实现为
一种包括分别对应于上述每个装置中的处理单元的步骤的方法，实现为由计算机执行的程
序，实现为通过运动画面流产生装置产生的数据流，实现为诸如计算机可读CD-ROM之类的
记录介质，和实现为诸如LSI之类的半导体IC。 如上所述，利用本发明，通过参考随机存取单元RAU的最前端AU中的特定NAL单 元，可以确定在变速播放和逆向播放之类的特技播放时要解码的AU。因此，可以容易实现具 有优秀特技播放功能的运动画面解码装置，从而本发明具有高度的实际用途。
本申请的技术背景的进一步的信息 2004年4月28日申请的日本专利申请2004-134212，包括说明书、附图、和权利要 求在内披露的全部内容结合在此作为参考。 2004年6月2日申请的日本专利申请2004-165005，包括说明书、附图、和权利要 求在内披露的全部内容结合在此作为参考。 2004年8月31日申请的日本专利申请2004-251871，包括说明书、附图、和权利要 求在内披露的全部内容结合在此作为参考。
从以下结合示出了本发明的特殊实施方式的附图的说明中，可以清楚地了解本发 明的这些和其它目的、优点和特征。在附图中 图1A和1B是分别显示背景技术中MPEG-2流结构的示意图。 图2A和2B是分别显示背景技术中MPEG-2 GOP结构的示意图； 图3A和3B是分别显示背景技术中MPEG-4流结构的示意图； 图4是显示一种现有技术的编码装置的结构的方框图； 图5是显示一种现有技术的解码装置的结构的方框图； 图6A和6B是分别显示现有技术的MPEG-4 AVC流中预测结构的例子的示意图； 图7是显示现有技术的MPEG-4 AVC流预测结构的另一个例子的示意图； 图8A和8B是分别显示本发明的MPEG-4 AVC流的结构的示意图； 图9A至9D是显示随机存取单元RAU中要解码的AU的第一示例的示意图； 图10A至10D是显示随机存取单元RAU中要解码的AU的第二示例的示意图； 图11A至11C是显示随机存取单元RAU中要解码的AU的第三示例的示意图； 图12A至12F是显示指定随机存取单元RAU中要解码的AU的方法的一个示例的 示意图； 图13A是显示指示变速播放信息的表的语法示例的示意 图13B是显示数据存储单元的示意图； 图14是指示变速播放信息的表的扩展示例的示意图； 图15A至15C是显示作为变速播放信息的随机存取单元RAU中I画面和P画面的 AU的一个示例的示意图； 图16A至16C是作为变速播放信息的，在使用AU的优先次序时将缓冲滞留时间用 作优先次序的指示符的例子的示意图； 图17A和17B是分别显示帧结构AU与场结构AU在对应RAU中共存的例子的示意 图； 图17C是显示显示示出了 RAU中每个AU的结构的第一映射表(RAU_mapl)的语法 示例的示意图； 图17D是显示图17B的RAU的RAUjn即l的示意图； 图17E是显示关于图17B的随机存取单元RAU的RAUjii即的示意图； 图17F是显示示出了每帧或一对场的每个画面的编码类型的第二映射表(RAU_
m即2)的语法示例的示意图； 图18A至18C是显示作为播放信息的另一个示例映射表的示意图； 图19是指示随机存取单元RAU中边界信息的方法的示意图； 图20A和20B是显示随机存取单元RAU中画面的预测结构的例子的示意图； 图21是显示本发明的运动画面编码装置的结构的方框图； 图22是一种运动画面编码方法的流程图； 图23是显示本发明的运动画面多路复用装置的结构的方框图； 图24A和图24B是显示支持信息HLP的示例内容的示意图； 图25是显示其中将特技播放信息存储在支持信息HLP中的NAL单元的例子的示 意图； 图26是显示运动画面多路复用装置的操作的流程图； 图27是显示本发明的运动画面解码装置的结构的方框图； 图28是现有技术的画面解码方法的流程图； 图29是本发明的运动画面解码方法中确定要解码的AU的流程图； 图30是显示在本发明的运动画面解码方法中，在要解码的AU与要显示的AU不匹
配的情况下执行的处理过程的流程图； 图31是显示HD-DVD的数据层级的示意图； 图32是HD-DVD上逻辑空间的结构图； 图33是VOB信息文件的结构图； 图34是时间映射表的示意图； 图35是播放列表文件的结构图； 图36是对应于播放列表的程序文件的结构图； 图37是显示整个BD盘的管理信息的文件的结构图； 图38是用于记录全局事件处理程序的文件的结构图； 图39是显示HD-DVD播放器的概况的方框图；禾口 图40A至40C是显示用于存储实现本发明的运动画面编码方法和运动画面解码方
15法的程序的记录介质的示意图。
具体实施例方式以下参考
本发明的实施方式。
(AVC流的结构) 首先，说明本发明的运动画面流产生装置、运动画面编码装置、和运动画面多路复 用装置产生的AVC流的结构，也就是说，输入到本发明的运动画面解码装置中的AVC流的结 构。 图8A和图8B分别示出了本发明的AVC流的结构。应当注意，图中没有示出要加 入到NAL单元的最前端的边界信息。AVC流与现有技术的AVC流的不同之处在于增加了特 技播放信息，特技播放信息指示在诸如跳入播放、变速播放、和逆向播放之类的特技播放时 解码的AU。特技播放信息存储在存储播放信息的NAL单元中(图8A)。在MPEG-4 AVC中， 存储的信息与特定NAL单元的NAL单元类型之间的关系可以通过应用设置。更具体地讲， 可以使用0和24至31的值，并且将这些NAL单元类型称为用户可设置NAL单元类型。将 特技播放信息存储在具有这种用户可设置NAL单元类型的NAL单元中。结果，特技播放信 息被存储在具有这种用户可设置NAL单元类型的NAL单元中。在这里，在预留特定的NAL 单元以便存储除特技播放信息之外的信息的情况下，将与NAL单元类型不同NAL单元类型 分配给特技播放信息。特技播放信息的NAL单元存储在随机存取单元RAU的最前端AU中。 在AU中，如果存在PPS NAL单元，那么将NAL单元放置在紧接着PPS NAL单元之后的位置 上，但是，也可以将它放置在其它位置上，只要顺序满足MPEG-4 AVC或另外的标准的要求。 此外，在不能解释特技信息的NAL单元的情况下，可以跳过NAL单元的数据，并从下一个NAL 单元的最前端重新开始解码。因此，即便是不能解释特技播放信息的NAL单元的终端也能 无误地执行解码过程。 应当注意，这种特技播放信息的NAL单元可以不包括在随机存取单元RAU的最前 端AU中，而是包括在另外的AU中，例如，在最后的AU中。此外，特技播放信息的这种NAL 单元也可以包括在构成随机存取单元RAU的每个AU中。 图9至图11示出了变速播放时解码的AU的例子。图9A示出了 AU的显示顺序。 在这里，带有斜阴影线的AU是那些被其它AU参考的AU，箭头指出了被参考的画面。负的 参考号分配给了在10之前显示的AU，并且将正的参考号分配给在B15之后显示的AU。图 9B示出了图9A中所示的AU的解码顺序，并且10至Bll构成了随机存取单元RAU。此时， 10， -B14, P4， B2， P8， P6， P12和B10被顺序解码，以便执行倍速播放(图9C)，而将10， P4， P8和P12顺序解码，以便执行四倍速播放(图9D)。图9C和9D示出了带有*号的AU要 在倍速播放和四倍播放时解码，并且将这些信息条存储在特技播放信息的NAL单元中。在 图10A至图10D的例子中，按解码顺序从10到Bll的画面构成了随机存取单元RAU。在这 里，10， -B13, P3， Bl， P6， B4， P9， B7， P12和B10被按顺序解码，以便执行1. 5倍速播放，而 将I0，P3，P6，P9和P12按顺序解码，以便执行三倍速播放。此外，在图IIA至图IIC中，将 10， P3， P6， P9和P12按顺序解码，以便执行三倍速播放。 在这里，播放速度不必十分严格，因为只是将它们作为播放速度的原则说明的。例 如，在图IIC的例子中，在把示为要在三倍速播放时解码的AU的所有AU解码的情况下，速度是从表达式16 + 5得到的3. 2倍速，也就是说，不是严格的三倍速。此外，在以M倍速播 放时，在示为特技播放信息的播放速度中超过M的最小值是N的情况下，可以解码需要在N 倍速播放时解码的AU，并且根据解码装置的配置确定应当如何解码其余的AU。此外，在播 放速度快的情况下，可以给需要解码的AU赋予高的优先次序，并且根据优先次序确定要解 码的AU。 应注意，在变速播放时解码的AU中， 一些AU可以不被显示。例如，在倍速播放时 显示第N个AU，但不显示第M个AU。此时，在需要解码第M个AU以便解码第N个AU的情 况下，对第M个AU解码，但不在倍速播放时显示。 接下来，参考图12A至12F说明指定在变速播放时对AU进行解码的方法。图12A 至12F示出了在与图9所示的相同的随机存取单元RAU中指定要解码的AU的例子。如图 12D中所示，在倍速播放时解码10， -B14, P4， B2， P8， P6， P12， BIO。当从随机存取单元RAU 的最前端AU开始计数时，这些AU是第一、第二、第五、第六、第九、第十、第十三、和第十四个 AU。以这种方式，通过显示随机存取单元RAU中AU的顺序号，可以唯一地指定要在变速播 放时解码的AU。在通过MPEG-2传输流(TS)多路复用AVC流时，存取单元定界符确实放置 在AU的最前端。当得到要在变速播放时解码的AU数据时，顺序地搜索存取单元定界符以 知晓AU边界。这种搜索处理过程的方式消除了分析片数据之类的NAL单元的有效负载的 需要，从而它更容易。 应当注意，通过确定要被诸如I画面和P画面的AU之类的其它AU参考的AU(将 这种被参考的AU称为参考AU)已经在变速播放时解码，和通过指定随机存取单元RAU中参 考AU的顺序号，可以指定要解码的AU。在图12B的随机存取单元RAU中，如图12C中所示， 10， -B14, P4， B2， P8， P6， P12， B10是参考AU。同样，在倍速播放时，10， -B14, P4， B2， P8， P6， P12， B10被解码，但是，当以参考AU顺序指示这些AU时，如图12F中所示，它们对应于 第一，第二，第三，第四，第五，第六，第七，和第八参考AU。通过参考片中NAL单元的首部中 的特定字段，可以判断一个AU是否是参考AU。更具体地讲，在nal—refjdc的值不是0的 情况下，AU是参考AU。应当注意，由于能够根据帧号识别参考AU，所以根据帧号可以指定 要解码的参考AU。 此外，通过指定等价于从随机存取单元RAU的最前端的开始位置到要解码的AU的 开始位置的字节长度的偏移值，可以指定要解码的AU。例如，在图12A至12F中，在10在 距离流的最前端10000字节的位置开始，而P4在距离最前端20000字节的位置开始的情 况下，从表达式20000-10000得到的到P4的偏移值是10000字节。在把多路复用的流用 在MPEG-2 TS中的情况下，可以指定包括TS数据分组或PES数据分组(分组化的基本流) 的首部的杂项开销的偏移值，或可以在通过应用程序执行数据装填时指定包括这个的偏移 值。此外，可以通过帧号FN指定AU。 应当注意，在使用在MPEG-2 TS中多路复用的流的情况下，可以根据从(i)用于存 储标识包括要解码的AU的最前端数据，或随机存取单元RAU的最前端数据的TS数据分组 的索引号和地址信息的TS数据分组，到(ii)当前TS数据分组的TS数据分组的号，指定AU。 在这里，可以使用有关用于蓝光盘(Blu-ray Disc) (BD)的记录格式的源数据分组(Source Packet)的信息来取代TS数据分组。源数据分组是通过将包括TS数据分组的时间信息和 复制控制信息等的4-字节首部加到TS数据分组而得到的。
图13A是指示变速播放的信息的表的语法示例。在语法中，皿m—picjn—RAU示出 了构成随机存取单元RAU的AU的数量，num_speed示出了解码AU的播放速度的数量，play_ speed示出了播放速度，num_dec_pic示出了以play_speed中所示的播放速度播放时要解 码的的数量，dec—pic示出了在从随机存取单元RAU中的最前端AU开始计数的情况下要解 码的AU的顺序号。图13B是在倍速播放和四倍速播放时，在图9A至9D中所示的随机存取 单元RAU中存储有关要解码的AU的信息的情况的例子。应当注意，在根据随机存取单元 RAU中要解码的AU的数量和AU的总数计算确切播放速度时，或在随机存取单元RAU的基础 上顺序跳过时，使用num_pic_in_RAU。但是，可以省略num_pic_in_RAU，因为可以通过搜索 随机存取单元的最前端AU获得相同的信息。也可以将指示表的大小的字段加到表中。应 当注意，在图13A的语法示例中，直接示出了从随机存取单元RAU最前端计数的要解码的AU 的顺序号，但是，可以通过接通或断开对应于每个AU的比特显示是否需要解码每个AU。例 如，在图9A至9D所示的例子中，随机存取单元RAU是由16个AU构成的，当向一个AU分配 1比特时，需要16比特。在四倍速播放时，通过分配表示为0bl000100010001000(0b代表二 进制数)，示出了第一，第五，第九，和第十三AU被解码。在这里，最前端比特和最后比特分 别对应于随机存取单元RAU的最前端AU和最后AU。 应当注意，在图13A的语法示例中，表的大小是可变的。表大小的最大值是在规定 了构成随机存取单元RAU的AU的数量的最大值与num_speed的最大值的情况下确定的。 因此，可以将表的大小固定在确定的最大值，并且，在变速播放的信息的大小没有达到最大 值的情况下，可以执行填充。以这种方式固定表大小使得在获得变速播放信息时总是能够 获得固定大小的数据，这使得能够加速信息获得处理过程。应当注意，表的大小或存储表的 NAL单元的大小被示为管理信息。也可以预定存储特技播放信息的NAL单元的大小，并且， 在信息不能存储在一个单一的NAL单元中的情况下，可以将变速播放的信息分开存储到多 个NAL单元中。此时，对最后NAL的有效负载进行填充，以使NAL单元的大小能够达到预定 大小。也可以将一些规定值确定为表大小的值，可以将指示表大小的规定值的索引号显示 在表中，或使用应用程序的管理信息。 也可以示出差值信息来取代列出每个播放速度的所有要解码的AU。作为在 M( < N)倍速播放时的信息，除了示出N倍速播放时要解码的AU之外，仅示出需要解码的 AU。在图13B的例子中，由于，在倍速播放时，除了在四倍速播放时解码的AU之外，还需要 解码第二、第六、第十、和第十四AU，所以可以仅把第二、第六、第十、和第十四AU示为倍速 播放的信息。 应当注意，在以上的说明中示出了需要在变速播放时解码的AU，但是，可以进一步 示出指示需要解码的AU的显示顺序的信息。例如，在图9A至9D的例子中示出了倍速播放 和四倍速播放时的信息，但是，这里是以三倍速播放这个随机存取单元RAU的例子。除了要 在四倍速播放时显示的AU之外，也显示在倍速播放时显示的部分AU，使得能够实现三倍速 播放。在这里，当考虑到要在四倍速播放时显示的10与P4之间再多显示一个AU的情况 时，倍速播放的信息示出候选AU是-B14，B2，B6和B10。但是，仅在分析了一个片段的首部 信息的情况下才能获得这四个AU的显示顺序。在这里，由于有关显示顺序的信息示出了 在10与P4之间仅显示_814，所以可以确定对-B14解码。图14是指示有关显示顺序的信 息的语法示例，并且它是通过将有关显示顺序的信息加到图13A的语法中得到的。在这里，pts_dts_f lag示出了要在该播放速度解码的AU的解码顺序是否与AU的显示顺序匹配，并 且仅在解码顺序与显示顺序不匹配的情况下，才在display—order字段中示出显示顺序的 信息。 应当注意，在以没有被变速播放的信息示出的播放速度下播放的情况下，可以根 据在终端预定的规则确定要解码的AU和要显示的AU。例如，在图9的例子中的三倍速播放 的情况下，可以除了显示在四倍速播放时显示的AU之外，还显示10， B3， B6， B9和P12，来取 代显示在倍速播放时显示的部分AU。在这里，对于B画面，可以优先解码或显示参考AU中 的B画面。 同样，存在通过仅播放一个I画面的AU或仅播放一个I画面和多个P画面的AU来 实现变速播放之类的特技播放的情况。因此，可以将一个I画面和多个P画面的列表作为 特技播放信息存储。图15A至15C出了另一个例子。在这里，如图15B中所示，从I0至B14 的画面被包括在随机存取单元RAU中，并且，如图15C中所示，在这些AU中，一个I画面和 多个P画面的AU是10， P3， P6， P9， P12和P15。因此，存储用于标识10， P3， P6， P9， P12和 P15的信息。此时，可以添加将I画面的AU与P画面的AU区分开来的信息。也可以示出将 以下画面相互区分的信息，画面包括一个I画面，多个P画面，多个被参考的B画面(以下 称为参考B画面)，和多个不被参考的B画面(以下称为非参考B画面)。
此外，可以将相应的AU的优先次序信息作为特技信息存储，并且在变速播放时根 据优先次序解码或显示。可以使用画面类型作为优先次序信息。例如，可以用下面列出的
顺序分配AU的优先次序(i)I画面；(ii)P画面；(iii)参考B画面；和(iv)非参考B画
面。也可以用以下方式设置优先次序解码AU之后的时间与显示AU的时间之间的时间越 长，优先次序有高。图16A至16B示出了根据缓冲滞留时间设置优先次序的例子。图16A示 出了 AU的预测结构，并且P3也被B7和P9参考。此时，在随机存取单元RAU是由从10到 B11的AU构成的情况下(图16B)，每个AU的缓冲滞留时间如同图16C中所示。在这里，缓 冲滞留时间是根据帧数示出的。例如，直到P9被解码之前都需要P3，并且缓冲滞留时间必 须等于六个画面。因此，缓冲滞留时间是3或更长的AU的解码意味着所有I画面和P画面 的解码，并且实现了三倍速播放。在这里，P3的缓冲滞留时间比10的长，但是能够将偏移值 加到I画面的AU，以便给I画面的AU设置最高的优先次序。也可以将需要在高速播放时解 码的AU设置高的优先次序，并且在需要在N倍速播放时解码的AU中，使用N作为优先次序 信息。应当注意，在一个AU被解码或显示之后其它AU参考它的情况下，可以示出该AU被 参考的时间周期。 应当注意，可以将特技播放信息存储在SEI消息中(图8B)。在这种情况下，为特 技播放信息定义SEI消息的类型，并且将特技播放信息存储在定义的类型的SEI消息中。 将用于特技播放的SEI消息单独地或与其它SEI消息一起存储在SEI NAL单元中。应当 注意，可以将特技播放信息存储在作为用于存储用户定义的信息的SEI消息的User_data_ registered_Itu_t_t35 SEI消息或 user—data—unregistered SEI消息中。在使用这些SEI 时，通过将被存储的信息的识别信息添加在SEI的有效负载中，可以示出存储了特技播放 信息，或存储了特技播放信息的类型。 应当注意，可以将特技播放信息存储在随机存取单元RAU中不是最前端AU的AU 中。也可以预定用于标识需要在用特定播放速度播放时解码的AU的值，并添加为每个AU确定的值。例如，对于要在N倍速或更低的速度播放时解码的AU，赋予N作为播放速度信息。 也可以在片段的NAL单元的nal_ref_idC等中示出以下信息AU中画面的结构，结构是帧 结构或场结构，此外，在画面具有场结构的情况下，可以示出场类型，即，顶场或底场。例如， 由于在隔行扫描显示的情况下需要交替地显示顶场和底场，所以希望在高速播放时通过跳 过一些场，以在对场解码时能够容易地判断出下一个要解码的场是顶场还是底场。在能够 从NAL单元的首部判断出场类型的情况下，不需要分析片段首部，并且可以减少这种判断 所需的处理量。 应当注意，可以将指示构成随机存取单元RAU的每个AU是场还是帧的信息存储在 随机单元RAU的最前端AU中。通过将这种信息存储在随机存取单元的最前端AU中，即使 在场结构和帧结构共存的情况下，也可以容易地确定要在特技播放时解码的AU。图17A和 17B是随机存取单元RAU中具有场结构的AU和具有帧结构的AU共存情况的例子，并且它们 分别示出了 AU的显示顺序和AU的解码顺序。将以下画面分别编码成场对B2和B3 ;14和 P5 ;B9禾口B10 ;B11禾口B12 ;P13禾口 P14 ;B15禾口 B16 ;B17禾口 B18 ;禾口P19禾口P20。同样，4f其它 AU编码成具有帧结构的AU。此时，在仅播放一个I画面和多个P画面的AU的情况下，可以
按照以下列出的顺序播放以下的场对和帧I4和P5的场对；P8的帧；P13和P14的场对；和
P19和P20的场对。但是，由于在确定要解码的AU时，需要判断每个AU是构成场对的场之 一，还是每个AU是一帧，所以添加这种信息是有效的。 图17C是指示随机存取单元RAU中的AU是帧还是场的第一映射表(RAUjii即1)的 语法示例。在num_AU_in_RAU中示出了构成随机存取单元的AU的数量，并且在解码顺序的 随后循环中示出了有关每个AU的信息。在这里，frame—fielcLflag示出了存储在AU中的 画面是帧还是场。此外，pic—type示出了有关画面的编码类型的信息。可以示出的编码类
型包括1画面；IDR画面；P画面；参考B画面；非参考B画面，等等；因此，通过参考这个映 射表，可以确定要在特技播放时解码的画面。应当注意，可以指出是否要参考每个I画面和 每个P画面。此外，可以指出用于判断预测结构是否要应用到预定要求的信息。 图17D示出了有关图17B的随机存取单元RAU的RAUjiiapl。在这里，I画面、P画 面、参考B画面、和非参考B画面的pic_type分别是0、1、2和3。在这里，由于在特技播放 时，画面是在一帧接一帧的基础上，或一个场对接一个场对的基础上播放的，所以可以在以 上列出的基础上存储指示画面编码类型的信息。 图17F是指示在一帧接一帧的基础上或一个场对接一个场对的基础上的画面编 码类型的第二映射表(RAUjii即2)的语法示例。在这里，皿m—framejn—RAU示出了构成随 机存取单元RAU的帧数和场对数。此外，frame_flag示出了一个画面是否是一帧，并且在 它是一帧的情况下，将其设置为1。在frame—flag中设置1的情况下，frame—type示出了 有关帧的编码类型的信息。在frame—flag中设置0的情况下，也就是说，画面是一个场对 中的一个的情况下，field_pair_type中示出构成场对的每个场的编码类型。
图17E示出了有关图17B的随机存取单元RAU的RAUjii即2。在图17E中，指示I 画面、P画面、参考B画面、和非参考B画面的frame_type的值分别是0， 1，2和3。此外， field_pair_type也以解码顺序示出了每个场的类型。场类型如下1画面是I ;P画面是 P ;参考B画面是Br ;非参考B画面是Bn。例如，在第一场是I画面而第二场是P画面的情 况下，将它表示为IP，并且在第一场和第二场是非参考B画面的情况下，将其表示为BnBn。在这里，指示IP、PP、PI、BrBr、BnBn、等等的组合的值是预先设置的。应当注意，以下信息可 以用作指示场对的编码类型的信息有关场对是包括I画面或一个或更多的P画面的信息； 有关场对是包括一个还是更多的参考B画面的信息；和有关场对是包括一个还是更多的非 参考B画面的信息。 例如，特技播放信息可以是如同图18A中所示的语法那样的随机存取单元RAU的 映射表。这个映射表包括指示包括在随机存取单元RAU中的每个画面的结构的picture— structure,禾口指示画面类型的picture—type。如图18B中所示，picture—structure示出 了每个画面的结构，g卩，场结构或帧结构，等等。此外，如图18C中所示，picture—type示出 了每个画面的画面类型，S卩，I画面，参考B画面，非参考B画面，和P画面。以这种方式，接 收到这种映射表的运动画面解码装置可以通过参考这个映射表容易地识别对其执行特技 播放的AU。作为一个例子，可以在高速播放中，仅解码和播放I画面和P画面，或除了 I画 面和P画面之外，也解码和播放参考B画面。 应当注意，在指示诸如3-2下拉之类的画面结构的信息被包括在构成随机存取单 元RAU的AU中的情况下，在上述第一或第二映射表中可以包括指示画面结构的信息。例如， 可以示出每个画面具有等同于三个画面的显示场，还是每个画面具有等同于两个画面的显 示场。此外，在它具有等同于三个画面的显示场的情况下，可以示出指示是否反复显示第一 场的信息，或指示第一场是否是顶场的信息。此外，在它具有等于两个画面的显示场的情况 下，可以示出第一场是否是顶场的信息。在这里，在MPEG-4AVC中，通过在MPEG-2系统标准 中定义的AVC定时和HRD描述符中使用(i)序列参数集(SPS)的pic—struct—present—flag 或(ii)pictureJ:c^displayjonversioruflag，可以示出画面是否具有诸如3-2下拉之类 的画面结构。此夕卜，每个画面的结构是由画面定时(Picture Timing) SEI的pic—struct字 段示出的。因此，在pic—struct字段具有特定值的情况下，例如，在一个画面具有等同于三 个画面的显示场的情况下，可以通过仅设置一个标志示出画面结构。也就是说，指出有关每 个画面的以下三种类型的信息是有效的(i)在随机存取单元RAU的中间执行跳入播放的情 况下，和(ii)在确定在特定时间显示的场或其中存储了一个场的帧的时候。在确定要在变 速播放期间显示的画面的情况下，是相同的。这三种类型的信息是 (i)场; (ii)帧(在不利用3-2下拉时使用的，或也可在利用3-2下拉时使用的。在后一 种情况下，该帧具有等同于两个画面的显示场。) (iii)在利用3-2下拉时具有等同于三个画面的显示场的帧。应当注意，可以在图 18A中所示的RAU映射表的picture_structure中指示这些类型的信息。
以这种方式指示构成RAU的相应画面的画面类型的列表信息使得能够容易地确 定在诸如变速播放、跳入播放、和逆向播放之类的特技播放时解码或显示的画面。在以下的 情况下这是特别有效的 (i)在仅播放I画面和P画面的情况下； (ii)在执行I画面、P画面、和参考B画面的高速播放的情况下； (iii)在根据画面类型识别放置有关于预测画面的要求的画面，选择出特技播放
时需要解码的画面，和以特技播放来播放选出的画面的情况下。 此外，可以将特技播放信息的默认值存储在一个区中，它不同于AVC流，例如，在
21应用层的管理信息，并且仅在特技播放信息与默认值所示的特技播放信息不同的情况下， 才把特技信息包括在随机存取单元RAU中。 以上说明了有关变速播放的特技信息，但是，在逆向播放时可以使用与补充信息 相同的信息。在可以把要显示的所有画面存储在存储器中的情况下，可以在逆向播放时一 次完成解码，可以减小解码所需的处理负担。考虑到以图9A至9D的例子中的P12， P8， P4 和IO的列出的顺序执行逆向播放的情况，在存储了这四个AU的全部解码结果的条件下，可 以以这种顺序一次解码10，P4，P8和P12并执行逆向播放。因此，可以根据要在N倍速播放 时解码或显示的AU的数量，判断是否能够存储AU的所有解码数据，并根据判断结果确定要 在执行逆向播放时显示的AU。 同样，在跳入播放时可以将特技播放信息用作补充信息。在这里，跳入播放表示运 动画面的快进并且从随机确定的位置开始执行运动画面的正常播放。即使在跳入播放时利 用这种补充信息确定要快进的画面，使得能够确定跳入播放开始的画面。
应当注意，在特技播放信息中可以直接示出构成随机存取单元的每个AU的被参 考的AU。在具有多个参考AU的情况下，将它们全部示出。在这里，在参考AU属于与包括 参考该参考AU的AU的随机存取单元不同的随机存取单元的情况下，可以用下面的特定方 式指示AU :位于N个随机存取单元之前或之后的随机存取单元的第M个AU，或可以用以下 的简单方式指示AU :属于位于N个随机存取单元之前或之后的随机存取单元的AU。应当 注意，在从参考该参考AU的AU开始计数的情况下，可以用解码顺序示出参考AU的顺序号。 此时，根据以下方式之一计数AU :所有AU ;参考AU ;特定画面类型的AU，例如，I，P和B。也 可以示出每个AU可以仅参考按解码顺序直到N个AU之前和之后的AU。应当注意，在参考 按解码顺序没有包括在直到N个AU之前和之后的AU中的AU的情况下，可以添加指示这一 事实的信息。 应当注意，也可以在诸如MP4之类使用NAL单元的大小取代使用开始码前缀作为
NAL单元的边界信息的多路复用格式中，以类似的方式使用上述特技播放信息。 应当注意，在接收和记录利用MPEG-2TS(传送流)数据分组或RTP(实时传输协
议)数据分组化的编码流时，发生数据分组丢失。在这种方式中，在记录发生数据分组丢失
的环境中接收的数据的情况下，可以将指示由于数据分组丢失而丢失了流中的数据的信息
存储到编码流中，作为补充信息，或作为管理信息。可以通过插入指示是否丢失了流的数据
的标志信息，或用于通知丢失部分的特定错误通知码，示出由于数据分组丢失造成的数据
丢失。应当注意，在数据丢失时执行错误掩蔽处理的情况下，可以存储指示存在/不存在或
错误掩蔽处理的方法的标识信息。 至此已经说明了用于确定特技播放时要解码或显示的AU的特技播放信息。在这 里，参考图19说明使得能够检测随机存取单元RAU的边界的数据结构。
在随机存取单元RAU的最前端AU中，总是存储要由构成随机存取单元RAU的AU 参考的SPS的NAL单元。另一方面，在MPEG-4 AVC标准中，可以将按解码顺序要被第N个 AU参考的SPS的NAL单元存储到按解码顺序从第N个AU或位于第N个AU之前的AU中任 意选择的一个AU中。存储这个NAL单元，从而能够反复发送SPS的NAL单元，以便为由于 在通信或广播中发送流时数据分组丢失造成SPS的NAL单元丢失做准备。但是，以下规则 对于存储应用的使用是有效的。仅把要被随机存取单元RAU的所有AU参考的SPS的单一NAL单元存储在随机存取单元RAU的最前端AU中，并且不将这个SPS的NAL单元存储在随 机存取单元中随后AU中。如果该AU包括SPS的NAL单元的话，这样做使得能够保证该AU 是随机存取单元RAU的最前端AU。通过搜索SPS的NAL单元，可以发现随机存取单元RAU 的开头。诸如时间映射表之类的流的管理信息不保证提供有关所有随机存取单元RAU的存 取信息。因此，例如，在对位于没有提供它的存取信息的随机存取单元RAU的中间的画面执 行跳入播放的情况下，通过搜索流中的SPS的NAL单元能够特别有效地获得每个随机存取 单元RAU的开始位置。 在这里，在随机存取单元的最前端AU是IDR画面的AU的情况下，该随机存取单元 RAU的AU不参考按解码顺序位于较早位置上的随机存取单元RAU中的AU。将这种类型的 随机存取单元RAU称为封闭型随机存取单元RAU。另一方面，在随机存取单元RAU的最前 端AU是I画面的AU而不是IDR画面的AU的情况下，这个随机存取单元的AU可以参考按 解码顺序位于较早位置上的随机存取单元RAU中的AU。将这种类型的随机存取单元RAU称 为开放型随机存取单元RAU。在光盘等介质播放期间转换角度的时候，从封闭型随机存取单 元RAU进行切换。因此，在随机存取单元RAU的最前端，可以有效地进行有关随机存取单元 RAU是开放型的还是封闭型的判断。例如，可以在SPS的NAL单元的nal_ref_idC字段中 示出用于判断类型，即，开放型或封闭型的标志信息。由于在SPS的NAL中将nal_ref_idC 的值定义为1或更大，所以高阶的比特总是设置在l，并且通过低阶比特示出标志信息。应 当注意，即使在最前端AU是I画面的AU而不是IDR的AU的情况下，随机存取单元RAU中 的AU也可以不参考按解码顺序位于较早位置的随机存取单元RAU中的AU。可以将这种类 型的随机存取单元RAU考虑为封闭型随机存取单元RAU。应当注意，可以利用除nal_ref_ idc之外的字段示出标志信息。 应当注意，可以根据除仅存储在随机存取单元RAU的最前端AU中的SPS之外的 NAL单元来指定随机存取单元RAU的开始位置。也可以利用每个随机存取单元RAU的nal_ ref」dc字段示出每个随机存取单元RAU的类型，即，开放型的或封闭型。
最后，图20A和20B示出了构成随机存取单元RAU的AU的预测结构的例子。图 20A按显示顺序示出了 AU的位置，图20B按解码顺序示出了 AU的位置。如图中所示，在作 为随机存取单元RAU的最前端AU的13之前示出的Bl和B2可以参考在13之后显示的AU。 在图中，BI参考P6。在这里，为了保证13和按显示顺序在后面的画面的AU能够被正确地 解码，禁止13和按显示顺序在后面的画面的AU参考按显示顺序在13之前的AU。
(运动画面编码装置) 图21是实现本发明的运动画面编码方法的运动画面编码装置100的方框图。运 动画面编码装置100产生图8至20中所示的运动画面的编码流，所述编码流可以利用诸如 跳入播放，变速播放，和逆向播放之类的特技播放进行播放。除了图4中所示的现有技术 的运动画面编码装置1的单元之外，运动画面编码装置还IOO包括特技播放信息产生单元 TrickPlay。应当注意，在图中对与图4的方框图中所示的现有技术的运动画面编码装置的 处理单元执行相同操作的处理单元分配了相同的参考标号，并且省略对它们的说明。
特技播放信息产生单元TrickPlay是根据包括一个或更多画面的随机存取单元 产生要在播放随机存取单元时参考的补充信息的单元的例子。特技播放信息产生单元 TrickPlay根据画面类型Ptype产生特技播放信息，并将特技播放信息通知给可变长度编码单元VLC。 可变长度编码单元VLC是通过将产生的补充信息添加到每个对应的随机存取单
元而产生包括补充信息和画面的流的流产生单元的例子。长度编码单元VLC进行编码并将
用于存储特技信息的NAL单元放置到随机存取单元RAU的最前端AU中。 图22是图21所示的运动画面编码装置IOO(主要是特技信息产生单元
TrickPlay)如何执行包括特技播放信息的编码流的产生过程的流程图，即，本发明的运动
画面编码方法的流程图。 首先，在步骤IO，运动画面编码装置IOO判断要编码的AU是否是随机存取单元 RAU的最前端AU。在它是最前端AU的情况下，流程前进到步骤ll，而在它不是最前端AU的 情况下，流程前进到步骤12。在步骤ll，运动画面编码装置100执行用于产生随机存取单 元RAU的特技播放信息的初始处理，并且还把用于存储特技播放信息的区固定到随机存取 单元RAU的最前端AU中。在步骤12，运动画面编码装置IOO对AU数据编码，然后前进到 步骤13。在步骤13，运动画面编码装置100获得产生特技播放信息时需要的信息。这种信 息是AU的画面类型，S卩，I画面，P画面，参考B画面，或非参考B画面；或是否需要在执行 N倍速播放时对AU解码。此后，运动画面编码装置100前进到步骤14。在步骤14，运动画 面编码装置100判断该AU是否是随机存取单元RAU的最后AU。在它是最后AU的情况下， 运动画面编码装置100前进到步骤15，而在它不是最后AU的情况下，前进到步骤16。在步 骤15，运动画面编码装置100确定特技播放信息，产生用于存储特技播放信息的NAL单元， 并把产生的NAL单元存储到步骤11中固定的区中。在完成了步骤15的处理过程之后，运 动画面编码装置100前进到步骤16。在步骤16，运动画面编码装置100判断是否存在下一 个要编码的AU。在有一个要编码的AU的情况下，重复步骤10和随后的步骤，而在没有要编 码的AU的情况下，则完成了处理过程。在这里，在运动画面编码装置100在步骤16中判断 没有要编码的AU的情况下，存储最后随机存取单元RAU的特技播放信息，然后，完成处理过 程。 例如，当运动画面编码装置100产生图18A中所示的特技信息时，在步骤13中得 到以下信息画面类型；该画面是具有场结构的画面，还是具有帧结构的画面；或/和在有 关3-2下拉的信息包括在编码流中的情况下，指示画面的显示场是等同于两个画面还是等 同于三个画面的信息。在步骤15中，运动画面编码装置100按解码顺序设置随机存取单元 RAU中所有画面的picture_structure禾口 picture_type。 应当注意，在开始随机存取单元RAU的最前端AU的编码时不知道存储特技播放信 息的NAL单元的大小的情况下，要在步骤11省略固定用于存储特技播放信息的区的处理过 程。在这种情况下，在步骤15中将产生的用于存储特技播放信息的NAL单元插入到最前端 AU。 另外，可以在编码流的基础上切换存储或不存储特技播放信息。特别是，在应用规 定了构成随机存取单元的AU之间的预测结构的情况下，可以确定不存储特技播放信息。例 如，在编码流与MPEG-2流具有相同预测结构的情况下，没有必要存储特技播放信息。这是 因为不用特技信息也能够确定需要在特技播放时解码的AU。应当注意，这种切换可以在随 机存取单元RAU的基础上执行。
(运动画面多路复用装置)
图23是显示本发明的运动画面多路复用装置108的结构的方框图。该运动画面多 路复用装置108输入运动画面数据，对运动画面数据编码以产生MPEG-4 AVC流，多路复用 带有对构成流的AU的存取信息和包括用于确定在特技播放时执行的操作的补充信息的管 理信息的流，和记录多路复用的流。运动画面多路复用装置108包括流属性确定单元101， 编码单元102，管理信息产生单元103，多路复用单元106，和存储单元107。在这里，编码单 元102具有将特技播放信息加到图21中所示的运动画面编码装置100中的功能。
流属性确定单元101确定有关在对MPEG-4 AVC流编码时执行的特技播放的需求， 并将它们作为属性信息TYPE输出到编码单元102和播放支持信息产生单元105。在这里， 有关特技播放的需求包括下列信息，指示是否将构成随机存取单元的需求应用到MPEG-4 AVC流；指示要在变速播放或逆向播放时解码或显示的AU的信息是否包括在流中；或是否 设置有关AU之间的预测结构的需求。流属性确定单元101进一步将作为产生诸如压縮格式 或分辨率之类的管理信息所需的信息的一般管理信息输出到一般管理信息产生单元104。 编码单元102根据属性信息TYPE将输入的视频数据编码成MPEG-4 AVC流，将编码数据输 出到多路复用单元106，并将流中的存取信息输出到一般管理信息产生单元104。在这里， 在属性信息TYPE示出指示要在变速播放或逆向播放时解码或显示的AU的信息未包括在流 中的情况下，不将特技信息包括在编码流中。应当注意，存取信息指示对流进行存取中作为 基础单元的存取单元的信息，并且在存取单元中包括最前端AU的开始地址，显示时间，等 等。 一般管理信息产生单元104根据存取信息和一般管理信息产生存取流时要参考的表数 据和存储诸如压縮格式之类的属性信息的表数据，并将表数据作为管理信息INFO输出到 多路复用单元106。播放支持信息产生单元105根据输入的属性信息TYPE产生指示流是 否具有随机存取结构的支持信息HLP，并将支持信息HLP输出到多路复用单元106。多路复 用单元106通过多路复用支持信息HLP，产生通过编码单元102输入的编码数据，管理信息 INFO，和多路复用数据，并将它们输出到存储单元107。存储单元107将通过多路复用单元 106输入的多路复用数据记录到诸如光盘、硬盘、和存储器之类的记录介质上。应当注意，编 码单元102可以将MPEG-4 AVC流分组成，例如，MPEG-2 TS(传送流)或MPEG-2 PS(程序 流)，然后输出数据分组化的MPEG-2 TS或PS。编码单元102也可以利用诸如BD之类的应 用规定的格式把流分割成数据分组。 应当注意，管理信息的内容不需要依赖于特技播放信息是否存储在编码流中。此 时，可以省略支持信息HLP。运动画面多路复用装置108也可以具有没有播放支持信息产生 单元105的结构。 图24A和24B示出了由支持信息HLP所示的信息的例子。支持信息HLP包括如图 24A中所示的直接指示流的信息的方法，和如图24B中所示的，指示该流是否满足由特定应 用标准规定的需求的方法。 图24A示出了作为有关流的信息的以下信息有关流是否具有随机存取结构的信 息；有关是否存在对存储在AU中的画面之间的预测结构的需求的信息；和有关指示要在特 技播放时解码或显示的AU的信息是否存在的信息。 在这里，有关要在特技播放时解码或显示的AU的信息可以直接指示要解码或显 示的AU，或指示在解码或显示时的优先次序。例如，可以指出指示要在随机存取单元的基础 上解码或显示的AU存储在具有应用、SEI消息等规定的特定NAL单元类型的NAL单元中的
25信息。应当注意，可以指出存在指示构成随机存取单元的AU之间的预测结构的信息。也可 以在一个或更多的随机存取单元的基础上加入有关要在特技播放时解码或显示的AU的信 息，或将该信息加到构成随机存取单元的每个AU。 此外，在指示要解码或显示的AU的信息存储在具有特定类型的NAL单元中的情况 下，可以示出NAL单元的NAL单元类型。在图25的例子中，在支持信息HLP中，有关要在特 技播放时解码或显示的AU的信息包括在NAL单元类型是0的NAL单元中。此时，可以通过 对NAL单元类型是0的NAL单元进行去多路复用，从该流的AU数据获得有关特技播放的信 息。在利用SEI消息存储有关特技播放的信息的情况下，可以指出用于识别SEI消息的信 息。 此外，对于有关预测结构的需求，可以指出是否满足了一个或更多预定需求，或可 以指出分别满足了以下各个需求 (i)对于I画面或P画面的AU，解码顺序应当与显示顺序匹配；
(ii)P画面的AU不能参考B画面的AU ; (iii)按显示顺序在随机存取单元中最前端AU之后的AU仅能参考包括在随机存 取单元中的AU ;禾口 (iv)每个AU仅能够参考按解码顺序位于直到第N个AU之前和之后的AU。在这 种情况下，所有AU —起计数，或在参考AU的基础上对AU计数，并且N的值可以在支持信息 HLP中给出。 应当注意，在MPEG-4 AVC中，可以使用在解码后对其执行了除去块失真的滤波处 理从而提高画面质量的画面作为参考画面，并且可以使用去块处理之前的画面作为显示画 面。在这种情况下，运动画面解码装置需要保存去块处理之前和之后的画面。因此，可以将 指示是否需要保存去块处理之前和之后的画面以用于显示的信息存储在支持信息HLP中。 MPEG-4AVC标准定义了存储参考画面或作为解码结果显示的画面所需的缓存器(DPB :解码 画面缓存器)的最大尺寸。因此，利用具有最大尺寸的DPB缓存器或具有应用规定的最大 尺寸的缓存器，可以指示是否即使在存储了用于参考画面的显示的画面的情况下，也能无 故障地执行解码处理过程。应当注意，为了存储参考画面的去块处理之前的画面，可以利用 字节数或帧数指示除了作为DPB需要的尺寸之外，需要固定的缓存器尺寸。在这里，可以从 流中的信息或诸如管理信息之类的流外的信息，获得是否要对每个画面执行去块处理。在 获得流中信息的情况下，例如，可以从SEI获得。此外，在对MPEG-4 AVC流解码的情况下， 可以根据能够在解码单元中使用的缓存器尺寸和上述信息，判断是否可以将参考画面去块 处理之前的画面用于显示，然后可以确定如何显示画面。 应当注意，支持信息HLP可以包括全部信息或信息的一部分。也可以包括基于预 定条件的必要信息，例如，在没有关于预测结构的需求的情况下仅包括有关特技播放信息 存在/不存在的信息。支持信息HLP中也可以包括除上述信息之外的信息。
图24B并不直接指示有关流的结构的信息，但是指示流是否满足对蓝光盘 (BD-R0M)标准或在DVD中存储高清晰度画面的高清晰度(HD)DVD标准规定的有关流结构 的需求。此外，在诸如BD-ROM标准等之类的应用标准中将多种模式定义为流的需求的情况 下，可以存储指示应用模式的信息。例如，使用以下模式指示不存在需求的模式1 ;指示流 具有随机存取结构并且包括指定在特技播放时解码的AU的信息的模式2;等等。应当注意，可以指示流是否满足诸如下载或流化之类的通信服务，或广播标准中规定的需求。 应当注意，可以指示图24A中示出的信息和图24B中示出的信息二者。此外，在知
道该流满足特定应用标准中的要求的情况下，可以通过将流结构转换到如图24A中所示的
直接说明的格式而存储该应用标准中的要求，以取代指示流是否满足该应用标准。 应当注意，可以存储指示要在特技播放时解码或显示的AU的信息作为管理信息。
此外，在转换流中的支持信息HLP的内容的情况下，可在一个部分接一个部分的基础上指
示支持信息HLP。 图26是显示运动画面多路复用装置108的操作的流程图。在步骤51，流属性确定 单元101根据用户设置或预定条件确定属性信息TYPE。在步骤52，编码单元102根据属性 信息TYPE对流进行编码。在步骤53，播放支持信息产生单元105根据属性信息TYPE产生 支持信息HLP。结果是，在步骤54，编码单元102根据编码流的存取单元来产生存取信息， 并且一般管理信息产生单元104通过将存取信息添加到其它必要信息(一般管理信息)而 产生管理信息INFO。在步骤55，多路复用单元106对流、支持信息HLP、和管理信息INFO进 行多路复用。在步骤56，存储单元107记录多路复用的数据。应当注意，步骤53可以在步 骤52之前或步骤54之后执行。 应当注意，编码单元102可以将支持信息HLP中所示的信息存储到流中。在这种 情况下，支持信息HLP中所示的信息被存储到用于存储特技播放的NAL单元中。例如，在P 画面不参考B画面的情况下，在变速播放时可以仅对I画面和P画面解码。因此，存储了指 示是否能够仅解码和显示I画面和P画面的标志信息。此外，存在着在变速播放时解码的 AU不能从应当被对应AU参考的AU获得SPS或PPS的情况。在这是在仅解码I画面和P画 面的情况下，情况是仅把P画面参考的PPS存储在B画面的AU中。在这种情况下，需要从B 画面的AU获得对P画面解码所需的PPS。因此，可以包括指示是否可以从变速播放时解码 的其它AU之一获得被变速播放时解码的每个AU参考的SPS或PPS的标志信息。这样能够 在没有设置标志的情况下执行诸如也是仅从变速播放时不解码的画面的AU来检测SPS或 PPS之类的操作。此外，在显示只有I画面和P画面能够被解码和显示的时候，可以通过同 样对B画面解码，特别是其它画面参考的B画面，来调节播放速度。 此外，也可以将标志信息存储到SPS、PPS或片段之类的另一个NAL单元的首部，而 不使用任何用于存储特技播放的NAL单元。例如，在把由构成随机存取单元RAU的AU参考 的SPS存储到该随机存取单元RAU中的最前端AU中的情况下，SPS的NAL单元的nal_ref_ idc字段可以指示标志信息。由于定义了 SPS的NAL单元中的nal_ref_idC的值是1或更 大，从而能够总是将高阶比特设置在l，和由低阶比特指示标志信息。 应当注意，可以将支持信息HLP的内容存储到流或管理信息中，或存储到二者中。 例如，在流中的支持信息HLP的内容是固定的情况下，可以在管理信息中示出内容，而在内 容是可变的情况下，可以在流中示出该内容。也可以将指示支持信息HLP是否是固定的标 志信息存储在管理信息中。此外，在支持信息HLP在诸如BD-ROM或RAM之类的应用标准中 预定的情况下，或在支持信息HLP是通过通信或广播分开提供的情况下，可以不存储支持 信息HLP。(运动画面解码装置) 图27是实现本发明的运动画面解码方法的运动画面解码装置200的方框图。该运动画面解码装置200播放图8A和8B至图20中所示的编码流。它不仅可以执行正常播 放，而且也能够执行诸如跳入播放，变速播放，和逆向播放之类的特技播放。除了图5中所 示的现有技术的解码装置2的各种单元之外，运动画面解码装置200进一步包括流提取单 元EXT和解码AU选择单元AUsel。应当注意，与图5的方框图中所示的现有技术的解码装 置2的对应处理单元执行相同的操作的处理单元被分配了相同的参考标号，并且省略了对 它们的说明。 根据从外部输入的特技播放指令，解码AU选择单元AUsel根据在可变长度解码单 元VLD中解码的特技播放信息Rrplnf确定需要解码的AU。在这里，指示特技播放的特技播 放指令是从解码AU选择单元AUSel输入的。此外，解码AU选择单元AUsel将指示确定为 需要解码的AU的信息DecAU通知给流提取单元EXT。流提取单元EXT仅提取对应于解码 AU选择单元AUsel判断为需要解码的AU的AU流，然后将流发送到可变长度解码单元VLD。
图28是图27中所示的运动画面解码装置200 (主要是解码AU选择单元AUsel) 如何在执行特技播放时执行包括特技播放信息的流的解码过程的流程图，即，本发明的运 动画面解码方法的流程图。 首先，在步骤20，解码AU选择单元AUsel通过检测流中的SPS等，判断AU是否是 随机存取单元RAU的最前端AU。在AU是最前端AU的情况下，前进到步骤21，而在AU不是 最前端AU的情况下，前进到步骤22。在这里，可以从诸如时间映射表之类的管理信息获得 随机存取单元RAU的开始位置。更具体地讲，在确定了跳入播放时的播放开始位置，或仅选 择了随机存取单元RAU的最前端画面并对选择的最前端画面执行高速播放的情况下，能够 参考时间映射表确定随机存取单元RAU的开始位置。在步骤21，解码AU选择单元AUsel从 AU数据获得特技播放信息，分析AU数据并在前进到步骤22之前确定要解码的AU。在步骤 22，解码AU选择单元AUsel判断该AU是否是步骤21中确定为要解码的AU。在确定是要解 码的AU的情况下，运动画面解码装置200在步骤23中对该AU解码，而在确定不是要解码 的AU的情况下，前进到步骤24。在步骤24，运动画面解码装置200判断是否剩余任何要解 码的AU。在具有要解码的AU的情况下，运动画面解码装置200重复步骤20和随后步骤的 处理过程，而在没有剩余AU的情况下，则完成了处理过程。应当注意，可以省略步骤21和 步骤22的处理过程，或省略步骤21中的确定处理过程，并在按顺序解码和显示所有AU的 正常播放时，输出指示对所有AU进行解码的信息。 图29是指示步骤21中的处理过程(解码AU选择单元AUsel执行的处理过程)的 流程图。首先，在步骤30，解码AU选择单元AUSel通过搜索AU数据来查找以最前端字节开 始的开始码前缀，检测构成AU的NAL单元的开始位置，并前进到步骤31。应当注意，可以搜 索并不是以AU数据的最前端字节开始，而是在诸如存取单元定界符的结束位置之类的另 外位置开始的开始码前缀。在步骤31，解码AU选择单元AUSel得到NAL单元的NAL单元类 型，并前进到步骤32。在步骤32，解码AU选择单元AUSel判断步骤31中得到的NAL单元 类型是否是用于存储特技播放信息的NAL单元类型。在存储了特技播放信息的情况下，前 进到步骤33，而在没有存储特技播放信息的情况下，则重复步骤30和随后的步骤的处理过 程。在这里，在特技播放信息存储在SEI消息中的情况下，解码AU选择单元AUSel首先获 得SEI的NAL单元，接下来，判断用于存储特技播放信息的SEI消息是否包括在NAL单元中。 在步骤33，解码AU选择单元AUSel得到特技播放信息，并前进到步骤34。在步骤34，解码
28AU选择单元AUSel确定在执行特定的特技播放时需要解码的画面。例如，假如指定了倍速 播放。在特技播放信息指示可以通过仅解码和播放I画面，P画面和参考B画面来实现倍速 播放的情况下，则确定要解码和播放三种类型的画面。应当注意，在从步骤30到步骤32的 处理过程中没有在随机存取单元RAU的最前端画面中检测到特技播放信息的情况下，根据 预定方法确定需要解码的画面以便执行特点的特技播放操作。作为一个例子，可以通过参 考指示存取单元定界符中画面的画面类型的字段，或通过察看NAL单元的首部的nal_ref_ idc，判断该画面是否是参考画面。例如，可以通过参考指示画面类型的字段和nal_ref_idC 二者，区分参考B画面和非参考B画面。 图30是指示不总是显示要解码的所有AU的情况下的处理过程(解码AU选择单 元AUSel执行的处理过程)的流程图。与图28的流程图中的步骤执行相同处理过程的步 骤被分配了相同的参考标号，并省略了对它们的说明。在步骤41，解码AU选择单元AUSel 获得和分析特技播放信息，确定要解码的AU和以特定的特技操作显示AU，并且前进到步骤 42。在步骤42，解码AU选择单元AUSel判断解码的AU是否与显示的AU完全匹配。在完全 匹配的情况下，前进到步骤22，而在不完全匹配的情况下，则前进到步骤43。在步骤43，解 码AU选择单元AUSel输出要显示的AU的列表信息，并且前进到步骤22。在从解码AU中确 定要显示的AU的步骤(图中未示出)中使用输出AU的列表信息。 应当注意，在MPEG-4 AVC中，可以使用在解码之后对其执行了消除块失真的滤波 处理(去块处理)以提高画面质量的画面来作为参考画面，并且可以使用去块处理之前的 画面作为显示画面。在这种情况下，运动画面解码装置200需要保存去块处理之前和之后 的画面数据。在这里，在运动画面解码装置200具有可以存储等同于四个画面的解码后数 据的存储器的条件下，在把去块处理之前和之后的画面数据存储在存储器中的情况下，存 储器需要存储等同于两个画面的数据，以便保存参考画面的去块之前的画面。但是，如上所 述，在逆向播放时，希望在存储器中保存尽可能多的画面。在运动画面解码装置200也将去 块处理之后的画面用于显示的条件下，由于无需存储去块处理之前的画面，所以可以将四 个画面的数据保存在存储器中。因此，在正常方向播放时显示去块处理之前的画面以提高 画面质量，并且在逆向播放时显示去块处理之后的画面，使得能够在存储器中保存更多的 画面，并且减少了逆向播放时的处理量。例如，在图15A至15C示出的作为特技播放信息的 I画面和P画面的AU的列表的例子中，在逆向播放时能够将四个画面的所有数据都保存在
一个存储器中，而在正常方向的播放时能够将以下的两画面组10和P3 ;P3和P6 ;和P6和
P9，同时保存在存储器中，这些两组画面是从10， P3， P6和P9中任意选择的。 [OMO](在光盘中记录特技播放的格式的例子) 特技播放功能在播放致密介质的光盘装置中是特别重要的。在这里，要说明将上 述特技播放信息记录到作为下一代光盘的蓝光盘(BD)中的例子。
首先，说明BD-ROM的记录格式。 图31是指示BD-ROM的结构，特别是作为盘介质的BD盘114的结构，和存储在盘 中的数据111， 112和113的示意图。存储在BD盘中的数据包括AV数据113，诸如有关AV 数据和AV播放顺序的管理信息之类的BD管理信息112，和实现互动性的BD播放程序111。 在这里，为了方便，将BD盘的说明集中于用于播放电影的音频和视频内容的AV应用，但是 可以对其它应用进行同样的说明。
29
图32是显示存储在上述BD盘中的逻辑数据的目录文件的结构示意图。例如，如 同DVD、 CD等一样，BD盘具有从其内周到其外周的记录区，并具有在内周的读入和外周的 读出之间的、用于存储逻辑数据的逻辑地址空间。此外，在读入内侧，具有叫作脉冲分割区 (Burst Cutting Area) (BCA)的，只能由驱动器读出的专用区。由于这个区不能从应用读 出，所以可以将它用于，例如，版权保护技术。 文件系统信息(巻)存储在逻辑地址空间的最前端，并且视频数据之类的应用数 据也存储在这里。如背景技术中所述，文件系统是例如UDF或IS09660，它允许如同正常PC 的情况一样读出利用目录结构或文件结构存储的逻辑数据。 在这个实施方式中，作为BD盘上的目录结构和文件结构，BDVIDEO目录紧接着路 径目录(ROOT(根目录))之下放置。这个目录是存储诸如AV内容或在BD中处理的管理信 息(图32中说明的101，102和103)之类的数据的目录。
在BDVIDEO目录之下，记录着以下七个文件。 (i) BD. INFO (文件名是固定的)，这是一条"BD管理信息"，并且是存储有关整个BD 盘的信息的文件。BD播放器首先读出这个文件。 (ii)BD. PROG(文件名是固定的)，这是"BD播放程序"之一，并且是存储有关整个 BD盘的播放控制信息的文件。 (iii)XXX. PL( "XXX"是可变的，而扩展名"PL"是固定的)，这是一条"BD管理信 息"，并且是存储作为脚本(播放序列)的播放列表信息的文件。每个播放列表具有一个文 件。 (iv)XXX. PROG( "XXX"是可变的，而扩展名"PROG"是固定的)，这是"BD播放程序" 之一，并且是存储根据播放列表准备的播放控制信息的文件。对应播放列表是根据文件体 名(根据"XXX"的匹配)识别的。 (v)YYY. VOB( "YYY"是可变的，而扩展名"VOB"是固定的)，这是"AV数据"之一， 并且是存储VOB(与背景技术中说明的VOB相同)的文件。每个VOB具有一个文件。
(vi)YYY. VOBI ( "YYY"是可变的，而扩展名"VOBI"是固定的)，这是一条"BD管理 信息"，并且是存储有关作为AV数据的VOB的流管理信息的文件。对应播放列表是根据文 件体名(根据"YYY"的匹配)识别的。 (vii)ZZZ. PNG( "ZZZ"是可变的，而扩展名"PNG"是固定的)，这是"AV"数据之 一，并且是存储用于构成副标题和菜单的图像数据PNG(这是由V3C标准化的画面格式，念 作"ping")的文件。每个PNG图像具有一个文件。 以下参考图33至图38说明BD导航数据的结构(BD管理信息)。
图33是显示V0B管理信息文件("YYY. VOBI")的内部结构的示意图。VOB管 理信息具有VOB的流属性信息(Attribute)和时间映射表(TMAP)。流属性具有视频属性 (Video)和音频属性(Audio#0至Audio#m)。更具体地讲，在音频流的情况下，由于VOB同 时具有多个音频流，所以通过音频流的号码(Number)来指示数据字段的存在或不存在。
下面是分别存储在字段中的视频属性(Video)，和对应字段可能具有的值。
(i)压縮格式(Coding) :MPEG-1 ;MPEG-2 ;MPEG-4 ;和MPEG-4AVC(高级视频编码)。
(ii)分辨率(Reslution) :1920X1080 ;1440X1080 ;1280X720 ;720X480 ;和 720X565。
(iii)宽高比(Aspect) :4比3 ;禾口 16比9。 (iv)帧速率(Framerate) :60 ;59. 94 (60/1. 001) ;50 ;30 ;29. 97 (30/1. 001) ;25; 24 ;和23. 976(24/1. 001)。 以下是分别存储在字段中的音频属性(Audio)，和相应字段可能具有的值。
(i)压縮格式(Coding) :AC3 ;MPEG-1 ;MPEG-2 ;和LPCM。
(ii)声道号(Ch) :1至8。 [O205] (iii)语言属性(Language): 时间映射表(TMAP)是用于存储基于VOBU的信息的表，并且具有V0B具有的V0BU 数量和相应的V0BU信息条(V0BU#1至V0BU#n)。各V0BU信息条包括作为VOBU的最前端 TS数据分组的地址(I画面的开始地址)的1—start，和直到I画面的结束地址的偏离地址 (I_end)，和I画面的播放开始时间(PTS)。 图34是显示V0BU详细情况的示意图。众所周知，由于可以对MPEG视频流执行可 变比特率压縮以便高质量地记录视频流，所以播放时间与数据大小之间没有正比性。另一 方面，由于在作为音频压縮标准的AC3中执行固定比特率压縮，所以可以从初等表达式获 得时间与地址之间的关系。但是，在MPEG视频数据的情况下，每个帧具有固定的显示时间， 例如，在NTSC情况下，一个帧具有1/29. 97秒的显示时间，但是根据图像特征，或压縮中使 用的画面类型，例如，I画面、P画面、或B画面，压縮每个帧之后的数据大小极大地改变。因 此，在MPEG视频流的情况下，不能利用初等表达式表示时间与地址之间的关系。
如所预期的，在多路复用MPEG视频数据的MPEG系统流中，即，在VOB中，不能利用 初等表达式表示时间与数据大小之间的关系。因此，在VOB中用时间映射表(TMAP)将时间 与地址联系在一起。 以这种方式，在给出了时间信息的情况下，首先搜索时间所属的VOBU(按顺序跟 随VOBU的PTS)，使紧挨着该时间之前的PTS跳入TMAP具有的VOBU(由I_start指定的地 址)，从该VOBU的最前端I画面开始解码，并且从对应于该时间的画面开始显示。
接下来，参考图35说明播放列表信息("XXX. PL")的内部结构。播放列表信息包 括单元列表(CellList)和事件列表(EventList)。 单元列表(CellList)是播放列表中的播放单元序列，并且各单元以这个列表中 指示的规定顺序播放。单元列表(CellList)的内容是单元号(Number)和每个单元的信息 (Cell#l至Cell#n)。 单元信息(Cell#)具有VOB文件名(VOBName)，该VOB中的开始时间(In)和结束 时间(Out)，和副标题(SubtitleTable)。在每个VOB中将开始时间(In)和结束时间(Out) 表示为帧号。利用上述时间映射表(TMAP)可以获得播放所需的VOB数据的地址。
副标题表(SubtitleTable)是存储与VOB同步播放的副标题信息的表。如同音频 的情况一样，多种语言包括在副标题中。副标题表(SubtitleTable)的第一信息包括语言 号(Number)和随后根据语言准备的表(Language#l至Language#k)。 每个语言表(Language^包括语言信息(Lang)，要独立显示的副标题的副标题信 息条的号(Number)，和要独立显示的副标题的副标题信息(Speech#l至Speech#j)。副标 题信息(SpeeCh#)包括图像数据文件名(Name)，副标题显示开始时间(In)，副标题显示结 束时间(Out)，和副标题显示位置(Position)。
事件列表(EventList)是定义播放列表中发生的每个事件的表。事件列表包括 事件号(Number)和各个事件(Event#l至Event#m)。每个事件(Event#)包括事件类型 (Type)，事件ID (ID)，事件发生时间(Time)，和事件持续时间(Duration)。
图36是具有根据播放列表准备的事件处理程序(这是用于菜单选择的时间事 件和用户事件)的事件处理程序表("XXX. PROG")。事件处理程序表包括定义的事件处 理程序/程序号(Number)，和相应的事件处理程序/程序(Program#l至Program#n)。 每个事件处理程序/程序(Programs)的内容是事件处理程序的开始的定义(〈event— handler〉tag)和与早先说明的事件ID组成对的事件处理程序，ID (ID)，紧接着它的是在跟 随在函数(Function)后面的"{}"中说明的程序。存储在早先说明的"XXX. PL"的事件列表 (EventList)中的事件(Event#l至Event#m)是利用"XXX. PROG"的事件处理程序的ID (ID) 指定的。 接下来，参考图37说明有关整个BD盘的信息("BD. INFO")的内部结构。有关整 个BD盘的信息包括标题列表(TitleList)和全局事件的事件表(EventList)。
标题列表(TitleList)包括盘的标题号(Number)和跟随在标题号后面的多条标 题信息(Titleftl至Titlefe)。各条标题信息(Title#)包括被包括在标题中的播放序列表 (PLTable)，和标题中的章列表(Ch即terList)。播放序列表(PLTable)包括标题中的播放 列表的号(Number)，和作为播放列表的文件名的播放列表名(Name)。 章列表(ChapterLi st)包括被包括在标题中的章号(Number)和多条章信息 (Chapter#l至Chapter#n)。每条章信息(Chapter#)包括被包括在该章中的单元表 (CellTable)，单元表(CellTable)包括单元号(Number)和多条单元项信息(CellEntry#l 至CellEntryftk)。单元项信息(CellEntry#)包括播放列表名，播放列表名包括该播放列表 中的单元和单元号。 事件列表(EvenList)包括全局事件号(Number)和多条全局事件。应当注意，首 先定义的全局事件叫做第一事件(FirstEvent)，并且是BD插入播放器后首先调用的事件。 全局事件的事件信息仅有一个事件类型(Type)和一个事件ID(ID)。 图38是全局事件处理程序的程序的表("BD. PROG")。该表的内容与图36中说 明的事件处理程序表的内容相同。 在以至此所述的BD-ROM格式存储上述特技播放信息的情况下，要考虑到VOBU包 括一个或更多的随机存取单元RAU，并且特技播放信息包括在VOBU的最前端AU中。应当注 意，在MPEG-4 AVC中，包括存储着特技播放信息的NAL单元。 应当注意，可以将特技播放信息存储在BD管理信息中。例如，可以通过扩充VOB 管理信息的时间映射表来存储在VOBU基础上准备的特技播放信息。也可以定义用于存储 特技播放信息的新映射表。 也可以将特技播放信息存储到VOBU或BD管理信息中。 也可以仅把特技播放信息的默认值存储到BD管理信息中，并且只有在关于VOBU 的特技播放信息与默认值不同时，才能将特技播放信息存储到VOBU中。
也可以将一条或更多条特技播放信息的集合存储到BD管理信息中，作为流之间 共用的信息。VOBU可以参考存储在BD管理信息中的多条特技播放信息中的一条特技播放 信息。在这种情况下，将VOBU参考的特技播放信息的索引信息存储到VOBU单元的管理信
32息或V0BU中。(播放光盘的播放器) 图39是大致示出播放图31中所示的BD盘的播放器的功能结构的方框图。通过 光拾取头202读出BD盘201上的数据。根据相应数据的类型，将读出的数据发送到专用存 储器。将BD播放程序("BD.PROG"或"XXX.PROG"的内容)发送到程序存储器203。另夕卜， 把BD管理信息("BD. INFO"，"XXX.PL"或"YYY. VOBI")发送到管理信息存储器204。还将 AV数据("YYY. VOB"或"ZZZ.PNG")发送到AV存储器205。 程序处理单元206处理记录在程序存储器203中的BD播放程序。另外，管理信息 处理单元207处理记录在管理信息存储器204中的BD管理信息。显现处理单元208处理 记录在AV存储器205中的AV数据。 程序处理单元206接收管理信息处理单元207要播放的播放列表的信息，和诸如 程序的执行定时之类的事件信息，并执行程序的处理。另外，可以动态地改变程序要播放的 播放列表。这可以通过将播放列表的播放指令发送到管理信息处理单元207来实现。程序 处理单元206接收来自用户的事件，也就是说，通过远端控制器接收请求，并且在具有对应 于用户事件的程序的情况下，执行该程序。 管理信息处理单元207接收来自程序处理单元206的指令，分析播放列表和对应 于播放列表的VOB的管理信息，并指令显现处理单元208播放目标AV数据。管理信息处理 单元207还接收来自显现处理单元208的标准时间信息，根据时间信息指令显现处理单元 208停止播放AV数据。此外，管理信息处理单元207产生一个事件，以把程序执行定时通知 给程序处理单元206。 显现处理单元208具有能够分别处理视频、音频、副标题/图像(静止画面)的解 码器。它根据来自管理信息处理单元207的指令，解码和输出AV数据。在视频数据，和副 标题/图像的情况下，将它们解码，然后提供到对应的专用平面上，即，视频平面210和图像 平面209上。此后，合成处理单元211对视频执行合成处理，和将视频输出到TV之类的显 示装置。 在诸如跳入播放、变速播放、和逆向播放之类的特技播放时，显现处理单元208翻 译用户请求的特技播放操作，并将播放速度之类的信息通知给管理信息处理单元207。管理 信息处理单元207分析存储在VOBU的最前端AU中的特技播放信息，并确定要解码和显示 的AU，以便能够保证执行用户指定的特技播放操作。应当注意，管理信息处理单元207可以 获得特技播放信息，将它输出到显现处理单元208并确定要解码的AU和要在显现处理单元 208中显示的AU。 应当注意，通过将实现本实施方式中所示的运动画面编码方法和运动画面解码方 法的程序记录到诸如软盘之类的记录介质中，备用计算机系统可以容易地执行本实施方式 中所示的处理过程。 图40A至40C是计算机系统如何利用记录在诸如软盘之类的记录介质上的程序执 行本实施方式的运动画面编码方法和运动画面解码方法的说明图。 图40A示出了作为记录介质的软盘的物理格式的例子。图40B示出了软盘以及该 软盘外观的正示意图和横截面图。软盘(FD)容纳在外壳F中，从盘的外周到内周在盘的表 面上同心地形成有多个轨道(Tr)，并且每个轨道在角度方向上被分割成16个扇区(Se)。因此，在软盘存储上述程序的情况下，程序被存储在软盘(FD)上分配给它的区中。 此外，图40C示出了记录和播放软盘上的程序的结构。在把用于实现运动画面编
码方法和运动画面解码方法的上述程序记录在软盘FD上的情况下，计算机系统Cs通过软
盘驱动器将程序写在软盘上。在利用软盘中的程序构造上述用于实现运动画面编码方法和
运动画面解码方法的运动画面编码装置和运动画面解码装置的情况下，通过软盘驱动器从
软盘读出程序，并将它发送到计算机系统。 应当注意，上述说明是利用软盘作为记录介质进行的，但是，程序可以记录在光盘 上。此外，记录介质不限于此，也可以使用诸如IC卡，ROM盒之类的另外的记录介质，只要 它能够记录程序。 至此，根据实施方式说明了本发明的运动画面流产生装置，运动画面编码装置，运 动画面多路复用装置，和运动画面解码装置，但是本发明不限于该实施方式。本发明包括熟 悉本领域的人员根据本实施方式可以想到的各种改变，并且这些改变在本发明的技术主题 的范围内。 例如，在本实施方式中，本发明包括以下装置(i)运动画面流产生装置；具有运 动画面编码装置和运动画面解码装置中的一个的光盘记录装置；运动画面发送装置；数字 电视广播发送装置；网站服务器；通信装置；移动信息终端，等等；和(ii)具有运动画面解 码装置的运动画面接收装置；数字电视广播接收装置；通信装置；移动信息终端，等等。
应当注意，图21、图23、图27、和图39中所示的各功能块一般以作为大规模集成电 路的LSI来实现。每个功能块可以制成为单独的芯片，或可以将功能块的一部分或全部集 成到一个单独的芯片中(例如，可以将除了存储器之外的功能块制造成一个单独的芯片)。 在这里，将集成电路称为LSI，但是，根据集成度，可以称之为IC、系统LSI、超LSI、或超大 LSI。此外，将它们制造成集成电路的方法不限于将它们制造成LSI的方法，也可以通过专 用电路或一般处理器来实现。此外，在把它们制造成LSI之后，可以使用(i)可以重新配置 电路单元的连接或设置的可重新配置处理器，或(ii)可编程FPGA(可现场编程门阵列)。此 外，在半导体技术进一步发展或出现了任何派生技术时，出现了取代将它们制造成LSI，而 将它们制造成集成电路的技术的情况下，可以利用这种新技术将功能块制造成集成电路。 生物技术的应用是有可能的。此外，在各功能块中，可以独立地配置存储要编码或解码的画 面数据的存储单元(画面存储器)，而不是包括在一个单一的芯片中。 尽管以上仅详细说明了本发明的示例实施方式，熟悉本领域的人员应当知道，可 以对示例实施方式进行多种修改而不脱离本发明的新的教导和优点。因此，所有这些修改 包括在本发明的范围内。
工业实用性 本发明可应用于产生在特技播放中播放的运动画面的运动画面流产生装置；通 过编码，产生要在特技播放中播放的运动画面的运动画面编码装置；通过数据分组多路复 用，产生要在特技播放中播放的运动画面的运动画面多路复用装置；和以特技播放来播放 运动画面的运动画面解码装置，特别是，作为用于构造利用诸如变速播放和逆向播放之类 的特技播放模式播放MPEG-4 AVC流的系统的装置，例如，这种装置是一种致力于特技播放 功能的有关光盘的装置。
3权利要求
一种运动画面流产生装置，用于产生包括构成运动画面的画面的流，所述装置包括补充信息产生单元，用于在随机存取单元的基础上，产生在每个随机存取单元播放时被参考的补充信息，每个随机存取单元包括一个或更多的画面；和流产生单元，用于通过将所述补充信息添加到每个对应的随机存取单元来产生包括产生的所述补充信息和画面的流，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时解码的画面的信息。
2. 根据权利要求l所述的运动画面流产生装置，其中所述特技播放包括跳入播放；变 速播放；和逆向播放中的至少一种。
3. 根据权利要求2所述的运动画面流产生装置，其中每个画面是由子画面单元组成 的，和所述流产生装置将所述补充信息存储在第一子画面单元中，所述第一子画面单元与用 于存储每个画面的像素值的第二子画面单元不同。
4. 根据权利要求3所述的运动画面流产生装置， 其中每个随机存取单元是一个或更多的画面，禾口所述流产生单元将所述补充信息存储到每个随机存取单元中包括的最前端画面中。
5. 根据权利要求4所述的运动画面流产生装置，其中所述补充信息包括用于指定在以特定速度播放每个随机存取单元时要解码的画 面的信息。
6. 根据权利要求4所述的运动画面流产生装置，其中所述补充信息包括指示画面优先次序的信息，每个随机存取单元是根据所述优先 次序播放的。
7. 根据权利要求4所述的运动画面流产生装置，其中所述补充信息包括指示每个随机存取单元中包括的所有画面的画面类型的多条 信息，所述多条信息被按与所述画面的解码顺序相对应的顺序来放置。
8. 根据权利要求7所述的运动画面流产生装置， 其中所述画面类型包括 被执行内编码的I画面；参考每块一个画面被执行相互间编码的P画面，所述块是编码中的基础单元； 参考每块两个画面被执行相互间编码的参考B画面，所述块是编码中的基础单元，并且所述参考B画面是由另外画面参考的画面；禾口参考每块两个画面被执行相互间编码的非参考B画面，所述块是编码中的基础单元，并且所述非参考B画面是不被另外画面参考的画面。
9. 根据权利要求4所述的运动画面流产生装置，其中所述补充信息包括指示在每个随机存取单元中包括的所有画面的画面结构类型 的多条信息，所述多条信息被按与所述画面的解码顺序相对应的顺序来放置。
10. 根据权利要求9所述的运动画面流产生装置，其中所述画面结构类型至少包括场结构；和帧结构。
11. 根据权利要求io所述的运动画面流产生装置，其中所述画面结构类型进一步包括在所述画面具有帧结构的情况下，带有指示画面具有等同于两个画面的显示场，还是 画面具有等同于三个画面的显示场的信息的帧结构。
12. 根据权利要求1所述的运动画面流产生装置，所述装置进一步包括 序列参数集添加单元，用于把作为有关一个或更多画面的一组参数的序列参数集添加到每个随机存取单元，其中所述序列是由以在其重置解码所需的所有状态的特定画面开始，并且以紧挨着下 一个特定画面之前放置的画面结束的多个画面构成的。
13. 根据权利要求12所述的运动画面流产生装置， 其中每个随机存取单元由一个或更多画面组成，和所述序列参数集添加单元仅把由所述随机存取单元中的每个画面参考的一个序列参 数集存储到每个随机存取单元中包括的最前端画面中。
14. 一种运动画面流产生装置，用于产生包括构成运动画面的画面的流，所述装置包括序列参数集添加单元，通过在随机存取单元的基础上添加序列参数集来产生包括序列 参数集的运动画面流，每个序列参数集是有关一个或更多画面的一组参数，其中所述序列是由以在其重置解码所需的所有状态的特定画面开始，并且以紧挨着下 一个特定画面之前放置的画面结束的多个画面构成的。
15. 根据权利要求14所述的运动画面流产生装置， 其中每个随机存取单元由一个或更多画面组成，和所述序列参数集添加单元仅把由所述随机存取单元中的每个画面参考的一个序列参 数集存储到每个随机存取单元中包括的最前端画面中。
16. —种运动画面流产生方法，用于产生包括构成运动画面的画面的流，所述方法包括在随机存取单元的基础上，产生在每个随机存取单元播放时被参考的补充信息，每个 随机存取单元包括一个或更多画面；禾口通过将所述补充信息添加到每个对应的随机存取单元来产生包括产生的所述补充信 息和画面的流，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时 解码的画面的信息。
17. —种供运动画面流产生装置使用的程序，所述运动画面流产生装置产生包括构成 运动画面的画面的流，所述程序造成计算机执行运动画面流产生方法，所述方法包括在随机存取单元的基础上，产生在每个随机存取单元播放时被参考的补充信息，每个 随机存取单元包括一个或更多画面；禾口通过将所述补充信息添加到每个对应的随机存取单元来产生包括产生的所述补充信 息和画面的流，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时 解码的画面的信息。
18. —种运动画面编码装置，用于对构成运动画面的画面进行编码，所述装置包括 补充信息产生单元，用于在随机存取单元的基础上，产生在每个随机存取单元播放时被参考的补充信息，每个随机存取单元包括一个或更多的画面；禾口编码单元，用于对产生的所述补充信息和画面进行编码，并通过将所述补充信息添加到每个对应的随机存取单元来产生包括编码的补充信息和画面的流，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时解码的画面的信息。
19. 一种运动画面编码方法，用于对构成运动画面的画面进行编码，所述方法包括 在随机存取单元基础上，产生在每个随机存取单元播放时被参考的补充信息，每个随机存取单元包括一个或更多画面；禾口对产生的所述补充信息和画面进行编码，并通过将所述补充信息添加到每个对应的随机存取单元来产生包括编码的补充信息和画面的流，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时解码的画面的信息。
20. —种用于运动画面编码装置的程序，所述运动画面编码装置对构成运动画面的画 面进行编码，所述程序使计算机执行运动画面编码方法，所述方法包括在随机存取单元基础上，产生在每个随机存取单元播放时被参考的补充信息，每个随 机存取单元包括一个或更多画面；禾口对产生的所述补充信息和画面进行编码，并通过将所述补充信息添加到每个对应的随 机存取单元来产生包括编码的补充信息和画面的流，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时 解码的画面的信息。
21. —种运动画面多路复用装置，用于对构成运动画面的画面进行编码，所述装置包括补充信息产生单元，用于在随机存取单元的基础上，产生在每个随机存取单元播放时 被参考的补充信息，每个随机存取单元包括一个或更多的画面；禾口编码单元，用于对产生的所述补充信息和画面进行编码，并通过将所述补充信息添加 到每个对应的随机存取单元来产生包括编码的补充信息和画面的流，数据分组单元，用于把产生的编码流分成数据分组；禾口多路复用单元，产生存储以下至少一种信息的管理信息分成数据分组的编码流中的 画面的播放时间信息；画面的大小信息；和每个随机存取单元的开始地址信息，并且将所 述管理信息和分成数据分组的所述编码流多路复用到不同区，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时 解码的画面的信息。
22. —种运动画面多路复用方法，用于对构成运动画面的画面进行编码，所述方法包括在随机存取单元的基础上，产生在每个随机存取单元播放时被参考的补充信息，每个 随机存取单元包括一个或更多的画面；禾口对产生的所述补充信息和画面进行编码，并通过将所述补充信息添加到每个对应的随 机存取单元来产生包括编码的补充信息和画面的流，把产生的编码流分成数据分组；禾口产生存储以下至少一种信息的管理信息分成数据分组的编码流中的画面的播放时间 信息；画面的大小信息；和每个随机存取单元的开始地址信息，并且将所述管理信息和分 成数据分组的所述编码流多路复用到不同区，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时 解码的画面的信息。
23. —种用于运动画面多路复用装置的程序，所述运动画面多路复用装置对构成运动 画面的画面进行编码，所述程序使计算机执行运动画面多路复用方法，所述方法包括在随机存取单元的基础上，产生在每个随机存取单元播放时被参考的补充信息，每个 随机存取单元包括一个或更多的画面；禾口对产生的所述补充信息和画面进行编码，并通过将所述补充信息添加到每个对应的随 机存取单元来产生包括编码的补充信息和画面的流，把产生的编码流分成数据分组；禾口产生存储以下至少一种信息的管理信息分成数据分组的编码流中的画面的播放时间 信息；画面的大小信息；和每个随机存取单元的开始地址信息，并且将所述管理信息和分 成数据分组的所述编码流多路复用到不同区，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时 解码的画面的信息。
24. —种运动画面解码装置，用于对包括构成运动画面的画面的流进行解码和播放，所 述装置包括指令获得单元，用于获得指示应当执行特技播放的指令；分析单元，通过去多路复用，在随机存取的基础上分析补充信息，每个随机存取单元构 成所述流；播放画面指定单元，根据所述分析单元得到的分析结果，在每个随机存取单元中包括 的画面中，指定所述指令获得单元得到的指令指示的特技播放所需的画面；禾口 解码单元，用于对所述播放画面指定单元指定的画面进行解码并播放， 其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时 解码的画面的信息。
25. 根据权利要求24所述的运动画面解码装置，其中在所述分析单元分析了随机存取单元并且得到所述随机存取单元不包括补充信 息的结果的情况下，所述播放画面指定单元根据预定规则指定特技播放所需的画面。
26. 根据权利要求24所述的运动画面解码装置，所述装置进一步包括 随机存取单元指定单元，用于从所述流中提取作为有关一个或更多的画面的一组参数的序列参数集，并且指定包括作为最前端画面的、其中包括提取的序列参数集的画面的随 机存取单元，其中所述播放画面指定单元指定由所述随机存取单元指定单元指定的随机存取单元 中包括的所述最前端画面，禾口所述序列以解码所需的所有状态在其重置的特定画面开始，并且所述序列由以特定画 面开始和以紧挨着下一个特定画面之前放置的画面结束的多个画面构成。
27. —种运动画面解码方法，用于对包括构成运动画面的画面的流进行解码并播放，所 述方法包括获得指示应当执行特技播放的指令；通过去多路复用，在随机存取的基础上分析补充信息，每个随机存取单元构成所述流；根据通过所述分析得到的分析结果，在每个随机存取单元中包括的画面中，指定所述 获得步骤中得到的指令指示的特技播放所需的画面；禾口 对所述指定步骤指定的画面进行解码并播放，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时 解码的画面的信息。
28. —种用于运动画面解码装置的程序，所述运动画面解码装置对包括构成运动画面 的编码画面的流进行解码和播放，所述程序使计算机执行运动画面解码方法，所述方法包 括获得指示应当执行特技播放的指令；通过去多路复用，在随机存取的基础上分析补充信息，每个随机存取单元构成所述流；根据通过所述分析得到的分析结果，在每个随机存取单元中包括的画面中，指定所述 获得步骤中得到的指令指示的特技播放所需的画面；禾口 对所述指定步骤指定的画面进行解码并播放，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时 解码的画面的信息。
29. —种包括构成运动画面的画面的流，其中每个随机存取单元包括在随机存取单元播放时被参考的补充信息，每个随机存取 单元包括一个或更多画面，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，禾口 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时解码的画面的信息。
30. —种包括流的计算机可读记录介质，所述流包括 构成运动画面的画面，其中每个随机存取单元包括在随机存取单元播放时被参考的补充信息，每个随机存取单元包括一个或更多画面，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，禾口 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时解码的画面的信息。
31. —种集成电路，用于产生包括构成运动画面的画面的流，所述集成电路包括 补充信息产生单元，用于在随机存取单元的基础上，产生在每个随机存取单元播放时被参考的补充信息，每个随机存取单元包括一个或更多的画面；禾口流产生电路单元，用于通过将所述补充信息添加到每个对应的随机存取单元来产生包括产生的所述补充信息和画面的流，其中，在每个随机存取单元的最前端，放置能够不依赖任何画面解码的内编码画面，和 所述补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时解码的画面的信息。
全文摘要
提供一种产生即使在诸如允许灵活预测结构的MPEG-4 AVC之类的编码格式下，也能以诸如变速播放和逆向播放之类的特技播放进行播放的运动画面流的运动画面流产生装置。运动画面流产生装置包括用于在随机存储单元的基础上产生补充信息的特技播放信息产生单元TricPlay，在每个随机存取单元的播放时参考补充信息，并且每个随机存取单元包括一个或更多画面；和用于通过将补充信息添加到每个对应的随机存取单元而产生包括产生的补充信息和一个或更多画面的流的可变长度编码单元VLC。在每个随机存取单元的最前端，放置可以不依赖任何画面解码的内编码画面，并且补充信息包括用于指定要在特技播放中播放每个随机存取单元中包括的画面时解码的画面的信息。
文档编号G11B27/00GK101778235SQ20091020766
公开日2010年7月14日 申请日期2005年4月25日 优先权日2004年4月28日
发明者冈田智之, 矢羽田洋, 角野真也, 远间正真 申请人:松下电器产业株式会社