专利名称：同步流打包的制作方法
技术领域：
本发明总体上涉及先前已知为数字化视频光盘(DVD)、高清晰度数字通用光盘(HD DVD)、以及蓝光盘(RD)的数字通用光盘，更具体地涉及一种有利于嵌入DVD、HD DVD、或BD 的不同音频/视频(A/V)流的子流之间的同步的技术。
背景技术：
当前，DVD、HD DVD和蓝光盘规范定义了用于在多个并行A/V流之间进行无缝切 换的机制。然而，在每种情况下，流中的音频和子画面内容受限于在所有流之间逐比特 (bit-for-bit)地相同。这防止可能由一个A/V流与另一个的音频数据的差异所引起的 信号尖峰对音频扬声器所产生的任何潜在损坏，并且还减小了关于该数据在每个多路传输 (multiplexed)的A/V流内的组织的限制。然而，这些限制也在很大程度上限制了可以使用 无缝多角度特征的应用范围。继光盘(CD)的开发之后，对DVD的开发力求实现针对大视频文件的充足的存储容 量，以便单个盘能够携带全长(full length)动画，虽然会使用诸如运动图像专家组压缩 (MPEG)技术之类的压缩技术对该动画进行压缩。由于DVD的首次引入是在20世纪90年代 中期，因此DVD已经迅速发展起来，对于消费者而言，变成了针对动画和视频内容的大规模 分发的首选介质。已经开发出用于较高质量和较大数量的视听内容的传递的类似光盘格式 作为DVD的计划后继者。最主要的两种格式已知为HD DVD和BD。当今的DVD、HD DVD和BD典型地包括至少一个、通常包括彼此并行同步的若干个 A/V流。通常，这种A/V流包括从不同角度对相同场面拍摄的不同记录。因此，通常将这些 不同的A/V流称为“角度”。对不同角度(即，不同流)的选择发生在已知为“多角度导航” 的过程中，由此观众通过选择显示屏上的相关图标来选择期望的角度。由这些盘及相关重 放设备的制造商所采用的DVD、HD DVD和BD规范定义了被称作“多角度视频”的过程，由此 内容作者能够定义多达9个并发A/V流，其中的任何一个流都能够随时出现在显示屏上。在 重放期间，观众能够通过DVD、HD DVD和BD播放器上或该播放器的遥控器上的按钮发起命 令，由此在一组同步A/V流之间进行无缝切换；这种形式的多角度导航被称作无缝多角度。 然而，在已知格式规范和当前可用的DVD、HD DVD和BD创作工具的实现之下，存储在每个A/ V流中的音频和子画面数据保持相同。换言之，在角度之间只允许不同的视频数据。子画面 数据描述了通过视频显示的按钮、字幕和其它图形元素的表现(rendering)。这导致当选择 并行A/V流时无法自动呈现不同的音频和子画面内容，此外还导致存储在传递介质上的音
3频和子画面数据的冗余拷贝，从而限制了用于其它内容的空间。A/V流是以针对子流(音频、视频和子画面)的数据分组的基本级别构成的，当顺 序读取时，这些数据分组一起结合到包括所呈现的流的短单元中。在DVD-Video中，这些 基本数据单元被称作视频对象单元或V0BU，并且每个都包括大约0. 4到1秒的呈现数据。 在HDDVD-Video中，其被称作EV0BU。这里，为了示例性目的，可以互换地使用术语VOBU和 EVOBU0当并行呈现多个A/V流时，每个流将一个或更多VOBU收集到交错单元或ILVU中， 基于视频呈现时间，使其与其它并行A/V流的ILVU同步。因此，当选择新的流时，播放来自 当前ILVU的数据，直到该ILVU结束，此时无缝地呈现新流的ILVU。按照这种方式，视频的 无缝呈现得以保证。BD表示使用不同术语(即，传输流(TS))的分组的类似组合。BD不限制单元中的 呈现数据的持续时间，而是使用每个TS中的角度改变点代替ILVU，以对改变流的同时可以 保证视频连续性的点做标记。典型地，为VOBU、TS、RTP或其它分组多媒体格式的所有音频、视频和子画面分组 标记第一类型时间戳和第二类型时间戳，其中第一类型时间戳指示应在何时传递以进行解 码，而第二类型时间戳指示应在何时呈现。在VOBU的情况下，在IS0/IEC13818-1中定义的 “system_cl0ck_reference”中对传递时间戳进行编码。在传输流(TS)的情况下，典型地将 传递时间戳称为如源自IS0/IEC13818-1的一些规范中所定义的“arrival_timestamps”。 如这里所使用，术语“arrivaltimestamps”共同地是指VOBU和TS中的传递时间戳。呈现 时间戳是如IS0/IEC13818-1中所定义的普通PTS。由于不同的缓冲模型和解码器设计，单个VOBU中的非视频分组(或TS中的角度 改变点标记)并非全部涉及类似的呈现时间。例如，音频分组可能涉及呈现时间8，而视频 分组可能涉及呈现时间4，针对呈现时间4的音频分组传递自在先V0BU。当音频和子画面/ 字幕数据在并行呈现的不同A/V流的ILVU中的VOBU之间(或TS之间)相同时，切换ILVU 或TS对音频、子画面/字幕和视频的同步或对应/同步没有影响。然而，当音频和子画面 数据分组在针对不同A/V流的VOBU或TS之间不同时，可能出现以下情况已经从在先VOBU 或TS中传递与来自新VOBU或TS的视频的呈现时间相对应的音频或子画面/字幕分组，从 而导致在正确时间(proper time)所呈现的音频或子画面/字幕呈现与当前上下文失去对 应/同步。因此，存在对按照以下方式来存储数据的方法的需要音频和子画面数据并行地 上下文不同(contextually different)，根据这些光盘格式中的任何一种格式来播放同步 A/V流，此外，当观众在呈现期间交互地选择不同的A/V流时，还能够保持流的连续性以及 与视频数据的同步。
发明内容
本发明解决了现有技术的这些和其它缺点和不足，本发明涉及同步流打包。根据本发明的方面，提供了一种用于对在并行呈现的A/V流之间上下文不同的分 组进行同步流打包的方法。该方法包括步骤识别具有与视频分组的到达时间戳和/或呈 现时间戳分别相匹配的到达时间戳和/或呈现时间戳的子画面/字幕分组和/或音频分 组。该方法还包括步骤利用所识别的子画面/字幕和音频分组以及具有相匹配的时间戳的视频分组，对视频对象单元(VOBU)和/或传输流(TS)进行打包。根据本发明的另一方面，提供了一种用于对在并行呈现的A/V流之间上下文不同 的分组进行同步流打包的设备。该设备包括用于识别具有与视频分组的到达时间戳和/ 或呈现时间戳分别相匹配的到达时间戳和/或呈现时间戳的子画面/字幕分组和/或音频 分组的装置。该设备还包括用于利用所识别的子画面/字幕和音频分组以及具有相匹配 的时间戳的视频分组、对视频对象单元(VOBU)和/或传输流(TS)进行打包的装置。根据本发明的另一方面，提供了一种用于从并行呈现的上下文不同的多个A/V流 中呈现出不同A/V流的方法。该方法包括步骤将音频帧报头打包到交错单元(ILVU)中的 第一视频对象单元(VOBU)的开始处或传输流(TS)的角度改变点标记处的音频分组中。该 方法还包括步骤将最后音频分组打包到多个A/V流中同一流的ILVU或另一个ILVU中的 最后VOBU中，或者打包到紧靠TS中另一个角度改变点标记之前，从而以完整的音频帧作为 结束。从结合附图而阅读的对示例性实施例的以下详细描述中，本发明的这些和其它方 面、特征和优点将变得显而易见。
根据以下示例性附图，可以更好地理解本发明，在附图中图1是根据本发明的示例性实施例示出可应用本发明的DVD播放器的方框图；图2是根据本发明的原理示出用于对在并行呈现的A/V流之间上下文不同的分组 进行同步流打包的方法的流程图；图3是根据本发明的原理示出用于对在并行呈现的A/V流之间上下文不同的分组 进行同步流打包的方法的流程图；图4是根据本发明的原理示出用于从在并行呈现中上下文不同的多个A/V流中呈 现出不同A/V流的方法的流程图；以及图5是示出音频/视觉流、视频对象单元(VOBU)和交错单元(ILVU)之间的关系 的方框图。
具体实施例方式本发明涉及同步流打包。根据实施例，提供了一种用于限制音频和子画面分组在 多路传输流(例如MPEG节目和传输流)内的组织的方法，以允许在音频内容和/或子画面 /字幕内容不同的多个交错的音频/视频(A/V)呈现之间进行无缝切换。本说明描述了本发明的原理。因此，可以理解的是，尽管这里没有明确地描述或说 明，本发明的技术人员将能够设计出体现本发明的原理并被包括在本发明的精神和范围内 的各种布置。这里所列举的所有示例和条件语言旨在为了教学目的，以帮助读者理解本发明的 原理以及由发明者对技术领域的促进所贡献的概念，并将被解释为不受具体列举的示例和 条件的限制。此外，这里列举本发明的原理、方面和实施例的所有陈述及其特定示例都旨在包 括其结构性和功能性等同物。此外，该等同物旨在包括当前已知的等同物和在未来开发的等同物，即所开发的用于执行相同功能的任何元件，而不考虑结构。因此，例如，本领域的技术人员将理解的是，这里所呈现出的方框图表示体现本发 明原理的示例性电路的概念图。类似地，可以理解的是，任何流程图、状态转移图、伪代码等 表示实质上在计算机可读介质中表示并由计算机或处理器所执行的各种过程，无论是否明 确地示出了该计算机或处理器。可以通过使用专用硬件以及与能够与适当软件一同执行软件的硬件，来提供图中 所示的各种元件的功能。当由处理器提供时，可由单个专用处理器、单个共享处理器、或由 多个单独处理器(其中的一些可以共享)来提供这些功能。此外，术语“处理器”或“控制 器”的显式使用不应解释为排他地指代能够执行软件的硬件，而且可以不带限制地隐式地 包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储 器(“RAM”)、以及非易失性存储器。还可以包括其它硬件(传统的和/或定制的)。类似地，图中所示的所有切换仅仅 是概念上的。它们的功能可以通过程序逻辑、专用逻辑、程序控制和专用逻辑的交互、或甚 至是手动地来执行，特定技术可由实现者进行选择，更具体的可从上下文中得以理解。在权利要求中，表示为用于执行规定功能的装置的任何元件旨在包括执行以下功 能的任何一种方式，例如a)执行该功能的电路元件的组合，或b)任何形式的软件，包括与 用于执行用于执行该功能的软件的适当电路相结合的固件、微代码等。由该权利要求所限 定的本发明在于如下事实按照权利要求所要求的方式，把各种列举的装置所提供的功能 进行组合，并集合到一起。因此，应当注意的是，能够提供该功能的任何装置与这里所示的 装置等同。转向图1，可以应用本发明的数字通用光盘(DVD)播放器10由附图标记10大体示 出。DVD播放器10包括在伺服装置14控制下使DVD 13旋转的驱动电机12。拾头电机16 也受伺服装置14的控制，用于把光拾头18在DVD 13上移动，以读取其携带的信息。预放 大器20放大拾头18的输出信号以输入给解码器22，解码器22对从DVD 13读取的光信息 进行解码以产生节目流。多路分离器24将节目流分解成单独分量(a)音频流；(b)视频 流；(c)子画面流；以及(d)典型地具有元数据等形式的导航信息。音频、视频和子画面流分别由音频解码器26、视频解码器28、以及子画面解码器 30中单独一个进行解码。同步器32 (有时被称作呈现引擎)，用于对单独解码的音频、视频 和子画面流进行同步，并将其组合为视频流，具有根据若干已知电视格式之一(包括但不 局限于NTSC或PAL)而用于适合的再现的嵌入音频。视频数模转换器34将视频流转换成 用于在诸如电视机之类的显示设备(未示出)上显示的模拟视频，而音频数模转换器36将 嵌入音频转换成由显示设备或其它装置(未示出)随后再现的模拟音频。在DVD播放器10内，中央处理单元(CPU) 38 (典型地为具有相关存储器的微处理 器，或是微计算机或微控制器)用于根据通过观众接口(υ/Ι)40输入的观众命令来控制DVD 播放器的导航以及其它方面，其中观众接口(U/I)40典型地包括具有遥控形式的红外(I/ R)发射机和I/R接收机的组合。具体关于导航，CPU 38从多路分离器24接收解码后的元 数据，并产生针对同步器32的接收的菜单信息。按照这种方式，最终显示菜单信息，以便观 众观看。响应所显示的信息，观众典型地通过U/I 40输入由CPU 38接收的一个或更多个 命令，而U/I 40控制伺服装置14移动拾头18，以检索期望的节目内容。
DVD 规范(针对只读盘的 DVD 规范 /VIDEO SPECIFICATION,版本 1. 0，1996 年 8 月， 第三部分)定义了可应用DVD导航作为视频对象单元(VOBU)的最小对象。VOBU典型地包 括与大约0. 4到1. 2秒的重放持续时间相对应的多路传输的视频、音频、子画面、高亮以及 其它导航数据。音频和子画面数据的多个子流能够存在于每个VOBU中(例如，立体声和环 绕声音频子流和/或德语和葡萄牙语字幕)。这种多路传输数据的组合构成了 “A/V流”。 在多角度片断中，将多个A/V流交错于单个视频对象(VOB)流中，以允许为了无缝或接近无 缝切换而从一个流到另一个流的快速访问。DVD规范定义了交错单元(ILVU)作为具有一个或更多个VOBU的块，以便将多角度 的A/V流内容与公共时间戳对齐，从而提供A/V流的同步。在重放期间，同步器32仅对与 当前所选的A/V流相对应的ILVU进行解码和显示。DVD规范定义了基于角度数量(即，可 用流的数量)的ILVU的最大尺寸、物理设备的扫描速度、以及解码缓冲器(未示出)的大 小。如果超过这个最大尺寸，则不能保证任意角度的无缝重放。根据实施例，提供了如下一种方法对并行呈现的多个视听流中至少一个内的子 画面/字幕和/或音频数据进行存储，以保持子画面/字幕、音频和视频数据之间的同步， 以及当在呈现期间选择不同的音频/视频(AV)流时提供这些数据之间的连续性。为了保证并行呈现的A/V流之间上下文不同的音频和子画面/字幕与视频的恒定 同步和对应，视频对象单元(VOBU)或传输流(TS)应包括其到达时间戳与视频分组的到达 时间戳相匹配(分别在子画面/字幕或音频分组的一个时间基准单元内)的子画面/字幕 和音频分组。可以理解的是，子画面/字幕典型地不具有固有帧速率，而是其帧速率通常以 某种方式得自视频帧速率或与视频帧速率相关。相同规则应用于呈现时间戳，VOBU或TS应 包括其呈现时间戳与视频分组的呈现时间戳相匹配(分别在子画面/字幕或音频分组的一 个时间基准单元内)的子画面/字幕和音频分组。如果以这种方式来打包VOBU或TS，则音 频、子画面/字幕与视频数据之间的同步和上下文对应得以维持，其中音频或子画面/字幕 数据在不同A/V流的VOBU或TS之间是上下文不同的。另一个问题是，当呈现新的A/V流的ILVU时音频或子画面/字幕数据的潜在讹误 (corruption)，这是因为该ILVU中的第一 VOBU的开始处(或者在TS的角度改变点标记 处)的音频或子画面数据分组可能被分段，并且在后续的整个分组出现之前不能被解码。为了解决这个问题，ILVU中的第一 VOBU的开始处(或TS的角度改变点标记处) 的音频数据分组应包括音频帧报头，而ILVU中的最后VOBU中的最后音频分组(或者在紧 靠TS的角度改变点标记之前的最后音频分组)应包括完整的音频帧，即，在任何ILVU边界 处(或者在任何角度改变点标记上)都不应出现任何音频帧分段。类似地，子画面/字幕 数据必须以子画面单元(SPU)报头或信号出现时间(Epoch)开始报头而开始。转到图2，附图标记200大体示出了一种用于对并行呈现的A/V流之间上下文不同 的分组进行同步流打包的方法。方法200包括开始框205，其把控制传递给功能框210。功能框210识别其到达时 间戳与视频分组的到达时间戳相匹配的子画面/字幕和/或音频分组，并将控制传递给功 能框220。功能框220利用所识别的子画面/字幕和音频分组以及具有相匹配的到达时间戳 的视频分组对视频对象单元(VOBU)或传输流(TS)进行打包，并将控制传递给结束框225。结束框225结束此方法。转向图3，附图标记300大体示出了一种用于对并行呈现的A/V流之间上下文不同 的分组进行同步流打包的方法。方法300包括开始框305，其把控制传递给功能框310。功能框310识别其呈现时 间戳与视频分组的呈现时间戳相匹配的子画面/字幕分组和/或音频分组，并将控制传递 给功能框320。功能框320利用所识别的子画面/字幕和音频分组以及具有相匹配的呈现 时间戳的视频分组对视频对象单元(VOBU)或传输流(TS)进行打包，并将控制传递给结束 框325。结束框325结束此方法。转向图4，附图标记400大体示出了一种用于从在并行呈现中上下文不同的多个 A/V流中呈现出不同A/V流的方法。方法400包括开始框405，其把控制传递给功能框410。功能框410将音频帧报头 打包到交错单元(ILVU)中第一视频对象单元(VOBU)开始处的音频分组中，或者将音频帧 报头打包到传输流(TS)的角度改变点标记处的音频分组中，并将控制传递给功能框420。功能框420将最后音频分组打包到ILVU(或者相同A/V流中的另一个ILVU)的最 后VOBU中，或者将最后音频分组打包到紧靠TS中另一个角度改变点标记之前，从而以完整 的音频帧作为结束(任何ILVU边界或角度改变标记上不存在音频帧分段)，并将控制传递 给功能框430。功能框430将子画面/字幕分组打包为以子画面单元(SPU)报头或信号出现时间 开始报头作为开始，并将控制传递给结束框435。结束框435结束此方法。转向图5，附图标记500大体示出了多路传输的A/V流与多角度视频的VOBU和 ILVU数据结构之间的关系。如图5所示，由图1中的解码器22所解码的节目流中的每个 块都包括导航分组(NV_PCK)、视频分组(V_PCK)、音频分组(A_PCK)、以及子画面分组(SP_ PCK)。DVD规范在每个VOBU开始处的NV_PCK的导航数据结构(DSI)部分中定义了无缝角 度信息数据结构(SML_AGLI)，其包括由指示每个无缝角度的下一 ILVU所处位置的ILVU开 始点组成的表。该信息使图1中的CPU 38能够在准备好开始呈现下一 ILVU时控制伺服装 置14移动到VOB流内的何处。此外，DVD规范在每个VOBU开始处的导航数据的部分中定义了若干数据结构，其 描述了交错按钮的高亮信息(HLI)。这些数据结构，例如高亮普通信息(HLI_GI)、按钮颜色 信息表(BTN_C0LIT)、以及按钮信息表(BTN_IT)定义了在屏幕显示中出现的按钮的数量、 位置、外观、以及功能。基于这里的教益，本发明的这些和其它特征和优点可以由相关领域的普通技术人 员容易地获知。可以理解的是，本发明的教益可以以各种形式的硬件、软件、固件、专用处理 器、或这些的组合来实现。最为优选地，本发明的教益以硬件和软件的组合而实现。此外，软件优选地以有形 地体现于程序存储单元上的应用程序而实现。该应用程序可以上载到包括任意适合的体系 结构的机器中，并由该机器执行。这里所描述的各种处理和功能可以是能够由CPU执行的 微指令代码的一部分、或者应用程序的一部分、或者其任意组合。还可以理解的是，由于附图中所描述的构成系统组件和方法中的一些优选地以软 件来实现，所以系统组件或处理功能块之间的实际连接可以根据对本发明的规划方式而有
8所不同。给定这里的教益，相关领域的普通技术人员将能够设想本发明的这些和相似的实 现或配置。 尽管这里已经参考附图对示例性实施例进行了描述，可以理解的是，本发明并不 局限于那些明确的实施例，并且在不背离本发明的范围和精神的前提下，相关技术领域中 的普通技术人员可以对其实现各种改变和修改。所有这些改变和修改都将会包括在所附权 利要求中所提出的本发明的范围内。
权利要求
一种用于从并行呈现的上下文不同的多个A/V流中呈现出不同的A/V流的方法，所述方法包括将音频帧报头打包(410)到交错单元ILVU中的第一视频对象单元VOBU的开始处的音频分组中或传输流TS的角度改变点标记处的音频分组中；以及将最后音频分组打包(420)到多个A/V流中同一流的ILVU的最后VOBU中或另一个ILVU中的最后VOBU中，或者打包到紧靠TS中另一个角度改变点标记之前，从而以完整的音频帧作为结束。
2.如权利要求1所述的方法，其中，所述方法在以下之一中执行数字通用光盘(DVD) 播放器、数字视频盘(DVD)播放器、高清晰度数字通用光盘(HD DVD)播放器、以及蓝光盘 (BD)播放器。
3.如权利要求1所述的方法，其中，对最后音频分组进行打包，使得任何ILVU边界或角 度改变标记上不存在音频帧分段。
4.如权利要求1所述的方法，还包括步骤把子画面/字幕分组打包(430)为以子画 面单元(SPU)报头和信号出现时间开始报头之一而开始。
全文摘要
本发明提供了用于对在并行呈现的A/V流之间上下文不同的分组进行同步流打包的方法和设备。该方法包括步骤识别(210)具有与视频分组的到达时间戳和/或呈现时间戳分别相匹配的到达时间戳和/或呈现时间戳的子画面/字幕分组和/或音频分组。该方法还包括步骤利用所识别的子画面/字幕和音频分组以及具有相匹配的时间戳的视频分组，对视频对象单元(VOBU)和/或传输流(TS)进行打包(220)。
文档编号G11B27/30GK101902628SQ20101021838
公开日2010年12月1日 申请日期2006年3月16日 优先权日2005年4月26日
发明者拉尔夫·奥斯特曼, 约瑟夫·桑德森·里斯, 马克·罗杰斯·约翰逊 申请人:汤姆森许可贸易公司;Mx娱乐公司