复用器和复用方法、程序及记录介质的制作方法

专利名称：复用器和复用方法、程序及记录介质的制作方法
技术领域：
本发明涉及复用器和复用方法、程序及记录介质，尤其涉及使得利用不同编码方法被编码的音频流的TS分组可以被复用的复用器和复用方法、程序及记录介质。
技术背景在利用MPEG (运动图片专家组)方法对视频流或音频流进行TS (传输流)分组化和复用的情况下，假设一种用作解码器的标准模型(系 统目标解码器(STD))，并且编码处理被执行以利用这个STD正确地执 行解码处理。例如，参考专利文献1，公开了一种技术，其中假设图2中所示的 STD模型，例如图1中所示的编码装置对基本流(elementary stream)进 行TS分组化以生成MPEG传输流。图1中所示的编码装置包括访问单元检测器1、伪访问单元(pseudo-access-unit)计算器2、打包器3和调度器4。另外，图2中所示的STD模 型包括前级缓冲器21、后级缓冲器22和解码器23。编码装置的访问单元检测器1从基本流中得到访问单元，并且检测该 访问单元的大小和解码时间点信息。当将访问单元划分成具有取决于图2中所示的前级缓冲器21大小的预定大小且具有针对前级缓冲器21的数据 传送速率的伪访问单元时，伪访问单元计算器2计算其中的伪访问单元被 输入到前级缓冲器21时的时间点(输入完成时间点)(伪访问单元的解 码后的时间点)。调度器4基于伪访问单元的大小和伪解码时间点，计算 复用后的流被提供给解码器的时间点(时钟基准)和分组的大小(分组大 小)。打包器3根据分组大小对基本流进行分组化，对解码后的时间点和时
钟基准进行编码，并且生成MPEG传输流。所生成的MPEG传输流经由 传输路径5被发送，或者被记录在记录介质6中。顺便提及，在利用MPEG方法对音频流进行TS分组化并且将分组化 后的TS分组复用到一个传输流中的情况下，其音频流已经预先利用预定 的编码方法被编码。这种编码的示例包括固定长度编码方法和可变长度编 码方法。因此，可以设想这样的情形，其中利用不同编码方法被编码的两个音 频流被复用到一个传输流中。[专利文献l]日本未审查专利申请公开No. 9-261604发明内容发明要解决的问题然而，例如图2中所示的STD模型没有假设如下情形，其中利用不同 编码方法被编码的两个音频流被分组化为具有相同PID的TS分组并且被 复用，所以难以将利用不同编码方法被编码的两个音频流分组化为具有相 同PID的TS分组，并将具有相同PID的TS分组复用到一个传输流中。根据这种情形而提出的本发明将利用不同编码方法被编码的两个音频 流的TS分组复用到一个传输流中。根据本发明的复用器，包括第一编码装置，其被配置为利用用作预 定编码方法的第一编码方法对音频数据进行编码；第二编码装置，其被配 置为利用第二编码方法对音频数据进行编码，第二编码方法是可变长度编 码方法并且与第一编码方法不同，第二编码装置被安排用于为每个预定的 音频数据单元添加用于被解码的情况的表示定吋的定时值；PES分组化装 置，其被配置为将通过第一编码装置被编码的音频数据和通过第二编码装 置被编码的音频数据分组化为PES分组，并且还为多个经分组化的PES分 组添加用于被解码的情况的时间点信息；TS分组化装置，其被配置为将通 过PES分组化装置被分组化的PES分组分组化为TS分组，并且还为多个 经分组化的TS分组添加相同的ID;确定装置，其被配置为从通过TS分 组化装置被分组化的多个TS分组中确定要被复用的TS分组；以及复用装
置，其被配置为复用确定装置所确定的TS分组；其中PES分组化装置将 通过第一编码装置被编码的音频数据和通过第二编码装置被编码的音频数 据分组化为PES分组，以使得满足预定周期的音频数据单元出现在PES净 荷的头部；并且，其中确定装置被配置为假设第一虚拟解码器和第二虚拟解码器，第一虚拟解码器被配置为对通过第一编码装置被编码的音频数据 进行解码，并且第二虚拟解码器被配置为基于被添加给通过第二编码装置 被编码的音频数据的定时值，对通过第二编码装置被编码的音频数据进行解码，并且确定装置还基于被安排用于随机访问经复用的TS分组的复用 约束条件，确定要被复用的TS分组。确定装置可以被配置为基于第一虚拟解码器中所包括的第一基本缓冲 器和针对第一基本缓冲器的数据传送速率以及第二虚拟解码器中所包括的 第二基本缓冲器和针对第二基本缓冲器的数据传送速率，从通过TS分组 化装置被分组化的多个TS分组中确定要被复用的TS分组。确定装置可以被配置为从通过TS分组化装置被分组化的多个TS分组 中确定要被复用的TS分组，同时使第一虚拟解码器中所包括的第一基本 缓冲器和第二虚拟解码器中所包括的第二基本缓冲器既不上溢也不下溢。根据本发明的复用器可以被配置为还包括记录装置，该记录装置被配 置为将通过复用装置被复用的TS分组记录在记录介质中。音频数据单元可以被安排为音频访问单元。第一虚拟解码器可以被配置为包括在第一基本缓冲器的前一级的传输 缓冲器，并且第二虚拟解码器可以被配置为包括在第二基本缓冲器的前一 级的传输缓冲器，并且还包括在第二基本缓冲器的后一级的第三基本缓冲 器。确定装置可以被配置为在假设针对第三基本缓冲器的输入定时为针对 定时值的定时的情况下，从通过TS分组化装置被分组化的多个TS分组中 确定要被复用的TS分组。定时值可以被安排为是用其中音频流被发送给第三基本缓冲器的音频 信息的采样周期表示的值。PES分组化装置可以被配置为在对通过第二编码装置被编码的音频数
据进行PES分组化的情况下，对通过第二编码装置被编码的音频数据进行 分组化，以使得满足周期并且包括用于从相关位置开始解码的解码信息的 音频数据单元出现在PES净荷的头部。复用约束条件是这样的约束条件，其中在TS包括具有与通过第一编码装置被编码的音频数据的TS分组中所包括的时间点信息相同的时间点 信息的通过第二编码装置被编码的音频数据的TS分组的情况下，通过第 一编码装置被编码的音频数据的TS分组在通过第二编码装置被编码的音 频数据的TS分组之前被复用，并且确定装置可被配置为基于对第一虚拟 解码器和第二虚拟解码器的假设以及复用约束条件，确定要被复用的TS 分组。根据本发明的复用方法包括第一编码步骤，其被安排为利用用作预 定编码方法的第一编码方法对音频数据进行编码；第二编码歩骤，其被安排为利用第二编码方法对音频数据进行编码，第二编码方法是可变长度编 码方法并且与第一编码方法不同，第二编码步骤被安排用于为每个预定的音频数据单元添加用于被解码的情况的表示定时的定时值；PES分组化歩 骤，其被安排为将通过第一编码步骤中的处理被编码的音频数据和通过第 二编码歩骤中的处理被编码的音频数据分组化为PES分组，并且还为多个 经分组化的PES分组添加用于被解码的情况的时间点信息；TS分组化歩 骤，其被安排为将通过PES分组化步骤中的处理被分组化的PES分组分组 化为TS分组，并且还为多个经分组化的TS分组添加相同的ID;确定步 骤，其被安排为从通过TS分组化歩骤中的处理被分组化的多个TS分组中 确定要被复用的TS分组；以及复用步骤，其被安排为复用确定步骤中的 处理所确定的TS分组；其中，利用PES分组化步骤中的处理，通过第一 编码步骤中的处理被编码的音频数据和通过第二编码步骤中的处理被编码 的音频数据被分组化为PES分组，以使得满足预定周期的音频数据单元出 现在PES净荷的头部；并且，其中判断歩骤中的处理被安排为假设第一虚 拟解码器和第二虚拟解码器，第一虚拟解码器被配置为对通过第一编码步 骤中的处理被编码的音频数据进行解码，并且第二虚拟解码器被配置为基 于被添加给通过第二编码步骤中的处理被编码的音频数据的定时值，对通 过第二编码步骤中的处理被编码的音频数据进行解码，并且确定步骤还基 于被安排为随机访问经复用的TS分组的复用约束条件，确定要被复用的TS分组。根据本发明被安排为控制计算机执行处理的程序包括第一编码步 骤，其被安排为利用用作预定编码方法的第一编码方法对音频数据进行编 码；第二编码步骤，其被安排为利用第二编码方法对音频数据进行编码， 第二编码方法是可变长度编码方法并且与第一编码方法不同，第二编码步 骤被安排用于为每个预定的音频数据单元添加用于被解码的情况的表示定 时的定时值；PES分组化步骤，其被安排为将通过第一编码歩骤中的处理 被编码的音频数据和通过第二编码步骤中的处理被编码的音频数据分组化 为PES分组，并且还为多个经分组化的PES分组添加用于被解码的情况的 吋间点信息；TS分组化步骤，其被安排为将通过PES分组化步骤中的处 理被分组化的PES分组分组化为TS分组，并且还为多个经分组化的TS 分组添加相同的ID;确定步骤，其被安排为从通过TS分组化歩骤中的处 理被分组化的多个TS分组中确定要被复用的TS分组；以及复用步骤，其 被安排为复用确定步骤中的处理所确定的TS分组；其中，利用PES分组 化步骤中的处理，通过第一编码步骤中的处理被编码的音频数据和通过第 二编码步骤中的处理被编码的音频数据被分组化为PES分组，以使得满足 预定周期的音频数据单元出现在PES净荷的头部；并且，其中判断歩骤屮 的处理被安排为假设第一虚拟解码器和第二虚拟解码器，第一虚拟解码器 被配置为对通过第一编码步骤中的处理被编码的音频数据进行解码，并且 第二虚拟解码器被配置为基于被添加给通过第二编码步骤中的处理被编码 的音频数据的定时值，对通过第二编码步骤中的处理被编码的音频数据进 行解码，并且确定步骤还基于被安排为随机访问经复用的TS分组的复用 约束条件，确定要被复用的TS分组。根据本发明的第一方面，利用第一编码方法被编码的音频数据和利用 第二编码方法被编码的音频数据被分组化为PES分组，并且用于被解码的 情况的时间点信息被添加给多个经分组化的PES分组，并且PES分组被分 组化为TS分组，并且相同的ID被添加给多个TS分组。此外，从多个TS 分组中确定要被复用的TS分组，并且所确定的TS分组被复用。利用第一 编码方法被编码的音频数据和利用第二编码方法被编码的音频数据被分组化为PES分组，以使得满足预定周期的音频数据单元出现在PES净荷的头 部。此外，就关于要被复用的TS分组的确定而言，基于被安排用于随机 访问要被复用的复用约束条件，通过假设被配置为对利用第一编码方法被 编码的音频数据进行解码的第一虚拟解码器和基于被添加给利用第二编码 方法被编码的音频数据的定时值对利用第二编码方法被编码的音频数据进 行解码的第二虚拟解码器，确定要被复用的TS分组。就根据本发明的记录介质而言，通过将利用用作预定编码方法的第一 编码方法被编码的音频数据分组化为多个PES分组，并且再将多个PES分 组分组化为多个TS分组而得到的多个TS分组，以及通过将利用第二编码 方法被编码的音频数据分组化为多个PES分组，并且再将多个PES分组分 组化为多个TS分组而得到的多个TS分组被复用并记录，第二编码方法是 可变长度编码方法并且与第一编码方法不同，并且被安排用于为每个预定 的音频数据单元添加用于被解码的情况的表示定吋的定时值，多个PES分 组包括用于被解码的情况的时间点信息，并且通过对利用第一编码方法被 编码的音频数据和利用第二编码方法被编码的音频数据进行PES分组化以 使得满足预定周期的音频数据单元出现在PES净荷的头部来得到多个PES 分组，并且多个TS分组包括相同的ID，并且是通过以下步骤得到的TS 分组，步骤包括假设被配置为对利用第一编码方法被编码的音频数据进行 解码的第一虚拟解码器和基于被添加给利用第二编码方法被编码的音频数 据的定时值对利用第二编码方法被编码的音频数据进行解码的第二虚拟解 码器，以及基于被安排用于随机访问被复用的TS分组的复用约束条件确 定要被复用的TS分组。根据本发明的第二方面，通过将利用第一编码方法被编码的音频数据 分组化为多个PES分组，再将这多个PES分组分组化为多个TS分组而得 到的多个TS分组，以及通过将利用第二编码方法被编码的音频数据分组 化为多个PES分组，再将多个PES分组分组化为多个TS分组而得到的多 个TS分组被复用并记录，第二编码方法被安排为给每个预定的音频数据 单元添加用于被解码的情况的表示定时的定时值，多个PES分组包括用于 被解码的情况的时间点信息，并且通过对利用第一编码方法被编码的音频 数据和利用第二编码方法被编码的音频数据进行PES分组化以使得满足预定周期的音频数据单元出现在PES净荷的头部来得到多个PES分组，并且多个TS分组包括相同的ID，并且是通过以下歩骤得到的TS分组，所述歩骤包括假设被配置为对利用第一编码方法被编码的音频数据进行解码的第一虚拟解码器和基于被添加给利用第二编码方法被编码的音频数据的定时值对利用第二编码方法被编码的音频数据进行解码的第二虚拟解码器，以及基于被安排用于随机访问被复用的TS分组的复用约束条件确定要被复用的TS分组。根据本发明，音频流的TS分组可以被复用。具体而言，根据本发 明，利用不同编码方法被编码的两个音频流的TS分组可以被复用到一个 传输流中。


图1是描述现有编码装置的配置的图。图2是示出了图1中的编码装置所假设的STD模型的图。图3是描述在应用了本发明的发送装置利用MPEG2-TS方法对音频流进行编码的情况下的约束条件的图。图4是示出了图3中的发送装置的配置示例的图。图5是描述BS音频ES和HQ音频ES的数据流的图。图6是描述BS音频ES和HQ音频ES的数据配置示例的图。图7是描述其中BS音频ES被转换为BS音频TS的示例的图。图8是描述其中HQ音频ES被转换成HQ音频TS的示例的图。图9是描述其中BS音频TS和HQ音频TS被复用的示例的图。图10是描述要被输入到图4中所示的TS复用单元的TS的图。图11是描述HQ音频PES分组和HQ音频TS分组的数据配置示例的图。图12是用于描述BS音频TS分组和HQ音频TS分组的复用约束条件 的图。图13是用于描述BS音频TS分组和HQ音频TS分组的复用约束条件 的图。图14是示出了图3中所示的虚拟解码器的模型示例的图。图15是描述图14中所示的音频数据解码处理单元的详细示例的图。图16是描述图15中所示的具有可变比特率的音频解码器的图。图17是描述TS分组发送处理的流程图。图18是描述TS分组发送处理的流程图。图19是描述PES分组化处理的流程图。图20是描述对针对BS音频的被占用缓冲器的量的计算处理的流程图。图21是描述对针对HQ音频的被占用缓冲器的量的计算处理的流程图。图22是描述用于随机访问的复用约束条件处理的流程图。图23是示出了被配置来创建EP—map的记录装置的配置示例的框图。图24是示出了光盘上的应用格式示例的图。图25是描述EP_map和剪辑AV流之间的关系的图。图26是描述音频EP—map的配置的图。图27是描述在TS被配置有BS音频ES和HQ音频TS的情况下的 EP一map的图。图28是描述剪辑信息文件的记录处理的流程图。图29是描述用于创建针对BS音频ES和HQ音频ES的EP—map的处 理的流程图。图30是示出了重放装置的配置示例的框图。图31是示出了图30中所示的AV解码器的配置示例的框图。图32是示出了图30中所示的AV解码器的另一配置示例的框图。图33是描述针对BS音频ES的随机访问重放处理的流程图。图34是描述针对HQ音频ES的随机访问重放处理的流程图。图35是示出了个人计算机的配置示例的图。
参考标号111 发送装置120 虚拟接收装置121 虚拟解码器131 输入单元132 音频解码器133 缓冲器134 提取信息添加单元135 控制单元136 PES分组化单元137 TS分组化单元138 复用单元139 发送单元141 第一编码器142 第二编码器143 第一缓冲器144 第二缓冲器171 BS音频ES172 BS音频PES173 BS音频TS181 HQ音频ES182 HQ音频PES183 HQ音频TS 190 传输流231- 1到231-jBS音频TS分组232- 1到232-k HQ音频TS分组 261 PTS—DTS—flags 263 PTS275 输入定时信息276 详细信息 341 PID滤波器361- 1、 361-2传输优先滤波器362- 1、 362-2传输缓冲器363- 1、 363-2基本缓冲器364- 1音频解码器364-2可变比特率的音频解码器391 FIFO缓冲器392 音频解码器 501 记录装置521 控制器522 操作输入单元 526 记录控制单元具体实施方式
下面将参考附图描述本发明的实施例。图3是描述在应用了本发明的发送装置111利用MPEG (运动图片专 家组)2-TS (传输流)(下文中称为MPEG2-TS)方法发送音频流的情况 下的约束条件的图。发送装置111是这样的装置，其中在利用使用MPEG2-TS方法对流进 行PES分组化之后，PES分组被分组化为TS分组，TS分组被复用以生成 MPEG2-TS (MPEG2传输流)，并且MPEG2-TS被发送。例如，发送装 置111通过驱动器112将所生成的MPEG2-TS记录在可移动介质113中， 或者控制通信单元114以将MPEG2-TS发送到网络115。此时，在利用 MPEG2-TS方法将视频流或音频流分组化为TS分组的情况下，发送装置 111通过假设虚拟接收装置120中所提供的虚拟解码器121以在这个虚拟 解码器中正确地执行解码处理，来生成MPEG2-TS。被连接到驱动器122
的虚拟接收装置120被假设通过驱动器122读出可移动介质113中所记录 的MPEG2-TS，或者控制通信单元123以从网络115获得MPEG2-TS。注意，可移动介质113由磁盘、光盘、磁光盘或半导体存储器等等构成。另 外，后面将参考图14和图15描述虚拟解码器121的配置示例。图4是示出了图3中所示的发送装置111的配置示例的框图。在图4 中，将描述这样的安排，其中发送装置111对音频流进行编码，将音频流 分组化为TS分组(即MPEG2-TS分组)，并且发送这些MPEG2-TS分 组。发送装置lll设有输入单元131、音频编码器132、缓冲器133、提取 信息添加单元134、控制单元135、 PES (经分组化的基本流)分组化单元 136、 TS分组化单元137、复用单元138和发送单元139。另外，音频编码 器132设有第一编码器141和第二编码器142。此外，缓冲器133设有第 一缓冲器143和第二缓冲器144。要被发送的音频数据被输入到输入单元131。输入单元131将输入音 频数据提供给音频编码器U2的第一编码器141和第二编码器142。第一编码器141是被配置为利用能够用通用音频解码器解码的音频编 码方法(例如，固定长度编码方法)对音频数据进行编码的编码器。第二 编码器142是被配置为利用仅用高性能音频解码器解码的音频编码方法(例如，可变长度编码方法)对音频数据进行编码的编码器。具体而言， 第二编码器142针对具有可变比特率(VBR)的音频并且利用采用FIFO (先入先出)缓冲器的音频编码方法执行编码，其中FIFO缓冲器被配置 用于在解码时压低VBR的峰值速率。此外，第二编码器142在编码时添 加用音频信息的采样周期表示的指示时间的定时值，其中在该采样周期屮 音频访问单元被传送到虚拟解码器的FIFO缓冲器(后面将描述的图10中 所示的FIFO缓冲器391)。注意，当第二编码器142执行编码时被添加的 用其中音频访问单元被传送给虚拟解码器的FIFO缓冲器的音频信息的采 样周期表示的指示时间的定时值，在下面也被称为输入定时。注意，第一 编码器141在编码时不添加输入定时。现在，与第一编码器141相比，第二编码器142使用高性能编码方法 执行编码，因此音频重放质量提高，与解码和播放利用第一编码器141编 码所产生的音频流的情况相比，在解码和播放利用第二编码器142编码所 产生的音频流的情况下，功能性提高。注意，下文中，第一编码器141所利用的编码方法将被称为第一编码方法，并且第二编码器142所利用的编码方法将被称为第二编码方法。第 二编码方法针对可变比特率(VBR)音频，并且是在解码时利用被配置为 压低VBR的峰值速率的FIFO (先入先出)缓冲器的音频编码方法。就是 说，第二编码方法是可变长度编码方法，并且在对利用该方法编码的音频 ES进行解码时，在解码侧需要FIFO缓冲器。现在，可以说要利用可变长 度编码方法被编码且要被输出的音频流的输出比特率为可变长度。相反， 可以说要利用固定长度编码方法编码并且要被输出的音频流的输出比特率 为固定长度。下文中，第一编码器141利用第一编码方法对音频数据进行 编码所产生的流将被称为BS音频ES (basic audio elementary stream,基本 音频基本流)，并且第二编码器142利用第二编码方法对音频数据进行编 码所产生的流将被称为HQ音频ES (high qulity audio elementary stream, 高质量音频基本流)。第一编码器141利用第一编码方法对从输入单元131提供的音频数据 进行编码，并且将作为其结果而得到的BS音频ES提供给缓冲器133的第 一缓冲器143。第二编码器142利用第二编码方法对从输入单元131提供 的音频数据进行编码，并将作为其结果而得到的HQ音频ES提供给缓冲 器133的第二缓冲器144。从而，第一缓冲器143存储(缓冲)BS音频 ES，并且第二缓冲器144存储(缓冲)HQ音频ES。随后，第一缓冲器 143和第二缓冲器144各自基于来自控制单元135的控制，在预定的定时 处读出被存储在其自身中的音频流，并将该音频流提供给PES分组化单元 136。控制单元135监视被存储在第一缓冲器143中的BS音频ES和被存储 在第二缓冲器144中的HQ音频ES，或者控制PES分组化单元136、 TS 分组化单元137、复用单元138和发送单元139中的每个单元。此外，控 制单元135管理用作在被解码的情况下所利用的时间点信息的PTS (显示 时间戳)，或者向TS分组化单元137提供要被添加到TS分组的用于标识流的类型的PID (分组标识)。此外，假设图14和图15中所示的后面会 描述的虚拟解码器121作为虚拟解码器，控制单元135执行对虚拟解码器 121的被占用缓冲器的量的计算，并且还基于用于随机访问的复用约束条 件，从被TS分组化单元137分组化的多个TS分组中确定要被复用的TS 分组。换句话说，控制单元135基于对虚拟解码器121的被占用缓冲器的 量的计算以及用于随机访问的复用约束，来确定(控制)复用单元138复 用的TS分组。PES分组化单元136在基于来自控制单元135的控制的定时处，提取 被存储在第一缓冲器143中的BS音频ES和被存储在第二缓冲器144中的 HQ音频ES，并且基于来自控制单元135的控制对这些流进行分组化。此 时，PES分组化单元136将从控制单元135提供的PTS存储在PES的每个 PES分组中。就是说，PTS被存储在从PES分组化单元136输出的每个 PES分组(与BS音频ES相对应的PES分组和与HQ音频ES相对应的 PES分组)中。就本实施例而言，假设基于BS音频ES所产生的多个PES分组(BS 音频PES分组)中的各个分组被按照预定顺序连续地从PES分组化单元 136提供给TS分组化单元137。因此在这种情况下，由多个BS音频PES 分组构成的一个流(下文中，这个流将被称为BS音频PES)被从PES分 组化单元136提供给TS分组化单元137。此外，假设基于HQ音频ES所 产生的多个PES分组(HQ音频PES分组)中的各个分组被按照预定顺序 连续地从PES分组化单元136提供给TS分组化单元137。因此在这种情 况下，由多个HQ音频PES分组构成的一个流(下文中，这个流将被称为 HQ音频PES)被从PES分组化单元136提供给TS分组化单元137。提取信息添加单元134将具有唯一地被添加到BS音频流和HQ音频 流中的每种类型的唯一值的ID (标识)提供给TS分组化单元137，以允 许解码侧(图3中所示的虚拟接收装置120侧)提取BS音频流和HQ音 频流(即，利用不同编码方法被编码的流)。就是说，提取信息添加单元 134将用于标识BS音频流和HQ音频流中的每一种的标识信息(ID)提供
给TS分组化单元137。例如，就这个ID而言，可以利用被包括在传输分组头中的 Transportj(riority标志。提取信息添加单元134向TS分组化单元137提供 信息(提取信息)，例如对于用于发送BS音频流的传输分组，设置 Transport_j)riority=l ，并且对于用于发送HQ音频流的传输分组，设置 Transport_priority=0 。TS分组化单元137基于控制单元135的控制，将从PES分组单元136 提供的PES分组流分组化为TS分组(传输流分组)。具体而言，TS分组 化单元137将从PES分组化单元136提供的BS音频PES分组化为TS分 组，并且还将从PES分组化单元136提供的HQ音频PES分组化为TS分 组。此时，不仅从提取信息添加单元134提供的ID (例如 Transport—priority标志)，而且来自控制单元135的PID，都被提供给TS 分组化单元137。就本实施例而言，可以说BS音频流中所包括的PID和 HQ音频流中所包括的PID是相同的ID。就是说，在利用两个不同编码方 法被编码的音频TS分组被复用到一个音频流中的情况下，PID被添加以 使得这-一个音频流作为整体具有相同的ID。 TS分组化单元137生成TS分 组使得包括从提取信息添加单元134提供的提取信息(例如 TransporU)riority标志)以及从控制单元135提供的PID (其在TS分组头 中)。注意，下文中，BS音频PES被分组化为TS分组的结果被称为BS 音频TS分组，并且HQ音频PES被分组化为TS分组的结果被称为HQ音 频TS分组。此外，就BS音频TS分组和HQ音频TS分组而言，被添加 到每个TS分组的提取信息(例如Transport_priority标志)不同，但是它 们具有相同的PID。复用单元138基于控制单元135的控制，复用从TS分组化单元137 提供的TS分组。具体而言，复用单元138基于控制单元135的控制，复 用从TS分组化单元137提供的BS音频ES分组和HQ音频ES分组，并生 成整个流具有相同PID的音频流(MPEG2-TS)。此时，后面将进行关于 诸如要被PES分组化单元136复用的TS分组的顺序之类的约束条件和当 PES分组化单元136执行PES分组化时的约束条件的描述。复用单元138 将经复用的所产生的MPEG2-TS发送给后一级的发送单元139。发送单元139发送从复用单元138提供的MPEG2-TS。例如，发送单 元139 (如图3中所示)控制驱动器112，以将MPEG2-TS记录在可移动 介质113中，或者控制通信单元114，以经由网络115将MPEG2-TS发送给外部装置。注意，提取信息添加单元134不仅向TS分组化单元137提供用作提 取信息的ID，而且还可以向PES分组化单元136发送提取信息。例如， 提取信息添加单元134将具有唯一地被添加到BS音频流和HQ音频流中 的每种类型的唯一值的ID (标识)提供给PES分组化单元136，以允许解 码侧(图3所示的虚拟接收装置121侧)提取BS音频流和HQ音频流中 的每一种流。就这个ID而言，禾U用本实施例，Stream—id或Sreamjd—extension被 采用。Stream—id表示被包括在符合MPEG2系统规范的PES分组头中的 Stream—id。此外，Sream—id—extension表示被包括在符合MPEG2系统规范 修改2 (2003)的PES分组头中的Sream一id—extension。在音频流是除 MPEG音频(MPEG-1/-2音频、MPEG ACC)以外的流的情况下，优选利 用Sream—id—extension。在利用Sream—id—extension的情况下，MPEG2系 统规范修改2 (2003)规定将"1111 1101"(表示为extended_streamjd 的值)设置给Stream—id。而且，MPEG2系统规范修改2 (2003)规定允 许使用具有用于标识流的类型(BS音频流和HQ音频流)的唯一值的 Sream—id一extension。在提取信息添加单元134向PES分组化单元136提供流ID (例如 Sream—id—extension)的情况下，PES分组化单元136将所获得的BS音频 流和HQ音频流中的每一个分组化为PES分组，以将从提取信息添加单元 134提供的流ID (例如Sream—id—extension)中相应的一个流ID包括在 PES分组中。PES分组中的每个流ID是用于标识相应的PES分组的类型 的ID。现在，PES分组的类型是BS音频流或HQ音频流。例如，BS音频 流类型的PES分组表示包括至少一部分BS音频流的数据的PES分组(BS 音频ES)。因此，为了使用作接收侧的图3中所示的虚拟接收装置120选
择所需要类型的音频流的PES分组，需要识别被添加到相关PES分组的流 ID的值。接下来，将参考图5中所示的流程图简单描述图4中所示的发送装置111中的数据(流)流动示例。输入单元131在步骤Sl中将输入音频数据提供给第一编码器141，并 在步骤Sll中还将该音频数据提供给第二编码器142。第一编码器141在 步骤S2中对输入音频数据进行编码，并且在歩骤S3中将BS音频ES提供 给PES分组化单元136。 PES分组化单元136将从第一编码器141提供的 BS音频ES分组化为PES分组，并将BS音频PES提供给TS分组化单元 137。 TS分组化单元137在步骤S6中将从PES分组化单元136提供的BS 音频PES分组化为TS分组，并在步骤S7中将BS音频TS提供给复用单 元138。此外，类似地，第二编码器142在步骤S12中对音频数据输入进 行编码，并且在歩骤S13中将HQ音频ES提供给PES分组化单元136。 PES分组化单元136在步骤S14中将从第二编码器142提供的HQ音频ES 分组化为PES分组，并在歩骤S15中将HQ音频PES提供给TS分组化单 元137。 TS分组化单元137在歩骤S16中将从PES分组化单元136提供的 HQ音频PES分组化为TS分组，并在步骤S17中将HQ音频TS提供给复 用单元138。复用单元138在步骤S21中复用在步骤S7和歩骤S17中的处 理中所提供的BS音频TS和HQ音频TS，以产生一个MPEG2-TS (传输 流)，并且在歩骤S22中输出所产生的MPEG2-TS (在图4的情形中是输 出到发送单元139)。因而，通过第一编码器141被编码并得到的BS音频ES和通过第二编 码器142被编码并得到的HQ音频ES被分别独立地分组化为PES分组 (步骤S4和步骤S14)，并进而被分组化为TS分组(步骤S6和歩骤 S16)，并且在复用单元138处被复用到一个音频流(传输流)中。将参考图6描述更具体的实施例。在图6中，针对与图5中的处理相 对应的处理，附加相同的步骤编号。利用图6中所示的示例，第一级示出了 BS音频ES 171和HQ音频ES 181，第二级示出了 BS音频PES 172和HQ音频PES 182，第三级示出了
BS音频TS 173和HQ音频TS 183，第四级示出了TS (传输流)190。BS音频ES 171示出了利用图4中所示的第一编码器141被编码并输 出的状态，BS音频PES 172示出了利用图4中所示的PES分组化单元136 被PES分组化(步骤S4)并输出的状态，并且BS音频TS 173示出利用 图4中所示的TS分组化单元137被进行TS分组化(步骤S6)并输出的 状态。此外，HQ音频ES 181示出了利用图4中所示的第二编码器142被 编码并输出的状态，HQ音频PES 182示出了利用图4中所示的PES分组 化单元136被PES分组化(步骤S14)并输出的状态，并且HQ音频TS 183示出了利用图4中所示的TS分组化单元137被进行TS分组化(歩骤 S16)并输出的状态。TS 90示出了利用图4中所示的复用单元138被复用 (歩骤S21)并输出的状态。BS音频ES 171和HQ音频ES 181都是按照预定数目的音频样本作为 一个单元的方式被编码的，并且通过在针对每个单元的圆括号中所示的标 记被区分并示出。具体而言，例如，BS音频ES 171通过被分成诸如 BS(l)、 BS(2)—直到BS(n) (n是任意整数)的多个单元(音频访问单元) 而被编码。类似地，例如，HQ音频ES 181通过被分成诸如HQ(l)、 HQ(2) 一直到HQ(m) (m是任意整数)的多个单元(音频访问单元)而被编码。 音频访问单元是构成音频ES的编码单元，并且也是解码单元。例如，假 设在播放BS音频ES的一个音频访问单元的情况下，其重放时间是32毫 秒，并且在播放HQ音频ES的一个音频访问单元的情况下，其重放时间 是1/1200秒。图4中所示的PES分组单元136将BS音频ES 171和HQ音频ES 181 分组化为具有不同流ID的PES分组。例如，PES分组单元136将与BS音 频ES 171对应的每个PES分组的流ID设为"Stream—id—extension = bl"，并且将这个流ID添加到要被生成的PES分组的PES头部。此外， 例如，PES分组单元136将与HQ音频ES 181对应的每个PES分组的流 ID设为"Stream—id—extension = b2"，并且将这个流ID添加到要被生成的 PES分组的PES头部。在图4中，BS音频PES 172被配置有由PES头部 和PES净荷构成的PES分组172-1到172-n，(图中的BS(l)、 BS(2)—直到BS(n'))。换言之，BS音频PES 172被配置有n' (n'是任意整数)个PES 分组172-1至U 172-n，。此外，HQ音频PES 182被配置有由PES头部和 PES净荷构成的HQ音频PES分组182-1到182-m，(图中的HQ(l)、 HQ(2) 一直到HQ(m'))。换言之，HQ音频PES 182被配置有m' (m'是任意整 数)个HQ音频PES分组182-1到182-m，。就在PES分组化情况下的约束条件而言，存在如下约束条件其中 PES分组化需要被执行以使得在一秒内应当有这样的PES分组，其中被存 储在BS音频PES 172中的PES头部中的PTS值等于被存储在HQ音频 PES 182的PES头部中的PTS值。这里，就BS音频PES分组172-1 (由 图中的PES头部和PES净荷构成的PES分组(被表示为BS(l)))禾口 HQ 音频PES分组182-1 (由图中的PES头部和PES净荷构成的PES分组(被 表示为HQ(l)))之间而言，两者的PES头部中所包括的PTS值相等。 PES分组化被执行以使得在将PTS转换(计算)为时间的情况下具有相同 PTS的这种PES分组应当存在于一秒内。就是说，PES分组化被执行以使 得具有与BS音频PES分组的PTS相同的PTS的HQ音频PES分组存在于 一秒内。注意，就图4中所示的发送装置111而言，PES分组化单元136 被配置为基于这种约束条件执行PES分组化。例如，如图7中的第一级和第二级中所示，PES分组化单元136将 PTS添加到构成BS音频PES 172的多个BS音频PES分组的每个PES头 部(例如，将PTS=BS1添加到BS音频PES分组172-1)，并且还将BS 音频ES 171中所包括的一个或多个访问单元存储到每个PES净荷。此 外，例如，如图8中的第一级和第二级中所示，PES分组化单元136将 PTS添加到构成了 HQ音频PES 182的多个HQ音频PES分组的每个PES 头部(例如，将PTS=HQ1添加到HQ音频PES分组182-1)，并且还将 HQ音频ES 181中所包括的一个或多个访问单元存储到每个PES净荷。从 而，PES分组单元136生成图6中所示的BS音频PES 172和HQ音频PES 182，并将这些PES提供给TS分组化单元137。另一方面，TS分组化单元137将构成BS音频PES 172的每个PES分 组分组化为TS分组，并且还将构成HQ音频PES 182的每个PES分组分 组化为TS分组。此时，TS分组化单元137将用于标识BS音频PES 172 和HQ音频PES 182的transport_priority标志和用于标识音频流的PID添加 到要被生成的TS分组的头部(TS头部)。就是说，可以说被存储在构成 所生成的BS音频TS 173的多个TS分组231-1到231-j (j是任意整数)的 每个TS头部中的PID和被存储在构成所生成的HQ音频TS 183的多个TS 分组232-1到232-k (k是任意整数)的每个TS头部中的PID是相同的 PID，但是被存储在构成所生成的BS音频TS 173的多个TS分组231-1到 231-j (j是任意整数)的每个TS头部中的transport—priority标志和被存储 在构成所生成的HQ音频TS 183的多个TS分组232-1到232-k (k是任意 整数)的每个TS头部中的transport_priority标志是不同的。具体而言，如图7中的第二级和第三级中所示，TS分组化单元137将 "PID=aO， tp(transport_priority)=l"添加到构成BS音频TS 173的多个BS 音频TS分组的每个TS头部，并且如图8中的第二级和第三级所示，TS 分组化单元137将"PID=aO， tp(transport_priority)=0"添加到构成HQ音 频TS 183的多个HQ音频TS分组的每个头部。从而，相同的PID被添加到一个音频流(TS190)，并且不同的tp (transport_priority)被添加到其中，以标识一个流中所包括的BS音频ES 和HQ音频ES。复用单元138基于来自控制单元135的控制，复用BS音频TS 173和 HQ音频TS 183，以生成一个传输流(MPEG2-TS) 190。就图6中所示的 示例而言，TS (MPEG2-TS) 190被配置使得包括与PAT (节目关联表) 相对应的TS分组221 、与PMT (节目映射表)相对应的TS分组222、 BS 音频TS 231-1到231-j (j是任意整数)以及HQ音频TS 232-1到232-k (k 是任意整数)。关于在复用情况下的约束条件，存在以下两个约束条件。 第一约束条件是这样的约束条件其中在对相当于一个PES分组的 TS分组的复用完成之后，对相当于下一个PES分组的TS分组的复用需要 被执行。就是说，就BS音频ES和HQ音频ES两者而言，相当于一个 PES分组的TS分组需要被连续地复用，并且包括不同类型的PES分组的
TS分组不需要被混合。就特定示例而言，在BS音频PES分组172-1被存 储在BS音频TS分组231-1到231-3的TS净荷中并且HQ音频PES分组 182-1被存储在HQ音频TS分组232-1到232-3的TS净荷中的情况下， BS音频TS分组231-1到231-3需要被连续地复用，并且HQ音频TS分组 232-1到232-3也需要被连续地复用。基于这个约束条件，例如，在BS音 频TS分组231-1到231-3之后，HQ音频TS分组232-1到232-3被连续地 复用。根据这个约束条件，例如，利用能够重放其它类型的音频流的重放 装置，音频可以顺利地被管理。第二约束条件是这样的约束条件(用于随机访问的复用约束条件) 其中，就具有相同PTS值的BS音频TS分组和HQ音频TS分组之间的关 系而言，复用应当被执行以使得HQ音频TS分组必定被置于BS音频TS 分组之后。例如，在BS音频TS分组231-1中所存储的PTS值和HQ音频 TS分组232-2中所存储的PTS值具有相同的PTS值的情况下，必须执行 复用以使得HQ音频TS分组232-2被置于BS音频TS分组231-1之后(不 一定是紧接在其后，只要在其后即可)。就是说，设有这样的约束条件 其中就存储有具有相同PTS值的PES分组和PES净荷的TS分组而言， HQ音频ES的TS分组被置于BS音频ES的TS分组之后。这第二个约束 条件是基于如下限制的约束条件其中用于执行随机访问的EP—map的入 口点必须为1秒或更短的间隔。后面将参考图23到图29描述EP一map的 细节。就这个周期而言，例如，在与BS音频ES 171的5个音频访问单元相 对应的重放时间等于与HQ音频ES 181的192个音频访问单元相对应的重 放时间的情况下，相应地具有相同PTS的访问单元存在于相当于BS音频 ES 171的5个音频访问单元(即，相当于HQ音频ES 181的192个音频访 问单元)的周期中。接下来，将参考图7简单描述关于在图6中所示的BS音频ES 171被 分组化为BS音频PES 172并且BS音频PES 172又被TS分组化为BS音 频TS 173的情况下的数据配置的变化。注意，在图7中，与图6中所示的 部分相对应的部分具有相同的标号和相同的步骤编号。
如图7中所示，在BS音频ES 171被进行PES分组化(步骤S4)的 情况下，BS音频ES 171中所包括的多个音频访问单元(BS(l)、 BS(2)等 等，直到BS(n))被存储在构成BS音频PES 172的BS音频PES分组172-l至lJ172-n，的PES净荷中。在图7中所示的示例的情况下，BS音频ES 171 的3个音频访问单元BS(l)至lJ BS(3)被存储在BS音频PES分组172-1的 PES净荷中，并且值PTS=BS1被存储在BS音频PES分组172-1的PES头 部中。而且，例如，BS音频ES 171的3个音频访问单元BS(4)到BS(6)被 存储在BS音频PES分组172-2的PES净荷中，并且值PTS=BS2被存储在 BS音频PES分组172-2的PES头部中。此外，例如，BS音频ES 171的2 个音频访问单元BS(n-l)到BS(n)被存储在BS音频PES分组172-n，的PES 净荷中，并且值PTS二BSn'被存储在BS音频PES分组172-n，的PES头部 中。随后，在BS音频PES 172被进行TS分组化(步骤S6)的情况下， BS音频PES 172的数据被分别存储在构成BS音频TS 173的BS音频TS 分组231-1到231-j的TS净荷中。例如，BS音频PES分组172-1被存储在 BS音频TS分组231-1和231-2的TS净荷中，并且BS音频PES分组172-2被存储在BS音频TS分组231-3和231-4的TS净荷中。此时，BS音频 PES分组172-1的PES头部的PTS (即，PTS=BS1)被存储在BS音频TS 分组231-1的TS净荷中，BS音频PES分组172-2的PES头部的PTS (即，PTS-BS2)被存储在BS音频TS分组231-3的TS净荷中，并且BS 音频PES分组172-n'的PES头部的PTS (即，PTS-BSn')被存储在BS音 频TS分组231-j-l的TS净荷中。因而，在BS音频TS分组中，存在其TS净荷存储PTS值的TS分组。接下来，将参考图8简单描述关于在图6中所示的HQ音频ES 181被 分组化为HQ音频PES 182并且HQ音频PES 182又被TS分组化为HQ音 频TS 183的情况下的数据配置的变化。注意，在图8中，与图6中所示的 部分相对应的部分具有相同的标号和相同的步骤编号。而且，图8中所示 的HQ音频ES与图7中所示的BS音频ES的情况基本相同。
如图8中所示，在HQ音频ES 181被进行PES分组化(步骤S14)的 情况下，HQ音频ES 181中所包括的多个音频访问单元(HQ(l)、 HQ(2)— 直到HQ(m))被存储在构成HQ音频PES 182的HQ音频PES分组182-1 到182-m'的PES净荷中。在图8中所示的示例的情况下，HQ音频ES 181 的3个音频访问单元HQ(1)到HQ(3)被存储在HQ音频PES分组182-1的 PES净荷中，并且值PTS=HQ1被存储在HQ音频PES分组182-1的PES 头部中。而且，例如，HQ音频ES 181的3个音频访问单元HQ(4)到HQ(6) 被存储在HQ音频PES分组182-2的PES净荷中，并且值PTS=HQ2被存 储在HQ音频PES分组182-2的PES头部中。而且，例如，HQ音频ES 181的2个音频访问单元HQ(m-l)到HQ(m)被存储在HQ音频PES分组 182-m'的PES净荷中，并且值PTS二HQm'被存储在HQ音频PES分组182-m'的PES头部中。随后，在HQ音频PES 182被进行TS分组(歩骤S16)的情况下， HQ音频PES 182的数据被分别存储在构成HQ音频TS 183的HQ音频TS 分组232-1到232-k的TS净荷中。例如，HQ音频PES分组182-1被存储 在HQ音频TS分组232-1和232-2的TS净荷中，并且HQ音频PES分组 182-2被存储在HQ音频TS分组232-3和232-4的TS净荷中。此时，HQ 音频PES分组182-1的PES头部的PTS (即，PTS=HQ1)被存储在HQ音 频TS分组232-1的TS净荷中，HQ音频PES分组182-2的PES头部的 PTS (即，PTS=HQ2)被存储在HQ音频TS分组232-4的TS净荷中，并 且HQ音频PES分组182-m，的PES头部的PTS (即，PTS=HQm，)被存储 在HQ音频TS分组232-k-2的TS净荷中。因此，在HQ音频TS分组中，存在其TS净荷存储PTS值的TS分组。随后，在复用图7中所示的BS音频TS 173和图8中所示的HQ音频 TS 183的情况下，基于以下两个约束条件执行复用在一个约束条件中， 在完成对相当于一个PES分组的TS分组的复用之后，需要执行对相当于 下一个PES分组的TS分组的复用，并且在另一个约束条件中，就具有相 同PTS值的BS音频TS分组和HQ音频TS分组之间的关系而言，复用需
要被执行以使得HQ音频TS分组被置于BS音频TS分组之后。将参考图9描述基于上述约束条件的复用的特定示例。在图9中，第 一级示出了BS音频TS 173和HQ音频TS 183，并且第二级示出了在复用 BS音频TS 173和HQ音频TS 183的情况下的TS 190。例如，在BS音频TS分组231-1中所存储的PTS值(=BS1)和HQ 音频TS分组232-1中所存储的PTS值(=HQ1 )相等的情况下，如图9中 的第二级中所示，复用被执行以使得HQ音频TS分组232-1被置于具有 PTS^BS1的BS音频TS分组231-1之后(第二复用约束条件)。而且，此 时，图7中所示的BS音频PES分组172-1的数据的一部分被存储在BS音 频TS分组231-1中，并且BS音频PES分组172-1的数据不仅被存储在 BS音频TS分组231-1中，而且被存储在BS音频TS分组231-2中，因此 BS音频TS分组231-1和BS音频TS分组231-2需要被连续地复用(第一 复用约束条件)。类似地，图8中所示的HQ音频PES分组182-1的数据 的一部分被存储在HQ音频TS分组232-1中，并且HQ音频PES分组 182-1的数据不仅被存储在HQ音频TS分组232-1中，而且被存储在HQ 音频TS分组232-2和232-3中，因此HQ音频TS分组232-1到232-3需要 被连续地复用(第一复用约束条件)。因此，如图9中的第二级中所示，HQ音频TS分组232-1到232-3被 置于BS音频TS分组231-1和231-2之后。注意，就图9中所示的示例而 言，进行这样的布置，其中HQ音频TS分组232-1到232-3被置于紧接在 BS音频TS分组231-1和231-2之后，但是也进行如下布置，其中其它数 据被置于BS音频TS分组231-1和231-2以及HQ音频TS分组232-1到 232-3之间。注意，就一直到图9的描述而言，已经描述了关于其中图4中所示的 发送装置111发送音频数据的情形，但是实际上，图4中所示的发送装置 111还发送视频数据和系统数据(图像流数据、文本字幕流等等)。在这 种情况下，视频数据也是通过未示出的视频编码器被编码、被PES分组化 并且被TS分组化，随后与音频TS分组一起在复用单元138处被复用。此 时，与视频数据相对应的TS分组的PID和与音频数据相对应的TS分组的PID不同(不言而喻，BS音频TS分组的PID和HQ音频TS分组的PID是相同的)，如图10中所示。在图10中所示的示例的情况下， "PID=V0"被添加到作为视频数据(视频ES)的TS 241中所包括的每个 TS分组的头部，如第一级中所示，"PID=E0"被添加到作为其它数据 (系统数据)的TS 242中所包括的每个TS分组的头部，如第四级中所 示。从而，具有一个或多个不同PID的流被包括在一个节目流中。就是说，流作为诸如视频TS 241、 BS音频TS 173、 HQ音频TS 283 和其它TS 242之类的单独的流被输入到复用单元138。这里，BS音频ES 和HQ音频ES是没有等级关系的相互独立的流。因此，在复用时没有约 束条件(例如，没有诸如将BS音频ES和HQ音频ES复用为一组这样的 约束条件)。而且，就该实施例而言，利用不同编码方法被编码的音频 ES具有相同的PID，从而生成传输流。接下来，将参考图11描述具有与BS音频PES 172的PTS值相同的 PTS值的HQ音频ES 181的PES分组配置和TS分组配置。具体而言，图 ll是描述HQ音频ES 181的PES分组182-1 (图8)的配置和在图6到图 9中PTS=BS1=HQ1的情况下的TS分组232-1的配置的图。如参考图6和图8所描述的，HQ音频PES分组182-1被配置有PES 头部和PES净荷。PES头包括PTS—DTS—flags 261、其它数据262、 PTS 263以及其它数据264。PTS—DTS—flags 261是表示PTS禾Q DTS (解码时间戳)的有/无的信 息。值为"00(b)"的PTS_DTS—flags表示PTS字段和DTS字段都没有被 包括在PES头中，值为"10(b)"的PTS—DTS—flags表示只有PTS字段被 包括在PES头中，并且值为"11(b)"的PTS—DTS—flags的表示PTS和 DTS字段都被包括在PES头中。在图11中所示的示例的情况下， PTS—DTS—flags的值被设置为PTS—DTS_flags= 10(b)，其表示只有PTS 263 的值被包括在PES头中，并且其中不包括DTS值，并且在PTS 263的字 段中描述PTS值。在图11中所示的示例的情况下，与相应的BS音频PES 分组172-1中所存储的PTS (=BS1)具有相同值的PTS=HQ 1被存储在 PTS 263的字段中。
在图11中所示的示例的情况下，四个音频访问单元(AU) 271到274 被包括在HQ音频PES分组182-1的PES净荷中。音频访问单元271到 274是高质量音频。音频访问单元271包括输入定时信息275和详细信息 276。输入定时信息275是当第二编码器142进行编码时所应用的用其中 音频访问单元被传送到虚拟解码器的FIFO缓冲器的音频信息的采样周期 表示的指示时间的定时值。详细信息276是解码信息，其使得能够开始在 其位置处的解码。换句话说，详细信息276是从其位置处开始解码的信 息。可以通过其开始解码的这个信息(详细信息)例如包括采样频率、信 道信息等等。此外，详细信息276不是被包括在全部的访问单元中。从而，具有与BS音频PES的PTS相同的PTS的HQ音频PES分组的 (PES净荷的)最开头的音频访问单元包括输入定时信息275和详细信息 276。注意，详细信息276不总是被包括在HQ音频PES分组中。具体而 言，详细信息276被包括在具有与BS音频PES的PTS相同的PTS的HQ 音频PES分组中，但在一些情况下不被包括在不具有与BS音频PES的 PTS相同的PTS的HQ音频PES分组中。作为HQ音频PES分组182-1被进行TS分组化的结果的TS分组232-1到232-3中的每一个包括TS头部和TS净荷，例如参考图6和图8所描 述的。上面参考图IO所提及的PID和tp被添加到TS头部，但是图11中 没有示出。从而，当第二编码器142执行编码时要被添加的定时值(输入定时) 作为输入定时信息275被存储在其中存储有音频访问单元271的最开头的 数据的PES净荷中。例如，假设PTS 263的数据长度为32位，DTS的数 据长度为33位，并且输入定时的数据长度为16位。现在，将参考图12描述满足在复用图6中所示的BS音频TS 173和 HQ音频TS 183的情况下(在得到TS 190的情况下)的约束条件的两个示 例。如上所述，在将BS音频TS 173和HQ音频TS 183复用成TS 190的 情况下的约束条件是其中在完成对相当于一个PES分组的TS分组的复
用之后，需要执行对相当于下一个PES分组的TS分组的复用的约束条件(第一约束条件)，以及就具有相同PTS值的BS音频TS分组和HQ音频 TS分组之间的关系而言，复用需要被执行以使得HQ音频TS分组被置于 BS音频TS分组之后的约束条件(第二约束条件)。将参考图12的上面部分描述分组布局的第一示例。这里注意，BS音 频TS分组281-1和BS音频TS分组281-2对应于BS音频TS分组231-1 到231-j中的任一个，并且HQ音频TS分组282-1就HQ音频TS分组 282-2对应于图6中所示的HQ音频TS分组232-1到232-k中的任一个。在图12的上面部分，在BS音频TS分组281-1和HQ音频TS分组 282-1的PTS值都是PTS#1的情况下，HQ音频TS分组282-1被置于BS 音频TS分组281-1之后。就是说，就具有相同PTS值(都是PTS#1)的 TS分组而言，BS音频TS分组281-1被置于HQ音频TS分组282-1之 前。类似地，在BS音频TS分组281-2和HQ音频TS分组282-2的PTS 值都是PTS#2的情况下，HQ音频TS分组282-2被置于BS音频TS分组 281-2之后。就是说，就具有相同PTS值(都是PTS弁2)的TS分组而言， BS音频TS分组281-2被置于HQ音频TS分组282-2之前。此时，根据PES分组化时的上述约束条件，具有相同PTS的PES分 组被进行PES分组化，使得存在于一秒内(在将PTS转换(计算)成时间 的情况下)，因此，在将从PTS射到PTS存2转换成时间的情况下，其时间 被设置为一秒以内。就是说，如图13中所示，((PTS#2)-(PTS#1))被设 置为一秒以内。这里，其中一个周期间隔等于或短于一秒的周期在下文中被称为周期 N，这个周期是其中BS音频ES访问单元的显示时间点和HQ音频ES访 问单元的显示时间点相等的周期(例如，图13中所示的周期"PTS#2-PTS#1")。在流内，这个周期N可以变化。将参考图12的下面部分描述分组布局的第二示例。在图12的下面部 分，在BS音频TS分组281-1和HQ音频TS分组282-1的PTS值都是 PTS#1的情况下，HQ音频TS分组282-1被置于BS音频TS分组281-1之 后。就是说，就具有相同PTS值(都是PTS糾)的TS分组而言，BS音频TS分组281-1被置于HQ音频TS分组282-1之前。类似地，在BS音频 TS分组281-2和HQ音频TS分组282-2的PTS值都是PTS#2的情况下， HQ音频TS分组282-2被置于BS音频TS分组281-2之后。就是说，就具 有相同PTS值(都是PTS#2)的TS分组而言，BS音频TS分组281-2被 置于HQ音频TS分组282-2之前。就图12的下面部分处的TS而言，HQ音频TS分组282-1被置于BS 音频TS分组281-2之后，这一点不同于上面部分。就是说，其PTS值为 PTS#2的BS音频TS分组281-2被置于其PTS值为PTS#1的HQ音频TS 分组282-1之前。然而，根据约束条件，就具有相同PTS值的TS分组而 言，HQ音频TS分组需要被置于BS音频TS分组之后。就是说，其它数 据可以被包括在具有相同PTS值的BS音频TS分组和HQ音频TS分组之 间，因此，就图12的下面部分的TS而言，这个约束条件也是受保障的。从而，具有与BS音频TS分组的PTS值相同的PTS值的HQ音频TS 分组需要被置于BS音频TS分组之后，如图12的下面部分所述，即使在 具有PTS#1的HQ音频TS分组282-1被置于具有PTS#2的BS音频TS分 组281-2之后的情况下也是如此，只要在对相当于一个PES分组的TS分 组的复用完成之后执行对相当于下一个PES分组的TS分组的复用，约束 条件就相应地被满足。注意，在图12的下面部分也是一样，具有相同PTS的PES分组已经 被进行PES分组化以始终存在于一秒内(在PTS被转换(计算)成时间的 情况下)，因此，在将从PTS射到PTS弁2转换成时间的情况下，其时间被 设置为一秒以内。就该实施例而言，在发送装置111将BS音频ES 171和HQ音频ES 181分组化为TS分组，并且将构成BS音频TS 173的多个BS音频TS分 组和作为其结果而得到的构成HQ音频TS 183的多个HQ音频TS分组复 用到一个传输流190 (MPEG2-TS)中的情况下，根据虚拟接收装置120 (图3)的性能和用于随机访问的复用约束条件来确定要被复用的TS分 组。就是说，即使在虚拟接收装置120是能够处理BS音频ES和HQ音频 ES两者(能够解码BS音频ES和HQ音频ES两者)的虚拟接收装置的情
况下，或者即使在虚拟接收装置120是只能处理BS音频ES (仅能解码BS音频ES)的虚拟接收装置的情况下，都可以在发送装置111侧调节复 用TS分组的定时(要被复用的TS分组可以被顺序地确定)，以使得解码 可以被执行，同时使得虚拟接收装置120中所设的缓冲器既不上溢 (overflow)也不下溢(underflow)，并且用于随机访问的复用约束条件 可以被保障。具体而言，发送装置111调整要被复用的TS分组，以应对能够解码 图6中所示的BS音频TS 173的虚拟接收装置(下文中被称为第一虚拟接 收装置)和能够解码图6中所示的HQ音频TS 183的接收装置(下文中被 称为第二虚拟接收装置)，以生成图6中所示的传输流190。就是说，发 送装置111确定要被复用的TS分组以使得在虚拟接收装置120提取并解 码BS音频ES的情况下，具有预定大小的用于BS音频ES的解码器缓冲 器既不会上溢也不会下溢，并且还使得在虚拟接收装置120提取并解码 HQ音频ES的情况下，具有预定大小的用于HQ音频ES的解码器缓冲器 既不会上溢也不会下溢，并且从而保障用于随机访问的复用约束条件。就是说，假定有两种类型的虚拟接收装置， 一方面是只能解码BS音 频ES的虚拟接收装置120， 一方面是能够解码HQ音频ES的虚拟接收装 置120，并且复用TS分组的定时被调整，以能够解码利用这两种类型的虚 拟接收装置中的每一种装置(第一虚拟接收装置和第二虚拟接收装置)并 且基于用于随机访问的复用约束条件而被复用的TS 190。图14是描述针对在复用BS音频TS和HQ音频TS的情况下的编码约 束条件的虚拟解码器121的模型的图。就是说，图14示出了在发送装置 111利用MPEG2-TS方法复用BS音频TS和HQ音频TS的情况下所采用 的虚拟接收装置120中所包括的虚拟解码器121 (图3)的模型的配置示 例。换句话说，图14中所示的虚拟解码器121是在发送装置111复用BS 音频TS和HQ音频TS的情况下所采用的虚拟解码器121的模型。被发送到虚拟接收装置120 (图3)的MPEG-TS被提供给虚拟解码器 121。被提供给虚拟解码器121的MPEG2-TS (如图14中所示)通过滤波 器341被进行滤波以得到各种类型的TS分组。
具体而言，MPEG2-TS由多个TS分组构成，并且每个TS分组都附带 有用于标识其TS分组的PID。基于被添加到构成MPEG2-TS的每个分组 的PID，滤波器341将构成视频流的TS分组(在图10中所示的示例的情 况下是PID-V0的TS分组)提供给被配置为处理视频流的视频数据解码 处理单元350，并且将构成音频流的TS分组(在图10中所示的示例的情 况下是PID=aO的TS分组)提供给被配置为处理音频流的音频数据解码处 理单元360，并且将与系统有关的TS分组(在图10中所示的示例的情况 下是PID=E0的TS分组)提供给被配置为处理与系统有关的数据的系统数 据解码处理单元370。视频数据解码处理单元350被提供有传输缓冲器(在图中被表示为 TBv) 351、复用器缓冲器(在图中被表示为MBv) 352、基本缓冲器 (elementary buffer)(在图中被表示为EBv) 353、视频解码器(在图中 被表示为Dv) 354以及输出重排序缓冲器(在图中被表示为Ov) 355。一旦构成视频流的TS分组(在图10中所示的示例的情况下是 PID=V0的TS分组)经由滤波器341被提供给视频数据解码处理单元 350， TS分组就被存储在传输缓冲器351中。随后，数据按预定的比特率 被提供给复用缓冲器352。复用缓冲器352存储被提供的数据以对数据进 行平滑，并且随后按预定的比特率将数据提供给基本缓冲器353。视频解 码器354按预定的定时提取基本缓冲器353中所存储的视频访问单元，并 且解码并输出视频访问单元。解码后的数据的--部分被经由输出重排序缓 冲器355从端子356输出，并且其它数据被从端子357输出并且被播放。音频数据解码处理单元360被提供有传输优先滤波器361、传输缓冲 器(在图中被表示为TBn) 362、基本缓冲器(在图中被表示为Bn) 363 以及音频解码器(在图中被表示为Dn) 364。一旦构成音频流的TS分组(在图10中所示的示例的情况下是 PID=aO的TS分组)经由滤波器341被提供给音频数据解码处理单元 360，传输优先滤波器361就对TS分组进行取决于虚拟解码器121的性能 的滤波。例如，传输优先滤波器361基于被添加到TS分组的头部(例 如，图11中所示的TS头部282)的tp (参见图10)的值执行滤波。经传
输优先滤波器361滤波后的TS分组被提供给后一级的传输缓冲器362。传 输缓冲器362存储经传输优先滤波器361滤波并提供的TS分组。传输缓冲器362中所存储的TS分组按取决于虚拟解码器121的性能 的速率Rxn被提供给基本缓冲器363。 Rxn是从传输缓冲器362的泄漏速 率，并且在传输缓冲器362中存在数据的情况下，数据以速率Rxn从传输 缓冲器362被输入到基本缓冲器363。此外，在传输缓冲器362中没有数 据的情况下，Rxn变为O。基本缓冲器存储从传输缓冲器362以Rxn的比特率被提供的数据。这 里，可以说基本缓冲器363的大小因音频编码方法(MPEG1音频、 MPEG2 AAC音频等等)的不同而不同。注意，在传输缓冲器362中存在 数据的情况下，数据以Rxn的比特率(速度)从传输缓冲器362被提供给 基本缓冲器363，但是在传输缓冲器362中没有数据的情况下，没有数据 从传输缓冲器362被提供给基本缓冲器363 (即，变为Rxr^0)。音频解码器364按预定的定时提取基本缓冲器363中所存储的音频访 问单元，对其进行解码，经端子365将其输出，并且播放该音频访问单 元。具体而言，当音频访问单元的PTS等于T-STD的系统时钟上的时间 时，音频解码器364从基本缓冲器363中提取其音频访问单元。注意，音 频访问单元是构成音频流的编码单元，并且也成为解码单元。注意，后面将参考图15描述图14中所示的音频数据解码处理单元360的细节。系统数据解码处理单元370被提供有传输缓冲器(在图中被表示为 TBsys) 371、基本缓冲器(在图中被表示为Bsys) 372、系统解码器(在 图中被表示为Dsys) 373。一旦与系统有关的TS分组(在图10中所示的示例的情况下是 PID=EO的TS分组)经由滤波器341被提供给系统数据解码处理单元 370， TS分组就被存储在传输缓冲器371中。传输缓冲器371中所存储的 数据被提供给基本缓冲器372。系统解码器373按预定的定时提取基本缓 冲器372中所存储的系统访问单元，对其进行解码并且经由端子374将其 输出。注意，与系统有关的TS分组的示例包括TS分组221和图6中所示的作为PMT的TS分组222。下面，将参考图15描述图14中所示的音频数据解码处理单元360的 细节。如图15中所示，音频数据解码处理单元360的内部被分成BS音频数 据解码处理单元360-1和HQ音频数据解码处理单元360-2两个系统。提 供这种配置以确保BS音频数据解码处理单元360-1用作要被解码的对象 只是BS音频ES的解码器模型，并且HQ音频数据解码处理单元360-2用 作要被解码的对象在某些时候是HQ音频ES的解码器模型。BS音频数据解码处理单元360-1被提供有传输优先滤波器(在图中被 表示为传输优先滤波器(tp=l) ) 361-1、传输缓冲器(在图中被表示为 TBI) 362-1、基本缓冲器(在图中被表示为Bl) 363-1以及音频解码器 (在图中被表示为Dl) 364-1。就是说，图15中所示的音频数据解码处理 单元360-1的传输优先滤波器361-1、传输缓冲器362-1、基本缓冲器363-1以及音频解码器364-1分别对应于图14中所示的音频数据解码处理单元 360的传输优先滤波器361、传输缓冲器362、基本缓冲器363以及音频解 码器364。传输优先滤波器361-1只选择tp=l (Transport__priority=l)的TS分 组，并且将其提供给传输缓冲器362-1。传输缓冲器362-1按照针对基本缓 冲器363-1的输入比特率值(Rxn) Rxl将数据提供给基本缓冲器363-1。 基本缓冲器363-1存储以Rxl的比特率从传输缓冲器362-1提供的数据。 这里，假定基本缓冲器363-1的容量(Bn)为B1。音频解码器364-1按预 定的定时提取基本缓冲器363-1中所存储的音频访问单元，对其解码并将 其输出。具体而言，当音频访问单元的PTS等于T-STD的系统时钟上的 时间时，音频解码器364-1从基本缓冲器363-1中提取其音频访问单元。因而，BS音频数据解码处理单元360-1是假定对BS音频ES的解码 的虚拟解码器。下文中，其中音频数据解码处理单元360被利用BS音频 数据解码处理单元360-1代替的虚拟解码器121将被称为第一虚拟解码 器。就是说，第一虚拟接收装置中所提供的虚拟解码器将被称为第一虚拟 解码器。
另一方面，HQ音频数据解码处理单元360-2被提供有传输优先滤波器(在图中被表示为传输优先滤波器(tp=0) ) 361-2、传输缓冲器(在图 中被表示为TB2) 362-2、基本缓冲器(在图中被表示为B2—1) 363-2以及 可变比特率的音频解码器364-2。而且，可变比特率的音频解码器364-2被 提供有FIFO缓冲器(图中被称为B2—2) 391以及音频解码器(在图中被 称为D2) 392。换句话说，HQ音频数据解码处理单元360-2的基本缓冲 器被划分成两个部分(基本缓冲器363-2和FIFO缓冲器391)。就是说， 图15中所示的音频数据解码处理单元360-2的传输优先滤波器361-2、传 输缓冲器362-2、基本缓冲器363-2以及音频解码器364-2分别对应于图 14中所示的音频数据解码处理单元360的传输优先滤波器361、传输缓冲 器362、基本缓冲器363以及音频解码器364。传输优先滤波器361-2只选择tp=0 (Transport_priority=0)的TS分 组，并且将其提供给传输缓冲器362-2。传输缓冲器362-2按照针对基本缓 冲器363-2的输入比特率的值(Rxn) Rx2将数据提供给基本缓冲器363-2。基本缓冲器363-2存储以Rx2的比特率从传输缓冲器362-2提供的数 据。这里，基本缓冲器363-2的容量(Bn)将被称为B2一1。可变比特率的音频解码器364-2按预定的定时提取基本缓冲器363-2 中所存储的音频访问单元，对其解码并将其输出。具体而言，如图16中 所示，根据HQ音频ES中所包括的输入定时(定时值)确定就可变比特 率的音频解码器364-2的FIFO缓冲器391而言的数据输入定时。如以上参 考图11所描述的，这个输入定时是当第二编码器142对音频数据进行编 码时要被添加的值(图11中所示的输入定时信息275)。就是说，数据按 基于HQ音频ES (可变比特率的音频流)中所包含的输入定时(图11中 所示的输入定时信息275)的定时被输入到FIFO缓冲器391。而且，当音 频访问单元的PTS等于T-STD的系统时钟上的时间时，音频解码器392 从FIFO缓冲器391中提取相关的音频访问单元，对其解码并将其输出。 就是说，FIFO缓冲器391被用于可变比特率的音频解码器364-2。从而， 利用FIFO缓冲器391和音频解码器392实现了可变比特率的音频解码器 364-2。此时，就FIFO缓冲器391而言的数据输入定时被安排为基于输入定时(定时值)被确定，这就不需要为流添加DTS (解码时间戳)，并且随 后发送装置111 (图4)的PES分组化单元136在对HQ音频ES进行PES 分组化时可以顺利地执行PES分组化，而不需要执行用于得到DTS的计 算。而且，PES分组化单元136可以只通过预先在PES分组的PES净荷 253 (图11)中存储HQ音频ES中所包括的输入定时，来很容易地执行 PES分组化。此外，PES分组化单元136不需要将DTS值存储在要被生成 的PES分组中，从而PES分组的数据量可以被压縮。就是说，PES分组的 数据量可以被进一步减少。因而，HQ音频数据解码处理单元360-2是假定对HQ音频ES进行解 码的虚拟解码器。下文中，其中音频数据解码处理单元360被利用HQ音 频数据解码处理单元360-2代替的虚拟解码器121将被称为第二虚拟解码 器。就是说，第二虚拟接收装置中所提供的虚拟解码器将被称为第二虚拟 解码器。就图15中所示的基本缓冲器363-2 (B2一l)而言，在基于输入定时的 定时处，被占用的缓冲器的量被减少。而且，FIFO缓冲器391 (B2—2)不 会上溢，但是可能会下溢。因此，有必要按一个定时来复用TS分组，使 得防止FIFO缓冲器391 (B2—2)下溢并且防止基本缓冲器363-2 (B2_l)上溢和下溢。现在，在图15中，例如假设基本缓冲器363-1 (Bl)的缓冲器大小是 18640个字节，基本缓冲器363-2 (B2—1)加上FIFO缓冲器391的缓冲器 大小是524250个字节，泄漏速率Rxl是2Mbps，并且泄漏速率Rx2是 48Mbps 。图4中所示的发送装置111需要通过顺序地确定要基于用于随机访问 的复用约束条件从BS音频TS分组和HQ音频TS分组复用的TS分组来 执行复用，以使得包括图15中所示的虚拟解码器121的虚拟接收装置120 可以正确地执行解码。就是说，发送装置111需要通过确定(调整)要基于用于随机访问的 复用约束条件被复用的音频TS分组来执行复用，以防止图15中所示的虚
拟解码器121的传输缓冲器362-1和传输缓冲器362-2上溢，并且防止基 本缓冲器363-1和基本缓冲器363-2上溢和下溢，并且还防止FIFO缓冲器 391下溢。因此，发送装置111调整被安排用于基于用于随机访问的复用约束条 件复用图6中所示的BS音频TS 173和HQ音频TS 183以生成传输流190 的复用定时，使得满足上述图15中所示的虚拟解码器121的要求，艮卩， 使得利用BS音频数据解码处理单元360-1和HQ音频数据解码处理单元 360-2两者来执行解码。就是说，发送装置111通过顺序地确定要基于用 于随机访问的复用约束条件被复用的TS分组来在定时处执行复用，以防 止第一虚拟接收装置(第一虚拟解码器，即包括BS音频数据解码处理单 元360-1的虚拟解码器)和第二虚拟接收装置(第二虚拟解码器，即包括 HQ音频数据解码处理单元360-2的虚拟解码器121)的每个缓冲器上溢和 下溢。接下来，将进行关于如下情况下的处理的描述其中所描述的发送装置lll考虑虚拟接收装置121的性能，并且还基于用于随机访问的复用约 朿条件，对音频流进行编码、TS分组化、复用和发送。图17和图18是描 述图4中所示的发送装置111的TS分组发送处理的流程图。注意，当发 送装置111的电源接通时，该处理开始，并且音频流被输入到输入单元 131。在步骤S51中，输入单元131接受音频数据的输入，并将所接受的音 频数据输出到音频编码器132。具体而言，输入单元131将音频数据提供 给音频编码器132中的第一编码器141和第二编码器142。在歩骤S52中，第一编码器141利用第一编码方法对音频数据进行编 码。如上所述，例如固定长度编码方法被用作第一编码方法。第一编码器 141将作为编码结果而得到的BS音频ES提供给下一级的缓冲器133中的 第一缓冲器143。在歩骤S53中，第二编码器142利用第二编码方法对音频数据进行编 码。如上所述，第二编码方法是可变长度编码方法，并且第二编码器142 在编码时添加输入定时(图11中所示的输入定时信息275)。第二编码器
M2将作为编码结果而得到的HQ音频ES提供给下一级的缓冲器133中的 第二缓冲器144。
注意，在步骤S52中从第一编码器141输出的BS音频ES对应于图6 中所示的BS音频ES 171，在步骤S53中从第二编码器142输出的HQ音 频ES对应于图6中所示的HQ音频ES 181 。
在步骤S54中，第一缓冲器143存储(缓存)从音频编码器132中的 第一编码器141提供的BS音频ES171 (参见图6)。
在步骤S55中，第二缓冲器144存储(缓存)从音频编码器132中的 第二编码器142提供的HQ音频ES 181 (参见图6)。
在步骤S56中，控制单元135判断要被发送的音频访问单元是否被存 储在缓冲器133中，并且一直等到判断出缓冲器133中存在音频访问单元 为止。控制单元135监测缓冲器133 (第-一缓冲器143和第二缓冲器 144)中所存储的基本流(BS音频ES 171和HQ音频ES 181)，并且还管 理PTS，从而基于这些在步骤S56中执行判断。具体而言，在BS音频ES 的情况下，控制单元135基于PTS判断要被发送的音频访问单元是否被存 储在第一缓冲器143中，并且在HQ音频ES的情况下，控制单元135基 于输入定时(图11中所示的输入定时信息275)判断要被发送的音频访问 单元是否被存储在第二缓冲器144中。
例如，BS音频ES 171的音频访问单元中的每一个(例如，图6中所 示的BS(l)、 BS(2)等等， 一直到BS(n))被安排为具有固定长度，因此控 制单元135判断PTS(N)=PTSO+TTXh ( "PTS0"表示第一音频访问单元 的PTS, "TT"表示访问单元的显示间隔，并且h表示图6中所示的圆括 号中所示的标记的数字)是否被存储在第一缓冲器143中。此外，例如， HQ音频ES 181 (例如，图6中所示的HQ(l)、 HQ(2)等等， 一直到 HQ(m))的音频访问单元中的每一个被安排为具有可变长度，因此控制单 元135基于被添加给HQ音频ES 181的输入定时判断是否有音频访问单元 被存储在第二缓冲器144中。这是因为，就HQ音频ES而言，音频访问 单元具有可变长度，这与BS音频ES的情况不同，因此基于利用PTS所 执行的控制，例如，在访问单元的大小很大的情况下，由于不能按时传送
可能会引起下溢，并且相应地，必须在早于PTS的时间点的输入定时(图 11中所示的输入定时信息275)所期望的时间点处将音频访问单元传送到 可变比特率的音频解码器。
注意，上述固定长度和可变长度是就音频访问单元的数据大小的定 义，并且关于一个音频访问单元的每个显示间隔被安排为固定的。例如，
假设BS音频ES的显示间隔是每个访问单元为32毫秒，并且HQ音频ES 的显示间隔是每个访问单元为1/1200秒。
在步骤S56中判断出存在要被发送的音频访问单元的情况下，在歩骤 S57中，控制单元135执行控制以从作为目标的缓冲器133中读出要发送 的音频访问单元，并将其提供给PES分组化单元136。例如，控制单元 135执行控制以从第一缓冲器143中读出要被发送的音频访问单元，并将 其提供给PES分组化单元136。此外，例如，控制单元135执行控制以从 第二缓冲器144中读出要被发送的音频访问单元，并将其提供给PES分组 化单元136。此外，控制单元135指示PES分组化单元136执行PES分组 化，并进行到步骤S58中的处理。
在步骤S58中，PES分组化单元136对在歩骤S57中的处理屮所提供 的音频访问单元进行PES分组化。具体而言，PES分组化单元136将从控 制单元135提供的PTS包括在在步骤S57中的处理中从第一缓冲器143或 第二缓冲器144提供的音频访问单元(BS音频ES或HQ音频ES的音频 访问单元)中，并且对这个音频访问单元进行PES分组化以满足约束条 件。PES分组化单元136将被进行了 PES分组化所生成的PES分组提供给 TS分组化单元137。
例如，PES分组化单元136获得从第一缓冲器143提供的BS音频ES (获得与PTS相对应的音频访问单元)，并且将该BS音频ES分组化为 PES分组。此外，例如，PES分组化单元136获得从第二缓冲器144提供 的HQ音频ES (获得与输入定时相对应的音频访问单元)，并且将该HQ 音频ES分组化为PES分组。此时，PES分组化单元136将从控制单元 135提供的PTS存储在构成PES分组流(例如图6中所示的BS音频PES 172或HQ音频PES 182)的每个PES分组中。随后，PES分组化单元 将所生成的PES分组(例如，在图6中所示的BS音频PES 172中的在步 骤S57中的处理中被进行PES分组化的PES分组，或者在图6中所示的 HQ音频PES 182中的在步骤S57中的处理中被进行PES分组化的PES分 组)提供给TS分组化单元137。此时，PES分组化单元136基于PES分 组化时的约束条件执行PES分组化。后面将参考图19描述PES分组化处 理的细节。
注意，在步骤S58中从PES分组化单元136输出的BS音频PES对应 于图6中所示的BS音频PES 172，并且在步骤S58中从PES分组化单元 136输出的HQ音频PES对应于图6中所示的HQ音频PES 182。
在步骤S59中，TS分组化单元137对从PES分组化单元136提供的 PES分组进行TS分组化，并将被进行了 TS分组化的TS分组提供给复用 单元138。例如，TS分组化单元137对构成BS音频PES 172的多个BS音 频PES分组进行TS分组化，得到例如构成图6中所示的BS音频TS 173 的多个BS音频TS分组。随后，TS分组化单元137将构成BS音频TS 173的多个BS音频TS分组提供给后一级的复用单元138。类似地，例 如，TS分组化单元137对构成HQ音频PES 182的多个HQ音频PES分组 进行TS分组化，得到例如构成图6中所示的HQ音频TS 183的多个HQ 音频TS分组。随后，TS分组化单元137将构成HQ音频TS 183的多个 HQ音频TS分组提供给后一级的复用单元138。
此时，如图10中所示，相同的PID和不同值的transportjriority被添 加到进行了 TS分组化的BS音频TS 173和HQ音频TS 183的每个TS头 部。在图5中所示的示例的情况下，"PID=aO， tp=l"被包括在BS音频 TS 173的每个TS分组中，并且"PID=aO， tp=0"被包括在HQ音频TS 183的每个TS分组中。
在步骤S60中，控制单元135基于对虚拟解码器121的被占用缓冲器 的量的计算和用于随机访问的复用约束条件确定要被复用的TS分组。具 体而言，控制单元135基于对第一虚拟解码器和第二虚拟解码器(参见图 14和图15)的被占用缓冲器的量的计算和用于随机访问的复用约束条 件，确定接下来要被复用的TS分组(BS音频TS分组和HQ音频TS分组
中的任意TS分组)，并且控制复用单元138以复用被确定为要被复用的
TS分组。就是说，控制单元135确定要被复用的TS分组的顺序，以复用 图6中所示的BS音频TS 173和HQ音频TS 183以生成传输流190。注 意，后面将参考图20和图21进行关于对虚拟解码器121 (第一虚拟解码 器和第二虚拟解码器)的被占用缓冲器的量的计算处理的描述，并且后面 将参考图22进行关于用于随机访问的复用约束条件处理的描述。
在步骤S61中，在从TS分组化单元137提供的TS分组中，复用单元 138复用通过控制单元135在步骤S60的处理中被确定为要被复用的TS分 组。具体而言，在图6中所示的BS音频TS 173的各个TS分组和HQ音 频TS 183的各个TS分组中，复用单元138 (顺序地)复用在歩骤S60的 处理中被确定为要被复用的TS分组。从而，图6中所示的传输流190被 生成。复用单元138将通过复用BS音频TS 173和HQ音频TS 183所生成 的传输流190提供给发送单元139。
在步骤S62中，发送单元139发送从复用单元138提供的传输流190 (图6)。例如，如图3中所示，发送单元139控制驱动器112来将传输 流(MPEG2-TS)发送给可移动介质113，或者控制通信单元114以将其 经由网络115发送给接收装置。该接收装置不是参考图3和图14所描述的 虚拟接收装置120，而是实际接收MPEG2-TS的未示出的接收装置(包括 解码器)。
在步骤S63中，控制单元135确定是否结束处理。例如，在完成了向 输入单元131的音频数据输入的情况下、在用户指示结束TS分组发送处 理的情况下、在完成了一个音频流的发送的情况下等等，控制单元135确 定结束处理。在步骤S63中，在确定不结束处理的情况下，处理返回到步 骤S51，其中后续处理被重复。就是说，音频数据的输入被再次接受，音 频数据被进行TS分组化，要被复用的TS分组基于对虚拟解码器121的被 占用缓冲器的量的计算和用于随机访问的复用约束条件被确定，所确定的 TS分组被复用，并且作为复用的结果而生成的传输流被发送。在歩骤S63 中，在确定结束处理的情况下，处理结束。
根据图17和图18中所示的处理，TS分组按一定顺序被复用，其中
TS分组已经基于对参考图14和图15所描述的第一虚拟解码器和第二虚拟 解码器(虚拟解码器121)的被占用缓冲器的量的计算和用于随机访问的
复用约束条件被确定为要被复用的，因此，只要使用包括与图14和图15 中所示的虚拟解码器121的模型兼容的解码器的接收装置(未示出)，利 用该处理被复用的传输流(多个TS分组)就可以按可靠的方式被解码。
接下来，将参考图19中所示的流程图描述PES分组化单元136所执 行的PES分组化处理(即，图17中所示的步骤S58中的处理)的细节。
在步骤S71中，PES分组化单元136判断从第一缓冲器143或第二缓 冲器144提供的音频访问单元(BS音频ES或HQ音频ES的音频访问单 元)是否是BS音频ES的音频访问单元。例如，在图6中所示的示例的情 况下，第一级的BS音频ES 171或HQ音频ES 181的音频访问单元被提供 给PES分组化单元136，从而判断所提供的音频访问单元是BS音频ES还 是HQ音频ES。
在步骤S71中判断出所提供的音频访问单元是BS音频ES的访问单元 的情况下，处理进行到步骤S72，并且PES分组化单元136判断该BS音 频ES的访问单元是否是满足周期N的访问单元。就是说，PES分组化单 元136判断该BS音频ES的访问单元是否是满足以上参考图13所描述的 周期N的访问单元。
在步骤S72中判断出BS音频ES的访问单元是满足周期N的访问单 元的情况下，在步骤S73中，PES分组化单元136对该访问单元进行PES 分组化，以使得该访问单元出现在PES分组的头部。此时，PES分组化单 元136将从控制单元135提供的PTS存储在PES净荷的PES头部。在图7 中所示的示例中，在判断出BS音频ES 171的访问单元BS(l)是满足周期 N的访问单元的情况下，PES分组化单元136对该访问单元BS(l)进行 PES分组化，以使得该访问单元BS(l)出现在PES分组172-1的PES净荷 的头部。随后，PES分组化单元136将从控制单元135提供的PTS:BS1存 储在PES分组172-1的PES头部中。
另一方面，在步骤S72中判断出BS音频ES的访问单元不是满足周期 N的访问单元的情况下，处理进行到步骤S74，其中PES分组化单元136
对访问单元进行PES分组化。在图7中所示的示例中，在判断出BS音频
ES 171的访问单元BS(2)不是满足周期N的访问单元的情况下，PES分组 化单元136将访问单元BS(2)存储在PES分组172-1的PES净荷中，从而 执行PES分组化。
从而，根据步骤S72、步骤S73和步骤S74中的处理，BS音频ES的 访问单元可以被顺序地进行PES分组化。具体而言，就满足周期N的BS 音频ES的访问单元而言，PES分组化被执行以使得访问单元出现在PES 净荷的头部，并且就其它访问单元而言，PES分组化被执行，而不设置约 束条件。
另一方面，在步骤S71中判断出被提供的音频访问单元是HQ音频ES 的访问单元的情况下，即在被提供给PES分组化单元136的音频访问单元 是HQ音频ES的音频访问单元的情况下，处理进行到步骤S75，其中PES 分组化单元136判断HQ音频ES的访问单元是否是满足周期N的访问单 元。就是说，PES分组化单元136判断该HQ音频ES的访问单元是否是满 足以上参考图13所描述的周期N的访问单元。
在步骤S75中判断出HQ音频ES的访问单元是满足周期N的访问单 元的情况下，在步骤S76中，PES分组化单元136判断该访问单元是否是 其中头部包括详细信息的访问单元。具体而言，PES分组化单元136判断 以上参考图11所描述的详细信息276是否被包括在音频访问单元的头部 中。
在歩骤S76中判断出访问单元是其中头部包括详细信息276的访问单 元的情况下，处理进行到步骤S77，其中PES分组化单元136对该访问单 元进行PES分组化，以使得该访问单元出现在PES净荷的头部。此时， PES分组化单元136将从控制单元135提供的PTS存储在PES净荷的PES 头部中。在图8中所示的示例中，在判断出HQ音频ES 181的访问单元 HQ(1)是满足周期N的访问单元的情况下(步骤S75中为是)，PES分组 化单元136对该访问单元HQ(l)进行PES分组化，以使得该访问单元 HQ(l)出现在PES分组182-1的的PES净荷的头部。随后，PES分组化单 元136将从控制单元135提供的PTS=HQ1存储在PES分组182-1的PES
头部中。
另一方面，在步骤S75中判断出HQ音频ES的访问单元不是满足周 期N的访问单元的情况下，或者在步骤S76中判断出HQ音频ES的访问 单元是其头部包括详细信息276的访问单元的情况下，处理进行到步骤 S74，其中PES分组化单元136对访问单元进行PES分组化。在图8中所 示的示例中，在判断出HQ音频ES 181的访问单元HQ(2)不是满足周期N 的访问单元的情况下，或者在判断出HQ音频ES 181的访问单元HQ(2)是 满足周期N的访问单元而不是其头部包括详细信息276的访问单元的情况 下，PES分组化单元136将访问单元(HQ(2))存储在PES分组182-1的 PES净荷中，从而执行PES分组化。
从而，根据歩骤S74到步骤S77中的处理，HQ音频ES的访问单元可 以被顺序地进行PES分组化。具体而言，就其头部包括详细信息276 (图 11)的HQ音频ES的访问单元而言，PES分组化被执行以使得访问单元 出现在PES净荷的头部，并且就其它访问单元而言，PES分组化被执行， 而不设置约束条件。
在步骤S73中的处理之后，或者在歩骤S74中的处理之后，或者在步 骤S77中的处理之后，处理结束。
从而，周期N (图13)被定义以使得BS音频ES访问单元的显示吋 间点和HQ音频ES访问单元的显示时间点相同，并且一个周期间隔等于 或短于一秒，BS音频ES访问单元基于这个周期被进行PES分组化，并且 HQ音频ES访问单元被进行的PES分组化不仅基于这个周期而且与头部 是否包括详细信息有关，从而可以在考虑复用情况下和随机访问情况下的 约束条件的基础上生成PES分组。
接下来，将参考图20和图21描述关于在图18中所示的步骤S60中由 控制单元135执行的对虚拟解码器的被占用缓冲器的量的计算。
首先，将参考图20中所示的流程图描述就BS音频而言的被占用缓冲 器的量的计算处理。注意，该处理是这样的处理，其中图4中所示的控制 单元135计算复用TS分组的定时，假设作为接收方的虚拟解码器121仅 能解码BS音频ES。就是说，该处理是在假设作为接收方的虚拟解码器121是第一虚拟解码器的情况下控制单元135所执行的处理。在步骤S101中，在图15中所示的BS音频数据解码处理单元360-1 的传输缓冲器362-1有空间来存储tp=l的TS分组的情况下，控制单元 135控制复用单元138来复用TS分组。就是说，在图15中所示的传输缓 冲器362-1有空间来存储BS音频TS分组(与BS音频ES相对应的TS分 组)的情况下，控制单元B5控制复用单元138以复用那些BS音频TS分 组。在歩骤S102中，控制单元135执行计算，假设在图15中所示的虚拟 解码器121中的基本缓冲器363-1 (Bn=Bl)有空间的情况下，数据从传 输缓冲器362-1中以Rxl (Rxn=Rxl)的比特率被提取，并且被提供给基 本缓冲器363-1 (Bl)。如上所述，就第一虚拟解码器的基本缓冲器363-1 而言的输入比特率是Rxl，因此控制单元135在假设数据以Rxl的比特率 被提取的情况下执行计算，并且还在假设基本缓冲器363-1的存储容量为 Bn=Bl的情况下执行计算。在歩骤S103中，控制单元135执行计算，假设当音频访问单元的 PTS变得等于虚拟解码器121的系统时钟上的时间时，该音频访问单元从 基本缓冲器363-1 (Bl)中被提取并且被提供给音频解码器364-1。例如， 控制单元135执行计算，假设当虚拟解码器121的系统时钟变得等于音频 访问单元的PTS时，具有该PTS的音频访问单元从基本缓冲器363-1中被 提取并且被提供给音频解码器364-1。随后，处理结束。注意，图20中所示的处理是在执行图18中所示的步骤S60中的处理 的情况下被执行的处理，该处理被重复执行。从而，控制单元135计算解码器的被占用缓冲器的量，假设解码器 (第一虚拟解码器)仅能解码BS音频ES。就是说，控制单元135计算第 一虚拟解码器的被占用缓冲器的量，假设图15中所示的BS音频数据解码 处理单元360-1被提供在图14中所示的音频数据解码处理单元360中，并 且基于这个以及后面要描述的图22中所示的用于随机访问的约束条件， 控制单元135确定TS分组的复用定时。从而，仅能对BS音频ES进行解 码的解码器(实际解码器)可以按可靠的方式解码BS音频ES，同时使被
占用缓冲器的量既不下溢也不上溢。接下来，将参考图20中所示的流程图描述就HQ音频而言的被占用缓 冲器的量的计算处理。注意，该处理是这样的处理，其中图4中所示的控制单元135计算复用TS分组的定时，假设作为接收方的虚拟解码器121 可以解码HQ音频ES。就是说，该处理是在假设作为接收方的虚拟解码器 121是第二虚拟解码器的情况下控制单元135所执行的处理。在步骤S151中，在图15中所示的HQ音频数据解码处理单元360-2 的传输缓冲器362-2有空间来存储tp=0的TS分组的情况下，控制单元 135控制复用单元138来复用TS分组。就是说，在图15中所示的传输缓 冲器362-2有空间来存储HQ音频TS分组(与HQ音频ES相对应的TS 分组)的情况下，控制单元135控制复用单元138来复用其HQ音频TS 分组。在步骤S152中，控制单元135执行计算，假设在图15中所示的虚拟 解码器121中的基本缓冲器363-2 (Bn=B2—l)有空间的情况下，数据从 传输缓冲器362-2中以Rx2 (Rxn=Rx2)的比特率被提取，并且被提供给 基本缓冲器363-2 (B2—1)。如上所述，就第二虚拟解码器的基本缓冲器 363-2而言的输入比特率是Rx2，因此控制单元135在假设数据以Rx2的 比特率被提取的情况下执行计算，并且还在假设基本缓冲器363-2的存储 容量为Bn=B2—1的情况下执行计算。在步骤S153中，控制单元135执行计算，假设基于音频访问单元的 输入定时，音频访问单元从基本缓冲器363-2 (B2—1)中被提取，并且被 提供给FIFO缓冲器391 (B2—2)。如上所述，输入定时(参见图11)被 添加到由第二编码器142编码并输出的HQ音频ES，因此控制单元135执 行计算，假设基于这个输入定时，音频访问单元从基本缓冲器363-2 (B2一l)中被提取，并且被提供给FIFO缓冲器391 (B2—2)。在歩骤S154中，控制单元135执行计算，假设基于音频访问单元的 PTS，相关的音频访问单元从FIFO缓冲器391 (B2—2)中被提取，并且被 提供给音频解码器392。具体而言，控制单元135执行计算，假设当音频 访问单元的PTS变得等于虚拟解码器121 (第二虚拟解码器)的系统时钟
上的时间时，该音频访问单元从FIFO缓冲器391中被提取，并且被提供 给音频解码器392。随后，处理结束。从而，就基本缓冲器363-2 (B2—1)而言，被占用缓冲器的量在基于 输入定时的定时处会扩大。此外，FIFO缓冲器391 (B2一2)不会上溢，但 是可能下溢。因此，必须按一定的定时复用TS分组，使得防止FIFO缓冲 器391 (B2—2)下溢，并且还防止基本缓冲器363-2 (B2—1)上溢和下 溢。接下来，将参考图22中所示的流程图描述关于在图18中所示的步骤 S60中由控制单元135执行的用于随机访问的复用约束条件处理。注意， 该处理是这样的处理，其中图4中所示的控制单元135根据被创建用于随 机访问的EP—map (后面将描述细节)来约束TS分组的复用定时。在步骤S201中，控制单元135判断在BS音频TS和HQ音频TS中是 否存在包括具有与BS音频TS分组的TS净荷中所包括的PES头部的PTS 值相同的PTS值的HQ音频PES分组的TS分组。例如，控制单元135判 断在BS音频TS 173和HQ音频TS 183中是否存在包括具有与图7中所示 的BS音频TS分组的净荷中所包括的PES头部(图7中所示的BS音频 PES分组172-1)的PTS值PTS=BS1相同的PTS值的HQ音频PES分组的 TS分组。在PTS=BS1 (图7) =HQ1 (图8)的情况下，控制单元135判 断出在BS音频TS 173和HQ音频TS 183中存在包括具有与BS音频TS 分组的TS净荷中所包括的PES头部的PTS值(BS1)相同的PTS值 (BS1=HQ1)的HQ音频PES分组的TS分组(图8中所示的HQ音频TS 分组232-1)。将参考图9描述更具体的示例。PES头部的PTS值被存储在BS音频 TS分组231-1、 231-3和231-j-l中。类似地，PES头部的PTS值被存储在 HQ音频TS分组232-1、 232-4和232-k-2中。现在，假设保持PTS#1=BS1 =HQ1禾n PTS#2=BS2n'=HQm'，并且BS2禾t] HQ2不同。此时，判断出在 BS音频TS 173和HQ音频TS 183中存在包括具有与BS音频TS分组 231-1的TS净荷中所包括的PES头部的PTS值(PTS#1=BS1)相同的 PTS值(PTS#1=HQ1)的HQ音频PES分组的TS分组232-1。另一方
面，BS2和HQ2不同，因此判断出在BS音频TS 173和HQ音频TS 183 中不存在包括具有与BS音频TS分组231-3的TS净荷中所包括的PES头 部的PTS值(BS2)相同的PTS值的HQ音频PES分组的TS分组。在步骤S201中判断出在BS音频TS和HQ音频TS中存在包括具有与 BS音频TS分组的TS净荷中所包括的PES头部的PTS值相同的PTS值的 HQ音频PES分组的TS分组的情况下，处理进行到步骤S202，其中控制 单元135确定包括BS音频PES分组的TS分组作为在包括HQ音频PES 分组的TS分组之前要被复用的TS分组。例如，在图9中，在判断出在 BS音频TS 173禾Q HQ音频TS 183中存在包括具有与BS音频TS分组 231-1的TS净荷中所包括的PES头部的PTS值(PTS#1=BS1)相同的 PTS值(PTS#1=HQ1)的HQ音频PES分组的TS分组232-1的情况下， 在歩骤S202中，控制单元135确定包括BS音频PES分组172-1 (参见图 7)的TS分组231-1作为在包括HQ音频PES分组182-1 (参见图8)的 TS分组232-1之前要被复用的TS分组。在歩骤S201中判断出在BS音频TS和HQ音频TS中不存在包括具有 与BS音频TS分组的TS净荷中所包括的PES头部的PTS值相同的PTS 值的HQ音频PES分组的TS分组的情况下，或者在歩骤S202中的处理之 后，处理结束。根据图22中所示的处理，假设在BS音频TS分组和HQ音频TS分组 中所包括的PTS值相等的情况下，就包括PES分组的TS分组而言，BS音 频TS分组被复用在HQ音频TS分组之前。注意，图22中所示的处理是在执行图18中所示的步骤S60中的处理 的情况下被执行的处理，该处理被重复执行。从而，控制单元135执行用于随机访问的复用约束条件处理。因此， 被创建用于随机访问的EP—map可以被创建，从而TS可以被复用以实现 随机访问。从而，实际的解码器可以按可靠的方式对BS音频ES进行解 码，同时使被占用缓冲器的量既不上溢也不下溢，并且还能够实现随机访 问。注意，图21和图22中所示的处理是在执行图18中所示的步骤S60中
的处理的情况下被执行的处理，该处理被重复执行。就是说，在执行图18中所示的步骤S60中的处理的情况下，图20中所示的处理、图21中所示 的处理以及图22中所示的处理被并行执行。更具体而言，在执行图18中 所示的步骤S60中的处理的情况下，控制单元控制单元135通过图20中 所示的处理，计算与BS音频相对应的TS分组的复用定时，并且还通过图 21中所示的处理，计算与HQ音频相对应的TS分组的复用定时，并且还 通过图22中所示的处理，重复执行用于随机访问的复用约束条件处理。换句话说，控制单元135确定(调整)要被复用的音频TS分组，以 在图15中所示的虚拟解码器121中，防止传输缓冲器362-1和传输缓冲器 362-2上溢，并且还防止基本缓冲器363-1和基本缓冲器363-2上溢和下 溢，并且还防止FIFO缓冲器391下溢。从而，控制单元135计算解码器的被占用缓冲器的量，并且还执行用 于随机访问的复用约束条件处理以确定要被复用的TS分组(确定要被复 用的TS分组的顺序)，所述解码器假设为能够对BS音频ES进行解码的 虚拟解码器(第一虚拟解码器)和能够对HQ音频ES进行解码的虚拟解 码器(第二虚拟解码器)。从而，即使就仅能对BS音频ES进行解码的解 码器(实际解码器)而言，并且即使就能够对HQ音频ES进行解码的解 码器(实际解码器)而言，解码都可以按可靠的方式被执行，同时使被占 用缓冲器的量既不上溢也不下溢。而且，就被复用的TS 190而言，随机访 问可以被执行。就是说，即使在实际的接收装置(接收通过发送装置被复用的TS分 组(MPEG2-TS))实际只能够对BS音频ES进行解码或者能够对HQ音 频ES进行解码的情况下，解码也可以被顺利地执行，同时使每个接收装 置中所包括的缓冲器既不上溢也不下溢。注意，BS音频ES和HQ音频ES是可利用例如图10中所示的 transport_priority (tp)的值标识的，但是具有彼此独立的关系，所以在复 用BS音频ES和HQ音频ES的情况下不存在约束条件。因此，BS音频 ES和HQ音频ES可以作为独立的流而被处理。接下来，将描述一个示例，其中利用通过图17和图18中所示的处理 而发送的MPEG2-TS创建用于随机访问的EP-map。例如，将描述关于在 基于MPEG2-TS而生成的剪辑AV流文件被记录在记录介质中的情况下并 且在用于随机访问的EP—map基于该剪辑AV流文件被创建并记录的情况 下的处理。图23是示出了基于光盘511中所记录的剪辑AV流文件创建并记录 EP—m叩的记录装置501的配置示例的框图。记录装置501设有光盘511、控制器521、操作输入单元522、 AV (音频视频)编码器524、缓冲器525、记录控制单元526、驱动器527和 可移动介质528。控制器521执行预先准备的控制程序，从而控制记录装置501的整体 操作。例如，控制器521可以控制被安排为记录EP—m叩等的处理，该处 理使得后面将描述的重放装置(图30中所示的重放装置641)能够基于作 为被安装的记录介质的光盘511中所记录的剪辑AV流文件，随机访问光 盘511。操作输入单元522被配置有输入设备和接收单元，所述输入设备例如 按钮、按键、触摸板、滚轮、鼠标等等，并且所述接收单元被配置为接收 诸如从预定的遥控器发送的红外射线之类的信号，所述操作输入单元522 获得用户的操作输入以将其提供给控制器521 。数据获取单元523从外部获取AV数据(即视频数据和音频数据)， 并将这些数据提供给AV编码器524。 AV编码器524利用预定的编码方法 对被提供的视频数据和音频数据进行编码，并将视频ES (基本流)和音 频ES提供给缓冲器525。缓冲器525暂时地缓存被编码的数据，并按预定 的定时将其提供给记录控制单元526。记录控制单元526根据控制器521的控制，将从缓冲器525或控制器 521提供的数据(MPEG2-TS)记录在光盘511中。此外，例如，操作输入单元522接受来自用户的AV流中对预定重放 区域的说明的输入，并将其提供给控制器521。另一方面，控制器521创 建AV流(剪辑)的数据库、其中AV流的重放区域(播放项)被编组 (播放列表)的数据库、以及光盘511的被记录内容的管理信息
(index.bdmv和 MovieObject.bdmv)。由这种信息构成的应用数据库信息 与AV流一起被输入到记录控制单元526。记录控制单元526基于从控制 器521输出的控制信号将数据库文件记录在光盘511中。此外，控制器521在必要时与驱动器527相连接，并且驱动器527例 如被安装有磁盘(包括柔性盘)、光盘(CD-ROM (紧致盘只读存储 器)，包括DVD)、磁光盘(MD (注册商标)，包括迷你盘)或者由半 导体存储器等构成的可移动介质528。不言而喻，除了光盘511之外，例如磁盘或半导体存储器也可以被用 作被配置为记录内容的记录介质。图24是示出了要被安装在图23中所示的记录装置501或者后面将描 述的图30中所示的重放装置641上的光盘511上的应用格式示例。应用格式包括两层，即被安排为管理AV流的播放列表和剪辑。这 里， 一对相伴的AV流和剪辑信息被当作一个对象，被总地称为剪辑。此 外，剪辑信息也被称为剪辑信息文件。一个AV流文件存储其中MPEG (运动图片专家组)2传输流按应用 格式所规定的结构被放置的数据。总地来说，被用于计算机等的文件被处 理为字节行，AV流文件的内容被呈现在时间轴上，并且剪辑的访问点主 要就是利用播放列表指定的时间戳。就是说，播放列表和剪辑是被安排为 管理AV流的层。在剪辑中的访问点是用播放列表指示的时间戳的情况下，剪辑信息文 件(例如，EP一map)被用于搜索地址信息以参考时间戳开始AV流文件中的解码。播放列表是AV流的一组重放区域。某个AV流中的一个重放区域被 称为播放项，该播放项用时间轴上的播放项的一对IN点(重放开始点) 和OUT点(重放结束点)来表示。因此，播放列表由一个或多个播放项 构成，例如图24中所示的。在图24中，最左边的播放列表由两个播放项构成，并且根据这两个 播放项，左手侧的剪辑中所包括的AV流的前半部分和后半部分被分别引 用。此外，从左边数第二个播放列表由一个播放项构成，从而左侧剪辑中
所包括的整个AV流被引用。此外，从左边数第三个播放列表由两个播放 项，并且根据这两个播放项，左侧剪辑中所包括的AV流的某个部分和右 侧剪辑中所包括的AV流的某个部分被分别引用。例如，在最左边的播放列表中所包括的左侧播放项被用户利用图24中所示的盘导航程序指定为指示那时的重放位置的信息的情况下，播放项所引用的左侧剪辑中所包括的AV流的前半部分被播放。从而，播放列表 被用作被安排为管理AV流文件的重放的重放管理信息。盘导航程序包括被安排为控制播放列表的重放顺序和播放列表的交互 重放的功能。此外，盘导航程序还包括被安排为显示被配置为允许用户执 行各种类型的重放的菜单屏幕的功能，等等。这个盘导航程序例如是用诸 如Java (注册商标)之类的程序语言描述的，并且被准备在记录介质上。就该实施例而言，在播放列表中，由一个或多个播放项行(连续的播 放项)所创建的重放路径被称为主路径，并且由与主路径平行(同时)的 一个或多个子路径行(不连续或连续的子播放项)所创建的重放路径被称 为子路径。就是说，要被安装在记录装置501或重放装置(后面将参考图 30描述的重放装置641)上的记录介质上的应用格式在播放列表中具有与 主路径相关(一起)的要被播放的子路径。接下来，将进行关于剪辑信息文件(图24中所示的剪辑信息)的描 述。根据本实施例的记录装置501将一个剪辑AV流和与其相对应的剪辑 信息文件作为单独的文件记录在光盘511中。这里，剪辑AV流是在图17 和图18中所示的上述处理中被发送的MPEG-TS所转换而成的文件。剪辑 信息文件包括CPI (特性点信息)和ClipMark (剪辑标记)。CPI是剪辑信息文件中所包括的数据，并且主要被用于找到剪辑AV 流文件的数据的读取应当从其开始的数据地址。就该实施例而言，利用 EP—map的类型的CPI。图25是描述EP—map和剪辑AV流之间的关系的图。EP—map是入口点(EP)数据的列表，入口点数据是从基本流和传输 流中被提取的数据。这具有用于找到应当从其开始对AV流的解码的入口 点的位置的地址信息。 一条EP数据由一对显示时间戳(PTS)和与该PTS
相对应的访问单元的AV流的数据地址构成。EP—map主要被用于实现两个目的。首先，EP—map被用于找到要利用 播放列表的显示时间戳来引用的访问单元的AV流的数据地址。随机访问 重放的情况也与此相对应。其次，EP—map被用于快进重放或快退重放。 当记录装置501记录AV流或分析AV流的语法时，EP—map被创建并且被 记录在磁盘中。如图25中所示，当剪辑中的访问点利用显示时间戳(PTS)而被指定 时，EP—map被用于找到剪辑AV流文件的流的解码应当从其开始的地址 信息。因而，EP一map是指示与利用上述播放列表显示的时间轴上的IN点 和OUT点相对应的地址的表，并且被用于将诸如播放列表等之类的显示 时间戳(PTS)转换为与其相对应的地址。就是说，EP—map是-一个表，从 而显示时间戳(PTS)和剪辑AV流的源分组编号(传输流的TS (传输 流)分组编号)被彼此关联起来。根据这个EP—map，可以从剪辑AV流中选择并读出相应的数据。此 外，在执行随机访问的情况下利用EP—map。例如，在用户向操作输入单 元522输入操作以利用时间戳(PTS)指定剪辑中的访问点的情况下，控 制器521参考EP—m叩得到剪辑AV流文件内的流的解码应当起始的地址 信息，并且控制记录控制单元526以基于此执行随机访问。注意，就 EP—map的类型而言，存在视频EP_map和音频EP_map。图26是描述音频EP—map的配置的图。具体而言，图26 (A)是描述 根据剪辑AV流的显示时间戳(PTS)的图，图26 (B)是放大并示出了 图26 (A)中所示的剪辑AV流的一部分的图，并且图26 (C)是示出了 音频EP—map的数据配置的图。如图26 (C)中所示，音频EP—map是一个表，其中描述了剪辑AV 流的显示时间戳(PTS一EP一start)和指示与其相对应的源分组编号(TS分 组编号)的信息(SPN—EP—start)。这里，就地址的表示而言，可以利用源分组编号(SPN)。就源分组 编号(SPN)而言， 一系列编号被分配给剪辑AV流中的所有源分组。就 源分组编号SPN而言，假设在剪辑AV流中，第一源分组的源分组编号
SPN被设置为0 (SPN=0)，下一个源分组的源分组编号SPN被设置为1 (SPN=1)等等，即对于每下一个分组，源分组编号SPN加1。因此，就 音频EP—map的SPN_EP—start而言，源分组编号(SPN)被描述。接下来，将参考图27描述关于基于利用图17和图18中所示的处理被 复用并生成的TS 190 (参见图6和图9)所生成的EP—map示例。图27示出了在复用BS音频TS 173和HQ音频TS 183的情况下的TS 190的EP一map示例。就是说，就音频而言，包括BS音频TS 173和HQ 音频TS 183这两种音频ES。在图27中所示的示例的情况下，剪辑AV流由BS音频ES和HQ音 频ES的TS分组构成。此时，在具有与BS音频TS分组的(PES分组) 的PTS值相同的PTS值的HQ音频TS分组存在于BS音频TS分组之后的 情况下，BS音频TS分组可以成为入口点。此时，在复用已经被执行以满 足图22中所示的上述约束条件的情况下，就具有相同PTS值的音频TS分 组而言，结果是BS音频TS分组存在于HQ音频TS分组之前。SPN_EP—start是指示源分组(TS分组)的入口点的信息，并且在图 27中，利用SPN—EP—start的箭头所显示的BS音频TS分组311-1的位置 利用SPN—EP—start来指示。就图27中所示的TS而言，按照从 SPN一EP一start中所示出的TS分组开始的顺序，BS音频TS分组311-i和 311-2以及HQ音频TS分组321-1到321-4被放置。现在，剪辑AV流文件中所存储的多个TS分组包括多个PES分组 (分组化的基本流)。因此，从如图27中所示的多个TS分组(图27中 所示的示例中的7个TS分组)中，PES分组(在图27中所示的示例中是 3个PES分组)可以被提取。图27中所示的PES分组是从包括作为源分 组的入口点的TS分组的多个TS分组中被提取的PES分组。更详细地 说，假设图27中所示的PES分组的最开头的数据被包括在作为源分组的 入口点的TS分组中。在这个示例的情况下，从包括作为源分组的入口点 的TS分组的多个TS分组311-1、 311-2、 321-1到321-4中被提取的PES 分组是PES分组301到303。 PES分组301到303都是由PES头部和PES 净荷构成。PES分组301是通过对BS音频ES进行PES分组化而得到的，并且 PES分组302和303是通过对HQ音频ES进行PES分组化而得到的。PES 分组301由PES头部301-1和PES净荷301-2构成，PES分组302由PES 头部302-1和PES净荷302-2构成，并且PES分组303由PES头部303-1 和PES净荷303-2构成。此时，BS音频ES数据被存储在PES分组301的 PES净荷301-2中，并且HQ音频ES数据被存储在PES分组302和303的 PES净荷302-2和303-2中。现在，假设最开头的PES分组301的PES头部301-1中所存储的PTS 是PTS—EP—start (PES分组的PTS值)。就是说，假设SPN—EP—start是包 括PTS—EP—start所引用的PES分组301的第一个字节的TS分组311-1的 源分组编号。PES分组301的PES净荷301-2包括作为BS音频ES的多个音频访问 单元(BS音频AU)。在图27中所示的示例的情况下，BS音频ES利用 固定长度编码方法(第一编码方法)被编码，所以每个音频访问单元的大 小是固定的。PES分组302的PES净荷302-2包括作为HQ音频ES的多个 音频访问单元(HQ音频AU)。在图31中所示的示例的情况下，HQ音 频ES利用可变长度编码方法(第二编码方法)被编码，所以每个音频访 问单元的大小是可变的。现在，假设PES分组302的PES头部302-1中所 包括的PTS值(从由PTS—EP—start指示的BS音频TS分组311-1中得到的 PTS值)禾Q PES分组301的PES头部301-1中所包括的PTS值相同。PES 分组303的PES净荷303-2包括作为HQ音频ES的多个音频访问单元。 在图27中所示的示例的情况下，HQ音频ES利用可变长度编码方法被编 码，所以每个音频访问单元的大小是可变的。因而，PTS—EP—start表示PES分组的PTS值，并且SPN—EP—start是包 括PTS—EP一start所引用的PES分组301的第一个字节的TS分组311-1的 源分组编号。接下来，将参考图28中所示的流程图描述关于被安排为创建并记录 与光盘511中所记录的剪辑AV流文件相关的剪辑信息文件的处理。这个 处理例如开始于图4中所示的发送装置111处在剪辑AV流文件被记录在 光盘511中的状态下。就是说，这个处理开始于其中图23中所示的记录装置501被安装有光盘511的状态，在光盘511中记录有由BS音频TS分 组和HQ音频TS分组构成的TS 190 (满足上述约束条件的TS)被转换而 成的剪辑AV流文件。在步骤S311中，记录控制单元526读出被记录在光盘511中的剪辑 AV流文件，并将其提供给控制器521。被读出的剪辑AV流文件是作为图 17到图22中的处理的结果被复用和生成的MPEG2-TS所转换而成的文 件。在步骤S312中，控制器521创建关于剪辑AV流文件的Cliplnfo。 Cliplnfo()是被安排为存储与其相对应的AV流文件(剪辑AV流)的属性信息的信息。在歩骤S313，控制器521创建关于剪辑AV流文件的Sequencelnfo。 在步骤S314,控制器521创建关于剪辑AV流文件的Programlnfo。 在歩骤S315，控制器521创建关于剪辑AV流文件的CPI(EP_map)。具体而言，控制器521创建被包括在剪辑信息文件的CPI()中的EP_nwp。注意，这个处理的细节将参考图29来描述。在步骤S316中，控制器521创建关于剪辑AV流文件的ClipMark。 在步骤S317中，控制器521记录其中存储有Cliplnfo()、Sequencelnfo()、 Programlnfo()、 CPI()和ClipMark()的剪辑信息文件。根据图28中所示的处理，可以基于剪辑AV流文件创建并记录剪辑信息文件。注意，在图28中，每个处理都是按照时间序列的顺序描述的，但是 步骤S312到步骤S316中的处理实际上是同时进行的。接下来，将参考图29中所示的流程图描述关于被安排为在图28中所 示的歩骤S315中创建EP—map的处理的细节。注意，该处理开始于其中图 1中所示的记录装置501被安装有光盘511的状态，在光盘511中记录有 诸如参考图6、图9或图27描述的TS 190。就是说，该处理开始于其中记 录介质501被安装有光盘511的状态，在光盘511中记录有由BS音频ES 和HQ音频ES构成的TS 190。
在步骤S351中，记录控制单元526读出被记录在光盘511中的剪辑 信息文件，并且接受由BS音频ES和HQ音频ES所构成的TS 190的输 入。如上所述，TS具有图6、图9和图27中所示的配置，并且由BS音频 ES的TS分组和HQ音频ES的TS分组构成。其输入被接受的TS由多个 TS分组构成，因此这些TS分组被顺序地提供给控制器521 。在步骤S352中，控制器521得到从记录控制单元526提供的TS分 组，并且判断这个TS分组是否是BS音频ES的TS分组。如图27中所 示，该TS分组是BS音频TS分组311-1 (BS音频ES的TS分组)或者 HQ音频TS分组321-1 (HQ音频ES的TS分组)，所以控制器521判断 所得到的TS分组是否是BS音频ES的TS分组。每个TS分组的头部被添 加有transporU)riority标志(tp标志)，该标志被安排为标识相关的TS分 组是BS音频ES的TS分组还是HQ音频ES的TS分组，所以控制器521 基于被添加到TS分组的头部的tp标志进行判断。例如，当tp标志为1 时，控制器521判断出相关的TS分组是BS音频ES的TS分组。在歩骤S352中，在判断出相关的TS分组不是BS音频ES的TS分组 的情况下，处理返回到步骤S352，其中后续处理被重复。就是说，在BS 音频ES的TS分组的情况下，步骤S352中的处理被执行。在步骤S352中，在判断出相关的TS分组是BS音频ES的TS分组的 情况下，处理进行到步骤S353，其中控制器521从TS分组的净荷中得到 PES分组的PTS值。现在，TS分组由TS头部和TS净荷构成，并且PES 分组的数据被存储在TS净荷中。因此，例如图27中所示的TS分组311-1 的TS净荷包括PES头部301-1，所以控制器521得到被存储在PES头部 301-1中的PTS值。例如，控制器521得到作为PTS值的PTS弁l。注意， 一个PES分组由多个TS分组构成，所以要被处理的TS分组 在某些情况下不包括PES头部。因此，例如，在TS分组的净荷不包括 PES头部而只包括PES净荷的情况下，处理返回到步骤S352，下一个TS 分组被获得，并且相关的后续处理被重复。TS之后，并且判断最开头的访问单元是否包括具有详细信息(图11中所示的详细信息276)的头部。首先，例如，控制器521判断是否有包括具 有与在步骤S353的处理中所获得的PTS#1相同的PTS值的HQ音频ES的 PES分组存在于TS之后(g卩，就TS而言，在步骤S352的处理中所获得 的TS分组之后)。换句话说，控制器521判断是否有具有PTS#1的HQ 音频ES的TS分组存在于TS中其中获得PTS#1的BS音频ES的TS分组 之后的位置处。随后，接下来，在上述判断结果是肯定结果(是)的情况 下(在具有PTS#1的HQ音频ES的TS分组存在于TS中其中获得PTS弁l 的BS音频ES的TS分组之后的位置处的情况下)，控制器521进一步判 断具有PTS#1的HQ音频TS分组的PES净荷302-2 (更具体地说是PES 净荷302-2的头部)是否包括详细信息(图11中所示的详细信息276)。 就是说，控制器521判断参考图12所描述的上述布置是否被满足，以及 从具有相同PTS的HQ音频TS分组中提取的PES净荷是否包括详细信息 276 (图11)。注意，复用和PES分组化被执行以满足针对此原因的上述 约束条件。在步骤S354中判断出没有包括具有与所获得的PTS (例如PTS#1) 相同的PTS值的HQ音频ES的PES分组的TS分组存在于TS之后的情况 下，或者在判断出最开头的访问单元不包括具有详细信息276的头部的情 况下，处理返回到歩骤S352，其中后续处理等被重复。就是说，在这两个 条件都被满足的情况下(在判断结果为是的情况下)，处理进行到步骤 S355。在步骤S354中判断出包括具有与所获得的PTS (例如PTS#1)相同 的PTS值的HQ音频ES的PES分组的TS分组存在于TS之后的情况下， 并且在判断出最开头的访问单元包括具有详细信息的头部的情况下，在歩 骤S355中，控制器521将当前的TS分组作为入口点。例如，控制器521 将图27中所示的TS分组311-1作为入口点。就是说，在PTS值匹配的情 况下，并且在具有匹配的PTS的BS音频TS分组被置于具有相匹配的 PTS的HQ音频TS分组之后并且从HQ音频TS分组中获得的PES净荷包 括详细信息276的情况下，相关的BS音频TS分组被作为入口点。 因而，详细信息被包括在具有与作为入口点的PTS相同的PTS的HQ音频TS分组中，从而在播放HQ音频时可以顺利地获得详细信息，并且 因此重放可以被快速执行。在步骤S356中，控制器521基于BS音频ES和HQ音频ES的PID、 TS分组的编号以及在步骤S353的处理中所获得的PTS值，创建 EP_map。现在，假设如上所述，当执行TS分组化时，PID被添加，并且 BS音频ES和HQ音频ES的PID相同(例如PID=aO)。因此，例如，控 制器521基于PID=aO、 TS分组的编号(图27中所示的BS音频TS分组 311-1的源分组编号)和PTS#1创建EP—map。在步骤S357中，控制器521判断当前被处理的TS分组是否是最后一 个TS分组。在当前被处理的TS分组不是最后一个TS分组的情况下，即 在判断出还存在未被处理的TS分组的情况下，处理返回到歩骤S352,其 中后续处理等被重复。就是说，处理被重复， 一直到最后一个TS分组被 处理为止。在步骤S357中判断出当前被处理的TS分组是最后一个TS分 组的情况下，处理结束。可以通过图29中所示的处理来生成EP_map。接下来，将描述通过图28中所示的处理播放被记录在光盘511屮的 剪辑AV流文件和被记录在光盘511中的剪辑信息文件(剪辑)的情形。 图30是示出了被配置为播放光盘511中所记录的数据的重放装置641的配 置示例的框图。控制器651通过执行预先准备好的控制程序或者控制重放控制单元 654读出被记录在光盘511中的控制程序，将其放在存储器653中并且执 行该控制程序，来基于通过操作输入单元652输入的用户操作控制重放装 置641的总体操作。例如，当光盘511被安装时，控制器651可以在外部 显示设备上显示预定的菜单屏幕。操作输入单元652由输入设备和接收单元构成，所述输入设备例如按 钮、按键、触摸板、滚轮、鼠标等等，并且所述接收单元被配置为接收诸 如从预定的遥控器发送的红外射线之类的信号，所述操作输入单元652获 得用户的操作输入以将其提供给控制器651 。
存储器653存储控制器651根据情况执行各种类型的处理所必需的数据。重放控制单元654从光盘511中读出数据，并且将其输出到缓冲器 655以根据控制器651的控制将所读出的数据提供给控制器651、存储器 653或AV解码器656。在从光盘511读出的信息是控制程序、控制信息或 剪辑信息文件(EP—map)等的情况下，由重放控制单元654读出的信息被 输出到控制器651或存储器653。在从光盘511读出的信息是诸如AV流 文件等之类的AV数据的情况下，由重放控制单元654读出的信息被输出 到缓冲器655以将其提供给AV解码器656。缓冲器655暂时地缓存重放控制单元654从光盘511读出的诸如AV 流等之类的AV数据，并将其提供给AV解码器656。注意，AV流实际由 TS 190构成，所以控制器651从TS中获得PES,并且进而获得ES。 BS 音频ES、 HQ音频ES和视频ES被包括在这个ES中。AV解码器656对从重放控制单元654提供的诸如AV流等之类的AV 数据进行解码，并且将所获得的视频信号和音频信号输出到外部显示设 备。具体而言，编码后的BS音频ES、 HQ音频ES和视频ES被包括在这 个AV流中。AV解码器656例如是如图31中所示的包括被配置为对利用第一编码 方法编码的音频ES进行解码的第一音频解码器656-1和被配置为对视频 ES进行解码的视频解码器656-3的AV解码器，或者如图32中所示的包 括被配置为对利用第二编码方法编码的音频ES进行解码的第二音频解码 器656-2和被配置为对视频ES进行解码的视频解码器656-3的AV解码 器。就是说，图31中所示的AV解码器656就音频而言只能对BS音频ES 进行解码，而不能对HQ音频ES进行解码。图32中所示的AV解码器 656就音频而言可以对HQ音频ES进行解码。注意，图32中所示的AV 解码器656包括具有比第一音频解码器656-1的性能更好的第二音频解码 器656-2，因此当然可以对BS音频ES进行解码，但是它通常针对播放具 有更高性能的音频，并且相应地，将在假设图32中所示的AV解码器656
可以对HQ音频ES进行解码的情况下进行描述。现在，返回到图30，其中，利用显示设备，基于由解码器656解码的 数据(视频数据和音频数据)执行光盘511中所记录的内容的输出(图片 的显示、音频的输出)。此外，控制器651还在必要时与驱动器657相连接，并且驱动器657 被安装有可移动介质658，例如磁盘(包括柔性盘)、光盘(CD-ROM (紧致盘只读存储器)和DVD)、磁光盘(MD (注册商标)(迷你 盘))或者半导体存储器。接下来，将描述被安排为利用通过图29中所示的处理所创建的 EP—map (该EP_map通过图28中所示的步骤S315中的处理被创建和记 录)执行特殊重放的方法。EP—map对于执行随机访问重放是有用的。在数字广播的传输流中，音频PID时常变化，因此AV解码器(图30 中所示的重放装置641的AV解码器656)有必要知道被记录的传输流的 PID映射。因此，EP_map具有被称为EP—map_for_one—stream—PID()的针 对每个子表的音频PID值，并且Programlnfo具有关于PID映射的信息。图33是描述关于BS音频ES的随机访问重放的流程图。这个处理例 如是在包括图31中所示的AV解码器656的图30中所示的重放装置641 播放来自通过上述处理被记录在光盘511中的剪辑(剪辑AV流文件和剪 辑信息文件)的BS音频ES的情况下被执行的处理。就是说，这个处理在 重放装置641只能处理BS音频ES和视频ES的情况(其中重放装置641 不能处理HQ音频ES的情况)下被执行，并且还在执行对BS音频ES的 随机访问重放的情况下被执行。此外，这个处理是被安排为执行随机访问 重放的处理，即不是从光盘511中所记录的剪辑AV流文件的顶部开始重 放，而是从用户所指示的重放位置开始重放。注意，当其中记录有剪辑的 光盘511被安装在图30中所示的重放装置641 (包括图31中所示的AV 解码器656的重放装置)上时，这个处理开始。在歩骤S411中，重放控制单元654基于来自控制器651的控制从包 括被记录在光盘511中的BS音频ES和HQ音频ES的剪辑中获得EP—map (例如，在图29中所示的处理中创建的EP—map)。重放控制单元654将
所获得的EP—map提供给控制器651 。在步骤S412中，操作输入单元652接受来自用户的随机访问重放指 示。操作输入单元652将与所接收到的指示相对应的信号提供给控制器 651。例如，用户利用时间点(这个AV流上的重放时间点)指示重放位置 (入口点)作为随机访问重放指示，因此操作输入单元652将与所接受的 入口点的时间点相对应的信号提供给控制器651。如参考图29的描述，入 口点被设置为针对预定的BS音频TS分组。控制器651基于与从操作输入 单元652提供的时间点相对应的信号执行预定的计算，并且获得PTS。就 是说，控制器651可以将用户所指定的时间点(这个AV流上的时间点) 转换为PTS。在步骤S413中，控制器651基于所获得的EP—map获得被接受的入口 点的源分组编号和PTS值。例如，在图27中，在利用SPN—EP—start所指 示的位置(时间点)被接受作为入口点的情况下，控制器651获得 SPN—EP—start SPN#1 (即，BS音频TS分组311-1的编号)作为入口点的 源分组编号，并且还获得PTS#1作为被存储在从包括BS音频TS分组 311-1的TS分组(TS分组的TS净荷的部分)中提取的PES分组的PES 头部中的PTS值(PTS—EP—start)。在步骤S414中，控制器651将包括BS音频ES和HQ音频ES的剪辑 的读出位置作为所获得的源分组编号。例如，控制器651将所获得的源分 组编号SPN#1 (SPN—EP—start)作为光盘511的剪辑的读出位置。此时， 入口点可以被设置为只针对BS音频TS分组，如参考图29所描述的，因 此光盘511的读出位置被设置为针对BS音频TS分组。在步骤S415中，重放控制单元654基于来自控制器651的控制读出 具有相关的源分组编号的BS音频ES的TS分组，并将其提供给第一音频 解码器656-1。例如，重放控制单元654读出具有源分组编号SPN糾的BS 音频ES的TS分组，并将其提供给图31中所示的第一音频解码器656-1。在步骤S416中，第一音频解码器656-1从被提供的BS音频ES的TS 分组开始解码。就是说，重放开始于具有源分组编号SPN弁1的BS音频TS 分组311-1 (图27)。具有诸如图31之类的配置的第一音频解码器656-1
可以对BS音频ES进行解码，因此BS音频ES的TS分组被顺序地读出， 被解码并输出。随后的TS分组的重放与普通的重放相同，因此将省略相 关的详细描述，但是只有BS音频TS分组被顺序地提取并解码。根据图33中所示的处理，包括可以处理BS音频ES的图31中所示的 AV解码器656的重放装置641 (图30)可以参考EP—map基于来自用户 的随机访问重放指示执行对BS音频ES的随机访问重放。接下来，将参考图34中所示的流程图描述针对HQ音频ES的随机访 问重放处理。这个处理是在包括图32中所示的AV解码器656的图30中 所示的重放装置641播放来自通过上述处理被记录在光盘511中的剪辑 (剪辑AV流文件和剪辑信息文件)的HQ音频ES的情况下被执行的处 理。就是说，这个处理是在重放装置641能够处理HQ音频ES和视频ES 的情况下以及在执行对HQ音频ES的随机访问重放的情况下被执行的处 理。此外，这个处理是被安排为执行随机访问重放的处理，即不是从光盘 511中所记录的剪辑AV流文件的顶部开始重放，而是从用户所指示的重 放位置开始重放。注意，当其中记录有剪辑的光盘511被安装在图30中 所示的重放装置641 (包括图32中所示的AV解码器656的重放装置)上 时，这个处理开始。在步骤S451中，重放控制单元654基于来自控制器651的控制从包 括被记录在光盘511中的BS音频ES和HQ音频的剪辑中获得EP—map (例如，在图29中所示的处理中所创建的EP一map)。重放控制单元654 将所获得的EP一map提供给控制器651 。在步骤S452中，操作输入单元652接受来自用户的随机访问重放指 示。操作输入单元652将与所接收到的指示相对应的信号提供给控制器 651。例如，用户利用时间点指示重放位置(入口点)作为随机访问重放 指示，因此操作输入单元652将与所接受的入口点的时间点相对应的信号 提供给控制器651。如参考图29的描述，入口点被设置为针对预定的BS 音频TS分组。就是说，包括图32中所示的AV解码器656的重放装置 641可以处理HQ音频ES，因此，例如在图27中所示的示例的情况下， 从HQ音频TS分组321-1开始的重放被请求，但是这里所获得的入口点是BS音频TS分组311-1。因此，就随后的处理而言，必须设置针对最合适的HQ音频TS分组的读出位置。注意，用户可以指定从PTS转换而来的 时间(重放时间)作为随机访问的重放位置。在步骤S453中，控制器651基于所获得的EP—map获得被接受的入口 点的源分组编号和PTS值。例如，在图27中，在利用SPN—EP—start所指 示的位置(时间点)被接受作为入口点的情况下，控制器651获得 SPN—EP—start SP丽(即，BS音频TS分组311-1的编号)作为入口点的 源分组编号，并且还获得PTS#1作为被存储在从包括BS音频TS分组 311-1的TS分组(TS分组的TS净荷的部分)中提取的PES分组的PES 头部中的PTS值(PTS—EP一start)。在步骤S454中，控制器651将包括BS音频ES和HQ音频ES的剪辑 的读出位置作为所获得的源分组编号。例如，控制器651将所获得的源分 组编号SPN#1 (SPN—EP—start)作为光盘511的剪辑的读出位置。此时， 入口点可以被设置为只针对BS音频TS分组，如参考图29所描述的，因 此光盘511的读出位置被设置为针对BS音频TS分组。在步骤S455中，重放控制单元654读出基于来自控制器651的控制 从当前的读出位置开始读光盘511，并且获得在读出位置之后(在。。记 录时间之后)最先被记录的HQ音频TS分组。例如，在图27中所示的示 例中，在读出位置被设置为BS音频TS分组311-1的情况下，重放控制单 元654获得其源分组编号在BS音频TS分组311-1 (SPN#1)之后的HQ 音频TS分组321-1，该HQ音频TS分组321-1是第一个HQ音频TS分 组。重放控制单元654将所获得的HQ音频TS分组321-1提供给控制器 651。在步骤S456中，控制器651判断所获得的HQ音频TS分组的TS净 荷中所包括的PTS头部的PTS值是否等于所获得的PTS值。在图27中所 示的示例的情况下，控制器651判断所获得的HQ音频TS分组321-1的 TS净荷中所包括的PTS头部302-1的PTS值是否等于在步骤S453中的处 理处获得的PTS值。在判断出与所获得的HQ音频TS分组相对应的PTS 值不等于在步骤S453中的处理处所获得的PTS值的情况下，处理返回到
步骤S453，其中后续处理被重复。例如，在当前被读出的HQ音频TS分 组321-1之后的位置处被记录的HQ音频TS分组321-2 (其源分组编号在 后)，并且在步骤S456中进行关于所获得的HQ音频TS分组321-2的判 断。注意， 一个PES分组由多个TS分组构成，所以要被处理的HQ音频 TS分组在某些情况下可能不包括PES头部。因此，例如，在HQ音频TS 分组的净荷不包括PES头部而只包括PES净荷的情况下，处理返回到步骤 S455，其中下一个HQ音频TS分组被获得，并且后续的处理被重复。在步骤S456中判断出与所获得的HQ音频TS分组相对应的PTS值等 于在步骤S453中的处理处所获得的PTS值的情况下，控制器651将相关 的HQ音频TS分组作为新的读出位置。随后，处理进行到步骤S457，其 中重放控制单元654基于来自控制器651的控制读出其PTS值被判断为等 于在步骤S453的处理中所获得的PTS值的HQ音频TS分组，并且将其提 供给图32中所示的第二音频解码器656-5。就是说，在与所获得的HQ音 频TS分组321-1相对应的PTS值等于在步骤S453中的处理中所获得的 PTS值的情况下，BS音频TS分组311-1和HQ音频TS分组321-1对应于 相同的重放时间点。因此，重放控制单元654从其PTS值被判断为等于在 歩骤S453的处理中所获得的PTS值的HQ音频TS分组的位置处开始重 放。在步骤S458中，第二音频解码器656-2从被提供的HQ音频TS分组 321-1开始解码。就是说，重放开始于具有与作为被指定为要被播放的位 置的入口点的BS音频TS分组311-1 (图27)相同的PTS#1的HQ音频 TS分组321-1。具有诸如图32之类的配置的第二音频解码器656-2可以对 HQ音频ES进行解码，因此HQ音频ES的TS分组被顺序地读出，被解码 并输出。随后的TS分组的重放与普通的重放相同，因此将省略相关的详 细描述，但是只有HQ音频TS分组被顺序地提取并解码。如就图29中的步骤S354和步骤S355中的处理所描述的，进行如下 安排，其中EP—map被创建以包括详细信息276 (图11)，即指示具有与 作为入口点的BS音频TS分组相同的PTS的HQ音频TS分组中的解码开 始位置的信息，因此第二音频解码器656-2可以从被提供的HQ音频TS分 组开始解码，从而重放可以被快速执行。如果相关的HQ音频TS分组中不包括详细信息276，则必须搜索包括详细信息的HQ音频TS分组，并且 相应地，HQ音频ES的快速重放不能被执行，但是就该实施例而言，在具 有与BS音频TS分组的PTS相同的PTS值的HQ音频TS分组包括详细信 息276的情况下，BS音频TS分组被作为入口点(图29中的处理)，从 而HQ音频ES可以被快速播放。根据图34中的处理，包括可以处理HQ音频ES的图32中所示的AV 解码器656的重放装置641 (图30)可以基于来自用户的随机访问重放指 示通过参考EP_map执行对HQ音频ES的随机访问重放。从而，在复用BS音频TS分组和HQ音频TS分组的情况下，进行如 下安排，其中诸如图18到图22中所示的处理被执行，复用被执行以满足 进行PES分组化时的约束条件和用于随机访问的复用约束条件，并且就其 中记录有利用上述处理所生成的剪辑AV流文件的光盘511而言，通过以 上参考图29所描述的处理创建EP一map,从而随机访问重放可以基于 EP—map被执行。就是说，图22中所示的用于随机访问的复用约束条件是 被安排为创建图29中所示的EP—map的复用约束条件。此外，在利用不同编码方法被编码的音频数据被进行TS分组和复用 并且被记录在光盘中的情况下，存在具有与可以被设置为入口点的一个音 频流(BS音频ES的TS分组)的TS分组的PTS相同的PTS值的HQ音 频TS分组，就TS而言，具有相关的PTS值的HQ音频TS分组被记录以 被放置在具有相关的PTS值的BS音频TS分组之后，相关的BS音频TS 分组被设置为入口点，从而创建EP—map,因此即使在播放与用户所指定 的位置相对应的HQ音频ES的情况下，具有与作为入口点的BS音频TS 分组的PTS相同的PTS的HQ音频TS也可以被读出，因而对HQ音频ES 的随机访问播放可以被执行。此外，在BS音频TS分组和HQ音频TS分组具有相同的PTS， HQ 音频TS分组被置于BS音频TS分组之后并且详细信息276 (图11)被记 录在HQ音频TS分组中的情况下，入口点被安排为要被设置，并且因 此，详细信息276始终被记录在具有与作为入口点的BS音频TS分组的 PTS相同的PTS的HQ音频TS中，并且因而，可以从相关的位置开始快 速地播放HQ音频ES。注意，在图33和图34中，已经描述了其中利用音频EP_map (相关 的被记录的剪辑中所包括的EP—map)播放光盘511中所记录的剪辑(剪 辑AV流文件和剪辑信息文件)的情况。现在，例如，就其中利用音频 EP一map的情况而言，除了其中可以使用浏览器的幻灯片被播放的情况之 外，可以想到如下情况，其中被预先记录在另一个第一记录介质(未示 出)中的视频流和经由网络或另一第二记录介质(第二记录介质可以是例 如图30中所示的光盘511)下载的音频流以同步方式被播放。在预先被记 录在另一第一记录介质中的视频流和经由网络或另一第二记录介质被下载 的音频流以同歩方式被播放的情况下，来自用户的随机访问指示在步骤 S412和步骤S452中被接受，并且就步骤S413和歩骤S453中的处理而 言，首先，视频EP—map (被预先记录在另一第一记录介质中的视频 EP—map)被参考，从音频EP—map (与所下载的音频相对应的EP_map) 获得与视频EP一map的入口点同步的音频流的入口点，并且接下来，入口 点的源分组编号和PTS被获得，利用步骤S413和歩骤S453中的上述处 理。注意，就本实施例而言，记录装置501 (图23)和重放装置641 (图 30)被描述为单独的装置，但是本实施例可以被应用于那些装置被集成到 其中的记录/重放装置。在这种情况下，因此，上述记录处理和重放处理都 由该记录/重放装置来执行。此外，发送装置111 (图4)和记录装置501 (图23)可以被集成到一个装置中。因而，在利用不同编码方法被编码并生成的BS音频ES和HQ音频 ES被分别进行TS分组化并且被复用到一个传输流中的情况下，要被复用 的TS分组被安排为被确定以满足用于随机访问的约束条件，假设第一虚 拟接收装置120包括只能处理BS音频ES的第一虚拟解码器(包括图15 中所示的BS音频数据解码处理单元360-1的图14中所示的虚拟解码器 121)并且第二虚拟接收装置120包括可以处理HQ音频ES的第二虚拟解 码器(包括图15中所示的HQ音频数据解码处理单元360-2的图14中所
示的虚拟解码器121)，从而解码可以被顺利地执行，不管是只能处理BS音频ES的接收装置还是能够处理HQ音频ES的接收装置。就是说，发送装置111调整(确定)要被复用的TS分组，同时在包 括第一虚拟解码器的第一虚拟接收装置中，使传输缓冲器362-1不上溢， 并且同时使基本缓冲器363-1既不上溢也不下溢，并且还调整(确定)要 被复用的TS分组，同时在包括第二虚拟解码器的第二接收装置中，使得 传输缓冲器362-2不上溢，同时使基本缓冲器363-2既不上溢也不下溢， 并且还要满足用于随机访问的复用约束条件，从而解码可以被顺利地执 行，不管是只能处理BS音频ES的接收装置还是能够处理HQ音频ES的 接收装置。此外，在对HQ音频ES进行PES分组化的情况下，PES分组化单元 136不需要计算DTS，从而PES分组化处理也可以被顺利地执行。此外， PES分组化单元136也不需要在要被生成的PES分组中存储DTS值，从而 PES分组的数据量可以被压縮。就是说，PES分组的数据量可以被进一歩 减少。注意，本发明不局限于图4中所示的发送装置BS音频TS分组，而是 可以被应用于被配置为复用音频流(音频ES)的TS分组的所有复用装置。此外，就上述示例而言，已经描述了在对利用第一编码器141被编码 的BS音频ES和利用第二编码器142被编码的HQ音频ES中的每一个进 行TS分组化并且复用到一个流中的情况下的顺序(定时)，但是本发明 可以被应用于其它情况，只要其中利用不同编码方法被编码的音频ES被 分别进行TS分组化并且复用到一个流中即可。上述一系列处理不仅可以用硬件来实现，也可以用软件来实现。在这 种情况下，上述处理通过例如图35中所示的个人计算机700来执行。在图35中，CPU 701根据被存储在ROM 702中的程序或者从存储单 元708装载到RAM 703的程序执行各种类型的处理。RAM 703还存储 CPU 701执行各种类型的处理所必需的数据。CPU 701、 ROM702和RAM703经由内部总线704被相互连接。这个 内部总线704还与输入/输出接口 705相连接。输入/输出接口 705与由键盘和鼠标等构成的输入单元706、由CRT或 LCD等构成的显示器、由扬声器等构成的输出单元707、由硬盘等构成的 存储单元708和由调制解调器或终端适配器等的通信单元709相连接。通 信单元709经由包括电话线和CATV的各种类型的网络来执行通信处理。输入/输出接口 705在必要时与驱动器710相连接，并且从中读出的计 算机程序在必要时被安装到存储单元708中，在所述驱动器710上按需要 安装有由磁盘、光盘、磁光盘或半导体存储等构成的可移动介质721。在使用软件执行这一系列处理的情况下，构成相关软件的程序从网络 或记录介质被安装。如图35中所示，这个记录介质不仅包括由其中记录有程序的可移动 介质521构成的封装介质(其被分配以向远离计算机的用户提供程序)， 而且包括其中记录有程序的包括ROM 702和存储单元708的硬盘等(其 在预先被构建在装置主要单元中的状态下被提供给用户)。注意，就本说明书而言，描述计算机程序的步骤不仅包括要根据所描 述的顺序串行处理的处理，还包括在不必要被串行处理的情况下被并行或 单独执行的处理。
权利要求
1.一种被配置为将音频数据复用为TS(传输流)分组的复用器，包括第一编码装置，被配置为利用用作预定编码方法的第一编码方法对所述音频数据进行编码；第二编码装置，被配置为利用第二编码方法对所述音频数据进行编码，所述第二编码方法是可变长度编码方法并且与所述第一编码方法不同，所述第二编码装置被安排为对每个预定的音频数据单元添加用于被解码的情况的表示定时的定时值；PES分组化装置，被配置为将通过所述第一编码装置被编码的所述音频数据和通过所述第二编码装置被编码的所述音频数据分组化为PES分组，并且还对多个所述经分组化的PES分组添加用于被解码的情况的时间点信息；TS分组化装置，被配置为将通过所述PES分组化装置被进行PES分组化的所述PES分组分组化为TS分组，并且还对多个所述经分组化的TS分组添加相同的ID；确定装置，被配置为从通过所述TS分组化装置被分组化的多个所述TS分组中，确定要被复用的TS分组；以及复用装置，被配置为复用由所述确定装置确定的所述TS分组；其中，所述PES分组化装置将通过所述第一编码装置被编码的所述音频数据和通过所述第二编码装置被编码的所述音频数据分组化为PES分组，使得满足预定周期的所述音频数据单元出现在PES净荷的头部；并且其中，所述确定装置被配置为假设第一虚拟解码器和第二虚拟解码器，所述第一虚拟解码器被配置为对通过所述第一编码装置被编码的所述音频数据进行解码，所述第二虚拟解码器被配置为基于被添加给通过所述第二编码装置被编码的所述音频数据的所述定时值，对通过所述第二编码装置被编码的所述音频数据进行解码，并且，所述确定装置还基于被安排用于对所述经复用的TS进行分组随机访问的复用约束条件，确定要被复用的TS分组。
2. 根据权利要求1所述的复用器，其中，所述确定装置基于所述第 一虚拟解码器中所包括的第一基本缓冲器和针对所述第一基本缓冲器的数 据传送速率以及所述第二虚拟解码器中所包括的第二基本缓冲器和针对所述第二基本缓冲器的数据传送速率，来从通过所述TS分组化装置被分组 化的多个所述TS分组中确定要被复用的TS分组。
3. 根据权利要求2所述的复用器，其中，所述确定装置从通过所述 TS分组化装置被分组化的多个所述TS分组中确定要被复用的TS分组， 同时使所述第一虚拟解码器中所包括的所述第一基本缓冲器和所述第二虚 拟解码器中所包括的第二基本缓冲器既不上溢也不下溢。
4. 根据权利要求l所述的复用器，还包括记录装置，被配置为将通过所述复用装置被复用的所述TS分组记录 在记录介质中。
5. 根据权利要求1所述的复用器，其中，所述音频数据单元是音频 访问单元。
6. 根据权利要求2所述的复用器，其中，所述第一虚拟解码器包括 在所述第一基本缓冲器的前级的传输缓冲器；并且其中，所述第二虚拟解码器包括在所述第二基本缓冲器的前级的 传输缓冲器，并且还包括在所述第二基本缓冲器的后级的第三基本缓冲 器。
7. 根据权利要求6所述的复用器，其中，在假设针对所述第三基本 缓冲器的输入定时是针对所述定时值的定时的情况下，所述确定装置从通 过所述TS分组化装置被分组化的多个所述TS分组中确定要被复用的TS 分组。
8. 根据权利要求7所述的复用器，其中，所述定时值是用音频信息 的采样周期表示的值，在所述采样周期处所述音频流被发送给所述第三基 本缓冲器。
9. 根据权利要求1所述的复用器，其中，在对通过所述第二编码装 置被编码的所述音频数据进行PES分组化的情况下，所述PES分组化装置 对通过所述第二编码装置被编码的所述音频数据进行分组化，以使得满足 所述周期并且包括有从其位置处开始解码的解码信息的所述音频数据单元 出现在PES净荷的头部。
10. 根据权利要求l所述的复用器，其中，所述复用约束条件是这样 的约束条件其中在TS包括具有与通过所述第一编码装置被编码的音频 数据的TS分组中所包括的所述时间点信息相同的时间点信息的通过所述第二编码装置被编码的音频数据的TS分组的情况下，通过所述第一编码 装置被编码的音频数据的TS分组先于通过所述第二编码装置被编码的音频数据的TS分组而被复用；并且其中，所述确定装置基于对所述第一虚拟解码器和所述第二虚拟解码器的假设以及所述复用约束条件，确定要被复用的TS分组。
11. 一种被配置为将音频数据复用为TS (传输流)分组的复用器的复用方法，包括第一编码步骤，被安排为利用用作预定编码方法的第一编码方法对所述音频数据进行编码；第二编码歩骤，被安排为利用第二编码方法对所述音频数据进行编 码，所述第二编码方法是可变长度编码方法并且与所述第一编码方法不 同，所述第二编码歩骤被安排为对每个预定的音频数据单元添加用于被解 码的情况的表示定时的定时值；PES分组化步骤，被安排为将通过所述第一编码步骤中的处理被编码 的所述音频数据和通过所述第二编码步骤中的处理被编码的所述音频数据 分组化为PES分组，并且还对多个所述经分组化的PES分组添加用于被解码的情况的时间点信息；TS分组化步骤，被安排为将通过所述PES分组化步骤中的处理被进 行PES分组化的所述PES分组分组化为TS分组，并且还对多个所述经分 组化的TS分组添加相同的ID;确定歩骤，被安排为从通过所述TS分组化步骤中的处理被分组化的 多个所述TS分组中，确定要被复用的TS分组；以及复用歩骤，被安排为复用通过所述确定步骤中的处理所确定的所述TS分组；其中，利用所述PES分组化步骤中的处理，通过所述第一编码步骤中的处理被编码的所述音频数据和通过所述第二编码步骤中的处理被编码的所述音频数据被分组化为PES分组，使得满足预定周期的所述音频数据单元出现在PES净荷的头部；并且其中，所述判断步骤中的处理被安排为假设第一虚拟解码器和第 二虚拟解码器，所述第一虚拟解码器被配置为对通过所述第一编码步骤中 的处理被编码的所述音频数据进行解码，所述第二虚拟解码器被配置为基 于被添加给通过所述第二编码步骤中的处理被编码的所述音频数据的所述 定时值，对通过所述第二编码步骤中的处理被编码的所述音频数据进行解码，并且，所述确定步骤还基于被安排用于对所述经复用的TS分组进行 随机访问的复用约束条件，确定要被复用的TS分组。
12. —种被安排为将音频数据复用为TS (传输流)分组并且控制计 算机执行处理的程序，所述处理包括第一编码步骤，被安排为利用用作预定编码方法的第一编码方法对所 述音频数据进行编码；第二编码步骤，被安排为利用第二编码方法对所述音频数据进行编 码，所述第二编码方法是可变长度编码方法并且与所述第一编码方法不 同，所述第二编码步骤被安排为对每个预定的音频数据单元添加用于被解 码的情况的表示定时的定时值；PES分组化步骤，被安排为将通过所述第一编码歩骤中的处理被编码的所述音频数据和通过所述第二编码步骤中的处理被编码的所述音频数据 分组化为PES分组，并且还对多个所述经分组化的PES分组添加用于被解码的情况的时间点信息；TS分组化步骤，被安排为将通过所述PES分组化步骤中的处理被进 行PES分组化的所述PES分组分组化为TS分组，并且还对多个所述经分 组化的TS分组添加相同的ID;确定步骤，被安排为从通过所述TS分组化歩骤中的处理被分组化的 多个所述TS分组中确定要被复用的TS分组；以及复用步骤，被安排为复用所述确定步骤中的处理所确定的所述TS分组；其中，利用所述PES分组化步骤中的处理，通过所述第一编码步骤中 的处理被编码的所述音频数据和通过所述第二编码步骤中的处理被编码的 所述音频数据被分组化为PES分组，使得满足预定周期的所述音频数据单 元出现在PES净荷的头部；并且其中，所述判断步骤中的处理被安排为假设第一虚拟解码器和第 二虚拟解码器，所述第一虚拟解码器被配置为对通过所述第一编码歩骤中 的处理被编码的所述音频数据进行解码，所述第二虚拟解码器被配置为基 于被添加给通过所述第二编码歩骤中的处理被编码的所述音频数据的所述 定时值，对通过所述第二编码步骤中的处理被编码的所述音频数据进行解 码，并且，所述确定步骤还基于被安排用于对所述经复用的TS分组进行 随机访问的复用约束条件，确定要被复用的TS分组。
13. —种其中记录有复用后的TS (传输流)分组的记录介质，其中，通过将利用用作预定编码方法的第一编码方法编码的音频数据 分组化为多个PES分组然后所述多个PES分组进一歩被分组化为多个TS 分组而得到的多个TS分组，以及通过将利用作为可变长度编码方法并且 与所述第一编码方法不相同的第二编码方法编码的音频数据分组化为多个 PES分组然后所述多个PES分组进一步被分组化为多个TS分组而得到的 多个TS分组，被复用并被记录，其中所述第二编码方法被安排为对每个 预定的音频数据单元添加用于被解码的情况的表示定时的定时值，并且其中，多个所述PES分组包括用于被解码的情况的时间点信息， 并且多个所述PES分组通过如下方式得到利用所述第一编码方法编码的 所述音频数据和利用所述第二编码方法编码的所述音频数据被进行PES分 组化，使得满足预定周期的所述音频数据单元出现在PES净荷的头部；并且其中，多个所述TS分组包括相同的ID，并且还是通过如下方式 得到的TS分组假设第一虚拟解码器和第二虚拟解码器，所述第一虚拟 解码器被配置为对利用所述第一编码方法编码的所述音频数据进行解码， 所述第二虚拟解码器被配置为基于被添加给利用所述第二编码方法编码的所述音频数据的所述定时值，对利用所述第二编码方法编码的所述音频数 据进行解码，以及基于被安排用于对所述经复用的TS分组进行随机访问的复用约束条件来确定要被复用的TS分组。
全文摘要
本发明提供了一种复用器和复用方法、程序及记录介质，从而利用不同编码方法编码的TS分组可以被复用。在复用其中利用第一编码器被编码的BS音频ES171被进行TS分组化的BS音频TS173中的每个TS分组以及其中利用第二编码器编码的HQ音频ES181被进行TS分组化的HQ音频TS183中的每个TS分组的情况下，控制单元假设仅能解码BS音频ES的第一虚拟解码器和能够解码HQ音频ES的第二虚拟解码器，并且基于每个虚拟解码器的基本缓冲器、基本缓冲器的数据传送速率以及用于随机访问的复用约束条件，确定要被复用的TS分组。本发明可以被应用于被配置为复用TS分组的复用器。
文档编号G10L19/00GK101164103SQ200680013558
公开日2008年4月16日 申请日期2006年4月20日 优先权日2005年4月22日
发明者加藤元树, 岩濑绫子 申请人:索尼株式会社