信息处理设备、信息处理方法和程序以及记录介质的制作方法

专利名称：信息处理设备、信息处理方法和程序以及记录介质的制作方法
技术领域：
本发明涉及一种其上记录有由用于适宜于连续再现静止图像的所谓幻灯片放映(slide show)的静止图像及其辅助信息组成的数据的记录介质，用于记录和/或再现该数据的信息处理方法、信息处理设备和程序。
本申请要求2002年12月18日在日本提交的日本专利申请No.2002-367235、2003年3月12日在日本提交的日本专利申请No.2003-067025以及2003年5月9日在日本提交的日本专利申请No.2003-132193的优先权，在此将这些申请的全文引作参考。
背景技术：
DVD视频标准已经实现了静止图像的连续再现(所谓的幻灯片放映)。各个静止图像信号被编码成MPEG2(活动图像专家组2)视频的帧内图像(I图像)，并且被复用在MPEG2节目中。通过将带有音频数据和副图像的I图像复用到MPEG2节目流中，可以在幻灯片放映中同步和再现该音频数据和副图像。该幻灯片放映以基于表现时间戳的预设定时再现。
DVD视频的节目流具有以VOBU(视频对象单元)为单元的结构。该传统DVD数据结构描述于例如已公开的日本专利文献H10-271444中。这里的图1示意性地示出传统例子1的DVD视频节目流的结构。参照图1，DVD视频节目流以VOBS(视频对象集)为单元来管理，其中VOBS用作例如运动图像工作件(workpiece)中的单元。该VOBS由多个视频对象(VOB)组成，并且是作为一个集合或一组记录在盘上的数据单元。VOB由多个分区(cell)组成，其中每一个分区是对应于例如运动图像中的场景或片断(cut)的单元。每个分区由多个VOBU(视频对象单元)组成。在活动图像方面，VOBU的时长为0.4到1.2秒。在该VOBU中，包含有一个或多个具有MPEG2格式的GOP(图像组)。
VOBU包括作为包含VOBU管理信息的包的导航包(N-PCK)。该导航包置于每个VOBU的前端。导航包包括VOBU_SRI(VOBU搜索信息)和SP_SYNCA。VOBU_SRI包括在包含该VOBU_SRI的VOBU的重放时间之前和之后的N秒(N为整数)中再现的VOBU的引导地址。SP_SYNCA包括与包含该SP_SYNCA的VOBU的视频同步再现的副图像的地址信息。在再现例如运动图像中，首先读入该导航包，并且根据由导航包指定的管理信息执行重放。
除了该NV-PCK之外，VOBU还包括作为具有主图像的包的视频包(V_PCK)、作为包含语音数据的包的音频包(A_PCK)A、以及作为包含副视频数据的包的副图像包(SP_PCK)S。V_PCK、A_PCK和SP_PCK以诸如MPEG2的预设格式来压缩，并且以这种形式记录在记录介质上。VOBU可以采用例如图1所示的包括视频包的VOBU1(包含一个I图像的数据和顺序结束码(Sequence_end_code))和不包含视频包的VOBU2为示范。
用于幻灯片放映中的VOBU可以不包含视频包(包含MPEG2视频的视频包)。对于不包含视频包的VOBU，例如图1中的VOBU2，继续从前一VOBU静止的视频。I图像的静止显示的持续时长可以由导航命令控制。
DVD音频的节目流基本上具有与图1所示的结构相同的结构。DVD音频格式实现音频重放与幻灯片放映的进展异步的模式(可浏览幻灯片放映)。在可浏览幻灯片放映中，如果用户通过例如遥控器命令播放器继续显示下一个静止图像从而改变每个静止图像的静止显示时间，音频重放不被中断从而连续再现音频数据。因此，在DVD音频中，存在视频重放与音频重放不同步的模式。
同时，先前以本发明人的名义申请的已公开的日本专利出版文献2002-158972陈述了具有不同于图1的格式的数据。该出版文献以下称作现有技术例子2。记录在该现有技术例子2所公开的信息处理设备中的数据的应用格式具有用于管理AV流的两层，即播放列表(PlayList)和剪辑(Clip)。播放列表层中的播放列表仅由可以参考播放列表以再现和编辑诸如视频数据的数据的用户引用。另一方面，当播放器再现由播放列表指定的AV流时，使用剪辑层。在此，AV流及其辅助信息合在一起为一个对象，其是以剪辑为单元来管理的。AV流文件称作剪辑AV流文件，并且其辅助信息称作剪辑信息文件。剪辑AV流文件和剪辑信息文件分立地记录在记录介质上。通过分立地记录和管理(supervise)流数据及其辅助信息来帮助数据管理。
然而，对于图1所示的数据形式，地址信息嵌入在MPEG节目流中，从而读出变得费时。也就是，在确定静止图像的读出地址中，从盘读出流数据，由播放器的主CPU分析该数据，并且随后确定静止图像的访问点的地址，因此拖延了读出操作。如果可以采用类似于如前述现有技术例子2所述的音频视频数据的格式实现幻灯片放映，则可以帮助数据管理，同时可以方便地采用具有类似结构的记录和/或再现设备。

发明内容
本发明的目的是提供一种记录了用于使用其格式相当于(comparableto)音频视频数据格式的静止图像及其辅助信息以简化的方式实现所谓的幻灯片放映的数据的记录介质，用于记录和/或再现该数据的信息处理方法、信息处理设备和程序。
本发明提供了一种信息处理设备，包括属性信息创制(formulating)装置，用于创制管理由一个或多个静止图像构成的静止图像集中的各个静止图像的图像属性信息；重放控制信息创制装置，用于创制指定该静止图像集的重放路径的重放控制信息；以及记录装置，用于记录该静止图像集、与该静止图像集相关联的图像属性信息、以及与该静止图像集相关联的重放控制信息。其重放由重放控制信息控制的静止图像根据图像属性信息与记录在记录介质上的静止图像相关。
根据本发明，图像属性信息和重放控制信息与静止图像集分开地记录在记录介质上。因此，当从记录装置读出并再现静止图像时，可以首先读出图像属性信息和重放控制信息，并且可以以预设次序生成静止图像集的各个静止图像，从而可以利用与在记录活动图像中使用的传统格式类似的格式实现静止图像的连续重放(所谓的幻灯片放映)。
本发明还提供了一种信息处理方法，包括属性信息创制步骤，创制管理由一个或多个静止图像构成的静止图像集中的各个静止图像的图像属性信息；重放控制信息创制步骤，创制指定该静止图像集的重放路径的重放控制信息；以及记录步骤，记录该静止图像集、与该静止图像集相关联的图像属性信息、以及与该静止图像集相关联的重放控制信息。其重放由重放控制信息控制的静止图像根据图像属性信息与记录在记录介质上的静止图像相关。
本发明还提供了一种信息处理方法，包括再现步骤，从其上记录有由一个或多个静止图像构成的静止图像集及其对应图像属性信息以及重放控制信息的记录介质再现该静止图像集的至少一部分静止图像；以及控制步骤，根据重放控制信息参考图像属性信息控制再现步骤。图像属性信息包括管理该静止图像集中的各个静止图像的信息。重放控制信息包括使用图像属性信息创制的表示重放路径的信息。重放路径指定该静止图像集的至少一部分静止图像的重放。
本发明还提供了一种用于让计算机执行预设操作的程序，其中该程序包括再现步骤，从其上记录有由一个或多个静止图像构成的静止图像集及其对应图像属性信息以及重放控制信息的记录介质再现该静止图像集的至少一部分静止图像；以及控制步骤，根据重放控制信息参考图像属性信息控制再现步骤。图像属性信息包括管理该静止图像集中的各个静止图像的信息。重放控制信息包括使用图像属性信息创制的表示重放路径的信息。重放路径指定该静止图像集的至少一部分静止图像的重放。
本发明还提供了一种信息处理设备，包括属性信息创制装置，用于创制管理形成静止图像集的一个或多个静止图像中的每个静止图像的图像属性信息；重放控制信息创制装置，用于创制表示重放路径的重放控制信息，其中该重放路径指定该静止图像集中的至少一部分静止图像的重放；记录装置，用于在记录介质上记录该静止图像集、与之对应的图像属性信息以及重放控制信息；再现装置，用于从记录介质读出和再现静止图像；以及控制装置，用于根据重放控制信息参考图像属性信息以控制再现装置。重放控制信息创制装置使用图像属性信息创制重放控制信息。
本发明还提供了一种信息处理方法，包括属性信息创制步骤，创制管理形成静止图像集的一个或多个静止图像中的每个静止图像的图像属性信息；重放控制信息创制步骤，创制表示重放路径的重放控制信息，其中该重放路径指定该静止图像集中的至少一部分静止图像的重放；记录步骤，在记录介质上记录该静止图像集、与之对应的图像属性信息以及重放控制信息；再现步骤，从记录介质读出和再现静止图像；以及控制步骤，根据重放控制信息参考图像属性信息以控制再现步骤。重放控制信息创制步骤使用图像属性信息创制重放控制信息。
本发明还提供了一种用于让计算机执行预设操作的程序，其中该程序包括属性信息创制步骤，创制管理形成静止图像集的一个或多个静止图像中的每个静止图像的图像属性信息；重放控制信息创制步骤，创制表示重放路径的重放控制信息，其中该重放路径指定该静止图像集中的至少一部分静止图像的重放；记录步骤，在记录介质上记录该静止图像集、与之对应的图像属性信息以及重放控制信息；再现步骤，从记录介质读出和再现静止图像；以及控制步骤，根据重放控制信息参考图像属性信息以控制再现步骤。重放控制信息创制步骤使用图像属性信息创制重放控制信息。
本发明还提供了一种其上记录有由一个或多个静止图像组成的静止图像集、用于管理该静止图像集中的各个静止图像的图像属性信息以及使用图像属性信息形成的重放控制信息。重放控制信息表示指定该静止图像集中的至少一部分静止图像的重放的重放路径。


图1是示出传统DVD视频的节目流的结构的示意图；
图2示出用于根据本发明第一实施例的信息处理设备中的记录介质上的静止图像应用格式的简化结构。
图3示出图像文件组及其剪辑信息的例子。
图4示出本发明第一实施例中每个静止图像的再现开始时间是预定的幻灯片放映的播放列表的例子，以及静止图像与再现时间之间的关系。
图5示出图4的播放列表与剪辑之间的关系。
图6示出在与每个静止图像的重放开始时间是预定的幻灯片放映同步再现音频数据的情况下本发明第一实施例中的播放列表的说明性结构。
图7示出本发明的第一实施例中仅仅各个静止图像的重放顺序是预定的幻灯片放映的播放列表的例子，以及静止图像与再现时间之间的关系。
图8示出图7所示的播放列表与剪辑之间的关系的例子。
图9示出播放列表、剪辑信息文件和音频流之间的关系。
图10是示出本发明的第一实施例中的信息处理设备的方框图。
图11示出记录在记录介质上的目录和文件的说明性结构。
图12A示出本发明的第一实施例中的剪辑信息，并且图12B示出与图12A有关的静止图像文件在记录介质(盘)上的数据安排的例子。
图13是示出在根据本发明第一实施例的信息处理设备的记录操作中创制播放列表的方法的流程图。
图14是示出用于再现由图10所示的信息处理设备记录的数据的信息处理设备的方框图。
图15是示出根据本发明第一实施例的信息处理设备中的再现操作的流程图。
图16示出本发明第一实施例的变型中播放列表与剪辑之间的关系的例子。
图17A示出图16所示的剪辑信息。
图17B示出与图17A有关的静止图像文件在记录介质(盘)上的数据安排的例子。
图18A示出在本发明的第二实施例所示的剪辑信息。
图18B示出与图18A有关的静止图像文件在记录介质(盘)上的数据安排。
图19示出本发明第二实施例中在可浏览幻灯片放映中异步再现音频数据的情况下的播放列表、剪辑信息文件和音频流之间的关系。
图20是示出本发明第三实施例中仅仅各个静止图像的重放顺序是预定的幻灯片放映中的播放列表的例子以及静止图像与重放时间之间的关系的示意图。
图21是示出本发明的第三实施例中仅仅各个静止图像的重放顺序是预定的幻灯片放映中的播放列表的另一个例子以及静止图像与重放时间之间的关系的示意图。
图22示出图20所示的播放列表、其剪辑信息以及相关静止图像文件在记录介质(盘)上的数据安排之间的关系。
图23示出图21所示的播放列表、其剪辑信息以及相关静止图像文件在记录介质(盘)上的数据安排之间的关系。
图24示出本发明的第三实施例的另一个例子，并且具体示出播放列表、其剪辑信息以及相关静止图像文件在记录介质(盘)上的数据安排之间的关系。
图25示出本发明的第三实施例中以与静止图像的重放同步的关系再现音频数据的幻灯片放映的播放列表、其剪辑信息，以及相关静止图像文件在记录介质(盘)上的数据安排之间的关系。
图26是示出在传输流文件(静止图像文件)中索引的源分组的例子的示意图。
图27是示出在传输流文件(静止图像文件)中指示的源分组的另一个例子的示意图。
图28示出本发明的第三实施例中以与静止图像的重放非同步的关系再现音频数据的幻灯片放映的播放列表之间的关系。
图29是示出在从记录介质相互交替地以分时方式读出两个文件即由播放项目引用的静止图像文件和由副播放项目引用的音频流的情况下的再现设备的方框图。
图30A是示出BDAV MPEG2 TS播放器模型1的方框图，并且图30B是示出BDAV MPEG2 TS播放器模型2的方框图。
图31是可浏览幻灯片放映的缓冲器模型的方框图。
图32A示出在可浏览模式的幻灯片放映期间占用EB缓冲器(视频码缓冲器)的比特量，并且图32B示出占用B4缓冲器(音频码缓冲器)的比特量。
图33是用于示出在可浏览幻灯片放映中同时读出主TS和音频TS的方法的示意图。
图34示出使用I图像作为静止图像数据的情况下播放列表、剪辑信息文件与相关静止图像文件在记录介质(盘)上的数据安排之间的关系。
图35是示出在传输流文件(静止图像(I图像)文件)中指示的源分组的例子的示意图。
图36是示出在传输流文件(静止图像(I图像)文件)中指示的源分组的另一个例子的示意图。
图37是示出用于在根据本发明第三实施例的信息处理设备的记录操作中创制播放列表的方法的流程图。
图38是示出根据本发明第三实施例的信息处理设备中的再现操作的流程图。
具体实施例方式
参照附图，详细说明本发明的优选实施例。在这些实施例中，本发明应用于一种在利用用来在DVD上记录和/或再现活动图像的格式下记录用来实现静止图像连续重放的幻灯片放映的数据的信息处理设备以及用于再现该数据的信息处理设备。
(1)第一实施例(1-1)数据结构这里，说明由本发明第一实施例中的信息处理设备记录和/或再现的数据的结构。图2示出用于根据本发明的记录和/或再现系统中的记录介质上的静止图像应用格式的简化结构。该格式具有与前述传统例子2所述的应用格式类似的结构，并且具有用于管理(oversee)AV流的两层即播放列表(PlayList)和剪辑(Clip)。
在本第一实施例中，由一个或多个源分组组成的作为静止图像集的静止图像组(图像文件组)及其辅助信息所形成的一对被认为是一个对象，该对象作为称作剪辑的单元来管理。静止图像组的辅助信息(图像属性信息)称作剪辑信息。
采用剪辑中的静止图像的幻灯片放映的重放域的集合称作播放列表。该播放列表是表示例如重放路径(再现路线(reproducing route))的重放控制信息，其中该重放路径指定例如静止图像的重放顺序。因此，播放列表由一组播放项目形成。
存在两种类型的播放列表，其中之一是实播放列表，而另一种是虚播放列表。实播放列表被认为是共同拥有其正在引用的剪辑的静止图像组的一部分。也就是，实播放列表在盘中占用与其正在引用的剪辑的静止图像组的一部分相等的数据容量。如果记录新图像组，则将其自动添加到实播放列表。如果删除实播放列表的重放范围的一部分，则也删除其正在引用的剪辑的静止图像组的该部分的数据。相反，虚播放列表被认为是不共同拥有剪辑数据。如果修改或删除虚播放列表，在剪辑中不发生任何改变。在以下描述中，实播放列表和虚播放列表统称作播放列表。
图3示出图像文件组及其剪辑信息的例子。在本实施例中，一个或多个静止图像文件作为单个图像文件组来管理。提供了对应于该图像文件组的剪辑信息文件。该剪辑信息对于包含在图像文件组中的每个静止图像文件一一包括作为引用静止图像文件时的静止图像标识信息的ID(file_id)、对应于file_id的文件名(file_name)、文件的字节大小(file_size)、每个静止图像在水平方向上的像素数(horizontal_size)及其在垂直方向上的像素数(vertical_size)。
虽然在图3中静止图像的数据形式是JPEG、PNG，但是数据形式当然也可以是任何其他适合数据形式，只要所用数据形式是静止图像数据形式即可。
在本实施例中，说明两种幻灯片放映。第一种幻灯片放映是这样一种类型，其中每个静止图像的重放开始时间是预定的，以下也将其称作时基幻灯片放映或时基模式，而第二幻灯片放映是这样一种类型，其中每个静止图像的重放开始时间不是预定的但是重放顺序是预定的，以下也将其称作可浏览幻灯片放映。
对于时基幻灯片放映，除了在用户命令再现设备(播放器)进入下一个幻灯片之外，各个幻灯片的重放自动进行，这些幻灯片以在时轴上以预定定时再现预定幻灯片的方式被自动再现。因此，各个幻灯片的重放时间(幻灯片的静止图像的时长)是有限的。在与静止图像同时再现音频数据的情况下，在时基幻灯片放映中，音频再现可以与静止图像的重放同步。
对于可浏览幻灯片放映，重放顺序是预定的，并且各个幻灯片的重放时间是有限或无限的。如果给定幻灯片具有无限重放时间，则除了在用户命令再现设备(播放器)进入下一个幻灯片的情况下，重放不进入下一个幻灯片。因此，各个幻灯片不是在时轴上以预设定时再现的。如果在可浏览幻灯片放映中与静止图像同时再现音频数据，则音频数据与静止图像的重放不同步。
(1-2)具有预定重放开始时间的幻灯片放映现在参照图4到6说明具有各个静止图像的预定重放开始定时的第一种幻灯片放映。
(1-2-1)幻灯片放映仅静止图像图4示出每个静止图像的再现开始时间是预定的幻灯片放映，并且在该图的上下部分分别示出每个静止图像的再现开始时间是预定的幻灯片放映中的播放列表的例子以及静止图像与重放时间之间的关系。在每个静止图像的再现开始时间是预定的幻灯片放映中，在时轴上以预设定时再现每个静止图像。
播放列表由多个播放项目构成。参照图4，每个播放项目具有表示幻灯片放映的重放域的IN_time(进入时间)和OUT_time(出去时间)的数据。重放开始时间和重放结束时间由IN_time和OUT_time的数据指定。每个播放项目具有构成幻灯片放映的每一个静止图像的数据。该数据以下称作场景(Scene)。该场景包含作为引用剪辑中的图像文件组时的静止图像标识信息的ID(file_id)。这些场景还包含播放项目中的重放开始时间(start_time_stamp)。这些场景还包括每个场景中的重放时间，也就是，作为每个静止图像的静止图像重放时间的显示时间(duration)。
每个场景中的重放时间在播放项目中可以重叠。每个场景可以具有多个file_id。例如，在图4所示的情况下，场景[2]与场景[1]和场景[3]重叠。在这种情况下，场景[2]的图像是在其与场景[1]和场景[2]的图像重叠的情况下显示的。图4的每个图像中标出的数字表示file_id。虽然有关各个图像的重叠位置的信息，也就是，有关场景[2]的图像显示位置与场景[1]的图像显示位置的信息可以在播放列表中表述，但是它也可以在不同于播放列表的文件或者由场景[2]引用的图像文件组中表述。
图5示出图4所示的播放列表和剪辑之间的关系。播放列表引用剪辑中的静止图像，这里为文件ID。剪辑信息表示由播放列表引用的静止图像(文件ID)与其实体(这里为文件名)之间的关系。也就是，引用剪辑信息以识别作为在播放列表中表述的静止图像标识信息的ID(file_id)的文件名File_name。从图像文件组读出该文件名的静止图像文件。
(1-2-2)幻灯片放映静止图像+音频数据现在说明在每个静止图像的重放开始时间是预定的幻灯片放映中同步再现音频数据的情况。图6示出在幻灯片放映中以与静止图像具有定时关系的方式再现音频数据的说明性结构。当在每个静止图像的重放开始时间是预定的幻灯片放映中同步音频数据时，除了表示静止图像重放路径的播放项目(主路径)之外，在播放列表中还提供表示音频重放路径的副播放项目(副路径)，其中该副播放项目是表示音频数据重放路径的音频重放控制信息。
该副播放项目包括时轴上的重放开始时间(sync_start_PTS_of_PlayItem)。该副播放项目还包括由其引用的剪辑上的重放开始时间(SubPlayItem_IN_time)。副播放项目还包括由其引用的剪辑上的重放开始时间(SubPlayItem_OUT_time)。
当副播放项目采用表现时间戳(PTS)表示对剪辑内部的访问点时，剪辑信息文件有用于发现通过其在AV流文件中开始流解码的地址信息。由副播放项目引用的剪辑的AV流文件是音频流(辅助音频流)。该辅助音频流以下称作副音频流。
也就是，剪辑信息文件包括一个表(音频的EP_map)，该表表述音频流的开始时间和表示对应于开始时间和结束时间的源分组(最小访问单元)的地址的信息。该表可以被引用以获取对应于指定表现时间PTS的地址，从而读出和再现由该地址表示的音频数据。由于副播放项目具有播放时间的时轴上的重放开始时间，从而表示静止图像的重放路径，因此有可能在幻灯片放映中以与静止图像具有定时关系的方式再现音频数据。
(1-3)仅指定静止图像重放顺序的幻灯片放映参照图7到9说明仅指定静止图像的重放顺序的第二种幻灯片放映(可浏览幻灯片放映)。
(1-3-1)幻灯片放映仅静止图像图7示出可浏览幻灯片放映的例子以及静止图像与重放时间之间的关系。在这种情况下，与图4到6的情况不同，如图7的上部所示，可浏览幻灯片放映的播放项目的场景不指定静止图像的重放开始时间。提供了仅指定播放项目上各个静止图像的重放顺序的信息来代替每个静止图像的播放项目中的重放开始时间信息(start_time_stamp)。而且，与图4到6的情况不同，播放项目既没有IN_time又没有OUT_time。构成幻灯片放映的静止图像的重放时间(显示时间)未被确定。在这种情况下，用户可以向播放器指定每个场景的重放时间。
另外，播放列表的每个场景可以具有与每个静止图像的播放项目中的重放顺序相对应的表示缺省重放时间的信息来代替如图4中的预定重放时间(重放时长)。在这种情况下，播放器可以在缺少用户指示的情况下仅在缺省重放时间内再现静止图像。因此，对于提供缺省重放时间的结构，用户有可能通过自由地执行静止图像的控制利用例如遥控器命令播放器转移到下一个静止图像。
也就是，播放项目的每个场景包括指定播放项目中场景的重放顺序的信息(playing_order)、作为引用剪辑中的图像文件组时的静止图像标识信息的ID(file_ID)以及每个场景的缺省重放时间(default_duration)。同时，每个静止图像的缺省重放时间可以彼此相同或不同。
在可浏览幻灯片放映的情况下，如同在指定开始重放时间的幻灯片放映的情况下，可以在一个场景中以重叠的方式显示多个静止图像。例如，如果在图7的情况下在场景[1]中表述了file_id＝1和file_id＝2，则在file_id＝1的图像中显示file_id＝2的图像。在图7中，图像中的数字表示file_id。虽然有关file_id＝2的图像和file_id＝1的图像的显示位置的信息可以在播放列表中表述，但是该信息也可以在不同于播放列表的文件中表述，或者可以在由file_id＝2引用的图像文件中表述。
图8示出图7所示的播放列表与剪辑之间的典型关系。播放列表引用剪辑中的静止图像。剪辑信息表示由播放列表引用的静止图像与其实体之间的关系。也就是，根据用于标识由播放列表指示的剪辑中的静止图像的文件ID引用剪辑信息，并且获取对应于该文件ID的文件名以从图像文件组中读出和再现该文件名的静止图像。
(1-3-2)幻灯片放映静止图像+音频数据现在说明关于可浏览幻灯片放映异步再现音频数据的情况。图9示出用于异步再现音频数据的可浏览幻灯片放映的播放列表、剪辑信息文件和音频流之间的关系。虽然播放列表由表示静止图像的重放路径的播放项目和表示音频数据的重放路径的播放项目构成，但是在异步再现音频数据的情况下，与图6的情况不同，播放列表表示音频数据的重放路径，并且副播放项目表示静止图像的重放路径。
在该可浏览幻灯片放映中，如果用户通过例如遥控器命令播放器进入下一个静止图像，从而改变每个静止图像的静止重放时间，则以不中断的方式再现音频数据，因为它相对于幻灯片放映的进展是异步的。
指定幻灯片放映的重放路线的副播放项目的结构与已经参照图7说明的指定幻灯片放映的重放路线的播放项目的结构相同。也就是，副播放项目由播放项目中场景的重放次序(playing_order)、引用剪辑中图像文件组的文件所需的ID(file_id)以及场景的缺省重放时间(default_duration)构成。
在图9所示的指定可浏览幻灯片放映的音频重放路线的播放项目中，表述了由播放项目引用的剪辑上的重放开始时间(IN_time)以及由播放项目引用的剪辑上的重放结束时间(OUT_time)。
在指定音频重放路线的播放项目按照时间戳表示对剪辑的副音频流(辅助音频流)内部的访问点的情况下，剪辑信息文件有用于找出开始对剪辑的AV流文件中的音频流进行解码的地址的地址信息。
也就是，由播放项目引用的剪辑信息文件具有表述每个重放域的开始时间与地址之间的对应关系的表(音频的EP_map)。因此，再现设备将指定的时间戳转换成读出和再现目标重放域的音频流的地址。
由于这里重放开始时间和重放结束时间是在指定音频重放路线的播放项目中确定的，因此可以在例如音频数据重放结束时间终止幻灯片放映。或者，可以再次再现直到结束时间为止所再现的音频数据，以多次再现音频数据。
(1-4)信息处理设备(记录设备)的结构下面说明用于记录如上所述的用来实现每个静止图像的重放开始时间是预定的幻灯片放映或者仅仅静止图像的重放顺序是预定的幻灯片放映的数据的实施本发明的信息处理设备。
图10是示出实施本发明的信息处理设备1的方框图。参照图10，信息处理设备1包括静止图像编码器14，从端子13向其提供静止图像，并且对静止图像进行编码；音频编码器11，从端子10向其提供音频数据，并且对音频数据进行编码；控制器16，通过端子15向其提供与幻灯片放映的重放内容有关的信息，并且还分别从静止图像编码器14和音频编码器11向其提供图像属性信息和音频属性信息，以生成前述播放列表和剪辑信息；以及记录器17，从控制器16向其提供播放列表和剪辑信息以在记录介质上以预设格式记录播放列表和剪辑信息。
在每个静止图像的重放开始时间是预定的情况下，控制器16接收与每个静止图像的重放开始时间和重放时长(显示时间)有关的信息作为与幻灯片放映的重放内容有关的信息，如图4所示。在幻灯片放映中以定时关系再现音频数据的情况下，除了每个静止图像的重放开始时间和重放时长(显示时间)之外，控制器16还接收表示静止图像重放路径的播放项目上的重放开始时间作为音频重放时间信息，并且接收如参照图6所示出和说明的指定音频流中的重放域的信息。在静止图像的重放开始时间不是既定的且仅仅其重放顺序是既定的幻灯片放映的情况下，如参照图7所示出和说明，控制器16接收各个静止图像的重放顺序和缺省重放时间。在再现与幻灯片放映不同步的音频数据的情况下，除了各个静止图像的重放顺序和缺省重放时间之外，控制器16还接收指定音频流中的重放域的信息。还从静止图像编码器14向控制器16提供每个静止图像的数据大小以及诸如垂直和水平像素数的数据作为图像属性信息，以创制与包含在图像文件组中的各个静止图像相对应的图3所示的剪辑信息。
根据所提供的信息，控制器16使用在剪辑信息中表述的ID(file_id)创制表示前述静止图像和音频数据的重放路径的播放列表。控制器16还创制音频数据的剪辑信息(音频属性信息)，其中该信息具有播放项目上的音频数据的重放时间与音频流的最小访问单元(访问点)之间的对应关系的表(音频数据的EP_map)。
记录器17在记录介质18上记录剪辑信息和播放项目，同时根据这些信息记录数据。图11示出所记录的目录和数据文件的说明性结构。在图11中，路线100具有BDAV110和PICTURE120的目录，而BDAV110具有PLAYLIST111、CLIPINF112和STREAM113的目录。播放列表111包括多个播放列表文件111a到110c。CLIPINF112包括音频流的剪辑信息文件112a以及图像文件组的剪辑信息文件112b。STREAM113包括作为选项的副音频流(辅助音频流)文件113a。另外，PICTURE120例如包括由一组静止图像文件121到125构成的多个图像文件组120a。
图12A和12B示出剪辑信息和相关静止图像文件在记录介质(盘)上的数据安排的例子。在本实施例中，再现设备(播放器)以如图4和7所示出现在剪辑信息中的图像文件名(图像标识信息ID(file_id))的次序，读出和再现静止图像文件。也就是，在静止图像数据以播放器读出静止图像文件的次序排列在记录介质(盘)上的情况下，查找(seek)播放器数据所需的时间可以降至最小。因此期望可以以读出静止图像文件的次序在记录介质上写入静止图像数据。
以下说明本实施例的记录处理设备的记录操作。图13是示出用于在信息处理设备的本实施例的记录操作中创制播放列表的方法的流程图。首先，静止图像编码器14对通过端子13提供的静止图像进行编码以生成图像数据，然后将其提供给记录器17。静止图像编码器还将图像属性信息发送到控制器16。音频编码器11对通过端子10提供的音频数据进行编码以生成发送到记录器17的音频流。静止图像编码器14还将流属性信息发送到控制器16。
参照图13，控制器16获取幻灯片放映的重放内容(步骤S1)。也就是，在幻灯片放映和音频数据处于AV同步状态的情况下，如上所述，控制器接收每个静止图像的重放开始时间和重放时长以及以与静止图像具有定时关系的方式再现的音频数据的重放时长信息。如果相反幻灯片放映和音频数据不处于AV同步状态，则控制器16通过端子15接收有关各个静止图像的重放次序和缺省重放时长的信息以及有关音频数据的重放时间方向的信息。
然后，控制器16从静止图像编码器14接收图像属性信息(步骤S2)，同时从音频编码器11接收音频数据的音频流属性信息如EP_map(步骤S3)。然后，控制器16创制剪辑信息作为与前述图像属性信息有关的辅助信息(步骤S4)。也就是，以在幻灯片放映中再现的图像顺序登记静止图像的属性数据。另外，控制器引用剪辑信息的图像文件的file_id以根据从外界提供的外部信息创制指定幻灯片放映的重放域(重放路径)的播放列表，以及创制指定音频数据的重放路径的播放列表(步骤S5)。控制器16还命令记录器17在其中记录播放列表和剪辑信息。
记录器17在记录介质上记录由控制器16创制的播放列表和剪辑信息，同时在记录介质上记录分别由静止图像编码器14和音频编码器生成的图像数据和音频数据。记录器17记录图像数据，使得以出现在剪辑信息的播放项目中的图像文件次序排列该图像数据。
如上所述构造的作为记录设备的信息处理设备管理通过将一个或多个静止图像文件集中到一个文件内而产生的图像文件组，同时作为剪辑信息管理诸如标识信息(file_id)的信息，其中该信息管理包含在该文件中的各个静止图像，并且使用指定幻灯片放映中各个静止图像的再现的播放项目。因此，有可能记录实现幻灯片放映同时保证与例如现有技术例子2所述的活动图像记录设备的互换性。也就是，提供了静止图像组文件(图像文件组)来代替活动图像中的AV流文件。提供了用于引用图像文件组内的文件的剪辑信息文件，并且通过播放列表命令其重放以使其能够以活动图像数据的格式与剪辑(信息文件)或播放列表一样使用。
(1-5)信息设备(记录设备)的结构图14是示出用于再现在前述记录设备上记录的数据的信息处理设备的方框图。参照图14，信息处理设备20包括读出单元21，用于从记录介质读出数据；控制器22，向其提供由读出单元21读出的播放列表和剪辑信息；静止图像解码器23和音频解码器26，向其提供由读出单元21读出的静止图像数据和音频数据；帧缓冲器24，用于暂时存储经过解码的静止图像；以及处理器25，用于控制静止图像的重放。
控制器22参考播放列表以获得所要再现的ID(file_id)或静止图像数据，并且使静止图像解码器23读取由静止图像的ID指定的静止图像数据并对其进行解码。如果再现静止图像的重放开始时间不是预定的幻灯片放映，则通过用户接口27从用户向控制器22提供一个命令，从而可以通过用户命令的定时获取和读出静止图像数据的ID。在没有用户命令的情况下，当在播放列表中表述的再现时间(时长)或缺省重放时间(default_duration)过去时，控制器22执行获取静止图像ID的操作和读出操作。
控制器22参考播放列表以获取所要再现的音频数据的重放时间。控制器还参考音频流的剪辑信息以获取对应于重放时间的音频流的地址，从而命令读出单元21读出相关音频数据。
现在详细说明本信息处理设备的重放操作。图15是示出信息处理设备的本实施例中的重放操作的流程图。在图15中，读出单元21读出播放列表和剪辑信息以将所读出的信息发送到控制器22。控制器22获取标识指定播放列表的静止图像的重放路径的播放项目的静止图像的file_id。控制器22参考图像文件组的剪辑信息以使读出单元21从图像文件组读出静止图像文件(步骤S12)。
控制器22还根据表示播放列表的音频重放路径的播放项目，获取音频重放时间(步骤S13)。控制器22还参考图像文件组的剪辑信息，以指定由静止图像的前述file_id表示的静止图像文件，从而从读出单元21读出静止图像文件(步骤S12)。
控制器22还根据表示播放列表的重放路径的播放项目，获取音频重放时间(步骤S13)。控制器还参考作为副流(辅助音频流)的音频流，以获取开始对音频流文件中的流数据进行解码的地址信息。然后，控制器根据所获取的信息，管理由读出单元21从音频流文件读出音频数据的控制。
静止图像解码器23对在步骤S12读出的静止图像数据进行解码(步骤S15)，以将所解码的数据输入到帧缓冲器24。音频解码器26对在步骤S14读出的音频数据进行解码(步骤S16)，以输出解码音频数据。控制器22将预设命令发布到处理器25和帧缓冲器24。帧缓冲器24根据该命令以预设定时再现存储在其中的图像(步骤S17)。
在步骤S11，控制器22在下一个定时t1或t2获取静止图像的file_id。定时t1是所过去的静止图像的重放时长变得长于在指定播放列表的重放路径的播放项目的相关场景中表述的重放时长时的时刻。定时t2是当从用户接口27接收到切换静止图像的命令时的时刻。当播放项目的最后一个静止图像的重放结束时，控制器22终止播放列表的重放。
在图4和6所示的每个静止图像的重放开始定时是预定的情况下，控制器22能够在前述定时t1即在播放项目的场景中所述的时长过去时的时刻读出file_id，以命令读出单元21读出对应静止图像。当用户指定图7到9所示的每个静止图像的重放开始时间时，控制器22能够在前述定时t2即在从用户接收到切换静止图像的命令的时刻读出下一file_id，以命令对应静止图像的读出。在不提供静止图像切换命令的情况下，预设缺省重放时间(default_duration)过去时的时间点可以设为下一file_id的读出定时。
在如上所述构造的作为再现设备的信息处理设备中，提供了用于管理静止图像和音频数据的由播放列表和剪辑构成的两层作为用来实现幻灯片放映即静止图像连续再现的数据的格式。由于采用分立文件管理剪辑中的静止图像集、剪辑中的音频流和作为其辅助信息的剪辑信息文件，因此有可能提供与应用于前述现有技术例子2中所述的活动图像记录和/或再现的数据格式相同的格式。也就是，由于在剪辑中提供了由一个或多个静止图像构成的图像文件组和用于管理图像文件组的剪辑信息文件，由播放列表的播放项目指定幻灯片放映的重放域，因此可以实现幻灯片放映即多个静止图像的连续重放，同时保持与处理活动图像的信息处理设备的兼容性。
而且，读出所涉及的查找时间可以通过以在播放列表的播放项目中所表述的重放路径的次序记录静止图像而缩短。
(1-6)的变型在上面实施例中，包含在图像文件组中的一个或多个静止图像给有不同的图像文件名，并且作为分立图像文件集来管理图像文件组。可替换地，可以作为单个图像文件管理这些静止图像文件。下面说明第一实施中的变型，其中作为单个图像文件管理包含在图像文件组中的一个或多个静止图像。
在本变型中，图像文件组的图像文件分成多个包含一个或多个静止图像的图像文件组。这些静止图像文件组的文件以下称作静止图像组的文件。从静止图像组的重放顺序的开端开始顺序分配ID号。
在作为单个图像文件管理包含在图像文件组中的一个或多个静止图像的本变型中，有可能将同时表现的静止图像一起成组以作为一组进行管理。在上面参照图8所示的幻灯片放映的指定情况下，同时再现的两个静止图像即file_id＝1和file_id＝2被安排在一组中，而file_id＝3的静止图像被安排在一组中，并且同时再现的两个静止图像即file_id＝4和file_id＝5被安排在一组中。
在这种情况下，该结构不同于图7所示的播放列表的结构。图16示出本变型的播放列表与剪辑之间的关系。参照图16，如同图7，播放列表由表示静止图像的重放路径的播放项目构成。然而，播放项目具有页(Page)来代替图7所示的场景。需要注意的是，图7所示的场景包括指定播放项目中各个场景的重放次序的信息、引用剪辑中的图像文件组时的静止图像标识信息ID(file_id)、以及缺省重放时间。本变型中的页不同于前面实施例中的页之处是表述作为每个静止图像组的标识信息的ID(file_id)来代替作为场景的静止图像标识信息的ID(file_id)。在其他方面，页具有与场景相同的功能。也就是，页包括指定播放项目中各页的重放次序的信息、引用剪辑中的图像文件组时的静止图像组标识信息ID(file_id)以及各组的缺省重放时间(default_duration)。
在本实施例中，播放列表再次参考剪辑中的静止图像。剪辑信息指定由播放列表引用的静止图像与其实体之间的关系。也就是，播放列表参考用于标识剪辑中的静止图像的静止图像组标识信息ID(group_id)。剪辑信息指定按照静止图像组标识信息ID(group_id)而成组的静止图像在记录介质上的地址信息。再现设备获取该地址信息以读出和再现静止图像。
图17A和17B示出图16所示的本实施例中剪辑信息和相关静止图像文件在记录介质(盘)上的典型数据安排。如上所述，剪辑信息包括与每个静止图像组标识信息ID(group_id)相对应的成组静止图像的地址信息(ads1、ads2、ads3)。静止图像组数据以播放项目的重放顺序即以静止图像组标识信息ID(group_id＝1、2、3)的次序记录在记录介质上。
再现设备(播放器)以出现在剪辑信息中的静止图像组标识信息ID(group_id)的顺序读出和再现静止图像数据。与图像文件组是一组分立图像文件的情况相比，通过利用该静止图像文件结构，有可能减小用于文件管理的文件系统数据的数量。
(2)第二实施例下面说明本发明的第二实施例。在上述实施例中，图像文件组的静止图像或每个静止图像组中的图像数据直接记录在记录介质上。在本第二实施例中，图像数据是以传输流(TS)的形式来记录的。在将多个静止图像复用在一个传输流内时，这些静止图像由如参照图10所述的记录器17进行复用。
(2-1)幻灯片放映仅静止图像图18A和18B分别示出本实施例的剪辑信息和相关静止图像文件在记录介质(盘)上的数据安排。在此再次说明幻灯片放映，其中同时再现的一个或多个静止图像作为静止图像组来管理，指定重放次序，并且重放时间是其中每个静止图像的重放时间(幻灯片放映中静止图像的时长)是有限的缺省重放时间。
在各个静止图像组的图像数据复用在传输流中的本实施例中，剪辑信息包括EP_map作为指定成组静止图像的标识信息(group_id)与复用成组静止图像的传输流中的对应开始地址即起始源分组号(SPN_start)的表。同时，源分组号是以每次增1的方式提供给传输流文件中的每个源分组的号码，其中传输流文件中的起始源分组号为零。
如同上述第一实施例，当图像数据复用在流中时，记录设备按照重放顺序(读出次序)记录静止图像组中的图像数据。再现设备(播放器)以出现在该剪辑信息中的静止图像组标识信息ID(group_id)的次序读出和再现静止图像数据。对于静止图像文件的这一结构，传输流的结构可以方便地类似于在前述现有技术例子2中说明的AV流文件的结构，从而可以方便地使用具有类似特征的记录和/或再现设备。
对于图17所示的变型和图18所示的实施例，其中以数据再现次序排列数据，可以获得类似于图12的情况的有利效果。也就是，通过以播放器读出静止图像文件的次序在记录介质(盘)上排列静止图像数据，并且通过以所要读出的静止图像文件的次序写入静止图像数据，可以最小化在播放器中查找数据所涉及的时间。
(2-2)幻灯片放映静止图像和音频数据现在说明与幻灯片放映异步再现音频数据的幻灯片放映的情况。图19示出异步再现本实施例中的音频数据的情况下的播放列表。播放列表由表示静止图像的重放路径的播放项目和表示音频数据的重放路径的播放项目构成。该幻灯片放映不同于图9所示之处在于静止图像的重放路径是播放项目，而音频数据的重放路径是副播放项目。因此，在本实施例中，副播放项目具有重放开始时间In-time和重放结束时间Out-time，并且引用音频流中的重放开始和重放结束时间戳。播放项目包括作为构成幻灯片放映的各个静止图像数据的页。
再现设备参考剪辑信息以获取与重放开始时间IN-time和重放结束时间OUT-time相对应的音频流数据在记录介质上的地址信息。使用该地址信息，再现设备读出和再现该地址信息。音频重放的方案类似于图9所示的第一实施例。
除了以重放路径为示范的信息之外，还可以将以下称作重放辅助信息的辅助信息附加到副播放项目和副项目作为重放控制信息。本实施例中的副播放项目附加有第一信息(SubPlayItem_type)作为重放辅助信息，该信息表示副播放项目的重放与播放项目的重放异步。本实施例中的副播放项目还附加有一个标志(第二信息)(is_repeat_SubPlayItem标志)作为重放辅助信息，该信息表示由重放开始时间IN-time和重放结束时间OUT-time表示的音频流重放域是被重复地再现还是仅被再现一次。根据该第一信息SubPlayItem_type，再现设备确定副播放项目要与播放项目异步再现。例如，如果is_repeat_SubPlayItem为0或1，则重放域分别被再现一次或被重复地再现。
在前文中，假定这两种重放辅助信息具有静态数据格式并且辅助于副播放项目。可替换地，这两种重放辅助信息可以采用回放控制(所谓的PBC)命令格式的命令格式从属于副播放项目。例如，可以使用命令Repeat_SubPlayItem来代替标志is_repeat_SubPlayItem以将两种辅助信息从属于副播放项目。
(3)第三实施例下面说明本发明的第三实施例。在本第三实施例中，如静止图像的重放时间是预定的上述图4的幻灯片放映的第一实施例中或者仅仅指定了静止图像的重放顺序的图7或图16的幻灯片放映中的场景或页所述，指定单个重放路径的重放控制信息为单一播放项目，并且提供了多个与场景或页的数目相对应的播放项目。通过采用每个播放项目表示重放路径(一个重放域)，该结构类似于在现有技术例子2中所述的信息处理设备中的播放项目的结构，在现有技术例子2中，提供了安排到组中的AV流的重放域(由时轴上的一对IN-point(入点)和OUT-point(出点)表示的播放项目)，从而进一步提高了兼容性。
(3-1)幻灯片放映仅静止图像图20示出指定重放顺序并且各个幻灯片的重放时间(幻灯片的持续时长)是有限的幻灯片放映，并且具体示出播放列表、静止图像和重放时长之间的关系，其中使用播放项目来代替图7所示的场景或图19所示的页。在本实施例中，每个播放项目使用如图20所示的重放开始时间IN_time和重放结束时间OUT_time指定同时再现的各个静止图像或静止图像组的静止图像。更具体地说，图7或19所示的播放项目中的每个场景或页指定表示每个场景或页的时长的缺省重放时长(显示时长)default_duration，而在本实施例中，播放项目1相当于图19的页[1]，如图20所示，并且IN_time和OUT_time分别设为t1和t2。因此，由t1到t2表示的重放时长相当于缺省重放时长d1(default_duration)。另一方面，播放项目2的IN_time和OUT_time分别设为t2和t3。因此，由t2到t3表示的重放时长相当于缺省重放时长d2(default_duration)。而且，播放项目3的IN_time和OUT_time分别设为t3和t4。因此，由t3到t4表示的重放时长相当于缺省重放时长d3(default_duration)。
每个播放项目的IN_time和OUT_time表示AV流的重放范围，也就是，再现AV流中从IN_time的PTS直到OUT_time的PTS的静止图像数据。在图20所示的类型的幻灯片放映中，当再现给定播放项目的从IN_time的PTS直到OUT_time的PTS的静止图像数据时，播放器自动进入下一个播放项目的再现。
在图20所示的播放项目中，静止图像的缺省重放时间是有限的。然而，如果播放列表的产生者期望将缺省重放时间设成无限长度，则可以通过将指示在重放结束时间OUT_time连续显示重放图像的信息加到播放项目的信息来将缺省重放时间设为无限长度。如同上面现有技术例子2所述的信息处理设备的情况，可以将作为重放辅助信息的信息新加到播放项目。如例如图21所示，作为重放辅助信息的标志Is_Playtime_Still可以从属于播放项目，其中该标志表示是否要连续再现OUT_time的图像。如果该标志is_Playtime_Still设为1(也就是，如果default_duration无限)，则当再现了处于播放项目的重放结束时间OUT_time的PTS的图像时，再现设备继续显示图像。在这种情况下，除了在用户命令播放器进入幻灯片放映的下一个幻灯片的情况下，播放器不进入下一个幻灯片的重放。如果用户命令播放器进入下一个幻灯片，则播放器开始再现下一个播放项目。
通过使标志is_Playtime_Still从属于播放项目，可以在单个播放项目中共存具有有限缺省重放时间的播放项目和具有无限缺省重放时间的播放项目。图21示出播放项目1和播放项目3的重放时间无限而播放项目2的重放时间有限的例子。所有播放项目的重放时间也可以设为无限。
在前文中，表示继续显示OUT_time的重放图像的重放辅助信息是作为静态标志形式的数据从属于播放项目的数据。可替换地，重放辅助信息也可以采用回放控制命令(所谓的PBC)的形式从属于播放项目。具体地说，重放辅助信息也可以使用例如命令Still_PlayItem从属于播放项目。
图20和21的一个或多个静止图像所引用的由一个或多个静止图像构成的静止图像文件以图18所示的传输流的形式记录在记录介质上。由播放项目的重放开始时间IN_time和重放结束时间OUT_time表示的传输流的数据地址可以通过参考剪辑信息的EP_map来获取。图22和23示意性地示出播放列表及其剪辑信息以及记录在记录介质上的数据。
图22示出图20所示的播放项目的重放时长有限的情况。在传输流形式的静止图像文件中，由复用在一起的ABCD0001.JPG和ABCD0001.PNG组成的传输流对应于从t1到t2的表现时间戳PTS，由复用在一起的ABCD0002.JPG组成的传输流对应于从t2到t3的表现时间戳PTS，并且由复用在一起的ABCD0003.JPG和ABCD0003.PNG组成的传输流对应于从t3到t4的表现时间戳PTS。在从t1到t4的PTS范围内，静止图像和覆盖在其上的图形或字幕复用在传输流上。
与静止图像文件的传输流相关联记录在记录介质上的剪辑信息文件的EP_map是表示表现时间戳PTS的值与其表示的传输流中的源分组号之间的关系的表。也就是，本实施例中的EP_map保存由播放项目1、播放项目2和播放项目3的IN_time值即t1、t2和t3表示的源分组号的值。需要注意的是，上述第二实施例中图18所示的EP_map是表示多个静止图像组标识信息ID(Group_id)与当前讨论的信息开始的源分组号SPN_start之间的关系的表，而本实施例中图22所示的EP_map具有类似于上述现有技术例子2所示的EP_map的结构，也就是，表示静止图像的时间戳PTS_start与当前讨论的时间戳开始的源分组号SPN_start之间的对应关系的表的结构。
再现设备(播放器)读出和再现由播放项目引用的静止图像数据，也就是，由源分组号SPN_start指定的数据。采用静止图像文件的该结构，其中传输流在结构上相同于在上述现有技术例子2中说明的AV流文件，可以方便地使用具有类似结构的记录和/或再现设备。
对于图22所示的播放列表，静止图像的缺省重放时间设为有限值，其中缺省重放时长是由播放项目的重放开始时间IN_time和重放结束时间OUT_time指定的时间域。另一方面，图23所示的播放列表包含其中静止图像的缺省重放时间设为无限长度的播放项目。缺省重放时间为无限由附加到播放项目的is_PlayList_Still表示。
用户可以在不等待缺省重放时间过去的情况下，或者在缺省重放时间设为无限值的情况下在缺省重放时间的过程中途，命令再现设备进入下一个静止图像的重放。例如，如果再现设备正在再现播放项目1，并且用户命令再现设备再现下一个静止图像，则再现设备开始再现播放项目2。这种情况下的重放开始时间IN_time＝t2。记录设备从与EP_map的t2相对应的源分组号spn2所表示的源分组，读出和再现数据。
可以使用指定OUT_time的图像的重放暂停的信息和表示静止图像时长的信息来表示播放项目的静止图像的缺省重放时间。
例如，使用上述标志is_PlayItem_Still作为表示OUT_time的图像的重放暂停的信息，并且将指定静止图像时长的信息Still_duration加到is_PlayItem_Still标志。具体地说，当标志is_PlayItem_Still为1时，它表示暂停OUT_time图像的重放，使得静止图像的时长可以由Still_duration指定。如果静止图像Still_duration的时长设为预设值，则静止图像时长可以表示无限时长。例如，如果8比特值的静止图像时长为0xFF，则它表示静止图像时长是无限的，否则Still_duration的值指定静止图像的有限时长。静止图像时长值的单位可以例如为秒(sec)。
如果考虑对可选播放项目的随机访问，则由各个播放项目引用的传输流的部分不以源分组级别复用在传输流文件中是更方便的，因为重放播放项目所需的数据读出量因而可以被最小化。为此，形成传输流基础的同步信号(系统定时时钟(SystemTimeClock)STC对于由每个播放项目参考的传输流的一部分都是独立的。以这种方式，可以复用传输流同时使由每个播放项目引用的传输流部分在传输流文件中独立。
图24所示的剪辑信息文件具有类似于上述现有技术例子2的SequenceInfo(序列信息)。SequenceInfo是剪辑信息文件的辅助信息，并且是表示在传输流文件中开始的连续系统定时时钟STC的源分组号(SPN_STC_start)与该系统定时时钟STC的系统定时时钟索引号(stc_id)之间的对应关系的表。具有连续系统定时时钟STC的源分组串称作STC-sequence(STC序列)。
在这种情况下，除了重放开始时间IN_time和重放结束时间OUT_time之外，播放项目还具有由这些时间戳参考的对STC的引用值(ref_to_stc_id)，如图24所示。再现设备(播放器)使用EP_map和Sequence_Info来读出由播放项目引用的静止图像数据。
(3-2)幻灯片放映静止图像+音频数据每个重放域随同由播放列表表示的幻灯片放映一起再现音频数据的情况。
(3-2-1)同步再现的静止图像和音频数据首先，说明与如图22所示的静止图像播放列表同步再现音频数据的情况。在图6所示的上述第一实施例中，确定幻灯片放映中各个静止图像的重放开始时间和重放时长。副播放项目用于表示与静止图像的重放同步再现的音频数据的重放路径的音频重放控制信息。虽然副播放项目可以用作音频数据的重放部分，但是在静止图像复用到传输流的情况下，与静止图像同步再现的音频数据也可以与静止图像同步进行复用，因为这样只需读出一个流，并且有助于重放处理。
图25示出在传输流中复用与静止图像同步再现的音频数据并且与静止图像的重放同步再现音频数据的幻灯片放映的播放列表。在图22的情况下，在传输流中复用一个或多个静止图像。在本实施例中，与幻灯片放映同步再现的音频流随同静止图像一起复用在传输流中。使用剪辑信息的EP_map，再现设备(播放器)根据表现时间戳PTS读出由播放项目引用的静止图像数据和音频数据，从而以相互具有时间关系的方式再现和输出静止图像和音频数据。
下面说明图22到25的EP_map指向传输流文件(静止图像文件)中的源分组的两种方法。
在图26所示的EP_map中，由源分组号spn2指向包含与静止图像的重放开始时间PTS(＝t2)相对应的静止图像数据的第一视频分组‘V’。在这种情况下，在由EP_map指定的视频分组的后面复用覆盖在静止图像上(同步再现)的副图像信息如图形‘G’或字幕‘S’。
在包含与静止图像的重放开始时间的PTS(＝t2)相对应的静止图像数据的第一视频分组‘V’之前，作为MPEG2传输流的系统信息的PAT(节目关联表)和PMT(节目映射表)被复用在TS文件中，如图27所示。包含PAT的分组例如可以由EP_map的源分组号spn2表示。
(3-2-2)与音频数据的重放异步再现的静止图像下面说明与静止图像的播放列表异步再现音频数据的情况。图28示出其中异步再现音频数据的可浏览幻灯片放映的播放列表。播放列表由指定静止图像的重放路径的多个播放项目和指定音频数据的重放路径的副播放项目构成。类似于图19所示的第二实施例，副播放项目的重放开始时间IN_time和重放结束时间OUT_time分别由音频流中的重放开始时间戳和重放结束时间戳表示。
再现设备参考剪辑信息以获取与副播放项目的IN_time和OUT_time相对应的音频流在记录介质上的数据地址信息。使用该地址信息，再现设备读出和再现音频数据。音频重放的方案类似于图9所示的第一实施例。如同图19所示的实施例，播放列表的产生者可以将重放辅助信息加到播放项目。具体地说，附加表示由音频流的重放开始时间IN_time和重放结束时间OUT_time指定的重放域是被重复地再现还是仅被再现一次的标志(is_repeat_SubPlayItem标志)以及指定要与播放项目的重放异步再现副播放项目的信息(SubPlayItem_type)作为重放辅助信息。重放辅助信息也可以如前所述以回放控制命令的形式附加到副播放项目。
在这种情况下，记录设备能够通过下面三种方法来再现副播放项目。第一方法在读出两个文件即由播放项目引用的静止图像文件和由副播放项目引用的音频流文件的数据时以分时方式交替读出各个文件。当从记录介质交替读出这两个文件的数据时，再现设备在这种情况下再现静止图像和音频数据。
第二方法首先读出由副播放项目引用的音频流文件的全部数据，以将所读出的数据存储在再现设备的缓冲存储器中。然后，从记录介质读出由播放项目引用的静止图像数据。再现设备从记录介质读出静止图像数据，同时从缓冲存储器读出音频数据，以再现静止图像和音频数据。
第三方法首先读出由播放项目引用的静止图像文件的全部数据，以将所读出的数据存储在再现设备的缓冲存储器中。然后，从记录介质读出由副播放项目引用的音频流。再现设备从记录介质读出音频流，并且当它从缓冲存储器读出静止图像时，再现静止图像和音频数据。
上面第二和第三方法分别在由副播放项目引用的音频流文件的字节大小大的情况下和在由副播放项目引用的静止图像文件的字节大小小的情况下有效。
作为一个实际例子，如果数据大小的数量级为若干兆字节(Mbyte)，则在重放之前可以将全部文件数据读出到缓冲存储器中。如果当应用可浏览幻灯片放映时音频重放是BGM(背景音乐)并且重复执行副播放项目的重放，则上述第二方法是有效的，因为比特速率为256kbps持续大约65秒的音频流的数据大小近似为2兆字节(Mbyte)。
现在说明采用上述第一方法读出的情况下的播放器模型。图29是示出采用上述第一读出和再现方法的再现设备的方框图。采用该方法，当从驱动器(记录介质)读出两个文件即由播放项目引用的主传输流(静止图像文件)(以下称作主TS)和由副播放项目引用的音频传输流(以下称作音频TS)的数据时，交替读出各个文件。随后将详细说明本实施例的传输流的结构。
再现设备从记录介质交替读出两个文件(主TS和音频TS)，以再现静止图像和音频数据。由读出单元31读出的文件数据由解调器-ECC解码器32进行解调。对经过解调的复用流进行纠错。主TS文件的源分组数据由主TS的读取缓冲器33进行缓冲，而音频TS文件的源分组数据由音频TS的读取缓冲器34进行缓冲。
将从主TS的读取缓冲器33读出的流数据提供给随后将要说明的主TS的播放器35(BDAV MPEG2 TS播放器模型1)。主TS的播放器35在预设定时(传输速率RTS_m)将以传输速率RMAX从主TS的读取缓冲器33读出的流数据输出到主TS的PID(分组ID)过滤器(filter)37。将从音频TS的读取缓冲器34读出的流数据提供给后面将要描述的音频数据播放器36(BDAV MPEG2 TS播放器模型2)。音频数据播放器36在预设定时(传输速率RTS_a)将以传输速率RA从音频TS的读取缓冲器34读出的流数据输出到下游侧级的音频数据下游侧PID过滤器39。
主数据的PID过滤器37根据PID(分组ID)将输入主TS分配并输出到各个基本流的下游侧解码器。也就是，将系统信息如静止图像(视频)、副画面信息如图形和副字幕、主TS的PSI(节目特定信息)或SI(服务信息)分配到传输缓冲器TB1、TB2和TBsys1。同时，SI也被分组化(packetize)到传输分组，并且可以以SIT(选择信息表)为示范。静止图像的传输分组以预设速率Rx1从传输缓冲器TB1发送到复用缓冲器MB，因此作为基本流EB以预设速率Rbx1进行传输，从而在由解码器D1解码之后进行输出。副画面信息的传输分组以预设速率Rx2从传输缓冲器TB2发送到缓冲器B2，从而在由解码器D2解码之后进行输出。系统信息的传输分组以预设速率Rxsys从传输缓冲器TBsys1传输到缓冲器Bsys1，从而在由解码器Dsys1解码之后进行输出。
以类似的方式，音频数据的PID过滤器38根据PID(分组ID)将输入音频传输流分配和输出到各个基本流的下游侧解码器。也就是，音频的传输分组以预设速率从传输缓冲器TB4传输到主缓冲器B4，并且在由解码器D4解码之后输出。音频TS的系统信息的传输分组以预设速率Rxsys2从传输缓冲器TBsys2传输到缓冲器Bsys2，因此以预设速率Rsys传输到解码器Dsys2，其中对它进行解码并且输出。
音频开关(音频SW)39安设在音频数据的PID过滤器38与传输缓冲器TB4和TBsys之间。该音频开关39在再现例如图25所示的时基模式的幻灯片放映的情况与再现例如图23和24所示的可浏览模式的幻灯片放映的情况之间进行切换控制。也就是，音频开关39包括从主TS的读取缓冲器33向其提供数据、连接到主数据的PID过滤器37的时基模式开关SWT，以及从音频TS的读取缓冲器34向其提供数据、连接到音频数据的PID过滤器38的可浏览模式开关SWB。音频开关在这些开关之间切换以将音频流发送到传输缓冲器TB4。例如，在可浏览幻灯片放映的情况下，音频开关39设为可浏览模式开关SWB这一侧，在这种情况下，音频流通过音频数据的过滤器38从音频TS的读取缓冲器34提供到音频解码器D4。在例如图25所示的时基幻灯片放映的情况下，其中在主TS上复用音频流，音频开关39设成时基模式开关SWT这一侧，在这种情况下，通过主数据的过滤器37将音频流从主TS的读取缓冲器33提供到传输缓冲器TB4或TBsys2。
现在说明基本流的解码器。TBn、MB、EB、TBsys、Bsys、Rxn、Rbxn、Rxsys、Dn和Dsys的表示方法与T-SCD(系统目标解码器)ISO/IEC13818-1(MPEG2系统标准)中所定义的相同，并且如下所述TBn(n＝1到5)基本流的传输缓冲器MB视频流的复用缓冲器EB视频流的基本流缓冲器TBsys正被解码节目的系统信息的输入缓冲器Bsys正被解码节目的系统信息的系统目标解码器中的主缓冲器Rxn从TBn移走数据的传输速率Rbxn从MBn移走PES分组有效载荷的传输速率(仅对视频流有效)Rxsys从TBsys移走数据的传输速率Dn基本流n中的解码器Dsys与正被解码节目的系统信息有关的解码器现在说明图29所示的主TS的播放器35(BDAV MPEG2 TS播放器1)和音频数据的播放器36(BDAV MPEG2 TS播放器2)。图30A和30B是示出主TS的播放器35和音频数据的播放器36的方框图。
参照图30A，在主TS的播放器35中从前一级的主TS读取缓冲器33读出的源分组数据以比特速率Rmax提供给源解分组器(depacketizer)41，其中Rmax是主TS文件的源分组流的比特速率。
到达定时时钟计数器42是用于对从脉冲振荡器43(27MHz晶体振荡器(X-tal))输出的频率为27MHz的脉冲进行计数的二进制计数器。到达定时时钟计数器在时间(i)输出计数值Arrival_time_clock(i)。
主TS和音频TS均由以包括传输分组及其到达时间戳的源分组为单元的数据串组成。源分组包括传输分组及其arrival_time_stamp(到达时间戳)(ATS)。arrival_time_stamp是表示相应传输分组到达解码器的时间的时间戳。根据构成每个流的每个源分组的arrival_time_stamp形成的时轴称作到达时基，其时钟称作ATC(到达定时时钟)。
当从该主TS读出的当前源分组的arrival_time_stamp等于到达定时时钟计数器42的计数值arrival_time_clock(i)的LSB侧30比特时，从源解分组器41输出源分组的传输分组。RTS_m是主TS的比特速率。
在音频数据的播放器36中，从前一级的音频TS读取缓冲器34读出的源分组数据以比特速率RA发送到源解分组器44，如图30B所示。比特速率RA是音频TS文件的源分组流的比特速率。
到达定时时钟计数器45和脉冲振荡器46类似于主TS的播放器35工作。源解分组器44类似于主TS的播放器35工作。也就是，当当前源分组的arrival_time_stamp等于到达定时时钟计数器45的计数值arrival_time_clock(i)的LSB侧30比特时，从源解分组器44输出源分组的传输分组。RTS_A是音频TS的比特速率。
图31示出可浏览模式的幻灯片放映的缓冲器模型的概念。在可浏览模式中，当以RUD的速率从驱动器交替读出由播放项目引用的作为静止图像文件的主TS文件以及由副播放项目引用的音频TS文件时，需要保证主TS的源分组流的比特速率RMAX以及音频TS的源分组流的比特速率RA。为此，当在分别由图10的静止图像编码器14和音频编码器11编码之后记录主TS和音频TS时，必须对各个比特速率的上限值施加限制。
图32A和32B是示出在图29所示的可浏览模式的幻灯片放映的期间基本流缓冲器EB(视频码缓冲器)以及音频码缓冲器B4的典型比特占用量的图。在图32A和32B中，纵坐标表示视频码缓冲器的缓冲器占用率和音频码缓冲器的缓冲器占用率，而横坐标表示主TS和音频TS的系统定时时钟STC。
在图32A中，启动延迟表示从第一视频分组的输入时间tv直到在基本流缓冲器EB中缓冲I图像即对时间戳(DTS)进行解码的时间。当在可浏览模式中用户跳至下一个幻灯片时，开始输入前述第一视频分组。在图32A和32B中，斜度kEB表示视频缓冲器EB的输入速率，而斜度kB4表示音频缓冲器B4的输入速率。同时，斜度kEB为零且视频码占用率不变的时间意味着正在读出辅助图像信息如图形或字幕的时间。
如果保证以比特速率RMAX读出主TS的源分组流，则可以在图29所示的下游侧级的视频解码器D1中对静止图像进行解码，从而经过解码的静止图像将处于预设解码定时的时间内。而且，如果保证以比特速率RA读出音频TS的源分组流，则在图29所示的下游侧级的音频解码器D4中，可以在预设解码定时的时间内对音频数据进行解码。
图33示意性地示出用于在可浏览模式的幻灯片放映中同时读出主TS和音频TS的方法的模型。
假定主TS和音频TS连续排列在盘上。在这种情况下，如下交替读出主TS和音频TS(1)从主TS读出预设数据量X；(2)跳至音频TS的预设数据位置；(3)从音频TS读出预设数据量Y；(4)跳至主TS的预设数据位置，并且从主TS读出预设数据量X。
在一次读取操作中从主TS读出的数据量X是主TS读取缓冲器33的必要大小。在一次读取操作中从音频TS读出的数据量Y是音频TS读取缓冲器34的必要大小。下面所示的方程描述用于计算对于主TS的读取缓冲器33和音频TS的读取缓冲器34所需的大小的方程x=RMAX×(2×Tj+yRUD)]]>y=RA×(2×Tj+yRUD)]]>其中，x是对于主TS的读取缓冲器33所需的大小＝通过一次读取操作从主TS读出的数据量；y是对于音频TS的读取缓冲器34所需的大小＝通过一次读取操作从音频TS读出的数据量；Tj跳转时间；RUD是从驱动器读出的比特速率；RMAX是音频TS的源分组流的比特速率；以及RA是音频TS的源分组流的比特速率。
例如，如果从驱动器读出的比特速率RUD是54Mbps，跳转时间Tj是0.8秒，音频TS的源分组流的比特速率RMAX＝20Mbps，并且音频TS的源分组流的比特速率RA是640kbps，则对于主TS的读取缓冲器33所需的大小x是4.06兆字节，并且对于音频TS的读取缓冲器34所需的大小y是0.176Mbps。
(3-3)静止图像数据的其他例子在参照图23的说明中，静止图像的数据格式是JPEG、PNG。然而，数据格式也可以是其他静止图像数据格式如MPEG2I图像、GIF或JPEG2000。图34示出在传输流上复用MPEG2I图像(帧内编码图像)的情况。具体地说，图34示出当使用I图像(帧内编码图像)作为静止图像数据时的播放列表、剪辑信息和记录在记录介质上的数据结构。该数据结构不同于图23所示之处仅在于图像是I图像(帧内编码图像)，其中播放列表和EP_map与传输流之间的关系不变。在这种情况下，可以如同图28所示的情况附加表示相对于播放列表的音频数据重放路径的副播放项目。
以类似方式，在图22的说明中静止图像的数据格式是JPEG、PNG。然而，也可以使用诸如MPEG1I图像、GIF或JPEG2000的静止图像数据格式。而且，在这种情况下，可以以相同于图25所示的情况的方式在传输流文件(静止图像文件)上复用音频数据。
以下说明图34的EP_map指向传输流文件(静止图像文件)中的源分组的两种方法。在图35所示的传输流文件中，每个I图像以序列首标(sequence header)开始，并且，如同前述现有技术例子2的说明，由EP_map指向包括序列首标的第一分组的分组。
在这种情况下，在由EP_map指定的视频分组的后面复用覆盖在静止图像上(同步再现)的图形‘G’或字幕‘S’。
在图36所示的传输流文件中，在包含序列首标的第一字节的分组之前复用作为MPEG2传输流的系统信息的PAT和PMT，并且由EP_map指向包含该分组的分组。
如果在传输流文件(静止图像文件)中I图像和覆盖在其上的图形或字幕被复用在传输流上，则表示为I图像的数据结构可以具有以下两种结构中的任一种。第一种结构是序列结束码直接跟随在单一I图像之后的这样一种结构。第二种结构是作为视频序列对静止图像进行编码的这样一种结构，其中对相当于播放项目重放时间的多个图像进行编码。也就是，第二种结构是由I图像、多个P图像(帧内前向预测编码图像)和多个B图像(帧内双向预测编码图像)组成的这样一种结构。从I图像预测的P图像和B图像对作为视频的静止图像进行编码，因此不具有预测数据，从而使用所谓的被跳过MPEG2宏块对这些P图像和B图像进行编码。在上述第一和第二结构中，I图像之前为序列首标。
本实施例的用于幻灯片放映的播放项目和如上述现有技术例子2所述的用于再现活动图像的播放项目可以共存于单一播放列表中。因而，用户可能能够在再现单一播放列表中享用活动图像的重放和静止图像的重放。
(3-4)信息处理设备(记录设备)的结构在图20到36所示的本发明上述第三实施例中，记录设备(信息处理设备)可以如同第一实施例来构造。也就是，参照图10，信息处理设备1包括静止图像编码器14，通过端子13向其提供静止图像以对该图像进行编码；音频编码器11，通过端子11向其提供静止图像以对该数据进行编码；控制器16，从静止图像编码器14和音频编码器11向其提供图像属性信息和音频属性信息，以生成前述播放列表和剪辑信息；以及记录器17，从控制器16向其提供播放列表和剪辑信息，用于在诸如蓝光(Blu-ray)的记录介质上记录，并且用于在记录介质上以预设格式记录静止图像和音频数据。
在每个静止图像的重放开始时间是预定的情况下，控制器16接收每个静止图像的重放开始时间和重放时长(显示时长)作为与幻灯片放映的重放内容有关的信息。如果如图25所示与幻灯片放映同步再现音频，则控制器接收与每个静止图像同步再现的音频数据的重放开始时间和重放时长(显示时长)。如果如前述图21所示幻灯片放映为每个静止图像的重放开始时间不是既定的而仅有其重放顺序是既定的幻灯片放映，则控制器接收每个静止图像的重放顺序和缺省重放时间。在幻灯片放映是再现与幻灯片放映不同步的音频数据的幻灯片放映的情况下，除了各个静止图像的重放顺序和缺省重放时间之外，控制器还接收表示音频流中的重放域的信息，如图28所示。还向控制器16提供各个图像的重放时间(PTS_start)以及对应源分组号(SPN_start)作为图像属性信息，以创制与图22所示的EP_map相对应的剪辑信息。
根据所提供的信息，控制器16引用在该剪辑信息中表述的各个图像的重放时间(PTS_start)，以创制表示静止图像和音频数据的重放路径的播放列表。在可浏览幻灯片放映的情况下，控制器创制音频数据的剪辑信息(音频属性信息)，其包括指定音频数据的重放时间与音频流的最小访问单元的地址(访问点)之间的关系的表(音频数据的EP_map)。
记录器17在记录介质18上记录剪辑信息和播放项目，同时根据该信息记录数据。
现在说明本实施例的信息处理设备的记录操作。图37是示出用于在本实施例的信息处理设备的记录操作中创制播放列表的方法。首先，静止图像编码器14对通过端子13提供的静止图像进行编码以生成图像数据，然后将其发送到记录器17。图像属性信息被发送到控制器16。音频编码器11对通过端子10提供的音频数据进行编码以生成音频流，然后将其提供给记录器17。音频编码器还将图像属性信息发送到控制器16。
参照图37，控制器16获取幻灯片放映的重放内容(步骤S21)。也就是，当幻灯片放映与音频数据相互AV同步时，如上所述，控制器接收每个静止图像的重放开始时间和重放时长以及与以与之具有定时关系的方式再现的音频数据的重放时间有关的信息。在幻灯片放映与音频数据不相互AV同步的情况下，控制器通过端子15接收各个静止图像的重放顺序和缺省重放时间以及音频重放时间信息。
然后，控制器16从静止图像编码器14接收图像属性信息如EP_map(步骤S22)，同时从音频编码器11接收音频属性信息如音频的EP_map(步骤S23)。控制器16根据图像属性信息创制剪辑信息作为与传输流文件(静止图像文件)有关的属性信息(步骤S24)。也就是，控制器在EP_map中登记在幻灯片放映中再现的图像重放时间(PTS_start)以及对应的源分组号(SPN_start)。控制器还参考剪辑信息的EP_map的图像重放时间(PTS_start)以根据从外界提供的外部信息创制表示幻灯片放映的重放域(重放路径)的播放列表，同时创制表示音频数据重放路径的播放列表(步骤S25)。另外，控制器16还命令记录器17记录播放列表和剪辑信息。
记录器17在记录介质18上记录在控制器16中创制的播放列表和剪辑信息，同时还在该记录介质上记录在静止图像编码器14和音频编码器中生成的图像数据和音频数据。此时，记录器17在记录介质18上连续记录传输流文件(静止图像文件)。
在如上所述构造的作为记录设备的信息处理设备中，作为由一起集中在一个文件内的一个或多个静止图像组成的传输流文件(静止图像文件)，管理一个或多个静止图像，同时作为剪辑信息管理EP_map的信息，其中EP_map管理包含在该文件中的各个静止图像。使用指定幻灯片放映中各个静止图像的重放的播放项目。因此，有可能记录实现幻灯片放映的数据，同时保持与在前述现有技术例子2中表述的活动图像记录设备的兼容性。也就是，代替活动图像中的AV流文件来提供静止图像的传输流文件。通过提供用于引用传输流文件中的静止图像的剪辑信息文件，并且通过由播放列表指定其重放，可以与采用活动图像数据格式的剪辑(信息文件)和播放列表一样使用该剪辑(信息文件)和播放列表。
(3-5)信息处理设备(再现设备)的结构。
作为本实施例的记录设备的信息处理设备可以类似于第一实施例来构造。也就是，参照图14，信息处理设备20包括读出单元21，用于从记录介质读出数据；控制器22，向其提供从读出单元21读出的播放列表和剪辑信息；静止图像解码器23和音频解码器26，分别向其提供由读出单元21读出的静止图像数据和音频数据；帧缓冲器24，用于暂时存储经过解码的静止图像；以及处理器25，用于控制静止图像的重放。
控制器22参考播放列表以获得所要再现的静止图像数据的IN_time，并且使静止图像解码器23读出由所获取静止图像数据的IN_time指定的静止图像数据并且对其进行解码。需要注意的是，在再现静止图像的重放时间设为无限的幻灯片放映中，通过用户接口27向控制器22提供用户命令，从而可以通过用户命令的定时获取接下来再现的静止图像数据的IN_time以实现读出操作。在没有用户命令的情况下，获取接下来再现的静止图像数据的IN_time以实现读出操作。
在可浏览幻灯片放映的情况下，控制器22参考播放列表以获取所再现音频数据的重放时间。控制器22参考音频流的剪辑信息以获取对应于重放时间的音频流地址并且命令读出单元21读出相关音频数据。
现在详细说明本信息处理设备的操作。图38是示出信息处理设备的本实施例中的重放操作的流程图。参照图14，读出单元21读出播放列表和剪辑信息以将所读出的信息发送到控制器。控制器22获取辨别播放列表中指定静止图像重放路径的播放项目的静止图像的IN_time(步骤S31)。控制器22参考剪辑信息的EP_map以指定由静止图像的IN_time表示的静止图像文件，从而由读出单元21从传输流文件读出静止图像文件(步骤S32)。
在可浏览幻灯片放映的情况下，控制器22根据播放列表中的指定音频重放路径的播放项目获取音频重放时间(步骤S33)。控制器22参考副音频流(辅助音频流)的剪辑信息，以获取通过其发起对音频流文件中的流进行解码的地址信息。然后，控制器根据所获取的地址信息管理由读出单元21读出音频数据的控制(步骤S34)。
在步骤S35，静止图像解码器23对在步骤S32读出的静止图像数据进行解码，并且将经过解码的图像发送到帧缓冲器24。在步骤S36，音频解码器26对在步骤S14读出的音频数据进行解码，以输出经过解码的音频数据。控制器22将预设命令发送到处理器25。帧缓冲器24根据该命令以预设定时再现存储在其中的图像(步骤S37)。
在步骤S31，控制器22在定时x1或x2获取接下来再现的播放项目的静止图像的IN_time，其中定时x1是当前再现的播放项目的静止图像的所过去缺省重放时间，而定时x2是当从用户接口27接收到切换静止图像的命令的时刻。当再现了播放项目的最后一个静止图像时，播放列表的重放结束。
也就是，如果图20所示的每个静止图像的重放开始时间是预定的，则在定时x1，即在播放项目的default_duration的有限时间过去的时刻，读出接下来再现的播放项目的静止图像的IN_time。然后，控制器22能够发出命令到读出单元21以读出相应静止图像。如果在如图21所示设置了无限default_duration的播放项目中，允许用户指令静止图像的切换，控制器能够在接收到切换静止图像的用户指令的时刻读出接下来再现的静止图像如播放项目的IN_time，以指令相应静止图像的读出。
本发明不限于上述实施例，并且可以在不脱离本发明的主旨的范围内根据需要对其进行更改。例如，虽然在上述实施例中记录设备与再现设备是分离的，但是也可以使用记录和/或再现设备。虽然上述实施例引用硬件结构，但是这仅是说明性的，并且可以通过让CPU(中央处理单元)执行相应计算机程序来实现可选处理。在这种情况下，该计算机程序可以采用记录在记录介质上的形式或者通过传输介质如因特网传输的形式来提供。
工业适用性上面详述的信息处理设备包括属性信息创制装置，用于创制管理形成静止图像集的一个或多个静止图像中的每个静止图像的图像属性信息；重放控制信息创制装置，用于创制表示重放路径的重放控制信息，其中该重放路径指定该静止图像集中的至少一部分静止图像的重放；记录装置，用于在记录介质上记录该静止图像集、与之对应的图像属性信息以及重放控制信息；再现装置，用于从记录介质读出和再现静止图像；以及控制装置，用于根据重放控制信息参考图像属性信息以控制再现装置。重放控制信息创制装置使用图像属性信息创制重放控制信息。因此，图像属性信息和重放控制信息与静止图像集分开地记录在记录介质上，从而，在从记录装置读出并再现静止图像中，可以首先读出图像属性信息和重放控制信息，并且可以以预设次序生成静止图像集的各个静止图像，这样可以容易地实现静止图像的连续重放(所谓的幻灯片放映)。
权利要求
1.一种信息处理设备，包括属性信息创制装置，用于创制管理由一个或多个静止图像构成的静止图像集中的所述各个静止图像的图像属性信息；重放控制信息创制装置，用于创制指定所述静止图像集的重放路径的重放控制信息；以及记录装置，用于记录所述静止图像集、与所述静止图像集相关联的所述图像属性信息、以及与所述静止图像集相关联的所述重放控制信息；其中其重放由所述重放控制信息控制的静止图像根据所述图像属性信息与记录在所述记录介质上的所述静止图像相关。
2.根据权利要求1所述的信息处理设备，其中所述图像属性信息包括包含在所述静止图像集中的各个静止图像的标识信息、文件名、数据大小以及垂直和水平方向上的像素数。
3.根据权利要求1所述的信息处理设备，其中所述重放控制信息包括指定每个静止图像的重放开始时间的信息，以及指定每个静止图像的显示时间的信息。
4.根据权利要求3所述的信息处理设备，其中所述重放控制信息包括表示多个静止图像的同时重放的信息。
5.根据权利要求3所述的信息处理设备，其中所述重放控制信息创制装置创制指定与所述静止图像同时再现的音频流的重放的音频重放控制信息；所述记录装置在所述记录介质上记录所述音频流及其对应音频重放控制信息。
6.根据权利要求5所述的信息处理设备，其中所述属性信息创制装置创制表示表明所述音频流的重放开始时间的表现时间戳与其对应的所述音频流中的地址之间的对应关系的音频属性信息；所述重放控制信息创制装置采用所述音频属性信息以创制所述音频重放控制信息。
7.根据权利要求1所述的信息处理设备，其中所述重放控制信息包括指定每个静止图像的重放顺序的信息。
8.根据权利要求7所述的信息处理设备，其中所述重放控制信息包括指定每个静止图像的缺省显示时间的信息。
9.根据权利要求7所述的信息处理设备，其中所述重放控制信息创制装置创制表示重放路径的音频重放控制信息，其中该重放路径指定音频流时轴上的重放开始时间和重放结束时间；所述记录装置在所述记录介质上记录所述音频流及其对应音频重放控制信息。
10.根据权利要求1所述的信息处理设备，其中所述重放控制信息创制装置根据外界命令创制重放控制信息。
11.根据权利要求1所述的信息处理设备，其中所述记录装置以由所述重放控制信息表示的重放顺序记录所述静止图像。
12.根据权利要求1所述的信息处理设备，其中所述重放控制信息包括指定多个所述静止图像的同时重放的信息，并且其中所述图像属性信息对于每个由一个或多个同时再现的静止图像构成的静止图像组逐一管理由所述同时再现的静止图像组成的静止图像集。
13.根据权利要求1所述的信息处理设备，还包括复用装置，用于将所述静止图像集复用到传输流中。
14.根据权利要求13所述的信息处理设备，还包括编码装置，用于对所述传输流进行编码，同时施加限制从而实现所述传输流的预设比特速率。
15.根据权利要求13所述的信息处理设备，其中所述图像属性信息包括表示用于标识其重放被控制在相同时轴部分上的静止图像集的标识信息与传输流中开始记录每个静止图像组的地址之间的对应关系的表。
16.根据权利要求1所述的信息处理设备，其中所述重放控制信息创制装置创制表示控制与所述静止图像同时再现的音频流的重放的重放路径的重放控制信息；所述记录装置在所述记录介质上记录所述音频流及其相应音频重放控制信息；所述音频重放控制信息包括表示与所述静止图像的重放不同步的第一辅助信息或者表示是否要重复再现所述重放路径的第二辅助信息。
17.根据权利要求7所述的信息处理设备，其中所述重放控制信息包括指定每个静止图像的重放开始时间和重放结束时间的信息。
18.根据权利要求8所述的信息处理设备，其中所述静止图像的缺省显示时间设为有限或无限值。
19.根据权利要求13所述的信息处理设备，其中所述图像属性信息包括表示表明每个静止图像的重放开始时间的表现时间戳与流数据中的地址之间的对应关系的表。
20.根据权利要求19所述的信息处理设备，其中所述复用装置在所述传输流上复用与每个静止图像具有定时关系再现的辅助信息。
21.根据权利要求19所述的信息处理设备，其中所述复用装置在所述传输流上复用与每个静止图像具有定时关系再现的字幕信息。
22.根据权利要求19所述的信息处理设备，其中所述复用装置在所述传输流上复用与每个静止图像具有定时关系再现的音频信息。
23.根据权利要求19所述的信息处理设备，其中所述静止图像在帧内编码图像中进行编码。
24.根据权利要求19所述的信息处理设备，其中所述重放控制信息创制装置创制表示控制与所述静止图像异步再现的音频流的重放的重放路径的音频重放控制信息；所述记录装置在所述记录介质上记录所述音频流及其对应音频重放控制信息。
25.根据权利要求19所述的信息处理设备，其中所述图像属性信息包括与对应于所述表现时间戳的系统定时时钟有关的信息。
26.根据权利要求17所述的信息处理设备，其中所述重放控制信息包括表示是否可以继续再现所述重放结束时间的图像的第一辅助信息以及在通过所述第一辅助信息可以继续显示图像的情况下表示显示时间的第二辅助信息。
27.根据权利要求1所述的信息处理设备，其中所述静止图像集和所述图像属性信息是一个对象，并且以剪辑为单元进行管理。
28.一种信息处理方法，包括属性信息创制步骤，创制管理由一个或多个静止图像构成的静止图像集中的所述各个静止图像的图像属性信息；重放控制信息创制步骤，创制指定所述静止图像集的重放路径的重放控制信息；以及记录步骤，记录所述静止图像集、与所述静止图像集相关联的所述图像属性信息、以及与所述静止图像集相关联的所述重放控制信息；其中其重放由所述重放控制信息控制的静止图像根据所述图像属性信息与记录在所述记录介质上的所述静止图像相关。
29.根据权利要求28所述的信息处理方法，其中所述图像属性信息包括包含在所述静止图像集中的各个静止图像的标识信息、文件名、数据大小以及垂直和水平方向上的像素数。
30.根据权利要求28所述的信息处理方法，其中所述重放控制信息包括指定每个静止图像的重放开始时间的信息，以及指定每个静止图像的显示时间的信息。
31.根据权利要求30所述的信息处理方法，其中所述重放控制信息创制步骤创制指定与所述静止图像同步再现的音频流的重放的重放路径的音频重放控制信息；并且其中所述记录步骤在所述记录介质上记录所述音频流及其对应音频重放控制信息。
32.根据权利要求28所述的信息处理方法，其中所述重放控制信息包括指定各个静止图像的重放顺序的信息。
33.根据权利要求32所述的信息处理方法，其中所述重放控制信息创制步骤创制表示重放路径的音频重放控制信息，其中该重放路径指定音频流时轴上的重放开始时间和重放结束时间，并且其中所述记录步骤在所述记录介质上记录所述音频流及其对应音频重放控制信息。
34.根据权利要求28所述的信息处理方法，其中，在所述记录步骤中，以由所述重放控制信息指定的重放顺序记录所述静止图像。
35.一种用于让计算机执行预设操作的程序，所述程序包括属性信息创制步骤，创制管理由一个或多个静止图像构成的静止图像集中的所述各个静止图像的图像属性信息；重放控制信息创制步骤，创制指定所述静止图像集的重放路径的重放控制信息；以及记录步骤，记录所述静止图像集、与所述静止图像集相关联的所述图像属性信息、以及与所述静止图像集相关联的所述重放控制信息；其中其重放由所述重放控制信息控制的静止图像根据所述图像属性信息与记录在所述记录介质上的所述静止图像相关。
36.一种信息处理设备，包括再现装置，用于从其上记录有由一个或多个静止图像组成的静止图像集、与所述静止图像集相关联的所述图像属性信息以及与所述静止图像集相关联的所述重放控制信息的记录介质再现由一个或多个所述静止图像构成的所述静止图像集的至少一部分静止图像；以及控制装置，用于根据所述重放控制信息，参考所述图像属性信息控制所述再现装置；所述图像属性信息包括管理所述静止图像集中的各个静止图像的信息；所述重放控制信息表示所述静止图像集的重放路径；其重放由所述重放控制信息控制的静止图像根据所述图像属性信息与记录在所述记录介质上的静止图像相关联。
37.根据权利要求36所述的信息处理设备，其中所述图像属性信息包括包含在所述静止图像集中的各个静止图像的标识信息、文件名、数据大小以及垂直和水平方向上的像素数。
38.根据权利要求36所述的信息处理设备，其中所述重放控制信息包括指定每个静止图像的重放开始时间的信息，以及指定每个静止图像的显示时间的信息。
39.根据权利要求38所述的信息处理设备，其中音频流和表示指定与所述静止图像同时再现的所述音频流的重放的重放路径的音频重放控制信息记录在所述记录介质上；所述再现装置随同所述静止图像一起再现所述音频流；所述控制装置根据所述重放控制信息和音频重放控制信息控制所述静止图像集和所述音频流的重放。
40.根据权利要求39所述的信息处理设备，其中记录有音频属性信息和使用所述音频属性信息创制的音频重放控制信息；所述音频属性信息包括表示表明所述音频数据的重放开始时间的表现时间戳与其对应的所述音频流中的地址之间的对应关系的表。
41.根据权利要求36所述的信息处理设备，其中所述重放控制信息包括指定各个静止图像的重放次序的信息。
42.根据权利要求41所述的信息处理设备，其中所述重放控制信息包括指定各个静止图像的重放开始时间和重放结束时间的信息。
43.根据权利要求42所述的信息处理设备，其中所述重放控制信息包括图像重放控制信息；所述图像重放控制信息包括表示是否可以继续再现所述重放结束时间的图像的第一辅助信息以及在通过所述第一辅助信息可以继续显示图像的情况下表示显示时间的第二辅助信息。
44.根据权利要求41所述的信息处理设备，其中所述重放控制信息包括指定每个静止图像的缺省显示时间的信息。
45.根据权利要求41所述的信息处理设备，其中音频流和音频重放控制信息表示指定所述音频流的时轴上的重放开始时间和重放结束时间的重放路径；所述再现装置随同所述静止图像一起再现所述音频流；所述控制装置根据所述重放控制信息和音频重放控制信息控制所述静止图像集和所述音频流的重放。
46.根据权利要求45所述的信息处理设备，其中所述音频重放控制信息包括该音频重放控制信息；所述音频重放控制信息包括表示与所述静止图像的重放不同步的第一辅助信息和/或表示是否要重复再现包含在所述音频重放控制信息中的所述重放路径的第二辅助信息。
47.根据权利要求41所述的信息处理设备，其中所述控制装置通过用户命令确定各个静止图像的显示时间。
48.根据权利要求36所述的信息处理设备，其中所述静止图像集通过在传输流上复用来记录。
49.根据权利要求48所述的信息处理设备，其中在所述传输流上复用与所述静止图像的重放同步再现的音频流。
50.根据权利要求36所述的信息处理设备，其中具有所述静止图像集的主传输流和具有音频数据的音频传输流记录在所述记录介质上；并且其中所述再现装置以分时方式交替读出所述主传输流和所述音频传输流。
51.根据权利要求36所述的信息处理设备，其中所述静止图像集和所述图像属性信息是一个对象，并且以剪辑为单元进行管理。
52.一种信息处理方法，包括再现步骤，从其上记录有由一个或多个静止图像构成的静止图像集及其对应图像属性信息以及重放控制信息的记录介质再现所述静止图像集的至少一部分静止图像；以及控制步骤，根据所述重放控制信息，参考所述图像属性信息控制所述再现步骤；所述图像属性信息包括管理所述静止图像集中的各个静止图像的信息；所述重放控制信息包括使用所述图像属性信息创制的表示重放路径的信息，所述重放路径指定所述静止图像集的至少一部分静止图像的重放。
53.根据权利要求52所述的信息处理方法，其中所述图像属性信息包括包含在所述静止图像集中的各个静止图像的标识信息、文件名、数据大小以及垂直和水平方向上的像素数。
54.根据权利要求52所述的信息处理方法，其中所述重放控制信息包括指定每个静止图像的重放开始时间的信息，以及指定每个静止图像的显示时间的信息。
55.根据权利要求54所述的信息处理方法，其中音频流和表示与所述静止图像同时再现的所述音频流的重放路径的音频重放控制信息记录在所述记录介质上；在所述再现步骤中随同所述静止图像一起再现所述音频流；并且其中在所述控制步骤中，根据所述重放控制信息和音频重放控制信息控制所述静止图像集和所述音频流的重放。
56.根据权利要求55所述的信息处理方法，其中音频属性信息和使用所述音频重放控制信息形成的音频重放控制信息记录在所述记录介质上；所述音频属性信息包括表示表明所述音频数据的重放开始时间的表现时间戳与其对应的所述音频流中的地址之间的对应关系的表。
57.根据权利要求55所述的信息处理方法，其中所述重放控制信息包括指定各个静止图像的重放顺序的信息。
58.根据权利要求57所述的信息处理方法，其中音频流和音频重放控制信息表示指定所述音频流的时轴上的重放开始时间和重放结束时间的重放路径；所述再现步骤随同所述静止图像一起再现所述音频流；所述控制步骤根据所述重放控制信息和音频重放控制信息控制所述静止图像集和所述音频流的重放。
59.一种用于让计算机执行预设操作的程序，所述程序包括再现步骤，从其上记录有由一个或多个静止图像构成的静止图像集及其对应图像属性信息以及重放控制信息的记录介质再现所述静止图像集的至少一部分静止图像；以及控制步骤，根据所述重放控制信息，参考所述图像属性信息控制所述再现步骤；所述图像属性信息包括管理所述静止图像集中的各个静止图像的信息；所述重放控制信息包括使用所述图像属性信息创制的表示重放路径的信息，所述重放路径指定所述静止图像集的至少一部分静止图像的重放。
60.一种信息处理设备，包括属性信息创制装置，用于创制管理形成静止图像集的一个或多个静止图像中的每个静止图像的图像属性信息；重放控制信息创制装置，用于创制表示重放路径的重放控制信息，其中所述重放路径指定所述静止图像集中的至少一部分静止图像的重放；记录装置，用于在记录介质上记录所述静止图像集、与之对应的所述图像属性信息以及重放控制信息；再现装置，用于从所述记录介质读出和再现静止图像；以及控制装置，用于根据所述重放控制信息参考所述图像属性信息以控制所述再现装置；所述重放控制信息创制装置使用所述图像属性信息创制所述重放控制信息。
61.根据权利要求60所述的信息处理设备，其中所述图像属性信息包括包含在所述静止图像集中的各个静止图像的标识信息、文件名、数据大小以及垂直和水平方向上的像素数。
62.根据权利要求60所述的信息处理设备，其中所述重放控制信息包括指定每个静止图像的重放开始时间的信息，以及指定每个静止图像的显示时间的信息。
63.根据权利要求60所述的信息处理设备，其中所述重放控制信息包括指定各个静止图像的重放次序的信息。
64.一种信息处理方法，包括属性信息创制步骤，创制管理形成静止图像集的一个或多个静止图像中的每个静止图像的图像属性信息；重放控制信息创制步骤，创制表示重放路径的重放控制信息，其中所述重放路径指定所述静止图像集中的至少一部分静止图像的重放；记录步骤，在记录介质上记录所述静止图像集、与之对应的所述图像属性信息以及重放控制信息；再现步骤，从所述记录介质读出和再现静止图像；以及控制步骤，根据所述重放控制信息参考所述图像属性信息以控制所述再现步骤；所述重放控制信息创制步骤使用所述图像属性信息创制所述重放控制信息。
65.一种用于让计算机执行预设操作的程序，所述程序包括属性信息创制步骤，创制管理形成静止图像集的一个或多个静止图像中的每个静止图像的图像属性信息；重放控制信息创制步骤，创制表示重放路径的重放控制信息，其中所述重放路径指定所述静止图像集中的至少一部分静止图像的重放；记录步骤，在记录介质上记录所述静止图像集、与之对应的所述图像属性信息以及重放控制信息；再现步骤，从所述记录介质读出和再现静止图像；以及控制步骤，根据所述重放控制信息参考所述图像属性信息以控制所述再现步骤；所述重放控制信息创制步骤使用所述图像属性信息创制所述重放控制信息。
66.一种记录介质，其上记录有由一个或多个静止图像组成的静止图像集、用于管理所述静止图像集中的各个静止图像的图像属性信息以及使用所述图像属性信息形成的重放控制信息，所述重放控制信息表示指定所述静止图像集中的至少一部分静止图像的重放的重放路径。
全文摘要
一种用作记录设备的信息处理设备，创建由多个静止图像组成的静止图像文件(TS文件)的剪辑信息文件，创建由多个表示幻灯片放映的再现路径的播放项目组成的播放列表，并且在DVD上记录该信息和TS文件。剪辑信息文件包括EP_map，其是表示TS的表现时间戳PTS的值与由该值表示的TS内的源分组号SPN之间的对应关系的表。一种用作再现设备的信息处理设备获得由播放项目再现开始时间IN_time和再现结束时间OUT_time表示的TS数据地址，并且通过引用剪辑信息中的EP_map并且从中读取信息来再现静止图像。
文档编号H04N5/91GK1692644SQ20038010024
公开日2005年11月2日 申请日期2003年12月5日 优先权日2002年12月18日
发明者加藤元树 申请人:索尼株式会社