记录介质、再现装置、程序、再现方法

文档序号:6784303阅读:157来源:国知局
专利名称:记录介质、再现装置、程序、再现方法
技术领域
本发明是属于随机存取技术的技术领域的发明。
背景技术
所谓随机存取技术是指将数字流所具有的时间轴上的任意一个时刻,转换为数字流上的记录位置,并从该记录位置起开始再现的技术,是在进行记录在如BD-ROM或DVD-Video那样的记录介质上的数字流的再现时所必需的基础技术。
数字流通过MPEG2-Video、MPEG4-AVC等可变长度编码方式被编码,每个帧的信息量有偏差。因此,在执行随机存取时,进行上述变换时需要参考项目映射。在此,所谓项目映射是指,将时间轴上的多个项目时刻与数字流中的多个项目位置对应起来表示的信息,在项目映射的多个项目时刻具有1秒的时间精度时,能够以1秒的时间精度高效率地进行随机存取。
对视频流的随机存取中,需要搜索存在于GOP的开头的I(Intra)图像。关于支持I图像的搜索的数据结构,有在下述专利文献中记载的现有技术。
专利文献日本特开2000-228656号公报。
作为具有时间轴的应用,除了电影之外还有幻灯片(Slide Show)。所谓幻灯片是指,由多个静止图构成、且各静止图沿着预定的时间轴再现的应用。由于幻灯片也具有用于再现的时间轴,因此通过将时间轴上的多个项目时刻与项目位置对应起来表示,可以从时间轴上的任意时刻开始引导流上的记录位置,可执行从记录位置起的再现。
但是,由于幻灯片由静止图构成,因此,要求比电影更高精度的随机存取。高精度的随机存取是指,如后面第1张、后面第10张那样以“1张图像”为存取单位的随机存取。视频流的项目映射如1秒间隔那样具有1秒左右的时间精度,在该1秒的时间间隔内可得到20~30张图像。因此,当采用上述的项目映射以图像精度来实现随机村存取时,仅参考项目映射是不够的,还需要对流进行分析。
在此,所谓“流的分析”是指,在到达希望的图象记录位置之前重复下述处理的过程从记载在项目映射中的映射位置取出图像的标题,从该标题读取图像的大小,根据该大小来确定下一个图像的记录位置。由于这样的分析伴随对流的高频率存取,所以,即使从项目位置读取后面第3张、后面第5张的图象,也需要相当长的时间。由于图像精度的随机存取需要相当的时间,即使要立即响应用户操作来显示前后的图象,或者将能够显示10张前后的图象的功能追加到幻灯片上,仍存在不能实现制作方所期待的使用方便性的问题。

发明内容
本发明的目的在于提供一种能够高速地实现幻灯片中的随机存取的记录介质。
为了实现上述发明目的,本发明涉及的记录介质,记录有视频流和流管理信息,其中,视频流包含多个图像数据;流管理信息包含项目映射;项目映射与各个图像数据的再现时刻具有对应,表示视频流中的各图像数据的项目地址;在项目映射中包含有被包含在视频流中的所有图像数据的项目地址。
对应于幻灯片的项目映射,将视频流中的每个图像的项目地址与再现时刻对应起来表示,即使要求了如后面第1张、后面第3张那样的图像精度的随机存取,也不需要伴随视频流的分析,就能够实现图像精度的随机存取。
可以从时间轴上的任意时刻开始引导视频流上的记录位置,此外能够实现如后面第1张、后面第3张那样的图像精度的随机存取,所以能够制作立即响应用户操作来显示前后的图像、或者前后数张的图像的应用。
在此,流管理信息还包含标志,该标志保证构成上述视频流的所有图像数据的项目地址被包含在项目映射中。
对应于幻灯片的项目映射的数据结构,即使在外观上与对应于动态图的项目映射的数据结构相同,但再现装置仅在执行与动态图相同的再现控制且标志表示了上述情况的时候,执行图像精度的随机存取即可。再现装置以保持与动态图的互换性的形式,可以实现图像精度的随机存取。由此,可以普及和促进兼具有动态图再现和幻灯片再现的两个功能的再现装置。


图1是表示本发明涉及的记录介质的使用行为方式的图。
图2是表示BD_ROM的内部结构的图。
图3是模式地表示附加了扩展符.m2ts的文件如何构成的图。
图4是表示构成AVClip的TS包经过怎样的过程写入BD-ROM的图。
图5(a)是表示用于电影的视频流的内部结构的图。
图5(b)是表示用于幻灯片的视频流的内部结构的图。
图6(a)是表示IDR图像的内部结构的图。
图6(b)表示Non-IDR I图像的内部结构。
图6(c)表示Non-IDR I图像的依存关系。
图7是表示IDR图像、Non-IDR I图像变换为TS包的过程的图。
图8是表示幻灯片中的IDR图像在BD-ROM中如何记录的图。
图9是表示进行幻灯片的再现的图。
图10是表示Clip信息的内部结构的图。
图11(a)表示视频流的Steam-Codin-Info。
图11(b)表示音频流的Steam-Codin-Info。
图12是表示Clip信息中的Clip info的内部结构的图。
图13是表示对电影的视频流的EP_map设定的图。
图14用EP_Low、EP_High的组合来表现图13中的Entry Point#1~Entry Point#5的PTS_EP_start、SPN_EP_start的图。
图15是表示对图13的视频流的随机存取如何进行的图。
图16是表示对幻灯片设定的EP_map的内部结构的图。
图17是用与图16相同的标记表示对时间轴上的一个时刻的随机存取的图。
图18是表示本发明涉及的再现装置的内部结构的图。
图19是表示在用于电影的视频流中将时间信息变换为I图像地址的步骤的流程图。
图20是表示在用于幻灯片的视频流中将时间信息变换为I图像地址的步骤的流程图。
图21是表示播放表(PlayList)信息的结构的图。
图22是表示AVClip信息和播放表信息之间关系的图。
图23是表示第二实施方式涉及的播放表信息的多个PLMark信息的内部结构的图。
图24是表示PLmark信息的章定义的图。
图25是表示对在幻灯片中使用的视频流的PLMark设定的具体例的图。
图26是表示章节搜索的处理步骤的流程图。
图27是表示章节跳跃的处理步骤的流程图。
图28是表示第三实施方式涉及的AVClip的结构的图。
图29(a)是表示IG流的内部结构的图。
图29(b)是表示ICS的内部结构的图。
图30是表示规定幻灯片中的对话控制的ICS的一例的图。
图31(a)~(c)是表示视频流的再现时刻到达时刻tx时所显示的菜单的图。
图32是表示在幻灯片中显示的菜单的状态变化的图。
图33是表示通过幻灯片的导航指令进行的分支的图。
具体实施例方式
(第一实施方式)
下面,说明本发明涉及的记录介质的实施方式。首先,说明本发明涉及的记录介质的实施行为中的关于使用行为的方式。图1是表示本发明涉及的记录介质的关于使用行为的方式的图。图1中,本发明涉及的记录介质是BD-ROM100。该BD-ROM100被用于向由再现装置200、遥控器300、电视机400形成的家庭影院系统提供电影作品的用途。
以上,说明了本发明涉及的记录介质的使用方式。接着,说明本发明涉及的记录介质的实施行为中的关于生产行为的方式。本发明涉及的记录介质可通过对BD-ROM的应用层进行改进来实施。图2是表示BD-ROM的内部结构的图。
该图的第4层示出了BD-ROM,在第3层示出了BD-ROM上的轨道。该图的轨道中,将从BD-ROM的内周向外周螺旋状地形成的轨道在横向上伸展来描绘。该轨道包括导入区、数据区和导出区。该图的数据区具有称作物理层、文件系统层、应用层的层模式。若采用目录结构表现BD-ROM的应用层格式(应用格式),则如图中的第1层所示。该第1层的BD-ROM中,在根目录下具有BDMV目录。
在BDMV目录的下面存在3个称作PLAYLIST目录、CLPINF目录、STREAM目录的3个子目录。
在STREAM目录中,存在存储了成为所谓数据流主体的文件组的目录、即赋予了扩展符m2ts的文件(00001.m2ts,00002.m2ts,00003.m2ts)。
PLALIST目录中,存在赋予了扩展符mpls的文件(00001.mpls,00002.mpls,00003.mpls)。
在CLIPINF目录中,存在赋予了扩展符clpi的文件(00001.clpi,00002.clpi,00003.clpi)。
<AVClip结构>
接着,说明赋予了扩展符m2ts的文件。图3是模式地表示赋予了扩展符.m2ts的文件是如何构成的图。赋予了扩展符.m2ts的文件(00001.m2ts,00002.m2ts,00003.m2ts…)存储AVClip。AVClip(第4段)是通过将由多个视频帧(图像pj1,2,3)构成的视频流、由多个音频帧构成的音频流(第1层)变换为PES包列,进一步变换为TS包(第3层)之后,复用这些来构成的。
此外,有时在AVClip上复用了字幕系的演示图形流(PG流)或对话系的交互图形流(IG流)。此外,由文本代码表现的字幕数据(文本字幕流)有时作为AVClip记录。
接着,说明MPEG2-TS格式的数字流即AVClip被如何写入BD-ROM中。图4是表示构成AVClip的TS包经过怎样的过程写入BD-ROM的图。在该图的第1层示出了构成AVClip的TS包。
如第2段所示,构成AVClip的TS包被赋予TS_exra_header(图中的“EX”)。
第3层、第4层表示BD-ROM的物理单位和TS包的对应关系。如第4层所示,在BD-ROM上形成有多个区段。带有exra_header的TS包(下面简称为带有EX的TS包),每32个组成一组,写入3个区段。由32个带有EX的TS包构成的组是6144字节(=32×192),这与3个区段的大小6144字节(=2048×3)一致。将收纳在3个区段的32个带有EX的TS包称为“Aligned Unit”,在写入BD-ROM时,以Aligned Unit为单位进行加密。
在第5层的区段中,以32个为单位附加纠错码,构成ECC块。再现装置只要是以Aligned Unit单位对BD-ROM进行存储,就能够得到32个完整的带有EX的TS包。以上是对BD-ROM写入AVClip的步骤。
<视频流>
说明视频流的内部结构。图5是表示视频流的内部结构的图。视频流有被用于电影的和被用于幻灯片的两种类型。在本实施方式中,这些用于电影和幻灯片的视频流,都是按MPEG4-AVC编码的这一点是相同的。即,在编码方式方面相同。
图5(a)是表示用于电影的视频流内部结构的图。图5(a)中的视频流由按照编码顺序配置的多个图像构成。
图中的I,、P、B分别表示I图像、B图像、P图像。I图像中有IDR图像和Non-IDR I图像的两种。根据与其他图像的帧相关性,来压缩编码了Non-IDR I图像、P图像、B图像。B图像是指由Bidirectionallypredictive(B)格式的幻灯片数据构成的图像,P图像是指由Predictive(P)格式的幻灯片构成的图像。B图像有refrenceB图像和nonrefrenceB图像。
图5(a)中,将Non-IDR I图像记述为“1”,将IDR图像记述为“IDR”。下面采用相同的标记。以上是用于电影的视频流。
接着,说明IDR图像及Non-IDR I图像的内部结构。图6(a)是表示IDR图像的内部结构的图。如该图所示,IDR图像由多个Intra格式的幻灯片数据构成。图6(b)表示Non-IDR I图像的内部结构。相对于IDR图像仅由Intra格式的幻灯片数据构成,Non-IDR I图像由Intra格式的幻灯片数据、P格式的幻灯片数据、B格式的幻灯片数据构成。图6(c)表示Non-IDR I图像中的依存关系。Non-IDR I图像可由B、P幻灯片数据构成,所以可具有与其他图像的依存关系。
<对BD-ROM的记录>
接着说明IDR图像、Non-IDR I图像如何被转换为TS包并记录到BD-ROM中。图7是表示IDR图像、Non-IDR I图像转换为TS包的过程的图。图中的第1层表示IDR图像、Non-IDR I图像。第2层表示在MPEG4-AVC中规定的存取单元(Access Unit)。构成IDR图像、Non-IDR I图像的多个幻灯片数据按顺序配置,通过附加AUD(AccessUnit Delimiter,即存取单元分隔符)、SPS(Squence Parameter Set,即顺序参数设置)、PPS(Picture Parameter Set,即图像参数设置)、SEI(Supplemental Enhanced info,即扩展信息)转换为存取单元。
AUD、SPS、PPS、SEI、存取单元分别是MPEG4-AVC中规定的信息,记载在ITU-T Recommendation H.264等各种文献中,所以其详细内容,请参考这些文献。在这里重要的是,将AUD、SPS、PPS、SEI供给再现装置是随机存取的必须条件。
第3层表示NAL unit。通过对第2层中的AUD、SPS、PPS、SEI附加标题,AUD、SPS、PPS、SEI、幻灯片数据分别被转换为NAL unit。NAL unit是指,在MPEG4-AVC的网络抽象层(Network AbstractionLayer)中规定的单位,记载在ITU-T Recommendation H.264等各种文献中,所以其详细内容,请参考这些文献。在这里重要的是,由于AUD、SPS、PPS、SEI、幻灯片数据分别被转换为独立的NAL unit,所以AUD、SPS、PPS、SEI、幻灯片数据分别在网络抽象层中分别独立地处理。
通过变换一个图像而得到的多个NAL unit,如第4层所示地变换为PES包。之后,变换为TS包后,记录到BD-ROM上。
在再现一个GOP时,不能将构成位于该GOP的开头的IDR图像、Non-IDR I图像的NAL unit中的、包含存取单元分隔符的NAL unit投入解码器。即包含存取单元分隔符的NAL unit成为用于对IDR图像、Non-IDR I图像进行解码的1个指标。在本实施方式中,把包含该存取单元分隔符的NAL unit作为点使用。然后,再现装置再现视频流时,将包含存取单元分隔符的NAL uni作为用于再现Non-IDR I图像、IDR图像的项目位置来解释。因此,在AVClip中,在执行随机存取时,掌握IDR图像、Non-IDR I图像的存取单元分隔符位于何处变得非常重要。以上是用于电影的MPEG4-AVC格式的视频流的结构。
<幻灯片>
接着,说明用于幻灯片的视频流。图5(b)是表示用于幻灯片的视频流的内部结构的图。如该图所示,用于幻灯片的视频流由多个静止图数据构成。这些静止图数据均为IDR图像。即,在幻灯片中,用IDR图像进行解码,使得任何图像都是以单体被解码。
本实施方式中的幻灯片中,复用视频流和音频流,是视频流中的各静止图随着音频流的再现进程而进行再现的类型的幻灯片——基于时间的幻灯片(Timebased Slideshow)。
还存在一种方式如下,即,在可记录到BD-ROM中的幻灯片中不复用音频流,而是与音频流的再现无关地进行静止图的再现(browsableSlideShow)。
其中,电影和基于时间的幻灯片都具有时间轴,所以,把它们作为对象进行说明。
说明构成幻灯片的视频流的内部结构。
图8是说明幻灯片中的IDR图像如何被记录到BD-ROM的图。对BD-ROM的记录与图7相同。也就是说,构成幻灯片的IDR图像由多个幻灯片数据构成,所以,将各幻灯片数据同动态图的IDR图像相同地转换为NAL unit,记录到BD-ROM。该图所示的记录与图7的不同点是,在构成图像幻灯片数据的末尾有“流尾码(End ofstream code)”。该流尾码是对再现装置命令解码动作的冻结的末尾代码,与幻灯片数据同样,被变换为1个NAL unit而记录到BD-ROM。
通过将该图8所示的IDR图像依次供给解码器,如图9所示,进行幻灯片的再现。图9是表示幻灯片的再现过程的图。该图的第4层表示TS包列,第3层表示通过变换该第4层的TS包得到的PES包列。第2层表示幻灯片的时间轴,第1层表示构成幻灯片的各IDR图像。该第1层的IDR图像表示第3层的PES包中的PTS所示的时刻。此外,在第3层的PES包中有图8所示的流尾码,所以在PES包的PTS所表示的时刻显示IDR图像之后,成为冻结解码动作的状态(Display Frozen)。该解码动作的冻结状态持续到进行下一个IDR图像的显示为止。通过重复进行PES包的PTS所表示的时刻的显示、和利用流尾码的解码动作冻结,构成幻灯片的各IDR图像依次被再现。以上是幻灯片的再现过程。
<Clip信息>
接着,说明赋予了扩展符.clpi的文件。赋予了扩展符.clpi的文件(00001.clpi,00002.clpi,00003.clip......)保存Clip信息。Clip信息是对于各个AVClip的管理信息。图10是表示Clip信息的内部结构的图。如该图的左侧所示,Clip信息包括i)存储了AVClip文件的属性信息的“ClioInfo()”;ii)存储了有关ATC顺序(Sequence)、STC顺序(Sequence)的信息的“Sequence Info()”;iii)存储了有关Program sequence的“Program Info()”;iv)“Characteristic Point Info(CPI())”。
图中的引线cul表示Program sequence(Program sequence(i))的结构。如该引线所示,对应于Program sequence(i)的Program Info是将Stream_PID和Stream_Coding_Info的组合排列Ns(i)个而成(图中的Stream_PID[i](0)、Stream_Coding_Info(i,0)~Stream_PID[i](NS[i]-1)、Stream_Coding_Info(i,Ns(i)-1))。
Stream_PID表示对构成AVClip的各单元流的包识别符,Stream_Coding_Info表示对构成AVClip的各单元流的编码方式。
图11(a)表示对视频流的Stream_Coding_Info,图11(b)表示对音频流的Stream_Coding_Info。如图11(a)所示,视频流的Stream_Coding_Info包括表示视频流的编码方式是MPEG4-AVC、MPEG2-Video中的某一个的“Stream_Coding_type”;表示视频流的显示格式是480i、576i、480p、1080i、720p、1080p中的某一个的“Video_format”;表示视频流的帧速率是23.976Hz、29.97Hz、59.94Hz中的某一个的“frame_rate”;表示视频流中的图像的长宽比是4∶3、16∶9中的某一个的“aspect_ratio”。
图11(b)表示对音频流的Stream_Coding_Info。如该图所示,对音频流的Stream_Coding_Info包括表示音频流的编码方式是LPCM、Dolby-AC3、Dts中的某一个的“Stream_Coding_type”;表示音频流的输出形势是立体声、模拟声、多媒体中的某一个“audio_Presentation_type”;表示音频流的采样频率的“Sampling_Frenquency”;表示与音频流对应的语言的“audio_language_code”。
通过参照该Stream_Coding_Info,可得知AVClip中的多个单元流中哪一个是MPEG4-AVC格式。
<CPI(EP_map)>
返回到图10,说明CPI。图中的引线cu2表示CPI的结构。如引线cu2所示,CPI由EP_map构成。EP_map由EP_map_for_one_stream_PID(EP_map_for_one_stream_PID(0)~EP_map_for_one_stream_PID(Ne-1))构成。这些EP_map_for_one_stream_PID是关于属于AVClip的各单元流的EP_map。EP_map是在1个单元流上将存在存取单元分隔符(Access Unit Delimite)的项目位置的包编号(SPN_EP_start)与项目时刻(PTS_EP_start)对应起来表示的信息。图中的引线cu3表示EP_map_for_one_stream_PID的内部结构。
根据该图,可知EP_map_for_one_stream_PID由Nc个EP_High(EP_High(0)~EP_Hig(Nc-1))和EP_Low(EP_Low(0)~EP_Low(Nf-1))构成。在此,EP_High具有表示存取单元(Non-IDR I图像,IDR图像)的SPN_EP_start及PTS_EP_start的高位的作用,EP_Low具有表示存取单元(Non-IDR I图像,IDR图像)的SPN_EP_start及PTS_EP_start的低位的作用。
图中的引线cu4表示EP_High的内部结构。如该引线所示,EP_High(i)包括对于EP_Low的参考值即“ref_to_EP_Low_id[i]”;表示存取单元(Non-IDR I图像,IDR图像)的PTS的高位的“PTS_EP_High[i]”;表示存取单元(Non-IDR I图像,IDR图像)的SPN的高位的“SPN_EP_High[i]”。在此,i是用于识别任意EP-High的标识符。
图中的引线cu5表示EP_Low的结构。如引线cu5所示,EP_Low包括表示对应的存取单元是否是IDR图像的“is_angle_change_point(EP_Low_id)”;表示对应的存取单元的大小的“I_end_position_offset(EP_Low_id)”;表示对应的存取单元(Non-IDR I图像,IDR图像)的PTS的低位的“PTS_EP_Low(EP_Low_id)”;表示存取单元(Non-IDR I图像,IDR图像)的SPN的低位的“SPN_EP_Low(EP_Low_id)”。在此,EP_Low_id是用于识别任意EP_Low的标识符。
这些EP_map的数据结构基本上已记载于上述专利文献等中,本说明书不做更详细的说明。
接着,说明Clip信息中的Clip info。图12是表示Clip信息中的ClipInfo的内部结构的图。图中的引线表示Clip Info()的结构。如该引线所示,可知Clip Info()包括表示数字流的类型的“clip_stream_type”;表示利用该AVClip的应用的类型的“application_type”;表示AVClip的记录速率的“TS_recording_rate”;表示构成AVClip的TS包数量的“number_of_source_packet”。其中,clip_stream_type表示与该Clip信息对应的AVClip是Movie Application、TS for Timebased SlideShow、TS forMainPath of the Browsable SlideShow、TS for subpath of the BrowsableSlideShow中的某一个。具体来说如下(a)clip_stream_type=1时,表示AVClip的类型是MovieApplication。
(b)clip_stream_type=2时,表示AVClip的类型是TS for TimebasedSlideShow。
(c)clip_stream_type=3时,表示AVClip的类型是TS for MainPathof the Browsable SlideShow。在此,“MainPath”表示构成BrowsableSlideShow的视频流及音频流的组合中的视频流。
(d)clip_stream_type=4时,表示AVClip的类型是TS for subpath ofthe Browsable SlideShow。在此,“subpath”表示构成Browsable SlideShow的视频流及音频流的组合中的音频流。
图12中的箭头ct3、ct4表示该application_type所具有的次要的意思内容。次要的意思内容表示application_type被设定为各自的值时,EP_map的数据结构是怎样的。
图中的箭头ct4表示application_type为1、4时EP_map具有怎样的数据结构。具体而言,在application_type为1、4时,EP_map中的相邻两个PTS_EP_star的值的间隔最好小于1秒。
图中的箭头ct3表示application_type为2、3时EP_map具有怎样的数据结构。具体而言,在application_type为2、3时,表示PTS_EP_star的值被设定为指向AVClip的所有图像。即,保证了用EP_map指向AVClip的所有图像。
下面说明对application_type赋予这样的次要意思的技术意义。
在此,在制作幻灯片时,将所有的图像数据设定为IDR图像,只不过是一种想法。也可以使用利用与其他图像的相关性来压缩的P图像、或利用2张以上的前后图像的相关性来压缩的B图像,构成视频流。因此,根据作者的不同,有可能利用P图像或B图像来制作幻灯片。
但是,如果没有正在参考的图像,P图像或B图像不能进行解码。因此,当要通过用户操作来再现构成幻灯片的任意图像时,如果不先对位于附近的参考图像进行解码,就不可能对希望的图像进行解码。
由于在每次再现希望的图像时,必须对该图像所参考的图像进行解码,所以想要由P图像和B图像来构成幻灯片,则操作性较差,不易于制作幻灯片。
幻灯片不限于如动态图那样按照某种确定的顺序来再现各图像。需要通过用户操作来再现任意图像数据的处理。在此,在本实施方式中,为了保证从任意处都能够进行再现,构成幻灯片的视频流由可单独进行解码的、进行了帧内编码的IDR图像来构成。也就是说,排除了用P图像或B图像来构成幻灯片的想法,而是将构成幻灯片的所有图像编码为IDR图像。
与此对应地,在幻灯片中,用EP_map指示所有图像的项目位置和项目时刻。通过这样构成,在用户想对某个图像数据进行解码时,仅通过将该图像数据供给解码器,就可将任意的静止图用于再现。
由于视频流是否用于幻灯片的情况示于Clip_Info中的application_type,所以该application_type“是否表示幻灯片”,具有“是否由EP_map表示构成视频流的各图像数据的位置和再现开始时刻”的次要意思。
由于Clip_Info的application_type具有这样的含义,所以再现装置通过参考现在起要再现的AVClip的Clip_Info,就可得知构成视频流的各图像是IDR图像且不参考其他任何图像的情况、以及所有图像均由EP_map来指示的情况。
因此,再现图像在对幻灯片进行再现时,通过参考application_type,不对前后的图像进行解码,就能够对希望的图像进行解码。
以上是application_type和EP_map的技术意义。
下面,通过具体例来说明电影和幻灯片的EP_map设定的不同点。图13是表示对电影的视频流(application_type=1或4)的EP_map设定的图。第1层表示按照显示顺序配置的多个图像,第2层表示该图像中的时间轴。第4层表示BD-ROM上的TS包列,第3层表示EP_map设定。
在第2层的时间轴中,假设在时刻t1~t7存在存取单元(Non-IDRI图像、IDR图像)。并且,当假设这些t1~t7中,t1~t3的时间间隔、t3~t5的时间间隔、t5~t7的时间间隔为1秒左右时,用于电影的视频流中的EP_map将t1~t7中的t1、t3、t5设定为项目时刻(PTS_EP_start),并设定为与此对应地表示记录位置(SPN_EP_star)。此外,因为Entry Point#1~Entry Point#4中的Entry Point#1、Entry Point#3与IDR图像对应,所以is_angle_change_point被设定为“1”。除此此外的Entry Point#2、EntryPoint#4中的is_angle_change_point被设定为“0”。
图14中用EP_Low、EP_High的组合来表现图13中的Entry Point#1~Entry Point#5的PTS_EP_start、SPN_EP_start。在该图的左侧表示EP_Low,在右侧表示EP_High。
图14左侧的EP_Low(0)~(Nf-1)中的EP_Low(i)~(i+1)的PTS_EP_star表示t1、t3、t5、t7的低位。EP_Low(0)~(Nf-1)中的EP_Low(i)~(i+1)的SPN_EP_High表示n1、n3、n5、n7的低位。
图14右侧表示EP_map中的EP_High(0)~(Nc-1)。在此,若t1、t3、t5、t7具有共同的高位,并且n1、n3、n5、n7也具有共同的高位,则该共同的高位记述在PTS_EP_High、SPN_EP_High中。并且,与EP_High对应的ref_to_EP_LOW_id,被设定为表示相当于t1、t3、t5、t7、n1、n3、n5、n7的EP_Low中的开头的EP_Low(i)。这样,用EP_High表现PTS_EP_start、SPN_EP_start的共同的高位。
并且,由于EP_Low(i)~EP_Low(i+3)中的is_angle_change_point(i)~(i+3)中的(i)、(i+2)所对应的存取单元是IDR图像,所以is_angle_change_point被设定为“1”。由于(i+1)、(i+3)对应的存取单元是Non-IDR I图像,所以is_angle_change_point被设定为“0”。
在如电影那样的动态图应用的情况下,如果一旦开始再现,则对之后的图像连续进行再解码,因此EP-map不需要指定所有的存取单元,只要在最低限度的要开始再现的点上设定EP_map的项目就可以。对于这样用于电影的视频流,只要将相邻的PTS_EP_start的值设定为1秒以内就可以,所以,对于如存在于t2、t4、t6的图像那样与相邻的存取单元的时间间隔为0.5秒左右的存取单元来说,有时出现其再现时刻未被PTS_EP_start指示的情况。图15是表示如何进行对图13的视频流的随机存取的图。
在此,考虑从图中的In_time(=t6)开始执行随机存取的情况。图15中,t6没有被PTS_EP_start指示,而t5被PTS_EP_start指示。并且,与该t5对应的Entry_Point被设定为is_angle_change_point=1,表示是IDR图像,所以需要经过位于该t5的再现时刻的IDR图像。这是由于,若从BD-ROM读取从IDR图像起至随机存取的存取目的地的图像,则可在解码器内准备随机存取的存取目的地的解码器所需的所有参照图像。
图中第4层的kel象征性地表示向t5的经过。但是,由于不能直接对随机存取的存取目的地进行存取,所以该经过成为随机存取的额外开销(overhead)。
接着,说明application_type为幻灯片(application_type=2或3)时的EP_map设定。假设PTS被设定成在时间轴上的多个时刻(t1~t7)进行再现的IDR图像存在于幻灯片内。此时,对该幻灯片的EP_map设定成为如图16所示。图16是表示对幻灯片设定的EP_map的内部结构的图。
已知在幻灯片中,将EP_map设定成指示所有图像,所以EP_map中的各Entry_Point#1~#7将幻灯片中的各IDR图像的再现时刻t1、2、t3、t4、t5、t6、t7确定为项目时刻(PTS_EP_start),并与项目位置(SPN_EP_start)对应起来。
这样,用EP_map来指定各IDR图像的再现时刻来作为项目时刻,因此,即使在从t1~t7中选择任何一个作为随机存取的存取目的地的情况下,也不会产生经过先行的IDR图像的迂回的额外开销。图17是用与图16同样的标记来表示向时间轴上的一个时刻的随机存取的图。该图中的第1层~第4层与图16相同。若将第2层中的时刻t2、t4、t6中的t6作为存取目的地来执行随机存取,则由于时刻t6被PTS_EP_start指示,所以不需要经过前面的IDR图像,就可以存取相当于时刻t6的记录位置(SPN=N6)。
由于所有的图像被编码为IDR图像,用PTS_EP_start来指示任意图像的再现时刻,以便不会产生额外开销,所以能够高速执行幻灯片中的利用了时间信息的随机存取。
如果随着上述的EP_map设定,用2或3来表示CLIP.INFO中的Application_type,则对构成幻灯片的所有图像能够识别出EP_map上存在项目的情况,所以通过参考EP_map的项目,判断所读取的数据范围,而不需要多余地分析前后的数据流。
以上是关于本实施方式涉及的Clip信息的说明。此外,对于赋予了扩展符“mpls”的文件,省略本实施方式中的说明,将在第二实施方式中进行说明。
以上,结束对本发明涉及的记录介质的说明。接着,说明本发明涉及的再现装置。
<再现装置的内部结构>
图18是表示本发明涉及的再现装置的内部结构的图。可根据该图所示的内部结构来工业生产本发明的再现装置。本发明涉及的再现装置主要由系统LSI和称为驱动装置的2个部分构成,通过将这些部分安装到装置的箱体及基板上,可进行工业生产。系统LSI是将实现再现装置的功能的各种处理部集成的集成电路。这样生产的再现装置包括BD驱动器1;到达时间时钟计数器2;资源数据包拆卸部3;PID滤波器4;传输缓冲器5;复用缓冲器6;编码图像缓冲器7;视频解码器8;解码图像缓冲器10;视频平面11;传输缓冲器12;编码数据缓冲器13;流图形处理器14;对象缓冲器15;复合缓冲器16;复合控制器17;演示图形平面18;CLUT部19;传输缓冲器20;编码数据缓冲器21;流图形处理器22;对象缓冲器23;复合缓冲器24;复合控制器25;交互图形平面26;CLUT部27;合成部28;合成部29;切换器30;网络装置31;本地存储器32;到达时间时钟计数器33;资源数据包拆卸部34;PID滤波器35;切换器36;传输缓冲器37;单元缓冲器38;音频解码器39;传输缓冲器40;缓冲器41;文本字幕解码器42;脚本存储器43;控制部44;PSR设定器。该图中的内部结构是以MPEG的T-STD模块为基础的解码器模块,成为包含了下降变频的假设的解码模块。该图中的用点划线包围的部位表示作为系统LSI而构成单芯片的部位。
BD-ROM驱动器1进行BD-ROM的装载/退出,执行对BD-ROM的存取,从BD-ROM读取由32个区段构成的队列单元(Aligned Unit)。
到达时间时钟计数器2根据27MHz的水晶振荡器(27MHz X-tal),生成到达时间时钟(Arrival Time Clock)。到达时间时钟是对成为赋予给TS包的ATS的基准的时间轴进行规定的时钟信号。
若从BD-ROM读出由32个区段构成的队列单元,则资源数据包拆卸部3从构成队列单元的各TS包拆下TP_extra_header,仅将TS包输出到PID滤波器4。在到达时间时钟计数器2经过的时刻成为由TP_extra_header表示的ATS的时刻,进行资源数据包拆卸部3对PID滤波器4的输出。由于对PID滤波器4的输出按照ATS进行,因此,即使例如从BD-ROM的读取中有1倍速、2倍速的速度差,对PID滤波器4的TS包输出也是按照到达时间时钟所经过的当前时间来进行。
PID滤波器4通过参考附加在TS包上的PID,来判断TS包是归属于视频流、PG流、IG流中的哪一个,并将其输出到传输缓冲器5、传输缓冲器12、传输缓冲器20、传输缓冲器37中的某一个。
传输缓冲器5是在属于视频流的TS包从PID滤波器4输出时将其暂时存储的缓冲器。
复用缓冲器(MB)6是用于在从传输缓冲器5向单元缓冲器7输出视频流时暂时存储PES包的缓冲器。
编码图像缓冲器(CPB)7是存储处于编码状态的图像(Non-IDR I图像、IDR图像、B图像、P图像)的缓冲器。
视频解码器8通过按照规定的解码时刻(DTS)对各视频单元流的帧图像进行解码,得到多个帧图像,并将其写入解码图像缓冲器10。
解码图像缓冲器10是写入有已解码的图像的缓冲器。
视频平面11是用于存储非压缩格式的图像的平面。平面是指,用于在再现装置中存储一个画面的象素数据的存储区域。视频平面11中的分辨率是1920×1080,存储在该视频平面11的图像数据由用16比特的YUV值表现的象素数据构成。
传输缓冲器(TB)12是在从PID滤波器4输出属于PG流的TS包时暂时存储该数据包的缓冲器。
编码数据缓冲器(CDB)13是存储构成PG流的PES包的缓冲器。
流图形处理器(SGP)14对存储了图形数据的PES包(ODS)进行解码,将通过解码得到的由索引色构成的非压缩状态的位图作为图形对象,写入对象缓冲器15。
对象缓冲器15中配置通过流图形处理器14的解码而得到的图形对象。
复合缓冲器16是配置有用于图形数据描绘的控制信息(PCS)的存储器。
图形控制器17对配置在复合缓冲器16中PCS进行解读,并根据解读结果进行控制。
演示图形平面18是具有相当于一个画面的区域的存储器,能够存储一个画面的非压缩图形。该平面中的分辨率是1920×1080,演示图形平面18中的非压缩图形的各象素以8位的索引色表现。通过用CLUT(ColorLookup Table,即色彩查询表)来变换这样的索引色,可将存储在演示图形平面18中的非压缩图形用于显示。
CLUT部19将演示图形平面18中保存的非压缩图形中的索引色变换为Y、Cr、Cb值。
传输缓冲器(TB)20是将属于IG流的TS包暂时存储的缓冲器。
编码数据缓冲器(CDB)21是存储构成IG流的PES包的缓冲器。
流图形处理器(SGP)22对存储了图形数据的PES包进行解码,将通过解码得到的由索引色构成的非压缩状态的位图作为图形对象,写入对象缓冲器23。
对象缓冲器23中配置通过流图形处理器22的解码而得到的图形对象。
复合缓冲器24是配置用于描绘图形数据的控制信息的存储器。
图形控制器25对复合缓冲器24中配置的控制信息进行解读,根据解读结果进行控制。
交互图形平面26中写入通过流图形处理器(SGP)22的解码得到的非压缩图形。该平面中的分辨率是1920×1080,用8位的索引色表现交互图形平面26中的非压缩图形的各象素。通过用CLUT(Color LookupTable,即模式查询表)来变换相应的索引色,可将存储在演示图形平面26中的非压缩图形用于显示。
CLUT部27将演示图形平面26中存储的非压缩图形中的索引色变换为Y、Cr、Cb值。
合成部28对存储在视频平面11中的非压缩状态的帧图像、和演示图形平面18中存储的非压缩状态的图形对象进行合成。通过该合成,能够得到在动态图上重叠了字幕的合成图像。
合成部29对存储在交互图形平面26的非压缩状态的图形对象、和作为合成部28的输出的合成图像(合成了非压缩状态的图像数据和演示图形平面18的非压缩图形对象的图像)进行合成。
切换器30将从BD-ROM读取的TS包、从本地存储器32读取的TS包两者中的任意一个,有选则地供给传输缓冲器20。
网络装置31用于实现再现装置中的通信功能,确立与对应于URL的网站的TCP链接、FTP链接等。
本地存储器32是用于存储从各种记录介质及通信介质供给的内容的硬盘。通过由网络装置31确立的连接,从网站下载的内容等也存储在该本地存储器32。
资源数据包拆卸部34从由本地存储器32读取的AVClip的TS包拆下TP_extra_header,仅将TS包输出到PID滤波器35。资源数据包拆卸部34对PID滤波器35的输出,是在到达时间时钟计数器33所经过的时刻成为由到达由TP_extra_header表示的ATS的时刻进行。
PID滤波器35将从本地存储器起35读取的TS包切换为IG流解码器侧、音频解码器侧、文本字幕解码器侧中的某一个。
切换器36向音频解码器39侧请求许可从BD-ROM读取的TS包、从本地存储器32读取的TS包两者中的某一个。
传输缓冲器(TB)37存储属于音频流的TS包。
单元缓冲器(EB)38是存储构成音频流的PES包的缓冲器。
音频解码器39对从单元缓冲器38输出的PES包进行解码,输出非压缩格式的音频数据。
传输缓冲器(TB)40存储属于文本字幕流的TS包。
单元缓冲器(EB)41是存储构成文本字幕流的PES包的缓冲器。
文本字幕解码器42对被读取到缓冲器41的PES包进行解码,用于显示。该解码器通过使用另外从本地存储器32读取的字体,在位图上展开文本字幕流中的文本字符串,由此来显示字幕。由解码器得到的文本字幕被写入演示图形平面18。
脚本存储器43是用于保存当前的Clip信息的存储器。所谓当前Clip信息是指,记录在BD-ROM中的多个Clip信息中的成为当前处理对象的Clip信息。
控制部44由指令ROM和CPU构成,执行存储在指令ROM中的软件,来执行再现装置整体的控制。该控制内容根据对应用户操作而产生的用户事件及PSR设定器46中的PSR设定值,动态地变化。
PSR设定器46是内置于再现装置中的非易失性寄存器,由64个再现状态寄存器(PSR(1)~(64))、和4096个通用寄存器(GPR)构成。64个再现状态寄存器(PSR)表示各当前的再现时刻等、再现装置中的各状态。64个PSR(PSR(1)~(64))中的PSR(8)通过被设定为0~OxFFFFFFFF的值,可用45KHz的时间精度表示当前的再现时刻(当前PTM)。
以上是再现装置的内部结构。
接着说明控制部44的处理顺序。
控制部44控制BD驱动器1、视频解码器8,以便在MPEG4-AVC格式的视频流的再现时执行随机存取。
另一方面,在随机存取中有时间搜索。所谓时间搜索是指,从用户接受在“几点几分几秒”再现的时间信息后,从与所指示的再现开始时刻对应的位置起进行视频流的再现的技术。此时,控制部44进行将时间信息变换为BD-ROM上的存取单元地址(称为I图像地址)的变换处理,在求出存取单元的地址之后,从BD-ROM读取该地址之后的TS包,将该TS包依次投入解码器。
这些控制的主要部分是,从时间信息导出存取单元地址。图19是表示用于电影的视频流中,将时间信息变换为存取单元地址的步骤的流程图。该流程图中,将表示随机存取的存取目的地的时间信息标记为In_time。图19的步骤S1中,将In_time设为PTS_EP_start,在步骤S2中,求出与PTS_EP_start最近的EP_High_id、EP_Low_id的组合。在此,所谓EP_High_id是表示In_time以前的时刻的EP_High,是表示用于确定与In_time最近的时刻的标识符。此外,所谓EP_Low_id是表示EP_High[EP_High_id]以后、且In_time以前的时刻的EP_Low,是表示确定与In_time最近的时刻的标识符。
为了求出EP_High_id,控制部44将多个EP_High的PTS_EP_High所示的时间长度相加。在此,PTS_EP_High所示的时间长度是指将PTS_EP_High作为高位的时间的单位。并且,判断在第几个EP_High_id中,时间长度的总和∑超过In_time。在此,在第k个EP_High_id中时间长度的总和∑超过了In_time时,将从该k减去1的数值(k-1)设为EP_High_id。
为了求出EP_Low_id,控制部44在到PTS_EP_High(EP_High_id)为止的总和∑上,加上多个EP_Low的PTS_EP_Low所示的时间长度。然后,判断在第几个EP_Low_id时间长度的总和∑超过了In_time。在此,当在第h个EP_Low_id时间长度的总和∑超过了In_time时,将从该h减去1的数值(h-1)设为EP_Low_id。
利用如上求得的EP_High_id和EP_Low_id的组合,确定与In_time最接近的Entry_Point。
如果这样求得EP_Low_id,则转移到由步骤S3~步骤S5构成的循环处理。在将EP_Low_id带入变量j(步骤S3)之后,执行由步骤S4~步骤S5构成的循环处理。在步骤S5被判断为“是”之前,该循环处理重复变量j(步骤S4)的减算。该步骤S5是判断由变量j确定的Entry_point的is_angle_change_point(PTS_EP_Low[j].is_angle_change_point)是否为1的步骤,只要由变量j确定的Entry_point的is_angle_change_point连续表示“0”,就重复执行该循环处理。
若由变量j确定的Entry_point的is_angle_change_point成为“1”,则结束该循环处理。若步骤S5成为“是”,则将变量j代入EP_Low_id(步骤S6),求出具有与该EP_Low_id最接近的ref_to_EP_Low_id[i]的EP_High[i](步骤S7)。若这样求得EP_Low_id和i,则根据SPN_EP_Low[EP_Low_id]和SPN_EP_High[i]求出SPN_EP_Start(步骤S8),将该SPN_EP_Start变换为存取单元地址(步骤S9)。
在此,SPN是TS包的序列号,因此要根据该SPN来读取TS包时,需要将SPN变换为相对区段数。在此,如图4所示,每32个TS包变换为1个Aligned Unit,记录到3个区段中,因此,通过用SPN除以32得到商,将该商解释为存取单元所存在的Aligned Unit的编号。在这样得到的Aligned Unit上乘以3,可以求出最接近SPN的Aligned Unit的区段地址。这样得到的区段地址是从1个AVC文件的开头算起的相对区段数,因此,将该相对区段数设定为文件指针,通过读取AVClip,可将存取单元读取到视频解码器8。
图20是在用于幻灯片的视频流中,将时间信息变换为存取单元地址的步骤的流程图。
在幻灯片中,视频流中的所有图像为IDR图像,用PTS_EP_start指定其再现时刻,因此,不必进行图19的步骤S3~步骤S7的处理,就可以将In_time变换为IDR图像的地址。具体而言,在S1中,将In_time设定为PTS_EP_start,在步骤S2,只要能够求出与PTS_EP_start最接近的EP_High_id、EP_Low_id的组合,通过根据SPN_EP_Low[EP_Low_id]和SPN_EP_High[EP_High_id]求出PTS_EP_start(步骤S8),得到存取单元(步骤S9)即可。也就是说,大幅简化了用于得到存取单元地址的变换步骤。
在此,即使在幻灯片的情况下,也执行图19中的S1步骤。即,为了求出EP_High_id,控制部44将多个EP_High的PTS_EP_High所表示的时间长度相加。然后,判断时间长度的总和∑在第几个EP_High_id超过In_time。在此,当时间长度的总和∑在第k个EP_High_id超过了In_time时,将从该k减去1的数值(k-1)作为EP_High_id。
此外,为了求出EP_Low_id,控制部44在直到PTS_EP_High(EP_High_id)为止的总和∑上,加上多个EP_Low的PTS_EP_Low所表示的时间长度。然后,判断时间长度的总和∑在第几个EP_Low_id超过In_time。在此,当时间长度的总和∑在第h个EP_Low_id超过了In_time时,将从该h减去1的数值(h-1)作为EP_Low_id。
通过这样求得的EP_High_id和EP_Low_id的组合,确定与In_time一致的项目点(Entry point)或最接近的项目点。
通过以上的步骤,在存在与In_time一致的PTS_EP_start时,可以执行从EP_map的PTS_EP_start中的、与同In_time一致的PTS_EP_start对应的SPN_EP_Start开始的图像数据读取和再现。
在EP_map的PTS_EP_start中不存在与该时刻一致的PTS_EP_start时,执行从与最接近In_time的PTS_EP_start对应的SPN_EP_Start开始的图像数据读取和再现。
根据以上的本实施方式,在通过用户的操作不显示前后图像,而是需要通过跳越操作等同顺序无关地显示静止图的幻灯片中,用IDR图像构成所有静止图,并用EP_map来指定,需要进行流分析。
此外,用EP_map中的项目点指定存取单元(Non-IDR图像,IDR图像),只直接存取需要的存取单元的数据来读入数据,并流向解码器,因此,存取效率高,显示所需时间也较短。
此外,也可以将保证构成视频流的所有图像数据的项目地址被包含在EP_map的标志,记录在EP_map或相关的导航信息内的一处。
(第二实施方式)第二实施方式涉及在幻灯片的时间轴上设定章节的改进。下面,说明用于章节定义的信息。
用于章节定义的信息是播放表(PlayList)信息,存在于赋予了扩展符“mpls”的文件内。下面说明播放表信息。
<播放表信息>
赋予了扩展符mpls的文件(00001.mpls,00002.mpls,00003.mpls......)是存储了播放表信息的文件。播放表信息是参考AVClip来定义称作播放表的再现路径的信息。图21是表示播放表信息的结构的图,如该图左侧所示,播放表信息由多个播放项目(PlayItem)信息构成。播放项目是指,通过在1个以上的AVClip时间轴上指定In_Time、Out_time来定义的再现区间。通过设置多个播放项目信息,定义由多个再现区间构成的播放表(PL)。图中的虚线hs1表示播放项目信息的内部结构。如该图所示,播放项目信息包括表示对应的Clip信息的“Clip_information_file_name”;表示对应的AVClip的编码方式的“Clip_codec_indentifier”;表示应该开始AVClip再现的时刻的“In_time”;表示应该结束AVClip再现的时刻的“Out_time”;“Still_Mode”;“Still_time”。图22是表示AVClip和播放表信息的关系的图。第1层表示AVClip所具有的时间轴,第2层表示播放表所具有的时间轴(称作PL时间轴)。播放表信息包含PlayItem#1、#2、#3这样的三个播放项目信息,利用这些PlayItem#1、#2、#3的In_time、Out_time,定义了三个再现区间。若排列这些再现区间,则定义了与AVClip时间轴不同的时间轴。这就是第2层所表示的PL时间轴。如上所述,通过播放项目信息的定义,能够定义与AVClip时间轴不同的时间轴。
在构成该播放表信息的信息要素中,具有特征的是Still_mode和Still_time。
“Still_mode”表示再现从In_time到Out_time为止的再现图像时,是否将最后的图像数据进行静止显示。在设定为“00”的情况下,Still_mode表示在不继续进行静止显示,在设定为“01”的情况下,Still_mode表示在有限时间内继续进行静止显示。在被设定为“01”时的静止显示的时间长度,被设定到Still_time。当被设定为“02”时,Still_mode表示在无限的时间内继续进行静止显示。通过来自用户的明示的操作,解除在无限时间内继续进行静止显示时的显示。
在Still_mode被设定为01时,“Still_time”以秒单位表示继续进行静止显示的时间长度。
以上说明了本实施方式涉及的播放项目信息。接着说明PLMark信息。
图23是表示第二实施方式涉及的播放表信息的多个PLMark信息的内部结构的图。图23中的PLMark信息(PLmark())是将PL时间轴中的任意区间指定为章节点的信息。如图23的引出线pm1所示,PLmark信息包含“ref_to_PlayItem_Id”和“mark_time_stamp”。图24是表示用PLmark信息进行的定义章节的图。该图中,第1层表示AVClip时间轴,第2层表示PL时间轴。图中的箭头pk1、2表示PLmark信息中的播放项目指定(ref_to_PlayItem_Id)和一个时刻的指定(mark_time_stamp)。通过这些指定,在PL时间轴上定义了3个章节(Chapter#1、#2、#3)。以上说明了PLMark。
图25是表示用播放表信息指定幻灯片的图。该图的第2层表示播放项目信息。该第2层由6个播放项目信息#1~#6构成。图中的箭头yt1、2、3、4、5、6象征性地表示播放项目信息中的In_time、Out_time的指定,箭头st1、2、3、4、5、6象征性地表示Still_Time的指定。根据该箭头可知,播放项目信息被设定为指定视频流中的各图像数据。此外,Still_Time被设定为表示直到显示后续的图像数据为止的间隔。通过6个播放项目信息,如上所述地构成幻灯片的各个图像数据分别被指定了再现开始点和再现结束点。
图25的第1层表示PLMark信息。在该第1层存在6个PLMark信息#1~#6。箭头kt1、2、3、4、5、6表示PLMark信息的ref_to_PlayItem_Id的指定。根据该箭头可知,PLMark信息的ref_to_PlayItem_Id分别指定了各播放项目信息。
接着说明利用播放项目信息进行的再现。由于幻灯片中的各图像数据被播放项目信息及PLMark信息指定,所以控制部44使用EP_map将播放项目信息的In_time、Out_time变换为AVClip中的SPN,并将存在于该SPN中的图像数据投入到解码器。从而,显示由播放项目信息的In_time、Out_time指定的图像数据。之后,在Still_Time所示的期间内,继续进行静止显示。通过对所有的播放项目信息重复如上所述的处理,本实施方式涉及的控制部44再现幻灯片。
由于使用播放项目信息和PLMark信息指定了构成幻灯片的各图像数据,所以通过章节跳跃或章节搜索等功能,能够再现前后的图像数据。
章节搜索功能是指,从多个播放项目信息中确定与由记述在PLMark信息中的ref_to_PlayItem_Id对应的播放项目信息,并在已定义了所确定的播放项目信息的AVClip中,从记载于PLMark信息中的mark_time_stamp所表示的位置开始进行随机存取,此时,控制部44从多个Entry Point中确定具有与记载在PLMark信息中的mark_time_stamp最接近的PTS_EP_start的Entry Point,从与所确定的的Entry Point的SPN_EP_start对应的存取单元地址开始进行再现。
章节跳跃确定对相当于当前再现位置的章节的前一个或后一个章节进行规定的PLMark信息,执行对该PLMark信息的章节搜索。如上所述,由PLMark信息的mark_time_stamp指定的图像被编码为IDR图像,设定为is_angle_change_point=“1”的Entry Point的PTS_EP_start表示该IDR图像的再现时刻,因此,通过读取在Entry Point的SPN_EP_start表示的位置之后的图像,能够将IDR图像供给视频解码器8。
下面,参照流程图,说明章节搜索和章节跳跃的处理步骤。图26是表示章节搜索的处理步骤的流程图。
该流程图中,首先等待章节菜单中的章节选择(步骤S124),若进行了章节选择,则将相当于所选择的章节的PLMark信息作为当前播放表标记(PlayListMark)(步骤S125)。在步骤S126中,将记述在当前播放表标记的ref_to_PlayItem_Id中的PI设定到PlayItem#x,在步骤S127读入由PlayItem#x的Clip_information_file_name指定的Clip信息。在步骤S128,使用当前Clip信息的EP_map,将当前播放表标记的mark_time_stamp变换为存取单元地址u。在此,利用设定为is_angle_change_point=“1”的Entry Point,指示由PLMark信息的mark_time_stamp指示的图像。因此,存取单元地址u指示IDR图像的地址。
另一方面,在步骤S129,使用当前Clip信息的EP_map,将PlayItem#x的Out_time变换为存取单元地址v。步骤S130对解码器命令从当前播放表标记的mark_time_stamp到PlayItem#x的Out_time为止的输出。以上是章节搜索的处理步骤。接着说明章节跳跃的处理步骤。图27是表示章节跳跃的处理步骤的流程图。
步骤S131等待对遥控器上的向后跳跃(SkipNext)键、向前跳跃(SkipBack)键的操作。若进行了操作,则执行步骤S132。步骤S132判断被按下的是向后跳跃键还是向前跳跃键,若是向前跳跃键,则在步骤S133将方向标记设定为-1,若为向后跳跃键,则在步骤S134将方向标记设定为+1。
步骤S135是变换当前PI及当前PTM来确定当前PLMark的步骤,步骤S136将在当前PLMark的编号上加算了方向标记值的编号,设定为当前播放表标记的编号。在此,若是向后跳跃键,则方向标记被设定为+1,因此当前播放表标记加1。若是向后跳跃键,则方向标记被设定为-1,因此当前播放表标记减1。若这样设定PLMark信息,则与图25同样,可知通过执行步骤S126~步骤S130的处理步骤,进行TS包读取。
以上是根据PLMark信息进行再现时的再现装置的处理步骤。
在此,说明对图25所示的视频流设定PLMark时的设定例。由于用第1层中的6个PLMark#1~#6指定了幻灯片中能够再现的各静止图,所以该图的时刻t1、t2、t3、t4、t5、t6的静止图可成为章节搜索及章节跳跃的对象。
此外,在第4层的时间轴上的各时刻t1、t2、t3、t4、t5、t6均在第5层的EP_map被指定为PTS_EP_start,所以在章节搜索及章节跳跃时,不需要“经过前面的IDR图像”的迂回,就可以执行对希望章节的随机存取。在执行章节搜索及章节跳跃时,不需要经过前面的IDR图像,就可以读取希望的静止图,所以即使是幻灯片,也能够高效率地执行章节搜索及章节跳跃。
如上所述,根据本实施方式,在执行章节搜索及章节跳跃时,能够不经过前面的IDR图像就可以读取希望的静止图,所以,即使是幻灯片,也能够高效率地执行章节搜索及章节跳跃。
(第三实施方式)本实施方式是第一实施方式和第二实施方式的应用,是在幻灯片中导入了对话控制的方式。由于导入了对话控制,AVClip的结构中,除了图3所示的视频流及音频流之外,还复用了IG流。图28是表示第三实施方式涉及的AVClip的结构的图,如该图所示,可知AVClip(中层)是如下构成将由多个视频帧(图像pj1、2、3)构成的视频流、由多个音频帧构成的音频流(上第1层)变换为PES包列(上第2层),再变换为TS包(上第3层),同样,将对话系的交互图形流(下第2层的IG流)变换为TS包(下第3层),通过将这些进行复用来构成AVClip。图29是表示IG流的内部结构的图。
交互图形流由称为ICS(Interactive Composition segment)、PDS(Palette Difinition Segment)、ODS(Object Definition Segment)、END(END of Display Set Segment)的功能段构成。
ODS(Object Definition Segment)是定义描绘按钮时的绘画图形的图形数据。
PDS(Palette Difinition Segment)是规定描绘图形时的表现颜色的功能段。
ICS(Interactive Composition segment)是规定对应用户操作来改变按钮状态的对话控制的功能段。
图29(b)是表示ICS的内部结构的图。ICS由多个按钮信息构成。按钮信息是与对话控制画面中的各按钮对应的信息。具体而言,ICS包括“neighbor_info”,在焦点存在于对应的按钮上的状态下,当按下了移动键时,表示将焦点移动到哪个按钮上;“state_info”,表示用哪个ODS表现对应的按钮的通常状态、被选择状态的各状态;“导航指令”,在确定对应按钮时,应使再现装置执行。
以上说明的IG流的数据结构是对记载在以下公知文献中的内容的概要。关于更详细的技术内容,请参考下面的公知文献。
参考公知文献国际公开公报WO2004/077826号公报下面,说明ICS的具体例。
在此,假设ICS的state_info、neighbor_info、导航指令被设定为图30所示。图30是表示规定幻灯片中的对话控制的ICS的一例的图。
1、state_infoButton_info(0)的state_info被规定为,在与Button_info(0)对应的按钮(“top”按钮)处于通常状态时,描绘附有“top”的三角图形。此外,Button_info(0)的state_info被规定为,在焦点存在于“top”按钮上时(处于被选择状态的情况),以强调样式描绘附有“top”的三角图形。根据这样的规定,“top”按钮被用作试图跳跃到开头静止图的“top”按钮。
Button_info(1)的state_info被规定为,在与Button_info(1)对应的按钮(“+1”按钮)处于通常状态时,描绘附有“+1”的三角图形。此外被规定为,在“+1”按钮处于被选择状态的情况下,以强调样式描绘附有“+1”的三角图形。通过这样的规定,“+1”按钮被用作试图跳跃到后一个静止图的“+1”按钮。
Button_info(2)的state_info被规定为,在与Button_info(2)对应的按钮(“-1”按钮)处于通常状态时,描绘附有“-1”的三角图形。此外被规定为,在“-1”按钮处于被选择状态的情况下,以强调样式描绘附有“-1”的三角图形。通过这样的规定,“-1”按钮被用作试图跳跃到前一个静止图的“-1”按钮。
Button_info(3)的state_info被规定为,在与Button_info(3)对应的按钮(“+10”按钮)处于通常状态时,描绘附有“+10”的三角图形。此外被规定为,在“+10”按钮处于被选择状态的情况下,以强调样式描绘“+10”。通过这样的规定,“+10”按钮被用作试图跳跃到后面第10张静止图的“+10”按钮。
Button_info(4)的state_info被规定为,在与Button_info(4)对应的按钮(“-10”按钮)处于通常状态时,描绘附有“-10”的三角图形。此外被规定为,在“-10”按钮处于被选择状态的情况下,以强调样式描绘“-10”。通过这样的规定,“-10”按钮被用作试图跳跃到前面第10个的静止图的“-10”按钮。
在此,如图31(a)所示,假设“top”按钮~“-10”按钮的被state_info指定的图形存在于IG流中的ODS内。state_info被设定为这样的内容,此外,如图31(b)所示,假设ICS中的PTS在时间轴上指示第x个图像所显示的时刻tx。这时,当视频流的再现时刻到达时刻tx时,如图31(c)所示,菜单与第x个静止图合成进行显示。
2.ICS中的neighbor_info在图30中,参考各对象B的neighbor_info时,Button_info(0)的neighbor_info被规定为,在按下左键时,将焦点移动到具有“2”编号的“-1”按钮,在按下右键时,将焦点移动到具有“1”编号的“+1”按钮。
Button_info(1)的neighbor_info被规定为,在按下上键时,将焦点移动到具有“0”编号的“top”按钮,在按下左键时,将焦点移动到具有“2”编号的“-1”按钮,在按下右键时,将焦点移动到具有“3”编号的“+10”按钮。
Button_info(2)的neighbor_info被规定为,在按下左键时,将焦点移动到具有“4”编号的“-10”按钮,在按下右键时,将焦点移动到具有“1”编号的“+1”按钮,在按下上键时,将焦点移动到具有“0”编号的“top”按钮。
Button_info(3)的neighbor_info被规定为,在按下左键时,将焦点移动到具有“1”编号的“+1”按钮。
Button_info(4)的neighbor_info被规定为,在按下右键时,将焦点移动到具有“2”编号的“-1”按钮。
根据以上的neighbor_info的规定,能够实现图32所示的状态迁移。图32是表示在幻灯片中显示的菜单中的状态变化的图。
即,在焦点移动存在于“+1”按钮上的状态下,当左键被按下时,能够将焦点移动到“-1”按钮上(hh1)。
在焦点移动存在于“+1”按钮上的状态下,当右键被按下时,能够将焦点移动到“+10”按钮上(hh2)。此外,在焦点移动存在于“+10”按钮上的状态下,当左键被按下时,能够将焦点移动到“+1”按钮上(hh4)。在焦点移动存在于“+1”按钮上的状态下,当上键被按下时,能够将焦点移动到“top”按钮上(hh3)。
如上所述,“top”按钮、“+1”按钮、“-1”按钮、“+10”按钮“-10”按钮是分别试图跳跃到开头、后1张、前1张、后面第10张、前面第10张的按钮。此外,在显示这些按钮时,随着用户按下上下左右键,移动按钮上的焦点移动,所以,用户能够选择“+1”按钮~“-10”按钮中的任意一个。
3.ICS中的导航命令Button_info(0)的导航命令被规定为,在对“top”按扭进行了确定操作时,执行Jmp PLMark(1)。
Button_info(1)的导航命令被规定为,在对“+1”按扭进行了确定操作时,执行Jmp PLMark(x+1)。
Button_info(2)的导航命令被规定为,在对“-1”按扭进行了确定操作时,执行Jmp PLMark(x-1)。
Button_info(3)的导航命令被规定为,在对“+10”按扭进行了确定操作时,执行Jmp PLMark(x+10)。
这些导航命令将PLMark指定为分支目的地。PLMark的括号内的数值确定作为分支目的地的图像。即,PLMark(1)是指示第1张图像的PLMark,PLMark(x+1)是指示第x+1张图像的PLMark。PLMark(x-1)是指示第x-1张图像的PLMark。PLMark(x+10)是指示第x+10张图像的PLMark。PLMark(x-10)是指示第x-10张图像的PLMark。
各按钮信息中的导航命令指定这些PLMark(1)、(x+1)、(x-1)、(x+10)、(x-10)作为分支目的地,所以,在确定各按钮时,可从第x张静止图起,随机存取第1张静止图、第1+x张静止图、第x-1张静止图、第x+10张静止图、第x-10张静止图。
通过如图30那样的焦点移动,用户能够将焦点移动到任意按钮上,所以在焦点移动存在于某个按钮上的状态下,用户进行了确定操作时,可通过使再现装置执行与该进行了确定操作的按钮对应的导航命令,能够执行如图32所示的分支。图33是表示幻灯片的导航命令的分支的图,第1层表示构成幻灯片的多个图像和向这些图像的分支;第2层是幻灯片的时间轴,第3层是对第2层的图像列设定的项目映射,第4层是BD-ROM上的TS包列。
该图的第1层的箭头象征性地表示图30所示的各导航命令(jmpPLMark(1)、jmpPLMark(x+1)、jmpPLMark(x-1)、jmpPLMark(x+10)、jmpPLMark(x-10))的分支。通过该分支,再现开头的静止图、前1张的静止图、后1张的静止图、后面第10张的静止图、前面第10张的静止图。这些分支基于图30所示的导航命令,所以利用这些分支,用户可以通过自身的操作,再现任意的静止图。
在此,若开头的静止图、前1张的静止图、后1张的静止图、后面第10张的静止图、前面第10张的静止图的各再现时刻在EP_map中被指定为PTS_EP_start,则不需要伴随对流的分析,就可以执行对希望的存取位置的随机存取。在通过导航命令进行对话性的再现时,不需要经过附近的项目位置,即可读取希望的静止图,所以能够高效地执行对话性的再现。
(备考)以上的说明并不表示本发明的所有实施行为的方式。通过下面的实施了(A)、(B)、(C)、(D)......的变更的实施行为方式,也能够实施本发明。本申请的权利要求的各发明是对以上记载的多个实施方式及它们的变形方式进行了扩展和一般化的记载。扩展和一般化的程度则基于本发明技术领域的提出申请是的技术水平的特点。
(A)在所有的实施方式中,将本发明的记录介质作为BD-ROM实施,但是本发明的记录介质的特征是所记录的EP_map,该特征不取决于BD-ROM的物理性质。只要是可记录EP_map的记录介质,可以是任一种记录介质。例如,可以是DVD-ROM、DVE-RAM、DVD-RW、DVD-R、DVD+RW、DVD+R、CD-R、CD-RW等光盘,PD、MO等光磁盘。此外,也可以是小型闪存(注册商标)卡、智能介质(smart media)、存储棒(memory stick)、多媒体卡(multimedia card)、PCM-CIA卡等半导体存储卡。也可以是软盘、超级U盘(superdisk)、zip、clik!等磁记录盘(i),ORB、Jaz、SparQ、SyJet、EZFley、微驱动器等可拆卸的硬盘驱动器(ii)。再有,也可以是设备内置型硬盘。
(B)所有实施方式中的再现装置,将记录在BD-ROM中的AVClip进行解码之后输出到TV,但是,也可以将再现装置仅作为BD-ROM驱动器,将其他结构要素组装在TV中。此时,可将再现装置和TV组装到用IEEE1394连接的家庭网络中。此外,实施方式中的再现装置是与电视机连接使用的类型,但是也可以是与显示器成一体的再现装置。再有,各实施方式的再现装置中,可以仅实施构成处理的本质部分的系统LSI(集成电路)。
(C)通过各流程图所示的程序进行的信息处理是使用硬盘资源来具体实现的,所以在上述流程图中表示处理步骤的程序本身可以单独构成发明。所有的实施方式,以组装到再现装置中的方式示出了关于本发明涉及的程序的实施行为的实施方式,但是也可以将其从再现装置分离,并实施各实施方式所示的程序单体。程序单体的实施行为有如下各种方式(1)生产这些程序的行为;(2)有偿或无偿地转让程序的行为;(3)借与的行为;(4)进口行为;(5)通过双向的电子通信线路提供给公众的行为;(6)通过店面、产品目录推荐、广告单发布,向一般用户提出转让或出租程序的行为。
(D)各实施方式中的数字流是BD-ROM标准的AVClip,但是也可以是DVD-Video标准、DVD-Video Recording标准的VOB(VideoObject)。VOB是通过复用食品流和音频流得到的ISO/IEC13818-1标准的节目流。此外,AVClip中的视频流也可以是MPEG4或WMV格式。此外,音频流也可以是Linear-PCM格式、Dolby-AC3格式、MP3格式、MPEG-AAC格式、dts格式。
(E)第一实施方式中的幻灯片是以TS for Tmebased SlideShow为前提进行了说明,但是也可以是用于TS for MainPath of the BrowsableSlideShow的AVClip,或者是用于TS for subpath of the BrowsableSlideShow的AVClip。也就是说,在与用于TS for MainPath of theBrowsable SlideShow的AVClip对应的Clip信息中,也可以将EP_map设定为表示各图像的再现时刻及记录位置。
(F)各实施方式中,以MPEG-AVC(也称作H.264或JVT)为基础进行了说明,但也可以是MPEG2视频流。此外,在为其他格式的图像格式(VC-1)的情况下,如果是可单独解码的图像,则可容易应用。
产业上的可应用性本发明的记录介质及再现装置能够用于个人用途,如在家庭影院中的应用。但是,本发明在上述实施方式中公开了内部结构,显然可根据其内部结构进行批量生产,因此,本发明的记录介质及再现装置可在工业产品的生产领域生产或者使用。据此,本发明的记录介质及再现装置可在产业上应用。
权利要求
1.一种记录介质,记录有视频流和流管理信息,其特征在于,视频流包含多个图像数据;流管理信息包含项目映射;项目映射与各个图像数据的再现时刻具有对应,表示视频流中的各图像数据的项目地址;在项目映射中包含有被包含在视频流中的所有图像数据的项目地址。
2.如权利要求1所述的记录介质,其特征在于,流管理信息还包含标志;上述标志保证构成上述视频流的所有图像数据的项目地址被包含在项目映射中。
3.如权利要求1所述的记录介质,其特征在于,各图像数据包含时间标记和结束代码;时间标记表示幻灯片的时间轴上的图像数据的显示定时。
4.一种再现装置,通过沿规定的时间轴再现构成视频流的各个图像数据,进行幻灯片的再现,其特征在于,包括读取单元,从记录介质读取构成被记录在记录介质中的视频流的图像数据;再现单元,再现所读取的图像数据;控制单元,控制读取单元及再现单元;在上述记录介质中记录着由多个项目信息构成的项目映射;在命令了从上述时间轴上的任意时刻开始的再现时,上述控制单元使读取单元从与项目映射中的项目时刻中、同该时刻一致的项目时刻相对应的项目地址开始读取图像数据,使再现单元再现所读取的图像数据。
5.如权利要求4所述的再现装置,其特征在于,在项目映射中的项目时刻中不存在同该时刻一致的项目时刻时,上述控制单元使读取单元从与离确定的项目时刻最近的项目时刻对应的项目地址开始读取图像数据。
6.如权利要求4所述的再现装置,其特征在于,各图像数据包含时间标记和结束代码;在上述时间轴上的当前再现时刻成为由时间标记表示的显示定时时,上述再现单元进行图像数据的解码,在解码后,基于结束代码进行解码动作的冻结;在命令了从时间轴上的任意时刻开始的再现时,上述控制单元使再现单元进行将该时刻作为当前再现时刻的解码动作。
7.一种程序,通过沿规定的时间轴再现构成视频流的各个图像数据,使计算机执行幻灯片放影的再现,其特征在于,使计算机执行如下步骤读取步骤,从记录介质读取构成被记录在记录介质中的视频流的图像数据;再现步骤,再现所读取的图像数据;以及控制步骤,控制读取步骤及再现步骤;在上述记录介质中记录着由多个项目信息构成的项目映射;在命令了从上述时间轴上的任意时刻开始的再现时,上述控制步骤使读取步骤从与项目映射中的项目时刻中、同该时刻一致的项目时刻相对应的项目地址开始读取图像数据,使再现步骤再现所读取的图像数据。
8.如权利要求7所述的程序,其特征在于,在项目映射的项目时刻中不存在同该时刻一致的项目时刻时,上述控制步骤使读取步骤从与离确定的项目时刻最近的项目时刻对应的项目地址开始读取图像数据。
9.一种再现方法,通过沿规定的时间轴再现构成视频流的各个图像数据,进行幻灯片,其特征在于,该再现方法包括读取步骤,从记录介质读取构成被记录在记录介质中的视频流的图像数据;再现步骤,再现所读取的图像数据;以及控制步骤,控制读取步骤及再现步骤;在上述记录介质中记录着由多个项目信息构成的项目映射;在命令了从上述时间轴上的任意时刻开始的再现时,上述控制步骤使读取步骤从与项目映射中的项目时刻中、同该时刻一致的项目时刻相对应的项目地址开始读取图像数据,使再现步骤再现所读取的图像数据。
10.如权利要求9所述的再现方法,其特征在于,在项目映射的项目时刻中不存在同该时刻一致的项目时刻时,上述控制步骤使读取步骤从与离确定的项目时刻最近的项目时刻对应的项目地址开始读取图像数据。
全文摘要
在BD-RON中将视频流和项目映射相对应地记录着。构成幻灯片的视频流由多个IDR图像构成,导其对应的项目映射(EP_map)将视频流中的各IDR图像的项目时刻(PTS_EP_start)和项目位置(SPN_EP_start)对应起来表示。Application_type表示关于构成各个图像数据的项目信息存在于EP_map中,各个图像数据被单独解码。
文档编号G11B27/00GK1965576SQ200580018040
公开日2007年5月16日 申请日期2005年6月2日 优先权日2004年6月2日
发明者池田航, 冈田智之 申请人:松下电器产业株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1