再生装置的制作方法

专利名称：：再生装置的制作方法
技术领域：
：本发明涉及记录介质上记录着的AV(AudioVideo，音频视频)数据的再生装置，特别涉及在该记录介质上保存着绘制图形的程序的情况下与再生中的AV数据的视频等合作来控制图形的绘制的技术。
背景技术：
：以往，为了使视频和音频等多个媒体在时间上同步，提出了高效率地管理各媒体的时间的技术(参考专利文献l)。通过该技术，能够高效地使多个媒体同步。此外，预计今后不仅要使多个媒体同步，还要将包含动画和音频等的AV数据与Java(注册商标)应用的内容记录到BD-ROM等记录介质上，提供多种多样的服务。作为这种服务，例如有在Java(注册商标)应用是绘制图形的应用的情况下，与被再生的AV数据合作来绘制图形。在此情况下，最好能够提供细致的服务，例如按照用户操作来绘制图形等。专利文献l:(日本)特开2001-157175号公报然而，在现有技术中，不能与再生中的视频合作来绘制应用的图形，或者按照用户操作来绘制图形。
发明内容本发明的目的在于提供一种再生装置，在记录介质上记录着视频等AV数据和应用的情况下，与再生中的AV数据的视频等合作来绘制应用的图形。4本发明提供一种再生装置，用于播放被记录在记录介质上的视频流，所述记录介质包括再生所述视频流期间要执行的计算机程序；所述视频流包括用于确定与所述视频流的视频的再生定时关联的时间轴上的位置的控制信息；并且所述计算机程序包括用于指定多个图像和与各图像相对应的绘制时刻的预定代码；所述再生装置包括存储单元；播放部，用于根据所述控制信息逐次播放所述视频；图像平面；平台，(i)具有用于执行本机代码的处理器，通过将所述预定代码转换为所述处理器可执行的本机代码，并使所述处理器执行用于将所述指定的多个图像和对应于各图像的绘制时刻存储在所述存储单元中的所述本机代码，来解释和执行所述预定代码，并且(ii)包括用于选出图像的本机代码，使所述处理器执行用于选出所述图像的所述本机代码，从而基于下述(a)和(b)从存储在所述存储单元中的多个图像中选出将被绘制的图像，并将所选出的图像存储在所述图像平面中，其中，(a)包括在所述控制信息中的与所述视频的所述再生定时关联的时间轴上指定的位置，以及(b)与存储在所述存储单元中的各图像相对应的所述绘制时刻；以及合成部，用于在所述视频的所述再生期间将存储在所述图像平面中的所选出的图像叠加至所述视频中。本发明提供一种一种用于再生装置中的再生方法，所述再生装置用于播放被记录在记录介质上的视频流，所述记录介质包括再生所述视频流的期间要执行的计算机程序；所述视频流包括用于确定与所述视频流的视频的再生定时关联的时间轴上的位置的控制信息；并且所述计算机程序包括用于指定多个图像和与各图像相对应的绘制时刻的预定代码；所述再生装置包括存储单元；图像平面；平台，包括用于执行本机代码的处理器以及用于选出图像的本地代码；其中所述再生方法包括下列步骤再生步骤，用于根据所述控制信息逐次播放所述视频；存储步骤，通过将所述预定代码转换为所述处理器可执行的本机代码，并使所述处理器执行用于将所述指定的多个图像和对应于各图像的绘制时刻存储在所述存储单元中的所述本机代码，来解释和执行所述预定代码；选出步骤，使所述处理器执行用于选出所述图像的所述本机代码，从而基于下述(a)和(b)从存储在所述存储单元中的多个图像中选出将被绘制的图像，并将所选出的图像存储在所述图像平面中，其中，(a)包括在所述控制信息中的与所述视频的所述再生定时关联的时间轴上指定的位置，以及(b)与存储在所述存储单元中的各图像相对应的所述绘制时刻；以及合成步骤，用于在所述视频的所述再生期间将存储在所述图像平面中的所选出的图像添加至所述视频中。这里，所谓视频流的再生，表示再生构成视频流的各视频；所谓再生，是进行用于显示视频的控制；例如在表示视频的视频数据是压缩动画的情况下，是将解压了的视频信号输出到显示装置。其中，显示装置可以存在于再生装置外部，也可以被包含在内部。此外，所谓绘制，表示进行用于显示图像的控制，是将图像数据保存到图像存储器中，后者将表示图像的信号输出到显示装置等。其中，在视频的再生中绘制图像的情况下，对视频和图像进行叠加等合成来显示。此外，所谓与再生定时关联的时间轴，在再生记录介质上的视频流数据时，是指表示其中的各视频的再生时刻的时间轴。发明效果如下根据上述结构，本发明的再生装置的程序执行单元执行包含应在视频流的再生中绘制的图像等信息的规定代码，将应绘制的图像等信息保存到存储单元中，从而图像选出单元能够从存储单元中保存着的各图像中选择应在再生单元再生的各视频的再生定时时绘制的图像，能够用绘制单元与按该再生定时再生的视频一起来绘制选择出的图像。因此，例如在将再生中的视频用作背景的游戏应用的情况下，能够与正在再生的视频合作来显示游戏应用的图形。此外，也可以使上述再生装置还包括处理器；和图像存储器，保存构成应显示的画面的图像；上述程序执行单元通过将构成上述程序的各代码变换为上述处理器可执行的机器语言指令后使上述处理器执行来实现上述解释、执行；上述图像选出单元通过使上述处理器执行规定的对照用机器语言指令串来进行上述对照；如果有由上述选出单元选出的图像，则上述绘制单元通过将该图像从上述存储单元传送到上述图像存储器来进行上述绘制。这里，图像存储器是根据其中保存着的图像的集合来输出画面显示用的信号的一种存储器，该信号被传递给显示装置，显示该图像的集合。根据该结构，程序执行单元将程序的各代码先变换为处理器可解释、执行的本机代码后，不是使其按变换出的本机代码来执行，而是使其按规定的本机代码来选出图像，所以能够高速进行。此外，也可以使上述规定代码是用绘制开始时刻和绘制结束时刻来指定各图像应被绘制的时刻的代码；上述程序执行单元通过将表示该图像的绘制开始时刻和绘制结束时刻的绘制时间数据与表示各图像的各图像数据对应起来保存到上述存储单元中，来实现上述规定代码的执行；上述图像选出单元选出与下述绘制时间数据对应的图像数据所表示的图像，该绘制时间数据在从绘制开始时刻到绘制结束时刻的范围内包含与再生中的视频关联并根据上述控制信息确定的时间轴上的位置。根据该结构，图像选出单元能够选出在绘制开始时刻和结束时刻的范围内包含视频的再生定时的图像，所以能够使其在选出图像时有灵活性(选择范围宽)。此外，能够使其在绘制开始时刻和结束时刻之间显示选出的图像。此外，也可以使上述控制信息还包含与时间轴上的1个以上的位置对应起来表示规定的条件判定基准的条件信息；只在与上述再生单元再生中的视频关联并根据上述控制信息确定的时间轴上的位置、和保存在上述存储单元中的1个以上的图像应被绘制的时刻满足规定的关系，而且在上述条件信息与该时间轴上的位置相对应的情况下根据该条件信息判定为满足规定的条件时，上述图像选出单元才选出满足该规定的关系的该图像。根据该结构，控制信息包含例如表示应在视频的再生定时时绘制的图像的标识符或坐标等条件信息，所以图像选出单元能够进一步选择存储单元中保存着的图像中的不仅视频的再生定时匹配、而且条件信息一致的图^此外，也可以使上述规定代码还与各图像对应起来指定图像绘制用的坐标；作为上述规定代码的解释、执行，上述程序执行单元还将图像绘制用坐标与由该规定代码指定的各图像对应起来保存到上述存储单元中；上述条件信息包含坐标；只在与上述再生单元再生中的视频关联并根据上述控制信息确定的时间轴上的位置、和保存在上述存储单元中的1个以上的图像应被绘制的时刻满足规定的关系，而且在上述条件信息与该时间轴上的位置相对应的情况下该条件信息中包含的坐标、和与满足该规定的关系的图像对应起来保存在上述存储单元中的图像绘制用坐标在规定程度上接近时，上述图像选出单元才选出满足该规定的关系的该图像。根据该结构，条件信息包含坐标，所以图像选出单元能够选出存储在存储单元中并与视频的再生定时对应的图像中的条件信息的坐标和图像绘制用坐标一致、或者条件信息的坐标和图像绘制用坐标在规定间隔以内的图像。此外，也可以使上述条件信息包含用于确定再生速度的信息；上述再生单元选定多个再生速度中的某一个，根据选定的再生速度来迸行上述再生；与上述图像选出单元的上述判定有关的上述规定的条件是，为上述再生单元再生中的视频选定的再生速度、和与该视频关联并根据上述控制信息确定的时间轴上的位置所对应的条件信息确定的再生速度一致。根据该结构，条件信息包含用于确定再生速度的信息、例如2倍速等再生模式，所以图像选出单元能够选出在条件信息中包含与再生中的视频流的再生速度对应的再生模式的图像。此外，也可以使上述规定代码还与各图像对应起来指定图像标识符；作为上述规定代码的解释、执行，上述程序执行单元还将图像标识符与由该规定代码指定的各图像对应起来保存到上述存储单元中；上述条件信息包含应被绘制的图像的图像标识符；只在与上述再生单元再生中的视频关联并根据上述控制信息确定的时间轴上的位置、和保存在上述存储单元中的1个以上的图像应被绘制的时刻满足规定的关系，而且在上述条件信息与该时间轴上的位置相对应的情况下该条件信息中包含的图像标识符、和与满足该规定的关系的图像对应起来保存在上述存储单元中的图像标识符一致吋，上述图像选出单元才选出满足该规定的关系的该图像。根据该结构，规定代码指定与各图像对应的图像标识符，所以图像选出单元能够选择存储单元中保存着的图像中的不仅视频的再生定时匹配、而且图像标识符一致的图像。图1是本发明实施方式的BD-ROM的数据层次图。图2是本发明实施方式的BD-ROM上的逻辑空间的结构图。8图3是本发明的再生装置的功能结构图。图4是本发明的再生装置的硬件结构图。图5是本发明实施方式的MPEG流的结构图。图6是本发明实施方式的传输流事件的字段(section)的结构图。图7是本发明实施方式2的应用及平台的功能结构图。图8是本发明的图形信息的一例的图。图9是本发明的流事件信息的一例的图。图0是在实施方式2中发生了流事件的情况下控制图形绘制的处理的流程图。图11是基于流事件信息的图形信息判定处理的流程图。图12是在实施方式2中发生了用户事件的情况下控制图形绘制的处理的流程图。图13是基于用户事件信息的图形信息判定处理的流程图。图14是实施方式1的应用及平台的功能结构图。图15是实施方式1的应用和平台间的图形信息的发送接收处理的流程图。图16是在实施方式1中发生了流事件的情况下控制图形绘制的处理的流程图。图17是在实施方式1中发生了用户事件的情况下控制图形绘制的处理的流程图。图18是实施方式3及4的应用及平台的功能结构图。图19是实施方式3的流事件信息的一例的图。图20是在实施方式3及4中发生了模式切换事件的情况下的过滤(filtering)信息设定处理的流程图。图21是在实施方式3及4中发生了流事件的情况下控制图形绘制的处理的流程图。图22是在实施方式3中提取流事件信息的处理的流程图。图23是在实施方式4中提取流事件信息的处理的流程图。标号说明101BD再生程序；102BD管理信息103AV数据；104BD盘201BD盘；202光头(opticalpickup:光拾取器)203程序记录存储器；204管理信息记录存储器205AV记录存储器；206程序处理部207管理信息处理部；208演播处理部(presentationprocessingunit)209图像平面；210视频平面211合成处理部；301程序记录存储器302程序处理器；303UOP管理器304管理信息记录存储器305场景(scenario)处理器306演播控制器(presentationcontroller)307时钟；308图像存储器309光道缓冲器(trackbuffer)310分离器(demultiplexer)311图像处理器；312视频处理器313声音处理器；314图像平面315视频平面；316合成处理部317驱动器控制器；700应用701用户事件接收部；702图形信息存储部703图形信息控制部；704图形信息发送部705流事件信息接收部；710平台711图形信息接收部；712流事件信息发送部713图形绘制部；714流事件接收部1400应用；1401用户事件接收部1402用户事件信息发送部；1403图形信息发送部1410平台；1411用户事件信息接收部1412图形信息接收部；1413图形信息存储部1414图形信息控制部；1415图形绘制部101416流事件接收部；1800应用薩用户事件接收部；1802图形信息存储部1803图形信息控制部；1804图形信息发送部1805流事件信息接收部；l陽模式切换事件接收部1807过滤信息设定部；1808过滤信息发送部1810平台；1811图形信息接收部1812流事件信息发送部；1813图形绘制部1814流事件接收部；1815过滤信息接收部1816过滤信息存储部。具体实施例方式<实施方式1>以下，参考附图来说明本发明的再生装置。图1是示出了用本发明的再生装置再生的BD-ROM(以下称为"BD"。)的结构、特别是示出盘介质即BD104和BD上记录着的数据101、102、103的结构的图。BD盘104上记录的数据是AV数据103、与AV数据有关的管理信息及AV再生序列等BD管理信息102、以及BD再生程序101。其中，在本实施方式中，将用于再生电影等AV内容的AV应用作为重点来说明BD盘，当然也能够将BD盘像CD-ROM或DVD-ROM那样用作计算机用的记录介质。图2示出了前述BD盘上记录着的逻辑数据。BD盘104与其他光盘、例如DVD或CD等同样从其内周向外周呈螺旋状地具有记录区域；在内周的导入区和外周的导出区之间，具有逻辑地址空间。此外，在导入区的内侧有称为BCA(BurstCuttingArea)的只能由驱动器来读出的特殊区域。该区域不能由应用读出，所以有时被用于例如著作权保护技术等。在该逻辑地址空间上，以文件系统信息(巻volume)为首记录着视频数据等。所谓文件系统，是UDF或ISO9660等，与通常的PC同样，根据目录、文件结构来读出逻辑数据。在本实施方式中，BD盘上的目录、文件结构将BDVIDEO放置在根目录(ROOT)紧下。该目录是记录着BD-ROM存储的AV内容或管理信息等数据101、102、103的目录。其中，在BDVIDEO目录中，记录着以下7种文件。<BD.INFO>(文件名固定)是记录着作为BD管理信息102之一的、与整个BD盘有关的信息的文件。BD再生装置首先读出该文件。<BD.PROG>(文件名固定)是记录着作为BD再生程序101之一的、与整个BD盘有关的程序的文件。<XXX.PL>(XXX可变，扩展名PL固定)是记录着作为BD管理信息102之一的、记录场景(scenario)的播放列表(PlayList)信息的文件。每个播放列表具有1个文件。<XXX.PROG>(XXX可变，扩展名PROG固定)是记录着作为BD再生程序101之一的、前述每个播放列表的程序的文件。与播放列表的对应根据文件主体名(XXX—致)来识别。<YYY.V0B>(YYY可变，扩展名VOB固定)是记录着作为AV数据103之一的、MPEG流的文件。每个MPEG流具有1个文件。<YYY.VOBI〉(YYY可变，扩展名VOBI固定)是记录着作为BD管理信息102之一的、与上述VOB有关的管理信息的文件。与VOB的对应根据文件主体名(YYY—致)来识别。<ZZZ.PNG>(ZZZ可变，扩展名PNG固定)是记录着作为AV数据103之一的、例如字幕等PNG(由W3C标准化了的图像格式)形式的数据(以下称为"PNG数据"。)的文件。每1个PNG数据具有1个文件。接着，参考图3及图4来说明再生前述BD盘的再生装置的结构。图3是再生装置1000的功能结构的方框图。BD盘201上的数据通过光头202来读出，读出的数据按照数据的种类被保存到专用的存储器中。图2中的BD盘104上的数据101-103的保存地址如下所述。BD再生程序lOl(BD.PROG或XXX.PROG文件)被记录到程序记录存储器203中，BD管理信息102(BD.INFO、XXX.PL或YYY.VOBI)被记录到管理信息记录存储器204中，AV数据103(YYY.VOB或ZZZ.PNG)被记录到AV记录存储器205中。<程序处理部>程序处理部206从管理信息处理部207接收再生AV数据的播放列表的信息、或执行BD再生程序等事件信息，处理BD再生程序。此外，程序处理部206接收经遥控器或操纵杆等的事件(以下称为"用户事件"。)，并在有与其对应的BD再生程序的情况下执行。再者，在演播处理部208正在再生AV数据的情况下，如果在该AV数据中存在后述流事件，则从演播处理部208接收该流事件。其中，作为上述BD再生程序，有在AV数据的再生中再生其他AV数据的应用、或绘制图形的应用等。作为本实施方式的BD再生程序，有再生AV数据、同时在必要时叠加绘制图形的应用，当然也可以是只有其中某一方的应用。此外，作为通用的程序，设想了Java(注册商标)应用，但是C语言或其他编程语言的程序也同样。<管理信息处理部>管理信息处理部207接收来自程序处理部206的指示，分析对应的播放列表及与播放列表对应的VOB的管理信息，指示演播处理部208再生基于该分析结果的AV数据。此外，管理信息处理部207从演播处理部208接收时刻信息，根据该时刻信息来指示演播处理部208停止再生。此外，管理信息处理部207指示程序处理部206执行程序。<演播处理部>演播处理部208具有与视频、音频、PNG数据分别对应的解码器，根据时刻信息和来自管理信息处理部207的指示，来对AV数据进行解码并且输出。其中，时刻信息是用于根据预先规定的时间轴来再生AV数据的控制信息。视频数据在被解码后由视频平面210来绘制，PNG数据由图像平面209来绘制。然后，由合成处理部211来合成并输出到TV(电视)等显示设备。再者，演播处理部208在正在再生AV数据的情况下，如果在该AV数据中存在流事件，则将该流事件发送到程序处理部206。图4示出了用硬件来实现前述再生装置(图3)的功能结构的情况下的例子。AV记录存储器205对应于图像存储器308和光道缓冲器309，程序处理部206对应于程序处理器302和UOP管理器303，管理信息处理部207对应于场景处理器305和演播控制器306，演播处理部208对应于时钟307、分离器310、图像处理器311、视频处理器312以及声音处理器313。以下，用图4来概说从BD盘201上读出的数据的处理。(AV数据)从BD盘201上读出的AV数据103中的MPEG流数据被记录到光道缓冲器309中，PNG数据被记录到图像存储器308中。分离器310根据时钟307的时刻，来抽出光道缓冲器309中记录着的MPEG流数据，将视频数据送出到视频处理器312，将音频数据送出到声音处理器313。视频处理器312及声音处理器313分别如MPEG系统标准规定的那样，由解码器缓冲器和解码器分别构成。SP，从分离器310送入的视频、音频分别的数据被暂时记录到分别的解码器缓冲器中，根据时钟307由各个解码器来进行解码处理。下面说明图像存储器308中记录着的PNG数据的处理。在PNG数据是面向字幕的情况下，由演播控制器306来指示解码定时(timing,时序)。场景处理器305暂时接受来自时钟307的时刻信息，如果到了字幕显示时刻(开始及结束)，则指示演播控制器306显示或不显示字幕，以便适当地显示字幕。图像处理器311从图像存储器308中读出演播控制器306指示的PNG数据，进行解码，并绘制到图像平面314上。BD再生程序是绘制菜单图像等的程序，在绘制表示菜单图像等的PNG数据的情况下，由程序处理器302向图像处理器311指示解码定时。程序处理器302指示图像处理器311对PNG数据进行解码的定时依赖于程序处理器302正在处理的BD再生程序。PNG数据及视频数据如用图3说明过的那样分别被解码后，被记录到图像平面314、视频平面315中，由合成处理部316来合成、输出。(BD管理信息)此外，从BD盘201上读出的BD管理信息(场景、AV管理信息)被记录到管理信息记录存储器304中。场景信息(BD.INFO及XXX.PL)由场景处理器305来读出并处理，而AV管理信息(YYY.VOBI)则由演播控制器306来读出并处理。场景处理器305分析播放列表的信息，并向演播控制器306指示被播放列表参照的MPEG流数据、及其再生位置，演播控制器306分析对应的MPEG流数据的管理信息(YYYVOBI)，并指示驱动器控制器317读出MPEG流数据。驱动器控制器317根据演播控制器306的指示，来移动光头，并读出对应的MPEG流数据。场景处理器305监视时钟307的时刻，根据管理信息的设定，将事件送出到程序处理器302。(BD再生程序)此外，程序记录存储器301中记录着的BD再生程序(BD.PROG或XXX.PROG)由程序处理器302来执行、处理。程序处理器302处理BD再生程序，是在从场景处理器305发送来了事件的情况下、或在从UOP管理器303发送来了事件的情况下。在发送来基于用户的遥控器操作的请求的情况下，UOP管理器303生成表示该请求的事件信息，将该事件信息送出到程序处理器302。图5是本实施方式的MPEG流的结构图。MPEG流由多个传输包(TransportPacket,以下称为"TS包"。)构成。1个TS包的长度是188字节。视频(Video)流及音频(Audio)流等由多个TS包来分离地复用并传输。15此外，视频流及音频流等由多个PES包构成，作为由TS包来传输的信息，除了由PES包组成的流之外，还有由字段(Section)来传输的PSI(ProgramSpecificInformation,节目专用信息)及流事件(DSM-CCStreamEvent)等。例如，在再生某个AV数据的情况下，PSI提供应从视频流及音频流中对应地对哪个PES包进行解码等信息。流事件在某个时刻向与AV数据合作来动作的应用提供信息。图6是传输流事件(DSM-CCStreamEvent)的字段(Section)的结构图。传输流事件的字段由table—id、event—msg—group—id、及净荷(Payload)等构成。table—id表示数据保存区域__净荷中保存的数据类型。在保存流事件的情况下，tablejd是0x3D这一值。event—msg—group—id是用于识别净荷中保存的流事件组的名称。流事件被保存到净荷中来传输。更详细的结构在MPEG系统(ISO/IEC13818-l)标准及DSM-CC(ISO/IEC13818-6)标准中有描述，所以这里省略。<处理概要>图14是本实施方式的程序(BD再生程序)及程序处理部206的功能方框图。在该图中，应用1400对应于程序，平台1410对应于该程序的执行环境一_程序处理部206。这里，本实施方式的应用1400是Java(注册商标)应用，平台1410包含处理器，包含逐次解释Java(注册商标)应用的程序并变换为处理器可执行的本机代码、使处理器执行本机代码的虚拟机。应用1400是用于在正在被再生的AV数据的图像的一部分或全部上叠加绘制图形的应用，根据包含绘制时间或绘制坐标等信息的与图形有关的信息(以下称为"图形信息"。)来绘制图形。作为这种应用，例如有将AV数据的图像用作背景的射击游戏等应用。平台1410根据图形信息和MPEG流中预先嵌入的流事件所示的信息(以下称为"流事件信息")，来判定表示要绘制的图形的图形信息。此外，指示图像平面209绘制基于判定出的图形信息的图形。艮P，平台1410的处理如下来实现判定要绘制的图形，用处理器来执行指示绘制判定出的图形的本机代码。以下，说明应用1400及平台1410的功能结构。(应用)应用1400由用户事件接收部1401、用户事件信息发送部1402、及图形信息发送部1403构成，各部表示应用1400端的动作。其中，上述各部包括构成应用的程序代码的描述部分中的、平台端用于接收来自应用端的输入的接口(以下称为"API函数")。应用1400能够通过适当调用API函数将用户事件信息或图形信息输出到平台1410端。艮口，执行构成应用的程序代码的描述部分中的、描述调用用于发送用户事件信息的API函数的指令的部分，相当于用户事件信息发送部1402;执行描述用于发送图形信息的API函数的指令的部分，相当于图形信息发送部1403。用户事件接收部1401从程序处理部206接收用户事件，提取事件的类型及坐标等用户事件信息。用户事件信息发送部1402将提取出的用户事件信息发送到平台1410。图形信息发送部1403将预先规定的图形信息发送到平台1410。这里，"发送图形信息"，例如是将应用1400中的对图形信息的参照作为参数来调用API函数。实际上，该API函数的调用也通过平台1410的解释来实现。(平台)平台1410由用户事件信息接收部1411、图形信息接收部1412、图形信息存储部1413、图形信息控制部1414、图形绘制部1415、及流事件接收部1416构成。用户事件信息接收部1411从应用1400接收用户事件信息。图形信息接收部1412从应用1400接收既定的图形信息。这里，"从应用1400接收图形信息"，具体地说，是平台1410解释将应用1400中的对图形信息的参照作为参数的API函数，用处理器来执行将图形信息保存到图形信息存储部1413中的本机代码。其结果是，图形信息被存储到图形信息存储部1413中。图形信息存储部1413是平台1410中的逻辑空间上的存储器，存储图形信息。图形信息控制部1414根据图形信息存储部1413中存储着的图形信息、及从流事件接收部1416接收到的流事件信息，来判定应绘制的图形信息。图形绘制部1415是根据图形信息来指示图像平面209绘制图形的部分。流事件接收部1416从演播处理部208接收AV数据中嵌入的流事件，提取流事件信息。<数据>(图形信息)图8示出了本实施方式的图形信息的例子。在该图中，图形信息由对象(object:目标)ID、文件名、坐标及绘制时间构成。对象ID是用于识别各图形对象的名称，在该应用中是唯一的。文件名表示保存与该图形对象对应的PNG数据的文件。坐标是作为判定应绘制的图形对象时的指标的绘制位置。例如，在由用户指定了坐标的情况下，在以该指定的坐标为中心确定的一定距离的范围内包含图形信息的坐标的情况下，将与该坐标相对应的图形对象绘制到指定的坐标上。绘制时间是应开始绘制该图形对象的时刻、及应结束的时刻。这些时刻被指定为与应用的执行同时再生的AV数据在再生时间轴上的位置。(流事件信息)图9示出了本实施方式的流事件信息的例子。流事件信息由时刻、对象ID、坐标、及容许误差构成。时刻是被嵌入了该流事件的AV数据在再生时间轴上的位置。对象ID是用于识别对应的图形对象的名称。坐标是应绘制对应的图形对象的坐标。18容许误差用于响应该流事件来判定应绘制的图形，表示应绘制的图形的坐标的范围。具体地说，以应绘制的坐标为中心在容许误差的值的范围内包含图形信息的坐标的情况下，将与该坐标相对应的图形对象判定为应绘制的图形。其中，在该图的流事件信息的例子中，示出了在AV数据中的时刻为"1分"时，在图形信息(图8)中对象ID"000"成为绘制对象的情况下，将对象ID为"000"的图形对象绘制到坐标"(225,125)"上。<动作>图15示出应用1400起动时图形信息被发送到平台1410的情况下的流程图。以下，假设通过用户操作起动了再生装置1000，平台1410执行了应用1400来进行说明。应用1400的图形信息发送部1403将图形信息发送到平台1410(S1510)。平台1410中的图形信息接收部1412接收步骤S1510中发送的图形信息(S1500)。将步骤S1500中接收到的图形信息送出到图形信息存储部1413(S1501)，保存到图形信息存储部1413中(S1502)。图16示出按照AV数据中预先嵌入的流事件信息来控制图形的绘制的流程图。具体地说，通过按照AV数据的再生时刻发生流事件信息，来绘制对应的图形对象。其中，假设图形信息是在应用起动时已被保存在平台1410的图形信息存储部1413中，并在要再生的AV数据中包含流事件的信息。以下，根据图16来说明程序处理部206从演播处理部208接收到流事件的情况下平台1410的处理。流事件接收部1416从演播处理部208接收流事件(S1600)，从接收到的流事件中提取流事件信息(S1601)，将流事件信息送出到图形信息控制部1414(S1602)。图形信息控制部1414从图形信息存储部1413中读出图形信息(S1603)。接着，图形信息控制部1414判定步骤S1603中读出的全部图形信息中的、与歩骤S1601中提取出的流事件信息对应的图形信息(S1604)，将该图形信息送出到图形绘制部1415(S1605)。图形绘制部1415根据该图形信息，来指示图像平面209绘制图形(S1606)。<判定处理(流事件)>这里，用图11来说明发生了流事件的情况下的图形信息的判定处理。在歩骤S1100中，图形信息控制部1414扫描图形信息存储部1413的全部图形信息，来进行判定处理。图形信息控制部1414判定从由流事件接收部1416接收到的流事件中提取出的流事件信息中包含的时刻(以下称为"事件时刻")是否处于图形信息中的绘制时间内(SllOl)。在图形信息控制部1414判定为在绘制时间内包含事件时刻的情况下'(S1101:是)，判定与具有该绘制时间的信息的图形信息对应的图形对象的对象ID是否被包含在流事件信息中(S1102)。在步骤S1102中，在图形信息控制部1414判定为被包含在流事件信息中的情况下(S1102:是)，图形信息控制部1414选出该图形信息，将选出的图形信息的坐标置换为流事件信息的坐标(S1103)。该图形信息被送出到图形绘制部1415，图形绘制部1415将图形信息所示的图形绘制到图像平面209上。此外，由合成处理部211将图像平面209的图形和视频平面210的视频数据叠加并输出。如上所述，在应用起动时，通过将预先规定的图形信息发送到平台1410，即使平台1410不将流事件信息逐次发送到应用1400，也能够控制平台1410应绘制的图形对象，平台1410能够通过执行机器语言指令集来进行图形对象的选择处理。其中，例如也可以在应用向平台发送了图形信息时，平台将图形信息所示的BD中的PNG数据读入到AV记录存储器205中，演播处理部208进行被读入AV记录存储器205中的PNG数据的解码处理。此外，在上述例子中，选出将事件时刻包含在绘制时间中、流事件信20息和图形信息的对象ID—致的图形作为应绘制的图形；但是也可以选出将事件时刻包含在绘制时间中、具有被包含在流事件信息中的坐标的容许误差范围内的坐标的图形，也可以选出将事件时刻包含在绘制时间中的图形信息。(用户事件)此外，说明在发生了用户事件的情况下，与被再生的AV数据合作来绘制图形对象的处理。图17是在应用1400从程序处理部206接收到用户事件的情况下控制图形的绘制的处理的流程图。具体地说，绘制以由用户事件指定的坐标为中心、具有系统中既定的容许范围内的坐标的图形对象。在步骤S1710中，程序处理部206接收用户事件，送出到应用1400的用户事件接收部1410，用户事件接收部1401接收用户事件。用户事件接收部1401根据接收到的用户事件，来提取坐标等用户事件信息(S1711)，将用户事件信息送出到用户事件信息发送部1402(S1712)。用户事件信息发送部1402向平台1410发送用户事件信息(S1713)。平台1410的用户事件信息接收部1411接收用户事件信息(S1700)，送出到图形信息控制部1414(S1701)。图形信息控制部1414读出图形信息存储部1413中保存着的图形信息(S1702)，根据图形信息和用户事件信息，来判定应绘制的图形的图形信息(S1703)。图形信息控制部1414将通过步骤S1703判定出的图形信息送出到图形绘制部1415(S1704)。图形绘制部1415根据接收到的图形信息，来指示图像平面209绘制图形(S1705)。<判定处理(用户事件)>这里，参考图13来详细说明发生了用户事件的情况下的图形信息的判定处理。在歩骤S1300中，将图形信息存储部1413的全部图形信息作为判定对象来进行扫描。图形信息控制部1414判定是否有具有以接收到的涉及用户事件信息的坐标(以下称为"事件坐标"。)为中心、以系统中既定的容许误差为半径的圆内包含的坐标的图形信息(S1301)。在步骤S1301中，图形信息控制部1414判定为有具有事件坐标的容许误差范围内的坐标的图形信息的情况下(步骤S130h是)，向判定出的图形信息上附加事件坐标(S1302)。<实施方式2〉在上述实施方式1中，在平台端进行了应绘制的图形的判定处理；而本实施方式用与上述实施方式1同样的再生装置1000(图3)，在应用端进行图形的判定处理。其中，本实施方式中设想的BD-ROM的数据层次、BD-ROM上的逻辑空间的结构、BD-ROM再生装置的概要、BD-ROM再生装置的结构、MPEG流的结构、传输流事件的字段的结构与实施方式l相同。图7示出了本实施方式的应用700及平台710的功能结构。(应用的结构)在该图中，应用700由用户事件接收部701、图形信息存储部702、图形信息控制部703、图形信息发送部704、及流事件信息接收部705构成。以下，说明与实施方式l不同的结构。流事件信息接收部705从平台710接收流事件信息。图形信息发送部704将图形信息控制部703判定出的图形信息发送到平台710。(平台的结构)此外，平台710由图形信息接收部711、流事件信息发送部712、图形绘制部713、及流事件接收部714构成。流事件信息发送部712将流事件信息发送到应用700。图形信息接收部711响应应用700传递图形信息的API函数的调用来逐次接收图形信息。<动作>图IO是按照AV数据中预先嵌入的流事件信息、来控制图形的绘制的处理的流程图。在该图中，步骤SIOOO、S1001的处理与实施方式l相同，所以说明步骤S1002以下的处理。在步骤S1002中，流事件接收部714将流事件信息送出到流事件信息发送部712。流事件信息发送部712将流事件信息发送到应用700(S1003)。应用700的流事件信息接收部705接收流事件信息(SIOIO)，送出到图形信息控制部703(SlOll)。图形信息控制部703读出图形信息存储部702中保存着的图形信息(S1012)，根据图形信息和流事件信息，来判定图形信息(S1013)。图形信息控制部703将判定出的图形信息送出到图形信息发送部704(S1014)，图形信息发送部712将图形信息发送到平台710(S1015)。平台710的图形信息接收部711从平台710接收图形信息(S1004)，送出到图形绘制部713(S1005)。其中，图形信息的判定处理与实施方式l相同，所以省略其说明。此外，在本实施方式中，说明发生了用户事件的情况下的动作中与实施方式l不同的部分。图12是在本实施方式中发生了用户事件的情况下控制图形对象的绘制的处理的流程图。该图的步骤S1210S1211与实施方式l相同，所以省略其说明。用户事件接收部701将用户事件信息送出到应用700的图形信息控制部703(步骤S1212)，图形信息控制部703接收用户事件信息(S1213)。图形信息控制部703根据图形信息和用户事件信息，来判定图形信息(S1214)，将判定出的图形信息送出到图形信息发送部704(S1215)。图形信息发送部704向平台710发送图形信息(S1216)，平台710的图形信息接收部711接收图形信息(S1200)。其中，图形信息的判定处理与实施方式l相同，所以省略其说明。<实施方式3>本实施方式控制在上述实施方式2中用户切换了再生速度的情况下的图形的绘制。其中，本实施方式中设想的BD-ROM的数据层次、BD-ROM上的逻辑空间的结构、BD-ROM播放器的概要、BD-ROM播放器的结构、MPEG流的结构、传输流事件的字段的结构与实施方式l相同。图18是本实施方式的应用及平台的功能方框图。应用1800接收再生AV数据的模式切换时发生的模式切换事件，发送到平台1810。这里，所谓模式，例如表示2倍速等AV数据的再生速度，用户在要切换再生速度的情况下，通过操作遥控器等来切换模式。此外，模式切换事件表示发生了用户切换模式的操作，程序处理部206接收基于用户操作的模式切换操作，将表示该操作的模式切换事件送出到应用1800。应用1800是在实施方式2的应用的结构上，添加模式切换事件接收部1806、过滤信息设定部1807、及过滤信息发送部1808而构成的。以下，说明上述结构。模式切换事件接收部1806接收再生AV数据的模式切换时发生的模式切换事件，提取涉及该模式切换事件的信息(以下称为"模式切换事件信息"。)。其中，模式切换事件信息包含模式切换操作前后的模式信息等。过滤信息设定部1807根据模式切换事件信息，来设定用于提取流事件的过滤信息。这里，所谓过滤信息，例如在用户将模式从"1倍速"切换到"2倍速"的情况下，是指表示"2倍速"的信息。过滤信息发送部1808将设定的过滤信息发送到平台。此外，平台1810是在实施方式2的平台的结构上，添加过滤信息接收部1815及过滤信息存储部1816而构成的。过滤信息接收部1815从应用1800接收过滤信息。过滤信息存储部1816存储接收到的过滤信息。图19示出了本实施方式的流事件信息。流事件信息是在上述实施方式的流事件信息上添加了模式信息而成的信息。其中，模式信息表示再生中的AV数据的再生模式，但是也可以包含多24个再生模式。<动作>以下，说明本实施方式的动作。图20是在通过用户操作切换了AV数据的再生模式的情况下、从应用1800向平台1810发送过滤信息的处理的流程图。在通过用户操作切换了模式时，应用1800的模式切换事件接收部1806从程序处理部206接收模式切换事件(S2010)。模式切换事件接收部1806从接收到的模式切换事件中提取模式切换事件信息(S2011)，将模式切换事件信息送出到过滤信息设定部1807(S2012)。过滤信息设定部1807根据模式切换事件信息，来设定过滤信息(S2013)，送出到过滤信息发送部1808(S2014)。过滤信息发送部1808将过滤信息发送到平台1810(S2015)。平台1810的过滤信息接收部1815接收过滤信息(S2000)，将过滤信息送出到过滤信息存储部1816(S2001)。过滤信息存储部1816保存过滤信息(S2002)。其中，流事件接收部1814在从演播处理部208接收了流事件时，根据在上述步骤S2002中保存到过滤信息存储部1816中的过滤信息，来提取流事件信息。以下，说明按照再生模式切换事件及流事件来控制图形对象的绘制的处理。图21是本实施方式的控制图形对象的绘制的处理的流程图。其中，假设通过用户的模式切换操作进行了上述图20所示的动作，在平台1810中保存着过滤信息，来说明流程。在步骤S2100中，平台1810的流事件接收部1814从演播处理部208接收流事件(S2100)。流事件接收部1814提取流事件信息(S2101)，从过滤信息存储部1816中读出过滤信息(S2102)。接着，流事件接收部1814根据过滤信息，来提取流事件信息(S2103)，将提取出的流事件信息送出到流事件信息发送部1812(S2104)。流事件信息发送部1812将流事件信息发送到应用1800(S2105)。应用1800的流事件信息接收部1805接收流事件信息(S2U0)。步骤S2110以下的处理与上述实施方式2(图12)的处理相同，所以省略其说明。这里，用图22来说明流事件信息的提取处理。在步骤S2200中，流事件接收部1814扫描接收到的全部流事件信息。流事件接收部1814从过滤信息存储部1816中读出过滤信息，判定涉及流事件信息的模式信息和过滤信息是否一致(S2201)。在步骤S2201中，流事件接收部1814判定为一致的情况下(步骤S2201:是)，提取判定出的流事件信息(S2202)。<实施方式4>在上述实施方式3中，使流事件信息中包含模式信息，例如在发生了将模式切换到2倍速的模式切换事件的情况下，流事件接收部1814只提取模式信息为"2倍速"的流事件信息，将提取出的流事件信息发送到应用。而在本实施方式中，流事件信息采用与实施方式1及2相同的方式，在发生了模式切换事件的情况下，流事件接收部1814对应于模式切换事件，以适当的频度将流事件发送到应用。具体地说，与上述同样，在发生了2倍速的模式切换事件的情况下，例如以每2次1次的比率将流事件信息发送到应用。其中，本实施方式中设想的BD-ROM的数据层次、BD-ROM上的逻辑空间的结构、BD-ROM播放器的概要、BD-ROM播放器的结构、MPEG流的结构、传输流事件的字段的结构与实施方式l相同。此外，应用的功能结构与实施方式3相同，但是平台的流事件接收部1814包含流事件计数器，在这一点上与实施方式3的平台的功能结构不同。这里，流事件计数器对沿时间序列的流事件信息进行计数，保持计测到的数目。<动作>以下，说明本实施方式的流事件信息的提取处理。其中，假设在AV数据的再生中发生了模式切换事件的情况下，在平台1810的过滤信息存储部1816中存储着过滤信息。图23是流事件信息的提取处理的流程图。26在步骤S2300中，流事件接收部1814对流事件计数器进行初始化。流事件接收部1814扫描接收到的全部流事件信息(步骤S2301),参照流事件计数器保持的值，来判定是否是与过滤信息对应的流事件信息(S2302)。具体地说，例如如果过滤信息是"2倍速"，则判定流事件计数器是否为2的倍数。其中，应用也可以直接设定整数作为过滤信息。在步骤S2302中，流事件接收部1814判定为是与过滤信息对应的流事件信息的情况下(步骤S2302:是)，流事件接收部1814提取该流事件信息(S2304)。此外，在步骤S2302中，流事件接收部1814判定为不是与过滤信息对应的流事件信息的情况下(步骤S2302:否)，更新流事件计数器(S2303)。<补充>以上根据实施方式14说明了本发明的再生装置，当然也可以如下变形，本发明不限于上述实施方式中所示的再生装置。(1)假设上述实施方式1的程序与1个AV数据合作来动作而进行了说明，但是也可以适用于下述情况在BD中保存着多种AV流，上述程序与这些AV流合作来动作。例如，在再生全部AV数据前执行了程序、进行了再生菜单显示等的情况下，用户选择了要再生的AV数据时，平台1410接收与选择出的AV数据对应的图形信息。这样，在进行了各AV数据的再生指示时，平台通过接收与各AV数据对应的图形信息，不用为每个AV流准备程序，就能够绘制与被再生的AV流合作的图形。(2)此外，在上述实施方式中，在应用起动时平台端或应用端的图形信息控制部接收全部图形信息，但是也可以在AV流的再生中、例如每10分钟接收图形信息。在此情况下，与接收全部图形信息并保存到图形信息存储部中的情况相比，一次要接收的图形信息量少，所以能够减少图形信息存储部的容量。(3)此外，在上述实施方式中，说明了在平台上单一应用动作的情况，但是也能够应用于多个应用动作的情况。在平台上，例如2个游戏的应用动作的情况下，在应用起动时，平台从两个应用接收图形信息。在发生了流事件的情况下，图形信息控制部1414选择与各个游戏对应的图形信息，使图形绘制部1415绘制与各游戏对应的图形。(4)在上述实施方式中，平台根据应用中预先规定的图形信息，来绘制图形对象；但是也可以例如切换到与再生中的AV数据相同的BD上记录着的其他AV数据。(5)此外，在上述实施方式3及4中，说明了用户在切换再生模式时，切换到既定的模式中的某一个；但是也可以例如在用户用操纵杆等指定了再生速度的情况下，切换到与该再生速度相当的既定模式来设定过滤信息。(6)此外，在来不及将图形绘制到图像平面上的情况下，例如图形绘制部向图像平面指示的图形的绘制未完成，却必须指示图像平面绘制新的图形等，也可以适当抽取平台应绘制的图形。(7)此外，在上述实施方式3及4中，应用端设定了过滤信息；但是也可以是平台端根据模式切换事件信息来设定过滤信息。在此情况下，从应用向平台发送模式切换事件信息，平台接收模式切换事件信息，根据模式切换事件信息来判定应绘制的图形信息。(8)在上述实施方式4中，在流事件计数器保持的值与过滤信息对应的情况下，提取该流事件信息；但是也可以使流事件信息包含与流事件计数器同样的信息(以下称为"计数器信息")。在此情况下，例如在过滤信息为"2倍速"时，只提取流事件信息的计数器信息的低1位为"0"的流事件信息；而在过滤信息为"4倍速"时，只提取计数器信息的低2位为"00"的流事件信息，发送到应用。此外，应用也可以设定更细致的过滤信息，例如只提取计数器信息的某位的值是规定值的流事件信息等。(9)此外，在上述实施方式中，说明了按照再生中的AV数据中预先嵌入的流事件来绘制图形;但是也可以根据表示AV数据的各视频的再生定时的时刻信息，来绘制图形。产业上的可利用性本发明的再生装置能够执行与再生中的AV数据流合作来动作的程序，28与AV数据流合作来绘制图形。因此，可用于电影产业、及从事处理它的设备的制造的民用设备产业。例如，能够用作BD-ROM盘及BD-ROM播放祖楚益寺°权利要求1、一种再生装置，用于播放被记录在记录介质上的视频流，所述记录介质包括再生所述视频流期间要执行的计算机程序；所述视频流包括用于确定与所述视频流的视频的再生定时关联的时间轴上的位置的控制信息；并且所述计算机程序包括用于指定多个图像和与各图像相对应的绘制时刻的预定代码；所述再生装置包括存储单元；播放部，用于根据所述控制信息逐次播放所述视频；图像平面；平台，(i)具有用于执行本机代码的处理器，通过将所述预定代码转换为所述处理器可执行的本机代码，并使所述处理器执行用于将所述指定的多个图像和对应于各图像的绘制时刻存储在所述存储单元中的所述本机代码，来解释和执行所述预定代码，并且(ii)包括用于选出图像的本机代码，使所述处理器执行用于选出所述图像的所述本机代码，从而基于下述(a)和(b)从存储在所述存储单元中的多个图像中选出将被绘制的图像，并将所选出的图像存储在所述图像平面中，其中，(a)包括在所述控制信息中的与所述视频的所述再生定时关联的时间轴上指定的位置，以及(b)与存储在所述存储单元中的各图像相对应的所述绘制时刻；以及合成部，用于在所述视频的所述再生期间将存储在所述图像平面中的所选出的图像叠加至所述视频中。2、一种用于再生装置中的再生方法，所述再生装置用于播放被记录在记录介质上的视频流，所述记录介质包括再生所述视频流的期间要执行的计算机程序；所述视频流包括用于确定与所述视频流的视频的再生定时关联的时间轴上的位置的控制信息；并且所述计算机程序包括用于指定多个图像和与各图像相对应的绘制时刻的预定代码；所述再生装置包括存储单元；图像平面；平台，包括用于执行本机代码的处理器以及用于选出图像的本地代码；其中所述再生方法包括下列步骤再生步骤，用于根据所述控制信息逐次播放所述视频；存储步骤，通过将所述预定代码转换为所述处理器可执行的本机代码，并使所述处理器执行用于将所述指定的多个图像和对应于各图像的绘制时刻存储在所述存储单元中的所述本机代码，来解释和执行所述预定代码；选出步骤，使所述处理器执行用于选出所述图像的所述本机代码，从而基于下述(a)和(b)从存储在所述存储单元中的多个图像中选出将被绘制的图像，并将所选出的图像存储在所述图像平面中，其中，(a)包括在所述控制信息中的与所述视频的所述再生定时关联的时间轴上指定的位置，以及(b)与存储在所述存储单元中的各图像相对应的所述绘制时刻；以及合成步骤，用于在所述视频的所述再生期间将存储在所述图像平面中的所选出的图像添加至所述视频中。全文摘要再生装置包括应用(1400)的执行环境——平台(1410)，在平台(1410)起动该应用(1400)时，用与API函数相当的图形信息发送部(1403)来取得图形信息并保存到图形信息存储部(1413)中。图形信息控制部(1414)根据流事件接收部(1416)取得的流事件、和图形信息存储部(1413)内的图形信息来选出应绘制的图形信息，按与流事件有关的视频的再生定时，使图形绘制部(1415)绘制选出的图形。文档编号G11B27/00GK101494077SQ200910008158公开日2009年7月29日申请日期2005年5月10日优先权日2004年5月11日发明者大芦雅弘,岩本启明,桥本敏史申请人:松下电器产业株式会社