专利名称：处理含有多个视频轨道的视频数据的装置和方法
技术领域：
本发明涉及处理视频数据的装置和方法，特别涉及视频信号的再现顺序的控制。
背景技术：
近年来，诸如数字VTR、DVD播放器等的用于处理数字动图像信号的设备被普及，另外，由于AV设备、计算机设备的进步，动图像的编辑并不仅仅局限于工作室，而且也可以在家中进行。还开发了这样的系统，即在动图像的编辑中，生成被称为播放列表的再现记述数据并进行多个动图像之间的转换，或者，在再现时实时地进行视频效果处理，从而大幅度地削减了用于动图像编辑的时间。作为这样的电影格式，已知Apple公司的QuickTime格式等。QuickTime能够处理多个视频、音频轨道(track)，也可在轨道间设定视频的转场效果(transition effect)。
图15是表示在对上述多轨道的播放列表，将划变(wipe)的转场效果设定为再现时的实时效果时的轨道映象(track image)的图。
在视频轨道-1中，在0～4秒设定有MovieA.mpg，在视频轨道-2中，在3～7秒设定有MovieB.mpg。视频轨道-2的再现指定时间比视频轨道-1的结束时间提前1秒。这是因为用于在这1秒的时间内在视频轨道-1和视频轨道-2之间实现基于划变效果的转场效果的图像重叠(overlap)缘故。
效果轨道是用于控制对于上述两个轨道的效果的应用的数据。在该例中，效果轨道分成三块，在0～3秒，直接再现视频轨道-1，在3～4秒，在视频轨道-1和视频轨道-2之间应用转场效果，在4～7秒，直接再现视频轨道-2。
图16A和图16B表示了上述播放列表的数据树结构。
在图16A中，300表示播放列表文件整体，100表示其中的管理信息。在管理信息中，轨道由110、120、140来表示，分别具有由111、121、141表示的轨道ID、由113、123’、143’表示的播放列表数据。轨道内的内容(content)由115、125、145表示，分别具有作为对实际的电影记录文件(movie take file)的参照信息的参照表116、126或对效果描述文件的参照信息146、表示内容(content)的内容的内容数据信息117、127、147。内容数据信息由下述构成由内容的详细信息构成的内容管理数据118、128、148”、管理内容内的数据块的再现时间的块管理数据119、129、149’。
在图16B中，200是效果描述文件，由处理描述块201、202、203构成。
图17A～图17D表示播放列表的实际的数据结构的例子。
图17A是在图16A中的参照表116、126、146的一例。在视频轨道-1的参照表116中记述有MovieA.mpg，在视频轨道-2的参照表126中记述有MovieB.mpg，在效果轨道的参照表146中记述有效果描述文件Effect.dcr。
图17B是在图16A中的播放列表数据113、123’、143’的一例。在视频轨道-1中，设定为从起始处再现4秒时间。在视频轨道-2中，设定为在3秒时间的空白后，从起始处再现4秒时间。在效果轨道中设定为从起始出再现7秒时间。由此，进行在图15说明的共7秒的播放列表再现。
图17C是在图16A中的内容管理数据118、128、148”的一例，在视频轨道-1的内容管理数据118中，将内容ID设定为A-1，将内容的内容设定为Mpeg2动图像。在视频轨道-2的内容管理数据128中，将内容ID设定为B-1，将内容的内容设定为Mpeg2动图像。在效果轨道的内容管理数据148中，将内容ID设定为E-1、E-2。
E-1表示与在图15中说明的0～3秒、4～7秒的无效果的部分对应的效果轨道内容，Effect Off被设定为用于效果控制的标志。E-2表示与图15的3～4秒对应的效果轨道内容，设定有用于进行实时效果处理的Effect On。
图17D是在图16A中的块管理数据119、129、149的一例。在视频轨道-1的块管理数据119中，对ID为A-1的内容设定有数据块1～8的再现时间表。在视频轨道-2的块管理数据129中，对ID为B-1的内容，设定有数据块1～8的再现时间表。关于效果轨道，对ID为E-1的内容，设定有数据块1、3的再现时间表，对ID为E-2的内容，设定有数据块2的再现时间表。这表示在图15中，MovieA.mpg和MovieB.mpg分别由每0.5秒的八个数据块构成，另外，RndC.mpg由每0.5秒的两个数据块构成，依次再现这些数据块。
图18表示效果描述数据200的例子。关于效果轨道的1～3的数据块，块1的效果类型为无效，信源(Source)为视频轨道-1，块2的效果类型为划变，信源为视频轨道-2、视频轨道-2，指定了实时效果的种类。块3的效果类型为无效，信源为视频轨道-2。
上述再现时的视频效果要求较高的再现性能，特别地，难以象转场效果那样地一边再现多个视频轨道一边进行效果处理。对此，在日本专利申请公开特开2002-218385号中提出了这样的描述方法，即，在用诸如SMIL那样的再现描述语言的再现中，插入预先仅描绘了效果部分的动图像文件。由此，即使在能力较低的再现设备中，也能进行具有良好效果的再现。
但是，由日本专利申请公开特开2002-218385号所公开的技术是根据以单一的视频轨道为主体的数据构造来实现的，其难以直接适用于诸如QuickTime那样的具有多个视频轨道的动图像格式。
发明内容
本发明目的在于，至少解决上述问题，即使是能力较低的装置也可再现含有实施了高级的加工处理的多个视频轨道的图像数据。
通过本发明的处理含有多个视频轨道的视频数据的装置和方法来实现上述目的。根据本发明的一个方面，通过加工上述多个视频轨道的一部分，新生成加工数据。此后，生成用于控制上述视频数据的再现顺序的播放列表数据，该控制使得取代上述一部分数据而再现所生成的上述加工数据。
本发明的其他特征和优点通过以下参照了附图的说明而得以明确。在附图中，对相同的结构附加相同的标号。
附图包含在说明书中并构成其一部分，用于阐述本发明的实施方式，并与其描述一起说明本发明的原理。
图1是表示本发明实施例中的图像处理装置的结构例的图。
图2是表示本发明实施例中的节目播放顺序表(story board)编辑画面的一例的图。
图3是说明本发明实施例中的播放列表再现的图。
图4是表示本发明实施例中的播放列表数据的树结构的图。
图5A～图5D是表示本发明实施例中的播放列表数据的一例的图。
图6是表示本发明实施例中的附加效果的节目播放顺序表编辑画面的一例的图。
图7是说明本发明实施例中的附加效果的播放列表再现的图。
图8A和图8B是表示本发明实施例中的播放列表数据的树结构的图。
图9A～图9D是表示本发明实施例中的播放列表数据的一例的图。
图10是表示本发明实施例中的效果描述数据的一例的图。
图11是说明本发明实施例中的再现装置的图。
图12是表示本发明实施例中的播放列表再现处理的流程图。
图13是说明本发明实施例中的调整了数据块边界的附加效果的播放列表再现的图。
图14A～图14D是表示本发明实施例中的调整了数据块边界的附加效果的播放列表数据的一例的图。
图15是说明以往的根据实时效果的播放列表再现的图。
图16A和图16B是表示以往的播放列表数据的树结构的图。
图17A～图17D是表示以往的播放列表数据的一例的图。
图18是表示以往的效果描述数据的一例的图。
具体实施例方式
根据附图，详细说明本发明的优选实施方式。
下面，参照附图详细说明本发明的实施例。另外，在以下的实施例中，主要说明动图像信号的处理，但是，也可对音频信号进行同样的处理。
图1是表示本发明实施例中的图像处理装置的结构的图。
在图1中，驱动控制器109，根据系统控制器108的请求而将信号输入到驱动伺服电路110，控制盘接口(I/F)101的光头和电机，来控制来自盘D的数据读出。
对于由盘I/F101从盘D读取的数据，由纠错处理电路102对介质的缺陷或记录再现时的错误进行纠错。文件管理电路103，从纠错后的数据串检测出各种数据，将图像数据输出到视频解码电路104，并将管理数据等输出到系统控制器108。又，将播放列表数据输出到播放列表处理电路111。
系统控制器108，通过控制来自盘D的数据读出，得到目标记录数据。
112是编辑操作输入电路，利用被显示在监视器107的动图像数据的缩略图(thumbnail)等，操作用于编辑的操作画面。系统控制器108，基于所输入的编辑指示，控制播放列表处理电路111，生成含有作为编辑结果的播放列表的播放列表数据。在编辑现有的播放列表文件时，由文件管理电路103将解码后的播放列表数据输出到播放列表处理电路111。在由系统控制器108施加了基于编辑操作的更改后，生成播放列表数据。文件管理电路103将该播放列表数据转换成文件形式并输出到纠错处理电路102，通过盘I/F101记录到盘D。
102是纠错处理电路，附加用于进行数字数据的纠错的奇偶校验数据。驱动控制器109，根据来自系统控制器108的请求，将信号输出到驱动伺服电路110，由此控制盘I/F101的光头和电机。
视频解码电路104对从电影记录文件读出的编码视频数据进行解码并提供给视频效果电路105和监视器107，其中，该电影记录文件由动图像数据的实体构成。视频效果电路105，对来自单一或多个视频轨道的动图像数据实施视频效果处理(加工处理)，输出到视频编码电路106。视频编码电路106，将来自效果电路105的图像数据编码，输出到文件管理电路103。文件管理电路103，将从该视频编码电路106输出的已实施了效果处理的编码数据，作为由视频效果部分的动图像数据构成的电影记录文件、即渲染剪辑(rendering clip)文件输出到纠错处理电路102，通过盘I/F101记录在盘D。
下面，使用播放列表文件和渲染剪辑的例子来说明本实施例的处理。
图2是由两个动图像构成的单一播放列表的编辑画面的例子。
201是节目播放顺序表，按照再现的顺序，显示动图像文件的缩略图。202和203分别是第一动图像文件MovieA.mpg和第二动图像文件MovieB.mpg的缩略图。204和205是用于设定动图像之间的转场效果的输入方块，该例表示未设定转场效果的状态。
图3表示了该播放列表的轨道映象(track image)。在视频轨道-1中，在0～4秒设定有MovieA.mpg。在视频轨道-2中，在4～8秒设定有MovieB.mpg。当对该数据进行播放列表的再现时，在0秒～4秒再现MovieA.mpg，在4秒～8秒再现MovieB.mpg。
图4表示了该播放列表的数据树结构。300表示播放列表文件整体，100表示其中的管理信息。在管理信息中，轨道由110和120表示，分别具有由111和121表示的轨道ID、由113和123表示的播放列表数据。轨道内的内容由115和125表示，分别具有作为对实际的电影记录文件的参照信息的参照表116和126、表示内容的内容的内容数据信息117和127。内容数据信息由以下构成由内容的详细信息构成的内容管理数据118和128、管理内容内的数据块的再现时间的块管理数据119和129。
图5A～图5D表示播放列表的实际的数据结构的例子。
图5A为图4的参照表116和126。在视频轨道-1的参照表116中设定有MovieA.mpg，在视频轨道-2的参照表126中设定有MovieB.mpg。图5B为图4的播放列表数据113和123。在视频轨道-1的播放列表数据113中，设定为从起始处再现4秒时间。在视频轨道-2的播放列表数据123中，设定为在4秒时间的空白后，从起始处再现4秒时间。由此，进行在图3中说明了的共计8秒的播放列表再现。
图5C为图4的内容管理数据118和128。在视频轨道-1的内容管理数据118中，内容ID设定为A-1，内容内容设定为Mpeg2动图像。在视频轨道-2的内容管理数据128中，内容ID设定为B-1，内容内容设定为Mpeg2动图像。
图5D为图4的块管理数据119和129。在视频轨道-1的块管理数据119中，对ID为A-1的内容设定有数据块1～8的再现时间表。在视频轨道-2的块管理数据129中，对ID为B-1的内容设定有数据块1～8的再现时间表。这表示在图3中，MovieA.mpg和MovieB.mpg分别由每0.5秒的八个数据块构成，依次再现这些数据块。
图6是表示对图3的单一的播放列表设定了划变的转场效果的图。601为节目播放顺序表，按照再现顺序显示动图像文件的缩略图。602和603分别为第一动图像文件MovieA.mpg和第二动图像文件MovieB.mpg的缩略图。604和605为用于设定动图像之间的转场效果的输入方块。在604中，作为转场效果设定有划变效果。
图7表示了该播放列表的轨道映象。
在视频轨道-1中，在0～4秒设定有MovieA.mpg。在视频轨道-2中，在3秒～7秒设定有MovieB.mpg。视频轨道-2的再现指定时间相对于图3提前1秒。这是因为用于在这1秒的时间内在视频轨道-1和视频轨道-2之间实现基于划变效果的转场效果的图像重叠(overlap)的缘故。在图7中，由于后续的动图像仅仅是视频轨道-2，所以只错开MovieB.mpg。如果还有后续的动图像，则对以后的播放列表部分也进行同样的错开。
该后续数据的错开对于诸如动图像之间的转场效果等的要求时间重叠的特定的视频效果来说是必要的。但是，对于诸如对单一动图像的淡入、淡出或彩色效果等的不发生重叠的效果来说，则并无必要。
渲染剪辑轨道，是用于指定作为根据效果的追加而重新生成的抽出了效果应用部分的电影记录文件的渲染剪辑的轨道。在该轨道中，设定有1秒时间的电影记录文件RndC.mpg，其是从以MovieA.mpg的最后1秒和MovieB.mpg的开始1秒作为信源并实施了划变效果的动图像生成的。效果轨道是控制对由这三个轨道构成的三个块的效果应用的数据，保持关于作为本实施例的特征的渲染剪辑的信息。
Shft是作为由转场效果的追加产生的重叠量而保持将后续动图像的MovieB.mpg向前错开1秒的履历的数据，被记录在效果轨道的内容管理数据中。
如上述那样，如果是不需要重叠的效果，则不发生后续动图像数据的错开，因此，取Shft＝0。
In和Out分别表示在渲染剪辑内的实际的转场效果的开始位置和结束位置，被记录在效果轨道的内容管理数据中。另外，控制渲染剪辑的再现的再现标志也被同样地记录，当Sw＝On时，在再现时，在渲染剪辑期间里，优先于原始的视频轨道、即视频轨道-1和视频轨道-2地再现渲染剪辑轨道。在该例中，从播放列表再现开始，前3秒再现MovieA.mpg，在3秒～4秒的期间根据渲染剪辑的再现标志而再现RndC.mpg，在4秒～7秒再现MovieB.mpg。
用于使效果轨道的内容和渲染剪辑轨道的数据块相关联的信息作为Blk信息，被记录在效果轨道的内容管理数据中。在此，记录为渲染剪辑轨道的块1～2是效果轨道的内容。
在将多处渲染剪辑分配给渲染剪辑轨道时，上述信息被用于使播放列表上的效果块与渲染剪辑相关联。
表示渲染剪辑的效果内容的信息被记录在Effect描述数据中，在此，对效果类型为划变效果这一内容进行记录。该效果内容信息，例如，在作为节目播放顺序表编辑画面的例子的图6的604中，被用于表示转场效果为划变这一内容。
用于进行以上的渲染剪辑的处理的标志，也作为Re_On被记录在效果轨道的内容管理信息中。如果不存在渲染剪辑，则设定Re_Off，略过上述处理。
图8A和图8B表示了上述播放列表的数据树结构。
对于图4，追加、变更被强调显示的部分的数据结构。关于和图3相同的数据结构，省略说明。在图8A中，渲染剪辑轨道和效果轨道由130和140表示，分别具有由131和141表示的轨道ID。效果轨道具有由143表示的播放列表数据。轨道内的内容由135和145表示，分别具有作为对实际的电影记录文件和效果描述文件的参照信息的参照表136和146、表示内容(content)的内容的内容数据信息137和147。内容数据信息由以下构成由内容的详细信息构成的内容管理数据138和148、管理内容内的数据块的再现时间的块管理数据139和149。在图8B中，200为效果描述文件，由处理描述块201、202、203构成。
在图9A～图9D中，表示播放列表的实际的数据结构的例子。
图9A为图8A的参照表136和146。在渲染剪辑轨道的参照表136中追加RndC.mpg。在效果轨道的参照表146中追加效果描述文件Effect.dcr。图9B为播放列表数据。在视频轨道-1中设定为从起始处再现4秒时间。在视频轨道-2中，设定为在3秒时间的空白后，从起始处再现4秒时间。在效果轨道中设定为从起始处再现7秒时间。图9C为内容管理数据。在渲染剪辑轨道的内容管理数据138中，内容ID设定为R-1，内容(content)的内容设定为Mpeg2动图像。在效果轨道的内容管理数据148中，内容ID设定为E-1和E-2，并设定效果及渲染剪辑的控制参数。
E-1表示与在图7中说明的0～3秒、4～7秒的无效果的部分对应的效果轨道内容，作为用于效果控制的标志，Effect_Off被设定，作为表示有无渲染剪辑的标志，Rc_0ff被设定。E-2表示与图7的3～4秒对应的效果轨道内容，由于具有渲染剪辑，所以Rc_On被设定。
在图7中说明的渲染剪辑的各参数被作为上述内容而记录。设定Sw＝On，In＝3，Out＝4，Shft＝1，Blk＝1-2，另外，作为参照轨道ID而设定渲染剪辑轨道。关于各参数的含义，由于和图7的说明重复，所以省略之。
图9D为图8的块管理数据119、129、139及149。在视频轨道-1的块管理数据119中，关于ID为A-1的内容，设定有数据块1～8的再现时间表。在视频轨道-2的块管理数据129中，关于ID为B-1的内容，设定有数据块1～8的再现时间表。在渲染剪辑轨道的块管理数据139中，关于ID为R-1内容，设定有数据块1～2的再现时间表。关于效果轨道，关于ID为E-1的内容，设定有数据块1、3的再现时间表，关于ID为E-2的内容，设定有数据块2的再现时间表。
这表示在图7中，MovieA.mpg和MovieB.mpg分别由每个0.5秒的8个数据块构成，另外，RndC.mpg由每个0.5秒的2个数据块构成，依次再现这些数据块。
图10是表示图8B的效果描述数据200的一例的图。关于效果轨道的1～3的数据轨道，块1的效果类型为没有效果、信源为视频轨道-1；块2的效果类型为划变、信源为视频轨道-1和视频轨道-2，对应于渲染剪辑。如上述那样，根据在这里所记述的效果类型，可在编辑画面上显示转场效果的种类等。块3的效果类型为没有效果、信源为视频轨道-2。
图11是表示记录包含上述那样生成的渲染剪辑的各种文件并能够根据播放列表进行再现的再现装置的概略结构的图。
驱动控制器1110，根据系统控制器1111的请求，将信号输入到驱动伺服电路1109，通过控制盘I/F1101的光拾取器(opticalpickup)和监视器，控制来自盘D的数据读出。由纠错解码电路1102对从盘D读取的数据中的错误进行纠错。文件管理电路1103从纠错后的数据串中检测出各种数据。
当通过操作单元1112指示播放列表再现时，系统控制器就控制驱动控制器1110，对盘D指示播放列表文件的再现。播放列表处理电路1106，分析从文件管理电路1103输出的播放列表文件，决定要读出的数据流并提供给系统控制器1111。这时，如果由渲染剪辑检测电路1107检测出存在渲染剪辑、即Rc_On，则进入到根据图7说明的渲染剪辑再现处理。
当由再现标志检测电路1108检测出Sw＝On，渲染剪辑的再现被设为有效时，系统控制器1111控制驱动控制器1110，以使得再现渲染剪辑轨道而替代原来的数据轨道。视频解码电路1104按照播放列表对读出的动图像流数据进行解码，经由视频输出电路1105输出。
图12是表示根据Rc_On和Sw标志的再现轨道的控制动作的流程图。
在步骤1201中判断Rc_On。如果存在渲染剪辑，则进入下一步的再现标志判断处理。如果没有渲染剪辑，则在步骤1204中进行普通的播放列表再现。在步骤1202中，判断再现标志。当Sw＝On时，进行1203的渲染剪辑轨道再现。当Sw＝Off时，进行1204的普通轨道再现。如果在步骤1205中判断为存在后续的数据块，则在步骤1206中使再现对象进入到下一个数据块，从步骤1201反复进行上述处理。
这样，根据本实施例，即使是在对由多个轨道构成的视频数据实施了各种效果处理，并对该效果处理后的影像数据执行播放列表再现的情形下，也可以生成已实施了效果处理的渲染剪辑，再现该渲染剪辑，由此实现高级的效果处理。
图13表示实际的效果的In，Out点和渲染剪辑的开始、结束点不一致时的例子。
上述状况的发生是因为，在例如MPEG2的GOP那样，仅仅能够以预定的时间单位进行再现时，为了施加任意时长的转场效果，必须生成含有效果应用区间并适合再现数据边界(data boundary)的长度的渲染剪辑。
在视频轨道-1中，在0～4秒设定为MovieA.mpg。在视频轨道-2中，在2.5秒～6.5秒设定为MovieB.mpg。视频轨道-2的再现指定时间相对于图3向前错开1.5秒。这是因为视频轨道-1、视频轨道-2之间的1秒的部分的划变的转场效果，和数据块边界(data blockboundary)的包含余白数据(margin data)的重叠。余白数据直接使用原始数据轨道的视频数据。
在渲染剪辑轨道中，设定有包括由In＝2.7、Out＝3.7表示的实际的效果应用区间且包括使前后的动图像数据与块边界对准的部分的渲染剪辑。
Shft是保持作为转场效果的追加的重叠量而将作为后续动图像的MovieB.mpg向前错开1.5秒的履历的数据，被记录在效果轨道的内容管理数据中。
In和Out分别表示在渲染剪辑内的实际的转场效果的开始位置和结束位置，被记录在效果轨道的内容管理数据中。如上述那样，由于再现块边界对准的边界部分，In和Out与渲染剪辑的开始、结束点并不一致。
控制渲染剪辑的再现的再现标志也被记录在效果轨道的内容管理数据中。当Sw＝On时，在再现时，在渲染剪辑期间里，优先于原始的视频轨道、即视频轨道-1和视频轨道-2地再现渲染剪辑轨道。在该例中，从播放列表再现开始，前2.5秒再现MovieA.mpg，在2.5秒～4秒的期间根据渲染剪辑的再现标志而再现RndC.mpg，在4秒～7秒再现MovieB.mpg。
用于使效果轨道的内容和渲染剪辑轨道的数据块相关联的信息作为Blk信息，被记录在效果轨道的内容管理数据中。在此，记录为渲染剪辑轨道的块1～3是效果轨道的内容。
表示渲染剪辑的效果内容的信息被记录在效果记述数据中，在此，记录为效果类型是划变效果。该效果内容信息，例如，在作为节目播放顺序表编辑画面的例子的图6的604中，被用于表示转场效果是划变效果。
用于进行以上的渲染剪辑的处理的标志，也作为Re_On被记录在效果轨道的内容管理信息中。如果不存在渲染剪辑，则设定Re_Off，略过上述处理。
因为该播放列表的数据树结构与图8A、图8B相同，所以省略说明。
图14A～图14D表示播放列表的实际的数据结构例。
图14A为图8A的参照表136和146。在渲染剪辑轨道的参照表136中追加RndC.mpg。在效果轨道的参照表146中追加效果描述文件Effect.dcr。图14B为播放列表数据。在视频轨道-1中设定为从起始处再现4秒时间。在视频轨道-2中，设定为在2.5秒时间的空白后，从起始处再现4秒时间。在效果轨道中设定为从起始处再现6.5秒时间。由此进行图13说明的共计6.5秒的播放列表再现。
图14C为内容管理数据。在渲染剪辑轨道的内容管理数据138中，内容ID设定为R-1，内容(content)的内容设定为Mpeg2动图像。在效果轨道的内容管理数据148中，内容ID设定为E-1和E-2，并设定效果及渲染剪辑的控制参数。
E-1表示与在图13中说明的0～2.5秒、4～6.5秒的无效果的部分对应的效果轨道内容，作为用于效果控制的标志，Effect_Off被设定，作为表示有无渲染剪辑的标志，Rc_Off被设定。E-2表示与图13的2.5～4秒对应的效果轨道内容，由于具有渲染剪辑，所以设定为Rc_On。
在图13中说明的渲染剪辑的各参数被作为上述内容而记录。设定Sw＝On，In＝2.7，Out＝3.7，Shft＝1.5，Blk＝1-3，另外，作为参照轨道ID而设定渲染剪辑轨道。关于各参数的含义，由于和图13的说明重复，所以省略之。
图14D为图8A的块管理数据119、129、139及149。在视频轨道-1的块管理数据119中，对ID为A-1的内容设定数据块1～8的再现时间表。在视频轨道-2的块管理数据129中，对ID为B-1的内容设定数据块1～8的再现时间表。在渲染剪辑轨道的块管理数据139中，对ID为R-1内容设定数据块1～3的再现时间表。关于效果轨道，对ID为E-1的内容设定数据块1、3的再现时间表，对ID为E-2的内容设定数据块2的再现时间表。这表示在图13中，MovieA.mpg和MovieB.mpg分别由每个0.5秒的8个数据块构成，另外，RndC.mpg由每个0.5秒的3个数据块构成，依次再现这些数据块。
这样，即使在图像数据的编码处理单位和来自记录介质的再现单位不一致时，通过将表示在渲染剪辑内进行了效果处理的区间的数据一起记录，可以实施任意时间的效果处理。
本发明不限于上述具体实施方式
，在本发明的精神和范围内可作不同的改变和更改，因此，为了向公众告知本发明的范围，撰写下面的权利要求。
权利要求
1.一种处理包含多个视频轨道的视频数据的装置，包括加工数据生成装置，通过进行上述多个视频轨道的一部分的加工处理，新生成加工数据；以及播放列表处理装置，生成用于控制上述视频数据的再现顺序的播放列表数据，该控制使得取代上述一部分数据而再现由上述加工数据生成装置生成的上述加工数据。
2.根据权利要求1所述的装置，其特征在于，上述播放列表含有处理上述多个视频轨道和上述加工数据的多个轨道信息。
3.根据权利要求1所述的装置，其特征在于，上述播放列表处理装置生成表示对上述加工数据实施了加工处理的种类的加工类型信息。
4.根据权利要求3所述的装置，其特征在于，上述播放列表处理装置对多个上述加工数据的每一者生成上述加工类型信息。
5.根据权利要求1所述的装置，其特征在于，上述播放列表处理装置生成表示在上述加工数据中实际实施了加工处理的区间的区间信息。
6.根据权利要求5所述的装置，其特征在于，上述播放列表处理装置对多个上述加工数据的每一者生成上述加工区间信息。
7.根据权利要求5所述的装置，其特征在于，上述视频数据是编码的，上述加工数据生成装置决定对每个上述编码的单位实施上述加工处理的区间。
8.根据权利要求1所述的装置，其特征在于，上述播放列表处理装置生成表示随着上述加工数据的生成而变更了再现时间的上述多个视频轨道的再现时间变化量的时间信息。
9.根据权利要求1所述的装置，其特征在于，上述播放列表处理装置还生成表示是否要再现上述加工数据的控制标志。
10.根据权利要求1所述的装置，其特征在于，还包括记录装置，将上述加工数据和上述播放列表数据记录在记录有上述视频数据的记录介质。
11.一种从借助于权利要求10所述的装置记录了加工数据和播放列表文件的记录介质再现视频数据的设备，其特征在于，包括再现装置，从上述记录介质再现数据；以及控制装置，根据上述播放列表数据，控制利用上述再现装置的上述视频数据的再现顺序。
12.根据权利要求11所述的装置，其特征在于，上述控制装置对上述再现装置进行控制，使得在表示是否进行上述加工数据的再现的控制标志为ON时，再现上述加工数据，在上述控制标志为OFF时，禁止上述加工数据的再现。
13.一种处理含有多个视频轨道的视频数据的方法，包括通过加工上述多个视频轨道的一部分，新生成加工数据的步骤；以及生成用于控制上述视频数据的再现顺序的播放列表数据的步骤，该控制使得取代上述一部分数据而再现由上述加工数据生成装置生成的上述加工数据。
全文摘要
本发明涉及一种处理包含多个视频轨道的视频数据的装置和方法。根据本发明的一个方面，通过加工上述多个视频轨道的一部分，新生成加工数据。此后，生成用于控制上述视频数据的再现顺序的播放列表数据，该控制使得取代上述一部分数据而再现所生成的上述加工数据。
文档编号H04N9/85GK1581956SQ20041006267
公开日2005年2月16日 申请日期2004年8月6日 优先权日2003年8月7日
发明者石井芳季 申请人:佳能株式会社