时间线操作控制装置和方法、程序和图像处理器的制作方法

专利名称：时间线操作控制装置和方法、程序和图像处理器的制作方法
技术领域：
本技术涉及时间线(time line)操作控制装置、时间线操作控制方法、程序和图像处理器。具体地，本技术涉及适合于例如在实况节目中操作CG(计算机图形)图像的用途的时间线操作控制装置等等。
背景技术：
在制作CG时，在时间线上确定多个关键帧的CG的状态。当创建CG图像时，通过在关键帧之间插补来确定时间线上的每个时间点的CG的状态，从而生成各个帧的图像。在此情况下，与记录视频素材相同，CG图像可被再现、快进、倒回等等；并且CG图像可在时间线上被任意操作以进展移动从而输出作为动画的图像。例如，2005-196669号日本未实审专利申请公布教导了一种创建⑶I (图形用户界面)的技术；其中，利用根据时间线的CG数据，响应于操作事件在时间线上进行时刻的跳跃。在此情况下，利用标签标记时间线上的期望位置，并且事件处理规则定义到这些标签的跳跃。在用于对视频作出特殊效果的装置中，已知使用关键帧的类似技术。图33图示了利用插补的特殊效果的进展示例。参考这些图，较大的帧表示画面；其中较小的帧表示子画面；并且子画面的位置和大小被改变。图33的(a)示出了原始状态；并且图33的(b)和图33的(c)分别示出了移动后的状态。在此情况下，原始状态和移动后的状态被作为关键帧来处置，并且其间的转变(transition)是通过利用参数执行插补来作出的。

发明内容
公知一种使用时间线的编辑方法，其中通过编辑CG或视频特殊效果来再现图像。时间线使得能够实现复杂的时序运动。CG实时渲染装置使得能够获得通过对其进行操作来修改CG的内容的图像。然而，在再现实况节目期间通过操作CG的参数(例如，TRS:位置/旋转/放大/缩小)是难以实现非常复杂的操作的。虽然较困难，但通过操作两个操纵杆，可对两个虚拟对象进行TRS操作。然而，极难获得期望的效果。本公开增强了复杂的时序运动的可操作性。本技术的概念是一种时间线操作控制装置，包括:时间线保存部，该时间线保存部保存作为对时序变化控制的记述的时间线；元时间线保存部，该元时间线保存部保存记述时间线上的进展路径的元时间线；以及控制部，该控制部根据元时间线中记述的时间线上的进展路径来进展表示时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。在本技术中，时间线保存部保存作为对时序变化控制的记述的时间线。元时间线保存部保存记述时间线上的进展路径的元时间线。例如，元时间线中记述的时间线上的进展路径可包括时间线的时刻跳跃。另外，例如，元时间线中记述的时间线上的进展路径可包括在时间线的时间轴上逆行的进展路径。控制部根据元时间线中记述的时间线上的进展路径来进展表示时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。例如，时间线时刻适于，当播放元时间线的指令被给出时，改变被指定为元时间线的开头的值。另外，例如，当时间线时刻在时间线上的关键帧点之间时，利用前后的关键帧的参数来插补该时间线时刻的参数，从而确定控制。此外，例如，元时间线保存部保存多个元时间线，并且控制部基于这些元时间线中所选的一个元时间线来控制处理。从而，在本技术中，表示时间线上的位置的时间线时刻根据元时间线保存部中保存的元时间线中记述的时间线上的进展路径而进展，并且时间线操作根据该进展被控制。因此，可增强复杂的时序动作的可操作性。在本技术中，例如，控制部可被配置为根据元时间线中记述的时间线上的进展路径和用户指定速度来进展表示时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。例如，用户指定速度可预先通过用户进行的速度指定操作而被指定并被保存在控制部的存储器中。在本技术中，例如，元时间线中记述的时间线上的进展路径可包括预定数目的区间，每个区间包括预设速度。控制部可基于元时间线中记述的时间线上的进展路径和每个区间的预设速度来进展表示时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。在本技术中，例如，元时间线中记述的时间线上的进展路径可包括预定数目的区间，每个区间包括预设速度。控制部可基于元时间线中记述的时间线上的进展路径、每个区间的预设速度和用户指定速度来进展表示时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。在本技术中，例如，还包括元时间线创建支持部，用于支持元时间线的创建。元时间线创建支持部对于时间线中的多个关键帧点检测相同内容，并将其作为元时间线的进展开始点的选项呈现。在本技术中，例如，可根据元时间线中记述的时间线上的进展路径和由对渐变杆的操作给出的渐变值来进展表示时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。本技术的另一概念是一种图像处理器，其包括:图像生成部，该图像生成部基于包括时间线操作的计算机图形记述数据来生成图像；元时间线保存部，该元时间线保存部保存记述时间线上的进展路径的元时间线；以及控制部，该控制部根据元时间线中记述的时间线上的进展路径来进展表示时间线上的位置的时间线时刻，从而控制图像生成部根据该进展来播放时间线的一部分。在本技术中，图像生成部基于包括时间线操作的计算机图形记述数据来生成图像。元时间线保存部保存记述时间线上的进展路径的元时间线。例如，元时间线保存部保存多个元时间线。多个元时间线的开头例如是时间线上计算机图形空间彼此相同的时刻和/或要纹理映射的输入图像是全画面的时刻。控制部根据元时间线来进展表示时间线上的位置的时间线时刻，并控制图像生成部根据该进展来播放时间线的一部分。这样，可增强用于生成CG图像的复杂时序操作的可操作性。在本技术中，例如，控制部可如下配置。也就是说，当多个元时间线的开头是时间线上计算机图形空间彼此相同的时刻和/或要纹理映射的输入图像是全画面的时刻时，并且当将播放中的第一元时间线切换到第二元时间线的指令被给出时，控制部在第一元时间线到达其开头时从第一元时间线切换到第二元时间线。在此情况下，当切换元时间线时，可以平滑地改变CG，而没有图像中的跳跃。在本技术中，例如，控制部可如下配置。也就是说，当第一元时间线和第二元时间线的开头是时间线上的要纹理映射的输入图像是全画面的时间点时，控制部在从播放中的第一元时间线切换到第二元时间线时控制向图像生成部提供纹理映射图像以使得要纹理映射的输入图像彼此相同。在此情况下，可以切换元时间线，而不引起输入图像上的任何变化。根据本技术，可增强复杂的时序操作的可操作性。


图1是图示根据本技术的第一实施例的图像处理器的配置示例的框图；图2图示了根据时间线的CG的时序运动的示例；图3图示了通过播放时间线的一部分而实现的CG的时序运动的示例；图4图示了元时间线(meta time line)的创建/编辑中的⑶I的示例；图5图示了元时间线保存部保存的元时间线的示例图6是用箭头指示的元时间线中的时间线上的时刻的进展和逆行的图示；图7是示出通过播放元时间线中的时间线的一部分而实现的CG的时序操作的图示；图8是示出控制部对图像生成部进行的控制操作的示例的流程图；图9是示出控制部对图像生成部进行的控制操作的另一示例的流程图；图10是示出当渐变杆(fader lever)被操作时控制部中的图像生成部的控制操作的流程图；图11图示了元时间线保存部保存的元时间线的另一示例；图12是示出当元时间线对于每个区间具有速度信息时控制部对图像生成部的控制操作的示例的流程图；图13是示出当一区间的结束时间码的时刻与下一区间的开始时间码的时刻同时时控制部对图像生成部的控制操作的示例的流程图；图14是示出当元时间线对于每个区间具有速度信息时控制部对图像生成部的控制操作的示例的流程图；图15是示出根据本技术的第二实施例的图像处理器的配置示例的框图；图16图示了元时间线保存部保存的元时间线的示例；图17图示了用于元时间线的创建/编辑的GUI的示例；图18图示了当“add”按钮或“edit”按钮被用户按压时的⑶I的示例；图19图示了切换器控制台(switcher console)的外观(操作面)的示例；图20图示了效果切换器的Μ/E库的配置的示例；
图21图示了将在播放CG期间效果切换器接收来自图像生成部的图像信号的输入取入到使用键控器(use keyer) “Keyl”中的交叉点(cross point)的控制；图22图示了渐变值和元时间线上的进展之间的关系的示例；图23图示了利用交叉点按钮行对元时间线的选择；图24是示出当元时间线被指定为转变型时切换器控制台(控制部)的控制操作的流程图(1/2)；图25是示出当元时间线被指定为转变型时切换器控制台(控制部)的控制操作的流程图(2/2)；图26示意性示出了从动作中的元时间线切换的操作的示例；图27图示了当切换动作中的元时间线时的时间线显示的示例；图28图示了 CG虚拟空间的示例；图29图示了元时间线的示例；图30是示出当“保持全画面内容”的开/关被设定为选项时切换器控制台(控制部)切换元时间线的控制操作的流程图(1/2)；图31是示出当“保持全画面内容”的开/关被设定为选项时切换器控制台(控制部)切换元时间线的控制操作的流程图(2/2)；图32图示了通过使用画面中的输入图像的区域(纹理映射的区域)彼此相同的状态来作出转变的方法；并且图33图示了通过插补作出的特殊效果的进展的示例。
具体实施例方式下面将描述本公开的实施例(以下称为“实施例”)。将按以下顺序进行描述。1.第一实施例2.第二实施例3.修改〈1.第一实施例>[CG图像生成装置的配置]图1图示了根据本技术的图像处理器100的第一实施例的配置的示例。图像处理器100包括CG (计算机图形)创建部110、CG记述数据存储装置120、图像生成部130、控制部140、用户操作部150和网络160。CG创建部110、CG记述数据存储装置120、图像生成部130和控制部140经由网络160相互连接。CG创建部110被配置为包括具有CG创建软件的个人计算机(PC)。CG创建部110输出预定格式的CG记述数据。作为CG记述数据的格式，例如，Collada(注册商标)是适用的。Collada是用于使得能够在可扩展标记语言(XML)上交换3D CG数据的记述定义。CG记述数据能够记载例如下面列出的各种信息。(a)素材(表面模式)的定义素材的定义对CG对象的表面的性质(样子)进行定义。素材定义包括各种信息，例如颜色、反射模式、发光、凹凸等等。素材定义可包括关于纹理映射的信息。如上所述，纹理映射是向CG对象贴附图像的技术，其使得能够在相对降低处理系统的负担的同时呈现复杂的图案等等。(b)几何信息的定义几何信息的定义包括诸如位置坐标、顶点坐标等等之类的关于多边形网格的信
息(C)相机的定义相机的定义包括相机的参数。(d)动画的定义动画的定义包括动画的每个关键帧中的各种信息。动画的定义还包括动画的每个关键帧中的时刻的信息。这里的“各种信息”包括各种信息，例如与对象(节点)相对应的关键帧的时间点、位置和顶点的坐标值、大小、正切向量、插补方法、动画中的变化等等。(e)场景中的节点(对象)的位置、方向、大小、相应几何信息的定义以及相应素材的定义。以上各种信息不是相互分离的，而是例如像下面这样相互关联的； 节点...几何信息.节点…素材(多个).几何信息...多面体集合(多个).多面体集合...素材(与节点相对应的素材之一).动画...节点构成一个画面的一个描述被称为场景。每个定义被称为库。每个场景参考库。例如，当场景中包括两个长方体对象时，这两个对象中的每一个被记载为一独立节点；并且其中每一个连接到素材定义中的任何一个。结果，每个长方体对象连接到素材定义，并且其中每个被利用根据相关素材定义的颜色和反射特性描绘到图像中。或者，长方体对象的每一个被利用多个多面体集合来记载。当素材定义连接到多个多面体集合时，多个多面体集合中的每一个被利用不同的素材定义描绘到图像中。例如，当一长方体具有六个面时；可存在这样的情况:该长方体被利用三个多面体集合来记载；即，三个面被利用一个多面体集合来记载；一个面被利用一个多面体集合来记载；并且两个面被利用一个多面体集合来记载。由于连接到每个多面体集合的是不同的素材定义，所以可以描绘出具有各自绘有不同颜色的六个面的图像。当对素材定义指定纹理映射时，在连接的对象的每个面上，图像被基于其图像数据来进行纹理映射。例如，素材定义被设定为在图像上映射以纹理。因此，在长方体对象的每个面上图像可被映射以相同的纹理；或者每个面可被映射以不同的图像。CG记述数据存储装置120存储由CG创建部110生成的预定数目的CG记述数据。CG记述数据包括原始动画的时间线(对基于时间的变化的控制的描述)。这样，CG记述数据存储装置120构成时间线保存部。图像生成部130基于CG记述数据存储装置120中存储的CG记述数据生成作为3D虚拟图像的CG图像。控制部140控制图像处理器100的各个部件进行的操作。控制部140包括元时间线保存部170。元时间线保存部170的位置不限于在控制部140的内部，而是可位于例如经由网络160连接到它的另一存储装置中。
元时间线保存部170保存预定数目的元时间线(通道程序)，其中每个元时间线记述时间线上的进展路径。元时间线播放时间线的一部分。元时间线可包括该元时间线记述的时间线上的进展路径内的时刻跳跃。作为元时间线中记述的时间线上的进展路径，进展路径可相对于时间线的时间轴逆行。图2图示了相对于时间线的CG的时序运动(图像的变化)的示例。图3图示了通过播放时间线的一部分而实现的CG的时序运动(图像的变化)的示例。例如，一元时间线播放像(a) — (e) — (f) — (g)这样的CG的时序运动。另外，另一元时间线播放例如(a) — (b) — (c) — (d)这样的CG的时序运动。另外，还有一元时间线播放例如(a) — (h)这样的CG的时序运动。从元时间线保存部170保存的多个元时间线中指定播放期望的元时间线。在此情况下，允许用户在再现CG期间任意选择从CG的初始状态(参考图2的(a)的状态)进展到多个其他状态之一(CG内容的状态已移动)。在元时间线保存部170保存的多个元时间线中，在时间线上存在相同CG空间的时间点是各个时间线的开始点。这些开始点是“01:00:00:00”、“01:00:13:00”、“01:00:26:00”，在图 2 中以(a)指示它们。元时间线保存部170保存的元时间线是由例如控制部140或者由其他单元(例如由具有用于创建元时间线的软件并连接到网络160的个人计算机等)创建的。例如，控制部140包括元时间线创建支持部190。元时间线创建支持部190具有检测时间线上的多个关键帧点处的相同项目以提供元时间线的进展的开始点的选项的功能。图4图示了用于创建/编辑元时间线的GUI (图形用户界面)的示例。图4的(a)示出了元时间线的列表。在从元时间线中选择预定ID之一后，通过按压编辑按钮“edit”，与该ID相对应的元时间线被编辑；即被新创建或改变。图4的(b)示出了编辑模式中的⑶I的示例。在该⑶I中，显示要编辑的元时间线的ID。在GUI的编辑模式下，时间线上的如下时刻被自动检测并被显示为选项:在该时亥|J，CG空间与时间线上的开始点(第一关键帧)“01:00:00:00”处的是相同的。另外，在GUI的编辑模式下，由于从第二时刻起，时间线上的时刻是可选择的，所以用户被允许通过用户操作部150手动输入期望的时间码。此情况下的有效范围是从原始时间线的开始点到其结束点。图5示出了元时间线保存部170保存的元时间线的示例。在此示例中，包括具有ID1-5的五个元时间线。例如，在ID = I的元时间线中，元时间线开始于时间线时刻“01:00:00:00”，在进展直到时间线时刻“01:00:09:00”后，终止于“01:00:09:00”的点。另外，例如在ID = 4的元时间线中，元时间线开始于时间线时刻“01:00:26:00”，并且进展直到时间线时刻“01:00:29:00”。另夕卜，在ID = 4的元时间线中，元时间线从时间线时刻“01:00:29:00”退回直到时间线时刻“01:00:26:00”，并且终止于时间线时刻“01:00:26:00”。另外，例如，在ID = 5的元时间线中，元时间线开始于时刻“01:00:00:00”，并且进展直到时间线时刻“01:00:09:00” ；随后从时刻“01:00:09:00”退回直到时间线时刻“01:00:06:00”。另外，在ID = 5的元时间线中，元时间线从时刻“01:00:06:00”起进展并终止于时间线时刻“01:00:09:00”。图6图示了用箭头指示的ID = 5的元时间线时刻的进展和逆行。图7图示了通过利用元时间线ID = 5播放时间线的一部分而实现的CG的时序运动(图像的变化)。再次参考图1，用户操作部150构成用户界面。用户操作部150连接到控制部140。用户被允许操作用户操作部150以执行各种操作。用户操作部150例如包括元时间线指定部151、速度指定部152、进展操作部153、渐变杆154等等。元时间线指定部151允许用户用来从元时间线保存部170保存的预定数目的元时间线中指定要播放的元时间线。速度指定部152允许用户指定时间线时刻的进展或逆行的速度。换言之，速度指定部152用于获得用户指定速度。速度指定操作是通过例如指定表示相对于通常速度的倍率的系数来执行的。用户指定速度(系数)被反映到通过元时间线指定部151指定的元时间线的整体。用户指定速度(系数)被保存在例如控制部140中的未示出的存储器中。用户指定速度可不是整数。单元(控制方法)被配置为保存小数部分，以使得进展中的时间线时刻可包括零头(fractional point)。进展操作部153被用户用来操作通过元时间线指定部151指定的元时间线的播放。当进行操作以播放元时间线时，控制部140控制图像生成部130根据元时间线进展表示时间线上的位置的时间线时刻以根据该进展播放时间线的一部分。渐变杆154被用户用来例如在通过元时间线指定部151指定的元时间线中进展时间线时刻。当渐变杆154被摇动时，参数(渐变值)从0%变化到100%。元时间线保存部170根据元时间线和该参数使表示时间线上的位置的时间线时刻进展。假定例如元时间线开始于“01:00:00:00”并且终止于“01:00:09:00”的情况。在该元时间线被选择时，控制部140控制图像生成部130生成“01:00:00:00”处的CG图像。当渐变杆154被摇动时，元时间线朝着100%的“01:00:09:00”进展。因为通过插补，即使是零头也可获得相应的参数，所以进展中的时间线时刻可不是帧/场单位的，而可以是零头。当渐变杆154位于100%处时，“01:00:09:00”处的CG图像被生成。然后，渐变杆154被返回，并且CG在时间线上逐渐退回，到0%的“01:00:00:00”处的CG图像。通过选择元时间线并且通过使用渐变杆154，从在CG的初始状态的多个选项中选择期望的选项；从而使得CG执行复杂的变化。通过返回渐变杆154，CG被逐渐返回到初始状态；或者通过调用元时间线，CG被立即返回到初始状态，并且被设定到待用状态以供下次选择。例如，现在假定对于演播室中的多个人(机器人)进行的讨论的直播背景图像，CG图像与之重叠；在该讨论的进展中，这些人中的任何一个被拍摄特写画面。通过选择放大与该人相对应的CG中的人(机器人)的选项并且通过随着讨论的这个进展操作渐变杆154，CG的变化可与讨论的变化同步。图8是示出控制部140对图像生成部130进行的控制操作的示例的流程图。在步骤STl中，控制部140开始控制操作，然后进展到步骤ST2的处理。在步骤ST2中，控制部140接收用户通过对元时间线指定部151的操作而作出的对元时间线ID的指定。这样，控制部140进入根据元时间线保存部170保存的预定数目的元时间线中与指定的元时间线ID相对应的元时间线的可控制操作状态。在步骤ST3中，控制部140向图像生成部130给出生成元时间线的开始时间码处的CG图像的指令。在步骤ST4中，控制部140读取元时间线上的下一时刻。例如，在图5中所示的元时间线ID = 4的情况下，开始时间码是“01:00:26:00”，并且下一时刻是“01:00:29:00”。随后在步骤ST5中，根据实际时间帧(场)的进展，控制部140使时间线时刻向元时间线上的下一时刻进展I帧(I场)。在步骤ST6中，控制部140向图像生成部130给出生成与时间线时刻相对应的CG图像的指令。这里，当该时间线时刻不是关键帧时，控制部140利用时间线上前后的关键帧的参数来插补该时间线时刻的参数以确定对图像生成部130的控制。在步骤ST7中，控制部140判定处理是否到达了元时间线上的下一时刻。当处理未到达下一时刻时，控制部140返回到步骤ST5，并且重复与上述相同的处理。另一方面，当处理到达了下一时刻时，控制部140进展到步骤ST8的处理。在步骤ST8中，判定处理是否是最终时刻。例如，在图5中所示的元时间线ID = 4的元时间线的情况下，当时刻是“01:00:29:00”时，下一时刻不是最终时刻；当下一时刻是“01:00:26:00”时，下一时刻是最终时刻。当时刻不是最终时刻时，控制部140返回到步骤ST4的处理并重复与上述相同的处理。另一方面，当处理是最终时刻时，控制部140在步骤ST9终止控制处理。上述图8中的流程图中的控制操作示出了当用户没有通过速度指定部152给出速度指定的情况。当用户给出速度指定时，控制部140对图像生成部130进行的控制操作在图9中的流程图中示出。在步骤STlO中，控制部140开始控制操作，然后处理到步骤ST11。在步骤STll中，控制部140接收用户通过对元时间线指定部151的操作给出的对元时间线ID的指定。这样，控制部140进入根据元时间线保存部170保存的预定数目的元时间线中与指定的元时间线ID相对应的元时间线的可控制状态。在步骤ST12中，控制部140读取用户指定速度(系数)。如上所述，例如，速度指定操作是由用户通过速度指定部152预先进行的，并且用户指定速度(系数)被保存在控制部140的存储器中。在步骤ST12中，控制部140读取存储器中保存的速度指定值。在步骤ST13中，控制部140向图像生成部130给出生成元时间线上的开始时间码(开始时刻)处的CG图像的指令。在步骤ST14中，控制部140读取元时间线上的下一时亥IJ。例如，在图5中所示的元时间线ID = 4的情况下，开始时间码是“01:00:26:00”，并且下一时刻是 “01:00:29:00”。在步骤ST15中，控制部140使时间线时刻朝着元时间线上的下一时刻进展“I帧(I场)X用户指定速度(系数)”。在步骤ST16中，控制部140向图像生成部130给出生成与时间线时刻(可包括零头的值)相对应的CG图像的指令。这里，当该时间线时刻不是关键帧时，控制部140利用时间线上前后的关键帧的参数来插补该时间线时刻的参数，从而确定对图像生成部130的控制。在步骤ST17中，控制部140判定处理是否到达了元时间线上的下一时刻。当处理尚未到达下一时刻时，控制部140返回到步骤ST15，并且重复与上述相同的处理。另一方面，当处理到达了下一时刻时，控制部140进展到步骤ST18的处理。在步骤ST18中，控制部140判定下一时刻是否是最终时刻。例如，在图5中所示的元时间线ID = 4的情况下，当下一时刻是“01:00:29:00”时，下一时刻不是最终时刻；当下一时刻是“01:00:26:00”时，下一时刻是最终时刻。当下一时刻不是最终时刻时，控制部140返回到步骤ST14的处理并重复与上述相同的处理。另一方面，当下一时刻是最终时刻时，控制部140在步骤ST19终止控制处理。随后，参考图10的流程图，将给出关于当渐变杆154被操作时控制部140对图像生成部130进行的控制操作的描述。在步骤ST20中，控制部140开始控制操作，并进展到步骤ST21的处理。在步骤ST21中，控制部140接收由通过用户操作部150的渐变杆操作发送的渐变值(％)。在步骤ST22中，控制部140计算与对应于从元时间线的开头到末尾的％的渐变值相当的时间线时刻(不被舍入到整数的值)。在步骤ST23中，控制部140向图像生成部130给出生成与所获得的时间线时刻相对应的CG图像的指令。在执行步骤ST23的处理后，控制部140在步骤ST24中终止控制操作。如上所述，在图1中所示的图像处理器100中，控制部140根据用户指定的元时间线进展表示时间线上的位置的时间线时刻。控制部140根据该进展控制图像生成部130中的CG图像生成操作(时间线操作)。如上所述，元时间线中记述的时间线上的进展路径中可包括时间线的时刻跳跃。另外，如上所述，作为元时间线中记述的时间线上的进展路径，时间线的时间轴可包括在其上逆行的进展路径。当元时间线中记述的时间线上的进展路径包括预定数目的区间时，每个区间可包括预设的速度。从而，增强了复杂的时序操作的可操作性。图1中所示的图像处理器100允许用户利用用户操作部150中的速度指定部152任意指定和调整时间线时刻的进展或逆行速度。在此情况下，控制部140根据用户指定的元时间线和指定速度进展表示时间线上的位置的时间线时刻，从而根据该进展控制图像生成部130的CG图像生成操作(时间线操作)。[元时间线(包括预设速度)]上述元时间线具有作为对时间线上的进展路径的记述的时刻信息(参考图5)。元时间线还可包括速度信息。图11示出了元时间线保存部170保存的此情况下的元时间线的示例。每个元时间线包括预定数目的区间。在此示例中，存在ID1-4的四个元时间线。例如，ID = I的元时间线具有单个区间，其中开始时间码(开始时刻)是“01:00:00:00”；并且结束时间码(结束时刻)是“01:00:09:00”。在ID= I的元时间线中，区间的预设速度(Speed)被设定为“2”。与用户指定速度相同，预设速度是表示例如相对于通常速度的倍率的系数。例如，ID = 3的元时间线包括第一区间、第二区间和第三区间。第一区间包括开始时间码(表示区间的开始时刻)“01:00:13:00”；以及结束时间码(表示区间的结束时亥Ij) “01:00:22:00”，并且区间的预设速度(Speed)被设定为“I”。第二区间包括开始时间码“ 01:00:22:00 ” ；以及结束时间码“ 01:00:19:00 ”，并且区间的预设速度(Speed)被设定为“0.25”。第二区间是其中时间线的时间轴被逆行的区间。第三区间包括开始时间码“ 01:00:19:00 ” ；以及结束时间码“ 01:00:22:00 ”，并且区间的预设速度(Speed)被设定为“0.5”。图12中的流程图示出了在如上所述元时间线对于每个区间包括速度信息的情况下控制部140对图像生成部130进行的控制操作的示例。在步骤ST30中，控制部140开始控制操作，然后前进到步骤ST31中的处理。在步骤ST31中，控制部140接收通过用户对元时间线指定部151进行的操作而对元时间线ID的指定。这样，控制部140进入根据元时间线保存部170保存的预定数目的元时间线中与指定的元时间线ID相对应的元时间线的可控制操作状态。在步骤ST32中，控制部140读取元时间线中的第一区间的开始时间码、结束时间码和预设速度(系数)。在步骤ST33中，控制部140向图像生成部130给出生成开始时间码处的CG图像的指令。在步骤ST34中，控制部140使时间线时刻朝着结束时间码的时刻进展“I帧(I场)X预设速度(系数)”。在步骤ST35中，控制部140向图像生成部130给出生成与时间线时刻相对应的CG图像的指令。这里，当该时间线时刻不是关键帧时，控制部140利用时间线上前后的关键帧的参数来插补该时间线时刻的参数以确定对图像生成部130的控制。在步骤ST36中，控制部140判定处理是否到达了结束时间码的时刻。当处理尚未到达结束时间码的时刻时，控制部140返回到步骤ST34，并且重复与上述相同的处理。另一方面，当处理到达了结束时间码的时刻时，控制部140前进到步骤ST37中的处理。在步骤ST37中，控制部140判定是否是元时间线中的最终时刻。例如，在图11中所示的元时间线ID = I的元时间线的情况下，最终时刻是“01:00:09:00”。另外，例如，在图11中所示的元时间线ID = 3的情况下，最终时刻是第三区间中的“01:00:22:00”。当不是最终时刻时，控制部140返回到步骤ST32的处理，读取下一区间的开始时间码、结束时间码和预设速度(系数)并且重复与上述相同的处理。另一方面，当是最终时刻时，控制部140在步骤ST38中终止控制处理。如上所述，由于元时间线对于每个区间具有预设速度(速度信息)，所以时间线时刻的进展(逆行)的变化速度对应于每个区间的预设速度。从而，控制部140可执行更复杂的时间线控制操作。图12中的流程图示出了当元时间线包括多个区间时，区间的结束时间码的时刻不与下一区间的开始时间码的时刻重叠的控制操作的示例。控制部140被配置为向图像生成部130给出生成一区间的结束时间码的时刻处的CG图像的指令，然后向图像生成部130给出生成下一区间中的开始时间码的时刻处的CG图像的指令。图11中所示的元时间线示出了一区间中的结束时间码的时刻与下一区间中的开始时间码的时刻重叠的情况的示例。图13中的流程图示出了控制使得一区间的结束时间码的时刻与下一区间中的开始时间码的时刻重叠的控制部140对图像生成部130进行的控制操作的示例。在步骤ST40中，控制部140开始控制操作，然后前进到步骤ST41中的处理。在步骤ST41中，控制部140接收通过用户对元时间线指定部151进行的操作而对元时间线ID的指定。这样，控制部140进入根据元时间线保存部170保存的预定数目的元时间线中与指定的元时间线ID相对应的元时间线的可控制操作状态。在步骤ST42中，控制部140读取元时间线的第一区间中的开始时间码、结束时间码和预设速度(系数)。在步骤ST43中，控制部140向图像生成部130给出生成开始时间码处的CG图像的指令。在步骤ST44中，控制部140使时间线时刻朝着结束时间码的时刻进展“I帧(I场)X预设速度(系数)”。在步骤ST45中，控制部140向图像生成部130给出生成与时间线时刻相对应的CG图像的指令。这里，当该时间线时刻不是关键帧时，控制部140利用时间线上前后的关键帧的参数来插补该时间线时刻的参数以确定对图像生成部130的控制。在步骤ST46中，控制部140判定处理是否到达了结束时间码的时刻。当处理尚未到达结束时间码的时刻时，控制部140返回到步骤ST34，并且重复与上述相同的处理。另一方面，当处理到达了结束时间码的时刻时，控制部140前进到步骤ST47中的处理。在步骤ST47中，控制部140判定是否是元时间线中的最终时刻。当不是最终时刻时，控制部140在步骤ST48中读取下一区间中的开始时间码、结束时间码和预设速度(系数)，然后控制部140返回到步骤ST44，并且重复与上述相同的处理。另一方面，当是最终时刻时，控制部140在步骤ST49中终止控制处理。图12中的流程图示出了用户没有通过速度指定部152给出速度指定时的控制操作。图14中的流程图示出了当用户给出速度指定时控制部140对图像生成部130进行的控制操作。在步骤ST50中，控制部140开始控制操作，然后前进到步骤ST51中的处理。在步骤ST51中，控制部140接收通过用户对元时间线指定部151的操作而对元时间线ID的指定。这样，控制部140进入根据元时间线保存部170保存的预定数目的元时间线中与指定的元时间线ID相对应的元时间线的可控制操作状态。在步骤ST52中，控制部140读取用户指定速度(系数)。如上所述，例如，速度指定操作是用户对速度指定部152预先进行的，并且用户指定速度(系数)被保存在控制部140中的存储器中。在步骤ST52中，控制部140读取存储器中保存的速度指定值。在步骤ST53中，控制部140读取元时间线的第一区间中的开始时间码、结束时间码和预设速度(系数)。在步骤ST54中，控制部140向图像生成部130给出生成开始时间码处的CG图像的指令。在步骤ST55中，控制部140使时间线时刻朝着结束时间码的时刻进展“I帧(I场)X用户指定速度(系数)X预设速度(系数)”。在步骤ST56中，控制部140向图像生成部130给出生成与时间线时刻相对应的CG图像的指令。当该时间线时刻不是关键帧时，控制部140利用时间线上前后的关键帧的参数来插补该时间线时刻的参数，以确定对图像生成部130的控制。在步骤ST57中，控制部140判定处理是否到达了结束时间码的时刻。当处理尚未到达结束时间码的时刻时，控制部140返回到步骤ST55，并且重复与上述相同的处理。另一方面，当处理到达了结束时间码的时刻时，控制部140前进到步骤ST58中的处理。在步骤ST58中，控制部140判定是否是元时间线中的最终时刻。例如，当不是最终时刻时，控制部140返回到步骤ST53中的处理，并且读取下一区间中的开始时间码、结束时间码和预设速度(系数)，并重复与上述相同的处理。另一方面，当是最终时刻时，控制部140在步骤ST59中终止控制处理。图14中的流程图示出了与根据图12中的流程图的控制操作相对应的控制操作。虽然省略了详细描述，但根据图13中的流程图的控制操作可包括用户指定速度。〈2.第二实施例>[CG图像生成装置的配置]图15图示了作为本技术的第二实施例的图像处理器200的配置的示例。图像处理器200包括CG (计算机图形)创建部210、CG记述数据存储装置220、元时间线保存部230和派生信息存储部240。图像处理器200还包括切换器控制台(控制部)250、图像生成部260和效果切换器270。CG创建部210、CG记述数据存储装置220、元时间线保存部230、派生信息存储部240、切换器控制台250和图像生成部260经由网络280相互连接。CG创建部210由具有CG创建软件的个人计算机(PC)构成。与图1中的图像处理器100的CG创建部110相同，CG创建部210输出预定格式的CG记述数据。作为CG记述数据的格式，例如，Collada(注册商标)是适用的。Collada是用于使能XML(可扩展标记语言)上的3D CG数据交换的记述定义。CG记述数据存储装置220存储利用CG创建部210生成的预定数目的CG记述数据。CG记述数据包括原始动画的时间线(对时序变化控制的记述)；即，原始时间线(以下简称为“时间线”)。从这个角度看，CG记述数据存储装置220构成时间线保存部。派生信息存储部240保存派生信息文件。对于一个CG记述数据可创建多个派生信息文件。派生信息文件存储表示对包括参数的CG记述数据起作用的内容的预定数目的派生信息。派生信息至少包括参数指定信息或参数值指令信息。参数指定信息是用于指定CG记述数据中包括的多个参数之中要利用切换器控制台250来调整的待调整参数的信息。参数值指令信息是用于给出将CG记述数据中包括的待调整参数调整到预定值的指令的信肩、O元时间线保存部230保存预定数目的元时间线(通道程序)，其中每个元时间线记述时间线上的进展路径。元时间线保存部230被配置为保存多个元时间线，这多个元时间线对应于CG记述数据存储装置220中存储的多个CG记述数据中的每一个。元时间线用于播放时间线的一部分。在元时间线中记述的时间线上的进展路径内可包括时间线的时刻跳跃。作为元时间线中记述的时间线上的进展路径，可包括时间线的时间轴逆行的进展路径。图16的(C)示出了与CG记述数据之一相对应的元时间线保存部230中保存的元时间线的示例。在此示例中，元时间线ID(metatimelineid)包括从“actionOl”到“actionOS”的八个元时间线。在每个元时间线中，排列布置了一个或多个片段(fragment)以使能连续播放。这里，片段构成时间线的一部分(片段)。片段对应于上述图11中所示的元时间线中的区间。图16的(b)示出了构成图16的(C)中的元时间线的示例的片段的示例。在此示例中，片段ID (片段id)包括从“fragOl”到“frag06”的六个片段。例如，在“fragOl”的片段中，开始点(开始时刻)是“0”，并且结束点是“1.5”。另外，例如，在“frag04”的片段中，开始点(开始时刻)是“27.5”；并且结束点是“30.5”。片段的开始点和结束点可不是关键帧点；但可被这样限定。在图16的(b)中，项目“开始”表示片段的开始点(开始时刻)是否是结点(junction)(连接点)。“真”表明开始点是结点；并且“假”表明开始点不是结点。这里，结点是时间线上的时刻(点)；并且是CG空间相同的时刻(点)。图16的(a)示出了结点的示例。以下，开始点是结点的片段将被任意称为“开始片段”。通常，结点位于关键帧点处。结点可位于除关键帧点以外的另一点处。由于除关键帧点以外的点是作为插补的结果获得的，所以难以故意在除关键帧点以外的点处创建结点。当创建CG时，通过创建各自具有彼此相同的状态的关键帧点来容易地创建结点。在此情况下，可自动从时间线中提取结点。也就是说，当读取CG记述数据时；SP，当向图像生成部260提供数据时，通过将关键帧点与时间线相比较并且通过收集具有彼此相同的状态(参数值)的关键帧点，可提取结点。例如，在找到具有彼此相同的状态的多个种类的情况下，具有最大数目的状态的种类被确定为结点。或者，由于时间线的开头可容易被确定为结点，所以当创建CG时，可配置成通过提取具有与时间线的开头相同的状态的关键帧点来确定结点。如图16的(C)中所示，在每个元时间线中，开始点是结点的开始片段被确定为开头片段。例如，元时间线“actionOl”由单个片段“fragOl”构成。如图16的(b)中所示，该片段是在开始点处具有结点的开始片段。另外，例如，元时间线“action06”包括三个片段“frag01”、“frag04”和“frag06”。开头片段是作为开始片段的片段“fragOl ”。构成元时间线的每个片段可包括逆行或速度的设定。在图16的(C)中，项目“速度比例”表示关于逆行或速度的设定信息。例如，对于元时间线“action07”的开头处的片段“frag06”设定“速度比例=2”。在此情况下，在元时间线“action07”中，片段“frag06”被设定成时间线时 刻的进展速度以通常速度的两倍那么快的速度进展。另外，例如，对于元时间线“action07”中的片段“frag02”设定“速度比例=-1”。在此情况下，在元时间线“action07”中，片段“frag02”被设定成时间线时刻以通常速度(I倍)进展；但时间线时刻从结束点向开始点逆行。在构成元时间线的多个片段之间可设定暂停。在图16的(C)中，项目“暂停”表示关于暂停时间的信息。在元时间线“ action07 ”中，在片段“ frag06 ”和“ frag02 ”之间设定“暂停=5.5”。在此情况下，在播放元时间线“action07”时，在片段“frag06”和片段“frag02”之间插入5.5秒的暂停。另外，在构成元时间线的每个片段中可设定重复。在图16的(C)中，项目“重复”表示关于重复次数的信息。在元时间线“action07”中，对片段“frag02”设定“重复=2”。在此情况下，在播放元时间线“action07”时，片段“frag02”被重复两次。在图16的(C)中，元时间线是以图表形式表示的。实际元时间线是以XML格式记述的。例如，元时间线“action07”是以如下所示的XML格式记述的。〈metatimelineid = " action07 " >〈timesection〉<order>l</order〉〈speed—scale>2〈/speed—scale〉〈instance—fragment url = " #frag06 " />〈/timesection〉〈timesection〉<order>2</order〉<pause>5.5</pause>< ! —no fragment—>〈/timesection〉〈timesection〉<order>3</order〉
<speed_scale>-l</speed_scale><repeat>2</repeat><instance_fragment url = " #frag02 " />〈/timesection〉〈/metatimeline〉元时间线保存部230保存的元时间线例如由切换器控制台250创建，或者由另一部件创建；例如由具有用于创建元时间线的软件并连接到网络280的个人计算机等创建。图17示出了用于创建/编辑元时间线的图形用户界面(⑶I)的示例。通过经由GUI选择元时间线ID，用户可对与该ID相对应的元时间线执行创建/编辑。通过按压“add”(添加)按钮，用户可添加片段。通过在选择预定的片段之后按压“edit”(编辑)按钮，用户可编辑预定的片段。通过在选择预定的片段之后按压“delete”(删除)按钮，用户可删除预定的片段。通过按压“Register”(登记)按钮，用户可登记所创建或编辑的元时间线。另一方面，通过按压“Cancel”(取消)按钮，用户可取消所创建或编辑的元时间线。图18示出了当在图17中所示的⑶I上用户按压“add”或“edit”按钮时的⑶I的示例。通过该GUI，用户可通过在诸如“name” (名称)、“speed” (速度)、“pause” (暂停)或“repeat”(重复)这样的输入部中适当输入数据来创建要添加的片段或编辑(改变)片段。当“0K”按钮被按压时，所创建或编辑片段的被确立；并且GUI返回到图17中所示的⑶I画面。另一方面，当“Cancel”按钮被按压时，所创建或编辑的片段被取消；并且⑶I返回到图17中所示的GH画面。图17中所示的⑶I用于包括多个片段的元时间线的创建/编辑。Gn可被配置成使得例如用于创建/编辑具有多个片段的元时间线的GUI和用于创建/编辑具有单个片段的元时间线的⑶I被可选择地呈现给用户。在此情况下，通过设定⑶I显示例如用于创建/编辑具有单个片段的元时间线的画面，创建/编辑可限于具有单个片段的元时间线。切换器控制台250接收输入到效果切换器270的操作指令。切换器控制台250包括用于允许对效果切换器270上的交叉点开关的开/关操作的按钮行(图15中未示出)。切换器控制台250控制图像生成部260。从这个角度来看，切换器控制台250充当控制部。切换器控制台250包括加载指定部251。加载指定部251从派生信息存储部240中读取用户通过选择操作选择的派生信息文件，并将其提供给图像生成部260。另外，加载指定部251从CG记述数据存储装置220中存储的多个CG记述数据之中读取从派生信息存储部240读取的派生信息文件中包括的标识符所标识的CG记述数据，并将其提供给图像生成部260。基于派生信息文件中包括的参数值指令信息，图像生成部260将CG记述数据中包括的待调整参数调整到预定值。另外，图像生成部260将CG记述数据中包括的多个参数之中的派生信息文件中包括的参数指定信息所指定的参数设定成利用切换器控制台250调整的参数。图像生成部260基于加载指定部251提供的CG记述数据生成CG图像。在此情况下，切换器控制台250对应于元时间线保存部230所保存的预定数目的元时间线中的与图像生成部260使用的CG记述数据相对应的多个元时间线之中用户指定的元时间线，进展表示时间线上的位置的时间线时刻。切换器控制台250控制时间线操作，即根据其进展生成CG图像的操作。派生信息文件可包括用于对CG中的多面体表面进行纹理映射的指令。在此情况下，图像生成部260从派生信息文件中读取纹理映射的指令并在指定的多面体表面上执行其中保存的图像的纹理映射。或者，当记载了对输入图像执行纹理映射的指令时，图像生成部260执行输入图像的指定表面上的纹理映射。另外，派生信息文件可包括关于与有关CG记述数据相对应的每一个元时间线(参考图16的(c))的数据。在此情况下，派生信息存储部240用作元时间线保存部。在此情况下，即使当不同的元时间线被用于一个CG记述数据时，也能够容易地进行管理。另外，在此情况下，即使当元时间线连同用于通过调整参数来改变CG应用的方法一起被使用时，也能够在其应用现场容易地管理元时间线。效果切换器270输入多个图像信号以选择和组合这些图像信号。当广播实况节目时，通常，效果切换器270被用于选择输入(演播室中的相机、来自外部相机的中继、VTR再现)以通过擦除(wiping)在其间切换或者将字幕或画中画重叠在图像上。效果切换器270具有用于输入图像信号的多个输入线。来自图像生成部260的输出图像信号被输入到这多个输入线中的任何一个。效果切换器270包括输出总线线路(辅助总线线路)，用于将用于纹理映射的图像提供给图像生成部260。图19图示了切换器控制台250的外观(操作面)的示例。右侧图示的是用于操作图像组合/切换(即，转变)的块(操作元素组)的示例。下一转变选择按钮25用于确定此块要控制的转变功能。也就是说，下一转变选择按钮25指定要播放的下一转变；即在背景的A总线(A-bus)和B总线(B-bus)之间切换(替换)的操作，或者在任何键控器上的开和关之间切换的操作。在另一配置中，可为每个键控器提供专用块，而不提供任何像下一转变选择按钮25那样的操作元素，使得每个键控器的专用块接收操作。另外，当提供了多个用于执行转变的信号处理电路时，可以配置块使得每个电路接收操作。图19中所示的切换器控制台250具有用于两条不同线的键控器；即键I和键2。当然，键控器的线的数目可大于或小于上述的。交叉点按钮行23和24用于从键I线和键2线中选择输入图像。交叉点按钮行21和22中的每一个用于从背景总线的A总线或B总线中选择输入图像。交叉点按钮行具有控制将与被按压的按钮相对应的输入信号(视频)提供到有关总线的功能。每个方向指定按钮26在转变的进展方式可在正常(normal)和逆行(reverse)之间选择时接收指定操作。自动运转(auto turn)按钮27接收在正常和逆行之间交替切换的指定操作。渐变杆102是用于手动操作转变的进展的操作元素。自动转变(AutoTrans)按钮28指令并触发自动进展转变(在预设时间直到100%与时间成比例地进展转变)。转变类型选择按钮31用于选择转变类型。这里，可从混合(Mix)(按一个参数的比率重叠并组合所有画面)、擦除(Wipe)(在基于擦除样式波形对画面分段的同时组合画面)和元时间线(Metatimeline)中选择操作。十键输入部32是用于输入数字、擦除的样式编号和元时间线的编号的按钮组。上述按钮中的每一个可被配置为在表面上包括文字指示装置，并且其功能是可设定的，使得功能的动态分配可被指示在显示器上。显示器33显示通过操作给出的擦除编号或元时间线编号。一行源名称指示器30如图19中所示显示与对应于部署在其下方的按钮的按钮编号的索引编号相关联的文字信息。该文字信息被存储在切换器控制台250中的未示出的存储器中，并且可由用户设定。图20图示了效果切换器270的Μ/E库的配置的示例。Μ/E库包括输入选择部15、键处理器(键处理电路)51和52、混合器(图像组合部)53和视频处理部61-63。输入选择部15被配置为将输入线16的每一个连接到键源总线Ila和12a、键填充总线Ilb和12b、背景A总线13a、背景B总线13b和备用输入总线14中的任何一个。在每个输入线16与键源总线Ila和12a之间，设置了键源选择开关Ia和2a以从来自输入线16的多个图像信号中选择键源信号。另外，在每个输入线16与键填充总线Ilb和12b之间，设置了键填充选择开关Ib和2b以从来自输入线16的多个图像信号中选择键填充信号。由键源选择开关Ia和2a选择并被取出到键源总线Ila和12a的键源信号被发送到键处理器51和52。另外，由键填充选择开关Ib和2b选择并被取出到键填充总线Ilb和12b的键填充信号被发送到键处理器51和52。键填充信号是要作为前景与背景图像重叠的图像的信号。键源信号是指定要与键填充信号重叠的区域、背景图像切出的形状以及键填充信号相对于背景图像的密度等的信号。在每个输入线16与背景A总线13a之间，设置了背景A总线选择开关3a，用于从输入线16上的多个图像信号中选择背景A总线信号。在每个输入线16与背景B总线13b之间，设置了背景B选择开关3b，用于从输入线16上的多个图像信号中选择背景B信号。在每个输入线16与备用输入总线14之间，设置了备用输入选择开关4，用于从输入线16上的多个图像信号中选择备用输入信号。由背景A总线选择开关3a选择并被取出到背景A总线13a的背景A总线信号经由视频处理部61被发送到混合器53。由背景B选择开关3b选择并被取出到背景B总线13b的背景B信号经由视频处理部62被发送到混合器53。由备用输入选择开关4选择并被取出到备用输入总线14的备用输入信号经由视频处理部63被发送到混合器53。键处理器51和52是用于基于作为用于执行键控的各种参数的键调整值针对键控适当地调整/处理键填充信号和键源信号的电路。键调整值包括以下值。即，用于调整键填充信号相对应于背景图像的密度的值；用于调整被辨别为键源信号的图像的信号水平的阈值的值；用于调整键源信号的位置的值；用于调整键填充信号的缩小率的值；关于相对于背景图像的边界线的调整值，等等。已被键处理器51和52调整/处理的键填充信号和键源信号被发送到混合器53。混合器53是利用来自键处理器51和52的键填充信号和键源信号执行键控以将前景图像与背景图像相重叠的电路。程序输出从混合器53经由程序输出线17被输出到外部。[切换器控制台的操作和控制动作]将记述图19中所示的切换器控制台250的操作和控制动作。当不使用图像生成部260时；即当利用“混合”或“擦除”进行转变时，首先利用下一转变选择按钮25选择进行转变的对象。这改变了用于执行转变的块(操作元素组)中的每个按钮的功能。当选择作为转变对象的线上要使用的画面时，该画面是利用有关交叉点按钮行来选择的。例如，当A总线的“CAM1”当前被选择为背景，然后要将其转变到“Main”的图像时，交叉点按钮行中的B总线的“Main”交叉点被按压以选择它。利用转变类型选择按钮31选择“混合”或“擦除”。“混合”逐渐且均一地改变整个画面上重叠的密度。“擦除”通过擦除改变画面的区段。这样，在两种模式之间切换在混合器53内组合画面的模式；即，是使用整个画面的密度，还是使用内部擦除波形的键信号源。存在若干种类(形状)的擦除样式，它们是利用编号来指定的。操作者通过十键输入部32输入擦除样式编号。从而，改变擦除波形。通过操作渐变杆102，可在从0%到100%的范围中改变组合比率。当在背景A和B之间进行转变时，从原始图像中的任一个(例如A)起滑动渐变杆102。另一图像(B)的比率逐渐增大，并且当渐变杆102被摇动直到其末端时，生成与原始图像100%不同的图像(B)。当从键控器的未重叠图像起通过操作键控器来进行转变时，在转变完成时获得重叠的图像。相反，当从重叠的图像起通过操作键控器来进行转变时，获得未重叠的图像。当擦除包括形状或进展的方向时，可利用方向指定按钮26来指定方向。[利用切换器控制台对图像生成部的控制过程和控制]将描述利用图19中所示的切换器控制台250对图像生成部260的控制过程和控制动作。首先，利用下一转变选择按钮25指定用于取得CG的键控器。例如，按下“键I”。然后，从转变类型选择按钮31中，按压表示CG的播放的“元时间线”。当“元时间线”被点亮时，用于操作转变的块(操作元素组)和有关键控器“键I”准确就绪以结合图像生成部260执行控制操作。通过十键输入部32输入元时间线的编号。该编号是在元时间线的末尾处给出的数值。对于“actionOl”，该值为I。当接收到时，该编号被显示在显示器33上，并且图像生成部260进入从具有该编号的元时间线的开头起执行渲染的状态；即输出开头的图像。效果切换器270上的交叉点被控制以将接收来自图像生成部260的图像信号的输入取入到有关键控器“键I”中，如图21中所示。通过操作渐变杆102，可利用从O到100%的参数控制元时间线上的进展。也就是说，按照相对于元时间线的长度的百分比来确定要渲染的元时间线上的位置(时刻)。结果，来自图像生成部260的CG图像可用于利用键控器在效果切换器270中组合。当另外设置用于操作键控器上的图像的开/关的单元时，可独立于元时间线的进展地操作图像的重叠。可配置成当“元时间线”被按压时有关键控器被自动开启。图22图示了渐变值与元时间线上的进展之间的关系的示例。图22的(a)示出了在图16的(c)中所示的元时间线“actionOl”的情况下元时间线时亥lj、时间线时刻(原始时间线时刻)和渐变值之间的关联。图22的(b)示出b 了在图16的(c)中所示的元时间线“action07”的情况下元时间线时刻、时间线时刻(原始时间线时刻)和渐变值之间的关联。这里，在元时间线时刻中，开始时刻是O ;并且终止时刻是与整个元时间线的时间长度相同的值。可控制渐变杆102的操作以使得第一次敲击使元时间线时刻进展0-50% ;然后第二次敲击使其进展50-100 %。在渐变杆102的操作中，可利用方向指定按钮26指定正常或逆行方向。也可利用方向指定按钮26来控制元时间线的进展方向。通过将自动运转(AutoTurn)按钮27设定在“自动运转(也称为“正常-逆行”当元时间线从开始点被移动到结束点时，当下一进展指令被给出时元时间线在逆行的方向上从结束点向开始点进展。在进展期间，可通过操作渐变杆102任意选择进展的方向。在上述示例中，元时间线的编号是通过十键输入部32输入的。然而，取代十键输入部32，可使用交叉点按钮行。在此情况下，当“元时间线”按钮被按压时，有关键控器“键I”的交叉点按钮行取代其通常功能具有选择元时间线的功能。例如，该交叉点按钮行从左
侧按钮起按顺序对应于元时间线“action01”、“action02”、“action03”、......，如图23中所示。在此情况下，用户通过按压“键I”的交叉点按钮行可选择期望的元时间线。由于交叉点按钮行上的源名称显示器30是与其他行共享的，所以图像信号的源名称被显示。当如图23中所示配置成使得“元时间线”的编号或名称被显示在源名称显示器30上时，可更容易识别。或者，可配置成使得这种显示器仅在转变类型选择按钮31的“元时间线”被按压期间才被激活。在上述示例中，元时间线ID (Metatimeline id)是用按编号区分的action“编号”(例如“acitionOl”)来表示的。然而，可配置为允许赋予更切实和偏好的名称。当效果切换器270的Μ/E库能够输出预览时，可配置成当元时间线已进展直到结束点时，输出预览以便查看Μ/E库上的输出图像。当元时间线已经在结束点时，可输出当元时间线从结束点进展直到开始点时的预览。预览是在“元时间线”的按钮被按下的时点(在进行渐变杆操作等之前)输出的。为了使能这种预览，额外设置图像生成部、混合器中的电路及用于其的总线线路。[当元时间线被指定为转变型时的控制操作]将参考图24和图25中的流程图对当如上所述“元时间线”按钮被按下并且元时间线被指定为转变型时切换器控制台(控制部)250的控制操作进行描述。在以下描述中，切换器控制台250将被称为控制部250。在步骤ST60中，控制部250开始控制操作。当“元时间线”按钮被按压时，控制部250在步骤ST61中接收对元时间线为转变型的指定。在步骤ST62中，控制部250判定下一转变选择按钮25选择的转变对象是否是键控器(“键I”或“键2”)。当所选择的转变对象不是键控器时，控制部250在步骤ST63中拒绝判定元时间线为转变型并且保持先前状态。控制部250在步骤ST64中终止控制操作。在步骤ST65中，当所选择的转变对象是键控器时，控制部250使处理前进。在步骤ST65中，控制部250将预先指定的元时间线的编号或名称发送到图像生成部260。在步骤ST66中，控制部250使得图像生成部260生成元时间线的开头处的CG图像。给出加载与元时间线相对应的要使用的CG记述数据的指令，或者预先给出加载指令。随后，在步骤ST67中，控制部250在向图像生成部260提供数据的辅助总线(Auxbus)的交叉点处选择由有关键控器的输入总线的交叉点选择的输入线(图像信号)。在此情况下，当视频和键被耦合时，两者都被选择。在步骤ST68中，控制部250在有关键控器的输入总线的交叉点处选择从图像生成部260输出(参考图21)。控制部250在步骤ST69中等待操作的输入。当在步骤ST70中用户(操作者)进行了操作时，控制部250进行与操作指令相对应的分支。当在步骤ST71中元时间线编号或名称被指定时，控制部250接收元时间线编号或名称。在步骤ST72中，控制部250将接收到的元时间线编号或名称发送到图像生成部260，并且在步骤ST73中改变元时间线以由图像生成部260生成CG图像。然后，控制部250返回到步骤ST69并等待下一操作。当在步骤ST74中渐变杆被操作时，控制部250接收渐变值。在步骤ST75中，控制部250将接收到的渐变值发送到图像生成部260。在步骤ST76中，控制部250使得图像生成部260生成与渐变值相对应的时间线时刻处的CG图像。然后，控制部250返回到步骤ST69并等待下一操作。当在步骤ST77中自动转变按钮28被按压时，控制部250接收转变的自动进展的指令。在步骤ST78中，控制部250按每帧(场)进展渐变值并将数据发送到图像生成部260以控制图像生成部260生成与渐变值相对应的CG图像。当渐变值达到100%时控制终止。然后，控制部250返回到步骤ST69并等待下一操作。当在步骤ST79中转变类型被改变时，控制部250接收关于此的指令。在步骤ST80中，控制部250向效果切换器270中的混合器53给出关于该改变的指令以在交叉点处选择有关键控器的输入线。然后，控制部250在步骤ST81中终止控制操作。[在循环播放期间元时间线的改变]将对当在元时间线的循环播放期间给出改变到另一元时间线的指令时切换器控制台(控制部)250的操作进行描述。元时间线的循环播放的指令是通过例如按压部署在切换器控制台(控制部)250中的循环播放按钮(图19中未示出)来给出的。元时间线的选择改变操作是通过例如经由十键输入部32输入另一元时间线的编号或者通过经由交叉点按钮行(参考图23)指定另一元时间线来进行的。当接收到元时间线改变的指令时，切换器控制台(控制部)250在循环播放到达元时间线的开头的定时切换到所指令的另一元时间线。切换后的循环的播放取决于设定。这样，通过改变元时间线，可以平滑地改变CG，而没有图像的跳跃。通过接收元时间线和其中的位置，图像生成部260获得先前时间线(原始时间线)上的时刻。图像生成部260被配置为立即根据与该时刻相对应的CG虚拟空间的参数生成图像(GoToTimecode操作)。图26示意性图示了从动作中的元时间线的切换操作的示例。此示例示出了例如元时间线从“actionOl”改变到“action02”。图26的(a)示出了循环播放中的元时间线“actionOl”；切换器控制台(控制部)250在播放该元时间线期间接收改变到“action02”的元时间线的指令。如图26的(b)中所示，切换器控制台(控制部)250将元时间线“actionOl”播放到其末尾。在下一帧(场)中，切换器控制台(控制部)250将元时间线改变到元时间线“action02”以生成如图26的(c)中所示的图像，并且从该元时间线的开头起播放该元时间线。图27图示了在切换动作中的元时间线期间时间线的显示的示例。图27的(a)图示了播放中的元时间线“actionOl”。当在播放该元时间线期间接收到改变到元时间线“action02”的指令时，出现图27的(b)中所示的指示。也就是说，显示表明元时间线“action02”现在在播放中，并且下一元时间线是“actionOl”。当元时间线“actionOl”到达末尾时，“action02”的元时间线开始播放。此时,指示出元时间线“action02”在播放中，如图27的(c)中所示。除了通常循环播放以外，可设定往复播放(来回操作)以允许在播放往复播放期间对元时间线的选择改变控制。
[对设定全画面作为结点的说明]在以上描述中，结点是具有彼此相同的CG虚拟空间的关键帧等。出于防止图像跳跃的目的，当渲染的图像彼此相同时，图像可被用作用于连接元时间线的结点。在此情况下，如图15中所示，可以设想一种系统，使得结合效果切换器270，用于纹理映射的图像经由效果切换器270的交叉点被发送到图像生成部260。在此情况下，在纹理映射后输入图像以全画面显示的状态可被作为相同状态来处置。因此，在上述示例中，时间线(原始时间线)上的具有相同CG空间的多个关键帧点被作为结点来处置，并且被自动提取(列举)。反之，经纹理映射的输入图像被以全画面显示的关键帧点可被作为结点来处置；即，作为元时间线的开始点。至于用于实现上述的控制，例如，当在CG记述数据所定义的虚拟空间中包括要纹理映射的多个平面时，并且当关键帧点适于包括就是全画面的多个平面中的任何一个时，该平面被作为结点来处置。在播放期间(在结合切换器的操作中)，在效果切换器270的交叉点处选择要纹理映射的每个输入图像。为此，控制交叉点以使得，当改变元时间线并进行从一全画面到另一全画面的转变时，输入到切换器的在转变前出现在输出图像中的图像与输入到切换器的在转变后出现在输出图像中的图像相同。也就是说，假定效果切换器270的辅助总线(Auxl)输出纹理映射面A的图像；并且效果切换器270的辅助总线(Aux2)输出纹理映射面B的图像。当通过切换元时间线将输出图像从面A切换到面B时，控制交叉点以使得在辅助总线(Auxl)和辅助总线(Aux2)的交叉点处获得彼此相同的输入图像。将进一步记述将全画面作为结点来处置。假定例如准备图28中所示的空间作为CG(计算机图形)，创建元时间线(Metatimeline)以用于创建虚拟相机(视点)位置移动的动画。这里，虚拟相机位置Pl输出就是全画面的虚拟对象“Objectl”的面A的图像；并且虚拟相机位置P2输出就是全画面的虚拟对象“0bject3”的面B的图像。图29的(a)图示了元时间线示例I。在元时间线示例I的动画中，虚拟相机位置从Pl开始，并且随着虚拟相机移动，输出图像的内容变化并且终止在面B成为全画面的状态。图29的(b)图示了元时间线示例2。在元时间线示例2的动画中，虚拟相机位置从Pl开始，并且随着虚拟相机移动，输出图像的内容变化，虚拟相机在旋转的同时移动远离虚拟对象，并且终止在包括缩小的虚拟对象。图29的(c)图示了元时间线示例3。在元时间线示例3的动画中，虚拟相机位置从P2开始，并且随着虚拟相机移动，输出图像的内容变化，并且终止在包括缩小的虚拟对象。每个元时间线在刚刚被选择之后处于第一状态中(元时间线的开头)。当元时间线被进展(播放)时，动画根据元时间线而动作。当元时间线到达其末尾时，元时间线停止并终止。元时间线可被逆向进展以返回到其开头。这种动作可由渐变杆控制。由于元时间线示例I的第一状态与元时间线示例2的第一状态完全相同，所以元时间线可通过从任何状态切换而被转变到其他状态。另一方面，元时间线示例2的第一状态和元时间线示例3的第一状态在包括虚拟相机的虚拟空间的状态中彼此不同。因为引起违和感，所以难以从元时间线示例2的第一状态切换到元时间线示例3。然而，通过将在全画面中纹理映射的状态作为结点来处置，使得切换成为了可能。在此情况下，在元时间线开头处从元时间线示例2转变到元时间线示例3的动作如下所述。也就是说，在面A中纹理映射的图像(输入图像)被在面B中纹理映射，然后图像被切换到元时间线示例3。将详细描述对图像(视频信号)的处置。假定效果切换器270被配置成使得从辅助总线“Auxl ”提供要在面A中纹理映射的输入图像，并且从辅助总线“Aux2”提供要在面B中纹理映射的输入图像。交叉点电路(效果切换器270的辅助总线的交叉点)被配置为选择从辅助总线“Auxl”输出的图像(视频信号)或从辅助总线“Aux2”输出的图像(视频信号)。下面描述在元时间线开头处从元时间线示例2到元时间线示例3转变动作。也就是说，在转变点，交叉点电路被控制成使得从交叉点电路提供到辅助总线“Auxl ”的图像也被提供到辅助总线“Aux2”。由于保持了在全画面中出现同一图像的状态，所以通过切换元时间线，可以在不让观看者意识到切换的情况下切换元时间线。通过从该点起进展元时间线，获得与切换前不同的动画。作为控制的另一应用，通过利用输入图像为全画面的状态，可以切换元时间线而无论结点如何。例如，在观看者未认识到的情况下元时间线示例I的末尾被切换到元时间线示例2的开头的这种控制是可能的。当不控制交叉点时，当图像的生成被从元时间线示例I的末尾切换到元时间线示例2的开头时，内容变化。因为，在面B中纹理映射的图像(全画面)被切换到在面A中纹理映射的图像(全画面)。然而，在转变点，通过控制交叉点电路以使得提供到辅助总线“Aux2”的图像也被提供到辅助总线“Auxl”；然后通过切换元时间线，以全画面显示同一图像的状态得以保持。图30和图31是示出当“保持全画面内容”的开/关被设定为选项时切换器控制台(控制部)250中的元时间线的切换控制操作的流程图。当“保持全画面内容”的选项设定被存储并且当其是开启时，如上所述进行控制以保持全画面图像的内容；但当其为关闭时，不进行该控制。以下，切换器控制台250被称为控制部250并且下面将进行描述。在步骤ST90中，当正在元时间线X上生成CG图像期间，控制部250开始控制操作。然后，在步骤ST91中，控制部250接收将元时间线改变到元时间线Y的指令。在步骤ST92中，控制部250判定在元时间线X的结点(开头)和元时间线Y的结点(开头)之间CG虚拟空间是否彼此相同。当CG虚拟空间彼此相同时，控制部250在步骤ST93中在元时间线X的结点(开头)的定时将元时间线切换到元时间线Y。控制部250在步骤ST94中终止控制操作。另一方面，当CG虚拟空间不与彼此相同时，控制部250前进到步骤ST95中的处理。在步骤ST95中，控制部250判定是否元时间线X的结点(开头)和元时间线Y的结点(开头)两者都具有全画面状态的输入图像。当输入图像不是全画面状态时，控制部250在步骤ST96中拒绝从元时间线X切换到元时间线Y的指令，并且在步骤ST97中终止控制操作。另一方面，当输入图像是全画面状态时，控制部250前进到步骤ST98中的处理。在步骤ST98中，控制部250判定“保持全画面内容”是否被设定为开启。当设定为开启时，控制部250前进到步骤ST99中的处理。在步骤ST99中，控制部250将元时间线X上的结点处的全画面图像的提供源设定为总线A ;并且将元时间线Y上的结点处的全画面图像的提供源设定为总线B。在此情况下，在交叉点处，总线A连接到输入信号S以提供该输入信号，并且总线B连接到输入信号T以提供该输入信号。当元时间线X在进展(播放)中时，控制部250在步骤ST100中等待元时间线X到达结点。然后，控制部250在步骤STlOl中控制交叉点连接总线B的输入信号S以提供该输入信号。然后，控制部250前进到步骤ST102中的处理。当在步骤ST98中设定不是开启时，控制部250前进到步骤ST103中的处理。在步骤ST103中，当元时间线X在进展(播放)中时，控制部250等待元时间线X到达结点。然后，控制部250前进到步骤ST102中的处理。当在步骤ST102中元时间线X到达结点(开头)时，控制部250将元时间线切换到元时间线Y。当元时间线X在进展(播放)中时，控制部250在步骤ST104中进展元时间线Y。然后，控制部250在步骤ST105中终止控制操作。作为另一应用，如下的方法也是可能的:其中，取代全画面，通过使用处于相同状态(CG部分彼此不同的状态)的画面中的输入图像的区域(纹理映射的图像)来进行转变。当通过切换元时间线来进行如图32的(a)和图32的(b)中所示的画面内容的转变时，与输入图像是全画面时相同，进行控制以保持如上所述的输入图像的一部分的内容。这样，容易给予观看者只有CG “装饰”被改变的印象。即使当输入图像不是全画面时，也通过对输出图像中包括的输入图像进行上述控制来实现上述结果。在此情况下，对于不是全画面但出现在输出图像的画面中的输入图像，控制交叉点以根据CG内容的切换来保持内容。可利用已知技术来识别出现在画面中的输入图像(判定在画面中是否包括对象)。[对交叉点的控制和CG切换(元时间线切换)的定时]从交叉点电路提供到图像生成部260的图像信号实际进入到输出CG图像中的定时，即被纹理映射的定时，是在与生成图像所花的时间相当的延迟之后。例如，输入图像信号成为2帧后的输出图像的元素。结果，从输入图像信号被交叉点电路切换的点到其被反映在输出CG图像上的点，要花相当于2帧的时间。另外，例如，图像生成部260从接收到指令起要花相当于I帧的时间延迟来改变CG内容。如上所述，为了同时控制交叉点和图像生成部260对CG的内容改变(元时间线的切换等)，在考虑定时间隙的同时进行控制。例如，在上述情况下，布置成使得切换交叉点的指令在相当于I帧的时间之后被发送到图像生成部260。[操纵杆的使用]由于多个元时间线在开头(结点)处具有相同状态，所以当操作者(用户)选择期望的元时间线时，进展(播放)同时开始。例如，操纵杆可用作输入操作单元。可以配置成使得，依据利用操纵杆进行的操作，选择元时间线；并且在接收到操作时，进行元时间线和进展。操纵杆的操作例如被分类为:(1)前倾，(2)后倾，(3)左倾，(4)右倾，(5)顺时针转动，以及(6)逆时针转动。操作被识别为上述的任何一个，并且元时间线根据该操作被选择以开始进展。切换器控制台(控制部)250存储关联操作和元时间线的下表。
权利要求
1.一种时间线操作控制装置，包括: 时间线保存部，该时间线保存部保存作为对时序变化控制的记述的时间线； 元时间线保存部，该元时间线保存部保存记述所述时间线上的进展路径的元时间线；以及 控制部，该控制部根据所述元时间线中记述的所述时间线上的进展路径来进展表示所述时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。
2.根据权利要求1所述的时间线操作控制装置，其中 当播放所述元时间线的指令被给出时，所述控制部将所述时间线时刻改变成被指定为所述元时间线上的开头的值。
3.根据权利要求1所述的时间线操作控制装置，其中 所述元时间线中记述的所述时间线上的进展路径能够包括所述时间线的时刻跳跃。
4.根据权利要求1所述的时间线操作控制装置，其中 当时间线时刻在所述时间线上的关键帧点之间时，所述控制部通过使用前后的关键帧的参数来插补该时间线时刻的参数，从而确定控制。
5.根据权利要求1所述的时间线操作控制装置，其中 所述元时间线中记述的所述时间线上的进展路径能够是在所述时间线的时间轴上逆行的进展路径。
6.根据权利要求1所述的时间线操作控制装置，其中 所述元时间线保存部保存多个元时间线，并且 所述控制部基于从所述多个元时间线中选择的一个元时间线来控制时间线操作。
7.根据权利要求1所述的时间线操作控制装置，其中 所述控制部根据所述元时间线中记述的所述时间线上的进展路径和用户指定速度来进展表示所述时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。
8.根据权利要求1所述的时间线操作控制装置，其中 所述元时间线中记述的所述时间线上的进展路径包括预定数目的区间，每个区间包括预设速度，并且 所述控制部基于所述元时间线中记述的所述时间线上的进展路径和每个区间的预设速度来进展表示所述时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。
9.根据权利要求1所述的时间线操作控制装置，其中 所述元时间线中记述的所述时间线上的进展路径包括预定数目的区间，每个区间包括预设速度，并且 所述控制部基于所述元时间线中记述的所述时间线上的进展路径、每个区间的预设速度和用户指定速度来进展表示所述时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。
10.根据权利要求1所述的时间线操作控制装置，还包括 元时间线创建支持部，该元时间线创建支持部支持所述元时间线的创建，其中所述元时间线创建支持部对于所述时间线中的多个关键帧点检测相同内容以将其作为所述元时间线的进展开始点的选项呈现。
11.根据权利要求1所述的时间线操作控制装置，其中所述控制部根据所述元时间线中记述的所述时间线上的进展路径和由渐变杆操作提供的渐变值来进展表示所述时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。
12.—种时间线操作控制方法，包括: 根据记述时间线上的进展路径的元时间线来进展作为对时序变化控制的记述的表示该时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。
13.一种程序，使得计算机充当 时间线保存单元，该时间线保存单元保存作为对时序变化控制的记述的时间线； 元时间线保存单元，该元时间线保存单元保存记述所述时间线上的进展路径的元时间线；以及 控制单元，该控制单元根据所述元时间线中记述的所述时间线上的进展路径来进展表示所述时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。
14.一种图像处理器，包括: 图像生成部，该图像生成部基于包括时间线操作的计算机图形记述数据来生成图像； 元时间线保存部，该元时间线保存部保存记述时间线上的进展路径的元时间线；以及 控制部，该控制部根据所述元时间线中记述的所述时间线上的进展路径来进展表示所述时间线上的位置的时间线时刻，从而控制所述图像生成部根据该进展来播放所述时间线的一部分。
15.根据权利要 求14所述的图像处理器，其中 所述元时间线保存部保存多个元时间线，并且 所述多个元时间线的开头是所述时间线上计算机图形空间彼此相同和/或要纹理映射的输入图像是全画面的时间点。
16.根据权利要求15所述的图像处理器，其中 当将播放中的第一元时间线切换到第二元时间线的指令被给出时，所述控制部在所述第一元时间线到达其开头时从所述第一元时间线切换到所述第二元时间线。
17.根据权利要求16所述的图像处理器，其中 所述第一元时间线和所述第二元时间线的开头是所述时间线上的要纹理映射的输入图像是全画面的时间点，并且 当从所述第一元时间线切换到所述第二元时间线时，所述控制部控制向所述图像生成部提供纹理映射图像以使得要纹理映射的输入图像彼此相同。
全文摘要
本发明公开了时间线操作控制装置和方法、程序和图像处理器。提供了一种时间线操作控制装置，包括时间线保存部，该时间线保存部保存作为对时序变化控制的记述的时间线；元时间线保存部，该元时间线保存部保存记述时间线上的进展路径的元时间线；以及控制部，该控制部根据元时间线中记述的时间线上的进展路径来进展表示时间线上的位置的时间线时刻，从而根据该进展来控制时间线操作。
文档编号G06T13/20GK103150746SQ20121028230
公开日2013年6月12日 申请日期2012年8月6日 优先权日2011年8月12日
发明者中村泉三郎 申请人:索尼公司