专利名称：以时空同步整合视频序列的方法及系统的制作方法
技术领域：
本发明涉及可视显示，尤其涉及时变的可视显示。
即时重播技术等在团队运动中最受欢迎，因为场面通常紧凑而拥挤。同样地，例如在百米冲刺竞赛中，场面中包括了许多齐肩并列的参赛者，位于终点线的慢动作可将竞赛的关键内容清楚浮现眼前。另一方面，在某些竞速项目中，诸如降坡竞速或滑雪跳跃，例如为了实际需要与安全性，起始时间必须错开，所以实际场面通常只包括一名参赛者。
人们已经知道，可从两个或多个给定的视频序列产生一个合成视频序列，该合成视频序列包括来自每一给定序列的可视要素，并适合同步显示在一选定的焦点平面上。例如，给定二个视频序列，每一个示出不同参赛者单独在同一降坡道上疾驰，而该合成序列可包括每一给定序列的要素，以显示仿佛同时疾驰的两参赛者。一个合成视频序列也能通过类似地将一个或多个视频序列与一个或多个不同的例如音频序列组合来获得。
在合成视频序列中，参赛者、动作姿态或目标能相对公共背景加以示出，即便给定视频序列的背景与例如从该给定序列中某个或其它提取的公共背景不同。或者，所用的不同合适的背景，例如可从给定视频序列导出，或从另一视频序列或图像获得，或另外合成获得。
发明详述就概念上讲，本发明可用二维(2D)“变体”模拟来理解，亦即，在计算机化图形中由一图象I1平滑变换、变形或映射为另一图象I2。此种变体导致产生一种视频序列，其显示从I1到I2之变换，譬如从一苹果图象变换成一橘子图象，或从一人的面孔的图象变换成另一人的图象。视频序列是三维的，具有二个空间与一个时间维度。此序列的各部分可能有特殊的重要性，例如由两张面孔平均即中间图象，或例如来自I1的一张脸孔及两只眼睛和来自I2的微笑，换句话说，就是合成图像。因此，图象间的变体可看作合并各图象的特征的一种形式。
本发明涉及一种更复杂的任务，亦即，合并两个视频序列。从一序列变体或映射到另一序列会导致四维的数据，而此种数据无法轻易显示。然而，任何中间组合或任何合成序列都会导致一新的视频序列。
特别重要的是，本发明借助适当的时空对准或同步并投射到一选定的焦点平面来组合两个或多个给定序列的要素，产生一个新的视频序列。例如，在运动竞速比赛的情况中，诸如下坡滑雪，从两名参赛者分别通过滑雪道得到的视频序列，通过选取对应比赛起点的帧进行时间同步；或者，对参赛者的一致通道可在关键地点，例如滑雪障碍门使序列同步。
所选定的焦点平面，可与给定序列之一或另一序列的焦点平面相同，或者可适当构建但与原有二序列都不同的焦点平面。
同样重要的是，同步以有特色的事件为基础，例如，在田径赛中，一个跳高运动员从地面跃起或重新触地。关于此点，更关心的是同步两个序列，以使跃起与触地同时发生，需要时间标度。所产生的合成序列可提供轨道的比较。
视频序列同步化之后，可在空间上进一步对准，例如以产生一个合成序列，让人感觉参赛者正同时越过跑道。在一简单的做法中，可在逐帧的基础上进行空间对准。或者，籍由考虑摄像机的大量帧，可延长一输出图象的画面，以涵盖数个序列图象中的背景要素。
形成合成图象涉及在一选定的焦点平面中显示多个组成场面，这通常需要相当大量的计算机化处理，例如，如
图1所示的两个视频输入序列的特殊情况。
图1显示二个图象序列IS1及IS2被馈送到一模块11内，用来同步成同步序列IS1及IS2。例如，可为降坡竞速比赛中两名参赛者获得序列IS1及IS2，可用模块11对它们同步，使各序列的第一帧对应它的参赛者离开起点入口。
同步后的序列被馈送到一模块12作背景一前景提取，也送到一模块13作摄像机坐标变换估计。模块12对每一图象序列产生一加权掩码序列(weight-mask sequence，WMS)，每一加权掩码为一阵列，其对每一像素位置有一个项(entry)，并可区别重要场面与背景/前景。加权掩码序列的产生涉及计算机化图象搜索，寻找相对背景从一帧移到另一帧的要素。模块13产生序列参数SP1及SP2，包括摄像机方位角与仰角和摄像机焦距及光圈等。这些参数能通过计算机化处理，包括插入和匹配图像，从各视频序列确定。或者，可使用适当配备的摄像机直接提供这些序列参数，因此不需用计算机化处理估计它们。
加权掩码序列WMS1与WMS2被馈送到一模块13，进行α层序列计算。α层是指定各图像中各个像素以多大的权在合成图像中得到接收的阵列。
序列参数SP1和SP2和α层馈送到模块15，将对准后的图象序列投射到一选定的焦点平面上，产生所要的合成图象序列。图2A、2B、3A、3B、4及5进一步举例说明此点。
图2A显示一滑雪者A正要通过一位置标记21，此画面(场面)从视角为φ(A)之摄像机位置22记录下来。滑雪者A抵达的位置可能在A离开竞速比赛项目起点入口经过t(A)秒的时间。
图2B显示另一滑雪者B在相对标记21类似位置，此画面从另一较小视角φ(B)之另一不同摄像机位置23记录下来。为了与滑雪者A比较，滑雪者B的位置对应从B离开起点栅后经过t(A)秒的时间。如图所示，与滑雪者A比较时，滑雪者B在t(A)秒内沿着比赛滑雪道行进的距离较远。
图3A与图3B显示分别产生的图象。
图4显示在一相同摄像机位置重叠图2A与图2B所形成的合成。
图5显示合成的所要图象被投射在一选定的焦点平面上，可直接看见滑雪者A与B仿佛一起从相同起点比赛滑雪t(A)秒的画面。
图6显示使用此种技术之样机产生的合成图象序列中的一帧画面，此帧对应赛程中间时点。数值57.84是以秒为单位的时间，显示较慢的滑雪者抵达赛程中间时点所花的时间，数值+0.04(秒)显示他落后较快滑雪者的时间。
样机用于增强处理效率，尤其是对于匹配与内差(interpolation)的信号处理。
以下进一步详细说明此技术的各个方面与变化。
A.背景/前景提取在每一序列中，使用适合的运动估计法可提取背景与前景。对于使用移动摄像机摄制的图象序列，以及摄制的画面中包含移动的媒介物(agents)或目标时，此法须“强化”才能达成背景/前景提取。对于提取在时间上持续稳定的背景/前景也需要时间上的一致。当摄像机与媒介物都以可预测的方式移动时，例如，以恒定速度或加速移动时，可使用时间滤波来增强时间一致性。
背景因摄像机移动而移动的速度及滑雪者相对摄像机的速度决定后，根据这些速度的决定，背景/前景提取产生一加权层，此层可区别跟随摄像机与不跟随摄像机的像素。随后使用加权层产生一α层作最后合成序列之用。
B.序列之时空对准时间对准包括根据一选定的标准来选择序列中的对应帧。通常，在运动竞速比赛中，是由譬如定时系统传送的每一序列的时间码来选择对应比赛起点的帧。其他可能的时间标准包括对应一指定空间位置的时间，例如，诸如在一入口或一跳跃入口的时间。
实施空间对准是通过为每一帧选取一个基准坐标系，及估计基准系统与每一序列的对应帧间的摄像机坐标变换来进行的。当摄像机数据，诸如摄像机位置、取景方向与焦距，与视频序列一同记录时，或许不需要此种估计。通常，基准坐标系被选择作为给定序列之一——该序列用于该合成序列。如下说明，空间对准可在单帧或多重帧的基础上实施。
B.1单一帧基础上的空间对准此项技术的每一步骤中，对准使用每一序列中的一个帧。因为每一序列包括移动的媒介物/目标，所以需要强化的方法来估计摄像机坐标的变换。为了这个目的，可以使用提取中产生的掩码。此外，为了促使背景/前景提取，可使用数据滤波增强估计过程中时间一致性。
B.2多重帧基础上的空间对准在此项技术中，应用空间对准来重建每一序列中所见到的场面(画面)图象。例如，使用类似提取背景/前景的技术，首先在多重帧上分析每一视频序列以重建画面。一旦每一画面已分别重建，例如尽可能多的摄入背景，即可如上述进行画面的空间对准。
此项技术允许自由选择画面中每一帧的视野，相比之下，单一帧技术则须把该视野选择为基准帧的视野，因而在多帧技术中，在所有帧中看不到所有参赛者的情况下，可选择合成图象的视野及/或视角，可让所有参赛者都出现。
C.视频序列的叠加完成每一序列中的背景/前景提取及每一序列与一基准系统间的摄像机坐标变换估计后，可将各序列投射到一选定的焦点平面，用以在单一显示中同时显现。每一序列每一帧的α层，是从多重背景/前景加权掩码产生的。因此，合成序列是籍由将每一序列变换到选定的焦点平面并用对应的α加权叠加不同变换后图象而形成的。
D.应用除举例说明的滑雪比赛之外，本发明之技术尚可应用于其他速度/距离类运动，诸如赛车与田径赛。
除了具体显象外，根据本发明所产生的合成视频序列尚有另一用途，从图6明显可见，亦即判别两名参赛者在比赛中到达任一所要位置时时间差异。此项技术包括简易计算通过所要位置的两名参赛者间的序列中的帧数，然后乘以帧间的时间间隔。
在现有的设施上，例如网络、有线及卫星电视、以及作为互联网上的视频等，均可作合成序列播放。此种序列可作为一经请求即服务(on-demand services)的方式提供，例如，在一与严格实时主频道分开的频道上提供。或者，不在分开的频道上播放，合成视频序列可包括在正常频道的一部分，例如，显示在一隅角部分。
除了在广播中使用外，所产生的合成视频序列亦可用在运动训练与教练中。同时，除了运动方面的应用外，还有各种潜在的工业用途，诸如撞车分析。
应了解，合成序列可有更高维度，诸如合成立体声视频序列。
在另一应用中，给定序列之一为欲与一视频序列同步的音频序列。更详细地说，假定有一视频序列，是一演员或歌手A说一句话或唱一首歌，以及另一作相同动作的演员B的音频序列，本发明之技术可用来产生旁白或“对口形”序列，由演员A说话或唱歌但用演员B的声音。此种情况不只需要时间标度，可使用动态的编程设计技术来作同步。
时空重新对准法亦可应用于生物医学。例如，在整形外科手术后，必须监测病人恢复的进展。籍由比较病人在一段期间内的指定移动，可以达到这个监看恢复进展的目的。根据本发明的一个方面，籍由同步移动的开始与结束，并在两个或多个视频序列中对准欲监测的具体部位，此种比较可以作得非常精确。
另一应用是撞车分析。此种技术可用来精确比较不同车辆在相同情况中的碰撞变形，以确定差异程度。在撞车分析之外，尚需比较对碰撞虚拟人的影响。同样地，在同型车辆的两次碰撞中，可以依照例如安全带的结构，精密比较虚拟人受影响的程度。
E.时空标准化图7示出图像序列IS1和IS2馈送到各自模块1产生各自的参数序列SP1和SP2，SP1和SP2描述了各帧相对于各自背景显示BGD1和BGD2的变换。各参数描述了帧与各自背景的几何相关性。
参数序列SP1和SP2馈送到各自模块2，该各自的模块2产生各自加权掩码序列WMS1和WMS2，给各像素位置项(entry)提供前景相对背景的区分测量。例如，这种权重能给出像素归入背景的概率。两图像序列IS1和IS2平行馈入模块3计算空间标准化变换SNT，该SNT显示这两序列间应有的几何相关性。
参数系列SP1和SP2描述了图像系列IS1和IS2各帧与各自背景BGD1和BGD2的相关性。在IS1中对准它的相应帧。使用它们对应的加权掩码，模块4将对准的帧混合到合成帧中。链接各合成帧产生合成图像序列，显示出两个经调整(coordinated)的前景目标相对于背景一起运动的情形，该背景可以是SP1的背景，SP2的背景或需要的另一背景。
该技术可扩展到在一场面中存在二个以上前景目标/媒介物的情形，例如，几个运动员和/或另一个目标，例如，运动中的球，诸如篮球、足球、英式足球和网球等。该技术还可方便地用于从给出的三个以上序列生成组合序列，再示出二个以上的调整前景目标。下面将详细说明该技术扩展应用后相应变化及各个方面。
E.0背景显示的构成背景显示就是动作发生的环境显示，例如，从至少接近与要处理的图像序列相同位置处记录到但具有足够宽角度整体显示一场环境的单个记录图像。或者背景显示可作为全景图像构成，可从包含整个一场在内的图像序列重构获得和从相同摄像机位置记录获得。而且还可包含用参数描述简单的环境/背景，例如网球场，或单色彩或简单图形的人造背景。
背景显示不限定于像素显示，还可包含测量指定点显示可靠性的概率模型。这种测量有助于在前景/背景提取处理中对前景与背景之比进行分类。大的容差/偏移通常允许进入可靠性低的像素。
背景显示BGD1或BGD2也可从图像序列IS1或IS2直接推定。如果媒介物/目标相对背景在运动，能在IS1或IS2中找到图像，分别在IS1或IS2中的背景的特定部分不会遮断，可分别用来构筑背景显示BGD1或BGD2。这种方法具有较佳的抗图像亮度变化的能力。
E.1摄像机运动参数的估算(模块1)图7中模块1计算变换调整SP1和SP2，其中，SP1描述了IS1的各帧与序列IS1中相应背景显示BGD1的几何关系，SP2描述了IS2的各帧与序列IS2中相应背景显示BGD2的几何关系。
在背景显示中描述各帧位置的参数也可沿序列从计算摄像机运动中推定，也可从图像序列中任一帧与背景显示之间的几何映射中推定。
如果图像序列已用静止的摄像机记录(其视角与背景显示用的相同)，则模块1可旁路(即，省略)。在这种情况下，如果背景显示有与图像序列IS1和IS2相同的视场，则参数在整个时间上为常数并与单式的变换对应。举例来说，背景可以先记录，没有任何动作(行为)图形，其次再从同一摄像机位置和使用同一视角记录动作。摄像机运动参数SP1和/或SP2在仪器化摄像机提供拍摄全景、倾斜拍摄和变焦距的情况下能方便地经通信线路进行测定。
E.2背景/前景的提取(模块2)一旦获知各帧与背景显示的相关性，就能计算加权掩码序列，用以描述像素归入背景的概率。这种技术包括使用SP1和SP2将IS1和IS2中各帧分别与各自的背景BGD1和BGD2对准。
如图9所示，IS1和IS2中各帧的各个像素坐标(i，j)与用(x，y)显示的BGD1中坐标(x，y)对应并计算测量误差，可用于例如根据像素归入背景的确定或足够的概率来评定像素。尽管在背景和前景不易区分时可能需要人为干涉，但这种评定是自动的，无需事先人为干涉。别外，辅助信息可用来对例如目标形状、目标位置、最小目标尺寸，和/或时间一致性等进行分级。
与图9对应，图10进一步说明了空中潜在目标情形下对背景/前景的提取。如前面所述，根据视频序列IS1已确定背景BGD1。IS1中第n帧与它对应的显示BGD1对准。潜在目标的形态从IS1提取后分开显示。
在前景与背景之间进行区分后，处理还包含确定附加信息的参数，例如目标尺寸和目标重心的位置等，这些在标准图像处理技术中已知。这种信息各种应用之间涉及目标形状或运动的例如用于获得统计数据的比较模型。
E.3空间标准化(模块3)图像序列IS1和IS2能根据它们的几何关系对准。空间标准化变换SNT能用来根据背景和/或前景例如在尺寸和/或位置要素方面进行匹配，这些要素存在于两图像序列中。背景中这种要素的例子中是壁球场中的网线、撑竿跳中的竿和例如故意设置的铝T条的标准要素。前景例子包含人体的尺寸、他的前臂长度、高尔夫球棒的长度等。
SNT能由自动、半自动或手动确定。在自动确定中，自动地检测两图像序列中识别为同类的要素并加以计算，使得这些要素通过几何变换能对应。要素识别可采用加权掩码WM1和WM2，可在前景与背景间进行区分。在半自动确定中，可用鼠标点击手动指定类同的要素，然后自动确定以便要素匹配。在手动确定中，用户可通过鼠标点击、键盘输入和/或任何其它适合的输入装置交互式修改SNT参数，直到看到满意的匹配。
或对SNT进行计算，使得要素间实际的标度/位置关系得到保持，或将诸如人体高度或前臂长度等有关要素标准化。再一例子就是比较同一人或不同人的左手和右手动作，此时可将SNT用于镜像比较。
通常，在一对帧(每个图像序列IS1和IS2中一帧)间确定SNT。或者也可用背景显示BGD1和BGD2作这种用途。
在从摄像机不同位置已记录到图像序列的情况下，SNT能用来对摄像机的失准进行校正。如果环境的某些要素已知或作参数显示(例如，网球或壁球场中的线或为在视场中作参照而故意设置的T条)，那么就能推定摄像机的位置。物理要素，例如球场线，作为运动正规规则的指定是规范的。
标准化变换是三维的，能用有关摄像机位置导出。一个序列中的图像是摄像机之一的焦平面上的投影，然后可用三维坐标变换再投影到不同位置处另一摄像机的焦平面上。或者，二个图像序列能重投影到例如对应于两个实际摄像机位置间半路上摄像机位置的中间焦平面上。
E.4合成(模块4)SP1和SP2描述了各个图像序列IS1和IS2中各帧分别与背景BGD1和BGD2的相关性，SNT描述了两图像序列应有的相关性。因此，IS2中各帧能与IS1中任一帧几何相关，反之亦然。
一旦IS2中的帧得到变换并与IS1中它对应的帧对准，那么这两帧就能按照混合在单个图像中或在一分开屏幕上并排地显示在一起。混合图像的两帧中每帧各像素的权重主要取决于三个因素，即，(1)加权掩码WMS1和WMS2，在背景和前景间为各像素显示分级/区分测量；(2)合成图像序列中像素所需的权；和(3)所需的可视效果。
对于因素(2)，像素需要的权可取决于合成序列是否有图像序列IS1、IS2的背景，甚或某个其它要求的背景。例如在图16A中，左面图像显示的合成帧其中保留了第一序列的背景，而图16B中右面图像显示的合成帧其中背景选择单黑色。图15示出相应背景和从原有序列中摘录的帧。
对于因素(3)，需要的可视效果可要求叠合前景目标的透明度，或者例如要求通过在其它目标前面显示一个前景目标来模拟现场的纵深。某些方式可用来使终端用户交互选择透明度，例如，通过鼠标点击、键盘输入和/或其它任何合适的输入装置，直到获得满意的可视效果。这种操作可用交互设置空间标准化联合地进行。二个并排设置的媒介物例如最好表现为实体状，而在叠合情况下可优选透明度。
E.5时间标准化消除动作完成速度的影响对某些应用来说是有意义的，好处是把注意力集中到有关因素上，例如位置、对准和轨道。例如当比较高尔夫球的旋转时，最重要的是注意身体/球棒的运动和与完成速度无关的位置，这种完成速度随运动员的形态和力量而变。为了实现该目的，两图像序列能通过时间标准化调整包括进行时间“变形”，这种时间“变形”可认为是时间轴的变换。这种变换能把连续时间，举例t1到tn‘映射到譬如说对应的连续时间例t1’到tn’，例如，在时间间隔从t1到tn‘中分段线性或平滑跨越间隔。
确定时间变换能将所选控制点的运行时间映射到指定的时间例组。这样做的好处是，例如为了补偿动作运行的速度差，可将动作之一或两者标准化，以便动作控制点呈现时间一致。在高尔夫球旋转中控制点的例子包含球在运动员上方垂直位置的时间(90°)，球在运动员后面的水平通道(180°)，在运动员下方的垂直通道(270°)和运动员前方中的水平位置的通道(360°)。图9中说明这些控制点，这里水平轴显示时间，垂直轴以角度显示球棒位置。
如图13时间标准化框图所示，图像序列IS1和IS2进入这两序列的模块5，该模块5确定控制点预定序列的执行时间TS1和TS2。该操作能自动进行或用户干预。序列TS1和TS2进入模块6，确定将序列TS2映射到序列TS1的变换。使用时间变换，图像序列IS2重新作对应的采样，产生图像序列IS2’(模块7)。通常如图14所示，序列IS2不包括需要精确变换时间例的图像，重新采样能有益于从图像IS2中进行插入以产生这种时间例的人为图像。由于图像质量最佳，因而能从SP2推定沿序列IS2的运动，该运动能用来沿各像素轨迹进行插入。
视频信号中所选控制点的执行时间组能与该视频信号一起存储以作后用。特别是能对控制点出现对应的视频帧加标签/加索引/加标记，成为行为关键阶段状态对应的决定性或关键帧。使用这种索引能迅速检索到行为的关键阶段，也即索引能把图像序列按语义划分成各个阶段。例如，在跳远行为中，对应起跑的视频帧可标记为行为的开始，而对应跳离点的视频帧可标记为升高阶段的开始。
在标准化后，该序列IS1和标准化后的序列IS2’各自描述在这些控制点同时执行动作。
通过对序列的图像分析能自动识别控制点。例如在挥舞高尔夫球棒中，能检测棒的头部并在挥舞中对其跟踪，从而能识别球棒角度，例如90、180、270和360度对应的控制点。其它信号，例如高尔夫球棒碰撞球的声频信号，雷达信号或光信号等能用于识别控制点。
当动态编程技术能用于任何所需时间变形时，不用控制点也能实现重新时间标准化。球形对准而不是对准许多控制点，能使两个或多个视频序列间的球形测量误差减至最小。这种技术已经在例如语音识别中用于对准两种不同速度发出的讲话。在本申请中，该技术利用动态编程算法扩充到三维，寻找最佳非线性时间变形，使得两视频序列间的测量误差减至最小。动态编程算法搜索一些制约条件下的各种局部时间变形，并保留其中局部最佳的一个。这样能对准显示相当多事件但有局部不同速度的视频序列。
虽然如上面详细说明，一个图像序列(例如IS2)能相对另一序列(IS1)标准化，但替代两个序列相对第三基准的标准化也不是不可能，在这种情况下，两个图像序列都被重新采样。
在特别简单的实施例中，能用单个控制点，其中时间变换等于时间偏移。如果控制点序列由二个点、例如动作的开始和结束组成，那么时间变换等于时间轴的线性变换。
若需要时间变换，就能在进入模块1之前把这种变换用于图像序列IS1和IS2。在这种情况下，可用上述显示法以图4中IS1’和IS2’代替IS1和IS2。
如果要在预先记录的动作与现场动作之间作实时比较，则预先记录的动作在时间上能修改为与现场动作同步。例如当现场媒介物完成的常规动作通过特定的控制点时，预先记录的动作能暂时地自动定位，显示执行的相同阶段。当进行学习时，一个动作能从重复存储的高尔夫球手那里得到很大的帮助，也就是说，可从相互间比较重复执行他挥舞球棒或其部分和/或角色示范中得到帮助。
E.6应用本发明能借助运动规定的空间和时间同步来构成运动动作的合成序列。例如在体操运动中，与运体操教练接触地面的那些瞬间可选为时间标准化的控制点。或例如在花样滑冰中，技巧的姿态可在开始和完成之间暂时地对准。或对比较芭蕾舞蹈常规动作的不同艺术风格表演技巧感兴趣时，也可对序列进行空间标准化以便比较例如动作姿态的重心。
本发明提供比较在不同地方媒介物表演的能力，例如在学习挥舞高尔夫球棒的动作中有特别的帮助。因此，高尔夫球员能将其动作与影片拍摄的别处角色示范动作进行比较，通过比较他自己不同的动作，能监视自己在学习期间的进步。
本发明还可提供在单个视频图像中比较当前动作与基准动作的能力。例如，在跳远等田径跳跃运动中，能根据与例如世界跳跃记录的基准动作类同的角度将当前跳跃动作制成影片。能对空间标准化变换进行计算，使得例如用一种尺码显示的跳离坑和跳板与方向和大小用其它尺码显示的进行匹配。从而产生单一组合视频图像，在其中可对两种动作方便地进行比较。
本发明能对用户实时提供与他进行的例如增氧运动中动作有关的反馈，这里学生将他的姿势对准指导者的姿势调整。
虽然上面描述是对单个摄像机记录到的动作进行的，但这种技术也可应用到使用多个摄像机的场合。这种技术因而能单独地用于一对具有相同视角的摄像机。根据多个视角还能产生三维显示，类似于动作者的三维运动模型，而且时空标准化和背景适配也能用于这种显示。
权利要求
1.一种从大量给定视频序列产生一合成视频序列的计算机方法，其中，各给定视频序列包含各目标动作与各自环境相关的显示，所述方法包含以下步骤(a)形成背景显示；(b)确定各目标在各给定视频序列中的显示；(c)对确定后显示的动作进行调整；(d)形成合成视频序列，使得调整后的显示出现在共同的环境中。
2.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，步骤(a)包含形成与任何目标无关的背景显示。
3.根据权利要求2所述的从大量给定视频序列产生一合成视频序列的计算机方法，特征在于，背景显示是摄像机记录到的单一图像。
4.根据权利要求2所述的从大量给定视频序列产生一合成视频序列的计算机方法，特征在于，形成的该背景显示包含根据图像序列进行全景的组合图像。
5.根据权利要求4所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该图像序列是给定视频序列之一。
6.根据权利要求5所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含更新该背景显示以便对给定视频序列中更新近的图像给出优先权。
7.根据权利要求2所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该背景显示包含参数环境显示。
8.根据权利要求2所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，所形成的显示包含联系可靠性测量的显示要素。
9.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，步骤(b)包含评估给定视频帧与对应背景显示间的几何关系。
10.根据权利要求9所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，评估包含图像分析。
11.根据权利要求9所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，评估包含考虑到用于产生给定视频序列之一的仪器化摄像机提供的仪器数据。
12.根据权利要求9所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含(i)使用几何关系将给定视频帧与对应背景显示对准和(ii)用像素联结对准后的视频帧和背景显示间的偏差测量。
13.根据权利要求12所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含使用该偏差测量确定给定视频帧归于背景的像素的概率。
14.根据权利要求13所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含使用该偏差测量对无论归于背景或者归于前景目标的像素都进行分类。
15.根据权利要求14所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，分类考虑辅助设备信息。
16.根据权利要求14所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含使用分类推定前景目标的统计数据。
17.根据权利要求14所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含使用分类将背景替换为不同的背景。
18.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，各给定视频序列包含各多个目标动作与各自环境相关的显示。
19.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，步骤(c)包含确定给定视频序列间空间/几何标准化变换，在大小和/或方向方面将给定视频序列之一中可视要素与另一给定视频序列中可视要素匹配。
20.根据权利要求19所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该可视要素是前景要素。
21.根据权利要求19所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该可视要素是背景要素。
22.根据权利要求21所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该可视要素是规范要素。
23.根据权利要求19所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含自动选择可视要素。
24.根据权利要求19所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含接收选择可视要素用的输入。
25.根据权利要求19所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，自动确定变换。
26.根据权利要求19所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，确定该变换包含接收输入并在交互适配试验性变换中产生的输出。
27.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，其中步骤(c)包含在进行动作过程中至少在一个控制点识别进行的时间。
28.根据权利要求27所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，识别至少一部分根据给定视频序列之一的可视信息。
29.根据权利要求27所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该识别至少一部分根据辅助设备信号。
30.根据权利要求29所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该辅助设备信号是音频信号、超声波信号、微波信号、雷达信号和光检测器信号之一。
31.根据权利要求27所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含存储供以后与视频序列一起使用的识别时间。
32.根据权利要求27所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，时间识别是自动进行的。
33.根据权利要求27所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含接收供时间识别用的输入。
34.根据权利要求27所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含确定从一组控制点到另一组控制点的时间变换。
35.根据权利要求27所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含将时间变换加到至少一个给定视频序列，以产生变换后的序列，调节其步速在给定视频序列的控制点进行时间匹配。
36.根据权利要求35所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该给定视频序列之一是基准视频序列，时间变换只加到另一给定视频序列。
37.根据权利要求35所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该时间变换包含用另一给定视频序列中的动作过程调整一给定视频序列中的动作过程偏差。
38.根据权利要求37所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，调整偏差用于控制记录到的给定视频的重放，使得在控制点的进行时间对应现场表演的给定视频的进行时间。
39.根据权利要求35所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含对给定视频序列的显示控制点动作状态的视频帧加标签/加索引/加标记。
40.根据权利要求27所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含将非线性时间变换加给这些视频序列中的至少一个。
41.根据权利要求40所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该变换使视频序列间的球形误差测量减至最小。
42.根据权利要求41所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，包含最小化检索。
43.根据权利要求42所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，检索根据动态编程技术。
44.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，步骤(d)包含选择给定视频序列之一的环境作为公共环境。
45.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，步骤(d)包含选择与各给定视频序列的环境不同的公共环境。
46.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，步骤(d)包含混合形成合成视频序列。
47.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，步骤(d)包含分开式屏幕排列形成合成视频序列。
48.根据权利要求1所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该给定视频序列来自两个运动的表演。
49.根据权利要求48所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该两个运动的表演处于不同环境。
50.根据权利要求49所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该运动表演中之一是基准表演。
51.根据权利要求50所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该基准表演是世界记录表演、国家记录表演和最佳个人表演之一。
52.根据权利要求50所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，除基准表演以外的表演是新近表演和实时表演之一。
53.根据权利要求48所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，该运动是跳远、三级跳远、跳高、撑杆跳、百米赛跑和高尔夫挥舞球棒之一。
54.根据权利要求22所述的从大量给定视频序列产生一合成视频序列的计算机方法，其特征在于，规范要素是跳远的起跑线、跳远的跳板、百米赛跑的跑道、撑杆跳的撑杆、撑杆跳的横杆和跳高的横杆之一。
55.一种计算机，对根据多个给定视频序列产生合成视频序列进行编程，各给定视频序列包含各目标动作与各自环境相关的显示，其特征在于，所述编程的程序包含(a)形成背景显示用指令；(b)确定各目标在各给定视频序列中的显示用指令；(c)对确定后显示的动作调整用指令；(d)形成合成视频序列使得调整的显示出现在共同的环境中用指令。
56.一种根据多个给定视频序列产生合成视频序列的系统，各给定视频序列包含各目标动作与各自环境相关的显示，所述系统包含(a)形成背景显示用装置；(b)确定各目标在各给定视频序列中的显示用装置；(c)对确定后显示的动作调整用装置；(d)形成合成视频序列使得调整的显示出现在共同的环境中用装置。
57.一种包含计算机指令显示的有形媒体，所述指令用来根据多个给定视频序列产生合成视频序列，各给定视频序列包含各目标动作与各自环境相关的显示，所述计算机指令包含(a)形成背景显示用指令；(b)确定各目标在各给定视频序列中的显示用指令；(c)对确定后显示的动作调整用指令；(d)形成合成视频序列使得调整的显示出现在共同的环境中用指令。
全文摘要
一种以时空同步整合视频序列的方法及系统，包括给定两个视频序列，能产生一个合成视频序列(15)，该合成视频序列包含来自各给定序列的可视要素，这些要素适合同步(11)并显示在所选焦平面。一个合成视频序列也能通过类似将视频序列与音频序列组合而得到，即便给定视频序列的背景与例如从该给定序列中某个或其它提取的公共背景不同。或者，所用的不同合适的背景，例如可从给定视频序列导出，或从另一视频序列或图像获得，或另外合成获得。在这个合成视频序列中的参赛者、动作姿态或目标都能相对一公共背景(12)加以示出。
文档编号G06T3/00GK1425171SQ00818500
公开日2003年6月18日 申请日期2000年11月24日 优先权日1999年11月24日
发明者伊曼纽尔·M·里森, 马丁·F·维多里, 瑟奇·J·艾尔, 维克多·A·贝尔贡佐尼 申请人:伊摩信科技有限公司, 彼德·A·比辛格