基于运动矢量的运动对象比较的制作方法与工艺

本发明涉及用于比较视频序列中的运动的装置和方法及系统。

背景技术：
各种增强技术已经被用于体育视频广播。这种增强可以向观众提供更好的观看体验。例如，在赛车中，可以利用图形来增强视频，该图形识别汽车驾驶者并且显示（例如通过全球定位系统（GPS）获得的）诸如汽车速度之类的信息。第一个例子是足球比赛的视频序列，在该视频序列中可以插入虚拟的越位线，这使得观看者能够明确看到何时以及如何犯规的。另一个例子是高尔夫球的视频序列，其中码数点、危险区、倾斜球道以及果岭前带（falsefronts）可以被标识并添加到视频中。US7042493和WO01/78050A2公开了用于从视频产生体育赛事的频闪观测仪序列的运动分析系统。这种系统允许观看者看到在时间和空间上展开的运动员的运动，其中运动对象被感知为沿着对象轨迹的一系列静态图像。此外，EP1247255和WO01/39130A1公开了能够从两个给定的视频序列产生合成视频序列的图像处理系统，该合成视频序列包括来自每个给定的序列的视觉元素，这些视觉元素被适当地同步化并且表示在选定的焦平面中。例如，给定均分别示出不同选手在同一下坡赛道单独比赛的两个视频序列，该合成序列可以包括来自给定序列中每一个的元素，以示出这两个选手好像在同时比赛。另外，WO2007/006346A1公开一种用于通过限定某种体育运动的多个不均匀分布的关键位置来分析运动员的运动的方法。该方法从输入的视频中提取与这些关键位置相对应的静态图片，并且将提取的静态图片同时显示在屏幕上。可以通过预定义的模板来触发静态图片的提取。然而，在上述现有系统中，通过将视频展开为静态图片/帧的序列来分析运动员的运动，其中预定义的模板/规则可被用于提取与关键位置相对应的静态照片。然而，对于观看者来说，仍不能看到运动员在每个单独时刻/帧处如何运动。例如，不同的运动员可能以不同的速度和运动方向执行相同的关键位置。当比较两个视频时，在现有系统中考虑空间和时间的对准。然而，这仅通过对准视频中的现有图像/帧来完成。给定两个不同的表现（来自不同的主体），因为运动的不同执行（例如不同的速度或幅度）的缘故，基于现有帧的空间-时间对准可能是困难的，有时导致不精确的对准。US7602301和US6567536公开了用于基于身体上传感器的运动分析的解决方案，但是这些解决方案需要应用到身体上的额外的标记和传感器。GB2341997A公开一种用于增强电视图像中的对象的图像处理装置和方法，其中通过运动检测、边界检测或颜色检测来检测对象，从而定位对象。可以通过使用轨迹预测或外插法来促进后续图像中对象的位置检测。重叠产生模块利用中性背景和与所述对象的部分相对应的位置中的加亮部分产生中间图像。轨迹内插模块在先前图像中对象的位置与当前图像中对象的位置之间插入一路径。最后，图像叠加模块将该中间图像、内插图像和数字图像叠加，以产生输出图像，其中在对比度方面以及通过沿着对象的轨迹提供拖尾增强了所述对象的可视性。从而改善了对快速移动或者在低对比度背景中描绘的对象的跟踪。此外，EP1404130A1公开了输入视频信号到不同的场或帧速率的转换，其中从现有帧的图像数据产生要插入的附加帧。然而，该方法由于对象运动中的可见的不连续性的缘故而导致图像降级。通过转换后的视频信号的视频帧的对象的运动偏离原始视频帧序列中对象的平滑运动，导致可感觉到的运动不连续性。为了克服该缺陷，帧内对象的运动通过运动估计来检测，并且用运动矢量来表示。基于检测到的运动矢量，计算要插入的帧中对象的位置，并且相应地插入对象的图像数据。

技术实现要素：
本发明的目的是提供一种用于在维持不引人注目的通过视频的数据收集的同时更好地分析和比较运动的解决方案。该目的是通过如权利要求1所述的装置、如权利要求8所述的方法以及通过如权利要求9所述的计算机程序产品来实现的。因此，可以在没有用户手动绘图/点击以及也不使用任何身体上的标记或传感器的情况下，定量地且自动地分析视频序列中的任何类型对象的运动。运动估计的结果实现了更好的运动分析和比较，特别在体育运动中，同时维持不引人注目的通过视频的数据收集。利用计算出的运动矢量，可以产生并插入中间帧，以实现更好的对准。例如，当比较两个运动员的冲刺时，可以针对跑得较快的运动员插入中间帧。另一个应用是比较利用不同帧速率的照相机捕获的两个视频。例如，在某些情况中，可以利用高速照相机进行一个重编码。以低帧速率进行的另一个重编码需要通过中间帧来增强，以更好地进行运动比较。根据第一方面，一种可视化器或者可视化级可以被提供用于使所述至少一个对象的运动可视化。根据可以与第一方面结合的第二方面，一种视频产生器或者视频产生级可以被提供用于产生第三视频序列，该第三视频序列包含由所提出的方法或装置处理的第一和第二视频序列的对象的运动差别。这样，基于两个视频流的比较，也可能产生用于分析的特殊信息视频，其中对两个视频流之间的运动差别进行注释。例如，可以想到游泳者和理想的模型（或者先前的记录）之间膝盖伸展的差别。这样，除了提供两个对准的视频流且然后让这种解释由用户（例如教练员或运动员）完成之外，有可能产生利用运动差别增强的或者减少到运动差别的第三流，从而帮助用户看到该差别。根据可以与第一和第二方面中的至少一个结合的第三方面，该可视化器或可视化级可以适于通过添加关于运动方向、运动量级和加速度中的至少一个的信息而使对象的运动可视化。在特定的示例性实施方式中，该可视化器或可视化级可以适于添加作为颜色编码的信息。根据可以与上面的第一至第三方面中的至少一个结合的第四方面，该可视化器或可视化级可以适于检测所述至少一个视频序列中预定的关注对象（例如，身体部位）。上述装置可以被实现为集成在单个芯片或芯片组上的或者在电路板上布线的硬件电路。作为可替代方案，该装置的至少部分可以实现为计算机程序或软件例程，当该计算机程序运行在控制该装置的计算机上时，该计算机程序或软件例程控制处理器或计算机设备以执行上述方法的步骤。应当理解，本发明的优选实施例也可以是从属权利要求与相应的独立权利要求的任何组合。本发明的这些和其他方面将根据下文描述的实施例而清楚明白并参照这些实施例进行阐述。附图说明在附图中：图1示出根据第一实施例的运动比较过程或设备的示意性处理图；图2示出运动比较的例子；以及图3示出根据第二实施例的运动比较过程或设备的示意性处理图。具体实施方式现在基于其中定量分析视频序列（例如，体育运动视频）中的运动员或其他对象的运动的实施例来描述本发明。更具体来说，视频分析被加强，以提取运动数据。即使在具有运动的不同执行（例如不同速度并且/或者运动方向）的不同表现（由不同的主体进行）的情况下，仍可以实现帧对准。图1示出根据第一实施例的处理流程或处理链的示意图，其中使用可以发现视频帧之间的对应关系的运动估计或其他技术计算在各视频帧处的运动矢量。在各视频帧处计算出的运动矢量可被用于更好地比较运动。在步骤或阶段110中，针对至少两个视频序列的各帧，计算运动矢量。然后在步骤或阶段120中使用计算出的运动矢量来产生并插入中间帧。对于步骤或阶段120，可以基于来自视频领域的交错技术来产生中间帧，其中它例如用于从第一帧速率上调到第二帧速率（例如从50Hz到200Hz）。可以使用非整数因子执行该上调。为了比较（由不同的人或者由同一人在不同的时间执行的）至少两个视频序列中的运动或者在视频序列和基准序列之间比较运动，在步骤130中将两个序列在空间和时间上对准。由于运动的不同执行（例如，不同的速度或幅度）的缘故，基于现有帧的空间-时间对准是困难的。然而，利用计算出的运动矢量，可以产生并插入中间帧，以实现更好的对准。例如，当比较两个运动员的冲刺时，可以在针对所走的距离对准图像时，针对跑得较快的运动员构成中间图像。此外，当比较实地记录与更高速照相机的主视频时，实体记录可能需要增强以优化比较性能。例如，在某些情况下，记录由高速照相机制作。以低帧速率制作的记录需要利用中间帧来增强，以用于更好的运动比较。最后，在步骤140中，将目标对象或者目标部分的运动参数可视化，以用于更好的比较。因此，在步骤或阶段110中计算出的运动矢量可被用于比较所述运动。例如，基于这些运动矢量，在步骤或阶段120可以插入中间帧，以在步骤130中实现更好的空间和时间对准，导致增强的运动比较。可以通过运动估计技术导出在每一帧处的运动矢量。在文献中存在不同的运动估计算法。它们中的一种是3-D递归搜索块匹配（3DRS）。然后计算出的运动矢量被用来增强视频序列。在步骤或阶段140中，可以通过可以根据用户或者目标观众（例如，运动员、教练员、粉丝）的需要选择的不同方式使该运动可视化。作为例子，可以使用颜色编码使该运动可视化。当比较两个视频中的运动时，利用一个视频作为基线/基准，可以添加颜色以指示不同的（或相同的）运动。此外，为了更精确地测量目标对象或对象部分的运动，可以考虑其他线索。例如，对于游泳者来说，皮肤颜色可被用来消除非身体区域中的运动矢量。在某些情况下，人们有兴趣观看特定身体部分（例如，手臂）的运动。然后，可以应用计算机视觉技术来自动检测感兴趣的身体部分。可以从估计出的运动矢量导出进一步的信息，并且该信息可以用于增强视频。例如，可以导出加速度（即，运动速度的速度）。图2示出两个高尔夫球选手的高尔夫球运动的例子。在这些例子中，当高尔夫球杆接触球时，定义关键帧。尽管两个选手都执行该关键位置，但是他们可能具有不同的运动。使用颜色编码针对这两个选手使在该关键帧处的运动估计结果可视化，其中使用不同的颜色指示不同的运动方向，而颜色强度指示运动的量级。在图2中，利用不同的影线图案C1至C4简化颜色编码。所给出的运动估计示出这两个选手以不同的方式（即不同的运动速度和方向）表现。如从图2中的影线图案C1至C4可以获悉，这两个选手的右臂运动明显不同。图3示出根据第二实施例的处理流程或处理链的示意图，其中产生包含两个输入的视频序列V1和V2的两个目标对象之间的运动差别的视频序列。在步骤或阶段210A和210B中，针对所述输入视频序列V1和V2的各帧计算运动矢量。在步骤或阶段220中，基于计算出的运动矢量，产生中间帧合成的中间帧以用于输入视频序列V1、V2中的至少一个，并将该中间帧插入到输入视频序列V1、V2中的至少一个。然后，在步骤或阶段230中，将其中至少一个已经通过插入的中间帧增强的两个视频序列V1、V2在空间和时间上对准。在第二实施例中，在步骤或阶段240中，基于两个视频序列V1、V2的比较，产生特殊信息视频用于分析，在该特殊信息视频中添加两个视频序列V1、V2之间的运动差别或者该特殊信息视频减少到该差别。作为例子，这样的差别可以是游泳者与理想模型（或者先前记录）之间膝盖伸展的差别。因此，除了提供两个对准的视频序列且然后让用户（例如教练员或运动员）完成该解释以外，还产生第三视频序列，第三视频序列利用运动差别来增强或者减少到该运动差别，从而帮助用户识别和评价该差别。简而言之，本发明提出，通过在每一帧处执行运动估计以确定运动矢量来分析视频序列（例如体育运动视频）中对象的运动。利用计算出的运动矢量，可以定量地测量对象（例如运动员）的运动。基于此，可以在视频序列的每个单独帧处比较两个视频中的运动。可以使用不同的方法（例如颜色编码）来使所述运动可视化并且比较所述运动。利用运动估计，还可以插入中间帧以实现在两个给定的视频中更好的运动比较。本发明可被用于增强（体育运动）视频广播。作为表现反馈的方式，本发明可以被教练员或运动员用于训练目的。本发明还可以用在体育运动广播中以用于增强的观看者体验。本发明可以在诸如电视（TV）或其他显示器之类的显示设备中实现，作为电视机的附加功能，例如用于观看体育运动。本发明也可以在用于广播的电视演播室中实现。另一种应用例如用在如WO01/26760中描述的游戏或赌博中，或者例如用在如由US6567536启示的监视和军事中。作为表现反馈的方式，本发明也可以被教练员或运动员用于训练目的。另一种应用是游戏或娱乐，其中本发明增强了与黄金参考模型或真实的人的差别分析。一个例子可以是视频支持的游戏，其中使用照相机记录玩家的运动，然后系统提供这里提到的反馈。本领域的技术人员通过研究附图、公开内容和所附权利要求书来实践本发明时，可以理解并实现所公开的实施例的其他变体。在权利要求中，词语“包括”不排除其它元素或步骤，并且不定冠词“一”不排除多个。单个单元或设备可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中列举特定措施这一事实不表示这些措施的组合不能被有利地使用。图1和图3中的步骤或阶段可以由单个单元或者由任意其他数目的不同单元来执行。所提出的运动分析和/或比较的计算、处理和/或控制可以实现为计算机程序的程序代码部和/或实现为专用硬件。计算机程序可以存储/分布在与其他硬件一起提供的或者作为其他硬件的一部分的诸如光学存储介质或者固态介质之类的适当的介质上，但是也可以通过其他形式分发，例如经由因特网或者其他有线或无线通信系统分发。权利要求中的任何附图标记不应该理解为限制范围。本发明提出通过在每一帧处执行运动估计以确定运动矢量来分析视频序列（例如体育运动视频）中对象的运动。利用计算出的运动矢量，可以定量地测量对象（例如运动员）的运动。基于此，可以在视频序列的每个单独帧处比较两个视频中的运动。可以使用不同的方法（例如颜色编码）使所述运动可视化并且比较所述运动。利用运动估计，还可以插入中间帧，以实现在两个给定的视频中更好的运动比较。