用于重建目标的运动的装置、方法以及计算机程序的制作方法
【专利说明】用于重建目标的运动的装置、方法以及计算机程序
[0001]本发明的实施例涉及用于借助目标的计算机模型的预先制定的或者预先存储的运动序列来重建目标的运动的装置、方法以及计算机程序。
[0002]在许多应用中，希望能够提供可靠的运动重建，如例如在体育广播中用于情况分析和/或运动分析。例如，在许多运动种类中，诸如足球、手球、美式足球、篮球、棒球、拳击-仅举几例-存在需求，运动员和/或比赛器具(例如，球)的特定的运动情况，实时或者事后(后期制作)进行分析。
[0003]目前针对此目的主要是光学的，也就是说，使用基于照相机系统的系统，利用此可对所感兴趣的运动情况例如通过重复以及慢动作设置进行重新再现和分析。但是这种系统在实际中通常会遇到它的限制，因此，可能反复发生这样的情况，关于有问题的比赛情况和/或有问题的运动过程慢动作也无法拥有足够的说服力。在某些情况下，从特定的观看角度(例如，照相机的观看角度，其已经捕获到比赛情况)无法清晰地识别运动和/或目标的位置，例如，因为重要的身体部位和/或比赛器具上的视野通过其它物体被遮挡。
[0004]因为在职业体育中大多数情况下高金融和/或高经济价值还与体育赛事以及其结果相关联，所以尤其是这些能够显著地影响体育赛事的结果的错误的判决应该被避免。在这方面突出的例子是足球中的点球判决、越位判决或者进球判决。在其它运动项目中存在可相比较的重要判决，其基于光学系统经常无法做到足够准确。
[0005]为了在某些情况下使比赛判决的决定能够通过运动过程做到更可靠和/或更准确的或者更多层次的举证，本发明的一个任务在于，提供一种相对于现有技术更优化的运动情况的评估或者分析的可能性。
[0006]该任务将通过具有独立的权利要求的特征的装置、方法以及计算机程序来实现。
[0007]其它有利的实施方式和进一步的发展是从属权利要求的主题。
[0008]根据基本思路，本发明的实施例使用至少一个具有预先存储的计算机模型的运动过程或者运动样本片段的数据库，其通过计算机与其后所检测到的真实目标(例如，生物)的实际运动过程或者运动样本片段进行比较。在所存储的运动过程中借助于合适的算法找到与实际运动相匹配的目标的计算机模型的运动样本，可基于所找到的计算机模型的运动样本虚拟地重建目标的实际运动。因此，利用由目标(诸如，人类或者动物)实际所执行的运动的这种虚拟的运动重建可实现一种虚拟的现实，其能够提供比利用传统的系统明显更加灵活的观看或者分析的可能性。
[0009]根据本发明的第一方案，提出了一种用于根据目标的计算机模型的运动样本片段的序列重建目标的实际运动的方法。其中，每个运动样本片段对应于运动的不同的时间间隔或者时间段。此外，目标(例如，生物，尤其是人类)具有至少一个与传感器或者位置标记器相耦合或配置的用于运动检测的采样点。根据实施例，所述方法包括以下步骤:
[0010]a)基于从传感器/位置标记器所接收到的至少一个采样点的位置数据在实际运动的时间间隔内对目标的起始运动状态与结束运动状态之间的实际的运动转换进行检测；
[0011]b)从多个存储在数据库中的计算机模型的运动样本中如此选择至少一个对应于实际运动转换的运动样本片段，以使得所选择的运动样本片段针对时间间隔以足够的(尤其是最高的)概率从起始运动状态引导至结束运动状态；以及
[0012]c)利用起始运动状态和所选择的运动样本片段针对时间间隔重建目标的实际运动的虚拟图像。
[0013]足够的概率的情况在下文中将被理解为高于预定概率阀值的概率，其可在给定情况下根据环境或者传输条件进行调整。在一些实施例中，在选择至少一个对应于实际的运动转换的运动样本片段时产生一个或者多个具有不同概率的潜在的运动样本片段。然后在一些实施例中可从这些潜在的运动样本片段中选择那些针对所考虑的时间间隔具有最高概率从起始运动状态引导至结束运动状态的运动样本片段。在计算机模型的可能的运动状态和运动转换的有限的数量中总是会提供至少一个运动样本片段，其(与其它的运动样本片段相比)针对所考虑的时间间隔具有最高概率从起始运动状态引导至结束运动状态。
[0014]在所述方法中，根据一些实施例可涉及迭代过程以及优选地涉及计算机实现过程，该过程可借助于相应的程序化的硬件组件(诸如，处理器或者集成电路)来执行，当在其上执行或者运行该过程所实现的计算机程序时。以上所列举的方法步骤a)至c)可因此形成用于运动重建的迭代过程的当前迭代。其中，针对当前迭代的起始运动状态可在迭代过程的前一次迭代中被重建或者被算出，从而使得运动的重建的图像可全部由多个所选择的并且彼此连续的时间间隔/迭代所对应的运动样本片段构成。其中，在选择时可将所检测到的或者所检测到的目标的实际运动转换反复与所存储的计算机模型的运动样本进行比较，从而基于目标的至少一个过去的运动状态和当前的转换概率(该转换概率对应于目标的至少两个时间上彼此连续的离散运动状态之间的可能的运动转换)确定针对目标的当前的运动状态的假像。其中，目标的当前运动状态和至少一个过去的运动状态可形成马尔可夫模型的序列，即，不同的运动状态和运动转换可根据一些实施例通过离散的马尔可夫链进行建模。在这种实施方式中可借助于至少一个运动样本片段的选择确定在预先设定的马尔可夫模型和所检测到的(以及有可能消失的)运动转换的序列中最有可能的运动状态的序列，以便对目标的实际运动进行重建。
[0015]用于执行该过程的相应地程序化的或者设置的硬件可根据本发明的另一个方案被视为用于由目标的计算机模型的运动样本片段的序列重建目标的实际运动的装置，其中每个运动样本片段对应于运动的不同的时间间隔，并且其中目标具有至少一个与传感器/位置标记器相耦合的或者配置的采样点。其中，装置包括用于基于从位置标记器所接收到的至少一个采样点的位置数据在运动的时间间隔内检测或者检测在目标的起始运动状态与结束运动状态之间的(实际的)运动转换的设备。装置进一步包括用于从多个存储在数据库中的计算机模型的运动样本中选择至少一个对应于运动转换的运动样本片段的设备，其中所选择的运动样本片段针对时间间隔具有足够的概率从起始运动状态引导至结束运动状态。此外，提供了用于利用起始运动状态和所选择的运动样本片段针对时间间隔重建目标的运动的图像的设备。各个设备可根据实施例分别理解为装置的电子电路部件。
[0016]在将对其运动进行重建的目标中，可尤其涉及多肢体的目标，在其中各个肢体通过关节部位分离并且是相互活动的。因此，这种目标的情况下，可包括例如人类、动物，但也可包括机械结构体。诸如球或者球拍的体育器具也是可考虑的。为了能够确定各个目标部位的位置数据，在目标上或者各个目标部位(即，例如，关节和/或肢体)上的采样点分别配置有传感器。其中，根据一些实施例，可涉及实时定位系统(RTLS = Real-Time LocatingSystem)的基于无线电的传感器或者位置标记器，该实时定位系统可实时确定传感器或者无线电标记器的地理位置或者坐标(例如，x-、y_、z-坐标)。因此，根据一些实施例可调节用于检测实际运动转换的设备，以便实时对目标的实际运动或者实际运动转换进行检测。其中“实时”意味着要求，确保结果(例如，所提供的或者所计算出的坐标)在预先限定的时间间隔内被确定，即，在一定的时限之前存在。因此，实时系统应该不仅提供具有正确值的测量或者计算结果，而且还要及时提供这些结果，例如在一瞬间之内。
[0017]因此，根据实施例，传感器或者位置标记器可具有有效的无线电发射器，该无线电发射器被设置在目标的欲定位的采样点上，并且连续地或者有规律地向用于检测运动转换的设备的无线电接收器输送用于定位的无线电信号。位置标记器可以包含任意数量的其它的传感技术，诸如加速度、指南针、方位、陀螺仪、气压计等。接收器可例如基于角度测量和运行时间测量检测用于发射器的位置计算所需的遥测数据(诸如，坐标、速度数据、加速度数据等)。其中，原则上几乎任何无线电频率都是可能的，例如ISM频段(ISM=工业，科学和医疗)。根据一个实施例，载波频率可处于例如2.4GHz。彼此连续的遥测数据样本之间的时间间隔可与要检测的运动的速度和/或精确度相匹配。如此，例如无线电发射的遥测数据的更新速率可考虑从几Hz至几kHz。
[0018]基于无线电的定位系统相对于光学系统的优点尤其是，不会发生运动或者比赛情况的光学的遮挡。经由无线电传送或者确定的位置数据使得可以从各个角度对目标运动进行重建，这些在光学信号中不总是可能的。在运动重建之后可虚拟的从各个角度对重建的运动进行观察。
[0019]在数据库或者电子存储器中存在预先生成的计算机模型的运动样本或者运动样本片段，其对应于目标的可能的实际运动或者运动分段并且通过计算机模型的采样点的连续的位置或者坐标来定义。计算机模型的采样点可基本上对应于真实目标的采样点。其中，运动样本片段包括至少一个单帧画面(帧)，但优选地包括计算机模型的运动的多个单帧画面(帧)。预定义的运动样本或者运动样本片段可例如通过熟知的运动检测方法(运动捕捉)预先地或者初始地生成，其中，例如将人类的运动输送到在计算机中所生成的3D模型。存储在数据库中的运动样本可因此是预定义的三维计算机模型的三维运动样本，其对应于目标的可能的实际运动。
[0020]在所记录的或者建模的运动中可尤其涉及之后在运动重建中特别感兴趣的运动，诸如，拳击手特定的击打组合或者足球运动员特定的运动过程。在初始的运动样本创建中，在预生成期间可在相同的采样点上(诸如，在关节或者特定的身体位置上)设置传感器或者标记器，如用于后期的运动重建。用于初始的运动样本创建也可以使用非基于无线电的定位方法(例如，光学方法)。在光学追踪中可利用照相机工作，其追踪要检测的人或物上的主动的(即，发射信号)或者被动的位置标记器。根据标记器运动在单张照相机画面(帧)中可通过三角测量按三维计算标记器的位置。此外，通过在图像处理中的模式识别，无标记器的运动检测方法也是可能的。在数字