专利名称：用于实时确定重复运动参数的系统和方法
用于实时确定重复运动参数的系统和方法本发明涉及用于实时确定重复形式的运动的參数的系统和方法。术语实时表示响应时间适合于应用的环境。本发明应用于发生重复形式的运动的任何领域，诸如医疗领域、康复、体育运动领域等，但特别适合应用于视频游戏领域，其中许多游戏都需要玩家的部分身体的重复形式的运动。本发明也可以应用于自动机或机器人的重复形式的运动。在诸如电影、视频游戏和体育运动等多个领域中实现了对人运动的分析。例如，这种分析使得能够再现由用户所执行的运动成为可能，以使显示在屏幕上的人的虚拟描绘栩栩如生，而无需重建复杂的物理模型，同时还保持了更逼真和更自然的身体动作。运动的捕捉主要用于电影和视频游戏，以便通过再现实际运动而使显示屏上的人的化身或虚拟描绘栩栩如生，例如在文献WO 2008011352中所描述的那样。然而，此类系统需要结合集中在人身上的视频采集而使用设置在用户是每ー个肢体上的特定标识。之后对视频进行分析，以便通过在三个维度中确定每个标识的位置来定义模型。因为对所执行的运动和标识的位置的精度上的约束是重要的，所以这种技术涉及复杂的实施方式。此外，因为数据的采集及其处理主要需要再现运动，而不是与系统实时互动，所以不必实时地执行数据的采集及其处理。诸如在文献WO 2006103662中所公开的其它方案允许追踪体育赛事。这种应用使得可以以根据体育运动动作发生的阶段来改进其定向、或者以能够执行已经发生的体育运动动作的阶段性总结的方式来控制ー组摄像机。然而，摄像机常常远离运动员，前者不能用于需要高精度的应用中。
在用户与例如视频游戏控制台等机器之间进行互动的情况下，目前正在研发允许玩家与游戏控制台之间的互动的其它方案。近来，微软(商标)已经提出了 Natal计划。其目的在于提出ー种使用摄影机的新接ロ，其解释用户所执行的运动，以便驱动视频游戏或多媒体接ロ。然而，这种技术要求用户在确定的空间内动作，该确定的空间特别要求在用户与系统之间不存在任何障碍物。其它系统使用板载(onboard)传感器，或者以其它方式表述，用户配备有可以给出其地点或位置的传感器，诸如卫星定位系统传感器等；或者配备有可以确定其运动的传感器，诸如加速度计、磁强计、陀螺仪等。在没有外界干渉的情况下，这些传感器必须是侵入可能最小的且易于安置的。这些传感器，即使是低成本的，也使得可以在测量运动时获得比精度与传感器的尺寸和清晰度成比例并且从而需要更复杂的处理和更有效且更昂贵的处理机的视频传感器更好的精度。板载传感器可以用于地理定位和导航。配备有诸如GPS接收器等卫星定位系统接收器的某些车辆或装置还包含惯性设备，以便减轻系统信号接收的暂时中断。从而，如文献US 2009192708中所述，这种系统适合于步行者的导航。然而，这些方案都需要全球位置基准(reference),仅可以以临时的方式来使用运动传感器，以便减轻由此产生的缺陷或增大精度。所用的系统包括非常少的传感器，简单的加速度计就可以给出位移的主要方向和速度，并且无需额外的细节来表征运动。此外，不必尽可能快地响应速度或方向的变化。这些系统不适合于相对精确的运动，也不适合于接ロ的使用。在本发明中，用户仅借助于运动传感器来与机器进行互动。因此，这种方案需要高精度，但最重要的是需要最早可能的响应以及简单且自然的处理。近年来，为了控制通信接ロ而固定在人身上的传感器的使用已经得到推广。特别是在视频游戏的环境下，其中某些系统不仅使以比使用操纵杆或键盘更精确的方式进行互动成为可能，而且还可以通过使新玩家在无需学习掌握控制方式的情况下而迅速进行游戏来提供用户友好性，那些与运动相关联的控制方式更加自然。最后，这种方案通过使视频游戏适合于玩家自身的运动而提供了改进的真实性。因此，Sony已经提出了一种与其包括运动传感器的游戏控制台兼容的dualshock (商标)操纵杆，以便可以将施加至控制台的运动转录到屏幕上。然而，这些运动是受限的，因此主要功能保持了将定向运动放大为操纵杆的倾斜角的函数的可能性。最近,Nintendo推出了其大众化市场的Wii (商标)控制台，其包括互动式操纵杆。这些操纵杆配备有加速度计，用于查明玩家的运动，而无需更精确地确定运动的方向或幅度。诸如在文献EP 0908701中所描述的，为了补充这个操纵杆而开发了平台，以便也考虑腿部的运动。然而，这个平台仅可以查明同一位置处的腿部运动的频率，因此不容许玩家的任何位移。此外，其不可能查明玩家的定向，以便能够例如执行旋转命令。文献WO 2006086487涉及使得模块适合于运动鞋，以便测量并发送与所执行的运动的数量有关的信息。该发明的具体特征在于能够测量玩家所执行的物理活动的数量，以便能够激活游戏的特定功能，或者化身或虚拟描绘的特定特性。然而，这种装置不允许玩家与其虚拟描绘之间完全的接ロ连接(interfacing)。实际上,仅使用了一个传感器(例如加速度计)来測量物理活动，但没有恢复信息来更精确表征所执行的运动。这些系统对于实时应用来说缺乏精度和速度，特别是在视频游戏领域中。本发明的目的在于减轻上述问题。根据本发明的ー个方面，提出了一种用于实时确定重复形式的运动的參数的系统，包括-第一模块，其用于基于表示所述运动的代表性信号，在当前运动结束前，估计所述重复形式的运动的周期的近似值；-用于基于由所述第一估计模块所估计的所述周期来确定滑动窗ロ的尺寸的模块；-第二模块，其用于基于表示所述运动的代表性信号和由所述第一估计模块所传送的所述滑动窗ロ的尺寸，借助滑动窗ロ来精确估计所述运动參数。由此改进了实时确定，因为用于在进行中的运动结束前估计重复形式的运动的周期的近似值的第一模块允许确定模块以相适应的方式迅速估计特别适合于以快速方式精确计算运动參数的滑动窗ロ的尺寸。从而，滑动窗ロ的尺寸自动适应于重复形式的运动的周期的变化。重复形式的运动的表达g在表示相对类似形式的运动，但其一些參数可以变化，诸如周期(或者频率或者速度)、幅度、或者冲击カ(接触撞击的力)。
在一个实施例中，所述运动參数是所述重复形式的运动的周期。所述系统尤其适合于基于第一近似快速估计来实时地精确估计重复形式的运动的周期，所述第一近似快速估计可以快速确定特别适合于周期的精确计算的滑动窗ロ的尺寸，从而迅速得多地执行周期的精确计算。因此，借助改进的最早的可能的响应时间(即，改进的实时方案)，从而精确地执行重复形式的运动的周期的确定。例如，所述第二估计模块包括用于计算重复形式的运动的周期的基于相关性(correlation)的模块。因此，基于不是非常复杂的统计，有可能在无需运动的时域特征的先验知识的情况下确定參数。根据ー个实施例，用于估计不同于所述周期的所述重复形式的运动的另ー运动參数的所述第一模块包括用于精确估计所述周期的所述第二模块。 如果借助根据本发明的系统，以精确的方式实时确定了重复形式的运动的周期，则根据本发明的另一方面，就可以利用所述周期来通过如下方式计算不同于该周期的另ー运动參数确定滑动窗ロ的尺寸，之后允许精确且迅速地估计该另一运动參数。在一个实施例中，所述确定模块包括安全倍增(multiplicative enhancement ofsafetyノ。因此,采用安全裕度(safety margin)来确定滑动窗ロ的尺寸,从而使得可以避免滑动窗ロ的尺寸有点ノ L太小。根据ー个实施例，所述系统包括用于实时通信所述运动的进展的通信接ロ，例如，视听接ロ。这个视听通信接ロ尤其适合于视频游戏系统。在一个实施例中，所述系统还包括传感器组件，其适合于固定至执行重复形式的运动的元件，以便传送所述信号。传感器组件可以包括至少ー个磁强计、和/或至少ー个加速度计、和/或陀螺仪、和/或压カ传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。根据另ー个方面，还提出了一种用于实时确定重复形式的运动的參数的方法，其包括以下步骤-基于表示所述运动的代表性信号，在当前运动结束前，估计所述重复形式的运动的周期的近似值；-基于所述近似估计的周期来确定滑动窗ロ的尺寸；-基于表示所述运动的代表性信号和所述滑动窗ロ的确定尺寸,借助滑动窗ロ精确估计所述运动參数。根据ー种模式的实施方式，实时确定所述重复形式的运动的精确周期。在一种模式的实施方式中，不同于所述周期的所述重复形式的运动的另ー运动參数的估计用于近似估计所述周期的步骤以及精确估计所述重复形式的运动的周期的步骤中。根据ー种模式的实施方式，所述信号由固定至执行重复形式的运动的元件的传感器组件发送，例如，包括至少ー个磁强计、和/或至少ー个加速度计、和/或陀螺仪、和/或压カ传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。在一个实施例中，通过使用分解为减小的特征值Xu、Xv和Xw，来执行由具备第一正交坐标系[X，Y，Z]的传感器组件所发送的所述信号的坐标系(frame)变化，以在第二正交坐标系[U，V，W]中表示所述第一正交坐标系[X，Y，Z]，所述第二正交坐标系的轴U或轴U和V分别对应于所述运动的主轴或主平面。从而改进了精度和鲁棒性。此外，于是传感器组件的自动校准也是可能的。根据ー个实施例，对所述重复形式的运动的精 确周期的所述实时确定检测所述滑动窗ロ之上的局部最大值和全局最大值，所述局部最大值和全局最大值是基本持续时间的倍数；并选择对应于所述精确周期的、最早出现的且其相对于所述全局最大值的偏差小于阈值的最大值。因此，在所述精确周期的检测中的低误差风险在已经借助周期的快速近似估计而优化的滑动窗ロ的尺寸之上仍受到更多限制。通过研究数个以完全非限制性的示例的方式描述的并由附图
来例示的实施例，将会更好地理解本发明，在附图中-图I示意性地示出了根据本发明ー个方面的用于实时确定重复形式的运动的參数的系统；-图2示意性地示出了图I的系统的示例性实施例，其中，根据本发明的ー个方面，參数是周期；-图3示意性地示出了根据本发明的ー个方面的、还估计了不同于所述周期的所述重复形式的运动的另ー运动參数的图2的系统；-图4和5示意性地示出了在视频游戏应用情况下的传感器组件；-图6和7示意性地示出了确定周期的问题；以及-图8示意性地示出了示例性地比较根据本发明ー个方面的周期的计算与具有优化尺寸的窗ロ的估计。在各个附图中，具有相同附图标记的元件是相同的。在图I中示出了用于实时确定重复形式的运动的參数的系统，包括第一估计模块EST1，其用于基于表示运动的信号S1、S2，在当前运动结束前估计重复形式的运动的周期的近似值Tr。确定模块DET基于由所述第一估计模块ESTl所估计的所述周期Tr来确定滑动窗ロ的尺寸F，例如通过将快速近似值Tr乘以等于1+A的系数或増益，以便取得安全裕度。例如，A可以在0到0.5之间。第二模块用于基于表示运动的信号S1、S2以及由第一估计模块ESTl所传送的滑动窗ロ的尺寸F，借助滑动窗ロ来精确估计运动參数。图2示出了在重复形式的运动中所实时确定的运动參数是运动的周期的情况，其作为第二估计模块EST2的输出Tp来传送。在此情况下，本发明使得可以通常在进行中的运动结束前，通过快速估计运动周期Tr，来给用于精确估计的第二模块提供由确定模块DET所优化的滑动窗ロ的尺寸F，从而允许第二估计模块EST2在最早可能的时刻执行所述周期的精确估计Tp。这种精确估计要快速得多。在计算周期的情况下，第二估计模块EST2基于可以包括或可以不包括第一估计模块ESTl的输入信号的単一信号或若干信号，借助滑动窗ロ来执行相关性。图3示出了根据本发明ー个方面的“级联”实施例，其采用了图2的系统，并将其作为第一快速估计模块EST’ 1，用于估计滑动窗ロ的尺寸，以便精确地估计另ー运动參数，一旦精确周期Tp已经以精确的方式计算出来，该另ー运动參数就可以立即视为周期的快速估计Tr ’。例如，用于周期的快速估计的模块ESTl可以实现文献A. Marakov的“ Frequencytracking in nonstationary signals using Joint Order Statistics，，，Proceedingsof the International Symposium on Time-Frequency and Time-Scale Analysis 96, p44丄一444、M. Jabloun 的“Un nouvel outil d' analyse temps-frequence basesur unmoyennage arecalage de phase” [A new time-frequency analysis tool based onaveraging with phase registration]Gretsi2009、或者 S. Chandra Sekhar 的“Adaptivespectrogram vs.Adaptive pseudo Wigner-Ville distribution for instantaneousfrequency estimation”，Signal Processing 2003 中所描述的快速估计。
信号SI、S2或S3可以是相同的、不同的或者ー个可以包括另ー个。它们源自发送表示重复形式的运动的信号的传感器。例如，传感器组件可以包括至少ー个磁强计，和/或至少ー个加速度计，和/或陀螺仪，和/或压カ传感器，和/或心电图仪，和/或用于测量呼吸量的流量计，和/或用于测量呼吸频率的传感器。图4示出了将本发明应用于与重复形式的行走运动有关的视频游戏领域的示例。对于每条腿来说，传感器组件包括三轴加速度计和三轴磁强计(X、Y和Z)。每个模态都是三维信号，在这个实例中总共有12个信号。以规则的间隔对这些信号进行采样，并且注明所接收的每个信号的日期，以便能使数据同歩。这种配置响应于传感器的具体定位，例如，在脚的ー侧上，以便根据运动来确定传感器的一个主轴的方向，但可以想到应用处理来执行坐标系(U，v，w)的变化，以便将传感器定位在同一坐标系中。如图5中所示，坐标系的这种变化还可以查明运动的主方向或主平面。以不同的方式表述，通过使用分解为减小的特征值Xu、Xv和Xw来执行第一正交坐标系(X，Y，Z)中的信号的坐标系的变化，从而在第二正交坐标系(U，V，W)中表达第一正交坐标系(X，Y，Z)，第二正交坐标系(U，V，W)的轴U或者轴U和V分别对应于所述运动的主轴或主平面。信号必须包含关于所执行的运动的信息的最大值，有必要以相对于运动最优的方式来确定从其提取信号的传感器的轴的方向。或者以最优的方式定位传感器，例如使得传感器的X轴以最佳信噪比测量包括最多信息的信号的分量，或者可以执行坐标系的变化。为了执行从基准(X，Y，Z)至(U，V，W)的这种坐标系的变化，使用了特征值分解。原理在于确定系数Xu、入v和Xw，以使得\a>K>K。因此，可以将传感器的基准描述为形成正交坐标系的各个轴(U，V，W)的组合。分解的ー个特性可以定义这个新的坐标系，以使得u轴是运动的主轴。例如，对于给定的脚来说，必须在窗ロ之上考虑例如由加速度计A产生的3个传感器信号[Ax, Ay, Az]。
此后必须计算相关矩阵C
c )
权利要求
1.一种用于实时确定重复形式的运动的參数(PM，Tp)的系统，特征在于其包括 -第一模块(EST1)，其用于基于表示所述运动的代表性信号(SI，S2)，在当前运动结束前，估计所述重复形式的运动的周期的近似值(I；)； -用于基于由所述第一估计模块(ESTl)所估计的所述周期(I；)来确定滑动窗ロ的尺寸(F)的模块(DET)； -第二模块(EST2),其用于基于表不所述运动的代表性信号(SI, S2)和由所述第一估计模块(ESTl)所传送的所述滑动窗ロ的尺寸(F)，借助滑动窗ロ来精确估计所述运动參数。
2.根据权利要求I所述的系统，其中，所述运动參数(PM)是所述重复形式的运动的周期(Tp)。
3.根据权利要求2所述的系统，其中，所述第二估计模块(EST2)包括基于相关性的计算模块。
4.根据权利要求2或3所述的系统，其中，用于估计不同于所述周期(Tp)的所述重复形式的运动的另ー运动參数(PM)的所述第一模块(EST1’ )包括用于精确估计所述周期的所述第二模块(EST2)。
5.根据前述权利要求中的任一项所述的系统，其中，所述确定模块(DET，DET’)包括安全倍増。
6.根据前述权利要求中的任一项所述的系统，包括通信接ロ，其用于对所述运动的进展进行实时通信。
7.根据权利要求6所述的系统，其中，所述通信接ロ包括视听接ロ。
8.根据前述权利要求中的任一项所述的系统，还包括传感器组件，其适合于固定至执行所述重复形式的运动的元件，以便传送所述信号(SI，S2, S3, S)。
9.根据权利要求8所述的系统，其中，所述传感器组件包括至少ー个磁强计、和/或至少ー个加速度计、和/或陀螺仪、和/或压カ传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。
10.一种用于实时确定重复形式的运动的參数的方法，特征在于其包括以下步骤 -基于表示所述运动的代表性信号(S，SI, S2, S3)，在当前运动结束前，估计所述重复形式的运动的周期的近似值(I；)； -基于所述近似估计的周期(I；)来确定滑动窗ロ的尺寸(F)； -基于表示所述运动的代表性信号(SI)和所述滑动窗ロ的确定尺寸(F)，借助滑动窗ロ精确估计所述运动參数(PM)。
11.根据权利要求10所述的方法，其中，实时确定所述重复形式的运动的精确周期(Tp)0
12.根据权利要求11所述的方法，其中，对不同于所述周期(Tp)的所述重复形式的运动的另一运动參数的估计用于近似估计所述周期的步骤中，以及精确估计所述重复形式的运动的周期的步骤(Tp)中。
13.根据权利要求11或12所述的方法，其中，所述信号(SI，S2,S3, S)由固定至执行所述重复形式的运动的元件的传感器组件发送。
14.根据权利要求13所述的方法，其中，由所述传感器组件所发送的所述信号源自至少ー个磁强计、和/或至少ー个加速度计、和/或陀螺仪、和/或压カ传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。
15.根据权利要求13或14所述的方法，其中，通过使用向减小的特征值入u、入和Aw的分解，来执行对由具备第一正交坐标系[X，Y，Z]的所述传感器组件所发送的所述信号的坐标系的改变，以在第二正交坐标系[U，V，W]中表示所述第一正交坐标系[X，Y，Z]，所述第ニ正交坐标系的轴U或轴U和V分别对应于所述运动的主轴或主平面。
16.根据权利要求11至15中的任一项所述的方法，其中，所述重复形式的运动的所述精确周期(Tp)的所述实时确定检测所述滑动窗ロ之上的局部最大值和全局最大值，并选择对应于所述精确周期(Tp)的、最早出现的且其相对于所述全局最大值的偏差小于阈值的最大值，其中所述局部最大值和全局最大值是基本持续时间的倍数。
全文摘要
本发明涉及一种用于实时确定重复形式的运动的参数(PM,Tp)的系统，包括-第一模块(EST1)，其用于基于表示所述运动的代表性信号(S1,S2)，在当前运动结束前，估计所述重复形式的运动的周期的近似值(Tr)；-用于基于由所述第一估计模块(EST1)所估计的所述周期(Tr)来确定滑动窗口的尺寸(F)的模块(DET)；-第二模块(EST2)，其用于基于表示所述运动的代表性信号(S1,S2)和由所述第一估计模块(EST1)所传送的所述滑动窗口的尺寸(F)，借助滑动窗口来精确估计所述运动参数。
文档编号G06K9/00GK102792315SQ201180009194
公开日2012年11月21日 申请日期2011年2月10日 优先权日2010年2月10日
发明者A·拉吕, F·叙阿尔 申请人:原子能和辅助替代能源委员会, 莫韦股份公司