用于追踪正在执行锻炼的用户的手部和/或腕部旋转的方法和设备与流程

用于追踪正在执行锻炼的用户的手部和/或腕部旋转的方法和设备发明领域本发明涉及手部和/或腕部旋转追踪，并且特别是涉及用于追踪正在执行锻炼的用户的手部和/或腕部旋转的方法和设备。

背景技术：
一种基于单个摄像机和标识器的中风康复系统是新兴市场的高性价比解决方案。通过电视机，中风后的患者可以根据屏幕上的由医生/临床医学家规定的指导来自己进行康复锻炼。WO2008/099301A1公开了一种用于引导和监管身体锻炼的反馈装置。尽管所述反馈装置利用了戴在身上的传感器或标识器以及摄像机系统来检测人员的身体姿势和/或身体运动，但所述反馈装置只能检测到整体的身体姿势，而不能在(例如)手部和/或腕部的旋转锻炼中准确地检测角度变化。特别地，在所有康复锻炼中，与手部和/或腕部相关的旋转运动是中风后患者的重要锻炼。在具有任意形状(如椭圆形球或立方体)的戴在手上的标识器的情形中，基于单个摄像机的系统难以追踪3个自由度的手部旋转。在多数情况下，为了完成此任务，必须在手部使用另外的标识器或其它模式(如加速计)来帮助追踪旋转。

技术实现要素：
为了简化系统实施并减少用于手部和/或腕部旋转追踪的标识器的数量，本发明的发明人仔细研究了与所有类型的手部/腕部旋转有关的锻炼，并且发现这些锻炼可以被分类成两种类别：即，与摄像机获取的标识器图像的面积改变无关的第一类(例如，手部/腕部旋转以及前臂旋前和旋后)；和与摄像机获取的标识器图像的面积改变有关的第二类(例如，腕部背屈和掌屈)。另外，本发明人认识到，对于属于第一类的锻炼来说，手部和/或腕部旋转追踪可由线性拟合算法来实施，而对于属于第二类的锻炼来说，手部/腕部旋转追踪可由面积角度映射算法实施。然而，并非所有的任意形状的标识器都可以用于这两种算法。换句话说，所述两种算法应当结合被特别设计的戴在手上的标识器来使用，以使这两种算法同时可行。用这种方法，戴在手上的单个标识器足以用于手部和/或腕部旋转追踪，使得可简化系统的实施并可节省标识器或其它加速计的成本。如上文提及，本发明的发明人已发现，戴在手上的标识器的形状不能是任意的，尤其是对于线性拟合算法来说。例如，如果标识器在摄像机上的投影是圆形形状或方形形状，则由摄像机获取的图像不能被线性拟合成线，因此由标识器运动代表的手部/腕部旋转不能被线性拟合算法识别。因此，根据上文，本发明人已发现，为了在单个标识器的情况下使手部和/或腕部旋转追踪同时适合用于面积角度映射算法和线性拟合算法，标识器在摄像机上的投影应当是类似矩形的形状，且优选地具有细长的矩形形状以便适合用于线性拟合。换句话说，标识器的投影不应当是圆形形状或方形形状等。特别地，根据本发明的一个方面，提供一种追踪正在执行锻炼的用户的手部和/或腕部旋转的方法，其中用户在他/她的手部佩戴有标识器，所述方法包括以下步骤：-当手部分别处于第一姿势和第二姿势时通过摄像机获取所述标识器的第一图像和第二图像；-基于所述第一图像和第二图像以及用户正在执行的锻炼的类型，根据从第一姿势到第二姿势的改变导出手部和/或腕部的角度变化；以及-输出所述手部和/或腕部的角度变化，其中所述标识器近似于矩形块，所述标识器具有用于容纳用户的手掌的开口，并且标识器的沿着垂直于手掌的方向的边大致比另外两边短。由于标识器的沿着垂直于手掌的方向的边大致比另外两边短，因此其在摄影机上的投影是矩形形状的且可被线性拟合成线。因此，具有上述形状的戴在手上的标识器适合用于线性拟合算法。因此，通过本发明的方法，戴在手上的单个标识器足以用于手部和/或腕部旋转追踪，使得可简化系统实施并且可节省标识器或其它加速计的成本。根据本发明的实施例，当用户正在执行的锻炼类型与前臂旋后和旋前有关并且第一图像和第二图像均为细长的时，导出步骤包括以下子步骤：-将第一图像和第二图像分别拟合成第一线和第二线；以及-计算第一线和第二线之间的角度作为手部和/或腕部的角度变化。用这种方法，如上文提及，可以通过利用线性拟合算法结合戴在手上的简单标识器来容易地执行此类锻炼的手部和/或腕部旋转追踪。另外，根据本发明的实施例，当用户正在执行的锻炼类型与腕部背屈和掌屈有关时，导出步骤包括以下子步骤：-分别计算第一图像和第二图像的第一面积和第二面积；-通过查找预定义表将第一面积映射到第一角度，所述第一角度指示当标识器处于第一姿势时所述标识器所位于的平面相对于基准平面的角度；-通过查找预定义表将第二面积映射到第二角度，所述第二角度指示当标识器处于第二姿势时所述标识器所位于的平面相对于基准平面的角度；以及-计算第一角度和第二角度之间的角度差作为手部和/或腕部的角度变化。用这种方法，如上文提及，可以通过利用面积映射算法结合戴在手上的简单标识器来容易地执行此类锻炼的手部和/或腕部旋转追踪。关于如何建立预定义表，根据本发明的优选实施例，为了区分具有相同面积但对应于不同姿势的两个图像(例如，两个图像具有相同面积但分别是在腕部屈曲和伸展期间获取的)，一种选项是将其中获取的标识器的图像的面积为最小值时的标识器平面视为基准平面，并参考标识器的中心来区分对应于相同面积的所获取图像的不同姿势的符号。根据本发明的另一方面，提供一种用于追踪正执行锻炼的用户的手部和/或腕部旋转的设备，其中用户在他/她的手部佩戴有标识器，所述设备包括：-摄像机，所述摄像机被配置成当手部分别处于第一姿势和第二姿势时获取标识器的第一图像和第二图像；-处理器，所述处理器被配置成基于所述第一图像和第二图像以及用户正在执行的锻炼类型，根据从第一姿势到第二姿势的改变导出手部和/或腕部的角度变化；以及-界面，所述界面被配置成输出手部和/或腕部的角度变化，其中所述标识器近似于矩形块，所述标识器具有用于容纳用户的手掌的开口，并且标识器的沿着垂直于手掌的方向的边大致比另外两边短。如上文提及，由于具有上述形状的戴在手上的标识器适合用于线性拟合算法，因此，通过利用本发明的设备，戴在手上的单个标识器足以用于手部和/或腕部旋转追踪，使得可简化系统实施并且可节省标识器或其它加速计的成本。根据本发明的另一个实施例，所述处理器还被配置成基于角度变化和锻炼的设置目标来产生指令信息，并且所述界面还被配置成通过视频和/或音频将所述指令信息提供给用户。用这种方法，所述设备可提供以可理解的方式示出或提供给用户的实时反馈，所述实时反馈基本上是检测结果的显示或者是语音提示。因此，改善了用户的体验。根据本发明的实施例，标识器具有三个边a、b和c，当用户将他/她的手掌放入开口中时，所述三个边分别对应于手掌的厚度、长度和宽度。在优选的实施例中，a、b和c的尺寸是：a＝55mm～75mm，b＝195mm～220mm，c＝155mm～170mm，以便贴合人手的形状，使得标识器对用户来说更为舒适和更为方便。关于标识器的类型和将在本发明中使用的摄像机，反向反射性标识器和红外线摄像机的组合可为优选的。使用反向反射性标识器的优点是，可实现与非反射性区域相比极高的对比度，因此对于图像分割来说是有利的。通过将标识器放在患者身体某些部位处(如上肢关节)，可追踪臂部运动。然而，本发明的实施并不限于“反向反射性标识器和红外线摄像机”的组合，而是可用于其它基于“标识器+摄像机”的配置中。例如，标识器未必是反向反射性标识器，而是可仅为红色或可与标识器的周围环境区分的任何其它颜色的任意标识器。在这种情况下，如果摄像机中使用的算法可通过色彩辨别来分割图像元素，则摄像机可为任意摄像机。换句话说，可利用其它类型的标识器和摄像机，只要摄像机获取的标识器图像可与周围事物的图像区分开即可。根据结合附图做出的说明，本发明的其它目的和优点将变得更显而易见，且参考所述说明，将易于理解本发明的其它目的和优点。附图说明结合实施例并参考附图，将在下文中更详细地描述和解释本发明，图中：图1a-1c分别示出了戴在手上的标识器的俯视图、前视图和侧视图；图2示出了戴在手上的标识器的透视图；图3示出了根据本发明实施例的戴在手上的标识器的几何形状；图4是示出在前臂旋前和旋后期间对手部初始姿势的定义的示意图；图5是示出了通过利用线性拟合算法获得的手部和/或腕部的角度变化的示意图；图6是示出了在腕部屈曲和伸展期间戴在手上的标识器在前视图中的面积改变的示意图；图7是根据本发明的实施例追踪正在执行锻炼的用户的手部和/或腕部旋转的方法的流程图；图8是根据本发明的实施例用于追踪正在执行锻炼的用户的手部和/或腕部旋转的设备的方框图；以及图9示出了角度变化在显示器上的实时反馈中的呈现。附图中的相同元件符号指示相似或对应的特征和/或功能。具体实施方式下文将参照附图更详细地描述本发明的实施例。戴在手上的标识器不应当仅适合于由中风后患者佩戴，而是应当也在技术上支持三个自由度的旋转追踪。中风患者难以佩戴具有单独护套设计的手套，因此，基本形状应当被设计成无指手套。图1a-1c分别示出了戴在手上的标识器的俯视图、前视图和侧视图。反向反射性材料被涂敷在手套(即，戴在手上的标识器)外侧以反射红外光。图2另外示出了所述戴在手上的标识器的透视图。如根据图2可见，手套具有翻转式设计，尤其有助于肢体一侧具有功能障碍的用户更方便地戴上手套。图3示出了根据本发明实施例的戴在手上的标识器的几何形状。如根据图3可见，标识器的形状是大致立方体的。所述标识器具有三个边a、b和c，当用户将他/她的手掌放入开口中时，所述三个边分别对应于手掌的厚度、长度和宽度。根据本发明，a、b和c中的至少一个与另外两个不同，使得组成所述立方体的六个侧表面中的至少一对侧表面是矩形的，并且能够被线性拟合成线。在图3所示的实施例中，所述标识器近似于矩形块，所述标识器具有用于容纳用户手掌的开口，并且标识器的沿着垂直于手掌的方向的边大致比另外两边短。由于标识器的沿着垂直于手掌的方向的边大致比另外两边短，因此其在摄影机上的投影是矩形形状的且可被线性拟合成线。因此，具有上文提及形状的戴在手上的标识器适合用于线性拟合算法。根据本发明的实施例，为了使标识器适合于人手的形状，优选地使b>c>a。另外，为了改善用户的穿着性能，a优选地被选择为介于55mm～75mm的范围内，b优选地被选择为介于195mm～220mm的范围内，且c优选地被选择为介于155mm～170mm的范围内。另外优选地是，根据用户的性别来选择这些参数，以便考虑到男性或女性用户的手形。例如，对于成人男性用户来说，a＝60mm～75mm，b＝205mm～220mm，c＝160mm～170mm；而对于成年女性用户来说，a＝55mm～65mm，b＝195mm～210mm，和c＝155mm～165mm。在本发明的优选实施例中，a可被选择为63mm，b可被选择为210mm，且c可被选择为165mm。如上文提及，本发明的发明人已发现，这些与手部和/或腕部旋转有关的锻炼可以被分类成两个类别：与摄像机获取的标识器图像的面积改变无关的第一类(例如，手部/腕部旋转以及前臂旋前和旋后)；和与摄像机获取的标识器图像的面积改变有关的第二类(例如，腕部背屈和掌屈)。另外，本发明人已认识到，对于属于第一类的锻炼来说，手部和/或腕部旋转追踪可由线性拟合算法来实施，而对于属于第二类的锻炼来说，手部和/或腕部旋转追踪可由面积角度映射算法实施。在下文中，参照图4和5示出了手部和/或腕部旋转以及前臂旋前和旋后作为第一类锻炼的实例。图4是示出在前臂旋前和旋后期间对手部初始姿势的定义的示意图。如根据图4可见，可选择其中手部垂直于水平面的姿势(即，图4所示的手的0°位置)作为用于前臂旋前和旋后锻炼的手部初始姿势。图5是示出了通过利用线性拟合算法获得的手部和/或腕部的角度变化的示意图。根据线性拟合算法，当将标识器戴在手部并由摄像机成像时，第一图像和第二图像是细长的，且标识器图像的所有像素将被拟合成沿着图像长度方向的线。如果当手部处于第一姿势时所获取的标识器图像拟合成所述第一线，并且当手部处于第二姿势时所获取的标识器图像拟合成所述第二线，则第一线和第二线之间的角度可被计算作为手部和/或腕部的角度变化。请注意，虽然本发明实施例的第一姿势与初始姿势相同，但第一姿势也可偏离初始姿势。例如，所述第一姿势可并非图4所示的手部的0°位置，而可以是图4的左侧所示的手部的80°位置。在下文中，参照图6将腕部背屈和掌屈作为第二类锻炼的实例示出。图6是示出了在腕部背屈和掌屈期间戴在手上的标识器在前视图中的面积改变的示意图。如根据图6可见，标识器的面积由于不同的腕部屈曲和伸展角度而改变。戴在手上的标识器被设计成当用户在横向平面内执行腕部背屈和掌屈时具有某种形状。如果标识器图像的最小面积表示腕部的自然位置，并且将标识器图像的面积为最小值时标识器所在的平面视为基准平面(0°位置)，则标识器图像的最大面积将表示腕部的90°屈曲或伸展。为了区分腕部的伸展或屈曲，可追踪标识器的中心并将其与腕部处于自然位置时它的初始位置进行比较。在屈曲锻炼的情形中标识器的中心位置应当与在伸展锻炼的情形中的所述位置相反。就这一点而言，如本领域的技术人员可容易地理解，标识器的中心位置仅为区分伸展和屈曲的方式的一个实例，同时可采用在手套或其它基准物中的其它位置，只要其可用于此目的即可。图7是根据本发明的实施例追踪正在执行锻炼的用户的手部/腕部旋转的方法的流程图。如图7所示，提议了一种追踪正在执行锻炼的用户的手部/腕部旋转的方法70。特别地，此方法70是结合上述戴在手上的标识器使用的，并且包括获取步骤71、导出步骤72和输出步骤73。首先，通过摄像机获取当手部分别处于第一姿势和第二姿势时标识器的第一图像和第二图像(步骤71)。然后，基于所述第一图像和第二图像以及用户正在执行的锻炼类型，导出与从第一姿势到第二姿势的改变相关联的手部和/或腕部的角度变化(步骤72)。将要使用的算法是根据用户正在执行的锻炼类型来选择的。例如，当用户正在执行的锻炼类型与前臂旋后和旋前有关并且第一图像和第二图像是细长的时，通过使用线性拟合算法来导出手部和/或腕部的角度变化。另外，当用户正在执行的锻炼类型与腕部背屈和掌屈有关时，通过使用面积角度映射算法来导出手部和/或腕部的角度变化。根据本发明的实施例，当用户正在执行的锻炼类型与前臂旋后和旋前有关并且第一图像和第二图像均为细长的时，导出步骤包括以下子步骤：-将第一图像和第二图像分别拟合成第一线和第二线；以及-计算第一线和第二线之间的角度作为手部和/或腕部的角度变化。此处将省略线性拟合算法的细节，因为上文已结合图4-5描述了这一点。根据本发明的实施例，当用户正在执行的锻炼类型与腕部背屈和掌屈有关时，导出步骤包括以下子步骤：-分别计算第一图像和第二图像的第一面积和第二面积；-通过查找预定义表将第一面积映射到第一角度，所述第一角度指示当标识器处于第一姿势时所述标识器所位于的平面相对于基准平面的角度；-通过查找预定义表将第二面积映射到第二角度，所述第二角度指示当标识器处于第二姿势时所述标识器所位于的平面相对于基准平面的角度；和-计算第一角度和第二角度之间的角度差作为手部和/或腕部的角度变化。关于如何建立查找表，根据本发明的优选实施例，将其中标识器图像的面积为最小值处的标识器平面视为基准平面(0°位置)。因此，其中标识器图像的面积为最小值处的姿势可被选择作为锻炼的初始姿势。类似于线性拟合的情形，虽然本发明实施例中的第一姿势可与初始姿势相同，但所述第一姿势也可与初始姿势不同。换句话说，第一姿势可并非在0°位置处(图6中间所示的位置)，而是可为图6所示的任何其它位置。在另一个实施例中，为了区分两个姿势，其中在所述两个姿势处，标识器图像的面积相同，并且当手部处于所述两个姿势时标识器的平面位于基准平面的两个侧上，一种选项是参照标识器的中心来区分这两个姿势并将两个角度分配给所述两个姿势，其中所述两个角度的量值相同但符号不同。如上文提及，本领域的技术人员可容易地理解，参照标识器的中心位置仅为区分伸展和屈曲的方式的一个实例；可采用在标识器或其它基准物中的其它位置，只要其可用于此目的即可。一旦获得了手部和/或腕部的角度变化，便可将其输出给用户(步骤73)。虽然图7未示出，但在本发明的实施例中，本发明的方法还可以包括以下步骤：基于角度变化和锻炼的设置目标来产生指令信息；以及通过视频和/或音频将所述指令信息提供给用户。例如，可以实时方式显示手部和/或腕部的角度变化，使得用户正在执行的锻炼的与设置目标有关的角度变化显示为基准图。用这种方法，可将实时反馈以可理解的方式提供给用户，所述实时反馈基本上是检测结果的显示。因此，改善了用户的体验。通过参考图9，可更容易地理解上述观点。特别地，图9示出了角度变化在显示器上的实时反馈中的呈现。每个旋转锻炼的设置目标显示为扇形图，并且显示出动作线和旋转角度(图9a)。当用户旋转他/她的手部和/或腕部时，动作线与扇形的弧对齐移动。并且旋转角度相应地改变(图9b和9c)。有时，当屏幕上的旋转动作过于细微时，用户可发现难以在视觉上感知到所述旋转。在这种情况下，可提供放大功能，所述放大功能可放大与旋转相关的区域，使得用户可真正看到他锻炼的好坏程度以及他已旋转的角度。为了增加用户对旋转锻炼的理解以及在用户正在进行锻炼时激发其积极性，可在实时反馈旁边放置卡通人物介绍，告诉用户其应当如何准确地执行以及关于当前锻炼其应当观察的关键点。图8是根据本发明的实施例用于追踪正在执行锻炼的用户的手部和/或腕部旋转的设备的方框图。如根据图8可见，提议了一种用于追踪正在执行锻炼的用户的手部和/或腕部旋转的设备80。特别地，此设备80是结合上述的戴在手上的标识器来使用的，并且包括摄像机81、处理器82和界面83。图8中的摄像机81用于获取当手部分别处于第一姿势和第二姿势时标识器的第一图像和第二图像。在已获取图像之后，处理器82用于基于所述第一图像和第二图像以及用户正在执行的锻炼类型，根据从第一姿势到第二姿势的改变导出手部和/或腕部的角度变化。界面83被配置用于将手部和/或腕部的角度变化输出给用户。在本发明的实施例中，界面83可被配置用于在显示器上以视觉方式显示手部和/或腕部的角度变化，或者由扬声器输出所述角度变化。用这种方法，所述设备可提供以可理解的方式显示或提供给用户的实时反馈，所述实时反馈基本上是检测结果的显示或者是语音提示。因此，改善了用户的体验。请注意，所述实施例中的反向反射性标识器和红外线摄像机的描述仅出于示例性目的，且不应被视为限定意义。如上文提及，本发明的实施并不限于“反向反射性标识器和红外线摄像机”的组合，而是可用于其它基于“标识器+摄像机”的配置中。例如，标识器未必是反向反射性标识器，而是可仅为红色或可与手部的周围环境区分的任何其它颜色的任意标识器。在这种情况下，摄像机可为任意摄像机，只要摄像机获取的标识器图像可与周围事物的图像区分开即可。应该指出的是，上述实施例图解说明而非限定本发明，并且本领域技术人员将能够在不背离随附权利要求的范围的前提下设计出替代的实施例。在所述权利要求中，置于括号之间的任何元件符号不应视为限定所述权利要求。词语“包括”并不排除存在权利要求或说明书中未列出的元件或步骤。位于元件前面的词语“一”或“一个”并不排除存在多个此类元件。在列出几种单元的系统权利要求中，这些单元中的几种可由一种软件和/或硬件且相同的软件和/或硬件来实施。词语第一、第二和第三等的使用并不表示任何排序。这些词语应被理解为名称。