视觉和惯性运动跟踪的制作方法

本发明涉及跟踪人或动物的运动，例如用于通知动画或虚拟现实仿真或用于向控制系统提供输入。

已知用于测量受试人或动物的身体和四肢的运动的系统。这些系统的一种用途是收集关于受试体的典型移动的信息。该信息可用于帮助定义动画图形中角色的运动，例如在计算机游戏中。信息的另一用途是允许受试体的特定运动影响系统的操作。例如，受试体可以参加其中动画角色实时移动以模拟受试体的运动的游戏。受试体可以具有虚拟现实头戴式设备(headset)，并且在头戴式设备上示出的图像可以响应于受试体的运动而改变。系统检测到的受试体的运动也可以用于控制诸如工业机器人之类的物理移动设备物品。

一种检测受试体运动的方法是将加速度计附接到受试体身体的各种部位。例如，可以将加速度计附接在脚、膝盖、臀部、肩膀、肘部、手和头部处。加速度计检测它们所安装到的身体部位的加速度。所得到的数据给出各个身体部位的运动的指示，并且例如还通过对所有加速度计检测到的运动求平均来给出整个受试体身体的运动的指示。可以将加速度计附接到受试体穿戴的服装，例如弹性连体衣。另选地，可以使用包括陀螺仪、加速度计、磁力计和气压计中的一个、全部或其组合的惯性测量单元(imu)。

检测受试体运动的另一种方法是通过使用声发射器，该声发射器具有放置在受试体将要处于的环境周围的固定位置处的一组声接收器。该系统测量在多个接收器处接收到从对象发射的信号所花费的时间。然后，通过将从发射器到那些接收器中的每一个的飞行时间与接收器的位置相关联，可以在三个维度上估计受试体的位置。此类系统的一个示例是sarissa局部定位系统。以类似的方式，其他系统采用由待测的受试体携带的无线电发射器，该无线电发射器与位于环境周围或由其他受试体携带的多个无线电接收器协作。无线电接收器可以检测由发射器发送的无线电信号的一系列参数中的任一个(例如，到达时间、到达时间差、到达角度或信号强度)。使用这些参数，可以再次估计发射器相对于接收器的位置。

已知用于检测身体运动的其他系统。例如，microsoftkinect系统从受试体的图像中检测运动。

ep2962284公开了一种用于检测诸如电影摄影机之类的设备的运动的系统。例如，这可用于将模拟图形叠加在视频摄影机的输出上。

需要一种用于感测人和动物受试体的运动的改进的系统。

根据一个方面，提供了一种用于跟踪受试体在环境中的运动的运动跟踪系统，该系统包括：被适配为由所述受试体穿戴的成像设备；被适配为由所述受试体穿戴的加速度计；以及处理器，其被配置为接收由所述成像设备捕获的所述环境的一系列图像，并根据所述图像形成所述受试体在所述环境中的位置的估计，并且从所述加速度计接收加速度数据，并根据所述加速度数据和所估计的位置，形成携带所述加速度计的所述受试体的身体的部位的运动的估计。

所述处理器可以被配置为在所述图像中检测位于所述环境中的多个标记物中的每个标记物的表示，并且通过比较所述标记物的表示在不同时间捕获的图像中的位置来形成所述位置估计。

所述处理器可以被配置为将所述图像中的每个标记物的表示检测为所述图像的相对高亮度区域。

所述运动跟踪系统可以包括在所述环境中以不规则图案设置的多个标记物。所述标记物可以是逆向反光的。所述标记物可以基本相同。所述标记物可以位于所述环境的朝向下方的表面上。

所述成像设备可以固定至头戴物。所述成像设备可以以如下取向固定到所述头戴物：所述取向使得当穿戴者的头部以直立取向正常穿戴所述头戴物时，所述成像设备的视场的中心向上对准。所述头戴物可以是帽子。所述头戴物可以是头戴式设备，所述头戴式设备包括所述头戴式设备的穿戴者可得到的显示器。

处理器(可以是第二处理器)可以被配置为使所述显示器上的图像与由所述处理器检测到的所述受试体的头部的运动相对应地摇动和/或倾斜和/或转动。所述处理器(可以是第二处理器)可以被配置为使所述显示器上的图像与由所述处理器检测到的所述受试体的运动相对应地显示对穿过环境的运动进行模拟的所述环境的虚拟现实图像。

所述运动跟踪系统可以包括处理器，所述处理器被配置为使显示器在模拟环境中显示人物的图像，其中，所述人物在所述模拟环境中被显示的位置是根据借助于来自所述成像设备的图像确定的所述受试体在所述环境中的位置的所述估计来确定的，并且所述人物被显示的姿势取决于借助于来自所述加速度计的加速度数据确定的加速度数据。

根据另一方面，提供了一种用于跟踪受试体在环境中的运动的方法，该方法包括：借助于穿戴在所述受试体的身体的第一部位上的成像设备来感测所述环境的一系列图像；借助于穿戴在所述受试体的身体的第二部位上的加速度计来感测一系列加速度，所述第二身体部位相对于所述第一身体部位通过关节连接；根据所述图像形成所述受试体在所述环境中的位置的估计；根据所述加速度数据和所估计的位置形成所述第二身体部位的运动的估计。

可以通过以下方式形成对携带加速度计的受试体身体的部位的运动的估计：(i)对在第一时间与第二时间之间由加速度计测得的加速度进行积分，以形成加速度计在第二时间相对于其在第一时间的位置的位置偏移的估计，并形成该位置偏移估计、在第一时间借助于成像设备确定的位置与预定位置偏移之和；(ii)对在第一时间与第三时间之间由加速度计测得的加速度进行积分(这可以通过对第二时间与第三时间之间的加速度进行积分并将其与所述位置偏移估计相加来完成)以形成加速度计在第三时间相对于其在第一时间的位置的位置偏移的第二估计，并且形成该位置偏移估计、借助于成像设备在第一时间确定的位置与预定位置偏移之和；以及对这两个和进行比较。可以通过估计成像设备与加速度计之间在第一时间的位置偏移来形成预定位置偏移。之间；以及根据加速度数据和估计位置。

现在将参照附图通过示例的方式描述本发明。在附图中：

图1是用于感测受试体的运动的系统的示意图。

图2是运动捕获设备的简化图。

图3示出了标记物的示例。

图4示出了环境中的标记物的图案和由诸如摄像头的成像设备捕获的帧。

图5和图6示出了包含摄像头的头戴物的示例。

图1示出了受试体1。在该示例中，受试体是人，但是受试体可以是动物，诸如狗或马。受试体具有头部2、躯干3和四肢4。

受试体处于包含相对于环境而已是静态的多个对象和/或由所述多个对象所界定的环境中。在该示例中，对象是界定环境的墙壁5、地板6和天花板7以及位于环境中的支柱8。每个静态对象具有暴露于环境的表面。

受试体配备有用于感测受试体身体运动的运动捕获设备。将在下面更详细地描述运动捕获设备。来自运动捕获设备的数据被传递到控制器10。控制器10可以处理该信息以生成输出，诸如位置估计流、视频流(可选地与另一处理器15结合)或对机器人或另一项移动设备的运动要求。

运动捕获设备在图1中示意性地示出，并且在图2中以架构形式示出。在各幅图中，相同的附图标记物用于表示相同的部分。

加速度计20被附加至受试体身体上的各种位置。方便地，加速度计可以基本上附加在受试体的四肢的关节处。例如，一个或更多个加速度计可以被附加在受试体的臀部、膝盖、脚踝、肩膀、肘部或手腕中的任何一个或更多个附近。另选地或另外地，一个或更多个加速度计可以沿着四肢的半途进行附接。可以将一个或更多个加速度计附接到受试体的头部。当加速度计被附接到身体部位时，其优选地以被约束为与该身体部位一起移动的方式附接。这可以通过以下方式完成：将加速度计通过粘合剂、或通过胶带、或通过弹性带或卡扣式带子附接到该身体部位，或者将加速度计固定至诸如弹性和/或紧身连体衣等服装类物品。

加速度计可以是任何合适的类型。加速度计可以是陀螺仪和/或惯性力加速度计。每个加速度计优选地在三个正交轴上测量加速度。由加速度计收集的数据被传递到控制单元10。数据可以经由连接到控制单元的线缆传输，或者加速度计可以通过线缆21连接到受试体携带的无线通信设备22。设备22可以例如是智能电话。该设备然后可以将数据无线地转发到联接至控制器的终端23。来自加速度计的数据允许控制器估计受试体的四肢中的每一个的运动，优选地，每个四肢的部位的运动。可以存在附接到受试体的躯干的加速度计，控制器可以据此估计躯干的运动。控制器可以对从每个加速度计接收到的测得的加速度进行积分，以估计该加速度计所附接至的相应身体部位相对于初始参考位置的位置。然而，以这种方式大规模地估计位置是有问题的，因为所测得的加速度的不准确性会随着时间累积。而且，可能不知道每个身体部位甚至整个受试体身体相对于环境的初始位置。

在图1的系统中，将标记物30施加到环境中的对象5至8上。标记物优选具有易于与环境区分的外观。例如，标记物可以具有非常高的反射率(例如，逆向反光材料)或具有非常低的反射率(例如，具有无光泽的黑色表面涂层)，或者它们可以具有限定的颜色(例如，特定的绿色)。当标记物具有高反射率时，优选地，每个标记物是优先在与其主平面正交的方向上反射的材料，如可以是用专用逆向反光材料的情况那样。当标记物30具有高反射率时，更优选地，每个标记物是优先在与入射光源平行的方向上反射的材料。标记物优选是平坦的：例如，标记物可以是施加到对象5至8的表面上的层状贴纸的形式。这可以使得易于在环境中施加标记物。标记物优选地不带有可以借以将每个标记物与其他标记物区分开的表面标记(例如，数字或条形码)。这可以使得在环境中施加标记物的任务更容易。标记物可以全部具有相同的轮廓(例如，圆形或正方形)，或者它们可以具有不同的轮廓。标记物是按照不规则图案定位的。所述图案优选是不重复的。这可以通过在环境中随机定位标记物来实现。如下所述，将标记物按照不规则的图案定位可以使施加标记物的任务更容易，并且还有助于将在环境中定位受试体。标记物可以全部具有相同的尺寸，这可以帮助如将在下面进一步描述的确定它们的距离，或者标记物可以具有不同的尺寸。总而言之，在优选的布置中，通过按照不规则或随机的图案施加到环境上的相同的逆向反光贴纸来提供标记物。

图3示出了标记物的示例。标记物可以是圆形的(参见50)、正方形(参见51)或其他形状。标记物可以带有诸如条形码52之类的标记或者一个或更多个孔，这允许将任何一个标记物与其他标记物唯一地区分开，或者它们可以不带有这样的标记。标记可以按照不规则图案定位在标记物30上。一些标记物30可以定位在已知位置。方便地，标记物采取具有预定颜色和/或反射率的上表面53以及下黏性表面54的贴纸的形式，贴纸可以借助于下黏性表面54黏附到环境。

标记物可以位于环境的朝向上方、朝向下方或侧向的表面上。优选的是，标记物中的至少一些位于朝向下方的表面上，如天花板7。这种朝向下方的表面可以在受试体1上方。位于受试体上方的标记物的可见度通常比位于受试体的侧面或下方的标记物的可见性好，因为标记物不太可能被其他对象或人遮挡。

受试体携带成像设备，例如摄像头24。摄像头附接到受试体身体的部位。摄像头优选地以其被约束为与该身体部位一起移动的方式被附接。这可以通过以下方式完成：将加速度计通过粘合剂、或通过胶带、或通过弹性带或卡扣式带子附接到该身体部位，或者将加速度计固定至诸如弹性和/或紧身连体衣等服装类物品或诸如帽子、头巾、眼镜、头戴式设备或头带等头戴物。摄像头被配置为在大体从受试体身体离开的方向上捕获图像。由摄像头收集的图像(例如视频帧)被传递到控制单元10。数据可以经由连接到控制单元的线缆传输，或者摄像头可以通过线缆25连接到受试体携带的无线通信设备22。该设备然后可以将数据无线地转发到联接至控制器的终端23。可选地，摄像头可以与通信设备22集成在一起。当将摄像头固定至头戴物时，摄像头优选以这样的取向固定，即，当头部直立的受试体以正常方式穿戴头戴物时，摄像头将向上对准。

摄像头和标记物使控制器能够估计摄像头在环境中的位置。现在将参照图4描述实现该目的的方式。

摄像头24捕获一系列帧。在摄像头捕获帧时所指向的方向取决于当时受试体的身体如何定位，特别是取决于摄像头24所附接到的身体部位的位置和取向。图4示出了不规则图案的标记物30以及一组轮廓线31、32、33、34，所述一组轮廓线31、32、33、34指示摄像头24所捕获的帧的边界。控制器10包括处理器11和存储器12。存储器以非瞬态形式存储可由处理器执行以执行其功能的一组指令。处理器接收由摄像头捕获的连续帧。处理器分析每个帧以检测在帧中表示的标记物30的位置。可以通过标记物的特征亮度、形状、颜色或这些因素的组合来检测标记物。例如，在逆向反光标记物的情况下，标记物可以由图像中特别亮的像素组指示。

通过比较在连续帧中检测到的标记物的位置和布局，处理器可以(a)建立由标记物形成的图案或星座的映射图，并且(b)推断摄像头在帧之间的运动。为了说明，假设摄像头在第一时间捕获在31处指示的图像。处理器11在该图像中识别标记物30。标记物可以被认为位于从摄像头延伸并且与标记物的位置相交的向量上，如在图像31中所表示的。在这个阶段，标记物距摄像头的距离是未知的。在第二时间，摄像头捕获在32处指示的图像。一些标记物对于图像31和32是共有的。由于标记物是不规则地定位的，因此可以假设在每个帧中找到的标记物的相对位置在标记物的场中是唯一的。通过比较标记物的图像在连续帧中的位置，处理器可以建立实际标记物在三维空间中的位置的记录。例如，由于三个标记物30在帧31和32中以共同的空间关系出现，因此可以推断出摄像头已经在那些图像之间进行了平移而没有旋转或倾斜。标记物在帧33中的位置和标记物在视场与帧33重叠的其他帧31、32中的位置的比较允许处理器11推断摄像头在捕获帧33之前是绕其主轴旋转的。标记物在帧34中的位置和标记物在视场与帧34重叠的其他帧(例如32)中的位置的比较允许处理器11推断出摄像头在捕获帧33之前是倾斜的。类似地，可以通过在连续帧之间检测到的标记物的位置的缩放来检测摄像头朝向或离开标记物的场的运动。

如果摄像头具有相对宽的视场和/或如果标记物的场的密度使得可以预期在每一帧中捕获大量标记物，则可以提高该定位方法的准确性。这使得不太可能存在由于多个标记物意外地具有相似的位置关系并因此在图像之间被混淆所导致的位置模糊。这还减少了可能看起来与标记物类似(例如灯光)并且可能移动的其他对象的影响。在求解摄像头的位置时，处理器11搜索对所收集的数据的最佳拟合，但是该拟合可能不是完美的：例如，它可能不能对被错误地识别为标记物之一的移动灯光进行拟合。

标记物在图像中的位置表示这些标记物相对于摄像头的方向，但不一定表示它们距摄像头的距离。处理器11可根据标记物出现在图像中的尺寸来推断到标记物的距离。另选地或另外，可以根据标记物在帧之间的成像位置的变化来推断到标记物的距离。处理器11求解这样的多变量问题，其中，在连续帧中从摄像头到标记物的相对方向是已知的。处理器确定标记物的映射图，该映射图提供对在连续帧中所收集的、关于标记物相对于摄像头的方向的信息的最佳拟合。形成映射图后，处理器通过识别位置和取向(从该位置和取向，映射的标记物的视图被预期与在来自摄像头的最新图像中识别的标记物最匹配)，参考该映射图来估计摄像头的位置。如果可以更有把握地知道与在第一帧中的一位置处表示的标记物相同的标记物也被表示在第二帧中的一位置处，则该问题可以被简化。这种关系可以通过以下中的一者或二者来实现：(i)捕获帧的速率足够高，以使一个或更多个标记物通常会出现在连续的帧中，因此可以由处理器进行跟踪；以及(ii)处理器在所成像的标记物中搜索共同空间图案，该共同空间图案指示同一组标记物已经在不同的帧中被成像。

利用标记物的位置对处理器11进行预编程将是可能的，但是已经发现，对于具有适当密度的标记物的星座，这不是必要的，因为处理器可以令人满意地学习它们的位置。标记物30的经预编程的位置可以是由已经学习了标记物30的位置的另一处理器11先验地创建的映射图的结果。

可能的是，标记物设有独特的标记物，以帮助处理器将不同标记物的图像彼此区分开。那些标记物可以例如是数字或条形码，或者不同标记物的形状或颜色可以不同，使得它们可以被区分开。

使用上述处理，处理器11检测并跟踪摄像头的运动。摄像头相对于受试体身体的第一部位固定。因此，处理器可以跟踪身体的该部位的运动。可以从加速度计20估计受试体身体的其他部位的位置。在优选的布置中，处理器合成受试体身体的第一部位的估计位置(如借助于摄像头24确定的)以及受试体身体的其他部位的估计运动(如借助于加速度计20确定的)以改善其对那些其他身体部位的位置的估计。例如，代替简单地求由加速度计检测到的运动的积分以建立它们随时间变化的位置，可以根据借助于摄像头确定的位置来重新确定那些其他身体部位的被确定的位置的基准。这可以通过多种方式来完成。在一个实施方式中，可以假设身体的部位的按时间平均的位置与摄像头的位置具有预定的恒定偏移。该身体部位的估计位置可以通过将该身体部位上的加速度计确定的位置估计值与确定的偏移相加来细化，以使该位置估计值更接近相对于当前估计的摄像头位置的预定恒定偏移。可以根据正在考虑身体的哪个部位以及可选地受试体的形态来确定预定恒定偏移。在另一示例中，来自摄像头的位置估计值被用于估计受试体及其身体部位相对于环境的位置。这可以帮助解决这样的问题：加速度计单独地仅提供相对于初始位置的位置信息，该初始位置仅从加速度计可能是无法得知的。在这种布置中，摄像头提供受试体在环境中的位置的估计。在一种方便的布置中，对受试体四肢的相对位置进行初始估计。这可以通过受试体在正常使用之前的校准时间以预定方式摆姿势来完成。预定姿势可以例如是直立站立。如果在采用基准姿势时已知摄像头相对于环境的位置，则可以通过针对身体部位添加以下项来使由加速度计确定的受试体身体部位的后续运动与环境相关联：(i)相对于该基准姿势的位置，该位置是通过每个加速度计在基准姿势之后感测到的加速度的积分确定的；(ii)该身体部位与摄像头的预定空间偏移，该预定空间偏移取决于基准姿势的形式；以及(iii)基准姿势时摄像头在环境中的位置。在另一替代方案中，代替受试体在校准时采用基准姿势，可以由处理器11根据当时由环境中指向受试体的摄像头捕获的受试体的图像来估计在校准时受试体的姿势。

处理器11可以经由链路13将所确定的受试体身体及其部位的位置发送给另一设备14(参见图2)。该设备可以根据所确定的位置使用该数据来控制诸如显示器的设备或诸如机器人的物理可移动的设备。在一个示例中，设备14根据所确定的位置来控制视频显示器。这可以通过几种方式来完成。在第一布置中，控制设备14控制显示器以示出受试体1的模拟。该模拟例如可以是人或动物(所述人或动物的运动与检测到的受试体1的运动相对应)的表示。在另一布置中，控制设备14控制诸如头戴式设备17的设备上的显示器18，该头戴式设备假定由受试体1携带。在这种布置中，控制设备14控制头戴式设备显示与受试体1的运动相对应地改变的图像，以便向受试体提供虚拟现实体验。因此，头戴式设备17可以是响应于由控制器10确定的估计位置而被控制的虚拟现实头戴式设备。控制设备14可以包括处理器15和存储器16，该存储器以非瞬时方式存储可由处理器执行以执行其功能的指令。

单元10、14和22中的一个或更多个可以集成在一起。另选地，它们可以彼此远离。

为了使摄像头24具有标记物30的星座的最可靠视图，优选的是，摄像头被定位成使得对于受试体1的正常位置，摄像头向上对准。为此，可以将摄像头方便地安装在头戴物上。图5示出了携带摄像头24的帽子40。图6示出了摄像头24可以被附接到虚拟现实头戴式设备17。可以借助于带子41将虚拟现实头戴式设备附接在受试体的头部周围来穿戴虚拟现实头戴式设备。

灯26可以位于摄像头24附近。优选地，灯被配置为大致沿摄像头所指向的方向发光，以照亮摄像头的视场。灯可以被固定到摄像头。当摄像头24被固定到诸如头戴物的衣物时，灯可以被固定至同一件衣物。灯可以发射可见或不可见(例如紫外或红外)光。灯所发射的光优选地具有摄像头可以检测到的波长。当灯工作时，它可以照亮摄像头的视场。这可以使控制器10更容易区分标记物。例如，当标记物是逆向反光材料时，由于它们反射来自灯的光，所以它们可能显示为由摄像头捕获的图像的特别明亮的区域。

由受试体携带的设备可以方便地由也由受试体携带的电池27供电。

对诸如加速度计之一之类的对象的位置进行校准的另一种方法是使该对象与位置已知的点接触。对象与已知位置接触的时间可以用信号通知给控制器10，并且随后的加速度可以被求积分以提供相对于该已知位置的位置偏移。已知位置可以是固定的，也可以是可移动探针(例如，手持式探针)上的点，其位置可以通过诸如激光测距、测量在探针与底座之间延伸的链节上的接头的角度等手段来感测，或借助于摄像头(例如24)来感测。另选地，该单元可用于连续校准这种对象和传感器的位置。

申请人在此单独公开了本文所述的每个单独的特征以及两个或更多个这样的特征的任意组合，其程度是，根据本领域技术人员的公知常识，这些特征或组合整体上可以基于本说明书来执行，不论这些特征或特征的组合是否解决了本文公开的任何问题，并且不限于权利要求的范围。申请人指出，本发明的方面可以由任何这样的单个特征或特征的组合组成。根据前面的描述，对于本领域技术人员显而易见的是，可以在本发明的范围内进行各种修改。