用于双模式传感器系统的系统和方法与流程

技术领域

本发明涉及用于产生区域内的实体的图像的系统和方法。具体地，本发明提供用于使用与例如娱乐设备组合的双模式传感器(例如，超声波和电磁辐射)的系统和方法。

背景技术：

系统可利用双模式传感器产生图像数据。该系统可以使用第一模式以产生实体的粗质图像数据。然后，该系统可以使用该粗质图像数据来识别实体的感兴趣部分。该系统可以使用第二模式以产生所识别的感兴趣部分的精细图像数据。

例如，在各种实施方式中，系统可以包括一个或多个超声波发射器和/或接收器来实现第一模式。在一些实施方式中，发射器和/或接收器可以体现为一个或多个收发器。超声波发射器可以被配置成发射超声波到由一个或多个表面界定的区域中。超声波接收器可以接收来自区域内的一个或多个实体的直接超声波反射。如下面详细描述的，系统可以使用超声波发射器和/或接收器，以产生实体的粗质图像数据，并基于所述粗质图像数据识别实体的感兴趣部分。

例如，在某些实施方式中，系统还可以被配置成经由电磁接收器接收来自区域内的实体的电磁反射。该系统可以使用所接收的电磁反射产生所识别的感兴趣部分的精细图像数据。例如，在经由粗质图像数据识别感兴趣部分之后，该系统可以接收来自所识别的感兴趣部分的电磁辐射，并产生具有比在粗质图像数据中可获得的分辨率更高的分辨率的图像数据(本文称作精细图像数据)。

在一些实施方式中，双模式可被用于解决至少一种模糊性。例如，从第一模式接收的图像数据可以包括诸如重影之类的模糊。在这样的例子中，第二模式可以由系统利用以解决由第一模式引入的模糊，例如，在使用第一模式产生的图像数据中的重影。作为具体的例子，所接收的电磁辐射可以由系统利用以校正由所接收的超声波反射引入的重影。

上面所讨论的两种模式(即，电磁成像和超声波)中的任一种可以由系统利用以产生精细图像数据或粗质图像数据。例如，第一实施方式可利用超声波来产生粗质图像数据和利用电磁成像产生精细图像数据，而第二实施方式可利用电磁成像产生粗质图像数据和利用超声波产生精细图像数据。

前面的概述仅是说明性的并不旨在以任何方式进行限制。除了以上描述的说明性方面、实施方式和特征，参照附图和下面的详细描述还展示了进一步的方面、实施方式和特征。

附图说明

图1A示出了发射超声波朝向有界区域内的三个人的定位系统。

图1B示出了由定位系统接收的直接超声波反射和因此由定位系统产生的“重影”。

图2A示出了反弹超声波离开墙壁然后朝向所述三个人的定位系统。

图2B示出了反弹超声波离开墙壁然后朝向所述三个人的定位系统的侧视图。

图3A示出了被配置成通过所述定位系统促进反弹的超声波的发射、反射和/或接收的多个超声波反射器。

图3B示出了被配置成通过所述定位系统促进反弹的超声波的发射、反射和/或接收的多个有源超声波反射器。

图4A示出了在第一位置上的被配置成相对于壁枢转的有源受控超声波反射器，它被安装到所述墙壁上以通过所述定位系统促进反弹的超声波的发射、反射和/或接收。

图4B示出了在第二位置上的有源受控的超声波反射器。

图5示出了根据一个实施方式的定位系统的框图。

图6示出了用于产生描述区域内的一个或多个实体的相对位置的位置数据的方法的流程图。

图7A示出了发射和接收来自静止实体的反射超声波的超声波系统。

图7B示出了发射第一频率的超声波和接收第二频率的来自移动远离超声波系统的实体的反射超声波的超声波系统。

图7C示出了发射第一频率的超声波和接收第二频率的来自朝向超声波系统移动的实体的反射超声波的超声波系统。

图7D示出了类似于图7A的发射和接收来自静止实体的反射超声波的超声波系统。

图7E示出了当实体移动远离超声波系统时来自所述实体的反射超声波的时序延迟。

图8示出了超声波在由移动远离超声波接收器的实体反射之前反弹离开反射器。

图9示出了结合超声波速度和/或加速度检测系统使用的电磁位置检测系统。

图10示出了从一个或多个辅助反射器反射和/或反弹的超声波。

图11示出了用于确定来自多个方向的速度和/或加速度信息的多个超声波系统。

图12示出了用于确定与移动实体相关联的速度和/或加速度信息的方法。

图13A示出了发射和接收反射离开有界区域内站立的人的超声波的双模式系统。

图13B示出了基于所接收的超声波反射产生实体的粗质图像数据的双模式系统。

图13C示出了基于从超声波反射产生的粗质图像数据识别所述实体上的若干感兴趣部分的双模式系统。

图14示出了利用电磁反射结合超声波以接收来自所识别的感兴趣部分的额外图像信息的双模式系统。

图15示出了产生人上的感兴趣部分的精细图像数据的双模式系统。

图16示出了使用超声波和电磁辐射产生图像的方法。

图17示出了使用超声波和电磁辐射产生图像的另一方法。

图18示出了使用超声波和电磁辐射解决图像中模糊性的方法。

具体实施方式

系统可以利用双模式传感器系统以产生图像数据。例如，系统可以利用两个成像模式以两种不同的分辨率对实体成像。也就是说，系统可以利用第一模式(例如，超声波或电磁辐射)，以在第一分辨率产生实体的图像数据。然后，该系统可利用另一模式在第二分辨率产生实体(不一定是整个实体)上感兴趣部分的图像数据，其中，第二分辨率高于第一分辨率。因此，双模式可以被用来使用第一模式产生整个实体的粗质(即，较低的分辨率)图像，确定实体上的感兴趣部分，然后使用第二模式产生感兴趣部分的精细(即，较高的分辨率)图像。

作为具体的例子，系统可经由第一超声波发射器发射超声波到区域中。超声波接收器可以从在区域内的实体上的多个位点接收发射的超声波的超声波反射。处理器可以基于所接收的超声波反射在第一分辨率产生实体的粗质图像数据。然后，该系统可基于粗质图像数据识别实体上的感兴趣部分。电磁辐射可以从实体上的所识别的感兴趣部分接收。可以基于所接收的电磁辐射在第二分辨率产生实体上的感兴趣部分的精细图像数据。第二分辨率可以高于第一分辨率。在一些实施方式中，第一分辨率可以高于第二分辨率。

在一些实施方式中，与实体上的感兴趣部分相关联的运动值(a kinematic value)可基于所接收的电磁辐射和所接收的超声波反射中的至少一种来确定。类似地，在一些实施方式中，娱乐设备的状态可以基于所确定的与实体上的感兴趣部分相关联的运动值来修改。

在一些实施方式中，上述的粗质图像数据可以基于所接收的电磁反射来产生，并且精细图像数据可以基于所接收的超声波反射来产生。在本文所述的多种实施方式中的任何一种中，所接收的电磁辐射可以通过系统、通过另一系统、通过辅助电磁辐射源来产生，和/或包括环境电磁辐射(例如光)。

在一些实施方式中，一种成像模式可以用于解决在使用另一种成像模式产生的图像数据中的模糊性(如重影)。例如，使用超声波成像技术产生的图像可具有重像式图像模糊，该重像式图像模糊可以使用电磁成像技术(或者甚至仅电磁位置/距离检测技术)来解决。

例如，系统可以包括一个或多个超声波发射器和/或接收器，以及一个或多个电磁发射器和/或接收器。这些不同的模式中的每个模式可以以不同的分辨率捕获图像数据。该系统可以以较低的分辨率产生不重要或不太重要的图像数据，而以较高的分辨率捕获重要的图像数据。在一些实施方式中，以较高的分辨率产生仅该图像的一部分可以允许系统能较快地并以较压缩的方式处理图像数据，同时仍然以高分辨率提供感兴趣部分。

在一些实施方式中，发射器和/或接收器可以体现为一个或多个收发器。超声波发射器和/或接收器可以通过系统与电磁接收器同时或在电磁接收器之前或之后按顺序进行操作。超声波发射器和接收器可以与电磁接收器组合使用以产生图像数据。

电磁和/或超声波的发射器、接收器和/或收发器中的一个或多个可以包括压电换能器，其可以是单个换能器系统的一部分或换能器阵列。在一些实施方式中，换能器可以包括超材料或由超材料制成。超声波换能器的平面副波长阵列可以结合本发明描述的实施方式使用，例如这些利用超材料的阵列的实施方式。

该双模式传感器系统可以被配置成利用不同的频谱。这样的系统上使用的超声波发射器可以被配置成发射超声波到由一个或多个表面界定的区域中。超声波可以是介于20kHz和250kHz之间。在一个实施方式中，超声波特别地介于35kHz和45kHz之间。还可以在这种系统中使用电磁发射器和/或接收器以发射和/或接收一定范围的电磁辐射频率。例如，系统可以被配置成使用电磁微波、太赫兹、红外线、可见光、和/或紫外线辐射。双模式传感器系统可以使用两种模式来产生更详细的图像数据和/或校正由模式中的一种引起的模糊性。

例如，该系统可以使用第一模式以产生实体的粗质图像数据，并且，以获得关于所识别的感兴趣部分的更详细的数据，该系统可以使用第二模式产生实体的识别部分的精细图像数据。例如，如果第一模式产生具有低分辨率的实体图像，则所述第二模式可以用于提供较高分辨率的实体上的兴趣部分。另一实施方式可包括引入模糊性到图像数据的第一模式。为了校正模糊，该系统可以使用不容易产生相同类型的模糊的第二模式。

例如，所述系统可以包括或一个或多个超声波发射器和/或接收器。该系统可以使用超声波接收器和/或发射器，以产生粗质图像数据。例如，超声波发射器可以被配置成发射超声波到区域中。超声波接收器可以接收来自该区域内的一个或多个实体的超声波反射。基于这些接收的超声波反射，该系统可以经由处理器产生一个或多个实体的粗质图像数据。

系统可使用粗质图像数据识别实体上的感兴趣部分。例如，该系统可以识别人的手、手指、手臂、腿脚、脚趾、躯干、颈部、头部、口、唇、和/或眼部。所识别的感兴趣部分可以基于娱乐装置的状态。一旦一个或多个感兴趣部分被确定，则该系统可以使用第二模式(例如，电磁辐射)，以收集有关感兴趣部分的进一步细节。

例如，所述系统还可以包括电磁接收器和/或发射器。该系统可以使用所接收的电磁反射产生所识别的感兴趣部分的精细图像数据。例如，在使用粗质图像数据识别所述感兴趣部分之后，该系统可以接收来自所识别的感兴趣部分的电磁辐射，并产生所识别的感兴趣部分的更高分辨率的图像。

在一些实施方式中，第二模式可以用于解决在第一模式中固有的或由第一模式的使用引起的至少一种模糊性。例如，使用第一模式产生的图像数据可包括模糊。例如，经由超声波产生的图像数据可以具有在图像数据中固有的重影。在这样的例子中，第二模式(例如，电磁辐射)可以由系统使用，以解决由所述第一模式引入的模糊。例如，所接收的电磁辐射可以由系统使用以去除在使用超声波反射所产生的图像数据中的重影图像。

上文所讨论的两种模式(即，电磁成像和超声波)中的任何一种可以由系统使用以产生精细图像数据或粗质图像数据。例如，第一实施方式可利用超声波来产生粗质图像数据以及利用电磁成像来产生精细图像数据，而第二实施方式可利用电磁成像来产生粗质图像数据以及利用超声波来产生精细图像数据。

可确定与实体或实体上的特定的感兴趣部分相关联的运动值。实体的运动值可以包括实体的位置、速度、和/或加速度。运动值可基于所接收的电磁辐射和/或所接收的超声波反射。

在一些实施方式中，直接超声波可以从实体的第一部分反射，并且反弹的超声波可以从实体的不同的第二部分反射。位置数据可以用所接收的超声波反射来确定。直接位置数据可以对应于实体的位置的第一方向分量，并且反弹位置数据可以对应于实体的位置的第二方向分量。同样，一个或多个直接超声波反射和/或反弹的超声波反射可以被用来确定速度和/或加速度。例如，速度和/或加速度的信息可以使用对应于反射实体的运动的多普勒偏移来确定。

在一些实施方式中，所接收的超声波反射(直接或反弹的)可被用于确定位置数据。在不同时间取样的位置数据可以用于确定和/或预测与实体相关联的当前和/或未来的速度和/或加速度的信息。在其他实施方式中，如本文所述的，速度和/或加速度的信息可以基于由实体反射的超声波中的所检测到的偏移来计算。例如，系统可以检测由实体反射的超声波相对于所发射的超声波的多普勒偏移。朝向更长的波长的偏移可以指示实体移动远离超声波接收器。朝向更短的波长的偏移可以指示实体朝向超声波接收器移动。所检测的偏移可以与频移、波长偏移、相移、时移反射、和/或其他超声波偏移相关联。

任何数量的直接和/或反弹的超声波反射可以从区域内的一个或多个实体获得，以获得一段时间内的速度和/或加速度的数据，和/或获得多个数据点的更准确的速度和/或加速度的数据。发射的超声波可以作为定向或非定向的超声波脉冲以调制的(频率、振幅、相位等)方式和/或其他形式连续地发射。超声波发射可以按照需求以规则的间隔和/或基于先前发射的超声波发射的接收而隔开。直接的超声波脉冲和反弹的超声波脉冲可以在同一时间发射，或任何一者可在另一者之前被发射。

反弹的超声波反射可以被定义为以任何顺序反射除了离开实体以外还离开至少一个表面的超声波反射。例如，反弹的超声波反射在由超声波接收器接收之前可以(以任何顺序)被反射离开任何数量的表面和/或实体。

映射或定位系统可以基于直接超声波反射和/或反弹的超声波反射产生与实体中的一个或多个相关联的位置数据。位置数据可以包括实体的质心、实体的二维映射、实体的图像、实体的假色表现、实体的信息表示(框、正方形、阴影等)、实体的三维映射、实体的一个或多个特征、和/或其它信息。

速度和/或加速度的数据可以相对于该区域的一个或多个表面、超声波速度/加速度系统、系统的接收器、和/或系统的发射器来限定。区域内的一个或多个实体可以包括机械、机器人、家具、家庭财产、一般人、游戏玩家、电子器件的控制人员、电子器件、装置和/或其它人或非人实体。

该实体可能包括人的特定部分，如手、手指、手臂、腿、脚、脚趾、躯干、颈部、头部、口部、唇、或眼部。在一些实施方式中，反弹的超声波发射可以被反射离开设置在房间内的超声波反射器。在一些实施方式中，超声波反射器可以被安装和/或以其他方式定位在所述区域内。在其他实施方式中，超声波反射器可以被保持、穿戴、和/或以其他方式在超声波定位系统的用户或操作者的位置中。超声波反射器可以修改反射的超声波的特性，从而有利于所接收的反弹的超声波反射的识别。

超声波反射器可以包括用于控制在区域内的超声波反弹的方向和/或以其他方式行进的方向的无源、有源和/或有源地移动/枢转的超声波反射器。例如，超声波反射器可以被配置成修改反弹超声波的频率、相位、和/或振幅中的一种或多种。经修改的特性可以有利于直接超声波反射和反弹的超声波反射的区分。在一些实施方式中，直接信号和反弹信号可以使用各自的波束的发射或接收方向的知识来区分。在一些实施方式中，直接信号和反弹信号可使用各自的波束的飞行时间的知识来区分。在一些实施方式中，反射光束(并因此其输送位置信息的定向特性)的方向可以通过所述反射面的方向和它的反射特性的知识来确定。例如，来自表面的超声波反射可以以镜面反射为主，从而允许能直接判定反弹的几何形状。

映射系统或定位系统还可以使用实体的来自所述一个或多个表面的反弹的超声波反射来产生速度和/或加速度的数据。应该理解的是，来自表面的反弹的超声波反射可以首先反弹离开表面然后反弹离开实体，或首先离开实体然后离开表面。

该系统然后可以通过组合直接速度和/或加速度的数据以及反弹的速度和/或加速度的数据来产生增强的速度和/或加速度的数据。增强的速度和/或加速度的数据可以是直接和反弹的速度和/或加速度的数据的拼接，或者是直接和反弹速度和/或加速度的数据的简单的或复杂的函数。

例如，在一个实施方式中，直接和反弹速度和/或加速度的数据可仅包括飞行时间信息，所述飞行时间信息基于空气声速，可针对每个波束转化为输送距离信息。在这样的实施方式中，直接速度和/或加速度的数据提供从收发机到上述实体的范围，即，剩下沿二维球面的速度和/或加速度未定义。沿此球面的每个潜在实体的位置导致(例如，假定镜面反射)针对来自一个表面(墙壁、天花板、地板)的反弹的波束的不同的飞行时间；这使实体的可能的速度和/或加速度的轨迹限制成沿球形表面的一维弧形，从而提高速度和/或加速度预测值。

该系统可通过分析来自第二表面的反弹数据进一步调节速度和/或加速度的数据。在当前的例子中，每个沿球面的潜在实体的位置(通过直接波束的飞行时间获得)限定用于超声波从第一表面反弹的第一飞行时间，以及用于超声波从第二表面反弹的第二飞行时间；两次飞行时间的知识决定实体的位置。显然，来自其它表面的飞行时间数据可以通过“过限定”问题来(例如，通过降低测量误差、漫反射的效果等的灵敏度)改善位置预测值。在其它实施方式中，直接和反弹速度和/或加速度的数据可以包括定向信息。

例如，针对直接超声波的定向信息可以识别实体(或它的特定部分)沿已知的射线定位，从而提供它的速度和/或加速度的两个分量。然后来自反弹超声波的信息可以提供足以识别实体的速度和/或加速度的第三分量(即，沿射线)的额外的加速度和/或速度的数据。该反弹超声波可以提供飞行时间信息；每个实体的沿射线的速度和/或加速度对应于不同的针对来自表面的反弹超声波的飞行时间，因此所测得的飞行时间标识实体的位置、速度和/或加速度。该反弹超声波可以提供(用于发射或接收的)方向信息；该反弹射线与直接射线的交点用于识别实体的位置、速度和/或加速度。

使用经由直接超声波反射或反弹的超声波反射获得的额外的速度和/或加速度的数据和/或其它速度和/或加速度的数据，例如经由其他装置/系统/方法(例如，激光检测、照相机等)获得的速度和/或加速度的数据，增强的速度和/或加速度的数据可以被进一步增强或增加。取决于它们从实体反射的时间，直接和反弹速度和/或加速度的数据可以在相同或不同的时间提供用于实体的速度和/或加速度的数据。增强的位置数据可以使用设计为组合对应于不同的时间或定向组件的速度和/或加速度的数据的动态模型(例如，卡尔曼滤波器)进行分析，将它们与实体的当前和/或未来的运动的预测值一起使用进行分析，以改善实体的当前和/或未来的运动的预测值。

在一些实施方式中，可以不使用直接超声波反射。而是，可以使用第一反弹的超声波反射和第二反弹的超声波反射以产生速度和/或加速度的数据。应理解，可以使用任何数量的直接超声波反射或反弹的超声波反射来识别在区域内的实体的位置、速度、加速度，和/或其他移动信息。在各种实施方式中，利用超声波反射收集的速度和/或加速度的数据可以与其它速度和/或加速度的数据(如红外线、通过人工输入提供的速度和/或加速度的数据，回声位置，声纳技术，激光，和/或类似物)进行组合。

在各种实施方式中，一个或多个本地、远程或分布式系统和/或系统组件可以经由超声波发射器发射超声波到区域中。接收到的超声波可以包括直接反射和反弹反射两者。来自直接反射和反弹反射两者的速度和/或加速度的数据可以被用于获得更准确和/或更快速地描述区域内的一个或多个实体的相对速度和/或加速度的数据的速度和/或加速度的数据。

实施方式可包括多种步骤，这些步骤可以体现在由计算机系统执行的机器可执行指令中。计算机系统包括一个或多个通用或专用计算机(或其它电子设备)。该计算机系统可以包括硬件组件，所述硬件组件包括用于执行所述步骤的特定逻辑，或者可以包括硬件、软件和/或固件的组合。

实施方式也可被提供为计算机程序产品，所述计算机程序产品包括具有其上存储有可用于对计算机系统或其它电子设备进行编程以执行本文描述的处理的指令的计算机可读介质。该计算机可读介质可以包括，但不限于：硬盘、软盘、光盘、CD-ROM、DVD-ROM、ROM、RAM、EPROM、EEPROM、磁卡或光卡、固态存储器设备、或其它类型的适合于存储电子指令的介质/计算机可读介质。

计算机系统和在计算机系统中的计算机可以经由网络连接。用于配置和/或用于如本文所述的用途的适当的网络包括一个或多个局域网、广域网、城域网和/或因特网或IP网络，如万维网、专用因特网、安全因特网、增值网络、虚拟专用网、外部网、内部网，或者甚至是通过介质的物理传输与其他机器进行通信的独立机器。特别地，适当的网络可以由两个或多个其它网络(包括使用不同的硬件和网络通信技术的网络)的部件形成或整体地形成。

一种适当的网络包括服务器和多个客户端；其它适当的网络可以包含服务器、客户端和/或对等网络节点的其他组合，并且给定的计算机系统可用作客户端和用作服务器两者。每个网络包括至少两个计算机或计算机系统，诸如服务器和/或客户端。计算机系统可包括工作站、膝上型计算机、可断开移动式计算机、服务器、大型机、集群、所谓的“网络计算机”或“瘦客户端”、平板电脑、智能电话、个人数字助理或其它手持式计算设备、“智能”消费电子设备或装置、医疗设备、或它们的组合。

网络可以包括通信或网络软件，如可从Novell、微软、Artisoft以及其他供应商获得的软件，并且可以通过双绞线电缆、同轴电缆、或光纤电缆、电话线、无线电波、卫星、微波继电器、调制的AC电源线、物理介质传递、和/或本领域技术人员公知的数据传输“线”，使用TCP/IP、SPX、IPX和其他协议来操作。该网络可以包括较小的网络和/或通过网关或类似的机制可连接到其它网络。

每个计算机系统至少包括处理器和存储器；计算机系统还可以包括各种输入设备和/或输出设备。该处理器可以包括通用设备，诸如或其他“现成的”微处理器。所述处理器可以包括专用处理设备，例如ASIC、SoC、SiP、FPGA、PAL、PLA、FPLA、PLD或其他定制或可编程设备。所述存储器可以包括静态RAM、动态RAM、闪存、一个或多个触发器、ROM、CD-ROM、磁盘、磁带、磁计算机存储介质、光学计算机存储介质，或其他计算机存储介质。输入设备可以包括键盘、鼠标、触摸屏、光笔、平板电脑、麦克风、传感器、或具有附随固件和/或软件的其它硬件。输出设备可以包括监视器或其它显示器、打印机、语音或文本合成器、开关、信号线、或具有随附的固件和/或软件的其它硬件。

计算机系统能够使用软盘驱动器、磁带驱动器、光盘驱动器、磁光驱动器，或者其他手段以读取存储介质。适当的存储介质包括具有特定的物理结构的磁的、光学的或其他计算机可读的存储设备。适当的存储设备包括软盘、硬盘、磁带、CD-ROM、DVD、PROM、RAM、闪存，以及其他的计算机系统存储设备。物理配置表示造成计算机系统以如本文中所述的特定的和预定义的方式操作的数据和指令。

协助执行本发明的适当的软件通过相关领域中的技术人员使用这里提出的教导以及编程语言和工具容易地提供，所述编程语言和工具如Java、Pascal、C++、C、数据库语言、API、SDK、组件、固件、微码、和/或其他语言和工具。适当的信号格式可体现为模拟或数字形式，具有或没有错误检测和/或校正位、数据包报头、特定格式的网络地址，和/或由相关领域中技术人员易于提供的其他支持数据。

描述的实施方式的若干方面将被示为软件模块或组件。如本文所使用的，软件模块或组件可以包括位于存储设备内的任何类型的计算机指令或计算机可执行代码。例如，软件模块可以包括计算机指令的一个或多个物理或逻辑块，其可以被组织为执行一个或多个任务或实现特定的抽象数据类型的例程、程序、目标、组件、数据结构等。

在某些实施方式中，特定软件模块可以包括存储在存储设备的不同位置、不同的存储设备或不同的计算机上的不同的指令，它们一起实现模块的所描绘的功能。实际上，模块可包括单个指令或多个指令，且可分布在若干不同的代码段上，在不同的程序中，以及跨越多个存储设备。一些实施方式可以以其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境来实践。在分布式计算环境中，软件模块可以位于本地和/或远程存储器存储设备中。此外，在数据库记录中捆绑或渲染在一起的数据可以驻留在相同的存储设备中，或跨越多个存储器设备，并且可以在网络上的数据库中的记录的字段中连接在一起。

许多可以根据本发明使用的基础设施是容易获得的，如：通用计算机，计算机编程工具和技术，计算机网络和网络技术，数字存储介质，认证，访问控制，以及由公开密钥、加密、防火墙和/或其他装置提供的其他安全工具和技术。

下面参考附图描述本公开的实施方式，其中在全文中相同的部件由相同标号表示。如通常在本文的附图中所描述和示出的，公开的实施方式的组件可以以各种不同的配置来布置和设计。此外，与一种实施方式相关联的特征、结构和操作可以适用于其他实施方式或者与结合其他实施方式所描述的特征、结构或操作组合。在其他情况下，公知的结构、材料或操作没有被示出，也没有详细描述，以避免使得本公开的各个方面不清楚。

因此，本公开的系统和方法的实施方式的以下详细描述并不旨在限制本公开的的范围(如主张的)，而仅仅代表可能的实施方式。另外，方法的步骤并不一定需要以任何特定的顺序执行，或甚至按顺序执行，步骤也并不一定只执行一次。

图1A示出了发射超声波120朝向有界区域100内的组150中的三个人151、152和153的双模式定位系统110。如图所示，该有界区域100由底板141、左壁142、后壁143、右壁144和天花板145界定。前壁(未示出)也可以界定区域100。

该双模式定位系统110可以将超声波120作为定向超声波脉冲以调制方式(频率、振幅、相位)发射和/或以其他形式连续地发射。超声波120可以朝向人151、152和153直接地发射。超声波120可间接地朝向人151、152和153发射。

在各种实施方式中，双模式定位系统110可以具有任何形状或尺寸和/或可以包括多个分布式组件。图示的实施方式仅是一个示例，并不旨在传达关于形状、尺寸、配置或功能的任何信息。在各种实施方式中，双模式定位系统110可以包括配置成发射和/或接收超声波和/或电磁辐射的换能器(如压电换能器)阵列。双模式定位系统110可以配置有用于发射超声波和/或电磁辐射的第一多个换能器112(或单个换能器)和用于接收超声波的第二多个换能器113(或单个换能器)。

图1B示出了由双模式定位系统110接收的直接超声波反射121。如图所示，直接超声波反射121可以传送相对二维的方式的粗质图像信息，其中三个人151、152和153被视为单个实体160，或者被视为在基本上相同平面上的三个不同的实体(161、162和163)。图1B示出了超声波121的所接收的直接反射的视觉表示。依赖于采样速率、精度、处理位深度、使用的超声波的频率等，所接收的实际位置数据可以是较高的分辨率或较低的分辨率。

图2A示出了类似于结合图1A和1B说明的双模式定位系统的双模式定位系统210，其中超声波225朝向界定区域200的表面发射。在示出的实施方式中，反弹表面是左壁242。可以理解，超声波可以被反弹离开左壁242、底板241、后壁243、右壁244和/或天花板245中的一个或多个。类似地，电磁辐射可以反弹离开左壁242、底板241、后壁243、右壁244和/或天花板245中的一个或多个。在一些实施方式中，系统可以接收来自其他来源(例如，区域中的环境光)的电磁辐射。

如本文所使用的，术语反弹的和反弹可以包括任何类型的反射、折射和/或可以包括或可以不包括相位、频率、调制、和/或幅度的变化的重复。反弹可以由表面的外表面，表面的内部，或设置在表面上、设置在表面内或设置在表面的后面的实体(例如，外壁涂料、干壁、内部金属、螺柱、内部涂层、安装板，等等)来进行。

超声波可最终被反弹227以与图1A和1B中获得的角度不同的角度反射离开人251、252和253。示出的实施方式示出了反弹超声波227反射离开左壁242然后反射离开人251-253。然而，超声波可以替代地反射离开人251-253，然后再反射离开左壁242。最终，超声波225可以以任何的顺序由人251-253和表面/壁241-245中的一个或多个反弹和/或反射，然后通过定位系统210接收。

图2B示出了结合图2A描述的双模式定位系统210的侧视图，其中反弹的超声波226在反射离开在位置228的人251-253并反弹离开左壁242之后被接收。图2B还示出了前壁246。在一些实施方式中，所有的超声波可针对前壁246发射以在整个区域更均匀地分布超声波(即，较宽的有效波束宽度)。

如图2B所示，通过反弹的超声波226获得的位置数据可以提供经由图1A和1B中所示的直接反射不能获得的粗质图像信息，例如，由于一个实体防止直接超声波到达第二实体(或第一实体的另一部分)而导致。例如，所获得的位置数据的视觉表示示出了相对于双模式定位系统210显然在不同的平面上的三个不同的实体261、262和263。例如，基于图2B的反弹的超声波产生的位置数据示出了实体262与实体261和263之间的距离D。如果仅直接反射是可获得的(如在图1A和1B)，则这样的距离D可能是难以确定或不同地测定的。

图3A示出了固定到表面341、342、343、345和346中的一个或多个、安装到表面341、342、343、345和346中的一个或多个、定位在表面341、342、343、345和346中的一个或多个内和/或与表面341、342、343、345和346中的一个或多个整体地形成的多个超声波和/或电磁辐射反射器371、372、373和374。在一些实施方式中，用户/受试者可以握住或以其他方式控制便携式超声波和/或电磁辐射反射器375。超声波反射器371-375可以通过双模式定位系统310便于传送、反射和/或接收反弹超声波。

超声波和/或电磁辐射反射器可以包括用于控制超声波在区域内反弹的方向和/或以其他方式行进的方向的无源、有源和/或有源移动/枢转的超声波反射器。例如，超声波和/或电磁辐射反射器可以被配置成修改反弹超声波和/或电磁辐射的频率、相位和/或幅度中的一个或多个。经修改的特性可以促进直接超声波和/或电磁辐射反射与反弹超声波和/或电磁辐射反射的区别。

双模式映射或定位系统310可以基于直接超声波和/或电磁辐射反射(例如，图1A和1B)和/或反弹超声波和/或电磁辐射反射(例如，图2A和2B)来产生与实体中的一个或多个相关联的位置数据。位置数据可以包括实体的质心、实体的二维映射、实体的图像、实体的假色表现、实体的信息表示(框、正方形、阴影等)、实体的三维映射、实体的一个或多个特征、和/或其它信息。经由一个模式(即，超声波或电磁辐射)所产生的位置数据可以比通过其他方式产生的位置数据有更高或更低的分辨率。

该位置数据可以相对于该区域的一个或多个表面、双模式定位系统310、定位系统312的接收器和/或定位系统的发射器313来限定。区域内的一个或多个实体可以包括机械、机器人、家具、家庭财产、一般人、游戏玩家、电子器件的控制人员、电子器件、固定装置和/或其它人或非人实体。

该实体可包括人的特定部分，如手、手指、手臂、腿、脚、脚趾、躯干、颈部、头部、口部、唇、或眼部。如图3A和3B所示，反弹超声波发射可以被反射离开设置在房间内的超声波反射器371-375。在一些实施方式中，超声波反射器可以修改反射的超声波的特性，有利于所接收的圆形超声波反射的识别。

图3B示出了多个被配置成通过所述定位系统来促进反弹超声波的发射、反射和/或接收的有源超声波反射器391-394。如图所示，有源超声波反射器391-394可以连接到电源，如电池、太阳能电池、热转换器、插座380，和/或其它适当的功率源。在一些实施方式中，超声波本身可以提供功率源。

图4A示出了在第一位置的有源控制的超声波反射器472。双模式定位系统410可以与超声波反射器472通信，或超声波反射器472可以是自治的。在各种实施方式中，定位系统410可以发射超声波425朝向人451、452和453或朝向壁442，如图所示。超声波425然后可以分别反弹离开壁442或由人451-453反射。

图4B示出了在第二位置的有源控制的超声波反射器472。超声波反射器472可通过枢轴控制器495枢转和/或控制。

在一些实施方式中，枢转控制器495除了改变超声波反射器472的方向外，还可以改变超声波反射器472的反射特性、吸收特性和/或折射性能。例如，超声波反射器472可以具有特定的超声波或其它声吸收性质。枢轴控制器495可调节枢转性能和/或声性能和/或电性能。

图5示出了根据一个实施方式的定位系统500的框图。如图所示，定位系统500可以包括处理器530、存储器540，以及可能的网络550或其它数据传送接口。总线520可以互连各种集成组件和/或分立组件。各种模块可以以硬件、软件、固件和/或它们的组合来实现。

超声波发射器模块580可被配置成以在此描述的各种形式和/或方法中的任何一种发射超声波。超声波接收器模块582可被配置成接收来自在区域内的实体的直接超声波反射。此外，超声波接收器模块582可以被配置成接收来自实体的反弹的超声波反射。如本文中所使用的，直接反射和反弹反射是指本文提供的各种描述，以及这些术语的通常理解和变型。

映射系统模块584基于一个或多个直接超声波反射产生与实体相关的直接位置数据。如可以在本领域中被理解的，映射系统模块584还可以基于一个或多个间接超声波反射产生与实体相关联的直接位置数据。如可以在本领域中被理解的，映射系统模块584还可以基于一个或多个间接超声波反射产生与实体关联的反弹位置数据。

直接反射模块586可以被配置成促进、管理和/或监控直接反射的发射和/或接收。反弹反射模块588可以被配置成促进、管理和/或监控反弹反射的发射和/或接收。

位置数据计算模块589可以基于一个或多个直接超声波反射产生与实体相关联的直接位置数据。位置数据计算模块589还可以基于一个或多个反弹的超声波反射产生与实体相关联的反弹位置数据。位置数据计算模块589还可以通过组合直接位置数据和反弹位置数据来产生增强的位置数据。

图6示出了用于产生描述区域内的一个或多个实体的相对位置和/或运动的位置数据的方法600的流程图。方法步骤以非特定的顺序提供并可以如在技术上可行的方式重新排列。定位系统可发射超声波到由至少一个表面限定的区域中605。该定位系统可以接收来自区域内的至少对一个实体的直接超声波反射610。

所述定位系统可以接收来自区域内的至少一个实体的反弹的超声波反射612。反弹的超声波反射可首先反射离开壁和/或首先反射离开实体。定位系统可以基于来自实体的直接反射产生位置数据614。定位系统可以基于来自实体的反弹反射产生位置数据616。

定位系统可通过组合直接位置数据和反弹位置数据产生增强的位置数据618。在其它实施方式中，定位系统可发送直接位置数据和反弹位置数据到其他电子处理设备或其他处理设备以供使用。

与实体的位置的检测结合描述的超声波发射器、接收器、反射器和/或其它组件的各种配置中的任何一种也可应用于本文中所描述的关于与一个实体或多个实体相关联的速度和/或加速度的数据的检测和/或计算的实施方式，包括下面参考图7A-12描述的那些实施方式。例如，直接反射和反弹反射、多个反射器和/或超声波路径可以用来计算与区域内的实体相关联的速度和/或加速度的数据。

图7A示出了超声波系统710，它可被用作发射720和接收740来自静止实体730的反射超声波的双模式系统的一部分。代表超声波720和740的弧形之间的间隔是超声波的波长和/或频率的代表。由于实体730在固定位置上，反射超声波740相对于发射的超声波720不偏移。

图7B示出了发射第一频率的超声波720并接收来自移动离开超声波系统710的实体的第二频率的反射超声波741的超声波系统710。频移可以被检测和用来确定实体730的反向运动的速度。例如，实体730的速度V_o等于频率的变化Δf乘以超声波的速度V_us再除以发射的超声波相对于超声波接收器的频率f_trans。可以使用各种多普勒偏移速度和/或加速度计算和/或预测算法中的任何一种。

图7C示出了发射第一频率的超声波720并接收来自朝向超声波系统710移动的实体730的第二频率的反射超声波742的超声波系统710。同样，可以使用用于计算、确定和/或预测实体730相对于超声波系统710的相对速度的多种普勒偏移算法中的任何一种。例如，多普勒方程：

在上面的式1中，假定传输介质(例如，空气)是相对静止的，则f_r是所接收的超声波的频率，C是超声波在介质(例如，空气)中的速度，V_r为超声波接收器相对于介质的速度，V_o是实体相对于介质的速度，并且f_t是发射的超声波的频率。实体的加速度可使用在多个离散的时间段的速度计算值和/或通过检测所接收的超声波的频率随着时间的推移的变化f_r来确定。

如本文所述，超声波系统710可以包括一个或多个超声波发射器和/或超声波接收器，并且发射器和接收器可以在物理上连接(如图7C所示)，或者它们可以是分开的，并且甚至有可能定位于该区域内的不同位置。在一些实施方式中，发射器和接收器可以在单个换能器中实现。在其他实施方式中，每个换能器可充当超声波发射器和超声波接收器两者。在其他实施方式中，每个换能器可以结合电磁位置检测系统和/或接收器系统作为双模式系统使用。

图7D示出了超声波系统710发射和接收来自静止实体730的反射超声波720和743，类似于图7A。图7D提供图7E的代表性环境。

图7E示出了当实体730移动离开超声波系统710时在来自实体730的反射超声波743中的时序延迟和/或相移，显示为缺失波弧形757。如本文所提供的多普勒偏移可以被用于确定与移动实体相关联的加速度和/或速度信息。然而，应认识到，可利用速度测量的各种方法。例如，包括类似于在多普勒超声波心动描记术中使用的那些相移(即，当接收的信号到达时)测量。可以理解，实体的速度和/或加速度信息的各种1D、2D和3D向量多普勒计算可并入到目前描述的系统和方法中，其包括，但不限于，二维多普勒成像(2D Doppler Imaging)、向量多普勒(Vector Doppler)、斑点跟踪(Speckle Tracking)、和其他。

图8示出了超声波820在由正移动离开超声波接收器810的实体830反射之前在821反弹离开反射器850(例如，辅助反射器)。所接收的超声波840相对于发射的超声波820的偏移可用于确定实体830相对于超声波接收器810的速度。

在一个实施方式中，超声波可以首先由实体830反射，然后由反射器850反弹。在这样的实施方式中，有可能确定实体830相对于反射器850的速度和/或加速度的信息。

图9示出了可以结合超声波速度和/或加速度检测系统910使用作为双模式系统的电磁位置检测系统913。超声波速度和/或加速度检测系统910可以结合本文中所描述的多种实施方式中的任何一种来操作和/或配置成结合本文中所描述的多种实施方式中的任何一种，以确定当前时间的位置、速度和/或加速度信息和/或用于预测在将来时间的这种信息。电磁位置检测系统913可使用飞行时间检测实体930的位置。例如，激光或其它电磁辐射源可以被用于测量系统913和实体930之间的飞行时间。经由电磁系统913获得的位置信息可结合使用本文描述的超声波系统910获得的速度和/或加速度的数据来使用。

图10示出了从一个或多个辅助反射器1030和1040反射和/或反弹的超声波1020。如在各种实施方式中描述的，超声波接收器/发射器1010可基于所检测的频移和/或相移利用来自区域内的实体的直接反射来确定速度和/或加速度信息。在一些实施方式中，除了直接超声波反射以外或代替直接超声波反射，还可以利用反弹的超声波反射。超声波反射器1030和1040可以是有源或无源的，并且可以集成到该区域的一个或多个设备、墙壁、或其他特征。在一些实施方式中，现有的墙壁、房间特征、家具、人、实体、或类似物可以被识别和/或指定作为反射器1030和1040。

图11示出了用于确定来自相对于区域1100内的实体1110或实体1110上的位点的多个方向的速度和/或加速度信息的多个超声波系统1120、1121、1122和1123。在各种实施方式中，每个超声波系统1120-1123可以包括一个或多个超声波发射器和一个或多个超声波接收器。在其他实施方式中，超声波系统1120-1123中的一个或多个可以包括一个或多个超声波发射器或一个或多个超声波接收器。在一些实施方式中，超声波发射器和超声波接收器可以是彼此间隔开的分离的组件。如图所示，超声波可反弹离开一个或多个辅助反射器141、142、143和144。

图12示出了用于确定与移动实体相关联的速度和/或加速度的信息的方法1200。超声波可以被发射到由至少一个表面限定的区域1205。一些实施方式可以基于检测到的超声波的偏移利用来自实体的直接反射来确定速度和/或加速度的数据，如框1240所提供的。接收器可以接收来自区域内的至少一个实体或实体上的位点的直接超声波反射1210。也可以确定在发射超声波和接收超声波之间的诸如波长偏移、频率偏移、或相位偏移之类的偏移1211。然后，该系统可以基于所检测到的偏移产生速度和/或加速度的数据1214。

应理解，“确定偏移”、“检测偏移”、“计算偏移”等可能未必需要实际确定发射和接收的超声波的例如频率之间的差别。即，在速度和/或加速度的多普勒计算过程中“检测偏移”及类似短语可以建设性地进行。例如，如果实体的速度使用(1)发射的超声波的已知的/测得的频率和(2)由实体反射的超声波的已知的/测得的频率来确定，那么“检测偏移”可以被建设性地进行。因为可以利用多种用于基于多普勒的速度计算的多种衍生的和等效的算法，所以该系统可以或可以不实际计算发射和接收的超声波之间的频率差。

在一些实施方式中，基于超声波中所检测的偏移，来自实体的反弹反射可以被用于确定速度和/或加速度的数据，如框1250所提供的。超声波可以被发射到由至少一个表面限定的区域1205。接收器可以接收来自区域内的至少一个实体或实体上的位点的反弹的超声波反射1212。也可以确定1213在发射超声波和接收超声波之间的诸如波长偏移、频率偏移、或相位偏移之类的偏移。然后，该系统可以基于所检测的偏移产生速度和/或加速度的数据1216。在各种实施方式中，来自直接反射和反弹反射的速度和/或加速度的数据可以任选地组合1218。来自直接反射和反弹反射的速度和/或加速度的数据可以被用于确定与实体或实体上的位点相关的速度和/或加速度信息的二维矢量。

图13A示出了发射超声波1325a和接收反射离开站在界定区域1300a内的人1362a的超声波1327的双模式系统1310a。如图所示，界定区域1300a由地板1341a、左壁1342a、后壁1343a、右壁1344a和天花板1345a界定。前壁(未示出)也可以界定区域1300a。

双模式系统1310a可以利用类似于相对于前面的附图所讨论的那些超声波模式。例如，双模式系统1310a可以以调制方式(频率、振幅、相位等)和/或其他形式连续地将超声波1325a作为定向超声波脉冲发射。超声波1325a可以直接朝向人1362a发射和/或超声波1325a可间接朝向人1362a发射。

图13B示出了基于所接收的超声波反射产生实体的粗质图像数据的双模式系统1310b。如图所示，直接超声波反射1327b可以以相对两维方式传送粗质图像信息。双模式系统1310b可以使用处理器以产生人1362b或其它实体的粗质图像数据。取决于使用的超声波的采样速率、准确度、处理位深度、频率等，所接收的实际图像数据可以是在较高或较低的分辨率。在某些实施例中，为了使用较少的处理功率，双模式系统1310b可以使用低分辨率来跟踪作为整体的实体。如果使用低分辨率，则感兴趣的部分可以被识别，其中针对特定的应用，更详细的信息是期望的、有用的和/或所需的。

图13C示出了使用从超声波反射1327c(或替代地使用接收的电磁辐射)产生的粗质图像数据识别实体上的若干感兴趣部分的双模式系统1310c。人1362c的感兴趣部分可包括手、手指、手臂、腿、脚、脚趾、躯干、颈部、头部、口部、唇和眼部。例如，如图13C所示，双模式系统1310c已经识别手、脚和头部作为人的感兴趣部分1362c。

可以部分基于相关联的娱乐设备的状态来识别感兴趣部分。例如，相关联的娱乐设备的状态可以针对那些不能使用粗的图像数据确定的特定的操作利用手部动作。在这种情况下，双模式系统1310c可以识别人1362c的手作为其中精细图像数据(即，较高分辨率的图像)是所期望的感兴趣部分。无论识别什么感兴趣部分，双模式系统1310c可以使用第二模式来接收额外的和更详细的图像信息。

例如，图14示出了使用与超声波1425结合的电磁成像以接收来自所识别的感兴趣部分的额外图像信息的双模式系统1410。除了超声波，双模式系统1410还可以利用电磁发射器和/或接收器以接收/确定电磁图像信息。例如，激光或其它电磁辐射源可以被用于接收实体的图像数据。在某些实施方式中，双模式系统1410可以使用接收器(例如红外接收器)以从环境辐射源收集图像数据。在某些实例中，所接收的电磁辐射可以包括微波、太赫兹、红外线、可见光、和/或紫外辐射。

系统可以利用电磁成像功能以接收低分辨率的粗质图像数据或较高的、较细的分辨率的精细图像数据。例如，图14示出了接收来自在使用所接收的超声波反射1427产生的二维粗质图像上的所识别的感兴趣部分的电磁辐射的双模式系统1410。所接收的电磁辐射可以用于产生比使用所接收的超声波反射1427所产生的图像的分辨率更高分辨率的图像。

例如，图15示出了产生人1562上感兴趣部分的精细图像数据的双模式系统1510。一种模式，如超声波1525，可以被用于产生具有低分辨率的粗质图像，而第二模式，如电磁辐射，可被用于产生具有较高分辨率的详细图像。应该理解的是，或者超声波或电磁辐射都可以被用于收集低分辨率的图像或较高分辨率的图像。

图16示出了使用超声波和电磁辐射产生图像的方法。方法步骤以非特定的顺序被提供，并且可以依照在技术上是可行的方式被重新排列。双模式系统可以发射超声波到由至少一个表面限定的区域中1605。双模式系统可以接收来自区域内的至少一个实体的直接超声波反射或反弹的超声波反射1607。使用所接收的超声波反射，双模式系统可以产生实体的粗质图像数据1609。双模式系统可以识别在实体上的一个或多个感兴趣部分1611。双模式系统可以接收来自感兴趣部分的电磁辐射1613，并使用电磁辐射以产生实体的精细图像数据1615。精细图像数据可以比粗质图像数据具有更高的分辨率。可选地，系统还可确定与所述感兴趣部分相关联的运动值1617，并且基于运动值修改娱乐设备的状态1619。

图17示出了使用超声波和电磁辐射产生图像的方法。方法步骤不以任何特定的顺序提供，并且可以依照在技术上是可行的方式被重新排列。双模式系统1702可以接收来自区域中的多个位点的电磁辐射。在一些实施方式中，所接收的电磁辐射可以被用于产生该区域内的实体或实体上的位点的粗质图像。双模式系统可以识别在实体上的一个或多个感兴趣部分1704。双模式系统可以发射超声波到区域中1706，并接收来自感兴趣部分的直接超声波反射或反弹的超声波反射1708。根据所接收的超声波反射，双模式系统可产生实体和/或实体上的感兴趣部分的精细(较高分辨率)的图像数据1710。可选地，系统还可确定与感兴趣部分相关联的运动值1712，并且基于运动值修改娱乐设备的状态1714。

图18示出了使用超声波和电磁辐射解决图像中模糊性的方法。方法步骤不以任何特定的顺序提供，并且可以依照在技术上是可行的方式被重新排列。双模式系统可以发射超声波到由至少一个表面限定的区域1805。双模式系统可以接收来自区域内的至少一个实体的直接超声波反射或反弹的超声波反射1807。使用所接收的超声波反射，双模式系统可以产生实体的图像数据1809。使用所接收的超声波反射所产生的图像数据可以包括至少一种模糊性，如重影。双模式系统可以接收来自实体的足以解决模糊性的电磁辐射1811。双模式系统可以基于所接收的电磁辐射产生解决模糊性的增强的图像数据1813。可选地，系统还可确定与所述感兴趣部分相关联的运动值1815和/或基于运动值修改娱乐设备的状态1817。

已经参考包括最佳模式的多种示范性实施方式实践本发明。然而，本领域的技术人员应认识到，在不脱离本发明的范围的情况下，可以对示例性实施方式做出改变和修改。虽然本发明的原理已经在各种实施方式中示出，但在不脱离本发明的原理和范围的情况下，结构、配置、比例、元件、材料和组件的许多修改可适合于特定的环境和/或操作要求。这些和其它改变或修改旨在被包括在本发明的范围之内。

本发明应被认为是说明性的而不是限制性的，并且所有这样的修改都旨在被包括在本发明的范围之内。同样地，益处、其他优点和问题的解决方案已在上文中相对于各种实施方式进行了说明。然而，益处、优点、问题的解决方案，和可能导致任何益处、优点，或解决方案发生或变得更加明显的任何元素不应当被解释为是关键的、必需的或基本的特征或元素。因此，本发明的范围应该由随附权利要求来确定。