用于使用雷达数据和成像器数据跟踪物体的装置、系统和方法与流程
本申请要求在2016年12月5日提交的序列号为no.15/369,372的美国专利申请的优先权，该美国专利申请的公开内容通过引用并入在本文中。
背景技术：
跟踪系统已使用捕获例如包括移动物体的目标区域的图像序列的成像器来确定物体的位置、速度和/或轨迹。然而，通常采用二维成像器的这些系统无法在特定条件下提供期望的准确度。另外，用于跟踪物体的雷达跟踪系统也已遭受某些缺陷。
现有系统已试图通过将脉冲雷达与成像器组合以跟踪诸如飞机和导弹等物体来克服这些缺陷。然而，这类系统通常不适合于跟踪短距离靠近地面和其它物体的快速移动物体，诸如运动球。例如，脉冲雷达系统通过以高功率发送信号且确定这些信号被物体反射的部分返回所需的时间来确定到该物体的量程。由于发送信号中仅非常小的一部分从被这类系统跟踪的远程目标返回，因此接收器必须对数量级小于发送信号的微弱信号敏感。因此，当脉冲雷达正在发送时，必须关闭这类系统的接收器，否则高功率信号将使这些高度敏感的接收器饱和或损坏。从发送到接收的切换所需的时间决定脉冲雷达可检测的最小目标量程，通常为几百米的级别。此外，这些系统通常无法区别处于相似位置的不同物体(例如，一个移动物体在一个静止物体附近经过、或在不同路径上移动的物体)。因此这些系统不太适合涉及例如跟踪通过靠近地面且包括其它物体(诸如移动或静止的运动员、树等)的区域的物体(诸如运动球)的情况。
技术实现要素：
本发明的实施方式涉及一种用于跟踪物体的移动的系统，所述系统包括：具有第一视野的雷达装置，所述雷达装置生成对应于如下项之一的雷达数据：指示所述第一视野内的移动物体距所述雷达装置的距离的量程、和指示所述移动物体与所述雷达装置之间的距离随时间的变化率的量程变化率；具有第二视野的成像器，所述第二视野在重叠视野中至少部分地与所述第一视野重叠，所述成像器生成当所述物体在所述第二视野中时在至少一个维度上测量所述物体相对于所述成像器的角位置的成像器数据；以及处理器，所述处理器在所述物体在所述重叠视野中时组合所述成像器数据和所述雷达数据以在至少两个维度上识别所述物体的踪迹，仅使用来自所述成像器的数据来确定所述物体的所述角位置。
所述雷达装置为一维雷达。所述处理器包括指示所述雷达装置相对于所述成像器的位置的单独向量所对应的数据。所述处理器计算从所述成像器到所述物体的单位向量，以及基于所述单位向量、所述雷达数据和所述单独向量，所述处理器计算所述物体在三维中的位置。所述处理器基于所述第二视野内的参考点限定基于场的坐标系，并将所述物体在三维中的所述位置平移和旋转到所述基于场的坐标系中。所述系统还包括存储器，所述存储器存储预测所述物体将被发现的位置的先验信息。
所述处理器使用所述先验信息限定感兴趣区域，预期所述物体在所述感兴趣区域内呈现为所述第一视野和所述第二视野之一的减少部分。所述先验信息包括以下中的至少一者：关于所述物体的先前位置的信息、关于所述物体的先前速度的信息、和关于所述物体的先前量程的信息。所述物体为运动球，且其中，所述先验信息涉及所述球可能从其被投入比赛的位置。所述物体为运动球且目标体积包括比赛场地，且其中，所述参考点包括对于在所述比赛场地上玩的游戏的比赛规则重要的位置。所述雷达装置为多普勒雷达。所述处理器基于距所述雷达装置的量程的初始值和从所述雷达数据确定的对时间积分的量程变化率来计算所述量程。所述初始量程值基于先验知识。
提出的实施方式也指向一种用于跟踪物体的移动的方法，所述方法包括：定位雷达装置以瞄准成使得第一视野覆盖物体移动通过的目标体积的至少一部分，所述雷达跟踪装置生成对应于如下项之一的雷达数据：指示所述第一视野内的移动物体距所述雷达装置的距离的量程、和指示在移动物体与所述雷达装置之间的距离随时间的变化率的量程变化率；定位成像器以瞄准成使得所述成像器的第二视野在所述目标体积的期望部分内至少部分地与所述第一视野重叠，所述成像器生成当所述物体在所述第二视野中时在至少两个维度上测量所述物体相对于所述成像器的角位置的成像器数据；以及在所述物体在所述重叠视野中时组合所述成像器数据和所述雷达数据以在至少两个维度上识别所述物体的踪迹，仅使用来自所述成像器的数据来确定所述物体的所述角位置。
提出的实施方式也指向一种用于跟踪物体的移动的系统，所述系统包括：具有第一视野的雷达装置，所述雷达装置生成指示如下项之一的雷达数据：所述第一视野内的移动物体距所述雷达装置的距离所对应的量程、和指示在所述移动物体与所述雷达装置之间的距离随时间的变化率的量程变化率；具有第二视野的成像器，所述第二视野在重叠视野中至少部分地与所述第一视野重叠，所述成像器生成在所述物体在所述第二视野中时在至少一个维度上测量所述物体相对于所述成像器的角位置的成像器数据，所述成像器和所述雷达装置中的至少一者相对于所述成像器和所述雷达装置中的另一者为可移动的；存储器，所述存储器包括指示所述雷达装置相对于所述成像器的位置的单独向量所对应的数据；以及处理器，所述处理器计算从所述成像器到所述物体的单位向量，以及基于所述单位向量、所述雷达数据和所述单独向量，所述处理器计算所述物体在至少两个维度上的位置，所述处理器仅基于来自所述成像器的数据确定所述物体的所述角位置以在至少两个维度上识别所述物体的踪迹。所述处理器调整所述单独向量以反映所述雷达装置相对于所述成像器的所述位置在跟踪所述物体期间发生的变化。
提出的实施方式也指向一种用于跟踪物体的移动的系统，所述系统包括：具有第一视野的雷达装置，所述雷达装置生成指示如下项之一的雷达数据：所述第一视野内的移动物体距所述雷达装置的距离所对应的量程、和所述距离相对于所述雷达装置的变化率所对应的量程变化率；具有第二视野的成像器，所述第二视野在重叠视野中至少部分地与所述第一视野重叠，所述成像器生成在所述物体在所述第二视野中时在至少一个维度上测量所述物体相对于所述成像器的角位置的成像器数据；以及处理器，所述处理器在所述物体在所述重叠视野中时组合所述成像器数据和所述雷达数据以在至少两个维度上识别所述物体的踪迹。
所述雷达装置为一维雷达，且其中，所述雷达数据包括对于所述物体的量程变化率。所述成像器为二维成像器且所述成像器数据在至少两个维度上测量所述物体的所述角位置，所述处理器识别所述物体在三维中的踪迹。图像跟踪装置测量在成像器坐标系中的竖直角和水平角。所述处理器包括指示从所述雷达装置到所述成像器的距离和取向的单独向量所对应的数据。
所述处理器计算从所述成像器到所述物体的单位向量，以及基于所述单位向量、所述雷达数据和所述单独向量，所述处理器计算所述物体在三维中的位置。所述处理器基于所述重叠视野内的参考点来限定基于场的坐标系，并将所述物体在三维中的所述位置平移和旋转到所述基于场的坐标系中。所述雷达装置检测与所述物体的距离以及与目标的水平角和竖直角之一。
所述系统还包括存储器，所述存储器存储预测所述物体将被发现的位置的先验信息。所述处理器使用所述先验信息来限定感兴趣区域，预期所述物体在所述感兴趣区域内呈现为所述第一视野和所述第二视野之一的减少部分。所述先验信息包括如下信息中的至少一者：关于所述物体的先前位置的信息、关于所述物体的先前速度的信息、和关于所述物体的先前量程的信息。所述物体为运动球，且其中，所述先验信息涉及所述球可能从其被投入比赛的位置。
所述物体为运动球且目标体积包括比赛场地，且其中，所述参考点包括对于在所述比赛场地上玩的游戏的比赛规则重要的位置。所述雷达装置为多普勒雷达。所述处理器基于来自所述雷达装置的所述量程变化率和用于该量程的初始值来确定所述距离。所述初始量程值基于先验知识。
根据实施方式的一种用于跟踪物体的移动的方法包括：定位雷达装置以瞄准成使得第一视野覆盖物体移动通过的目标体积的至少一部分，所述雷达跟踪装置生成指示所述第一视野内的移动物体距所述雷达的距离的雷达数据；以及定位成像器以瞄准成使得第二视野在所述目标体积的期望部分内至少部分地与所述第一视野重叠，所述成像器生成当所述物体在所述第二视野中时在至少两个维度上测量所述物体相对于所述成像器的角位置的成像器数据；以及在所述物体在所述重叠视野中时组合所述成像器数据和所述雷达数据，以识别所述物体在三维中的踪迹。
附图说明
图1示出根据示例性实施方式的一种用于跟踪物体的系统的俯视图；
图2示出根据另一示例性实施方式的一种用于跟踪物体的系统的透视图；
图3示出图1的系统的俯视图；
图4示出图1的系统的侧视图；
图5示出根据图1的系统的第一实施方式的雷达跟踪装置、图像跟踪装置和数据处理系统的示意图；
图6示出根据图1的系统的第二实施方式的雷达跟踪装置、图像跟踪装置和数据处理系统的示意图；
图7示出用于使用图1的系统确定物体的轨迹的方法的流程图；
图8示出根据图1的系统的示例性实施方式的成像器画面；
图9a示出由图1的系统产生的俯视跟踪视图；
图9b示出由图1的系统产生的侧面跟踪视图；
图10示出从雷达和成像器到目标的向量以及从成像器到雷达的向量；
图11示出与雷达和成像器相关联的三维坐标系；
图12a至图12f示出由图1的系统产生的数据；以及
图13示出由图1的系统输出的示例性图像，其中，物体踪迹叠加在被捕获的画面上。
具体实施方式
可以参照如下描述和相关附图进一步理解示例性实施方式，其中，相同元件设有相同参考标记。示例性实施方式涉及一种用于通过组合来自一个或多个成像器和一个或多个雷达装置的数据来跟踪物体的装置、系统和方法。尽管本文中详述的示例性实施方式描述了跟踪棒球和高尔夫球，但是本领域的技术人员将理解，可以利用该系统以相同方式跟踪任何运动球或甚至非运动相关的物体。采用相同方式，该系统可以跟踪棒球棍、高尔夫球杆或在图像中可检测的且生成雷达数据中的信号的任何其它物体。
图1至图4示出根据示例性实施方式的用于跟踪物体106的第一系统100。该第一系统100包括两个跟踪装置：放置在物体106将通过的目标区域附近的雷达跟踪装置102和图像跟踪装置或成像器104。在图1的第一实施方式中，系统100为用于跟踪在目标区域(例如棒球场)内移动的棒球106的系统，该目标区域从位于例如投手土墩108的发射地点到本垒110。本领域的技术人员将理解，投手土墩108可以位于雷达跟踪装置102和图像跟踪装置104的视野(fieldofview，fov)内的任何区域。如在下文将更详细地讨论，雷达跟踪装置102通常将为多普勒雷达。在系统100的实施方式中，雷达装置102为一维雷达，然而本领域的技术人员将理解，可以使用二维雷达或三维雷达。此外，如在下文将更详细地讨论，系统100的成像器104为二维成像器。然而，也可以使用三维成像器104。在本实施方式中，使用仅测量量程和/或量程变化率的一维雷达装置102及测量竖直角角和水平角的二维成像器104构造有经济效益的且准确的三维位置测量系统。本领域的技术人员将理解，可以基于初始量程值(例如基于先验知识来确定)和由雷达跟踪装置102测量的量程变化率的积分来确定量程。即，该量程被确定为在时间t0处的初始量程r0加上随时间的对量程变化率的积分r(t)，这可以基于如下公式来确定：r(t)＝r0+∫(dr/dt，从t0到t)。例如，在棒球运动中，在一定的准确度内得知从雷达跟踪装置102到球106从投手土墩108释放的平均位置的距离。如将进一步理解，该初始量程可以使用任何已知技术来确定，其中，使用上述公式从该初始量程更新量程。此外，本领域的技术人员将理解，对于某些应用来说可以通过将来自雷达装置102的量程/速率(和计算的量程)数据与来自成像器104的仅单一角度(例如水平角)组合来获得所有必要信息。例如，为了跟踪在平坦表面上滚动的球(例如保龄球)或在形貌已知的不平表面上移动的物体(诸如下坡移动的滑雪者或在绿地上滚动的推杆球)，可以将量程数据与该表面(物体在该表面上移动)的几何结构知识及来自成像器104的单一角度组合以跟踪物体的路径。
注意，包括单一成像器104和单一雷达102的第一系统100仅为示例性的。在其它配置中，可以具有捕获一个或多个图像的一个或多个成像器和/或获得雷达信息的一个或多个雷达装置。在图2中所示的示例性实施方式中，系统100包括单一雷达102和两个成像器104、104’。
雷达跟踪装置102可以为配置成测量反射的辐射以检测物体的量程、位置、速度和/或旋转的任何雷达。雷达跟踪装置102可以例如为连续波多普勒雷达，该雷达发射处于x波段(10.5ghz-10.6ghz)的微波，这些微波发射大约500毫瓦的等效全向辐射功率(equivalentisotropicradiatedpower，eirp)，因此适合于遵循用于短程主动辐射体的fcc和ce规则。可以使用任何类型的连续波(continuouswave，cw)多普勒雷达，包括相位或频率调制cw雷达、多频cw雷达或单频cw雷达。物体的跟踪可以基于多普勒频谱的使用。如将理解，多普勒频谱指来自连续波多普勒雷达的数据。也可以使用与本文中所描述的雷达相似的能够跟踪物体的任何其它类型的雷达，无论这些雷达一维地、二维地还是三维地跟踪。雷达装置102具有fov。如图1可见，雷达102具有从雷达102延伸且涵盖目标区域的fov112。fov112可以包括整个目标区域以及在该目标区域周围延伸的捕获区域，或者，在具有多个雷达的系统中，fov112可以包括目标区域的仅一部分。
成像器104可以为配置成捕获目标区域的图像的任何装置，该图像可以被配置成接收在可见或不可见光谱(诸如红外)中的辐射。例如，成像器可以仍为照相机或摄影机。因此，可以捕获目标区域的单一图像，或可以在一段时间内循序地捕获一系列图像。可以使用各种技术中的任何技术来捕获图像从而生成不同类型的图像(例如黑白的、彩色的等)。成像器104也可以被配置有各种特征，诸如在目标区域中的元素的可变焦或放大、可选择的快门时间、每时间间隔中可选择的图像数量(例如帧/秒)等。如图1可见，成像器104具有从成像器104延伸且涵盖目标区域的fov114。fov114可以包括整个目标区域以及在该目标区域周围延伸的捕获区域，或者，如果在一实施方式中包括多个成像器，则每个成像器可以具有涵盖目标区域的仅一部分的视野。
雷达102生成测量至少一个维度的数据。例如，一维雷达生成指示到目标的量程和/或量程变化率(本文中统称为或单独称为“量程”)的数据；二维雷达生成指示量程和/或量程变化率以及竖直角或水平角的数据；以及三维雷达生成指示量程和/或量程变化率、竖直角和水平角的数据。成像器104捕获包括两个或三个维度的图像。例如，成像器104可以捕获允许测量竖直角和水平角的二维图像或允许识别目标的三维位置(即，测量量程以及竖直角和水平角)的三维图像。系统100的实施方式利用一维雷达102和二维成像器104。然而，其它实施方式可以利用雷达102和成像器104的任何组合，从而在所选时间段处捕获全部三个维度的信息(例如量程、竖直角和水平角)。例如，三维雷达和三维成像器提供冗余数据，该冗余数据可用于验证结果和/或在其准确率上提高置信度。
如在图3至图4的视图中所示，目标区域可以为棒球106沿着从投手土墩108到本垒110的轨迹316行进通过的空间。更特别地，图3的俯视图示出了该球沿着其轨迹316从雷达102到一位置的量程和水平角，而图4的侧视图示出了该球沿着其轨迹316从雷达102到该位置的量程和竖直角。在图3和图4中也标识了基于场的坐标系，其包括中心处于本垒的顶点的场x轴、场y轴和场z轴。雷达102和成像器104在棒球场设置中被显示位于本垒110后方的距离d(在本实施方式中为大约45m)且本垒110上方的距离h(在本实施方式中为15m)。如果在实际设置(诸如投手练习区或击球网)中，将雷达102和成像器104放置得更靠近本垒(诸如在本垒后方2m-10m且在本垒上方0m-3m)。雷达限定雷达x轴、y轴和z轴，且成像器限定成像器x轴、y轴和z轴。如图所示，雷达102将辐射沿着具有距离r502的路径318发送到目标并接收从目标沿着路径318反射的辐射。类似地，具有距离rc504的路径319从成像器104延伸到棒球106。得知了从雷达装置102或成像器104到基于场的坐标系的顶点的向量，系统100可以将在来自雷达装置102或成像器104的任一坐标系中限定的位置平移和旋转到基于场的坐标系中的对应位置。这允许系统100给出相对于场地上的位置的结果(例如好球和坏球、界内和界外等)。
如在下文将更详细地讨论，雷达102和成像器104分别以时间同步方式捕获物体沿路径的雷达数据和图像。即，第一雷达数据和第一图像可以对应于物体沿着该路径行进时目标在第一时间的位置。雷达102和成像器104在一段时间内跟踪物体以分别生成雷达数据和图像，当路径在fov112和fov114内时，系统100使雷达数据和图像时间同步(如下所述)。因此，雷达102的fov112和成像器104的fov114必须在重叠区域116中重叠，如图1所见。时间同步保证每个雷达数据点和每个成像器数据点具有公共时基。可以以许多方式实现时间同步。一种方法是当拍摄每张图像时使硬件触发信号被记录在雷达数据中。另一种方法使用在雷达数据和图像数据中可识别的时间事件，诸如球被释放或被球棒击打、被高尔夫球杆撞击等。在第二种方法中，将另外具有雷达数据的采样率和成像器的帧速率的记录或先验知识，以将任何附加图像帧相对于雷达数据定位。
如图3和图4可见，将系统100的雷达102和成像器104放置在目标区域后方且面对目标区域，该目标区域包括本垒110和投手土墩108。本实施方式中的两个装置102、104被放置使得每个fov112、114涵盖本垒110、投手土墩108和一些周围区域。选择靠近场地且在场地上方的该位置以允许跟踪装置102、104具有移动物体在其全部或几乎全部轨迹期间的清晰视图。对于典型棒球场，这意味着将雷达102和成像器104放置在本垒110后方且抬高到运动员上方，从而使由击球手、接球手和裁判员对轨迹的遮蔽最小化。在一些实施方式中，跟踪装置102、104的最佳位置在本垒110后方大约30m-50m、或更具体地为45m，且抬高到场地上方大约10m-20m、或更具体地为15m。在示例性实施方式中，可以使用支架118将系统100联接到棒球场。可以将支架118固定到看台或其它结构。在另一实施方式中，可以将三脚架或其它置物台放置在地面上以将雷达102和成像器104定位成面对期望场景(例如在本垒110后方，面对投手土墩108)。尽管本文中用于第一系统100的示例性实施方式涉及提供跟踪装置102、104的固定定位的支架118，但是本领域的技术人员将理解，也可以修改示例性实施方式，用以与能够移动的跟踪布置方式一起使用。
将雷达装置102和成像器104放置在相对于彼此且相对于目标区域初始已知的位置和方位。如上所述，在示例性实施方式中，将跟踪装置102、104放置在目标区域(即棒球场)后方并抬高到目标区域上方。将雷达装置102和成像器104放置在距彼此已知的距离t，如图1所示(如下文更详细地描述，雷达102和成像器104之间的间隔由长度t和取向已知的向量t限定)。在示例性实施方式中，装置102、104被放置使得一个跟踪装置位于另一个跟踪装置的正上方、直接位于另一个跟踪装置的侧面、或采用任何其它合适的相对定位，只要跟踪装置102、104的fov112和fov114重叠且装置102和装置104之间的向量t为已知的。
系统100包括数据处理系统200，将如本领域的技术人员所理解，该数据处理系统200可以包括借助有线或无线连接联接到雷达装置102和成像器104的一个或多个计算机。在示例性实施方式中，使用单一计算机201执行雷达和图像跟踪以及从雷达装置102输出的数据与来自成像器104的数据的合并。然而，在另一示例性实施方式中，数据处理系统200包括单独计算机202、202’以及中央计算机204，每个单独计算机202、202’与雷达装置102和成像器104中的对应一者相关联，中央计算机204协调来自两个计算机202、202’的数据，如图6所示。本领域的技术人员将理解，可以使用任何数量的计算机，其中，以任何期望方式将各个任务分布在这些计算机中。将如本领域的技术人员所理解，数据处理系统200包括提供本申请中所描述的功能所需的硬件、固件和软件。在示例性实施方式中，雷达装置102和成像器104均限定其自身的关于其记录的跟踪数据的坐标系。数据处理系统200于是限定通用的三维坐标系，计算机将来自各自的雷达坐标系和成像器坐标系的跟踪数据平移到该三维坐标系中。例如，这可以为具有竖直的z轴和水平的x轴和y轴且顶点位于目标区域内的一位置(例如位于本垒的顶点)的坐标系。
使来自雷达装置102和成像器104的数据时间同步以保证基于来自这两个源的数据的组合的跟踪信息的准确度。例如，当使来自雷达装置102的量程信息与由成像器104捕获的关于由投手抛出的棒球的画面相关时，在使捕获各个这些数据点所处的时间正确地彼此匹配时，提高了计算棒球的位置时的准确度。即，为了保证准确跟踪，需要保证从雷达装置102和成像器104合并的数据同时(或尽可能几乎同时)对应于球的位置。如上所述，雷达102可以为cw多普勒雷达，该cw多普勒雷达以比成像器的帧速率(即，每秒捕获的帧数)短很多的时间间隔生成雷达数据。因此，即使数据点之间不具有1:1对应关系，也需要将雷达数据最接近同步地匹配到来自成像器104的画面，以准确地确定棒球的轨迹。为了提高该短时间段内各自捕获的图像之间的时间匹配，雷达装置102和成像器104可以硬连接在一起，从而例如成像器104可以向雷达装置102提供指示用于每帧的捕获时序的信号，使得附接或集成的计算机可以确定图像和雷达数据之间的时间对应关系。可替选地，可以由雷达装置102向成像器104提供相似信号。例如，成像器104可以从雷达装置102接收信号，其发信令通知何时拍摄图片或发信令通知例如每隔20毫秒(ms)拍照一张图片。在另一示例中，成像器104可以将脉冲发送到雷达装置102，该脉冲发信令通知在什么时间拍摄每个图像帧。在数据处理系统200上的软件然后可以将成像器的图像数据匹配到来自雷达装置102的雷达数据。在另一示例中，每当成像器104拍摄图像时，可以将信号发送到雷达装置102，该信号标记捕获画面的时间(对信号和处理延迟留有余地)以将来自成像器104的图像同步到相应的雷达数据。
图7的流程图示出了由计算机201实现的操作的方法300，该方法300用于合并由雷达装置102生成的雷达数据与来自由成像器104捕获的图像的数据以创建物体的三维轨迹，该三维轨迹具有表示三维的参数的准确度的高确定性。该方法300也涉及上述关于图1的系统100的用于确定从投手土墩108朝向本垒110抛出的棒球106的轨迹的示例。在本示例中，棒球106为沿着轨迹被跟踪的物体，该轨迹起源于投手土墩108上的投手的手臂、朝向本垒110。
在步骤310中，雷达装置102记录雷达数据且成像器104记录被发送到计算机201的图像数据。如上所述，雷达102生成在fov112内的目标区域中移动的物体所对应的雷达数据。成像器104可以捕获在fov114内的目标区域的图像，物体在该fov114中移动。根据示例性实施方式，可以假设物体在fov112和fov114的重叠区域内的目标区域中移动。
在步骤320中，计算机201检测是否在由雷达102生成的雷达数据或由成像器104捕获的图像中捕捉到目标物体。可以使用任何识别机制执行物体检测。例如，计算机201可以利用图案识别算法在一个或多个图像中检测目标物体的存在与否。在另一示例中，跟踪装置102可以在雷达数据中检测移动物体以及限制搜索区域。如在下文将更详细地描述，系统100可以使用先验知识将感兴趣区域(regionofinterest，roi)限定为将搜索目标物体的fov114的所选部分。例如，对于棒球跟踪，系统100可以将roi限定为包括投手土墩108和一些周围区域的图像的一部分，因为每次投掷都源自于该区域。这降低了计算负担且可以加速在图像数据中识别目标物体。类似地，系统100可以将作为到土墩108的距离的目标量程+预先限定的裕度限定为在雷达数据中待搜索的数据的roi。在roi内检测的移动因此可以更快速地被识别为被投掷的棒球106。
在步骤330中，计算机201进行对应于在雷达数据和图像数据之一或二者中的棒球106的新位置的后续测量。基于该新数据，系统100在步骤340中限定用于雷达的新roi(即，期望在其中进行球的后续检测的新量程)和用于成像器的新roi(即，期望球所处于其中的后续图像(画面)的一部分)。使用来自雷达的先前位置和量程和/或量程变化率数据，系统100在后续雷达读数下和在后续画面中预测球106将在何处，以限定用于雷达102和成像器104中每一者的新roi。然后该方法前进到步骤350，其中，系统100跟踪物体(即，在雷达102和成像器104的roi内定位物体)。对于雷达102，roi也包括在量程和/或量程变化率上的感兴趣区域。如在流程图中可见，可以在确定用于成像器104的roi时采用来自基于雷达数据的跟踪的数据，以及可以在确定用于雷达装置102的roi时采用来自基于成像器数据的跟踪的数据。如上所述，在步骤340中，可以使用来自雷达装置102或成像器104的关于棒球106的位置的信息来通过限定roi而限制待搜索的各自fov112、fov114的一部分。在第一示例中，一旦物体被雷达装置102识别，则系统100可以将roi限定为总fov112的子集以及限定量程和/或量程变化率的限度，这导致对于雷达数据的计算减少，因为不需要为了球106的存在性而分析整个fov112和量程/量程变化率。即，可以分析fov112的仅一部分同时忽略fov112的剩余部分，以及类似地，对量程和/或量程变化率的仅一部分进行分析同时忽略剩余部分，该剩余部分可能不具有与球的轨迹相关联的相关信息。类似地，基于球106的先验信息或先前位置和/或轨迹，系统可以将用于成像器104的roi设置为其总的fov114的子集，这导致对于成像器数据的计算减少，因为不需要为了球106的存在性而分析整个fov114。即，可以分析fov114的仅一部分同时忽略fov114的剩余部分，该剩余部分可能不具有与球的轨迹相关联的相关信息。类似于步骤340，现在可以使用雷达102的雷达跟踪来确认用于成像器104的感兴趣区域。此外，如果成像器104先前在步骤340中限定了感兴趣区域，则雷达跟踪可以识别甚至更小的感兴趣区域，导致对于成像器数据的计算进一步减少。从成像器104对球106的存在性的正面确认可以在设置感兴趣区域时确认雷达数据。可替选地，无法确认球106的存在性的图像数据可用于拒绝雷达跟踪。此外，成像器104的图像跟踪可以确认用于雷达102的感兴趣区域。此外，如果雷达102先前在步骤340中限定了感兴趣区域，则图像跟踪可以识别甚至更小的感兴趣区域，导致对于雷达102的计算进一步减少。从雷达102对球106的存在性的正面确认可以在设置感兴趣区域时确认图像跟踪。可替选地，如果雷达装置102无法从图像数据确认球106的存在性，则这可以用于拒绝图像跟踪。将如本领域的技术人员所理解，可能发生错误的图像跟踪，这是由于具有挑战性的光线条件、图像中的伪影、相似的错误检测场景等。
此后，在步骤360中，合并来自雷达和成像器的跟踪数据以计算球106的三维位置(例如平移为场坐标)，且该数据可以被提供为可用于其它应用的实时数据流，诸如将跟踪结果覆盖在实时视频或2d/3d计算机图形上(例如为了广播目的)。在步骤370中，系统100确定这是否表示跟踪的结束。如果是，则方法前进到步骤380，其中，生成输出数据(例如计算投掷的打断等)，如果否，则方法300返回到步骤330。具体地，从棒球106沿着轨迹行进时的第一图像到棒球106撞击物体(诸如球棒、手套或地面)时的最终图像跟踪棒球106。也从第一位置(其中，在雷达或图像数据中识别棒球106)跟踪棒球106，直到最终位置，其中，棒球106已停止或已高于偏离阈值偏离其航向(例如速度向量改变方向)。此时，如果轨迹已偏离超出阈值(例如，如果球106被击球手击打)，则系统100可以开始遵循新轨迹，且方法300将重新开始基于新轨迹限定新roi，直到新轨迹结束。
在生成新雷达测量或新图像帧的每个时间间隔处，可以重复步骤330至步骤370。例如，在示例性系统中，计算机201可以每隔20ms(或50次/秒)针对记录的每个新帧执行步骤330，或每当进行新雷达测量时(这通常更为频繁，诸如1ms-5ms)执行步骤330。对于由雷达装置102进行的每次雷达测量，计算机201可以使用原始多普勒雷达数据来计算到球106的量程。
图9a至图9b示出通过雷达跟踪为成像器设置的示例性感兴趣区域的俯视图和侧视图。图9a示出图1的系统的俯视跟踪视图，而图9b示出侧面跟踪视图。由此可见，目标区域122可以为从投手土墩108到本垒110的空间，其中期望棒球106移动通过该空间。在示例性实施方式中，成像器102具有水平轴和横轴，该水平轴被对准成平行于从本垒110的后点延伸的轴、平分投手土墩108，该横轴被对准成平行于通过本垒110的后点的轴、垂直于限定本垒110的平板。fov114被显示为在角度+7.92度和-7.92度之间水平地延伸且在+1.37度和-33.37度之间竖直地延伸。基于先验信息，预计棒球106在投手土墩108和本垒110之间，因此将fov114减小到球跟踪区域124。当应用所描述的用于识别感兴趣区域的方法时，可以使用来自雷达102的雷达跟踪来进一步减小球跟踪区域124。即，雷达102可以指示用于棒球106的量程，其限定棒球106所处的地方。因此，所捕获的且与正使用雷达跟踪的该时间帧相关的图像可以将球跟踪区域124减小到例如用于分析目的的感兴趣区域126。
如上所述，在步骤360中，合并雷达跟踪和图像跟踪以确定球106在三维坐标系(例如基于场的坐标系)中的位置。在上述示例性实施方式中，雷达102可以生成测量量程的一维雷达数据，且成像器104可以捕获测量竖直角和水平角的二维图像。计算机201可以合并信息，从而得知用于物体的轨迹的全部三个参数(例如维度)。如图4和图10所示，计算机201通过基于图像(对应于图8中的球106的图像)内的像素值(upx,vpx)106’计算从成像器104朝向物体106延伸的单位向量nc506来确定物体的位置。存在各种将像素转换为角度测量的公知方法，将成像器系统、光学器件等的各种缺陷考虑在内，在下文中描述了不包括透镜失真的优选方法。首先通过计算机201使用[1]将像素位置(upx,vpx)转换为归一化像素(u,v)。
其中，(upx,vpx)106’为图像中的像素值，(ppu,ppv)为图像内的主点(通常非常靠近图像的中心)且f为焦距，针对成像器104预先确定上述项。
然后通过计算机201使用[2]将归一化像素(u,v)转换为单位向量nc506。
在安装时，确定雷达102和成像器104之间的位移向量t500(及其长度t＝|t|)。因此，当在图像中、在来自图8中所示的成像器104的像素位置(upx,vpx)106’处检测到球106时，系统100计算单位向量nc506，该单位向量nc506连同从来自雷达102的雷达数据确定的量程r502一起决定球106在三维中的位置。具体地，建立三角关系：利用表示三角形的第一条边的向量t500、作为三角形的第二条边的距离r502(测量的棒球106相对于雷达102的量程)以及基于向量nc506和t500之间的关系确定的角度
前述的向量nc506是从成像器104测量的单位向量，且向量n508为从雷达102朝向球106测量的单位向量。类似于方程式[2]中的单位向量nc506，则单位向量n具有坐标n＝(α,β,γ)。角度510(表示为
再次注意，使成像器104和雷达装置102时间同步，从而可以使从图像和雷达数据提取的信息彼此相关。通过时间同步，计算机210合并参数以确定棒球106的三维跟踪且最终确定轨迹316。例如，计算机201可以配置成执行轨迹应用。该轨迹应用可以从数据合并应用接收轨迹316的参数化信息。该轨迹应用可以基于参数化信息确定轨迹。例如，该轨迹应用可以确定物体106在目标区域122中的第一三维位置(考虑第一时间的第一参数化信息)且随后确定物体106在目标区域122中的第二三维位置(考虑在后面的第二时间的第二参数化信息)。使用在目标区域122中的第一三维位置和第二三维位置，轨迹应用生成连接第一三维位置和第二三维位置的轨迹片段。轨迹应用可以在后续时间继续执行这些操作以确定另外的轨迹片段。然后可以按时间顺序连接这些轨迹片段以确定球106的轨迹。
本领域的技术人员将理解，在另一示例性实施方式中，雷达102可以捕获测量竖直角和水平角以及到球106的量程的三维信息。在该情况下，可以直接从雷达数据确定n。因此，可以对来自雷达和成像器的竖直角和水平角数据进行加权以获得更准确的结果。通常，从成像器104接收的竖直角和水平角数据将为更准确的且将对其进行更重加权。然而，在一些情况下(例如，背景和球颜色相似、另一物体部分地阻挡球、或图像中的遮蔽)，雷达数据可以为更准确的。在另一示例性实施方式中，成像器104和雷达装置102可以单独地捕获测量竖直角和水平角以及量程的三维图像。在该情况下，计算机201可以合并信息，从而将竖直角测量合并在一起、将水平角测量合并在一起、以及将量程合并在一起，使得全部三个参数利用冗余信息来提高准确度。
再次注意，棒球的使用仅为示例性的。可以利用示例性实施方式在图像和雷达数据二者中可识别的目标区域内跟踪任何物体或物体的一部分。例如，物体可以为任何其它类型的球、高尔夫球杆上的杆头、高尔夫球杆轴、棒球棒、网球拍等。
在可实现系统100的另一示例性实施方式中，可以确定正在被轻击的高尔夫球的轨迹。下文涉及确定高尔夫球的轨迹且包含全部上述特征，其中，合并从由二维成像器捕获的图像导出的数据和从一维雷达导出的数据以及将对图像的分析减小到如由雷达跟踪所限定的感兴趣区域。尽管下文示例示出了跟踪正在被轻击的高尔夫球，但是完全相同的方法可以用于任何类型的高尔夫击球或任何其它移动物体，只要该物体在雷达数据和成像器数据中为可检测的。
图12a至图12c示出从根据上述高尔夫球实施方式的系统100获得的示例性结果。如在图中可见，图12a示出示例性量程结果，图12b示出示例性竖直分量结果，以及图12c示出示例性水平分量结果，其中，每个图提供雷达数据、成像器数据、和合并的数据。具体地，图12a示出从雷达102确定的量程结果402(对应于r502)、从成像器104确定的量程结果404(对应于rc504)、以及来自原点为雷达102的合并数据406的量程结果(对应于r502)。合并数据406为合并雷达数据402和成像器数据404的结果。本领域的技术人员将理解，在某些情况下，成像器104可以不提供关于量程的足够准确的信息。因此，可以省略成像器数据404或在用于量程结果的合并数据406中对成像器数据404进行较小加权。因此，合并数据406可以更紧密地遵循雷达数据402的曲线，如在图中可见。图12b示出了从雷达数据确定的竖直分量结果402’(对应于β)(单位向量n508的竖直坐标)、从图像数据确定的竖直分量结果404’(对应于βc)(单位向量nc506的竖直坐标)、以及来自原点为雷达102的合并数据406’的竖直分量结果(对应于β)。在该情况下，本领域的技术人员将理解，在某些条件下，雷达装置102可以不提供用于确定竖直分量或角度的足够准确的信息。因此，在用于竖直分量结果的合并数据406’中，可以对雷达数据402’进行较小加权。图12c示出了从雷达数据确定的水平分量结果402”(对应于γ)(单位向量n508的水平坐标)、从图像数据确定的水平分量结果404”(对应于γc)(单位向量nc506的水平坐标)、以及来自原点为雷达102的合并数据406”的水平分量结果(对应于γ)。类似于竖直角，利用水平角，雷达102在某些条件下可以不提供用于确定水平分量或角度的可接受的准确信息。因此，在用于水平结果的合并数据406”中，可以对雷达数据402”进行较小加权。
图12d至图12f示出与图12a至图12c相同的数据，然而，现在数据被显示在原点位于高尔夫球106的起始位置的笛卡尔坐标(x,y,z)中，而非采用r、β、γ。具体地，图12d至图12f示出了物体106随时间的位置，其中，坐标系在球的起始位置(例如，轻击的开始位置)处为零。图12d提供了物体106的x轴结果(对应于雷达数据412、成像器数据414和合并数据416)，该x轴指向目标区域，图12e提供了物体106的y轴结果(对应于雷达数据412’、成像器数据414’和合并数据416’)，该y轴为与铅垂线平行的竖直轴，以及图12f示出了物体106的z轴结果(对应于雷达数据412”、成像器数据414”和合并数据416”)，该z轴使笛卡尔右旋坐标系完整。
图13示出高尔夫球106的轨迹的示例性输出。具体地，图13示出球106的基于雷达数据422的第一轨迹在图像中与基于图像数据424的第二轨迹叠加。计算机201可以利用在图12a至图12f中发现的信息以及时序信息来识别一个图像或一系列图像，在这些图像上将显示轨迹的图形化表示。如上所述，本示例性输出数据可以由计算机201生成，将如本领域的技术人员所理解，该计算机201可以包括提供该数据生成功能所需的全部硬件、固件和软件。
本发明的实施方式涉及一种用于跟踪物体的移动的系统，该系统包括：具有第一视野的雷达装置，该雷达装置生成指示如下项之一的雷达数据：第一视野内的移动物体距雷达装置的距离所对应的量程、和该距离相对于雷达装置的变化率所对应的量程变化率；具有第二视野的成像器，该第二视野在重叠视野中至少部分地与第一视野重叠，该成像器生成在物体在第二视野中时在至少一个维度上测量物体相对于成像器的角位置的成像器数据；以及处理器，该处理器在物体在重叠视野中时组合成像器数据和雷达数据以在至少两个维度上识别物体的踪迹。
该雷达装置为一维雷达，且其中，雷达数据包括对于物体的量程变化率。该成像器为二维成像器，且其中，该成像器数据在至少两个维度上测量物体的角位置，该处理器识别物体在三维中的踪迹。图像跟踪装置测量在成像器坐标系中的竖直角和水平角。处理器包括指示从雷达装置到成像器的距离和取向的单独向量所对应的数据。处理器计算从成像器到物体的单位向量，以及基于单位向量、雷达数据和单独向量，处理器计算物体在三维中的位置。
处理器基于重叠视野内的参考点限定基于场的坐标系，并将物体在三维中的位置平移和旋转到基于场的坐标系中。雷达装置检测与物体的距离以及与目标的水平角和竖直角之一。该系统还包括存储器，该存储器存储预测将发现物体的位置的先验信息。处理器使用先验信息来限定感兴趣区域，期望物体在该感兴趣区域内显现为第一视野和第二视野之一的减少部分。
该先验信息包括关于物体的先前位置和物体的先前速度和物体的先前量程的信息中的至少一者。该物体为运动球，且其中，该先验信息涉及球可能从其被投入比赛的位置。物体为运动球且目标体积包括比赛场地，且其中，参考点包括对于在比赛场地上玩的游戏的比赛规则重要的位置。雷达装置为多普勒雷达。处理器基于来自雷达装置的量程变化率和用于该量程的初始值来确定距离。初始量程值基于先验知识。
另外，本发明涉及一种用于跟踪物体的移动的方法，该方法包括：定位雷达装置以瞄准成使得第一视野覆盖物体移动通过的目标体积的至少一部分，该雷达跟踪装置生成指示第一视野内的移动物体距雷达的距离的雷达数据；定位成像器以瞄准成使得第二视野在目标体积的期望部分内至少部分地与第一视野重叠，该成像器生成当物体在第二视野中时在至少两个维度上测量物体相对于成像器的角位置的成像器数据；以及当物体在重叠视野中时组合成像器数据和雷达数据，以识别物体在三维中的踪迹。
示例性实施方式提供用于确定物体的三维轨迹的装置、系统和方法，其中，合并来自由成像器捕获的图像的信息和由雷达生成的雷达数据的信息。以如下这种方法合并信息：从提供相应信息的源确定轨迹的各个维度，该相应信息具有高于可接受阈值的确定性。也可以在证实参数确定时利用冗余信息。通过基于时间同步合并信息，可以以更加健壮的、准确的且通用的方式来生成三维轨迹。
本领域的技术人员将理解，尽管前述实施方式详细描述了棒球投掷且较为简洁地描述了高尔夫球轻击，但是上述示例性实施方式可以被实现为跟踪任何物体以各种轨迹类型的移动(即，自由飞行、弹跳或滚动)。例如，系统100也可以跟踪处于连续对打的任何部分(包括发球)的网球。在另一示例性实施方式中，所描述的系统100也可以用于跟踪英式足球、尤其高速度射门。在又一示例性实施方式中，所描述的系统100也可以用于在滑动且滚下保龄球球道时跟踪保龄球。本领域的技术人员也将理解，系统100不限于跟踪球形物体的移动、而是可以跟踪任何类型的物体的移动。例如，系统100可以跟踪棒球棒或高尔夫球杆在挥棒击球时的移动。系统100也可以用于跟踪运动员的部分，诸如棒球选手投球的手、或高尔夫球手的手轨迹。此外，系统100也可以用于跟踪从滑雪坡下来的高山滑雪者、或在坡道上和在飞行和着陆期间的跳台滑雪选手。
本领域的技术人员将理解，上述示例性实施方式可以以任何合适的软件或硬件配置或其组合来实现。用于实现示例性实施方式的示例性硬件平台可以包括例如具有可兼容操作系统的基于英特尔x86的平台、windows平台、mac平台和macos、具有操作系统(诸如ios、安卓等)的移动设备。在另一示例中，上述方法的示例性实施方式可以被体现为存储在非瞬时性计算机可读存储介质上的、可在处理器或微处理器上执行的包含多行代码的程序。
本领域的技术人员将清楚，可以在本公开中进行各种修改，而不脱离本公开的精神或量程。因此，意图使本公开覆盖本公开的修改和变型，只要这些修改和变型在所附权利要求及其等效物的量程内。
- 还没有人留言评论。精彩留言会获得点赞！