在利用虚拟时间同步的三维目标跟踪之前对二维图像数据的基于运动的预处理的制作方法

本说明书涉及使用从能够采用不同传感器技术的不同传感器获得的数据来跟踪运动中的对象，诸如飞行中的高尔夫球。

背景技术：

1、用于利用传感器跟踪高尔夫球击球的飞行的系统和方法包括挥杆监视器、全飞行二维(2d)跟踪和全飞行三维(3d)跟踪。常用的传感器类型是相机、多普勒雷达和相控阵雷达。挥杆监视器方法基于测量能够在高尔夫球杆挥动以及在球杆撞击球之后球飞行的前几英寸期间观察到的一组参数。然后使用数学和物理建模将测量的参数用于外推预期的球飞行。

2、相比之下，全飞行3d跟踪系统的特征在于试图跟踪高尔夫球击球的全飞行而不是从挥杆参数外推的设计。此外，全飞行2d跟踪系统跟踪如从特定角度看到的高尔夫球击球的形状，但不会产生3d信息，并且通常不能用于确定关键参数，诸如球行进的距离。在美国专利no.10,596,416中已经描述了使用相机和多普勒雷达数据的组合的全飞行3d跟踪。最后，使用使其图像帧采集彼此同步的立体相机的全飞行3d跟踪已经被描述为在一些场境中潜在地可用于对象的3d跟踪。

技术实现思路

1、本说明书描述了涉及使用从至少一个相机获得的数据来跟踪运动中的对象(诸如飞行中的高尔夫球)的技术。

2、通常，本说明书中描述的主题的一个或多个方面能够体现在一种或多种方法中，该方法包括：在一个或多个第一计算机处，经由将相机与一个或多个第一计算机耦合的第一通信信道，从相机接收图像帧，第一通信信道具有第一数据带宽；由一个或多个第一计算机识别图像帧中的感兴趣位置；查找在图像帧中识别的位置的序列，其中，序列中的每一序列满足用于在来自相机的至少三个图像帧中识别的位置的运动标准；发送用于位置的序列的输出数据，其中，输出数据包括：对于每一序列中的每个位置，具有时间戳的特定图像帧中的位置的二维定位；在一个或多个第二计算机处，经由将一个或多个第一计算机与一个或多个第二计算机耦合的第二通信信道，从一个或多个第一计算机接收输出数据，第二通信信道具有比第一数据带宽更小的第二数据带宽；由一个或多个第二计算机，通过使用特定图像帧的时间戳，在针对序列中的至少一个序列的特定图像帧中的指定二维定位之间进行插值来处理输出数据中的至少一个序列，以在预定时间点产生虚拟二维定位；以及使用针对预定时间点从至少一个其它传感器获得的定位信息和虚拟二维定位来构建在三维空间中运动的球的三维轨迹。

3、查找和发送能够由一个或多个第二计算机执行，并且在一个或多个第二计算机处经由第二通信信道能够从一个或多个第一计算机接收在图像帧中识别的位置。可替代地，查找和发送能够由一个或多个第一计算机执行，并且在一个或多个第二计算机处经由第二通信信道能够从一个或多个第一计算机接收输出数据。

4、查找能够包括由感兴趣的位置形成有根树，包括：响应于第一识别的感兴趣的位置中的每个具有满足树发起标准的图像数据值，从相应的第一识别的感兴趣的位置建立有根树的根节点；响应于第二识别的位置中的至少一些相应的位置在已经被添加到有根树中的至少一个的先前图像帧中识别的位置的距离阈值内，添加第二识别的感兴趣的位置作为有根树的子节点；当序列的有根树具有大于二的树深度时，确认每个所识别的位置的相应序列以用于输出。

5、发送能够包括延迟输出针对给定图像帧及其在一个或多个所述序列中查找到的感兴趣位置的数据，直到没有针对给定图像帧所识别的更多感兴趣位置能够被包括在基于在后续图像帧中识别的感兴趣位置的任何序列中。发送能够包括：当针对每个相应图像帧完成识别时，输出针对图像帧的数据；以及仅在查找到一个或多个序列包括要被输出的感兴趣位置之后，输出针对每个感兴趣位置的数据。

6、相机能够包括卷帘快门相机，输出数据能够包括针对每个序列中包括的每个感兴趣位置的时间偏移值，以及处理能够包括：通过将用于第一位置的第一时间偏移值与特定图像帧中的第一个的时间戳相加，计算具有特定图像帧中的一个指定二维定位的第一位置的第一观察时间；通过将用于第二位置的第二时间偏移值与用于特定图像帧中的第二个的时间戳相加，计算具有特定图像帧中的另一个指定二维定位的第二位置的第二观察时间；以及使用第一观察时间和第二观察时间执行插值。

7、构建能够包括：由一个或多个第二计算机将虚拟二维定位与从至少一个其它传感器获得的定位信息组合，以形成感兴趣对象的三维定位；由一个或多个第二计算机将感兴趣对象的三维定位添加到预定时间点的感兴趣对象的三维定位云中的感兴趣对象的其它三维定位；由一个或多个第二计算机遍及三维定位的多个云执行运动分析，以构建在三维空间中运动的球的三维轨迹，其中，多个云中的每一个针对单个时间点，并且多个云包括针对预定时间点的感兴趣对象的三维定位的云；以及输出在三维空间中运动的球的三维轨迹以用于显示。

8、相机能够是第一相机，至少一个其它传感器能够是第二相机，定位信息能够包括从第二相机获得的多个二维定位，以及组合能够包括：由于不能以从第一相机获得的虚拟二维定位来形成三维点，而排除掉从第二相机获得的多个二维定位中的至少一个但不是全部；使用从第一相机获得的虚拟二维定位、从第二相机获得的多个二维定位中的至少一个、用于第一相机和第二相机的内在校准数据、以及用于第一和第二相机的外在校准数据，对感兴趣对象的至少三维定位进行三角测量。

9、排除能够包括：使用虚拟二维定位、第一相机的光学中心、第二相机的光学中心、第一相机和第二相机之间的基线以及第一和第二相机的外在校准数据来确定第二相机的图像平面中的核线的至少一部分周围的区域；以及响应于多个二维定位中的相应二维定位在第二相机的图像平面中的核线的至少一部分周围的区域之外，拒绝从第一相机获得的虚拟二维定位与从第二相机获得的多个二维定位中的相应二维定位的配对。

10、一个或多个第一计算机能够包括第一处理单元和至少一个附加处理单元，第一通信信道将相机与第一处理单元耦合，接收图像帧能够包括在第一处理单元处接收图像帧，识别感兴趣的位置能够包括在第一处理单元处识别感兴趣的位置，查找序列能够包括响应于经由将第一处理单元与至少一个附加处理单元耦合的第三通信信道从第一处理单元接收到位置而在至少一个附加处理单元处查找序列，以及发送输出数据能够包括从至少一个附加处理单元发送输出数据，并且其中，第三通信信道具有小于第一数据带宽但大于第二数据带宽的第三数据带宽。

11、本说明书中描述的主题的一个或多个方面能够体现在一个或多个系统中，一个或多个系统包括：至少一个传感器，至少一个传感器包括相机和一个或多个第一计算机，一个或多个第一计算机包括第一硬件处理器和与第一硬件处理器耦合的第一存储器，第一存储器编码指令，指令被配置为使第一硬件处理器执行第一操作，第一操作包括根据本文档中描述的方法接收图像帧、识别感兴趣的位置、查找序列和发送输出数据；至少一个其它传感器；以及一个或多个第二计算机，一个或多个第二计算机包括第二硬件处理器和与第二硬件处理器耦合的第二存储器，第二存储器编码指令，指令被配置为使第二硬件处理器根据本文档中描述的方法执行第二操作，第二操作包括接收输出数据、处理序列以及构建三维轨迹。

12、至少一个其它传感器能够包括雷达设备。至少一个其它传感器能够包括第二相机。此外，本说明书中描述的主题的一个或多个方面能够体现在编码指令的一个或多个非暂时性计算机可读介质中，指令使得与相机相关联的数据处理装置执行根据本文档中描述的方法的操作。

13、能够实现本说明书中描述的主题的各种实施例以实现以下优点中的一个或多个。能够在原始图像(未压缩)数据上靠近相机执行对象检测，这有助于使用可能具有更高帧速率和/或更高位深的更高分辨率相机，这使得能够实现更高质量的3d跟踪。能够有效地压缩球位置数据以降低用于发送要在3d跟踪中使用的数据的带宽要求，而不会丢失与高质量下游3d跟踪相关的信息。对象的可能路径能够使用有根树(连接的非循环图，每个具有根节点)来表示，并且这些有根树能够用于(实际上)通过仅导出属于特定深度的分支的树的节点来消除噪点。

14、此外，在预滤波以识别候选球方面以及在对2d空间中的球的预期移动进行建模方面，能够放松在图像数据中的2d跟踪中使用的约束，以便将更多可用数据传递到3d跟踪器，而不会导致与3d跟踪器计算机的通信连接的带宽不堪重负。下游3d跟踪组件能够被设计为处理大量假阳性，从而提供滤除噪点并查找要跟踪的实际对象(例如，高尔夫球)的良好能力。通过3d跟踪组件的这种滤除假阳性，能够基本上简化和放松2d跟踪器的约束，与使用必须被校准以产生很少假阳性但仍然查找所有真阳性的更严格约束的2d跟踪器相比，提供使2d跟踪器更容易写入和维护的益处。

15、此外，将3d跟踪任务分成几个顺序过程，其中，主要的进程间通信在单个方向上流动，并且其中，每个处理步骤减少下游组件所需的带宽，并且每个进程能够在单独的计算机上运行，在设计和部署3d对象运动跟踪系统方面提供了相当大的灵活性，特别是如果相机和/或计算资源之间的距离很大。此外，进行预处理以识别候选球并对球在2d空间中的预期移动进行建模，使得能够在时间和空间上对测量的对象定位进行下游(图像捕获后)虚拟时间同步，从而避免在数据捕获点处将相机图像与其它传感器实际同步的需要。即使原始捕获不是同步的，来自不同传感器(例如，不同相机)的点之间的三角测量也是可能的。最后，为卷帘快门相机启用虚拟时间同步，从而在第二计算机处(在后处理阶段期间)使用来自卷帘快门相机和全局快门相机两者的数据实现高质量三角测量。

16、在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施例的细节。根据说明书、附图和权利要求书，本发明的其它特征、方面和优点将变得显而易见。