车辆跟踪的制作方法

本发明涉及一种在密集且不断变化的城市环境中准确预测观察到的物体的未来轨迹的方法和系统。更具体地，本发明涉及使用从映射数据中提取的先验轨迹来估计所观察到的物体的未来运动。例如，观察到的物体可以是运动的车辆。

背景技术：

在动态环境中机器人感知和规划的基本任务是能够预测机器人周围情况的未来演变。例如，自动驾驶车辆需要知道其它车辆的位置和它们未来的运动，以规划和避免碰撞。

在机器人技术中，诸如路径规划和障碍回避之类的关键任务要求能够预测或估计机器人周围环境的演变。在涉及这种规划和感知时诸如城市交通之类的复杂环境提出了重大挑战。这样做的方法在降低碰撞风险(如道路事故之类的)方面扮演重要作用。

目前，半结构化环境下的未来运动预测通常基于机器人或车辆周围的车辆的假设的运动动力学，例如通过使用卡尔曼滤波器。然而，共同的缺点是，这些方法常常概括了现实世界情况的巨大复杂性，诸如繁忙的十字路口或转弯处，从而导致不可靠的预测。类似地，通常无法使用简单的运动模型(如线性外推)可靠地预测在复杂情况中车辆的运动，特别是当预测范围大于几秒时。

另一种现有的方法是通过捕获并记录应表明车辆可能遵循的路径的交通规则而以语义地图的形式注释道路基础设施。这样做的好处是，如果驾驶员遵守交通规则，则地图数据就可以用于推断汽车的预期运动。然而，生成这种可靠的地图并保持其更新所需的工作量是费时费力的。

本发明的目的是解决与现有技术相关联的缺点中的一个或更多个缺点。

技术实现要素：

方面和/或实施方式寻求提供一种方法和系统，该方法和系统用于使用从地图数据中提取的运动先验数据来预测新观察到的物体(诸如，车辆之类)的未来运动。

根据第一方面，提供一种估计物体的运动的方法，所述方法包括：接收所述物体在第一时间处的初始状态数据；接收关于与所述物体的位置附近相交的一个或多个先验运动物体的连续轨迹数据；根据关于所述一个或更多个先验运动物体的连续轨迹数据估计所检测的物体在第二时间处的未来位置；以及根据所述物体与连续轨迹数据和所述物体的位置附近相交的所述一个或更多个先验运动物体之间的比较来约束所述物体的未来位置，其中，所检测的物体的受约束的未来位置表明所述物体在第二时间处的估计运动。

通过将观察到的物体(诸如车辆)的当前位置与同一区域中的其他物体或车辆先前所显示的运动的数据集相关联，可以确定对所述物体的未来位置的准确预测。通过这种方式，可以估计新检测到的物体(诸如车辆)的未来位置，而无需对道路基础设施或传统运动模型的任何了解。

可选地，物体的初始状态数据包括3d空间中的位置、旋转和速度。

可选地，检测并确定所述初始状态数据的步骤，其中，确定所述物体的初始状态数据包括计算关于所述物体的姿态数据。姿态数据可以与所检测的物体的位置和取向相关。

可选地，所述连续轨迹数据还包括：关于一个或更多个先验运动物体的一系列观察到的状态。通过这种方式，驶过一区域的先前车辆的每个轨迹路径数据包括通过该路径的多个状态信息。可选地，关于所述一个或更多个先验运动物体的观察到的状态包括：所述物体在规则的时间间隔处的位置、旋转和速度。

可选地，所述连续轨迹数据是从用于构造环境的3d地图的数据中提取的。

可选地，接收所述连续轨迹数包括：使用所述一个或更多个先验运动物体中的至少一个视觉数据传感器。可选地，所述至少一个视觉数据传感器包括以下各者中的任一者或其组合：图像相机；视频相机；单目相机；深度相机；立体图像相机；高动态范围相机，光检测和测距传感器；无线电检测和测距传感器；惯性测量单元。

通过这种方式，可以利用廉价的视觉传感器(诸如移动电话相机)来收集城市规模的运动模式和环境信息，这些模式和信息可以有效地用于轨迹预测，而无需任何明确的建模。在过去，某些方法依赖于校准安装在汽车上的立体设备，这样效率可能较低。

可选地，接收所述连续轨迹数据包括：执行运动恢复结构。从运动恢复结构中采集的信息可以用作强力的高保真先验，以在无需对道路基础设施的知识或车辆运动模型的任何了解的情况下预测该区域中新观察到的车辆的未来轨迹。

可选地，估计所述物体的未来位置还包括：假设所述物体遵循与所述物体处于相同位置的所述一个或更多个先验运动物体中的每个先验运动物体的轨迹路径。

可选地，估计所述物体的未来位置还包括：使用来自所述一个或更多个先验运动物体的位置数据。

通过将观察到的汽车的当前位置与该区域中先前所显示的运动的大型数据集相关联，我们可以直接对其未来位置执行预测。此外，使用大规模的地面和运动先验会导致更准确的未来预测。

可选地，估计所述物体的未来位置还包括：估计所述物体的未来姿态。

可选地，未来姿态估计包括：包含随机噪声模型以便考虑到所述轨迹中的偏差。通过这种方式，随机噪声模型可以补偿大量的异常道路或环境事件。

可选地，所述未来姿态估计是先前已经与所述物体的位置附近相交的先验运动物体在时间间隔之后的所观察到的姿态。

可选地，约束所检测的物体的未来位置还包括：确定所述一个或更多个先验运动物体与所述物体之间的状态比较。通过这种方式，可以在先验信息与所检测的物体之间提取相似性或差异。

可选地，所述差异或相似性包括以下各者中的任一者或其组合：3d空间中的欧几里德距离的差异或相似性；航向角的相对差异；以及线性速度的差异。

可选地，对所述物体的未来位置的约束被加权以便输出更宽或更窄的样本集。通过这样做，该方法可以更加重视特定分量，诸如距离、速度或旋转。

可选地，约束所述物体的未来位置包括：根据状态缩窄所估计的未来位置。

可选地，所述物体和/或所述一个或更多个先验运动物体包括里程计系统。

可选地，所述物体包括车辆、自行车、摩托车中的任一者或其组合。

可选地，估计所述物体的运动是基本实时地执行的。先验数据和神经网络的使用可以用于为新检测到的物体提供瞬时估计。

根据另一方面，提供了一种用于估计物体的运动的系统，该系统可操作为执行任何前述特征的方法。

根据另一方面，提供了一种用于估计物体的运动的系统，该系统可操作为执行任何前述特征的方法，该系统包括：预测系统，其用于接收所述物体在第一时间处的初始状态数据并且估计所述物体的未来运动；以及环境数据库，其用于存储与所述物体的位置附近相交的一个或更多个先验运动物体的连续轨迹数据。

可选地，所述预测系统和环境数据库是所述系统的模块化部件。通过这种方式，所述系统将所述预测系统与环境知识数据库分离，从而使得环境先验能够易于更新。

根据另一方面，提供了一种用于提供任何前面所声明的方法或系统的计算机程序产品。

附图说明

图1示出了已知线性外推模型的示例，该模型用于预测在交叉路口处所检到的测车辆的未来位置；

图2示出了根据实施方式的流程图；

图3a和3b示出了实施方式所使用的地图数据集；

图4、4a、4b和4c示出了实施方式所使用的先验轨迹信息；

图5a和5b示出了根据实施方式生成的估计位置的样本；

图6描述了实施方式的逻辑流程；

图7示出了根据实施方式生成的估计位置的样本；以及

图8示出了本发明的示例实施方式，其用于预测在交叉路口处所检测到的车辆的未来位置。

具体实施方式

图1描绘了当前预测未来运动的方法所看到的问题之一。更具体地，图示涉及依赖于运动数据的线性外推的运动模型。

该图显示四道道路交叉路口100的鸟瞰图。描绘了接近交叉路口的第一车辆101。第一车辆在第一时间t处的位置显示为101a，并且第一车辆在第二时间t+1的位置显示为101b。第一车辆的轨迹被表示为直线路103。

图中还描绘了第二车辆102。第二车辆在第一时间t处(如102a所示)和第二时间t+1处(如102b所示)通过交叉路口时出现在路中间。尽管在现实世界情况中，第二车辆的位置很可能位于由106表示的区域中，但使用线性运动模型，系统假设第二车辆沿着第二直线路径104驶过。根据这种解释，所述线性模型预期两个车辆在点105处碰撞，该点是所述第一直线路径103和第二104直线路径相交的点。

然而，任何了解交通规则和/或高速公路法规的人乍一看都会不同意线性运动模型预测的预期碰撞。由于线性运动模型未包含现实世界情况的曲线运动，所以没有考虑第二车辆在通过交叉路口106之后实际可能处于的位置的真实性质。因此，使用这些模型会导致对运动的车辆的未来位置的不准确和不可靠的估计。

以类似的方式，多年来已经提出了各种方法来对车辆运动动力学、驾驶员意图以及车辆与环境和邻近代理之间的相互作用进行理解和建模。在大多数情形下，运动预测涉及完全或部分依赖于车辆动力学模型。例如，一些方法比较并评估了若干用于跟踪车辆的运动模型。这些方法得出的结论是，恒定转弯速率和加速度模型(ctra)表现最佳。其他方法包括恒定转弯速率和速度(ctrv)、恒定转向角和速度(csav)、恒定曲率和加速度(cca)以及纯线性运动模型，诸如如前所述的恒定速度(cv)或恒定加速度(ca)。

这些模型通常与卡尔曼滤波或贝叶斯滤波结合以进行路径预测。然而，这些方法只能在未来很短的窗口执行预测。为了解决这个问题，一些模型将恒定的偏航率和加速度模型与操纵分类器相结合来预测车辆轨迹。但这些方法限于有限的情况，并受到操纵数量的约束。

与明确的精心设计的车辆动力学不同，动态贝叶斯网络、高斯混合模型、隐马尔可夫模型、神经网络或这些技术的组合被用于提供车辆动力学的数据驱动的方法。尽管这些方法比基于纯车辆动力学的方法具有更好的性能，但它们是针对特定的受限情况(例如高速公路)进行训练的，或者倾向于学习不利用环境特定线索(诸如所述区域内的交通模式、所述环境结构的变化等)的通用模型。

现在将参考图2至图6描述示例实施方式。

如图2所示，本发明所实现的方法的第一步是检测诸如车辆的运动的物体，并捕获与运动的车辆201的观察状态相关的数据。对最初用于检测运动的车辆的方法没有限制。作为示例，可以结合使用神经网络来识别物体，并将边界框置于在表示所述物体的像素周围。

汽车的初始状态(s0)包括位置数据(x0∈r³)、旋转数据(r0∈so(3))和速度数据(v0∈r)。这从数学上可以表示为：

s0＝(x0,r0,v0)

如步骤202所示，该方法随后将先前驶过检测到新的运动的车辆的区域的车辆的轨迹数据汇总在一起。尽管可以实施任何传统方法来获取此数据，但优选选项是从使用运动恢复结构技术所构造的地图数据中提取数据。这有利地使大量众包的高质量运动数据能够驱动本发明的运动预测。例如，能够通过为大批车辆安装相机以及以城市规模执行运动恢复结构来准确地重构造其轨迹从而收集此类数据。如下面将进一步阐述的，该数据能够用作所述区域中潜在运动分布的样本，并用于新观察到的汽车的未来运动预测。

运动恢复结构方法具有不需要人工注释的好处，因为它隐式捕获车辆运动的建模和未建模的方面，可缩放到大型城市规模的情况并随着数据量的增加而随着时间而改进。该数据通常是由在一段时间内连续的图像建立的。另外，每个图像还包括姿态信息，所述姿态信息能够用于车辆沿着其路径的位置、旋转和速度。

图3a和3b描绘了示例城市规模地图数据集。这些图中显示的数据集是使用安装在移动电话上的行车记录仪在旧金山和纽约捕获的超过一千万张图像编译而成的。这些图像被用于执行大规模的运动恢复结构，以在几个星期内重构城市中的准确的车辆轨迹。尽管执行移动电话的单目相机以导出如图所示的数据集，但是任何类型的视觉传感器都能够被用来编译初始连续图像数据。因此，可以自动提取先验轨迹数据作为构建大规模众包3d环境地图的副产物。

图4示出了从旧金山数据集中提取的由随机一批车辆生成的轨迹400，本发明将其用作先验轨迹数据。图4a、4b和4c分别对应于图4中的点410、420和430。这些图示出了所述一批车辆(401、402、403、404)所采用的几条路径及其各自的取向。这些图示出了车辆沿着曲线道路(图4a)、交叉路口(图4b)和直线道路(图4c)的运动。

通过这种方式，本发明利用位置特定信息来进行准确的未来预测。代替学习全局通用模型或依赖于有限变量模型，本发明依赖于新检测到的车辆所在位置的历史车辆轨迹来基本地实时执行即时的未来位置预测。

如前所述，运动先验数据包括一大组单独的轨迹样本，这些样本包含过去行驶通过该区域的车辆的准确3d位置和旋转。着从数学上表示为g＝{g¹,g²,…,gⁿ}，其中每个轨迹是在汽车围绕城市行驶时，汽车在规则的时间间隔t＝1,2,3…处的一系列观察到的位置、旋转和速度。使用此方法，不需要使用手动注释或环境的语义注释或对交通规则的任何了解。取而代之的是，假设每个轨迹或路径都隐式捕获了车辆运动的行为中的所有相关本地和道路信息。

回到参考图2，一旦获得先验轨迹信息，就估计新观察到的车辆的若干未来位置203。为了在t时间预测车辆的未来位置，假设新观察到的车辆遵循与同一位置处的先前车辆相同的路径和轨迹模式。具体地说，对于先验轨迹的每个先验状态假设新观察到的车辆将遵循与从该状态继续生成先验轨迹的先前车辆相同的运动模式。根据此假设，车辆在未来的姿态很可能是:

其中，是在查询状态(首次观察到新的车辆时)后t秒的先前行驶通过该区域的所观察到的车辆的姿态，并且∈是考虑到轨迹可能略有不同的随机噪声。在图5a和5b中可以看到估计的未来位置或样本的示例，其中501示出了在第一时间t处的新观察到的车辆，并且502示出了在第二时间t+1的车辆的估计的未来位置。

在基于先前车辆中的每个或任一先前车辆的先验位置和轨迹为新观察到的车辆估计了可能的未来位置之后，为了改进该估计，通过评估遵循一个或更多个样本的路径的所观察到的车辆的可能性来约束样本204。

从数学上，未来姿态的分布是个体因素的加权总和：

其中，z是归一化因子：

并且测量新观察到的车辆的先验状态与当前状态的相似性，捕捉其确实能够遵循所显示的先验运动模式的可能性。这种相似性被建模为若干个体因素的总和：

其中，是3d空间中的样本位置与车辆的观察到的位置之间的欧几里德距离，是样本与观察到的车辆之间航向角的相对差，并且且是线速度的差。所述参数σx、σr和σv对个体因素的相关性进行建模。

通过以这种方法对样本进行的约束，生成了对基于先验车辆数据的所观察到的车辆的未来位置的最有可能的估计。

因此，可以以封闭的形式明确地评估概率密度函数p(st|s0,g)。此外，通过根据相关因子k对相对应的先验状态进行第一采样、对执行表格查找并且添加噪声，能够有效地实施采样程序如图6所描绘。。

未来车辆运动预测的示例如图7所示。701表示在查询位置处的观察到的车辆和在时间t的速度。702和703的分组表示在t+5的时间车辆的预测样本的分布。值得注意的是，车辆前方的道路是与车辆运动相反方向的单向道路。该方法不需要对道路交通标志的任何手动输入，而是通过使用该区域中先前车辆的路径隐式捕获此信息。因此，对于所述车辆仅有的两种潜在选项是在交叉路口向左或向右转。

图5还示出了从先验数据中提取的样本。如图所示，采样遵循该区域中先验运动的先前观察到的轨迹，而参数σ对各个部件与观察到的车辆的状态的相关性进行建模。例如，σv的小值(图5a)会导致预测与新观察到的车辆的当前速度相匹配，而较大的σv(图5b)会导致未来的预测使用更广泛的先前观察到的初始速度采样。

在图1中，示出了使用线性外推的运动预测。相反，图8描绘了本发明的方法如何在相同的情况中预测车辆的未来运动。与依赖于轨迹的线性投影相反，801描绘了使用先验轨迹数据的车辆102的估计的未来位置的群集。

另外，出于车辆安全和自主的目的，本发明能够普遍地用作各种车辆跟踪系统中的运动预测步骤。该系统可用于在各种环境和交通状况下大规模驱动运动预测。具体来说，通过创建车辆运动先验的大规模的准确数据集作为构建众包的城市规模的3d环境地图的副产物，并使用从该区域提取的先验数据来预测新的车辆的未来位置。

与传统方法相比，该方法极大地提高了精度，并且随着先验数据量的增加，显示出不断提高的性能。

如本文所描述的任何系统特征也可以被提供为方法特征，反之亦然。如本文所使用的，装置加功能特征可以根据它们的相对应的结构来替代地表达。

一个方面中的任何特征都可以以任何适当的组合应用于其他方面。特别地，方法方面可以应用于系统方面，反之亦然。此外，一个方面中的任何、某些和/或所有特征能够以任何适当的组合应用于任何其他方面中的任何、某些和/或所有特征。

还应当理解，在本发明的任何方面中描述和定义的各种特征的特定组合可以被独立地实施和/或提供和/或使用。