障碍物轨迹跟踪方法、装置、智能驾驶设备及存储介质与流程

1.本技术涉及自动驾驶技术领域，尤其涉及一种障碍物轨迹跟踪方法、装置、智能驾驶设备及存储介质。


背景技术：

2.自动驾驶技术是计算机视觉技术与传统工业相结合的产物，其深入地渗透了人们的日常生活，是学术界和工业界共同的研究热点，而障碍物轨迹预测作为自动驾驶技术中不可或缺的一个环节,对提高自动驾驶的安全性有着重要作用和意义。
3.为了避免在自动驾驶过程中与障碍物发生碰撞，需要对障碍物的轨迹进行跟踪预测，现有技术采用基于策略选择的预测算法判断在当前场景下，障碍物各种决策的可能性，从而获得障碍物的未来运动轨迹，然而，该方式仅仅使用规则判断，会带来较大的误差，导致智能驾驶设备(如无人驾驶车辆)无法精确跟踪预测障碍物的运动轨迹，尤其是在多目标跟踪场景下，目标运动具有不确定性，其运动模式可能会变化，从而增加了准确对障碍物的轨迹进行跟踪预测的难度。


技术实现要素：

4.本技术提供一种障碍物轨迹跟踪方法、装置、智能驾驶设备及存储介质，提高对障碍物的轨迹进行跟踪预测的准确度。
5.一种障碍物轨迹跟踪方法，应用于智能驾驶设备，所述智能驾驶设备包括至少一个第一传感器和至少一个第二传感器，包括：
6.获取所述智能驾驶设备在第一时刻的预设的感兴趣区域内所述第一传感器采集的视觉障碍物信息和所述第二传感器采集的超声障碍物信息；
7.基于所述视觉障碍物信息和所述超声障碍物信息，确定当前障碍物信息；
8.获取所述智能驾驶设备在第二时刻的障碍物轨迹信息，其中，所述第二时刻早于所述第一时刻；
9.根据所述障碍物轨迹信息、所述当前障碍物信息和运动信息预测模型对所述当前障碍物进行轨迹预测，得到预测轨迹信息；
10.根据所述预测轨迹信息和所述当前障碍物信息，确定当前障碍物的轨迹。
11.一种障碍物轨迹跟踪装置，包括：
12.障碍物信息获取模块，用于获取所述智能驾驶设备在第一时刻的预设的感兴趣区域内所述第一传感器采集的视觉障碍物信息和所述第二传感器采集的超声障碍物信息；
13.当前障碍物信息确定模块，用于基于所述视觉障碍物信息和所述超声障碍物信息，确定当前障碍物信息；
14.轨迹信息获取模块，用于获取所述智能驾驶设备在第二时刻的障碍物轨迹信息，其中，所述第二时刻早于所述第一时刻；
15.轨迹预测模块，用于根据所述障碍物轨迹信息、所述当前障碍物信息和运动信息
预测模型对所述当前障碍物进行轨迹预测，得到预测轨迹信息；
16.轨迹确定模块，用于根据所述预测轨迹信息和所述当前障碍物信息，确定当前障碍物的轨迹。
17.一种智能驾驶设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述障碍物轨迹跟踪方法的步骤。
18.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述障碍物轨迹跟踪方法的步骤。
19.本技术提供的障碍物轨迹跟踪方法、装置、智能驾驶设备及存储介质，通过获取所述智能驾驶设备在第一时刻的预设的感兴趣区域内所述第一传感器采集的视觉障碍物信息和所述第二传感器采集的超声障碍物信息；基于所述视觉障碍物信息和所述超声障碍物信息，确定当前障碍物信息；获取所述智能驾驶设备在第二时刻的障碍物轨迹信息，其中，所述第二时刻早于所述第一时刻；根据所述障碍物轨迹信息、所述当前障碍物信息和运动信息预测模型预测所述第二时刻的障碍物在所述第一时刻的轨迹，得到预测轨迹信息；根据所述预测轨迹信息和所述当前障碍物信息，确定当前障碍物的轨迹。在本技术中，结合智能驾驶设备在第一时刻的预设的感兴趣区域内的视觉障碍物信息和超声障碍物信息可以准确的确定当前障碍物信息，基于运动信息预测模型、当前障碍物信息和障碍物轨迹信息可以预测所述第二时刻的障碍物在所述第一时刻的轨迹，得到预测轨迹信息，通过第二时刻的障碍物在第一时刻的预测轨迹信息和当前障碍物信息能够对障碍物进行实时精确跟踪，进而确定当前障碍物的轨迹，有利于提高对障碍物的轨迹进行跟踪预测的准确度。
附图说明
20.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1是本技术一实施例中障碍物轨迹跟踪方法的一应用环境示意图；
22.图2是本技术一实施例中障碍物轨迹跟踪方法的一流程图；
23.图3是本技术又一实施例中障碍物轨迹跟踪方法的一流程图；
24.图4是本技术又一实施例中障碍物轨迹跟踪方法的一流程图；
25.图5是本技术又一实施例中障碍物轨迹跟踪方法的一流程图；
26.图6是本技术又一实施例中障碍物轨迹跟踪方法的一流程图；
27.图7是本技术一实施例中障碍物轨迹跟踪装置的结构示意图；
28.图8是本技术一实施例中智能驾驶设备的一结构示意图；
29.图9是本技术一实施例中障碍物轨迹跟踪方法的一代价矩阵示意图。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本申
请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.本技术实施例提供的障碍物轨迹跟踪方法，可应用在如图1和图7所示的应用环境中。
32.在一实施例中，如图2所示，提供一种障碍物轨迹跟踪方法，以该方法应用在图1中的智能驾驶设备为例进行说明，包括如下步骤s201至步骤s205：
33.s201：获取智能驾驶设备在第一时刻的预设的感兴趣区域内第一传感器采集的视觉障碍物信息和第二传感器采集的超声障碍物信息。
34.具体的，智能驾驶设备可以是自动驾驶车辆、智能巡检小车、智能机器人等，第一传感器可以是环视摄像头，第二传感器可以是超声波传感器。第一时刻可以包括年、月、日等时间信息，预设的感兴趣区域为机器视觉、图像处理等技术领域中，从被处理的图像以预设的方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，视觉障碍物信息可以包括第一传感器在第一时刻获取的障碍物的底部像素数据，超声障碍物信息可以包括第二传感器在第一时刻获取的障碍物的位置数据、轮廓和属性类别，其中，属性类别可以包括普通障碍物、空区域、非空区域、未检出等，其中，属性类别的获取方式为：遍历视觉障碍物信息中的障碍物，根据障碍物对应的位置数据，获得超声波传感器在对应位置确定的障碍物的轮廓，根据轮廓确定障碍物的属性类别，障碍物可以是行人、机动车、自行车、路沿、地锁、柱子、锥桶、水马等，障碍物可以根据实际场景确定，此处不作具体限定；
35.在一实施例中，通过超声波传感器获取在预设的感兴趣区域内的超声障碍物信息，其中，可以基于二次回波分析方式，进行障碍物三角定位，通过飞行时间换算距离，并通过距离确定障碍物的位置数据；
36.在一实施例中，通过环视摄像头获取第一时刻的预设的感兴趣区域内的图像，并将图像输入预训练的语义分割模型进行实例分割，获得语义分割结果，其中，语义分割结果为图像中的障碍物的像素，语义分割模型是通过采用训练数据基于深度学习训练得到，基于俯视投影的方式，将语义分割结果投影到俯视图下，处理障碍物的像素重叠区域，得到视觉障碍物信息；其中，俯视投影的方式具体为：从语义分割结果中提取障碍物底部的像素，通过标定参数进行2d-3d转换，投影到俯视图中；其中，处理障碍物的像素重叠区域包括：若障碍物的像素重叠区域超过预设重叠阈值(如，10％)，则将重叠的障碍物的像素作为同一障碍物；
37.可选的，处理障碍物的像素重叠区域之后，障碍物轨迹跟踪方法还包括：
38.对障碍物的像素进行平滑处理，以提高像素清晰度；
39.可选的，基于俯视投影的方式，将语义分割结果投影到俯视图之后，障碍物轨迹跟踪方法还包括：
40.若障碍物底部的像素小于预设像素阈值(如，5个像素)，则过滤该障碍物的像素。
41.s202：基于视觉障碍物信息和超声障碍物信息，确定当前障碍物信息。
42.具体的，当前障碍物信息包括至少一个第一时刻的障碍物的像素数据、障碍物的位置数据、障碍物的属性类别等信息。
43.其中，可以采用相似度算法将超声障碍物信息中障碍物的轮廓的底部信息与视觉障碍物中障碍物的底部像素进行相似度计算，得到相似度值，若相似度值大于预设阈值，则
将该障碍物对应的像素数据、位置数据、属性类别等进行合并，得到当前障碍物信息。
44.s203：获取智能驾驶设备在第二时刻的障碍物轨迹信息，其中，第二时刻早于第一时刻。
45.具体的，第二时刻可以包括年、月、日等时间信息，第一时刻和第二时刻的间隔时间可以是以秒、分钟为单位，具体根据实际应用场景设定，此处不作具体限定，示例性的，假设第一时刻为2022年4月18日17点20分，第二时刻可以为2022年4月18日17点19分；障碍物轨迹信息可以包括至少一个第二时刻的障碍物的轨迹信息，该轨迹信息包括第二时刻的上一时刻的障碍物的像素数据，属性类别，第二时刻的障碍物的位置数据、第二时刻的上一时刻的障碍物在第二时刻的状态空间信息、第二时刻的上一时刻的障碍物在第二时刻的预测轨迹等，其中，第二时刻的状态空间信息可以包括第二时刻的障碍物在第二时刻的预测位置、预测速度、预测角度、预测角速度等信息，其中，可以根据第二时刻的障碍物的位置数据和第二时刻的障碍物的状态空间信息确定第二时刻的上一时刻的障碍物在第二时刻的预测轨迹。
46.s204：根据障碍物轨迹信息、当前障碍物信息和运动信息预测模型预测第二时刻的障碍物在第一时刻的轨迹，得到预测轨迹信息。
47.其中，预测轨迹信息包括至少一条第二时刻的障碍物在第一时刻的预测轨迹，每条预测轨迹可以包含有第二时刻的障碍物对应的轨迹信息、第二时刻的障碍物对应的当前障碍物信息中的位置数据、第二时刻的障碍物在第一时刻的状态空间信息等。
48.运动信息预测模型包括状态空间函数和状态转移函数，其中，状态空间函数和状态转移函数用于计算第二时刻的障碍物在第一时刻的状态空间信息。
49.通过将障碍物轨迹信息中的第二时刻的障碍物的状态空间信息带入到运行信息预测模型中进行计算，得到第二时刻的障碍物在第一时刻的状态空间信息，并根据第一时刻的状态空间信息和当前障碍物信息确定第二时刻的障碍物在第一时刻的预测轨迹，得到预测轨迹信息。
50.在本步骤中，运动信息预测模型可反映障碍物的位置、速度、角速度等与时间的关系，采用运动信息预测模型预测第二时刻的障碍物在第一时刻的状态空间信息，可以使预测出的轨迹更切合实际，满足障碍物行驶过程中的运动学几何约束，使预测出的轨迹更加准确。
51.s205：根据预测轨迹信息和当前障碍物信息，确定当前障碍物的轨迹。
52.具体的，可以采用相似度算法计算预测轨迹信息中的预测轨迹中的像素数据和当前障碍物信息中的像素数据的相似度，得到信息相似度值，若信息相似度值大于信息相似阈值，则将上述像素数据对应的轨迹信息中的预测轨迹作为当前障碍物的轨迹。
53.在本实施例中，通过获取智能驾驶设备在第一时刻的预设的感兴趣区域内第一传感器采集的视觉障碍物信息和第二传感器采集的超声障碍物信息；基于视觉障碍物信息和超声障碍物信息，确定当前障碍物信息；获取智能驾驶设备在第二时刻的障碍物轨迹信息，其中，第二时刻早于第一时刻；根据障碍物轨迹信息、当前障碍物信息和运动信息预测模型预测第二时刻的障碍物在第一时刻的轨迹，得到预测轨迹信息；根据预测轨迹信息和当前障碍物信息，确定当前障碍物的轨迹。在本技术中，结合智能驾驶设备在第一时刻的预设的感兴趣区域内的视觉障碍物信息和超声障碍物信息可以准确的确定当前障碍物信息，基于
运动信息预测模型、当前障碍物信息和障碍物轨迹信息可以预测第二时刻的障碍物在第一时刻的轨迹，得到预测轨迹信息，通过第二时刻的障碍物在第一时刻的预测轨迹信息和当前障碍物信息能够对障碍物进行实时精确跟踪，进而确定当前障碍物的轨迹，有利于提高对障碍物的轨迹进行跟踪预测的准确度。
54.在本实施例的一些可选的实现方式中，如图3所示，步骤s204，根据障碍物轨迹信息、当前障碍物信息和运动信息预测模型预测第二时刻的障碍物在第一时刻的轨迹，得到预测轨迹信息，包括如下步骤s2040至步骤s2042：
55.步骤s2040：遍历障碍物轨迹信息，获取障碍物轨迹参数信息。
56.具体的，障碍物轨迹参数信息为第二时刻的障碍物的状态空间信息，具体可以为速度、位置数据、角速度等参数。
57.步骤s2041：根据障碍物轨迹参数信息和运动信息预测模型，预测第二时刻的障碍物在第一时刻的状态空间信息。
58.具体的，将障碍物轨迹参数信息带入到运动信息预测模型中进行计算，基于障碍物轨迹参数信息和时间之间的约束，预测第二时刻的障碍物在第一时刻的状态空间信息。
59.步骤s2042：根据当前障碍物信息和第一时刻的状态空间信息预测第二时刻的障碍物在第一时刻的轨迹，得到预测轨迹信息。
60.具体的，从当前障碍物信息中获取第二时刻的障碍物在第一时刻的位置数据，并基于第一时刻的位置数据和第一时刻的状态空间信息中的位置数据及速度等，预测第二时刻的障碍物在第一时刻的轨迹，得到预测轨迹信息。
61.其中，从当前障碍物信息中获取第二时刻的障碍物在第一时刻的位置数据可以包括：
62.从当前障碍物信息中获取当前障碍物的像素数据，作为第一像素数据；从障碍物轨迹参数信息中获取第二时刻的障碍物的像素数据，作为第二像素数据；采用相似度算法计算第一像素数据和第二像素数据的像素相似度，得到像素相似度值；若像素相似度值大于像素相似度阈值，则从当前障碍物信息中获取第二时刻的障碍物在第一时刻的位置数据，像素相似度阈值根据分析历史经验数据获得。
63.在本实施例中，采用第二时刻的障碍物的障碍物轨迹参数信息和运动信息预测模型，基于障碍物轨迹参数信息与时间之间的约束，预测第二时刻的障碍物在第一时刻的状态空间信息，对障碍物进行实时精确跟踪，并结合当前障碍物信息中的位置信息进行轨迹预测，得到预测轨迹信息，提高了对障碍物的轨迹进行跟踪预测的准确度。
64.在本实施例的一些可选的实现方式中，步骤s20410，运动信息预测模型包括匀速运动信息预测模型和匀转速运动信息预测模型；根据障碍物轨迹参数信息和运动信息预测模型，预测第二时刻的障碍物在第一时刻的状态空间信息，包括：
65.当确定智能驾驶设备在寻找目标位置时，基于匀速运动信息预测模型和障碍物轨迹参数信息，预测第二时刻的障碍物在第一时刻的的状态空间信息；
66.其中，匀速运动信息预测模型用于当智能驾驶设备在做匀速直线运动时，预测第二时刻的障碍物在第一时刻的的状态空间信息。
67.示例性的，假设在停车场景下，智能驾驶设备为车辆，目标位置为停车位置，当车辆在寻找停车位置时，车辆在做匀速直线运动，将第二时刻的障碍物在第二时刻的状态空
间信息带入到匀速运动信息预测模型中进行计算，得到空间状态信息；
68.可选的，可以按如下公式(1)表示匀速运动信息预测模型：
[0069][0070]
式中，为状态空间函数，状态空间函数用于记录第二时刻的状态空间信息，为状态空间转移函数，状态空间转移函数用于预测第一时刻的状态空间信息，其中，x、y为第二时刻的状态空间信息中的位置(如，预设的二维坐标系下的坐标值)，v
x
为第二时刻的状态空间信息中的速度(如，预设的二维坐标系下x方向的速度)，vy为第二时刻的状态空间信息中的速度(如，预设的二维坐标系下y方向的速度)，x(t)、y(t)为第二时刻的障碍物在第二时刻的状态空间信息中的的位置(如，预设的二维坐标系系下的坐标值)，δt为第一时刻与第二时刻的时间差值。
[0071]
当确定智能驾驶设备泊入目标位置时，基于匀转速运动信息预测模型和障碍物轨迹参数信息，预测第二时刻的障碍物在第一时刻的的状态空间信息。
[0072]
其中，匀转速运动信息预测模型用于当智能驾驶设备在做匀转速运动时(如转弯、掉头等)，预测第二时刻的障碍物在第一时刻的的状态空间信息。
[0073]
示例性的，假设在停车场景下，智能驾驶设备为车辆，目标位置为停车位置，当车辆在泊入停车位置时，车辆在做匀转速运动，将障碍物轨迹参数信息带入到匀转速运动信息预测模型中，预测第二时刻的障碍物在第一时刻的的状态空间信息；
[0074]
可选的，可以按如下公式(2)表示匀转速运动信息预测模型：
[0075][0076]
式中，x(t)为状态空间函数，状态空间函数用于记录第二时刻的状态空间信息，x(t+δt)为状态空间转移函数，状态空间转移函数用于预测第一时刻的状态空间信息，其中，x、y代表第二时刻的状态空间信息中的位置(如，预设的二维坐标系下的坐标值)，v为第二时刻的状态空间信息中的速度，φ为第二时刻的状态空间信息中的角度(如，偏航角)，为第二时刻的状态空间信息中的角速度，v(t)为第二时刻的障碍物在第二时刻的状态空间
信息中的速度，φ(t)为第二时刻的障碍物在第二时刻的状态空间信息中的角度(如，偏航角)，为第二时刻的障碍物在第二时刻的状态空间信息中的角速度，δt为第一时刻与第二时刻的时间差值。
[0077]
当确定智能驾驶设备泊出目标位置时，基于匀转速运动信息预测模型和障碍物轨迹参数信息，预测第二时刻的障碍物在第一时刻的的状态空间信息。
[0078]
示例性的，假设在停车场景下，智能驾驶设备为车辆，目标位置为停车位置，当车辆在泊出停车位置时，车辆在做匀转速运动，将障碍物轨迹参数信息带入到匀转速运动信息预测模型，预测第二时刻的障碍物在第一时刻的的状态空间信息，此步骤中的匀转速运动信息预测模型参考上述对匀转速运动信息预测模型的解释说明，此处不重复赘述。
[0079]
在本实施例中，当智能驾驶设备在寻找目标位置时，采用匀速运动信息预测模型预测状态空间信息，当智能驾驶设备泊入或者泊出目标位置时，采用匀转速运动信息预测模型预测状态空间信息，使智能驾驶设备在不同运动状态场景下，采用更加适应的运行信息预测模型预测状态空间信息，针对性更强，有利于提高预测的状态空间信息的准确性，进而提高对障碍物的轨迹进行跟踪预测的准确度。
[0080]
在本实施例的一些可选的实现方式中，如图4所示，步骤s205，根据预测轨迹信息和当前障碍物信息，确定当前障碍物的轨迹，包括如下步骤s2050至步骤s2051：
[0081]
步骤s2050：根据预测轨迹信息和当前障碍物信息，建立代价矩阵。
[0082]
具体的，可以计算预测轨迹信息中预测轨迹的像素数据与当前障碍物信息中当前障碍物信息中的像素数据的像素重合度，得到匹配权重，根据匹配权重，建立代价矩阵。
[0083]
示例性的，代价矩阵如图9所示，包括当前障碍物1、当前障碍物2、...、当前障碍物i,预测轨迹1、预测轨迹2、...、预测轨迹j，cost(1,1)为预测轨迹1和当前障碍物1的匹配权重，cost(1,2)为预测轨迹1和当前障碍物2的匹配权重，以此类推，其中，i,j为正整数。
[0084]
步骤s2051：基于代价矩阵，确定当前障碍物的轨迹。
[0085]
具体的，基于线性最优分配法(如，匈牙利匹配算法)，对代价矩阵进行线性最优分配，确定当前障碍物的预测轨迹。
[0086]
在本实施例中，通过根据预测轨迹信息和当前障碍物信息建立代价矩阵，可以将预测轨迹信息的每一条预测轨迹和当前障碍物信息的每个当前障碍物进行匹配并得到匹配结果，进一步对障碍物进行实时精确跟踪，且通过代价矩阵更加准确的确定当前障碍物的轨迹。
[0087]
在本实施例的一些可选的实现方式中，步骤s2050，根据预测轨迹信息和当前障碍物信息，建立代价矩阵，包括：
[0088]
遍历计算预测轨迹信息中的每条预测轨迹与当前障碍物信息中的每个当前障碍物的匹配权重，作为代价参数，并根据代价参数建立代价矩阵。
[0089]
具体的，遍历计算预测轨迹信息中的每一条预测轨迹和当前障碍物信息(如当前障碍物的像素数据)的匹配权重，将匹配权重作为代价参数，建立代价矩阵。
[0090]
其中，根据如下公式(3)计算匹配权重cost:
[0091]
cost＝factor*appearance+(1-factor)*distance
ꢀꢀꢀꢀ
(3)
[0092]
式中，cost为匹配权重，appearance为预测轨迹中的像素数据和当前障碍物信息中的像素数据的重合度，factor为常数(如，0.7)，distance为预测轨迹的中心点和当前障
碍物之间的距离。
[0093]
在本实施例中，通过遍历计算预测轨迹信息中的预测轨迹和当前障碍物信息中每个当前障碍物的匹配权重，建立代价矩阵，有利于对障碍物进行实时精确跟踪，进而提高对障碍物的轨迹进行跟踪预测的准确度。
[0094]
在本实施例的一些可选的实现方式中，如图5所示，步骤s2051，基于代价矩阵，确定当前障碍物的轨迹包括如下步骤s20510至步骤s20511：
[0095]
步骤s20510：基于预测轨迹信息，对代价矩阵进行线性最优分配，得到当前障碍物的轨迹信息匹配结果。
[0096]
具体的，可以利用匈牙利算法，采用预测轨迹信息中预测轨迹的时间长度对代价矩阵进行线性最优分配，不仅能够全面对对当前障碍物和预测轨迹进行匹配，还提高当前障碍物和预测轨迹的匹配效率，可以快速又准确的得到轨迹信息匹配结果。
[0097]
步骤s20511：基于轨迹信息匹配结果，确定当前障碍物的轨迹。
[0098]
具体的，轨迹信息匹配结果可以包括预测轨迹信息中的每一条预测轨迹与每一个当前障碍物的匹配结果(如，是否匹配)，根据该匹配结果，确定当前障碍物的轨迹。
[0099]
在本实施例中，通过对代价矩阵进行线性最优分配，提高预测轨迹与当前障碍物之间匹配的准确性，使得可以根据轨迹信息匹配结果，对第二时刻的障碍物进行实时精确跟踪，确定当前障碍物的轨迹，有利于提高对当前障碍物的轨迹的进行跟踪预测的准确性。
[0100]
在本实施例的一些可选的实现方式中，如图6所示，步骤s20510，基于预测轨迹信息，对代价矩阵进行线性最优分配，得到当前障碍物的轨迹信息匹配结果包括如下步骤s205100至步骤s205105：
[0101]
步骤s205100：获取预测轨迹信息中的每条预测轨迹的时间长度，并根据时间长度将每条预测轨迹进行分组，得到第一组预测轨迹和第二组预测轨迹。
[0102]
具体的，时间长度可以是每条预测轨迹的跟踪周期，跟踪周期通过统计对每条预测轨迹的跟踪次数获得。
[0103]
步骤s205102：根据第一组预测轨迹，从代价矩阵中，获取第一待匹配代价矩阵。
[0104]
示例性的，假设第一组预测轨迹中包括预测轨迹1和预测轨迹2，则从代价矩阵中获取与预测轨迹1相关的代价参数以及与预测轨迹2相关的代价参数，预测轨迹1相关的代价参数以及预测轨迹2相关的代价参数构成第一待匹配代价矩阵。
[0105]
步骤s205103：对第一待匹配代价矩阵进行线性最优分配，获得第一匹配列表和第一未匹配列表。
[0106]
具体的，可以采用匈牙利算法对第一待匹配代价矩阵进行线性最优分配，得到第一匹配列表和第一未匹配列表；其中，第一匹配列表包括第一组预测轨迹中成功匹配的预测轨迹的代价参数，代价参数可以表示预测轨迹与其对应的当前障碍物的匹配程度，例如，代价参数越高，说明预测轨迹与其对应的当前障碍物的匹配程度越高，第一未匹配列表包括第一组预测轨迹中没有成功匹配的预测轨迹的代价参数(即表示预测轨迹与其对应的当前障碍物的匹配程度低)，其包括第一组预测轨迹中没有成功匹配到当前障碍物的预测轨迹和/或第一组预测轨迹中没有成功匹配到的预测轨迹的当前障碍物。
[0107]
步骤s205104：基于第一未匹配列表和第二组预测轨迹，从代价矩阵中获取第二待匹配代价矩阵。
[0108]
示例性的，假设第一未匹配列表中包括预测轨迹1，第二组预测轨迹中包括预测轨迹3和预测轨迹4，则从代价矩阵中分别获取与预测轨迹1、预测轨迹3、预测轨迹4相关的代价参数，预测轨迹1、预测轨迹3、预测轨迹4相关的代价参数构成第二待匹配代价矩阵。
[0109]
步骤s205105：对第二待匹配代价矩阵进行线性最优分配，获得第二匹配列表和第二未匹配列表。
[0110]
具体的，可以采用匈牙利算法对第二待匹配代价矩阵进行线性最优分配，得到第二匹配列表和第二未匹配列表；其中，第二匹配列表包括第二组预测轨迹中匹配成功的预测轨迹的代价参数，代价参数可以表示预测轨迹与其对应的当前障碍物的匹配程度，例如，代价参数越高，说明预测轨迹与其对应的当前障碍物的匹配程度越高，第二未匹配列表包括第二组预测轨迹中没有成功匹配的预测轨迹的代价参数(即表示预测轨迹与其对应的当前障碍物的匹配程度低)，其包括第二组预测轨迹中没有成功匹配到当前障碍物的预测轨迹和/或第二组预测轨迹中没有成功匹配到预测轨迹的当前障碍物。
[0111]
步骤s20506：将第一匹配列表、第二匹配列表和第二未匹配列表进行合并，得到当前障碍物的轨迹信息匹配结果。
[0112]
具体的，轨迹信息匹配结果包括匹配成功的代价参数，即预测轨迹匹配到其对应的当前障碍物、没有匹配成功的代价参数，即没有成功匹配到当前障碍物的预测轨迹和/或没有成功匹配到预测轨迹的当前标障碍物。
[0113]
在本实施例中，通过时间长度将预测轨迹信息中的预测轨迹进行分组，对预测轨迹进行优先级排列，得到第一组预测轨迹和第二组预测轨迹，进而根据第一组预测轨迹，从代价矩阵中获取第一待匹配代价矩阵，对第一待匹配代价矩阵进行线性最优分配，得到第一匹配列表和第一未匹配列表，进一步根据第一未匹配列表和第二组预测轨迹，从代价矩阵中获取第二待匹配代价矩阵，对第二待匹配代价矩阵进行线性最优分配，通过采用这种具有优先级的匹配方式，提高预测轨迹与当前障碍物之间匹配的准确性和全面性，提高轨迹信息匹配结果的可靠性，有利于提高对障碍物的轨迹的进行跟踪预测的准确性。
[0114]
在本实施例的一些可选的实现方式中，步骤s205100，根据时间长度将每条预测轨迹进行分组，得到第一组预测轨迹和第二组预测轨迹，包括：
[0115]
若时间长度大于且等于预设时间阈值，则将时间长对应的预测轨迹加入到第一组预测轨迹。
[0116]
具体的，时间预设阈值根据对历史经验数据分析获得。
[0117]
若时间长度小于预设时间阈值，则将时间长对应的预测轨迹加入到第二组预测轨迹。
[0118]
在本实施例中，通过时间长度和预设时间阈值将每条预测轨迹进行分组，有利于通过采用具有优先级的匹配方式，提高预测轨迹与当前障碍物之间的匹配效率以及匹配的准确性和全面性，进而有利于提高对障碍物的轨迹的进行跟踪预测的准确性。
[0119]
在本实施例的一些可选的实现方式中，步骤s20511，基基于轨迹信息匹配结果，确定当前障碍物的轨迹，包括：
[0120]
轨迹信息匹配结果包括当前障碍物匹配到对应的预测轨迹、当前障碍物未匹配到对应的预测轨迹以及预测轨迹未匹配到对应的当前障碍物；
[0121]
若当前障碍物匹配到对应的预测轨迹，则将当前障碍物匹配到对应的预测轨迹作
为当前障碍物的轨迹。
[0122]
具体的，若当前障碍物匹配到对应的预测轨迹，则说明当前障碍物与第二时刻的障碍物是同一障碍物，则可以将预测的第二时刻的障碍物在第一时刻的预测轨迹作为当前障碍物的轨迹。
[0123]
若当前障碍物未匹配到对应的预测轨迹，则为当前障碍物添加标记信息。
[0124]
具体的，标记信息可以是轨迹跟踪id，即为当前障碍物添加新的轨迹跟踪id，以便于为当前障碍物创建新的轨迹并记录，从而确定当前障碍物的轨迹。若当前障碍物未匹配到对应的预测轨迹，则说明当前障碍物与第二时刻的障碍物为不同的障碍物，则为当前障碍物添加标记信息。
[0125]
若预测轨迹未匹配到对应的当前障碍物，则在预设时间段后，删除预测轨迹。
[0126]
其中，预设时间段可以是轨迹跟踪周期的次数，如10次，其根据实际应用场景设定，此处不作具体限定。
[0127]
具体的，若预测轨迹未匹配到对应的当前障碍物，则说明第二时刻的障碍物在第一时刻已经不在智能驾驶设备预设的感兴趣区域内，可以在预设之间段后，确定第二时刻的障碍物不再出现在智能驾驶设备预设的感兴趣区域内，并删除预测轨迹，减少存储资源占用。
[0128]
在本实施例中，通过轨迹信息匹配结果中当前障碍物与预测轨迹的匹配结果，确定当前障碍物的轨迹，可以判断当前障碍物与第二时刻的障碍物是否是同一障碍物，是否已经不在智能驾驶设备预设的感兴趣区域内，以及确定当前障碍物是否是新出现的障碍物，对障碍物进行实时精确跟踪，提高对障碍物的轨迹进行跟踪预测的准确性。
[0129]
在本实施例的一些可选的实现方式中，在步骤s201中，预设的感兴趣区域包括整体感兴趣区域、环视感兴趣区域和超声感兴趣区域；
[0130]
其中，整体感兴趣区域与超声感兴趣区域相同；
[0131]
其中，整体感兴趣区域为以智能驾驶设备的中心为原点的矩形区域，矩形区域的前后区域为智能驾驶设备的长度的n倍，矩形区域的左右区域为智能驾驶设备的长度的m倍；
[0132]
其中，环视感兴趣区域为以智能驾驶设备的中心为原点的拼接半圆，拼接半圆包括前部拼接半圆和后部拼接半圆，前部拼接半圆的直径为智能驾驶设备的长度的x倍，后部拼接半圆的直径为智能驾驶设备的长度的y倍；
[0133]
具体的，环视感兴趣区域指的是环视摄像头的环视覆盖区域，超声感兴趣区域指的是超声波传感器的超声波覆盖区域，其中，矩形的前后区域以及矩形的左右区域以矩形中心点为界线划分，拼接半圆的前部拼接半圆和后部拼接半圆以拼接半圆中心点为界划分。
[0134]
示例性的，假设智能驾驶设备为车辆，整体感兴趣区域则是以车辆中心为原点的矩形区域，矩形区域的前后区域为车辆长度的n倍(如，5倍、5.5倍等)，矩形区域的左右区域为车辆长度的m倍(如，3倍、3.5倍等)，超声感兴趣区域与整体感兴趣区域相同，此处不再赘述；
[0135]
示例性的，假设智能驾驶设备为车辆，环视感兴趣区域为以车辆中心为原点的拼接半圆，该拼接半圆包括前部拼接半圆和后部拼接半圆，前部拼接半圆的直径为车辆长度
的x倍(如，2倍、0.5倍等)，后部拼接半圆的直径为车辆长度的y倍(如，1倍、1.5倍等)。
[0136]
在本实施例中，结合环视摄像头以及超声波传感器的检测特性，对整体感兴趣区域、环视感兴趣区域和超声感兴趣区域进行针对性的设计，保证获得的视觉障碍物信息和超声障碍物信息的有效性，从而提高当前障碍物信息的准确度，有利于提高对障碍物的轨迹进行跟踪预测的准确性。
[0137]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0138]
在一实施例中，提供一种障碍物轨迹跟踪装置，该障碍物轨迹跟踪装置与上述实施例中障碍物轨迹跟踪方法一一对应。如图7所示，该障碍物轨迹跟踪装置包括障碍物信息获取模块30、当前障碍物信息确定模块31、轨迹信息获取模块32、轨迹预测模块33和轨迹确定模块34。各功能模块详细说明如下：
[0139]
障碍物信息获取模块30，用于获取智能驾驶设备在第一时刻的预设的感兴趣区域内第一传感器采集的视觉障碍物信息和第二传感器采集的超声障碍物信息.
[0140]
当前障碍物信息确定模块31，用于基于视觉障碍物信息和超声障碍物信息，确定当前障碍物信息。
[0141]
轨迹信息获取模块32，用于获取智能驾驶设备在第二时刻的障碍物轨迹信息，其中，第二时刻早于第一时刻。
[0142]
轨迹预测模块33，用于根据障碍物轨迹信息、当前障碍物信息和运动信息预测模型对当前障碍物进行轨迹预测，得到预测轨迹信息。
[0143]
轨迹确定模块34，用于根据预测轨迹信息和当前障碍物信息，确定当前障碍物的轨迹。
[0144]
可选的，在障碍物信息获取模块30中，预设的感兴趣区域包括整体感兴趣区域、环视感兴趣区域和超声感兴趣区域；
[0145]
其中，整体感兴趣区域与超声感兴趣区域相同；
[0146]
其中，整体感兴趣区域为以智能驾驶设备的中心为原点的矩形区域，矩形区域的前后区域为智能驾驶设备的长度的n倍，矩形区域的左右区域为智能驾驶设备的长度的m倍；
[0147]
其中，环视感兴趣区域为以智能驾驶设备的中心为原点的拼接半圆，拼接半圆包括前部拼接半圆和后部拼接半圆，前部拼接半圆的直径为智能驾驶设备的长度的x倍，后部拼接半圆的直径为智能驾驶设备的长度的y倍。
[0148]
可选的，轨迹预测模块33包括：
[0149]
参数信息获取子模块，用于遍历障碍物轨迹信息，获取障碍物轨迹参数信息。
[0150]
信息预测子模块，用于根据障碍物轨迹参数信息和运动信息预测模型，预测第二时刻的障碍物在第一时刻的状态空间信息。
[0151]
轨迹预测子模块，用于根据当前障碍物信息和第一时刻的状态空间信息预测第二时刻的障碍物在第一时刻的轨迹，得到预测轨迹信息。
[0152]
可选的，运动信息预测模型包括匀速运动信息预测模型和匀转速运动信息预测模型；信息预测子模块包括：
[0153]
第一信息预测单元，用于当确定智能驾驶设备在寻找目标位置时，基于匀速运动信息预测模型和障碍物轨迹参数信息，预测第二时刻的障碍物在第一时刻的的状态空间信息。或
[0154]
第二信息预测单元，用于当确定智能驾驶设备泊入目标位置时，基于匀转速运动信息预测模型和障碍物轨迹参数信息，预测第二时刻的障碍物在第一时刻的的状态空间信息。或
[0155]
第三信息预测单元，用于当确定智能驾驶设备泊出目标位置时，基于匀转速运动信息预测模型和障碍物轨迹参数信息，预测第二时刻的障碍物在第一时刻的的状态空间信息。
[0156]
可选的，轨迹确定模块34包括：
[0157]
矩阵建立子模块，用于根据预测轨迹信息和当前障碍物信息，建立代价矩阵。
[0158]
轨迹确定子模块，用于基于代价矩阵，确定当前障碍物的轨迹。
[0159]
可选的，矩阵建立子模块包括：
[0160]
矩阵建立单元，用于遍历计算预测轨迹信息中的每条预测轨迹与当前障碍物信息中的每个当前障碍物的匹配权重，作为代价参数，并根据代价参数建立代价矩阵。
[0161]
可选的，轨迹确定子模块包括：
[0162]
分配单元，用于基于预测轨迹信息，对代价矩阵进行线性最优分配，得到当前障碍物的轨迹信息匹配结果。
[0163]
轨迹确定单元，用于基于轨迹信息匹配结果，确定当前障碍物的轨迹。
[0164]
可选的，分配单元包括：
[0165]
分组子单元，用于获取预测轨迹信息中的每条预测轨迹的时间长度，并根据时间长度将每条预测轨迹进行分组，得到第一组预测轨迹和第二组预测轨迹。
[0166]
第一矩阵获取子单元，用于根据第一组预测轨迹，从代价矩阵中，获取第一待匹配代价矩阵。
[0167]
第一分配子单元，用于对第一待匹配代价矩阵进行线性最优分配，获得第一匹配列表和第一未匹配列表。
[0168]
第二矩阵获取子单元，用于基于第一未匹配列表和第二组预测轨迹，从代价矩阵中获取第二待匹配代价矩阵。
[0169]
第二分配子单元，用于对第二待匹配代价矩阵进行线性最优分配，获得第二匹配列表和第二未匹配列表。
[0170]
合并子单元，用于将第一匹配列表、第二匹配列表和第二未匹配列表进行合并，得到当前障碍物的轨迹信息匹配结果。
[0171]
可选的，分组子单元包括：
[0172]
第一判断元件，用于若时间长度大于且等于预设时间阈值，则将时间长对应的预测轨迹加入到第一组预测轨迹。
[0173]
第二判断元件，用于若时间长度小于预设时间阈值，则将时间长对应的预测轨迹加入到第二组预测轨迹。
[0174]
可选的，轨迹确定单元包括：
[0175]
匹配结果确定子单元，用于轨迹信息匹配结果包括当前障碍物匹配到对应的预测
轨迹、当前障碍物未匹配到对应的预测轨迹以及预测轨迹未匹配到对应的当前障碍物。
[0176]
第一判断子单元，用于若当前障碍物匹配到对应的预测轨迹，则将当前障碍物匹配到对应的预测轨迹作为当前障碍物的轨迹。
[0177]
第二判断子单元，用于若当前障碍物未匹配到对应的预测轨迹，则为当前障碍物添加标记信息。
[0178]
第三判断子单元，用于若预测轨迹未匹配到对应的当前障碍物，则在预设时间段后，删除预测轨迹。
[0179]
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本技术中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。
[0180]
关于障碍物轨迹跟踪装置的具体限定可以参见上文中对于障碍物轨迹跟踪方法方法的限定，在此不再赘述。上述障碍物轨迹跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于智能驾驶设备中的处理器中，也可以以软件形式存储于智能驾驶设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0181]
在一个实施例中，提供了一种智能驾驶设备，该智能驾驶设备可以是服务器，其内部结构图可以如图8所示。该智能驾驶设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该智能驾驶设备的处理器用于提供计算和控制能力。该智能驾驶设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能驾驶设备的数据库用于存储障碍物轨迹跟踪方法中涉及到的数据。该智能驾驶设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种障碍物轨迹跟踪方法。
[0182]
在一个实施例中，提供了一种智能驾驶设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中障碍物轨迹跟踪方法的步骤，例如图2所示的步骤201至步骤205及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中障碍物轨迹跟踪装置的各模块/单元的功能，例如图3所示模块30至模块34的功能。为避免重复，这里不再赘述。
[0183]
所述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated ci rcuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
[0184]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行
存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
[0185]
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
[0186]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中障碍物轨迹跟踪方法的步骤，例如图2所示的步骤201至步骤205及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中障碍物轨迹跟踪装置的各模块/单元的功能，例如图3所示模块30至模块34的功能。为避免重复，这里不再赘述。
[0187]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0188]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0189]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。