目标跟踪方法、智能设备及计算机可读存储介质与流程

文档序号:37518531发布日期:2024-04-01 14:31阅读:101来源:国知局

本技术涉及自动驾驶,具体涉及一种目标跟踪方法、智能设备及计算机可读存储介质。


背景技术:

1、在对车辆进行自动驾驶控制时会利用车辆上的传感器感知车辆周围的目标,并对目标进行跟踪,进而根据跟踪的结果对车辆进行轨迹规划与控制。在车辆的实际行驶环境中,车辆周围通常存在多个目标,因此需要对多个目标同时进行准确、稳定的跟踪,以保证车辆行驶的安全性。

2、车辆上通常会设置有多种传感器(如相机、激光雷达),可以对多种传感器感知得到的目标数据进行融合,根据融合后的目标数据进行目标跟踪。但是,目前常规的多目标跟踪方法主要为局部跟踪,会引入先前跟踪结果的误差,降低了多目标跟踪的准确性。

3、相应地,本领域需要一种新的技术方案来解决上述问题。


技术实现思路

1、为了克服上述缺陷,提出了本技术,以提供解决或至少部分地解决如何利用多种传感器感知得到的目标数据,实现准确、稳定、可靠的多目标跟踪的技术问题的目标跟踪方法、智能设备及计算机可读存储介质。

2、在第一方面,提供一种目标跟踪方法,应用于智能设备,所述智能设备设置有多个传感器,所述方法包括:

3、获取数据帧序列,所述数据帧序列包括多个数据帧的帧信息,所述多个数据帧来自于所述多个传感器采集到的数据帧,所述多个数据帧包括当前帧和多个历史帧,所述当前帧和多个历史帧按照时序顺序排列,所述帧信息包括数据帧中目标的目标特征;

4、根据当前帧的目标与每一所述历史帧的目标的目标特征,对当前帧的目标与每一所述历史帧的目标进行匹配,以获取当前帧的目标在每一所述历史帧对应的历史时刻的目标匹配关系;

5、根据当前帧的目标在每一所述历史时刻的目标匹配关系,对当前帧的目标和已存在的目标轨迹进行关联分析,以确定当前帧的目标与所述已存在的目标轨迹所表示的目标是否为同一个目标;

6、若是,则根据当前帧的目标,更新所述已存在的目标轨迹;

7、若否,则根据当前帧的目标,建立新的目标轨迹。

8、在上述目标跟踪方法的一个技术方案中,所述目标匹配关系包括:目标序号及其匹配置信度,所述目标序号根据所述历史帧中匹配目标的序号确定,所述匹配目标为所述历史帧中与当前帧的目标被匹配成同一目标的目标。

9、在上述目标跟踪方法的一个技术方案中,所述多个传感器包括第一传感器和第二传感器,所述第一传感器的数据帧采集频率大于所述第二传感器的数据帧采集频率,所述第一传感器采集的数据帧中目标的误差大于所述第二传感器采集的数据帧中目标的误差,所述获取数据帧序列,包括:

10、若当前帧是所述第一传感器采集的数据帧,则获取时序位于当前帧之前且数量为第一预设值的第一历史帧,并获取时序位于当前帧之前且数量为第二预设值的第二历史帧,根据当前帧、所述第一历史帧和所述第二历史帧,获取所述数据帧序列;

11、若当前帧是所述第二传感器采集的数据帧,则获取时序位于当前帧之前且数量为第三预设值的第二历史帧,根据当前帧、所述第二历史帧,获取所述数据帧序列;

12、其中,所述第一历史帧为所述第一传感器采集的数据帧,所述第二历史帧为所述第二传感器采集的数据帧,所述第一预设值小于所述第二预设值,所述第一预设值与所述第二预设值之和等于所述第三预设值。

13、在上述目标跟踪方法的一个技术方案中,所述数据帧中目标的目标特征通过以下方式得到:

14、对所述数据帧进行目标检测,以至少获取所述数据帧中目标的检测框;

15、获取所述数据帧的数据特征、时间戳;

16、获取采集所述数据帧的传感器的类型;

17、至少根据所述检测框、数据特征、时间戳、类型,获取所述目标特征。

18、在上述目标跟踪方法的一个技术方案中,所述多个传感器包括激光雷达和相机,所述获取所述数据帧的数据特征,包括:

19、若所述数据帧为激光雷达采集的点云帧,则获取所述点云帧中目标的运动信息;

20、若所述数据帧为相机采集的图像帧,则获取所述图像帧的视觉特征。

21、在上述目标跟踪方法的一个技术方案中,所述数据帧的目标包括实际目标和虚拟目标,所述实际目标为对所述数据帧进行目标检测得到的目标,所述虚拟目标为所述数据帧的背景,所述方法还包括通过以下方式确定所述目标匹配关系中的目标序号:

22、若所述匹配目标为所述实际目标,则将所述实际目标的序号作为所述目标序号;

23、若所述匹配目标为所述虚拟目标,则将第四预设值作为所述目标序号。

24、在上述目标跟踪方法的一个技术方案中,所述对当前帧的目标与每一所述历史帧的目标进行匹配,包括:

25、采用transformer网络,根据当前帧的目标与每一所述历史帧的目标的目标特征,对当前帧的目标与每一所述历史帧的目标进行匹配。

26、在上述目标跟踪方法的一个技术方案中,所述transformer网络包括输入层、编码器和输出层;

27、所述输入层被配置成获取当前帧的目标与每一所述历史帧的目标的目标特征;

28、所述编码器被配置成对所述当前帧的目标与每一所述历史帧的目标的目标特征进行编码处理,得到编码结果,所述编码结果包括当前帧的目标与每一所述历史帧的目标之间的关联权重,所述关联权重表示当前帧的目标与所述历史帧的目标之间的相关程度;

29、所述输出层被配置成根据所述编码结果,确定当前帧的目标在每一所述历史帧对应的历史时刻的目标匹配关系。

30、在上述目标跟踪方法的一个技术方案中,所述编码器包括第一掩码层,所述第一掩码层被配置成:

31、若当前帧的目标与所述历史帧的目标之间的距离大于设定值,则将当前帧的目标与所述历史帧的目标之间的关联权重与一个数值为零的系数相乘;

32、其中,所述设定值为相对时间与预设速度阈值的乘积,所述相对时间为当前帧的时间戳与所述历史帧的时间戳之间的时间差。

33、在上述目标跟踪方法的一个技术方案中,所述transformer网络还包括解码器;

34、所述解码器被配置成对所述当前帧的目标与每一所述历史帧的目标的目标特征以及所述编码结果进行解码处理,得到解码结果;

35、所述输出层还被配置成根据所述解码结果,确定当前帧的目标在每一所述历史帧对应的历史时刻的目标匹配关系。

36、在上述目标跟踪方法的一个技术方案中,所述多个传感器包括第三传感器和第四传感器,所述第三传感器采集的数据帧中目标的误差大于所述第四传感器采集的数据帧中目标的误差,所述解码器包括第二掩码层,所述第二掩码层被配置成:

37、根据所述编码结果中的所述关联权重,从每一所述历史帧的目标中,获取与当前帧的目标被匹配成同一目标的匹配目标;

38、若当前帧为第四传感器采集的数据帧,则从所述与当前帧的目标被匹配成同一目标的匹配目标中,获取指定目标,所述指定目标为第三传感器采集的数据帧中的匹配目标;

39、将所述指定目标的目标特征与一个数值为零的系数相乘。

40、在上述目标跟踪方法的一个技术方案中,当前帧的目标为多个,所述已存在的目标轨迹为多条,所述对当前帧的目标和已存在的目标轨迹进行关联分析,包括:

41、采用匈牙利算法,根据当前帧的目标在每一所述历史时刻的目标匹配关系,对当前帧的各目标与每一条所述已存在的目标轨迹进行一对一的关联匹配,以分别确定所述各目标与每一条所述已存在的目标轨迹所表示的目标是否为同一个目标。

42、在上述目标跟踪方法的一个技术方案中,所述对当前帧的各目标与每一条所述已存在的目标轨迹进行一对一的关联匹配,包括:

43、根据当前帧的各目标在每一所述历史时刻的目标匹配关系,分别获取所述各目标与每一条所述已存在的目标轨迹之间的第一关联分数;

44、采用匈牙利算法,根据所述各目标与每一条所述已存在的目标轨迹之间的第一关联分数,对所述各目标与每一条所述已存在的目标轨迹进行一对一的关联匹配;

45、其中,所述第一关联分数表示当前帧的目标与所述已存在的目标轨迹所表示目标为同一目标的置信度。

46、在上述目标跟踪方法的一个技术方案中,所述获取所述各目标与每一条所述已存在的目标轨迹之间的第一关联分数,包括:

47、针对所述各目标,获取所述目标在每一所述历史时刻与每一条所述已存在的目标轨迹之间的第二关联分数;

48、将与每一条所述已存在的目标轨迹之间的所有第二关联分数之和,分别作为与每一条所述已存在的目标轨迹之间的所述第一关联分数;

49、其中,若所述目标在所述历史时刻的目标序号没有在所述已存在的目标轨迹中出现过,则所述第二关联分数为零;

50、若所述目标在所述历史时刻的目标序号在所述已存在的目标轨迹中出现过,则对所述目标序号的匹配置信度与第五预设值进行加权和计算,根据加权和计算的结果,获取所述第二关联分数;

51、所述第五预设值表示当前帧的目标在所述历史时刻的目标序号在所述已存在的目标轨迹中出现过。

52、在上述目标跟踪方法的一个技术方案中,所述获取所述目标在每一所述历史时刻与每一条所述已存在的目标轨迹之间的第二关联分数,包括:

53、针对每一所述历史帧对应的历史时刻,若所述目标在所述历史时刻的匹配置信度大于设定阈值,则获取所述目标在所述历史时刻与每一条所述已存在的目标轨迹之间的第二关联分数。

54、在上述目标跟踪方法的一个技术方案中,所述方法还包括:

55、若所述已存在的目标轨迹在预设时长内未进行过更新,则删除所述已存在的目标轨迹。

56、在第二方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述目标跟踪方法的技术方案中任一项技术方案所述的方法。

57、在第三方面,提供一种智能设备,该智能设备包括至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器中存储有计算机程序,所述计算机程序被所述至少一个处理器执行时实现上述目标跟踪方法的技术方案中任一项技术方案所述的方法。

58、本技术上述一个或多个技术方案,至少具有如下一种或多种有益效果:

59、在实施本技术提供的目标跟踪方法的技术方案中,该方法应用于智能设备,智能设备设置有多个传感器,该方法包括以下步骤:获取数据帧序列,数据帧序列包括多个数据帧的帧信息,多个数据帧来自于多个传感器采集到的数据帧,多个数据帧包括当前帧和多个历史帧,当前帧和多个历史帧按照时序顺序排列,帧信息包括数据帧中目标的目标特征;根据当前帧的目标与每一历史帧的目标的目标特征,对当前帧的目标与每一历史帧的目标进行匹配,以获取当前帧的目标在每一历史帧对应的历史时刻的目标匹配关系;根据当前帧的目标在每一历史时刻的目标匹配关系,对当前帧的目标和已存在的目标轨迹进行关联分析,以确定当前帧的目标与已存在的目标轨迹所表示的目标是否为同一个目标;若是,则根据当前帧的目标,更新已存在的目标轨迹;若否,则根据当前帧的目标,建立新的目标轨迹。

60、在上述实施方案中,已存在的目标轨迹包含了目标在初始时刻到最新时刻的所有信息(如目标特征),因此,已存在的目标轨迹是一个全局信息,对当前帧的目标和已存在的目标轨迹进行关联分析实际上是对当前帧的目标和全局信息进行关联分析,根据关联分析的结果所实现的目标跟踪也就是对目标的全局跟踪,这相比于现有技术中的局部跟踪,能够显著提高目标跟踪的准确性。此外,在上述实施方案中,利用智能设备上多个传感器采集的数据帧进行目标跟踪,相当于融合了多个传感器的目标检测结果,能够进一步提高目标跟踪的准确性。

当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!