一种改进的图像多目标级联匹配方法及系统与流程

本发明涉及目标跟踪，具体而言，涉及一种改进的图像多目标级联匹配方法及系统。

背景技术：

1、在车载单目摄像头感知领域，要求对感知目标匹配跟踪。随着神经网络的发展，deepsort多目标跟踪算法使用了卷积神经网络(cnn)提取图像特征，结合历史特征的缓存，可以有效的解决对图像目标id变换问题。

2、理论上，deepsort多目标跟踪算法有效可行，但是在实际应用上，一方面，cnn特征提取的向量精度要求很高，一般工程化后板端处理器精度难以满足要求；另一方面，cnn处理数据量大，由此造成算法计算量大，效率低下。

技术实现思路

1、本发明实施例提供了一种改进的图像多目标级联匹配方法及系统，以解决现有多目标跟踪算法对计算精度要求过高，以及处理数据量大，由此造成算法计算量大，效率低下的技术问题。

2、为解决上述技术问题，本发明实施例提供了如下技术方案：

3、一方面，本发明实施例提供了一种改进的图像多目标级联匹配方法，所述改进的图像多目标级联匹配方法包括：

4、获取图像中每一个目标的矩形框，获取方式可通过神经网络模型或其他手段检出；

5、计算出所述矩形框的图像坐标所对应的世界坐标；

6、对比前后帧目标，基于前后帧目标的运动特点，预测当前帧目标所在位置范围，利用目标对应的所述矩形框的世界坐标对目标进行筛选，筛除距离相差超过预设关联门限距离阈值的目标；

7、针对筛选后的目标，基于目标对应的所述矩形框的图像坐标与大小以及所述矩形框的世界坐标，并结合预设的权重向量，构建目标的特征向量；

8、以所述特征向量替代级联匹配算法中利用神经网络提取的目标外观特征，实现对级联匹配算法的改进，并基于改进的级联匹配算法实现多目标匹配。

9、进一步地，所述计算出所述矩形框的图像坐标所对应的世界坐标，包括：

10、利用matlab自带的camera工具标定相机内参，并利用逆透视变换ipm，求得相机外参；

11、以所述矩形框的底边中点的图像坐标作为测距坐标,利用相机的内参和外参将所述测距坐标变换到世界坐标下,再使用车宽测距算法修正所述矩形框的坐标，得到所述测距坐标在世界坐标系下的二维鸟瞰图坐标。

12、进一步地，基于前后帧目标的运动特点，预测当前帧目标所在位置范围，利用目标对应的所述矩形框的世界坐标对目标进行筛选，筛除距离相差超过预设关联门限的目标，包括：

13、基于前后帧目标运动特点，设定世界坐标下目标横向运动的最大距离阈值x_thres和纵向运动的最大距离阈值y_thres阈值；

14、判断两个所述矩形框对应的二维鸟瞰图坐标中的横坐标的差值的绝对值是否大于x_thres，以及两个所述矩形框对应的二维鸟瞰图坐标中的纵坐标的差值的绝对值是否大于y_thres；当所述矩形框对应的二维鸟瞰图坐标中的横坐标的差值的绝对值大于x_thres或所述矩形框对应的二维鸟瞰图坐标中的纵坐标的差值的绝对值大于y_thres时，将所述矩形框对应的目标筛除。

15、进一步地，所述基于目标对应的所述矩形框的图像坐标与大小以及所述矩形框的世界坐标，并结合预设的权重向量，构建目标的特征向量，包括：

16、基于目标对应的所述矩形框的图像坐标与大小以及所述矩形框的世界坐标，构建目标的大小与距离的特征向量：f＝[x,y,w,h,u,v,w/h,w*h]；其中，x,y表示所述矩形框对应的二维鸟瞰图坐标中的横、纵坐标值；u,v表示所述矩形框的左上角的图像坐标中水平方向坐标值和垂直方向坐标值；w表示所述矩形框在图像坐标下的宽度；h表示所述矩形框在图像坐标下的高度；

17、设计与目标的大小与距离的特征向量维度相同的权重向量；其中，所述权重向量用于凸显目标的大小与距离的特征向量中选定元素的特点；

18、将f与所述权重向量进行点乘运算，得到目标的特征向量。

19、进一步地，以所述特征向量替代级联匹配算法中利用神经网络提取的目标外观特征，实现对级联匹配算法的改进，并基于改进的级联匹配算法实现多目标匹配，包括：

20、计算所有点迹和轨迹的特征向量的余弦相似度，以计算出的特征向量的余弦相似度构建特征矩阵；其中，所述点迹指的是检测目标；所述轨迹指的是跟踪库里目标；所述特征矩阵用于表征所有点迹与轨迹之间的相似度；

21、获取图像目标对应的所述矩形框的三点向量,利用所述三点向量，计算点迹与轨迹的三点欧氏距离之和，以计算出的三点欧氏距离之和构建距离矩阵；其中，所述三点向量表示为：[u,v,u+0.5*w,v+0.5*h,u+w,v+h]；

22、对所述特征矩阵和所述距离矩阵进行处理；

23、利用处理后的距离矩阵和特征矩阵进行级联匹配；其中，在进行级联匹配时，优先对之前连续匹配成功的轨迹进行匹配；使用级联匹配得到点迹和轨迹的匹配结果矩阵，并输出未匹配的点迹和轨迹。

24、进一步地，对所述特征矩阵和所述距离矩阵进行处理，包括：

25、设计相似度阈值，对计算出的相似度小于相似度阈值的目标进行筛除；

26、设计欧氏距离阈值，对计算出的距离大于欧式距离阈值的目标进行筛除。

27、进一步地，所述欧氏距离阈值是以w为幂的系数。

28、进一步地，在使用级联匹配得到点迹和轨迹的匹配结果矩阵，并输出未匹配的点迹和轨迹之后，所述优化图像多目标匹配方法还包括：

29、对于未匹配的点迹和轨迹，计算目标对应的矩形框之间的重叠率，得到代价矩阵；然后基于所述代价矩阵，通过匈牙利匹配算法得到最优匹配；

30、结合级联匹配结果和所述最优匹配，得到最终的目标匹配结果。

31、另一方面，本发明还提供了一种改进的图像多目标级联匹配系统，所述改进的图像多目标级联匹配系统包括：

32、数据处理模块，用于：

33、获取图像中每一个目标的矩形框；

34、计算出所述矩形框的图像坐标所对应的世界坐标；

35、对比前后帧目标，基于前后帧目标的运动特点，预测当前帧目标所在位置范围，利用目标对应的所述矩形框的世界坐标对目标进行筛选，筛除距离相差超过预设关联门限距离阈值的目标；

36、针对筛选后的目标，基于目标对应的所述矩形框的图像坐标与大小以及所述矩形框的世界坐标，并结合预设的权重向量，构建目标的特征向量；

37、目标匹配模块，用于：

38、以所述特征向量替代级联匹配算法中利用神经网络提取的目标外观特征，实现对级联匹配算法的改进，并基于改进的级联匹配算法实现多目标匹配。

39、进一步地，所述数据处理模块具体用于：

40、获取图像中每一个目标的矩形框，获取方式可通过神经网络模型或其他手段检出；

41、利用matlab自带的camera工具标定相机内参，并利用逆透视变换ipm，求得相机外参；

42、以所述矩形框的底边中点的图像坐标作为测距坐标,利用相机的内参和外参将所述测距坐标变换到世界坐标下,再使用车宽测距算法修正所述矩形框的坐标，得到所述测距坐标在世界坐标系下的二维鸟瞰图坐标；

43、基于前后帧目标运动特点，设定世界坐标下目标横向运动的最大距离阈值x_thres和纵向运动的最大距离阈值y_thres阈值；

44、判断两个所述矩形框对应的二维鸟瞰图坐标中的横坐标的差值的绝对值是否大于x_thres，以及两个所述矩形框对应的二维鸟瞰图坐标中的纵坐标的差值的绝对值是否大于y_thres；当所述矩形框对应的二维鸟瞰图坐标中的横坐标的差值的绝对值大于x_thres或所述矩形框对应的二维鸟瞰图坐标中的纵坐标的差值的绝对值大于y_thres时，将所述矩形框对应的目标筛除；

45、基于目标对应的所述矩形框的图像坐标与大小以及所述矩形框的世界坐标，构建目标的大小与距离的特征向量：f＝[x,y,w,h,u,v,w/h,w*h]；其中，x,y表示所述矩形框对应的二维鸟瞰图坐标中的横、纵坐标值；u,v表示所述矩形框的左上角的图像坐标中水平方向坐标值和垂直方向坐标值；w表示所述矩形框在图像坐标下的宽度；h表示所述矩形框在图像坐标下的高度；

46、设计与目标的大小与距离的特征向量维度相同的权重向量；其中，所述权重向量用于凸显目标的大小与距离的特征向量中选定元素的特点；

47、将f与所述权重向量进行点乘运算，得到目标的特征向量；

48、所述目标匹配模块具体用于：

49、计算所有点迹和轨迹的特征向量的余弦相似度，以计算出的特征向量的余弦相似度构建特征矩阵；其中，所述点迹指的是检测目标；所述轨迹指的是跟踪库里目标；所述特征矩阵用于表征所有点迹与轨迹之间的相似度；

50、获取图像目标对应的所述矩形框的三点向量,利用所述三点向量，计算点迹与轨迹的三点欧氏距离之和，以计算出的三点欧氏距离之和构建距离矩阵；其中，所述三点向量表示为：[u,v,u+0.5*w,v+0.5*h,u+w,v+h]；

51、对所述特征矩阵和所述距离矩阵进行处理；

52、利用处理后的距离矩阵和特征矩阵进行级联匹配；其中，在进行级联匹配时，优先对之前连续匹配成功的轨迹进行匹配；使用级联匹配得到点迹和轨迹的匹配结果矩阵，并输出未匹配的点迹和轨迹；

53、其中，对所述特征矩阵和所述距离矩阵进行处理，包括：

54、设计相似度阈值，对计算出的相似度小于于相似度阈值的目标进行筛除；

55、设计欧氏距离阈值，对计算出的距离大于欧式距离阈值的目标进行筛除；

56、所述欧氏距离阈值是以w为幂的系数；

57、在使用级联匹配得到点迹和轨迹的匹配结果矩阵，并输出未匹配的点迹和轨迹之后，所述目标匹配模块还用于：

58、对于未匹配的点迹和轨迹，计算目标对应的矩形框之间的重叠率，得到代价矩阵；然后基于所述代价矩阵，通过匈牙利匹配算法得到最优匹配；

59、结合级联匹配结果和所述最优匹配，得到最终的目标匹配结果。

60、再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

61、又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

62、本发明提供的技术方案带来的有益效果至少包括：

63、本发明受deepsort多目标跟踪算法的启发，提出改进的图像多目标级联匹配方法，相比于deepsort多目标跟踪依赖于深度神经网络的训练数据，提取图像特征向量，一方面，其特征维度大，计算量大；另一方面，特征向量精度高，对处理器要求高，一般计算机无法准确提取特征，应用成本高的情况。本发明提供的多目标匹配方法不依赖cnn网络的计算，图像目标的特征使用鸟瞰图下特征[x y],以及目标矩形框的坐标大小特征，构建目标特征向量f＝[x,y,w,h,u,v,w/h,w*h],从而很大程度的降低了维度，因此降低了计算量。并且利用世界坐标系[x y]及目标运动特征信息可以滤除一些不相干目标进一步提高了匹配的概率。而权重向量w的设计，可特显某个特征，在保证精度可满足的同时，一般处理器即可满足要求。因此其应用范围更广。