一种基于多模态数据的多目标跟踪方法

1.本发明涉及一种基于多模态数据的多目标跟踪方法，属于目标跟踪技术领域。


背景技术：

2.目标跟踪技术是计算机视觉中的一个研究热点问题，也是智能驾驶中最为关键的技术之一，它为人们提供交通环境中的感兴趣目标的位置以及运动轨迹等信息，是进行后续的目标识别、目标行为分析与理解的前提，为避障、路径规划和自适应巡航奠定了基础。
3.根据被跟踪对象的数量，目标跟踪分为单目标跟踪和多目标跟踪。由于大多数应用场景都包含大量感兴趣对象，因此多目标跟踪成为一个重要的研究领域。随着目标检测技术性能的大幅度提升，基于检测的多目标跟踪(tracking-by-detection,tbd)框架成为主流，该框架将目标检测器获取的感兴趣目标作为输入，设计目标匹配机制将后续帧的同一目标关联到轨迹中。
4.现有的多目标跟踪方法大多基于图像，但图像容易受到光照和遮挡的影响，出现跟踪漂移以至于跟踪错误的问题。三维激光扫描技术的快速改进能够准确有效地数字化物体的形状和表面特征。激光扫描仪获取的三维激光点云提供了物理对象表面上采样点的几何信息，而且不受光照影响，是图像的有效补充，有助于实现精确定位和跟踪。因此，利用三维激光点云和图像结合的多模态信息可以避免上述问题产生，有效实现信息互补，提高多目标跟踪精度。


技术实现要素：

5.本发明的目的是提供一种基于多模态数据的多目标跟踪方法，利用三维激光点云和相机图像等多模态信息建立一个高效、稳定的多目标跟踪框架，能够解决目标遮挡问题，进一步提高多目标跟踪算法的准确度。
6.为了实现上述发明目的，解决已有技术中存在的向题，本发明采取的技术方案是：一种基于多模态数据的多目标跟踪方法，包括以下步骤：
7.步骤1、对每一帧采集点云和相机图像并融合为彩色点云，具体包括以下子步骤：
8.(a)在每一帧，分别用激光扫描仪和相机采集激光点云和相机图像，激光点云和相机图像的几何映射关系，通过公式(1)进行描述，
[0009][0010]
其中，表示缩放因子，a表示内参矩阵，[r，t]表示激光扫描仪和相机之间的外参矩阵，依据针孔相机模型通过激光扫描仪和相机标定获得，表示三维激光点在点云坐标系下的坐标，表示该三维点投影到相机图像后在图像像素坐标系下的坐标，和表示它们的齐次坐标；
[0011]
(b)激光扫描仪和相机的视野范围不同，一些超出相机视野的激光点无法投影到
成像平面，组成无色点云；位于相机视野内的激光点可以投影到成像平面上并着色，组成彩色点云其中，表示第c个彩色激光点，(xc，yc，zc)表示第c个彩色激光点在点云坐标系下的坐标，表示第c个彩色激光点的反射强度，rc＝r(uc，vc)，gc＝g(uc，vc)，bc＝b(uc，vc)表示pc在相机图像中的投影ec＝(uc，vc)的三基色，nc表示彩色激光点的个数；
[0012]
步骤2、对每一帧利用彩色点云构建高度-强度-密度(hid)图像，具体包括以下子步骤：
[0013]
(a)在点云坐标系xoy平面建立一个二维网格，将彩色点云p投影到二维网格单元中，二维网格单元中的点被定义为，通过公式(2)进行描述，
[0014]
c(u，v)＝{pc|pc∈p，x
min
+(u-1)q≤xc≤x
min
+uq，
[0015]ymin
+(v-1)q≤yc≤ym
in
+vq}
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0016]
其中，u和v分别表示二维网格单元的列号与行号，x
min
和y
min
分别表示激光点x坐标和y坐标的最小值，q表示二维网格单元的尺寸，u和v的取值范围定义为其中其中x
max
和y
max
分别表示激光点x坐标和y坐标的最大值，运算符定义为向上取整，和分别表示二维网格单元u轴和v轴的数值下界；
[0017]
(b)计算每个二维网格单元的高度特征h(u，v)，通过公式(3)进行描述，
[0018][0019]
其中，z
max
和z
min
分别是激光点z坐标的最大值和最小值；
[0020]
(c)计算每个二维网格单元的反射强度特征i(u，v)，通过公式(4)进行描述，
[0021][0022]
(d)计算每个二维网格单元的密度特征d(u，v)，通过公式(5)进行描述，
[0023][0024]
其中，n
uv
表示二维网格单元c(u，v)内点的数目；
[0025]
(e)设定rh，ri，rd分别表示高度特征、反射强度特征、密度特征的权重，按照rh：ri：rd＝1：2：1的权重处理上述三个特征，以使特征强度达到平衡，并且将它们标准化到0-255的范围内，通过公式(6)至(10)进行描述，
[0026]
hid
max
＝max{[h(u，v)rh，i(u，v)ri，d(u，v)rd]}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0027]
hid
min
＝min{[h(u，v)rh，i(u，v)ri，d(u，v)rd]}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0028]
[0029][0030][0031]
最终得到三个特征图：最终得到三个特征图：分别表示高度图、反射强度图和密度图，这三个特征图合并为一个新的三通道特征图，称为高度-强度-密度(hid)图像；
[0032]
步骤3、对每一帧利用彩色点云进行三维目标检测，在每一帧，将彩色点云p输入point-gnn目标检测器中进行三维目标检测，获取检测目标的三维检测框，并将三维检测框投影到xoy平面，获取hid图像中的二维检测框，具体地，将第t帧hid图像中的二维检测框表示为其中，表示第t帧hid图像中的第i个二维检测框，表示第t帧hid图像中二维检测框的个数；
[0033]
步骤4、利用旋转核相关滤波器(rkcf)进行第t+1帧目标位置预测，利用第t帧hid图像训练rkcf，进行目标位置预测，得到第t+1帧hid图像中的预测目标，具体包括以下子步骤：
[0034]
(a)初始化跟踪目标：将第t帧hid图像ω
t
中二维跟踪框定义为b
t
＝{b
ts
＝(u
ts
，v
ts
，l
ts
，w
ts
，γ
ts
)|1≤s≤n
t
}，其中，b
ts
表示第t帧hid图像中的第s个二维跟踪框，(u
ts
，v
ts
），(l
ts
，w
ts
）和γ
ts
分别表示二维跟踪框的中心坐标、尺寸和方向角，n
t
表示第t帧hid图像中的二维跟踪框个数，若t＝1，则用第t帧的二维检测框对第t帧的二维跟踪框进行初始化；
[0035]
(b)在第t帧旋转hid图像：对于每个二维跟踪框b
ts
，以跟踪框中心(u
ts
，v
ts
）作为旋转中心点，θ
ts
为旋转角度对hid图像ω
t
进行旋转得到旋转hid图像其中，若0
°
＜γ
ts
≤90
°
，则θ
ts
＝90
°‑
γ
ts
，ω
t
逆时针旋转；若90
°
＜γ
ts
≤180
°
，则θ
ts
＝90
°‑
γ
ts
，ω
t
顺时针旋转；若-180
°
≤γ
ts
≤90
°
，则θ
ts
＝-90
°‑
γ
ts
，ω
t
逆时针旋转；若-90
°
＜γ
ts
≤0
°
，则θ
ts
＝-90
°‑
γ
ts
，ω
t
顺时针旋转；
[0036]
(c)在第t帧训练分类器：对于每个二维跟踪框b
ts
，根据其中心坐标(u
ts
，v
ts
)和尺寸(l
ts
，w
ts
)的2.5倍对进行图像裁剪得到训练基础样本，对基础样本利用置换矩阵进行循环移位得到训练样本，其中基础样本为正样本，其余为负样本，每个样本都与一个遵循二维高斯分布的输出关联，利用训练样本和对应的输出训练一个分类器；
[0037]
(d)在第t+1帧旋转hid图像：在第t+1帧，按照步骤2获取hid图像ω
t+1
，对于每个二维跟踪框b
(t+1)s
，以(u
ts
，v
ts
)为旋转中心，θ
ts
为旋转角将ω
t+1
进行旋转，得到旋转hid图像
[0038]
(e)在第t+1帧预测目标位置：根据第t帧二维跟踪框b
ts
的中心坐标(u
ts
，v
ts
)和尺
寸(l
ts
，w
ts
)的2.5倍对进行图像裁剪，得到测试基础样本，将其循环移位得到测试样本，使用子步骤(c)中训练好的分类器计算预测响应，响应峰值所在的行号a和列号b分别代表跟踪目标在相邻两帧旋转hid图像中沿u轴和v轴方向移动的距离；
[0039]
(f)把旋转hid图像中预测得到的坐标还原到原始hid图像ω
t+1
中，第t+1帧第s个二维跟踪框b
(t+1)s
的中心坐标计算，通过公式(11)进行描述，
[0040][0041]
由rkcf预测得到的t+1帧的跟踪目标被记为预测目标，其二维预测框表示为其中，为第t+1帧hid图像中的第j个二维预测框，为第t+1帧hid图像中二维预测框的个数；
[0042]
步骤5、对第t+1帧的检测目标和预测目标进行数据关联：使用第t+1帧的检测框与预测框建立关联代价矩阵其中，为第t+1帧hid图像中二维检测框的个数，为第t+1帧hid图像中二维预测框的个数，m
(t+1)i，j
的值由和iou(i，j)决定，通过公式(12)进行描述，
[0043][0044]
其中，iou(i，j)表示t+1帧第i个检测框与第j个预测框的交并比，通过公式(13)进行描述，
[0045][0046]
其中，表示t+1帧第j个预测框的预测分数，设定初始值为1，基于关联代价矩阵m
t+1
，利用kuhn-munkres数据关联算法将第t+1帧的检测目标与预测目标相关联，将检测目标与预测目标划分为未匹配预测目标、未匹配检测目标以及预测-检测目标匹配对；
[0047]
步骤6、更新第t+1帧的跟踪目标：对于第t+1帧的预测-检测目标匹配对，用检测目标的二维检测框更新预测目标所对应的跟踪目标；
[0048]
步骤7、对第t+1帧的未匹配预测目标进行目标保留，具体包括以下子步骤：
[0049]
(a)获得未匹配预测目标的相机图像裁片：定义第t+1帧未匹配预测目标为其中，表示第t+1帧hid图像中的第个未匹配预测目标的二维预测框，表示第t+1帧hid图像中未匹配预测目标的个数，将第t+1帧第个未匹配预测目标的三维边界框投影到第t+1帧相机图像上并裁剪，得到相机图像裁片
将第t帧该目标对应的三维边界框投影到第t帧相机图像上并裁剪，得到相机图像裁片
[0050]
(b)通过外观相似度分数进行目标保留：利用均值哈希算法计算与的外观相似度分数以判断该未匹配预测目标预测是否正确，如果外观相似度分数说明预测正确，第t帧和第t+1帧中两个目标属于同一个物体，保留t+1帧中的正确预测目标，用其二维预测框更新跟踪目标；如果外观相似度分数则说明预测错误，该目标被移入未成功跟踪目标中，等待进行目标重识别，其中，ts为目标保留外观分数阈值，预定义ts＝120；
[0051]
(c)预测分数计算：为每个预测目标给定一个预测分数，对于正确预测目标，初始预测分数设置为0.5，随着预测次数增加，逐渐降低预测分数，通过公式(14)进行描述，
[0052][0053]
其中，δ为下降因子，预定义δ＝0.05，表示第t帧第j个预测框的预测分数；
[0054]
步骤8、对第t+1帧的未匹配检测目标进行目标重识别，具体包括以下子步骤：
[0055]
(a)获得第t+1帧未匹配检测目标的相机图像裁片：定义第t+1帧未匹配检测目标为其中，表示第t+1帧hid图像中的第个未匹配检测目标的二维检测框，为第t+1帧hid图像中未匹配检测目标的个数，将第t+1帧第个未匹配检测目标的三维边界框投影到相机图像上并裁剪，得到相机图像裁片
[0056]
(b)获得未成功跟踪目标的相机图像裁片：定义未成功跟踪目标跟踪失败前的二维跟踪框其中，为第k个未成功跟踪目标的二维跟踪框，为未成功跟踪目标的个数，对应的相机图像裁片为
[0057]
(c)通过外观相似度分数和空间距离分数进行目标重识别：利用均值哈希算法计算与的外观相似度分数如果说明这两个目标属于同一个物体；如果外观相似度分数则使用二者之间的空间距离分数进一步判断，其中th，t
l
分别表示目标重识别外观分数最高阈值和最低阈值，预定义th＝200，t
l
＝160；如果说明这两个目标属于同一个物体，距离阈值其中lm为连续两帧中目标能移动的最大距离，预定义lm＝25，为两个目标之间相差的帧数；
[0058]
(d)如果判断得到两个目标属于同一个物体，则此未匹配检测目标被视为正确检测目标或重新出现目标，用其二维检测框更新跟踪目标，以便在下一帧继续进行预测；否则，说明它是新出现目标，并用其二维检测框初始化一个新的跟踪目标，此
外，如果一个目标连续5帧未成功实现跟踪，则认为该目标永久消失，删除该目标；
[0059]
步骤9、重复以上步骤4-步骤8对下一帧进行处理，直到跟踪结束。
[0060]
本发明有益效果是：一种基于多模态数据的多目标跟踪方法，包括以下步骤：(1)对每一帧采集点云和相机图像并融合为彩色点云，(2)对每一帧利用彩色点云构建高度-强度-密度(hid)图像，(3)对每一帧利用彩色点云进行三维目标检测，(4)利用旋转核相关滤波器(rkcf)进行第t+1帧目标位置预测，(5)对第t+1帧的检测目标和预测目标进行数据关联，(6)更新第t+1帧的跟踪目标，(7)对第t+1帧的未匹配预测目标进行目标保留，(8)对第t+1帧的未匹配检测目标进行目标重识别，(9)重复以上步骤4-步骤8对下一帧进行处理，直到跟踪结束。与已有技术相比，本发明具有以下优点：一是，本发明利用激光点云构造hid图像，有效克服了目标跟踪中物体遮挡的影响；二是，本发明利用相机图像建立目标保持模块，检查预测是否正确并保留正确预测的对象，使得在漏检的情况下仍然可以继续进行预测，并且确保跟踪序列完整性和预测结果的可靠性；三是，本发明利用相机图像建立目标重识别模块，避免了重复创建新轨迹，提高了跟踪性能。它不仅可以补偿错误的预测，而且可以处理被跟踪对象暂时消失然后重新出现的情况，有利于恢复中断的跟踪序列；四是，本发明充分利用激光点云和相机图像信息，使多模态信息有效互补。
附图说明
[0061]
图1是本发明方法步骤流程图。
[0062]
图2是多模态信息示意图。
[0063]
图中(a)是相机图像图，(b)是激光点云图，(c)是无色点云图，(d)是彩色点云图。
[0064]
图3是激光扫描仪和相机标定的针孔相机模型示意图。
[0065]
图4是hid图像构建示意图。
[0066]
图中(a)是高度图，(b)是反射强度图，(c)是密度图，(d)是hid图像图。
[0067]
图5是hid图像旋转示意图。
[0068]
图中(a)是0
°
＜γ
ts
≤90
°
时旋转方法图，(b)是90
°
＜γ
ts
≤180
°
时旋转方法图，(c)是180
°
＜γ
ts
≤90
°
时旋转方法图，(d)是-90
°
＜γ
ts
≤0
°
时旋转方法图。
具体实施方式
[0069]
下面结合附图对本发明作进一步说明。
[0070]
如图1所示，一种基于多模态数据的多目标跟踪方法，包括以下步骤：
[0071]
步骤1、对每一帧采集点云和相机图像并融合为彩色点云，具体包括以下子步骤：
[0072]
(a)在每一帧，分别用激光扫描仪和相机采集激光点云和相机图像，如图2(b)、(a)所示，激光点云和相机图像的几何映射关系，通过公式(1)进行描述，
[0073][0074]
其中，表示缩放因子，a表示内参矩阵，[r，t]表示激光扫描仪和相机之间的外参矩阵，依据针孔相机模型通过激光扫描仪和相机标定获得，表示三维激光点在点云坐标系下的坐标，表示该三维点投影到相机图像后在图像像素坐标
系下的坐标，和表示它们的齐次坐标；内参矩阵a和外参矩阵[r，t]依据针孔相机模型通过激光扫描仪和相机标定获得，标定所依据的针孔相机模型示意图，如图3所示。
[0075]
(b)激光扫描仪和相机的视野范围不同，一些超出相机视野的激光点无法投影到成像平面，组成无色点云，如图2(c)所示。而位于相机视野内的激光点可以投影到成像平面上并由对应相机图像像素点着色，组成彩色点云如图2(d)所示，其中表示第c个彩色激光点，(xc，yc，zc)表示第c个彩色激光点在点云坐标系下的坐标，表示第c个彩色激光点的反射强度，rc＝r(uc，vc)，gc＝g(uc，vc)，bc＝b(uc，vc)表示pc在相机图像中的投影ec＝(uc，vc)的三基色，nc表示彩色激光点的个数；
[0076]
步骤2、对每一帧利用彩色点云构建高度-强度-密度(hid)图像，具体包括以下子步骤：
[0077]
(a)在点云坐标系xoy平面建立一个二维网格，将彩色点云p投影到二维网格单元中，二维网格单元中的点被定义为，通过公式(2)进行描述，
[0078]
c(u，v)＝{pc|pc∈p，x
min
+(u-1)q≤xc≤x
min
+uq，
[0079]ymin
+(v-1)q≤yc≤y
min
+vq}
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0080]
其中，u和v分别表示二维网格单元的列号与行号，x
min
和y
min
分别表示激光点x坐标和y坐标的最小值，q表示二维网格单元的尺寸，u和v的取值范围定义为其中其中x
max
和y
max
分别表示激光点x坐标和y坐标的最大值，运算符定义为向上取整，和分别表示二维网格单元u轴和v轴的数值下界；
[0081]
(b)计算每个二维网格单元的高度特征h(u，v)，通过公式(3)进行描述，
[0082][0083]
其中，z
max
和z
min
分别是激光点z坐标的最大值和最小值；
[0084]
(c)计算每个二维网格单元的反射强度特征i(u，v)，通过公式(4)进行描述，
[0085][0086]
(d)计算每个二维网格单元的密度特征d(u，v)，通过公式(5)进行描述，
[0087][0088]
其中，n
uv
表示二维网格单元c(u，v)内点的数目；
[0089]
(e)设定rh，ri，rd分别表示高度特征、反射强度特征、密度特征的权重，按照rh∶ri∶rd＝1∶2∶1的权重处理上述三个特征，以使特征强度达到平衡，并且将它们标准化到0-255
的范围内，通过公式(6)至(10)进行描述，
[0090]
hid
max
＝max{[h(u，v)rh，i(u，v)ri，d(u，v)rd]}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0091]
hid
min
＝min{[h(u，v)rh，i(u，v)ri，d(u，v)rd]}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0092][0093][0094][0095]
最终得到三个特征图：最终得到三个特征图：分别表示高度图、反射强度图和密度图，如图4(a)(b)(c)所示。这三个特征图合并为一个新的三通道特征图，称为高度-强度-密度(hid)图像图，如图4(d)所示。
[0096]
步骤3、对每一帧利用彩色点云进行三维目标检测，在每一帧，将彩色点云p输入point-gnn目标检测器中进行三维目标检测，获取检测目标的三维检测框，并将三维检测框投影到xoy平面，获取hid图像中的二维检测框，具体地，将第t帧hid图像中的二维检测框表示为其中，表示第t帧hid图像中的第i个二维检测框，表示第t帧hid图像中二维检测框的个数；
[0097]
步骤4、利用旋转核相关滤波器(rkcf)进行第t+1帧目标位置预测，利用第t帧hid图像训练rkcf，进行目标位置预测，得到第t+1帧hid图像中的预测目标，具体包括以下子步骤：
[0098]
(a)初始化跟踪目标：将第t帧hid图像ω
t
中二维跟踪框定义为b
t
＝{b
ts
＝(u
ts
，v
ts
，l
ts
，w
ts
，γ
ts
)|1≤s≤n
t
)，其中，b
ts
表示第t帧hid图像中的第s个二维跟踪框，(u
ts
，v
ts
)，(l
ts
，w
ts
)和γ
ts
分别表示二维跟踪框的中心坐标、尺寸和方向角，n
t
表示第t帧hid图像中的二维跟踪框个数，若t＝1，则用第t帧的二维检测框对第t帧的二维跟踪框进行初始化；
[0099]
(b)在第t帧旋转hid图像：对于每个二维跟踪框b
ts
，以跟踪框中心(u
ts
，v
ts
)作为旋转中心点，θ
ts
为旋转角度对hid图像ω
t
进行旋转得到旋转hid图像其中，若0
°
＜γ
ts
≤90
°
，则θ
ts
＝90
°‑
γ
ts
，ω
t
逆时针旋转；若90
°
＜γ
ts
＜180
°
，则θ
ts
＝90
°‑
γ
ts
，ω
t
顺时针旋转；若-180
°
≤γ
ts
≤90
°
，则θ
ts
＝-90
°‑
γ
ts
，ω
t
逆时针旋转；若-90
°
＜γ
ts
≤0
°
，则θ
ts
＝-90
°‑
γ
ts
，ω
t
顺时针旋转；
[0100]
(c)在第t帧训练分类器：对于每个二维跟踪框b
ts
，根据其中心坐标(u
ts
，v
ts
)和尺寸(l
ts
，w
ts
)的2.5倍对进行图像裁剪得到训练基础样本，对基础样本利用置换矩阵进行循环移位得到训练样本，其中基础样本为正样本，其余为负样本，每个样本都与一个遵循二
维高斯分布的输出关联，利用训练样本和对应的输出训练一个分类器；
[0101]
(d)在第t+1帧旋转hid图像：在第t+1帧，按照步骤2获取hid图像ω
t+1
，对于每个二维跟踪框b
(t+1)s
，以(u
ts
，v
ts
)为旋转中心，θ
ts
为旋转角将ω
t+1
进行旋转，得到旋转hid图像
[0102]
(e)在第t+1帧预测目标位置：根据第t帧二维跟踪框b
ts
的中心坐标(u
ts
，v
ts
)和尺寸(l
ts
，w
ts
)的2.5倍对进行图像裁剪，得到测试基础样本，将其循环移位得到测试样本，使用子步骤(c)中训练好的分类器计算预测响应，响应峰值所在的行号a和列号b分别代表跟踪目标在相邻两帧旋转hid图像中沿u轴和v轴方向移动的距离；
[0103]
(f)把旋转hid图像中预测得到的坐标还原到原始hid图像ω
t+1
中，第t+1帧第s个二维跟踪框b
(t+1)s
的中心坐标计算，通过公式(11)进行描述，
[0104][0105]
由rkcf预测得到的t+1帧的跟踪目标被记为预测目标，其二维预测框表示为其中，为第t+1帧hid图像中的第j个二维预测框，为第t+1帧hid图像中二维预测框的个数；
[0106]
步骤5、对第t+1帧的检测目标和预测目标进行数据关联：使用第t+1帧的检测框与预测框建立关联代价矩阵其中，为第t+1帧hid图像中二维检测框的个数，为第t+1帧hid图像中二维预测框的个数，m
(t+1)i，j
的值由和iou(i，j)决定，通过公式(12)进行描述，
[0107][0108]
其中，iou(i，j)表示t+1帧第i个检测框与第j个预测框的交并比，通过公式(13)进行描述，
[0109][0110]
其中，表示t+1帧第j个预测框的预测分数，设定初始值为1，基于关联代价矩阵m
t+1
，利用kuhn-munkres数据关联算法将第t+1帧的检测目标与预测目标相关联，将检测目标与预测目标划分为未匹配预测目标、未匹配检测目标以及预测-检测目标匹配对；
[0111]
步骤6、更新第t+1帧的跟踪目标：对于第t+1帧的预测-检测目标匹配对，用检测目标的二维检测框更新预测目标所对应的跟踪目标；
[0112]
步骤7、对第t+1帧的未匹配预测目标进行目标保留，具体包括以下子步骤：
[0113]
(a)获得未匹配预测目标的相机图像裁片：定义第t+1帧未匹配预测目标为
其中，表示第t+1帧hid图像中的第个未匹配预测目标的二维预测框，表示第t+1帧hid图像中未匹配预测目标的个数，将第t+1帧第个未匹配预测目标的三维边界框投影到第t+1帧相机图像上并裁剪，得到相机图像裁片将第t帧该目标对应的三维边界框投影到第t帧相机图像上并裁剪，得到相机图像裁片
[0114]
(b)通过外观相似度分数进行目标保留：利用均值哈希算法计算与的外观相似度分数以判断该未匹配预测目标预测是否正确，如果外观相似度分数说明预测正确，第t帧和第t+1帧中两个目标属于同一个物体，保留t+1帧中的正确预测目标，用其二维预测框更新跟踪目标；如果外观相似度分数则说明预测错误，该目标被移入未成功跟踪目标中，等待进行目标重识别，其中，ts为目标保留外观分数阈值，预定义ts＝120；
[0115]
(c)预测分数计算：为每个预测目标给定一个预测分数，对于正确预测目标，初始预测分数设置为0.5，随着预测次数增加，逐渐降低预测分数，通过公式(14)进行描述，
[0116][0117]
其中，δ为下降因子，预定义δ＝0.05，表示第t帧第j个预测框的预测分数；
[0118]
步骤8、对第t+1帧的未匹配检测目标进行目标重识别，具体包括以下子步骤：
[0119]
(a)获得第t+1帧未匹配检测目标的相机图像裁片：定义第t+1帧未匹配检测目标为其中，表示第t+1帧hid图像中的第个未匹配检测目标的二维检测框，为第t+1帧hid图像中未匹配检测目标的个数，将第t+1帧第个未匹配检测目标的三维边界框投影到相机图像上并裁剪，得到相机图像裁片
[0120]
(b)获得未成功跟踪目标的相机图像裁片：定义未成功跟踪目标跟踪失败前的二维跟踪框其中，为第k个未成功跟踪目标的二维跟踪框，为未成功跟踪目标的个数，对应的相机图像裁片为
[0121]
(c)通过外观相似度分数和空间距离分数进行目标重识别：利用均值哈希算法计算与的外观相似度分数如果说明这两个目标属于同一个物体；如果外观相似度分数则使用二者之间的空间距离分数进一步判断，其中th，t
l
分别表示目标重识别外观分数最高阈值和最低阈值，预定义th＝200，t
l
＝160；如果说明这两个目标属于同一个物体，距离阈值其中lm为连续两帧中目标能移动的最大距离，预定义lm＝25，为两个目标之间相差的帧数；
[0122]
(d)如果判断得到两个目标属于同一个物体，则此未匹配检测目标被视为正确检
测目标或重新出现目标，用其二维检测框更新跟踪目标，以便在下一帧继续进行预测；否则，说明它是新出现目标，并用其二维检测框初始化一个新的跟踪目标，此外，如果一个目标连续5帧未成功实现跟踪，则认为该目标永久消失，删除该目标；
[0123]
步骤9、重复以上步骤4-步骤8对下一帧进行处理，直到跟踪结束。
[0124]
本发明优点在于：一是，本发明利用激光点云构造hid图像，有效克服了目标跟踪中物体遮挡的影响；二是，本发明利用相机图像建立目标保持模块，检查预测是否正确并保留正确预测的对象，使得在漏检的情况下仍然可以继续进行预测，并且确保跟踪序列完整性和预测结果的可靠性；三是，本发明利用相机图像建立目标重识别模块，避免了重复创建新轨迹，提高了跟踪性能。它不仅可以补偿错误的预测，而且可以处理被跟踪对象暂时消失然后重新出现的情况，有利于恢复中断的跟踪序列；四是，本发明充分利用激光点云和相机图像信息，使多模态信息有效互补。