一种视频监控中的多目标跟踪方法和装置的制造方法
【技术领域】
[0001] 本发明涉及视频监控技术领域，尤其涉及一种视频监控中的多目标跟踪方法和装 置。
【背景技术】
[0002] 近年来，空基监视系统凭借良好的可移动能力和较大的监控范围等优点，被广泛 应用到实地勘察以及智能交通等领域中，尤其是在道路安全、应急救援等关键领域，空基监 视系统能够及时有效地获得大量直观的实地信息，通过实时获取和处理跟踪场景中的兴趣 目标运行状况，为保障公民的生命和财产安全提供了强有力的技术支持。
[0003] 在空基监视系统中，作为目标运行状况获取的核心，目标跟踪一直以来都是各类 监视技术的研宄重点。现有的一种基于分组的多目标跟踪方法的跟踪过程是：首先根据目 标的运动相似性对目标进行分组，对于每一组，在组内选取位于该组中心位置的目标为该 组的代表，接着对该组的代表完成跟踪，最后利用目标间的空间关联实现对组内每个目标 具体的定位。
[0004] 可以看出，上述方法中是根据目标的运动相似性进行分组的，组与组之间相互独 立，尤其在目标运动异质性较高的情况下，分组跟踪中组的数目较多，每个组的规模较小， 此时的基于分组的跟踪向逐个跟踪方向退化，导致对目标跟踪的实效性和准确性不高。
【发明内容】
[0005] 本发明提供一种视频监控中的多目标跟踪方法和装置，充分合理地利用局部目标 间的关联，以解决目标跟踪实效性和准确性不高的问题。
[0006] 第一方面，本发明提供一种视频监控中的多目标跟踪方法，包括：
[0007] 从跟踪视频中获取至少一个兴趣目标的初始信息，所述初始信息包括初始位置、 速度、加速度和特征信息；
[0008] 从所述兴趣目标中按照特征显著度从大到小的顺序选择出NJt)个兴趣目标作为 初始跟踪层，所述N tl (t)由所述兴趣目标的速度和加速度确定，所述特征显著度根据所述特 征信息确定；
[0009] 根据所述初始跟踪层中的Ntl (t)个兴趣目标的初始位置对所述Ntl (t)个兴趣目标 进行逐个跟踪；
[0010] 根据未跟踪兴趣目标和已跟踪目标整体的关联度，将所述未跟踪兴趣目标依次选 入下一新建跟踪层进行逐层跟踪。
[0011] 进一步地，所述特征显著度根据所述特征信息确定，包括：
[0012]特征显著度& = + ^广，其中，灰度显著度5Γ的计算公式为：
【主权项】
1. 一种视频监控中的多目标跟踪方法，其特征在于，包括： 从跟踪视频中获取至少一个兴趣目标的初始信息，初始信息包括初始位置、速度、加速 度和特征信息； 从所述兴趣目标中按照特征显著度从大到小的顺序选择出NtlU)个兴趣目标作为初始 跟踪层，所述Ntl (t)由所述兴趣目标的速度和加速度确定，所述特征显著度根据所述特征信 息确定； 根据所述初始跟踪层中的NJt)个兴趣目标的初始位置对所述NJt)个兴趣目标进行 逐个跟踪； 根据未跟踪兴趣目标和已跟踪目标整体的关联度，将所述未跟踪兴趣目标依次选入下 一新建跟踪层进行逐层跟踪。
2. 根据权利要求1所述的方法，其特征在于，所述特征显著度根据所述特征信息确定， 包括： 特征显著度忍=+欠'其中，灰度显著度野re的计算公式为：
其中，W和H分别为图片的长和宽的像素尺度，f(x，y)为图像坐标中点（x，y)的灰度 值，\和y i分别为目标d ,在图像中的横坐标和纵坐标，w ,和h ,分别为目标d ,的长和宽； L-I 纹理显著度的计算公式为其中，ρ(~）是目标屯的灰度 i=0 直方图，L为整幅图像可能存在的灰度值种类，Zi是目标d i的亮度值，m为目标的亮度均值， L-I m通过公式：W = I 计算得到； 1=0 所述NtlU)由所述兴趣目标的速度和加速度确定，包括： N0(t)的计算公式为：NQ(t) = roundliC^HtWCiHt+^!],其中，t为当前的跟踪时刻，round 函数是求最接近的整数，Q、Cp C2是通过样本学习得到的调整参数，H t为t时刻场景的运 动熵，Ht的计算公式为：Ht= β Hv+HaHv，其中，Hv是跟踪场景中各目标的速度的异质度，H ￥通 过公式：Ην=1_ΣΡ In P计算得到，式中P是跟踪场景中速度值大于第一预设值的目标的 个数与目标总数的比值，Ha是跟踪场景中加速度的异质度，！1 3通过公式：Ha= I-Q In Q计 算得到，式中Q是场景中加速度值大于第二预设值的目标的个数与目标总数的比值，β是 调整参数，β〈1。
3. 根据权利要求1或2所述的方法，其特征在于，所述根据未跟踪兴趣目标和已跟踪目 标整体的关联度，将所述未跟踪兴趣目标依次选入下一新建跟踪层进行逐层跟踪，包括： 通过如下公式计算每一未跟踪兴趣目标与已跟踪目标整体的关联度： Lm-\ _ = ΣΣ^ J=Lq pel 其中，COi为未跟踪兴趣目标七与已跟踪目标整体的关联度，P e DT(t)，DT(t)= LtlU L1U-U Lnri为已跟踪目标组成的集合，m为已跟踪目标的层数； 其中，rpi为目标 d p和 d 之间的关联度，r pi= r v (dp, φ)ι·α (dp, φ) + Φι·ρ((1ρ，(Ii)， rv (dp, (Ii)、ra (dp, (Ii)和rp(dp, (Ii)分别为目标dp和d在上一帧中的相对位置、在上一帧中 的相对速度和在上一帧中的相对加速度，1彡P, i彡N(t)，rv (dp, (Ii)、ra (dp, (Ii)和rp(dp, (Ii) 分别通过如下公式计算得到：
其中，?_1，Pf分别是目标dp在t-1时刻的速度、加速度、位置，分别是 目标屯在t-Ι时刻的速度、加速度、位置，炉是通过样本学习得到的调整参数； 按照计算获得的与已跟踪目标整体的关联度将未跟踪兴趣目标进行分组； 选出与已跟踪目标整体的关联度最大的一组未跟踪兴趣目标作为新建跟踪层； 对所述新建跟踪层进行跟踪； 重复上述操作，直到获取的所有所述兴趣目标跟踪完成。
4. 根据权利要求3所述的方法，其特征在于，所述对所述新建跟踪层进行跟踪，包括： 通过如下公式获取所述新建跟踪层内的未跟踪目标q的初步位置p[ :
其中，…，是(?, ，…，、}归一化后的关联系数，当前已跟踪的 目标集合为：Dt (t) = (P1, p2,…，pj，u〈N (t), ，…，}为目标q和已跟踪集合 DT(t)内各个目标之间的关联度； 采用直方图匹配在所述初步位置P[周边对所述新建跟踪层内的未跟踪目标进行精确 定位。
5. -种视频监控中的多目标跟踪装置，其特征在于，包括： 获取模块，用于从跟踪视频中获取至少一个兴趣目标的初始信息，所述初始信息包括 初始位置、速度、加速度和特征信息； 选择模块，用于从所述兴趣目标中按照特征显著度从大到小的顺序选择出Ntl (t)个兴 趣目标作为初始跟踪层，所述Ntl (t)由所述兴趣目标的速度和加速度确定，所述特征显著度 根据所述特征信息确定； 第一跟踪模块，用于根据所述初始跟踪层中的NJt)个兴趣目标的初始位置对所述 NtlU)个兴趣目标进行逐个跟踪； 第二跟踪模块，用于根据未跟踪兴趣目标和已跟踪目标整体的关联度，将所述未跟踪 兴趣目标依次选入下一新建跟踪层进行逐层跟踪。
6. 根据权利要求5所述的装置，其特征在于，所述特征显著度根据所述特征信息确定， 包括： 特征显著度A = +^广，其中，灰度显著度5Γ的计算公式为：
其中，W和H分别为图片的长和宽的像素尺度，f(x，y)为图像坐标中点（x，y)的灰度 值，\和y i分别为目标d ,在图像中的横坐标和纵坐标，w ,和h ,分别为目标d ,的长和宽； L-I 纹理显著度c的计算公式为：f=Σ仁-其中，p (~）是目标^的灰度 i=0 直方图，L为整幅图像可能存在的灰度值种类，Zi是目标d i的亮度值，m为目标的亮度均值， L-I m通过公式：w = 计算得到； i=0 所述NtlU)由所述兴趣目标的速度和加速度确定，包括： N0(t)的计算公式为：NQ(t) = roundliC^HtWCiHt+^!],其中，t为当前的跟踪时刻，round 函数是求最接近的整数，Q、Cp C2是通过样本学习得到的调整参数，H t为t时刻场景的运 动熵，Ht的计算公式为：Ht= β Hv+HaHv，其中，Hv是跟踪场景中各目标的速度的异质度，H ￥通 过公式：Ην=1_ΣΡ In P计算得到，式中P是跟踪场景中速度值大于第一预设值的目标的 个数与目标总数的比值，Ha是跟踪场景中加速度的异质度，！1 3通过公式：Ha= I-Q In Q计 算得到，式中Q是场景中加速度值大于第二预设值的目标的个数与目标总数的比值，β是 调整参数，β〈1。
7. 根据权利要求5或6所述的装置，其特征在于，所述第二跟踪模块具体用于： 通过如下公式计算每一未跟踪兴趣目标与已跟踪目标整体的关联度：
其中，Oi为未跟踪兴趣目标七与已跟踪目标整体的关联度，ρ e DT(t)，DT(t)= LtlU L1U-U Lnri为已跟踪目标组成的集合，m为已跟踪目标的层数； 其中，rpi为目标 d p和 d 之间的关联度，r pi= r v (dp, φ)ι·α (dp, φ) + Φι·ρ((1ρ，(Ii)， rv (dp, (Ii)、ra (dp, (Ii)和rp(dp, (Ii)分别为目标dp和d在上一帧中的相对位置、在上一帧中 的相对速度和在上一帧中的相对加速度，1彡P, i彡N(t)，rv (dp, (Ii)、ra (dp, (Ii)和rp(dp, (Ii) 分别通过如下公式计算得到：
其中，?Λρ；；1分别是目标\在卜1时刻的速度、加速度、位置，分别是 目标屯在t-Ι时刻的速度、加速度、位置，P是通过样本学习得到的调整参数； 按照计算获得的与已跟踪目标整体的关联度将未跟踪兴趣目标进行分组； 选出与已跟踪目标整体的关联度最大的一组未跟踪兴趣目标作为新建跟踪层； 对所述新建跟踪层进行跟踪； 重复上述操作，直到获取的所有所述兴趣目标跟踪完成。
8.根据权利要求7所述的装置，其特征在于，所述对所述新建跟踪层进行跟踪，包括： 通过如下公式获取所述新建跟踪层内的未跟踪目标q的初步位置f:
其中，?Τ/V，，…，！>#}是归一化后的关联系数，当前已跟踪 的目标集合为：DT (t) = (P1, p2,…，pj，u〈N (t), ，…，}为目标q和已跟踪集 合化(〇内各个目标之间的关联度； 采用直方图匹配在所述初步位置^周边对所述新建跟踪层内的未跟踪目标进行精确 定位。
【专利摘要】本发明提供一种视频监控中的多目标跟踪方法和装置。该方法包括：从跟踪视频中获取至少一个兴趣目标的初始信息，初始信息包括初始位置、速度、加速度和特征信息，从兴趣目标中按照特征显著度从大到小的顺序选择出N0(t)个兴趣目标作为初始跟踪层，N0(t)由兴趣目标的速度和加速度确定，特征显著度根据特征信息确定，根据初始跟踪层中的N0(t)个兴趣目标的初始位置对N0(t)个兴趣目标进行逐个跟踪，根据未跟踪兴趣目标和已跟踪目标整体的关联度，将未跟踪兴趣目标依次选入下一新建跟踪层进行逐层跟踪。本发明提供的视频监控中的多目标跟踪方法和装置，提高了多目标跟踪的实效性和准确性。
【IPC分类】G06T7-20
【公开号】CN104835180
【申请号】CN201510214310
【发明人】曹先彬, 蒋小龙, 单昊天
【申请人】北京航空航天大学
【公开日】2015年8月12日
【申请日】2015年4月29日