一种行人检测与跟踪方法、装置、设备及可读存储介质

1.本发明涉及计算机视觉技术领域，具体涉及一种行人检测与跟踪方法、装置、设备及可读存储介质。


背景技术：

2.行人检测与跟踪一直是计算机视觉领域中备受瞩目的课题和研究热点。行人检测是指在街道、公园和商场等场景下，分析图像或者视频序列中是否包括行人，如果检测到行人，则使用矩形框标记出行人在图像或者视频序列中的位置。行人跟踪则是在行人检测的基础上，在连续的图像或者视频序列中估计行人运动的轨迹、速度和方向等信息，实现对行人的行为分析和理解，进而进行更高层次的研究。
3.目前，通过目标检测技术，对图像中的每个区域进行特征提取，再根据分类器对图像进行分类，利用相关粒子滤波器计算影响因子，对行人检测框进行匹配，预测视频图像序列中的目标信息，获得行人跟踪结果。但是，该方法在跟踪目标被遮挡或者光线变化过快后容易发生跟踪漂移，从而跟丢目标。


技术实现要素：

4.针对现有技术中存在的问题，本发明提供了一种行人检测与跟踪方法、装置、设备及可读存储介质，能当跟踪目标被遮挡或者光线变化过快后，能够确保跟踪准确率。
5.为了解决上述技术问题，本发明通过以下技术方案予以实现：
6.一种行人检测与跟踪方法，包括：
7.对视频序列中的每一帧图像进行行人检测，得到行人检测框；
8.利用所述行人检测框中的行人特征信息对马尔科夫链蒙特卡洛粒子滤波进行初始化；
9.利用所述行人检测框中的行人特征信息和预设的可逆跳跃策略对所述初始化后的马尔科夫链蒙特卡洛粒子滤波进行采样更新；
10.利用所述更新后的马尔科夫链蒙特卡洛粒子滤波对当前帧的前一帧图像所对应的行人检测框中的行人特征信息进行计算，得到当前帧的行人预测位置信息；
11.将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配，得到行人跟踪结果。
12.进一步地，所述利用所述行人检测框中的行人特征信息对马尔科夫链蒙特卡洛粒子滤波进行初始化，包括：
13.设定马尔科夫链初始化于任意状态其中，k
t
表示t时刻的跟踪目标数量，表示第r次采样时第k
t
个跟踪目标的状态信息的样本集；
14.所述行人检测框中的行人特征信息增加时，采用第一公式对马尔科夫链蒙特卡洛
粒子滤波进行初始化，所述行人特征信息增加指的是检测到新的行人目标且新的行人目标之前并不存在，所述第一公式为：
[0015][0016]
其中，qa为行人特征信息增加时的跳跃策略；为不在当前状态目标集的新检测集；在检测集中，利用均匀分布概率密度函数随机的选择一个目标i，且通过分布得到目标i的状态信息
[0017]
所述行人检测框中的行人特征信息删除时，采用第二公式对马尔科夫链蒙特卡洛粒子滤波进行初始化，所述行人特征信息删除指的是增加策略的一个可逆跳跃操作，所述第二公式为：
[0018][0019]
其中，qd为行人特征信息删除时的跳跃策略；在先前样本中的新检测集中，记利用均匀分布概率密度函数随机从中移除一个目标i；
[0020]
所述行人检测框中的行人特征信息停留时，采用第三公式对马尔科夫链蒙特卡洛粒子滤波进行初始化，所述行人特征信息停留指的是存在于样本集但不在样本集的目标集，所述第三公式为：
[0021][0022][0023]
其中，qs为行人特征信息停留时的跳跃策略；为存在于但不在样本集的目标集；利用均匀分布概率密度函数从中随机的选择一个行人目标i加入样本集中，并且从混合分布以及中得到行人目标i的状态变量；
[0024]
所述行人检测框中的行人特征信息离开时，采用第四公式对马尔科夫链蒙特卡洛
粒子滤波进行初始化，所述行人特征信息离开指的是停留策略的一个可逆跳跃操作，所述第四公式为：
[0025][0026]
其中，q
l
为行人特征信息离开时的跳跃策略；记为目标集；当一个行人目标停留在样本集时，离开策略利用均匀分布概率密度函数从目标集中随机的移除一个行人目标i；
[0027]
所述行人检测框中的行人特征信息更新时，采用第五公式对马尔科夫链蒙特卡洛粒子滤波进行初始化，所述行人特征信息更新指的是更新跳跃策略为行人目标提供了新的状态信息，所述第五公式为：
[0028][0029][0030]
其中，qu为行人特征信息更新时的跳跃策略；更新策略利用均匀分布概率密度函数随机的从样本集中选择一个目标i进行状态信息的更新，而状态信息的更新则是根据分布得到，得到，为行人离开与删除的并集；
[0031]
所述行人检测框中的行人特征信息交互时，采用第六公式对马尔科夫链蒙特卡洛粒子滤波进行初始化，所述行人特征信息交互指的是给一对行人目标提供了一种交互方式，一对行人目标是指两个行人目标相遇或者并排走，在样本中所有可能的成对目标中，随机选择一对目标(i1,i2)在排斥或者交互模式之间相互切换，所述第六公式为：
[0032][0033]
qi为行人特征信息交互时的跳跃策略。
[0034]
进一步地，所述利用所述行人检测框中的行人特征信息和预设的可逆跳跃策略对所述初始化后的马尔科夫链蒙特卡洛粒子滤波进行采样更新，包括：
[0035]
设定已知t-1时刻跟踪目标的后验状态信息由一组无权重值的样本集
来表示；t时刻的目标状态信息用可逆跳跃马尔科夫链蒙特卡洛生成n个无权重值的粒子；
[0036]
将t-1时刻的样本集通过运动模型计算出n个目标的状态信息，并用这些状态信息来初始化马尔科夫链；
[0037]
逐次对t＝t+1,t+2,
…
,b+mn循环采样，其中b为老化过程，m为细化间隔；根据预设的初始化概率pa、pd、ps、p
l
、pu和pi来随机选一个跳跃策略来生成样本，再由每个预设的初始化概率的建议分布计算出候选状态信息；其中，pa为行人特征信息增加的初始化概率；pd为行人特征信息删除的初始化概率；ps为行人特征信息停留的初始化概率；p
l
为行人特征信息离开的初始化概率；pu为行人特征信息更的初始化概率新；pi为行人特征信息交互的初始化概率；
[0038]
所述行人检测框中的行人特征信息增加时，采用第七公式计算接受率，所述第七公式为：
[0039][0040]
所述行人检测框中的行人特征信息删除时，采用第八公式计算接受率，所述第八公式为：
[0041][0042]
所述行人检测框中的行人特征信息停留时，采用第九公式计算接受率，所述第九公式为：
[0043][0044]
所述行人检测框中的行人特征信息离开时，采用第十公式计算接受率，所述第十公式为：
[0045][0046]
所述行人检测框中的行人特征信息更新时，采用第十一公式计算接受率，所述第十一公式为：
[0047][0048]
所述行人检测框中的行人特征信息交互时，采用第十二公式计算接受率，所述第十二公式为：
[0049]
[0050]
进一步地，所述运动模型为匀速运动cv模型、匀加速运动ca模型或匀速转弯ct模型。
[0051]
进一步地，所述将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配，得到行人跟踪结果，包括：
[0052]
采用sift特征匹配方法将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配。
[0053]
进一步地，所述将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配，得到行人跟踪结果，包括：
[0054]
采用kcf相关滤波跟踪方法将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配。
[0055]
进一步地，所述对视频序列中的每一帧图像进行行人检测，得到行人检测框，包括：
[0056]
采用yolo目标检测算法对视频序列中的每一帧图像进行行人检测，得到行人检测框。
[0057]
一种行人检测与跟踪装置，包括：
[0058]
检测模块，用于对视频序列中的每一帧图像进行行人检测，得到行人检测框；
[0059]
初始化模块，用于利用所述行人检测框中的行人特征信息对马尔科夫链蒙特卡洛粒子滤波进行初始化；
[0060]
更新模块，用于利用所述行人检测框中的行人特征信息和预设的可逆跳跃策略对所述初始化后的马尔科夫链蒙特卡洛粒子滤波进行采样更新；
[0061]
计算模块，用于利用所述更新后的马尔科夫链蒙特卡洛粒子滤波对当前帧的前一帧图像所对应的行人检测框中的行人特征信息进行计算，得到当前帧的行人预测位置信息；
[0062]
匹配模块，用于将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配，得到行人跟踪结果。
[0063]
一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种行人检测与跟踪方法的步骤。
[0064]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种行人检测与跟踪方法的步骤。
[0065]
与现有技术相比，本发明至少具有以下有益效果：
[0066]
本发明提供的一种行人检测与跟踪方法，根据行人检测框中的行人特征信息，即行人的特点，设定了可逆跳跃策略，再根据设定的可逆跳跃策略对马尔科夫链蒙特卡洛粒子滤波进行采样并更新粒子状态来实现多目标的行人跟踪，克服了多目标检测中常有的目标被遮挡以及光线变化过快后导致目标丢失的问题，提高了跟踪准确率和跟踪精准度。
[0067]
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0068]
为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0069]
图1为本发明一种行人检测与跟踪方法的流程图；
[0070]
图2为本发明实施方式中行人检测与跟踪方法的具体流程图。
具体实施方式
[0071]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0072]
作为本发明的某一具体实施方式，结合图1和图2所示，一种行人检测与跟踪方法，具体包括以下步骤：
[0073]
步骤1，对视频序列中的每一帧图像进行行人检测，得到行人检测框。
[0074]
具体地说，采用yolo目标检测算法对视频序列中的每一帧图像进行行人检测，本实施例中，将视频序列输入针对行人特征进行优化后的yolov3行人检测器中进行行人检测，得到行人检测框。
[0075]
步骤2，利用所述行人检测框中的行人特征信息对马尔科夫链蒙特卡洛粒子滤波进行初始化；本实施方式中，所述行人检测框中的行人特征信息包括行人坐标(x,y,w,h)、行人数量以及行人的类别概率。
[0076]
具体地说，假设马尔科夫链初始化于任意状态其中，k
t
表示t时刻的跟踪目标数量，表示第r次采样时第k
t
个跟踪目标的状态信息的样本集(包括坐标、运动状态等)；
[0077]
1)增加(add)：行人检测框中的行人特征信息增加，即当yolov3检测器检测到新的行人目标且新的行人目标之前并不存在。记为不在当前状态目标集的新检测集；在检测集中，利用均匀分布概率密度函数随机的选择一个目标i，且通过分布得到目标i的状态至此，增加跳跃策略的建议分布为公式(1)：
[0078][0079]
2)删除(delete)：行人检测框中的行人特征信息删除，删除跳跃策略是增加策略
的一个可逆跳跃操作。在先前样本中的新检测集中，记的一个可逆跳跃操作。在先前样本中的新检测集中，记利用均匀分布概率密度函数随机从中移除一个目标i。则删除跳跃策略的建议分布为公式(2)：
[0080][0081]
3)停留(stay)：行人检测框中的行人特征信息停留，记为存在于但不在样本集的目标集。利用均匀分布概率密度函数从中随机的选择一个目标i加入样本集中，并且从混合分布以及中得到目标i的状态变量，这样采样处理对移动的目标有很好的鲁棒性。因此，停留跳跃策略的建议分布为公式(3)：
[0082][0083][0084]
4)离开(leave)：行人检测框中的行人特征信息离开，离开跳跃策略是停留策略的一个可逆跳跃操作。记目标集，当一个行人目标停留在样本集时，离开策略利用均匀分布概率密度函数从目标集中随机的移除一个行人目标i。则离开跳跃策略的建议分布为公式(4)：
[0085][0086]
5)，更新(update)：行人检测框中的行人特征信息更新，更新跳跃策略为跟踪目标提供了新的状态信息。更新策略利用均匀分布概率密度函数随机的从样本集中选择一个目标i进行状态信息的更新，而状态信息的更新则是根据分布得到，记行人离开与删除的并集。由此得到更新跳跃策略就是基础的mcmc采样步骤，而且是一个自逆跳跃的操作。因此更新跳跃策略的建议分布为公式(5)：
[0087]
[0088][0089]
6)，交互(interaction)：行人检测框中的行人特征信息交互，交互跳跃策略给一对目标提供了一种交互方式。一对目标是指两个目标相遇或者并排走等情况。在样本中所有可能的成对目标中，随机选择一对目标(i1,i2)在排斥或者交互模式之间相互切换，这样有助于降低目标跟错几率。由此也能看出，交互也是一个自逆的跳跃操作。因此相互交错跳跃策略的建议分布为公式(6)：
[0090][0091]
步骤3，利用所述行人检测框中的行人特征信息和预设的可逆跳跃策略对所述初始化后的马尔科夫链蒙特卡洛粒子滤波进行采样更新，即通过预设的概率来随机的选择一种可逆跳跃策略如增加、删除、停留、离开、更新、交互对粒子进行采样更新。
[0092]
具体地说，设定已知t-1时刻跟踪目标的后验状态信息由一组无权重值的样本集来表示；t时刻的目标状态信息用可逆跳跃马尔科夫链蒙特卡洛生成n个无权重值的粒子；
[0093]
步骤3.1，初始化采样：将t-1时刻的样本集通过运动模型计算出n个目标的状态信息，并用这些状态信息来初始化马尔科夫链。
[0094]
本实施方式中，运动模型为匀速运动cv模型、匀加速运动ca模型或匀速转弯ct模型。
[0095]
步骤3.2，逐次对对t＝t+1,t+2,
…
,b+mn循环采样，其中b为老化过程，m为细化间隔；根据预设的初始化概率pa、pd、ps、p
l
、pu和pi来随机选一个跳跃策略来生成样本，再由每个预设的初始化概率的建议分布计算出候选状态信息；其中，pa为行人特征信息增加的初始化概率；pd为行人特征信息删除的初始化概率；ps为行人特征信息停留的初始化概率；p
l
为行人特征信息离开的初始化概率；pu为行人特征信息更的初始化概率新；pi为行人特征信息交互的初始化概率；
[0096]
具体如下：
[0097]
增加(add)：从目标集中随机的选择一个目标a加入到现有的状态中，并根据公式(7)计算接受率αa：
[0098][0099]
删除(delete)：从当前状态的目标集中随机的移除一个目标d，并根据公式
(8)计算接受率αd：
[0100][0101]
停留(stay)：从目标集中随机的选择一个目标s，并通过建议分布qs采样得到新的状态信息并将其重新加入目标集，并根据公式(9)计算接受率αs：
[0102][0103]
离开(leave)：从目标集中随机的选择一个目标l，将其从当前状态信息中移除，并根据公式(10)计算接受率α
l
：
[0104][0105]
更新(update)：从目标集中随机选择一个目标进行状态更新，并根据公式(11)计算接受率αu：
[0106][0107]
交互(interaction)：从目标集中随机的选取一对目标进行目标排斥或者交互操作，并根据公式(12)计算接受率αi：
[0108][0109]
步骤4，利用所述更新后的马尔科夫链蒙特卡洛粒子滤波对当前帧的前一帧图像所对应的行人检测框中的行人特征信息进行计算，得到当前帧的行人预测位置信息。
[0110]
步骤5，将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配，得到行人跟踪结果，来实现对行人数量可变的多目标跟踪。
[0111]
具体地说，采用sift特征匹配方法将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配。或者，采用kcf相关滤波跟踪方法将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配。
[0112]
本发明一种行人检测与跟踪方法大大提高了在实际应用中的效率。本发明在跟踪准确率和精准度上都有较好的性能表现。
[0113]
本发明提供了一种行人检测与跟踪装置，用于实现本发明的行人检测与跟踪方法，包括：
[0114]
检测模块，用于对视频序列中的每一帧图像进行行人检测，得到行人检测框；
[0115]
初始化模块，用于利用所述行人检测框中的行人特征信息对马尔科夫链蒙特卡洛粒子滤波进行初始化；
[0116]
更新模块，用于利用所述行人检测框中的行人特征信息和预设的可逆跳跃策略对
所述初始化后的马尔科夫链蒙特卡洛粒子滤波进行采样更新；
[0117]
计算模块，用于利用所述更新后的马尔科夫链蒙特卡洛粒子滤波对当前帧的前一帧图像所对应的行人检测框中的行人特征信息进行计算，得到当前帧的行人预测位置信息；
[0118]
匹配模块，用于将所述当前帧的行人预测位置信息与当前帧的行人特征信息进行跟踪匹配，得到行人跟踪结果。
[0119]
本发明在一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor、dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于实现一种行人检测与跟踪方法的操作。
[0120]
本发明在一个实施例中，一种行人检测与跟踪方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
[0121]
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd))等。
[0122]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0123]
本技术是参照本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0124]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0125]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0126]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。