一种行人实时检测与跟踪方法与流程

本发明涉及运动目标跟踪领域，特别是涉及一种行人实时检测与跟踪方法。

背景技术：

由于交通安全管理，生产安全管理，社会治安管理的要求日益提升，效率低下的传统监控已经不能满足实际处理需求。基于视频的智能化视觉检测跟踪系统旨在实时地检测跟踪视频中的多行人目标，自动监控或者辅助监控，提高监控效率以及监控力度，节省人力物力，对非安全行为进行警报，为管理提供支持，带来经济效益和社会效益。

多行人实时检测跟踪技术能够帮助监控人员更快更好的定位目标。人工监控在使用多屏幕监控时难免出现遗漏，如果有行人跟踪技术可以实时地标注监视器中出现的行人，对监控人员的工作效率，监控录像的回放分析都有很大的好处，而采用多行人实时监测跟踪技术就可以达到这样的效果。

目前运动目标跟踪问题的算法主要有两种思路，一种是依靠先验知识，为跟踪目标建模，然后在视频中找到与模型相匹配的运动目标。另一种是不依赖先验知识，利用前景检测算法等直接从视频中将运动目标和背景区分开来，然后进行目标识别，最终跟踪感兴趣的目标。

行人跟踪技术在军事，交通，安全监控等方面都有很重要的作用，目前该技术遇到的共同难题有遮挡，目标尺度变化，跟踪漂移等问题，同时一些技术的速度难以达到实时要求。在目标跟踪的过程中，如果无法处理逐帧的误差累积，及时校正跟踪漂移，就会跟丢目标，一旦跟踪失败，后续的处理就无法进行。而行人在行走过程中和摄像头的距离发生改变时会发生尺度变化，如果不及时改变跟踪框的大小，跟踪框与目标大小不匹配会有负样本的引入，导致跟踪的精度大幅下降，甚至因此跟踪失败。

技术实现要素：

本发明的主要目的在于克服现有技术的不足，提供一种行人实时检测与跟踪方法,解决现有技术中实时性不够好，跟踪漂移以及尺度变换导致跟踪失败的问题。

为实现上述目的，本发明采用以下技术方案：

一种行人实时检测与跟踪方法，包括以下步骤：

S1、通过背景建模模块进行前景检测，对前景检测的结果进行处理后找出动态目标所在的区域；

S2、通过行人检测模块对动态目标所在的区域进行行人检测；

S3、通过行人跟踪模块用行人检测的结果进行行人跟踪，其中对行人跟踪的过程出现的跟踪漂移利用前景检测的结果及时进行校正。

进一步地：

所述行人跟踪模块针对运动目标设置跟踪框，步骤S3中，利用对行人的先验知识，通过运动目标在跟踪框中的占比来进行跟踪漂移的校正。

步骤S3中，进行行人跟踪时，根据运动目标在跟踪框中的前景占比来判断是否发生跟踪漂移，并在判断发生跟踪漂移时向预设的前景占比最合适的区域进行校正。

计算前景占比时，根据与跟踪框中心位置的距离赋予不同权重，离中心越近权重越高。

步骤S3中，进行行人跟踪前，先用行人检测的结果为跟踪器初始化跟踪目标位置。

所述行人跟踪模块针对运动目标设置跟踪框，步骤S3中，进行行人跟踪时，利用前景检测的结果，在跟踪目标出现的尺度变化时对跟踪框的尺度进行调整。

预设不同尺度的跟踪框，以便在跟踪目标出现尺度变换时，及时根据跟踪目标大小变化调整跟踪框。

步骤S3中，采用邻域搜索的方法来进行实时跟踪，将模型的计算转换到频域中进行计算。

步骤S1中，对前景检测的结果进行处理包括利用行人的先验知识，对前景检测的结果进行前置处理，再输入到行人检测模块中；优选地，前置处理利用包括行人的长宽比、身体部位的相对位置信息作为先验知识，根据不同动态区域合并后的长宽比及其中心连线距离来判断是否区域合并。

步骤S1中，背景建模模块使用ViBe算法提取前景图片；步骤S2中，行人检测模块检测的特征采用边缘特征HOG以及融合提取速度快的纹理特征LBP，两种特征互补以提高分类能力，优选地，训练不同的分类器以适应不同行人的检测过程。

本发明的有益效果：

本发明利用背景建模的结果及时校正跟踪漂移，并可利用先验知识解决尺度变换问题。本发明可以实时地处理跟踪漂移和尺度变换的问题，结合了背景建模和检测器和及时校正的机制，行人检测模块可以改正跟踪器的错误，而背景建模模块的结果可以用来对跟踪漂移进行校正，跟踪模块的结果可以用于下一帧背景建模模块的图片后置处理。

相比现有的其他跟踪方法，采用本发明的方法能够获得的独特优势在于：

1.跟踪速度快。首先，本发明的跟踪模块将模型的运算转移到频域中，避免了时域中的卷积、矩阵求逆运算，利用快速傅里叶极快地完成，速度高达300FPS，远超实时性的速度要求。在保证准确率和稳定性的同时，又能极大提高处理速度，完全满足实时性的要求。其次，在跟踪目标的尺度发生变化时，本发明及时改变跟踪框的大小，在跟踪目标变小时及时将跟踪框缩小，避免了计算资源的浪费，提高了运算效率。最后，利用背景建模的结果，在行人检测模块中直接对前景部分及其领域进行检测，不必像以前一样进行全局搜索，进一步节省了运算资源。通过以上三点工作，本发明在提高了运算速度的同时也很好的改善了运算效率。

2.跟踪漂移的及时校正。目前有些跟踪算法已经可以做到对跟踪漂移的校正，但是当运动速度较快的行人跟踪产生漂移时，经常无法及时校正导致漂移连续发生。本发明利用先验知识，通过行人在跟踪框中的占比来进行校正，为了加速计算过程，使用预先建立的权值矩阵，大大提高了校正速度。

3.应对跟踪过程中的尺度变换。利用前景检测的结果来变更跟踪框的尺度，这样做的好处是既可以有准确的外界参照，又不会像渐变尺度模型一样消耗较多运算资源。当目标在跟踪框中占比过小的时候减小跟踪框大小，在占比过大时增大跟踪框大小。

附图说明

图1是本发明实施例利用行人的先验知识对前景图中连通区域进行合并效果图；

图2是本发明实施例行人检测模块的流程图；

图3是本发明实施例在跟踪过程中对跟踪漂移进行校正的示意图；

图4是本发明实施例在跟踪过程中漂移校正、尺度变化处理的例子；

图5是本发明实施例跟踪效果图；

图6是本发明实施例检测与跟踪方法的流程图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1至图6，在一种实施例中，一种行人实时检测与跟踪方法，包括以下步骤：

S1、通过背景建模模块进行前景检测，对前景检测的结果进行处理后找出动态目标所在的区域；

S2、通过行人检测模块对动态目标所在的区域进行行人检测；

S3、通过行人跟踪模块用行人检测的结果进行行人跟踪，其中对行人跟踪的过程出现的跟踪漂移利用前景检测的结果及时进行校正。

在优选的实施例中，所述行人跟踪模块针对运动目标设置跟踪框，步骤S3中，利用对行人的先验知识，通过运动目标在跟踪框中的占比来进行跟踪漂移的校正。

在更优选的实施例中，步骤S3中，进行行人跟踪时，根据运动目标在跟踪框中的前景占比来判断是否发生跟踪漂移，并在判断发生跟踪漂移时向预设的前景占比最合适的区域进行校正。

在更优选的实施例中，计算前景占比时，根据与跟踪框中心位置的距离赋予不同权重，离中心越近权重越高。

在更优选的实施例中，步骤S3中，进行行人跟踪前，先用行人检测的结果为跟踪器初始化跟踪目标位置。

在优选的实施例中，所述行人跟踪模块针对运动目标设置跟踪框，步骤S3中，进行行人跟踪时，利用前景检测的结果，在跟踪目标出现的尺度变化时对跟踪框的尺度进行调整。

在更优选的实施例中，预设不同尺度的跟踪框，以便在跟踪目标出现尺度变换时，及时根据跟踪目标大小变化调整跟踪框。

在优选的实施例中，步骤S3中，采用邻域搜索的方法来进行实时跟踪，将模型的计算转换到频域中进行计算。

在优选的实施例中，步骤S1中，对前景检测的结果进行处理包括利用行人的先验知识，对前景检测的结果进行前置处理，再输入到行人检测模块中；优选地，前置处理利用包括行人的长宽比、身体部位的相对位置信息作为先验知识，根据不同动态区域合并后的长宽比及其中心连线距离来判断是否区域合并。

在优选的实施例中，步骤S1中，背景建模模块使用ViBe(Visual Background Extractor)算法提取前景图片；步骤S2中，行人检测模块检测的特征采用边缘特征HOG(Histograms of Oriented Gradients)以及融合提取速度快的纹理特征LBP(Local Binary Patterns)，两种特征互补以提高分类能力，优选地，训练不同的分类器以适应不同行人的检测过程。

根据本发明优选的实施例，背景建模模块用于区分运动目标和前景，用于校正跟踪漂移。该部分使用ViBe算法提取前景图片，在进行预处理后输入到下一个模块。行人检测模块用于对动态目标所在区域进行行人检测，必要的时候为跟踪器初始化跟踪目标位置，避免跟踪失败。检测的特征采用常用的边缘特征HOG以及融合提取速度快的纹理特征LBP，两种特征互补以提高分类能力。行人跟踪模块用于进行行人跟踪。较佳的，采用邻域搜索的方法，将模型的计算转换到频域中，利用快速傅里叶计算卷积，极大地加快了运算速度，以达到实时跟踪的目的。

以下结合附图进一步描述本发明的具体实施例。

一、背景建模

背景建模用于跟踪漂移的校正，本发明采用的是ViBe算法。ViBe算法将背景建模看成一个将一个新的像素值分类为背景或者前景的分类问题，同时考虑了像素值的邻域点来避免异常值的影响。通过对像素值的邻域点的采样来建立背景模型。这样就不需要选择和估计概率密度函数，只需要将像素值和采样点集合做比较。这跟以往的背景建模方法不同，新的像素值需要与采样背景集合中的大多数像素相近。这样比只需统计少量的值就能获得很高的可信度。

ViB只需要一帧就可以完成初始化，第二帧就提供前景分割的结果，可以有效的在任意长度的视频中使用。当第一帧包含移动前景，在产生鬼影问题时，由于采用了无记忆更新测量，ViBe可在数帧后就消除该问题的影响。

通过ViBe得到背景建模图后，我们进行后置处理，首先统计每个前景点的邻域中其他前景点的数量，如果数量较少则判定为噪点并去除。然后利用前一帧的跟踪结果，以行人的长宽比作为先验依据，将前景图中的行人进行连通域合并，算法的具体实现如下：

R_i代表目标跟踪结果，R_b代表两矩形框中较宽的框，R_s代表两矩形框中较窄的框，R_c代表为合并后的框,Rate代表行人的先验长宽比，_Ty和T_r代表用于判断合并的阈值。

1.将目标跟踪结果扩大1+padding倍，成为跟踪的邻域，padding为扩大系数；

2.寻找前景R区域中的连通域集合S_r；

3.对于连通域集合S_r中的两两元素遍历判断是否可以合并，如果可以合并则合并，并重新加入连通域集合中，原先两元素移出连通域集合S_r。

连通域合并判断如下：

1.计算R_b，R_s的Y轴距离D_y；

2.计算R_s的横轴范围是否在R_b的横轴范围内,否则不合并；

3.计算R_c与先验行人框的比例差

4.如果D_y＜T_y，D_r＜T_r，则合并。

合并的过程见图1，行人的上下半身分成两个区域，判定应合并后的得到合并框R_c。

二、行人检测

本发明中的行人检测模块结合背景建模的后置处理结果，在运动前景及其邻域中进行搜索，行人检测模块的流程如图2所示，检测的特征采用常用的边缘特征HOG以及融合提取速度快的纹理特征LBP，两种特征互补以提高分类能力。为了应对不同行人检测过程中可能出现的尺度问题，我们训练了两种不同的分类器，分别用来检测普通目标和小目标。为了保证检测结果的正确性，本发明对检测出的人的目标进行一定长度的跟踪，连续出现且轨迹平滑的目标便可以判定为行人，可以有效剔除干扰和误检目标。

三、行人跟踪

本发明的跟踪算法采用邻域搜索类型的跟踪算法，邻域搜索的方法中最核心的组件是分类器，给定一些样本和标记(x₁,y₁),...(x_m,y_m),一个分类器f(x)被这些样本训练来寻找最小化成本的分类器参数。一个线性分类器的形式为f(x)＝<w,x>+b，那么这个最小化问题就是：

其中L(y,f(x))是成本函数，λ是控制参数的规则化。

我们采用最小规则方差法(RLS)作为成本函数：

L(y,f(x))＝(y-f(x))²

然后，带核的RLS有一个很简单的解，

α＝(K+λI)^-1y

其中K是核矩阵，I是单位矩阵，系数矩阵w可以通过向量α求得。在一些合适的条件下，核矩阵可以是循环矩阵，通过n×1的向量u循环平移连接而成，这样就可以用向量的卷积来表示核矩阵，而卷积可以在频域中利用快速傅里叶很快的计算出。对于一个n×n的图像，原来的纯粹的带核RLS实现的算法复杂度是O(n⁴),而目前的计算方式算法复杂度仅有O(n²logn)。因此，运算速度得到极大提高。

在跟踪过程中，漂移问题难以避免，本发明提出了快速高效的漂移校正方法。首先是漂移的判定，我们利用了行人的先验知识，在背景建模得到的前景图中，行人在跟踪框中占据的位置主要是其内接椭圆，那么行人在矩形框内的占比可以用下列公式计算，其中w和h是跟踪框的长与宽：

为了使漂移能够收敛到正确的位置，以及防止过度校正，需要对中心位置赋予更高的权重，为此，我们在计算实际的前景占比时先利用如下公式进行权值计算，然后再进行归一化处理：

其中为实际的前景加权占比，I(x,y)是前景二值图的像素值，σ用于控制权值分布，σ越小中心位置的权重越高，最终的归一化系数由σ决定。

尺度变化也是行人跟踪过程中可能遇到的难题，我们继续利用背景建模的结果，用如下公式进行尺度更新：

其中P_b和P_s分别是尺度变大和变小的更新参数，step是尺度更新的步长参数，由于尺度并非每帧都改变，因此不能用当前帧数作为下标，pre与now的下标代表之前的尺度和现在的尺度。

模块的整体流程如下：

1)算法的初始化

I_t代表第t帧图像，R_t代表目前目标的跟踪位置，代表扩充后的R₁，B_t代表第t帧前景，α_t代表第t帧的分类器系数。

1.扩充目标矩形增加目标负样本；

2.计算大小的窗函数值作为窗采样权值，以及预期输出矩阵；

3.对I₁进行的窗函数值加权采样；

4.计算密集采样的高斯核k；

5.利用公式计算分类器系数。

2)算法的实时处理

1.对I_t进行的窗函数值加权采样；

2.计算密集采样的高斯核k；

3.利用分类器系数进行分类，公式为

4.找出输出值中的最大位置，并更新位置R_t+1；

5.如果R_t+1的前景加权占比低于阈值，则在B_t的R_t+1附近邻域计算，在归一化后寻找前景加权占比最大的方向，向该方向移动一个步长，作为漂移校正；

6.根据R_t+1的前景加权占比进行尺度更新

7.根据如果其大于2或者小于0.7则有更新采样框大小；

8.对I_t进行的窗函数值加权采样；

9.计算密集采样的高斯核k；

10.利用公式计算当前分类器系数；

11.利用公式α＝(1-λ)α+λα_t以λ的更新率更新分类器。

漂移校正的示意图见图3，发生跟踪漂移后，需要对待校正的跟踪框a进行校正,算法在候选校正框b中搜索，最终跟踪框向前景占比最合适的方向移动,成为校正后的框c。

图4是20个连续帧的跟踪结果，这个跟踪过程中出现了目标尺度变化以及跟踪漂移，我们可以看到本发明提出的算法在很短的时间内校正了跟踪漂移，并且跟踪框的尺度随着目标尺度的变化而变化。

为了量化跟踪效果，我们用跟踪框的中心与真实值的中心的像素距离作为跟踪误差，设该距离的阈值为LE(location error),当跟踪误差小于LE时我们认为跟踪是成功的，对某个跟踪视频的评判结果如图5所示，展示了不同的跟踪阈值下SR(success rate)的变化情况。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。