基于运动信息和轨迹关联的视频行人检测和跟踪方法
【技术领域】
[0001] 本发明属于数字图像处理技术领域，设及视频行人检测和跟踪技术。 技术背景
[0002] 随着现代计算机技术的发展和计算机视觉原理的广泛应用，利用人工智能和计算 机图像处理技术对视频中行人的检测和跟踪的研究越来越热口。视频行人检测和跟踪就是 在一段视频序列中找出行人的位置W及它的轨迹。是作为现代智能监控的基础技术，可运 用于各种监控场景，如道路、车站W及机场等。行人检测和跟踪可W分为两个部分，即行人 检测和行人跟踪。
[0003] 常用的行人检测技术如下：
[0004] 1)基于背景建模的行人检测方法：该方法通过对背景建模，分割出视频中的运动 前景，提取运动目标，然后通过形态学的处理来检测行人。此方法优点是速度快，缺点是无 法分辨运动目标是否是行人，且鲁棒性不高。 阳0化]2)基于统计学习的行人检测方法：该方法通过大量的离线训练样本构建行人检 测分类器，对视频中的每一帖图像采用滑窗捜索的方式，判断每一个滑窗是否存在行人。此 方法的优点是鲁棒性高，缺点是计算量大，实时性不高。
[0006] 常用的行人跟踪技术如下：
[0007] 1)基于模板匹配的跟踪算法：基本思想是把预先给定的模板作为检测和识别的 依据，用模板与待检测图像的各个子区域进行匹配，最相似的子块就是目标的当前跟踪到 位置。运类方法优点是计算简单速度快，缺点是容易发生漂移，鲁棒性不高。
[0008] 2)基于特征和运动预测的跟踪算法：该方法是对检测到的目标行人提取特征，并 预测在视频下一帖的位置，W此为依据找出最相似的位置作为跟踪目标的当前位置。运类 方法优点是鲁棒性较好，但是当发生遮挡时容易跟丢。
【发明内容】
[0009] 本发明所要解决的问题是，提供一种能快速检测到行人，并能准确的进行跟踪的 方法。
[0010] 本发明为解决上述技术问题所采用的技术方案是，基于运动信息和轨迹关联的视 频行人检测和跟踪方法，包括W下步骤： W11] 步骤1:行人检测分类器训练
[0012] 在带检测与跟踪的应用场景中截取包含行人的各种姿态的行人作为正样本，把场 景背景当作负样本，对每一个正负样本提取积分通道特征作为样本的训练特征输入分类器 进行训练得到训练好的行人检测分类器；积分通道特征为LUV颜色空间上的LU、V=个颜 色通道加上7个梯度方向通道组成的特征； 阳〇1引步骤2:行人检测
[0014] 步骤2-1对连续S帖图片，当前帖I化）分别与前一帖I化-1)和后一帖I化+1)分 别相减，对2个相减结果进行与操作，再对与操作结果进行连通域填充和闭操作得到运动 区域图片；
[0015] 步骤2-2利用运动区域图片对当前帖进行掩模操作得到运动分割后的图像I;
[0016] 步骤2-3在图像I上用矩形窗来滑动捜索提取特征输入训练好的行人检测分类器 中判断是否存在行人，若存在，则记录矩形框位置，滑动捜索完毕后对记录的矩形框进行融 合得到当前帖的行人检测结果；
[0017] 基于轨迹关联的视频行人跟踪方法流程，如附图2所示，包括W下步骤：
[001引步骤3:行人跟踪
[0019] 步骤3-1对于当前帖行人检测结果中每一个行人进行判断，是否为首次跟踪行 人，如是，则进行轨迹初始化后进入步骤3-2,如否，则直接进入步骤3-2 ;第t帖时的第i个 行人表示为xi=(P1，/)，其中P，S，V分别表示目标的位置坐标、长宽大小、运动速度，轨 迹r=K11S/、<A:S/,.</}为从第1帖到第t帖的轨迹集合，t,表示最早出现的行人的轨 迹起始帖号为第S帖，t。表示最晚出现的行人的轨迹起始帖号为第e帖；
[0020] 步骤3-2求相似度投影矩阵：取当前帖的置信度高的轨迹为训练样本，提取样本 的HSV颜色空间的=个颜色通道的颜色直方图作为特征向量，若行人提取到的特征向量 为足，轨迹r是包含N帖中行人X1的集合，则其特征向量提取公式为：
[0021]
[0022]选取训练样本集为S=化，yi}，其中为第i个样本的特征向量，y1为样本i所 属类别；根据训练样本计算类间离散矩阵Sb和类内离散矩阵St:
[0023]
[0024]其中，C代表样本类别总数，mi为第i类特征值均值，y为全局特征值均值，（?） T表示矩阵转置；(f1-y)T利用类间离散矩阵Sb和类内离散矩阵St得到投影矩阵U: 阳0巧]
[00%] 步骤3-3根据投影矩阵U计算行人和轨迹的相似度：
[0027]
[00測其中八（r，。就是第i轨迹r和第i行人X么间的相似度值，/r和在分别为 第i个轨迹的特征向量和第i个行人的特征向量，U为投影矩阵，II?II为二范数。
[0029] 步骤3-4对检测到的行人进行局部关联，局部轨迹关联代价矩阵S: 阳030] S=[Si j] hxn, Si j=-log(A(T\x〇)iG[0..h],jG[0..n]
[0031] 其中，当前帖为第t帖时，h为第t帖的轨迹数，n为第t帖的检测的行人数，r代 表第i条轨迹，X'表示第j个检测到行人，S1,表示代价矩阵S在第i行第j列的值，即轨迹 r和行人X'的关联代价值；
[0032] 步骤3-5计算轨迹置信值conf(r):根据轨迹的历史信息，包括轨迹的长度、遮挡 程度、相似度计算轨迹的置信值conf(r):
[0033]
[0034] 其中L为轨迹r的长度，A灯1，。为行人X郝轨迹T1的相似度，W为该轨迹目标 未检测到的帖数，P为调节参数，conf(r)得到的值越大代表置信度越高。
[0035] 步骤3-6对小轨迹进行全局关联，我们定义关联代价矩阵G为：
[0036]
[0037]A(/r，/r,)表示两条小轨迹r和T么间的相似度值；
[0038]
[0039] conf灯1)为轨迹r置信值； W40] 步骤3-7返回步骤2进行下一帖的检测与跟踪。
[0041] 发明采用两个步骤：
[0042]1)基于运动区域图的快速行人检测：用最简单快速的帖差法检测运动，并结合数 字图像处理中的形态学方法，先检测出视频中的运动区域。然后在运动区域中采取滑窗捜 索的方式，提取特征，并用预先训练好的行人检测分类器，分类最终得到分类结果。
[0043]2)基于轨迹关联的行人跟踪方法：利用上一步骤得到的行人检测结果作为本步 骤的输入，开始时为每一个检测到的行人初始化一个跟踪器，每个跟踪器包含目标的历史 运动信息和外观信息。处理当前帖时，对输入的每一个检测结果，提取位置信息和外观信 息，并W此为依据建立关联矩阵，来关联之前帖的跟踪目标，最终得到行人的跟踪轨迹。
[0044] 本发明的有益效果是，能够更加快速的在视频流中检测到行人，并能准确的进行 跟踪，具有良好的实时性，在较复杂的场景中也有良好的鲁棒性。
【附图说明】
[0045] 附图1 :基于运动信息的行人检测流程图
[0046] 附图2:基于轨迹关联的行人跟踪流程图
[0047] 附图3:跟踪轨迹置信度示意图
【具体实施方式】
[0048]实现平台：Matl油，C++
[0049]硬件平台：Inteli3巧GRAM 阳化0]软件平台：Matl油，VS2010, 0PENCV2. 4. 9
[0051] 采用本发明的方法，首先使用Matl油进行算法验证，并在C++平台上进行开发。我 们通过离线样本训练行人检测分类器，运用本文方法进行检测，并把检测结果用本文方法 进行跟踪，实验效果表现鲁棒，对行人部分遮挡，人与人之间的遮挡W及多人的场景都有较 好的鲁棒性，可W在现实场景运用。 阳05引实现方法如下：
[0053] 基于运动信息的视频行人检测方法流程，如附图1所示，包括W下步骤：
[0054] 步骤1 :离线训练行人检测分类器：在相应的应用场景中截取包含行人的各种姿 态的行人作为正样本，把场景背景当作负样本。对每一个正负样本提取积分通道特征，即^ U、V=个颜色通道加上7个梯度方向通道，作为样本的训练特征。训练样本数据集可表示 为公式T= {(xl,yl)，（x2,诚? ? ?（x3,y3)}，其中X为特征向量，yG{1，-]_}为样本标 号，初始化时为每一个样本赋予相同的权重，每一次训练时计算误差率6m，如下式所示，其 中Gm(X):XG{-1，+1}为基本弱分类器， 阳化引
[0056] 根据误差率得到每个基本分类器的重要性am，如下式所示更新权重，
[0057]
[0058] 最终得到的分类器如下式所示。
[0059]
W60] 步骤2 :在线基于运动区域图的快速行人检测
[0061] 步骤2-1S帖差法检测运动区域：对连续S帖图片，I化-1)、I化)、I化+1)则检测 到的运动前景图片为F= |1化)-1化-1)|n|1化+1)-1化）|。即当前帖1化）分别与前一 帖1化-1)和后一帖i(k+i)分别相减，并进行与操作，并对结果进行连通域填充和闭操作， 最终得到运动前景图片。