>[0062] 步骤2-2对运动区域滑窗检测得到行人检测结果：用步骤2-1得到的运动区域图， 来对原图进行掩模操作，得到运动分割后的图像I。在图像I上用宽度为W，高度为H的矩形 窗来滑动捜索整个图像，把每一个矩形窗都按步骤1-2中提到的方法提取积分通道特征， 并将特征输入到分类器中进行判断是否存在行人。若存在，则记录矩形框，最后根据重叠面 积对矩形框融合，得到最后的检测结果。
[0063] 基于轨迹关联的视频行人跟踪方法流程，如附图2所示，包括W下步骤：
[0064]步骤3 :基于轨迹关联的行人跟踪方法 W65] 设在第t帖时的第i个行人表示为xi=(P1，s\yi)，其中P，S，V分别表示目标的 位置坐标、长宽大小、运动速度。轨迹r= 为第1帖到第t帖的 轨迹集合，由于在视频中可能存在多个行人，每个行人在视频帖中出现的起始帖和结束帖 不同，所Wtg表示第i个行人的轨迹起始帖号为第S帖，t。表示第i个行人的轨迹起始帖 号为第e帖；
[0066] 步骤3-1初始化：把步骤1得到的行人检测结果作为输入X={V}，初始化一个轨 迹Ti集合。
[0067] 步骤3-2求相似度投影矩阵：取当前帖的目标为训练样本，提取每一个样本的HSV =个颜色通道的颜色直方图作为底层特征，若行人提取到的特征向量为fy，轨迹r是包 含N帖行人的集合，则其特征向量提取公式为：
[0068]
W例利用线性判别分析算法（ILDA)在线训练一个外观分类模型。设选取的训练样本 集为S= (fi，yi}，其中为第i个样本的特征向量，y1为样本i所属类别。根据训练样本 计算类间离散矩阵Sb和类内离散矩阵St如下式所示，
[0070]
许巧
[0071]其中C代表样本类别总数，mi为第i某类特征值均值，y为全局特征值均值。利 用类间离散矩阵Sb和类内离散矩阵St得到投影矩阵U，如下式所示，
[0072]
(2-2)
[0073] 步骤3-3根据投影矩阵计算行人和轨迹的相似度：多个目标和多条轨迹之间的相 似度值，计算相似度的公式如下式所示，
[0074]
冷巧
[007引其中八（r，。就是计算第i轨迹r和第i行人之间的相似度值，安>和赵分 别为轨迹的特征向量和行人的特征向量。矩阵U为上一个步骤计算得到的投影矩阵。
[0076]步骤3-4利用局部关联得到可靠的小轨迹：对相邻帖的检测到的行人，根据步骤 3-3得到投影矩阵，计算行人和轨迹之间的相似度，得到的局部轨迹关联代价矩阵如下式所 示 阳077] S=[Sij] hxn,Sij=-log(A(T\x〇)iG[0. .h],jG[0. .n] (2-4)
[0078] 其中，h为第t帖的轨迹数，n为第t帖的检测的目标数。通过匈牙利算法解运个 分配优化问题，从而将相邻几帖相似度高的目标进行连接，得到可靠的短轨迹。相邻帖信息 存储在轨迹中，通过与轨迹的相似度计算，就是在利用相邻帖的信息得到小轨迹。
[0079]步骤3-5计算轨迹置信值conf(r):根据轨迹的历史信息，包括轨迹的长度、遮挡 程度、相似度计算轨迹的置信值，如下式所示，
[0080]
[0081] 其中L为轨迹长度，A(r，。为步骤2-3得到的相似度值，# =为该轨 迹目标未检测到的帖数，P为调节参数。计算得到的置信度效果图如附图3所示，conf(r) 得到的值越大代表置信度越高。
[0082] 步骤3-6全局关联得到跟踪结果：对步骤2-4得到的长度不同的小轨迹进行全局 关联得到最终的输出轨迹，我们定义关联代价矩阵G如下式所示，
[0083]
[0084] 由于存在多条小轨迹，AC/f，知）表示两条小轨迹r和T'之间的相似度值，对轨迹 提取特征向量方法是对其所包含的行人提取特征向量的平均值作为轨迹的特征向量，并利 用步骤2-3得到的投影矩阵进行计算， 阳0化]
[0086] conf(r)为轨迹r置信值。根据小轨迹之间的相似度，W及轨迹自身的置信度值， 可W计算得到代价矩阵G，并依据代价矩阵进行小轨迹之间的连接，从而得到每个目标的跟 踪轨迹。
[0087] 步骤3-4W及3-6得到关联代价矩阵之后对轨迹的关联为现有技术，通过匈 牙利算法解分配优化问题就能对轨迹进行关联。体算法参考文献Y.Li,C.化ang，and 民.Nevatia.Learningtoassociate:Hybridboostedmulti-targettrackerforcrowded scene.InCVPR2009〇
[0088] 步骤3-7进行下一帖的跟踪，步骤2,得到每一帖的跟踪轨迹，从而实现在线跟踪。
【主权项】
1.基于运动信息和轨迹关联的视频行人检测和跟踪方法，其特征在于，包括以下步 骤： 步骤1:行人检测分类器训练 在带检测与跟踪的应用场景中截取包含行人的各种姿态的行人作为正样本，把场景背 景当作负样本，对每一个正负样本提取积分通道特征作为样本的训练特征输入分类器进行 训练得到训练好的行人检测分类器；积分通道特征为LUV颜色空间上的L、U、V三个颜色通 道加上7个梯度方向通道组成的特征； 步骤2 :行人检测 步骤2-1对连续三帧图片，当前帧I(k)分别与前一帧I(k-1)和后一帧I(k+1)分别相 减，对2个相减结果进行与操作，再对与操作结果进行连通域填充和闭操作得到运动区域 图片； 步骤2-2利用运动区域图片对当前帧进行掩模操作得到运动分割后的图像I; 步骤2-3在图像I上用矩形窗来滑动搜索提取特征输入训练好的行人检测分类器中判 断是否存在行人，若存在，则记录矩形框位置，滑动搜索完毕后对记录的矩形框进行融合得 到当前帧的行人检测结果； 基于轨迹关联的视频行人跟踪方法流程，如附图2所示，包括以下步骤： 步骤3 :行人跟踪 步骤3-1对于当前帧行人检测结果中每一个行人进行判断，是否为首次跟踪行人，如 是，则进行轨迹初始化后进入步骤3-2,如否，则直接进入步骤3-2 ;第t帧时的第i个行人 表示为X1=(P\s1，V1)，其中p，S，V分别表示目标的位置坐标、长宽大小、运动速度，轨迹 r? 11mAy}为从第i帧到第t帧的轨迹集合，ts表示最早出现的行人的轨迹 起始帧号为第s帧，％表示最晚出现的行人的轨迹起始帧号为第e帧； 步骤3-2求相似度投影矩阵：取当前帧的置信度高的轨迹为训练样本，提取样本的HSV 颜色空间的三个颜色通道的颜色直方图作为特征向量，若行人X1提取到的特征向量为/〕:， 轨迹T1是包含N帧中行人X1的集合，则其特征向量提取公式为：选取训练样本集为S= {匕，yj，其中A为第i个样本的特征向量，yi为样本i所属类 别；根据训练样本计算类间离散矩阵Sb和类内离散矩阵St:其中，C代表样本类别总数，Hi1为第i类特征值均值，y为全局特征值均值，（?）T表示 矩阵转置；(f「y)T利用类间离散矩阵Sb和类内离散矩阵St得到投影矩阵U:步骤3-3根据投影矩阵U计算行人和轨迹的相似度：其中A(T1，X1)就是第i轨迹T1和第i行人x1之间的相似度值，/p和分别为第i个 轨迹的特征向量和第i个行人的特征向量，U为投影矩阵，I卜II为二范数。 步骤3-4对检测到的行人进行局部关联，局部轨迹关联代价矩阵S: S= [s；j] hXn,Sij =-log(Ad1,x]))iG[0. .h],jG[0. .n] 其中，当前帧为第t帧时，h为第t帧的轨迹数，n为第t帧的检测的行人数，T1代表第i条轨迹，Xi表示第j个检测到行人，su表示代价矩阵S在第i行第j列的值，即轨迹T1和 行人x]的关联代价值； 步骤3-5计算轨迹置信值conf(r):根据轨迹的历史信息，包括轨迹的长度、遮挡程 度、相似度计算轨迹的置信值conf(r):其中L为轨迹T1的长度，A(T^x1)为行人X1和轨迹T1的相似度，w为该轨迹目标未检 测到的帧数，0为调节参数，conf(r)得到的值越大代表置信度越高。 步骤3-6对小轨迹进行全局关联，我们定义关联代价矩阵G为：confCT)为轨迹T1置信值； 步骤3-7返回步骤2进行下一帧的检测与跟踪。
【专利摘要】本发明提供一种基于运动信息和轨迹关联的视频行人检测和跟踪方法。行人检测：用帧差法检测运动，并结合数字图像处理中的形态学方法，先检测出视频中的运动区域，然后在运动区域中采取滑窗搜索的方式提取特征，并用预先训练好的行人检测分类器，分类最终得到分类结果。跟踪方法：利用上一步骤得到的行人检测结果作为本步骤的输入，开始时为每一个检测到的行人初始化一个跟踪器，每个跟踪器包含目标的历史运动信息和外观信息。处理当前帧时，对输入的每一个检测结果，提取位置信息和外观信息，并以此为依据建立关联矩阵，来关联之前帧的跟踪目标，最终得到行人的跟踪轨迹。本发明具有良好的实时性，在较复杂的场景中也有良好的鲁棒性。
【IPC分类】G06K9/00, G06K9/62
【公开号】CN105224912
【申请号】CN201510548633
【发明人】解梅, 罗招材, 陈熊, 于国辉
【申请人】电子科技大学
【公开日】2016年1月6日
【申请日】2015年8月31日