专利名称：基于前景分析和模式识别的行人检测方法
技术领域：
本发明涉及的是一种视频图像处理技术领域的方法，具体是一种基于前景分析和 模式识别的行人检测方法。
背景技术：
在计算机视觉领域的许多应用中，如智能监控、机器视觉、人机交互等，都需要对 视频序列中的行人进行检测。由于实际应用场景存在光照快速变化、运动物体种类多样 (如行人、车辆等)、行人彼此遮挡且姿态不断变化等问题，因此如何在复杂环境下鲁棒快 速地完成行人检测一直是研究的热点。现有的检测方法可分为两大类一类采用前景分析的方法。赵涛于2004年发表 在〈〈IEEE Transactions on Pattern Analysis and Machine Intelligence))(国际电 气与电子工程师协会模式分析与机器智能学报)第26卷1208页至1221页的“Tracking multiple human in complex situations”(复杂环境下多人跟踪方法)文章中指出，尽管 拥挤场景中人与人遮挡严重，但是头部被遮挡的几率却很小，加之人头肩形状特殊，因此通 过检测头顶点可实现可靠的行人检测。此类方法默认场景中的运动物体只有行人，当场景 中不只有人在运动时会出现大量误判的结果。另一类采用模式识别的方法，通过提取行人 的形状特征进行统计学习训练分类器，对于视频图像在每个可能尺度下的可能位置用分类 器进行判决。该类方法中识别效果出色的分类器训练方法为Qiang Zhu于2006年在《IEEE Computer Society Conference on Computer Vision and Pattern Recognition))(国际 电子电气工程师协会计算机学会计算机视觉与模式识别会议)技术集第2卷1491至1498 页上发表的技术"Fast human detection using a cascade of histogram of oriented gradients”(基于梯度方向直方图构建级联分离器实现快速行人检测)。此技术提出了简 化HoG(Histograms of Oriented Gradient梯度方向直方图)特征，并利用级联分类器来 提高单个行人区域的识别速度。此类方法在应用于视频时，只能采取多尺度反复扫描的方 法来逐一检测，因此处理速度慢。如何将两类方法有效结合起来，目前研究还不充分，这促 使寻找一种更加合理的方法框架，在提升检测准确率的同时提高方法处理速度，满足在复 杂场景下行人检测的应用要求。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于前景分析和模式识别的行人 检测方法，既可提升行人检测准确度，又可提高视频中行人检测的处理速度，并可应用在动 态变化的复杂场景中。本发明是通过以下技术方案实现的，本发明采用高斯混合模型对视频图像的场景 进行背景建模，利用阈值化操作和形态学后处理提取视频图像的前景；利用轮廓特征和行 人高度先验模型分析前景并获得初步行人检测结果；在初步检测结果位置附近采样，利用 行人模式识别分类器对采样区域进一步判断，排除错误的初步行人检测结果，得到最终行人检测结果。所述的行人高度先验模型通过以下方式得到针对待分析的固定摄像头视频，手 工标定出位于视频场景中各个位置的行人，得到一组行人高度信息与头顶点信息，采用线 性模型来描述行人高度与行人出现位置的相互关系，并利用最小二乘法学习出线性模型的 具体参数，得到行人高度先验模型。所述的行人模式识别分类器是指利用行人图片样本库，提取图片的HoG(梯度方 向直方图)特征作为输入数据，采用级联Adaboost学习方法对HoG特征分类，训练得到行 人模式识别分类器。所述的轮廓特征通过以下方式得到对视频图像的前景进行轮廓分析得到轮廓峰 值点，即轮廓特征。所述的初步检测结果是指在轮廓特征处根据行人高度先验模型划定行人区域并 统计行人区域内的前景像素比例，当比例大于规定门限Thf时，认为此区域为行人出现区 域。 所述的采样是指以初步行人检测区域中心点为中心，分别向上、下移动区域高度 的1/8，再分别向左、右移动行人区域宽度的1/8，而后将区域按1. 2倍扩大，再向上、下移动 区域高度的1/8，再向左、右移动行人区域宽度的1/8，由此获得9个采样区域。本发明的原理是，由于行人头肩部分彼此遮挡的几率很小且头肩形状具有强可区 分性，因此可以通过前景分析寻找头顶点，确定行人区域。但是当场景中含有多种运动物体 和变化的光照时，仅利用前景完成检测会得到大量误检结果，因此需要用更鲁棒的分类器， 提取更多形状、梯度信息进行模式识别，排除利用前景得到的错误行人检测结果，提高行人 检测准确率。与现有技术相比，本发明综合利用前景分析和模式识别来完成行人检测，利用前 景分析方法运算速度快的特点来得到初步行人检测结果、缩小行人出现的区域范围，利用 模式识别方法检测准确度高的特点对初步行人检测结果进行进一步判断，从而使本发明在 复杂场景中既可以准确鲁棒地完成行人检测，又能有效地降低方法的运算时间。
图1是本发明的工作流程图。图2是行人高度采样示意图。图3是前景分割结果图。图4是前景分析结果图。图5是基于模式识别的行人检测结果图。
具体实施例方式下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行 实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施 例。实施例本实施例对TRECVid2008提供的英国伦敦Gatwick机场监控视频序列(720 X 576像素，25fps)进行处理。该视频中场景背景处于动态变化之中，不仅有光照变化还有不停变 化的广告灯箱，运动物体有行人、行李车、清洁车等，行人遮挡比较严重。本实施例包括如下 步骤第一步，针对待分析的固定摄像头视频，手工标定出位于视频场景中各个位置的 行人，得到一组行人高度信息与头顶点信息，采用线性模型来描述行人高度与位置的相互 关系，并利用最小二乘法学习出线性模型的具体参数，得到行人高度变化的先验模型，具体 为任意选取视频序列中某一段，对分布在场景各位置的行人进行人工采样，如图2 所示标定出行人头顶点和脚的坐标，由头顶点与脚的坐标差可获得行人的高度信息。本实 施例中，采集了 37个行人高度Qvh1, -,h37)和头顶点图像坐标((XQ，yQ)，(X1, Y1),…， (x37，y37))。采用归一化坐标表示头顶点，并用向量来表示，即H= QvIll，…，h37)tX= ((x0, yQ，l)，(Xl，yi，l)，…，(x37，y37，1))τ，而后利用线性模型来描述行人高度与头顶点坐标的关 系(H = AX)。线性系数A可通过最小二乘估计法获得A* = arg minA(H - AX)T {H - ΑΧ)解得A = (XtX) ^1XtH本实施例的最终拟合函数为h = 0. 03*x-l. 1816*y+759. 1206(程序基于OpenCVl.O编写，视频中的图像坐标原点位于左下角。)第二步，利用行人样本图片库，提取图片的HoG(梯度方向直方图)特征作为输入 数据，采用级联Adaboost学习方法生成行人的模式识别分类器。训练分类器所需的图片样本来自于公开数据库INRIAPerson (http //yoshi. cs. ucla. edu/yao/data/PASCAL_human/INRIAPerson. tar)。本实施例选用 INRIAPerson 中 train_64xl28_H96和test_64xl28_H96两个文件夹的图片数据。正样本来自文件夹中已完 成尺寸归一化(96X160)且已分割好的行人图片。负样本由对负样本图片库中的大尺寸图 像随意分割，并按与正样本相同的尺寸(96X160)进行归一化。最终的训练集共有正样本 2471个、负样本1219个，测试集共有正样本1127个、负样本454个。本发明选用Qiang Zhu提出的HoG特征，该特征可以在任意尺度、比例的窗口提 取，运算简单。为了确保窗口尺寸、位置分布的合理性，规定窗口的尺寸范围从12X12到 64X128，长宽比例为(1 1)、(1 2)、(2 1)三种，相邻窗口间的位移为4，、6、8三种。 按此要求，共可以产生14914个不同窗口。HoG特征生成过程为①生成对应9个梯度方向区间的9幅二值图将梯度方向(无符号绝对值梯度)所在范围[0，180)平均划分为9个区间，并开 辟9个与行人区域尺寸相同(96X160)的二值图像空间，此9幅二值图像与9个梯度方向 区间一一对应。计算行人区域内每一点像素的梯度方向，并查看该梯度方向落入哪个区间， 落入区间对应的二值图在该位置处赋1，其余二值图在该位置处赋0，由此可得到行人区域 的9幅二值图像。②生成指定窗口的HoG特征当给定窗口的位置(14914个窗口位置中的一个)时，将该窗口平分为四个子窗 口。统计9幅二值图在每个子窗口内值为1的像素个数，生成一个9维的直方图向量。将四个子窗口的向量头尾相接，则构成36维的HoG特征向量。 本发明采用了 LibSVM 工具(http://www. csie. ntu. edu. tw/ cjlin/libsvm/) 完成弱分类器的训练。首先要指定该弱分类器对应的窗口位置，而后将训练集中正负样本 在指定窗口位置处的HoG特征按LibSVM要求写成训练数据文件，由LibSVM学习程序自动 产生弱分类器模型。级联Adaboost分类器的训练步骤如下①设定可接受的每个强分类器的最大负样本判错率fmax = 0. 7和最小正样本通过 率dmin = 0. 9975，级联Adaboost分类器要达到的总负样本判错率目标Ftoget = 0. 000001， 正样本集P，负样本集N。②设级联排列的强分类器的序号为i，级联到当前第i个强分类器时级联 Adaboost分类器的总负样本判错率为Fp总正样本通过率为Dp初始化Fi = (1 = 1. 0，Di = Q =1. O。③当前负样本判错率大于目标负样本判错率(Fi > Ftarget)时，令i = i+Ι，利用 Adaboost方法训练产生一个新的强分类器，得出该强分类器的负样本判错率f”④计算当前级联Adaboost分类器的Fi和Di Fi = Fi^1. ^,Di = Di^1-Clfflin0⑤若Fi仍大于Ftmget，则需更新负样本集。用当前的级联Adaboost分类器在负样 本集N中做判断，剔除出可正确判断为负样本的数据，仅保留错判为正样本的数据在N中用 于下次训练，返回③。若Fi小于等于Ftmget，则级联Adaboost分类器训练完成。利用Adaboost方法训练强分类器的过程如下①把正、负样本的权重参数Wi分别初始化为
权利要求
1.一种基于前景分析和模式识别的行人检测方法，其特征在于，采用高斯混合模型对 视频图像的场景进行背景建模，利用阈值化操作和形态学后处理提取视频图像的前景；利 用轮廓特征和行人高度先验模型分析前景并获得初步行人检测结果；在初步检测结果位置 附近采样，利用行人模式识别分类器对采样区域进一步判断，排除错误的初步行人检测结 果，得到最终行人检测结果。
2.根据权利要求1所述的基于前景分析和模式识别的行人检测方法，其特征是，所述 的行人高度先验模型通过以下方式得到针对待分析的固定摄像头视频，手工标定出位于 视频场景中各个位置的行人，得到一组行人高度信息与头顶点信息，采用线性模型来描述 行人高度与行人出现位置的相互关系，并利用最小二乘法学习出线性模型的具体参数，得 到行人高度先验模型。
3.根据权利要求1所述的基于前景分析和模式识别的行人检测方法，其特征是，所述 的行人模式识别分类器是指利用行人图片样本库，提取图片的梯度方向直方图特征作为 输入数据，采用级联Adaboost学习方法对HoG特征分类，训练得到行人模式识别分类器。
4.根据权利要求1所述的基于前景分析和模式识别的行人检测方法，其特征是，所述 的轮廓特征通过以下方式得到对视频图像的前景进行轮廓分析得到轮廓峰值点，即轮廓 特征。
5.根据权利要求1所述的基于前景分析和模式识别的行人检测方法，其特征是，所述 的初步检测结果是指在轮廓特征处根据行人高度先验模型划定行人区域并统计行人区域 内的前景像素比例，当比例大于规定门限Thf时，认为此区域为行人出现区域。
6.根据权利要求1所述的基于前景分析和模式识别的行人检测方法，其特征是，所述 的采样是指以初步行人检测区域中心点为中心，分别向上、下移动区域高度的1/8，再分 别向左、右移动行人区域宽度的1/8，而后将区域按1.2倍扩大，再向上、下移动区域高度的 1/8，再向左、右移动行人区域宽度的1/8，由此获得9个采样区域。
全文摘要
一种视频图像处理技术领域的基于前景分析和模式识别的行人检测方法，采用高斯混合模型对视频图像的场景进行背景建模，利用阈值化操作和形态学后处理提取视频图像的前景；利用轮廓特征和行人高度先验模型分析前景并获得初步行人检测结果；在初步检测结果位置附近采样，利用行人模式识别分类器对采样区域进一步判断，排除错误的初步行人检测结果，得到最终行人检测结果。本发明既可提升行人检测准确度，又可提高视频中行人检测的处理速度，并可应用在动态变化的复杂场景中。
文档编号G06K9/66GK102147869SQ20111008107
公开日2011年8月10日 申请日期2011年3月31日 优先权日2011年3月31日
发明者徐奕, 杨小康, 闫青 申请人:上海交通大学