一种自然环境干扰和有遮挡时的行人目标检测方法
【专利摘要】本发明公开一种自然环境干扰和有遮挡时的行人目标检测方法，提出了HOG-CLBP特征提取方法结合NEU-Person样本库和通过其训练得出的人体部件模型，配合SVM分类器将行人检测问题转化为二分类问题来进行检测。随机抽取这两库训练集中的正负样本来训练，测试样本也随机抽取这两个库的测试集样本来测试；此处的正样本是NEU-Person库中的测试集的正样本。本发明NEU-Person样本库进行训练产生用于检测的部件模型，NEU-Person样本库涉及雨、雪、雾、夜间和迷彩等多种环境的样本，因此使得行人检测具有很强的鲁棒性。
【专利说明】一种自然环境干扰和有遮挡时的行人目标检测方法
【技术领域】
[0001]本发明涉及一种自然环境干扰和有遮挡的行人目标检测方法，具体说是一种基于机器视觉学习的高鲁棒行人检测方法，可用于复杂自然环境和有遮挡情况下的行人检测。
【背景技术】
[0002]行人目标检测是实现机械装备可视化、智能化以及无人驾驶，同时也是公共安全，军事侦察的重要基础，是计算机视觉领域中的研究热点，但是行人的状态存在所处的环境不同、所穿的衣物款式多样、人体体态的差异、采集信息时人体的姿态以及采集时的相机拍摄角度等不同的情况对检测效果的影响比较大，需要检测效率更高鲁棒性更强的检测算法，因此如何能够有效准确地检测行人成为具有挑战性的课题。
[0003]目前广泛使用的行人特征描述子是由Dalal等人提出的H0G(Histograms ofOriented Gradients)方法，这种检测方法是通过对待检测图像进行密集扫描的窗口计算梯度方向直方图得到的。HOG描述器最重要的思想是:在一副图像中，局部目标的表象和形状(appearance and shape)能够被梯度或边缘的方向密度分布很好地描述。因此HOG能有效地刻画出人体的梯度信息以及轮廓信息。但是HOG特征维数较高，计算缓慢。
[0004]局部二值模式(Local Binary Pattern，LBP)是一种灰度范围内的纹理度量，最初是由Ojala T.等人为了辅助性地度量图像的局部对比度而提出的，现已广泛应用在人脸识别中。LBP算子是从纹理局部邻近定义中衍生出来的，是一种灰度级不变的纹理分析方法，其优点为:对光照强度的变化有较强的鲁棒性，计算速度快，对单调变化的灰度特征具有不变性，较好地表征局部信息以及纹理信息，但其在低分辨率情况下判别能力较差。
[0005]单一的方法提取的特征都存在自身的局限性,针对这些不足,Xiaoyu Wang等人提出将HOG和LPB方法结合来提取特征的HOG-LBP方法，既包含了人体丰富的纹理信息和颜色信息(LBP)，也很好的表征了人体的轮廓信息和局部梯度信息(HOG)，在INRIA行人数据库测试中取得了较好的实验结果，但是在不同比例的遮挡、能见度不同程度条件下的复杂自然环境和不同程度的伪装检测上存在不足。
【发明内容】
[0006]本发明的目的是在于针对上述现有技术存在的问题，提供一种自然环境干扰和有遮挡时的行人目标检测方法。
[0007]为了实现上述目的，本发明采用如下技术方案:
[0008]一种自然环境干扰和有遮挡时的行人目标检测方法，该方法包括如下步骤:
[0009]步骤1、建立行人训练样本集，样本集分为有行人的正样本集和没有行人的负样本集；样本来自NEU-Person样本库和INRIA行人数据库；
[0010]步骤2、采用HOG-CLBP特征提取方法提取样本集中的人体特征，通过分块处理图像，在对提取的特征进行PCA降维，得到行人训练样本集样本的整体特征；
[0011]步骤3、将提取的特征送入SVM分类器进行分类，得到基于NEU-Person样本库的行人分类器；
[0012]步骤4、提取NEU-Person样本库的行人,计算出NEU-person样本库中行人的各个部件的近似的权重值；
[0013]步骤5、完成训练阶段后进行行人检测，用密集扫描检测待测图像，通过滑窗操作，利用训练好的分类器扫描每个窗口并进行判决，判断出有行人的窗口进行标记，最后将所有标记的窗口进行融合；
[0014]步骤6、通过图像金字塔和多尺度滑窗操作，将图像不同的尺度下的矩形框合并成一个框，进而得到目标准确的位置，即将待测行人检测出来。
[0015]本发明的优点是:
[0016]1、本发明利用HOG-CLBP结合的方法来提取特征，充分考虑到了直立的人体不仅具有大量的轮廓梯度信息，而且在外观和衣着上还有大量的纹理信息，可以更好地识别行人。
[0017]2、本发明NEU-Person样本库进行训练产生用于检测的部件模型，NEU-Person样本库涉及雨、雪、雾、夜间和迷彩等多种环境的样本，因此使得行人检测具有很强的鲁棒性。
[0018]3、本发明经过PCA降维和多尺度分析，通过正负样本的训练和学习，产生用于分类的行人特征，这样就减少了训练和检测所需要的时间，提高检测精度。
[0019]4、本发明使用SVM分类器进行分类检测，这样就将行人检测问题转化为二分类问题，即只需要区分行人目标和非行人目标，设计简单运算快。
【专利附图】
【附图说明】
[0020]图1-1是HOG-CLBP特征提取示意图之一。
[0021]图1-2是HOG-CLBP特征提取示意图之二。
[0022]图2是NEU-person样本库部件模型图。
[0023]图3是本发明系统框图。
[0024]图4是本发明与已有方法进行实验后的性能对比结果图。
[0025]图5是单目标检测结果采样图。
[0026]图6是多目标检测结果采样图。
[0027]图7是人为由上到下遮挡检测结果采样图。
[0028]图8是人为由左到右遮挡检测结果采样图。
[0029]图9是人为遮挡不同比例的检测结果采样图。
[0030]图10是实际物体遮挡检测结果采样图。
[0031]图11是雨雪天气干扰下的行人检测结果采样图。
[0032]图12是大雾天气干扰下的行人检测结果采样图。
[0033]图13是加入高斯噪声条件下的行人检测结果采样图。
[0034]图14是夜间环境行人检测结果采样图。
[0035]图15是伪装条件下的行人检测结果采样图。
【具体实施方式】
[0036]结合附图图1-15具体说明本发明的实施方式；[0037]—种自然环境干扰和有遮挡时的行人目标检测方法，该方法包括如下步骤:
[0038]步骤1、建立行人训练样本集，样本集分为有行人的正样本集和没有行人的负样本集；样本来自NEU-Person样本库和INRIA行人数据库；
[0039]步骤2、采用HOG-CLBP特征提取方法提取样本集中的人体特征，通过分块处理图像，在对提取的特征进行PCA降维，得到行人训练样本集样本的整体特征；
[0040]步骤3、将提取的特征送入SVM分类器进行分类，得到基于NEU-Person样本库的行人分类器；
[0041]步骤4、提取NEU-Person样本库的行人,计算出NEU-person样本库中行人的各个部件的近似的权重值；
[0042]步骤5、完成训练阶段后进行行人检测，用密集扫描检测待测图像，通过滑窗操作，利用训练好的分类器扫描每个窗口并进行判决，判断出有行人的窗口进行标记，最后将所有标记的窗口进行融合；
[0043]步骤6、通过图像金字塔和多尺度滑窗操作，将图像不同的尺度下的矩形框合并成一个框，进而得到目标准确的位置，即将待测行人检测出来。
[0044]所述步骤2中HOG-CLBP特征提取方法，采用分块移动进行HOG-CLBP融合特征的提取，检测窗口中的图像为64X128像素，对这个图像分块，每块大小为16X16像素，再将每块平均分成4个单元，则每个单元大小为8X8像素，如图1-1所示；统计每块的CLBP直方图，每块会得到一个59维的向量A ;然后分别统计一个块中的4个单元的梯度直方图，并将其合并，可以得到一个36维的向量B ;因此一个块就能用向量A，B表示。
[0045]步骤2中的图像分块处理，其中块的移动步长为一个单元的大小，如图1-2所示，一个单元内从左到右，由上到下移动，即由AEFD开始，下一次移动到BGHC，再下一次移动到EIJF,直到遍历整个检测窗口，最终将会产生
[0046](64/8-1) X (128/8-1)=105个块，则整张图片可用一个
[0047]105X (59+36) =9975 维的向量表示。
[0048]步骤4中将NEU-Person样本库的行人人体划分为5部分，5部分分别为头部，左臂与左半身躯部，右臂与右半身躯部，左右大腿为一部分和左右小腿及脚为一部分，这样划分可以有效的处理遮挡问题；通过NEU-person样本库计算各个部件的近似的权重值，头部的权重值为0.2，左臂与左半身躯的权重值为0.29，右臂与右半身躯的权重值为0.29，左右两个大腿的权重值为0.15，小腿及脚的权重值为0.07。部件模型如图2所示。
[0049]步骤6中构建图像金字塔:
[0050]用(n+2)元数组(Ftl, P1,…，Pn，b)定义含有n个子部件的行人目标部件模型；其中F0用来表示整体滤波器(H0G-CLBP特征模型)，Pi是第i个子部件的模型，b为偏移量；部件模型用三元数组(FpVi, (Ii)表示,其中,Fi是第i个部件的滤波器,大小是WiXhyVi是部件i相对整体模型的固定位置，Cli是目标部件相对固定位置变化损失的函数，即子部件偏离它模型中正确位置；通过多组模型的学习可以得到同一种目标的不同的模型，然后再组合成部件模型。
[0051]步骤6中目标图像通过多尺度滑窗检测确定目标:
[0052]在目标图像中行人的位置往往是随机和不固定的，而且行人的大小也会超过64*128的标准检测窗口的大小，在检测的时候首先对目标图像进行密集的扫描，其次对目标图像进行缩小；将目标图像按3层或4层进行缩小，直到目标图像的高度或者宽度小于等于标准检测窗口的高度或者宽度，可以获得一系列标准目标图像。
[0053]所述目标图像滑窗的密集检测过程中，可以得到很多个矩形框；然而，这些矩形框并不在同一个位置，原因在于同一个行人在不同的尺度下，相对于原图会有位置的偏移，则产生的矩形框就不会重合；会对目标最终位置的确定产生影响；因此，需要将这些矩形框合并成一个框，并得到目标准确的位置。
[0054]步骤I中样本来自NEU-Person样本库和INRIA行人数据库；
[0055]所述NEU-Person样本库中训练集有正样本613张，包含2362个行人，涉及雨、雪、雾、夜间和迷彩等环境；负样本227张；
[0056]测试集有正样本187张，包含713个行人，负样本150张；样本库中的行人大部分为站立姿势且高度大于100个象素。
[0057]NEU-Person样本库数据集是由东北大学机械学院智能检测与质量控制研究室所对外公开的，该样本库中训练集有正样本613张(包含2362个行人，涉及雨、雪、雾、夜间和迷彩等环境)，负样本227张；测试集有正样本187张(包含713个行人)，负样本150张。图库中的行人大部分为站立姿势且高度大于100个象素，图像的来源图片的清晰度较高，可以正常读取和显示。
[0058]实验内容与结果分析
[0059]实验一:应用本发明和现有的CLBP方法，HOG方法以及HOG-CLBP方法的性能进行对比，实验结果如图4所示。由图可知本发明所述的HOG-CLBP方法配合部件模型有着姣好的检测结果。
[0060]从图4中可以看出，在IO-3FFPW时，基于LBP曲线的漏检率很高，原因是:LBP特征对纹理描述能力强，但对边缘信息不敏感。基于HOG特征的行人检测的结果为0.19，可见HOG特征在行人检测方面有很强的优势，原因是:H0G特征对人体的边缘信息的描述有很强的表征能力，并且在提取HOG特征时会将大量的背景信息过滤，即将大量的无效信息过滤，而人体与背景之间的边缘变化是比较明显的。有特征融合的HOG-CLBP曲线所得到的漏检率大约为0.06，可见特征融合对检测率的提高确实有很大帮助，集合了 HOG特征与CLBP特征的优势。加入部件模型之后漏检率的更低达到0.02，可见部件模型使检测更加准确，证明了本发明方法的有效性。
[0061]实验二:应用本发明对不同自然环境下及不同遮挡条件下的行人进行检测。其中图5为单目标检测结果图，图6为多目标检测结果图，图7为人为遮挡(由上到下)检测结果图，图8为人为遮挡(由左到右)检测结果图，图9为人为遮挡(不同比例)检测结果图，图10为实际物体遮挡检测结果图，图11为雨雪天气干扰下的行人检测结果图，图12为大雾天气干扰下的行人检测结果图，图13为加入高斯噪声条件下的行人检测结果图，图14为夜间环境行人检测结果图，图15为伪装条件下的行人检测结果图。
[0062]实验结果表明本方法对不同比例和类型的行人遮挡，不同能见度自然环境及不同程度的伪装等复杂环境的检测具有很好的鲁棒性。同时对加入不同种高斯噪声的图片和夜间图片中行人的检测上也取得了很好的检测效果。因此本文提出的方法适用于多种不同的自然和人为遮挡环境，进一步证明了本发明方法的有效性。
【权利要求】
1.一种自然环境干扰和有遮挡时的行人目标检测方法，其特征在于: 该方法包括如下步骤: 步骤1、建立行人训练样本集，样本集分为有行人的正样本集和没有行人的负样本集；样本来自NEU-Person样本库和INRIA行人数据库； 步骤2、采用HOG-CLBP特征提取方法提取样本集中的人体特征，通过分块处理图像，在对提取的特征进行PCA降维，得到行人训练样本集样本的整体特征； 步骤3、将提取的特征送入SVM分类器进行分类，得到基于NEU-Person样本库的行人分类器； 步骤4、提取NEU-Person样本库的行人,计算出NEU-person样本库中行人的各个部件的近似的权重值； 步骤5、完成训练阶段后进行行人检测，用密集扫描检测待测图像，通过滑窗操作，利用训练好的分类器扫描每个窗口并进行判决，判断出有行人的窗口进行标记，最后将所有标记的窗口进行融合； 步骤6、通过图像金字塔和多尺度滑窗操作，将图像不同的尺度下的矩形框合并成一个框，进而得到目标准确的位置，即将待测行人检测出来。
2.根据权利要求1所述的一种自然环境干扰和有遮挡时的行人目标检测方法，其特征在于: 所述步骤2中HOG-CLBP特征提取方法，采用分块移动进行HOG-CLBP融合特征的提取，检测窗口中的图像为64X 128像素 ，对这个图像分块，每块大小为16 X 16像素，再将每块平均分成4个单元，则每个单元大小为8X8像素，;统计每块的CLBP直方图，每块会得到一个59维的向量A ;然后分别统计一个块中的4个单元的梯度直方图，并将其合并，可以得到一个36维的向量B ;因此一个块就能用向量A, B表不。
3.根据权利要求1所述的一种自然环境干扰和有遮挡时的行人目标检测方法，其特征在于: 步骤2中的图像分块处理，其中块的移动步长为一个单元的大小，一个单元内从左到右，由上到下移动，即由AEFD开始，下一次移动到BGHC，再下一次移动到EIJF，直到遍历整个检测窗口，最终将会产生 (64/8-1) X (128/8-1) =105个块，则整张图片可用一个 105X (59+36) =9975维的向量表示。
4.根据权利要求1所述的一种自然环境干扰和有遮挡时的行人目标检测方法，其特征在于: 步骤4中将NEU-Person样本库的行人人体划分为5部分，5部分分别为头部，左臂与左半身躯部，右臂与右半身躯部，左右大腿为一部分和左右小腿及脚为一部分，这样划分可以有效的处理遮挡问题；通过NEU-person样本库计算各个部件的近似的权重值，头部的权重值为0.2，左臂与左半身躯的权重值为0.29，右臂与右半身躯的权重值为0.29，左右两个大腿的权重值为0.15，小腿及脚的权重值为0.07。
5.根据权利要求1所述的一种自然环境干扰和有遮挡时的行人目标检测方法，其特征在于: 步骤6中构建图像金字塔:用(n+2)元数组(Ftl, P1,…，Pn，b)定义含有n个子部件的行人目标部件模型；其中Ftl用来表示整体滤波器，Pi是第i个子部件的模型，b为偏移量；部件模型用三元数组(Fi, Vi, (Ii)表示，其中，Fi是第i个部件的滤波器，大小是WiXhi, Vi是部件i相对整体模型的固定位置，Cli是目标部件相对固定位置变化损失的函数；通过多组模型的学习可以得到同一种目标的不同的模型，然后再组合成部件模型。
6.根据权利要求1所述的一种自然环境干扰和有遮挡时的行人目标检测方法，其特征在于: 步骤6中目标图像通过多尺度滑窗检测确定目标: 在目标图像中行人的位置往往是随机和不固定的，而且行人的大小也会超过64*128的标准检测窗口的大小，在检测的时候首先对目标图像进行密集的扫描，其次对目标图像进行缩小；将目标图像按3层或4层进行缩小，直到目标图像的高度或者宽度小于等于标准检测窗口的高度或者宽度，可以获得一系列标准目标图像。
7.根据权利要求6所述的一种自然环境干扰和有遮挡时的行人目标检测方法，其特征在于: 所述目标图像滑窗的密集检测过程中，可以得到很多个矩形框；然而，这些矩形框并不在同一个位置，原因在于同一个行人在不同的尺度下，相对于原图会有位置的偏移，则产生的矩形框就不会重合；会对目标最终位置的确定产生影响；因此，需要将这些矩形框合并成一个框，并得到目标准确的位置。
8.根据权利要求6所述的一种自然环境干扰和有遮挡时`的行人目标检测方法，其特征在于: 步骤I中样本来自NEU-Person样本库和INRIA行人数据库； 所述NEU-Person样本库中训练集有正样本613张，包含2362个行人，涉及雨、雪、雾、夜间和迷彩等环境；负样本227张； 测试集有正样本187张，包含713个行人，负样本150张；样本库中的行人大部分为站立姿势且高度大于100个象素。
【文档编号】G06K9/46GK103617426SQ201310643883
【公开日】2014年3月5日 申请日期:2013年12月4日 优先权日:2013年12月4日
【发明者】颜云辉, 胡少鹏, 宋克臣, 李骏, 王展 申请人:东北大学