减少特征图的大小，但仍能较好的保 持高分辨率特征图描述的特征。
[0048] 第二层卷积操作针对人体的头部、躯干等部件区域提取特征，鉴于不同部件所属 图像区域尺寸不一样，第二层卷积操作中卷积核的大小是20个不同大小的滤波器，模板的 样式是按照人体的part进行划分，以此来解决行人检测中的遮挡问题。模板的样式与人体 的part对应，可能的遮挡情况，分为3个等级，滤波器大小分别为：
[0049] Level 1 :3X3,3X3,6X3,6X3,7X2,7X2，
[0050]Level 2 :3X5,9X2,9X2,6X5,12X2,12X2,7X5，
[0051] Level 3 :3X5,9X5,15X2,15X2,19X5,15X5,15X5
[0052] 2. 1. 2 形变层
[0053] 经过第二个卷积层，对于一幅图像可以得到20张特征图，每一张特征图代表不同 的遮挡情况。对这20张特征图进行下采样，得到20个part的得分。
[0054] 首先，对每一张特征图，根据式（2. 3)求出它的summedmapBp，p= 20,省略下角 标P，对于每一个part，
[0055]B=M+c^+c^+c^Ds+qDfCs· [1] (2. 3)
[0056] 其中[1]代表全1矩阵，Μ是卷积层输出的特征图；B是对Μ进行形变计算得到的新 特征图；c是需要学习的参数；Dn(n= 1. .. 4)是特征形变参数。特征图Β中位置（X，y)处的 元素用b(x'y)表示；D"中（X，y)处的值根据式2. 4的定义计算得到，式（2. 4)中（ax，ay) 是预先定义的part的标准位置，
[0057]
[0058]
[0059] __
[0060] 根据式（2. 5)所示计算第p个part的scoreSp
[0061]
(2.5)
[0062] 2·1·3分类估计
[0063] 针对已经求得的20个遮挡情况特征图，利用形变层求得关于part的一组得分s ={Sl……s2。}，按式（2.6)所示的方法进行计算，最终可以得到该输入包含行人的概率值 .1 ^
[0064]
[0065]
[0066]
[0067] 其中〇代表激活函数softplus。
[0068] 2· 2待检测区域局部特征提取
[0069] 道路交通场景中电线杆、树等物体的图像与行人图像有相似柱状轮廓，因此包含 这类物体的图像整体特征与行人图像整体特征相近，是影响行人漏检率的主要因素之一。 因此本发明提出了联合整体-局部特征的行人检测，对待检测区域上1/3部分提取局部特 征表达头部信息，联合这两类特征进行判断以降低行人检测的漏检率。
[0070] 2. 2. 1图像上1/3区域特征提取
[0071] 本发明提出的局部特征提取网络模型与2. 1中整体特征提取模型类似，网络参数 如图2 "局部特征CNN"所示。首先根据经验，人体的头部区域在图像的上半区域，因此选择 图像的上1/3区域作为局部特征提取区域，该区域大小为28X28。对正样本而言，该区域即 是行人头部图像；对于负样本，该区域则是不包含行人头部特征的图像。然后按照图2的网 络结构所示依次进行第一次卷积、池化、第二次卷积。第一次卷积时，卷积核大小为9X9,池 化时计算每4X4邻域内像素的均值作为池化层特征，第二个卷积层的卷积核大小固定为 3X5。卷积操作中，两个子网络的卷积核数量一致。
[0072] 2. 2. 2多特征融合
[0073] 对两个网络输出的类别概率进行加权平均，根据求得的最终概率值判断该原始输 入图像是否包含行人。
[0074] 对上述方法进行了实验验证，并取得了明显的效果。评价指标采用Dollar等人 09年在CVPR上发表的针对行人检测提出的log-averagemissrate，该指标对多轮测试的 missrate取平均值，而FPPI(falsepositivesperimage)值是在log(FPPI)的空间中均 匀选取，选择的FPPI的值范围是10 2~10 °。
[0075] 第一组实验采用Caltech数据库，其训练集为set00_set05，测试集为 set06-setl0。该数据集标注了约250000帧（约137分钟）中的350000个标注矩形框，其 中包括2300个行人；第二组实验的训练集为INRIA，测试集为ΕΤΗ数据库。
[0076] 由于Caltech数据样本的数量较大，近年来，行人检测一般采用Caltech数据库进 行效果比较。本发明在Caltech数据库上的检测结果如图3所示。
[0077] 由图3数据可知，基于本发明提出方法的行人检测相对于UDN方法中单一的基于 整体特征的行人检测，log-averagemissrate由39. 32%下降到38. 51%。这说明，联合 行人的整体特征与头部特征进行行人检测是有效的。
[0078] 本发明的方法与其他深度学习方法在Caltech和ΕΤΗ上的测试结果比较如表1所 示：
[0079] 表1与其他深度学习网络模型的比较
[0080]
[0081] 表1中各列数据代表不同网络模型在Caltech和ΕΤΗ上的测试结果，值越低表示 检测效果越好。
[0082] ConvNet网络包含3个卷积层，并将第二层卷积下采样后获得的特征与第三次卷 积得到特征进行融合，最后通过全连接实现行人检测。在训练方法上使用无监督卷积稀疏 自编码方法预训练网络参数结合end-to-end的有监督方法进行微调。
[0083] DBN-IS0L是首先提出Partdetection的网络结构，对人体part设置不同大小的 卷积模板，对存在遮挡情况的行人检测有很好的检测效果。
[0084] DBN-Mut是在DBN-IS0L的基础上提出的基于相互可见性的深度学习网络，用来解 决行人检测时一个行人被另一个行人部分遮挡的情况，利用两个行人的共同可见的部分和 每个行人的part之间的关系，提高存在遮挡的行人的遮挡部分的可视化得分。
[0085] UDN是利用CNN、Partdetection、Deformationmodel和Visibilityreasoning 构建的网络结构，联合CNN和DBN共同进行行人检测。
[0086] SDN在传统CNN之上引入一个可切换的RBM层，对行人图像分别提取三类局部特 征，融合三类局部特征与整体特征给出最终识别结果。
[0087] 表1实验结果表明，与基于整体特征的CNN识别方法相比，融合整体与局部特征的 本发明与SDN方法，行人漏检率有较大幅度降低；本发明提出的方法行人漏检率略高于SDN 方法，但用于识别的网络结构复杂性远低于SDN方法。
[0088] 以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依 据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明 技术方案的保护范围。
【主权项】
1. 一种基于改进UDN提取联合特征的行人检测方法，其特征在于，该方法包括以下步 骤： (1) 图像预处理：对原始输入图像中人体的整体特征和头部特征进行不同的预处理， 使图像的边缘和颜色特征更加突出，便于神经网络的特征提取； (2) 基于卷积神经网络CNN模型对预处理的图像提取人体整体特征； (3) 基于卷积神经网络CNN模型对预处理的图像的上1/3部分提取局部特征； (4) 对步骤（2)和（3)输出的类别概率进行加权平均得到最终概率值，根据最终概率值 判断原始输入图像是否包含行人。2. 根据权利要求1所述的基于改进UDN提取联合特征的行人检测方法，其特征在于，所 述步骤（1)中将原图像转换到YUV颜色空间，对转换后的图像提取边缘特征，利用原图像和 边缘图像组合得到CNN输入的三个通道；其中对于人体的整体特征，第一个通道是原图的Y 通道；第二个通道被均分为四个block，分别是Y通道，U通道，V通道，和全0 ;第三个通道 是对原图像进行高斯滤波后提取的边缘特征图像，也是分为四个block，其中前三个block 是利用sobel算子针对原图像YUV三个通道分别计算的图像边缘，第四个block是YUV三 个通道的边缘的最大值；其中对于人体的头部特征，第一个通道是原图的Y通道；第二个通 道是输入图像的HOG特征；第三个通道被均分为4个block，前三个block是利用sobel算 子针对源图像YUV三个通道分别计算出图像边缘，第四个block是YUV三个通道的边缘的 最大值。3. 根据权利要求2所述的基于改进UDN提取联合特征的行人检测方法，其特征在于，在 所述步骤（1)中还包括：将预处理后的图像作为正样本，对正样本进行镜像翻转，并将翻转 后得到的图像标定为训练集的正样本的扩充。4. 根据权利要求3所述的基于改进UDN提取联合特征的行人检测方法，其特征在于，所 述步骤（2)包括：卷积层特征提取、进行形变计算、通过分类估计模型进行分类估计。5. 根据权利要求4所述的基于改进UDN提取联合特征的行人检测方法，其特征在于，所 述步骤（3)包括：第一次卷积、池化、第二次卷积。
【专利摘要】本发明公开了一种基于改进UDN提取联合特征的行人检测方法，其能够有效降低行人检测的平均漏检率。该方法包括步骤：(1)图像预处理：对原始输入图像中的人体的整体特征和头部特征进行不同的预处理，使图像的边缘和颜色特征更加突出，便于神经网络进行特征提取；(2)基于卷积神经网络CNN模型对预处理的图像提取人体整体特征；(3)基于卷积神经网络CNN模型对预处理的图像的上1/3部分提取局部特征；(4)对步骤(2)和(3)输出的类别概率进行加权平均得到最终概率值，根据最终概率值判断原始输入图像是否包含行人。
【IPC分类】G06K9/46, G06K9/62, G06K9/00
【公开号】CN105335716
【申请号】CN201510716692
【发明人】王立春, 葛绪飞, 孔德慧
【申请人】北京工业大学
【公开日】2016年2月17日
【申请日】2015年10月29日