卷积神经网络和基于卷积神经网络的目标物体检测方法
【技术领域】
[0001] 本发明涉及数据通讯技术，尤其涉及一种卷积神经网络和基于卷积神经网络的目 标物体检测方法。
【背景技术】
[0002] 物体检测是机器视觉中的基本的问题之一，检测到物体后能方便对物体进行存 储、分析、3D建模、识别、跟踪和搜索。常用的物体检测如行人检测，行人检测的目的是在图 像中找出行人的位置和所占区域，行人检测的主要难点是行人在着装、光照、背景、身体形 变和遮挡方面的变化。行人检测时，首先，需要提取出能够区别行人和非行人的特征，常用 的方法有Haar-Iike特征和梯度直方图（Histogram of Oriented Gradient，简称H0G)。其 次，由于行人身体(如头，身体，腿）的运动会产生行人视觉信息的形变，所以提出了可以形 变的模型用于处理行人身体运动造成的形变。再次，为了解决由于遮挡造成的视觉信息丢 失，很多处理遮挡的方法找出图片中行人被遮挡的部位以避免用这些被遮挡的图像信息来 判断给定矩形框中是否存在行人。最后，分类器用于判断给定的矩形框中是否存在行人。
[0003] 图1为现有技术一的行人检测方法示意图，如图1所示，现有技术一的行人检测方 法主要包括以下步骤：1、在第一阶段对一幅输入图像进行卷积，对卷积后的结果进行下采 样得到第一阶段的输出；2、根据第一阶段的输出继续进行卷积和下采样得到第二阶段中上 面一行的输出；3、第一阶段的输出通过支线进行下采样得到第二阶段中下面一行的输出； 4、根据第二阶段的输出进行分类。这种方法中，主要是学习特征提取，每一步在处理时对于 处理结果并没有一个明确的目标，因此，输出结果是不可预见的，而且没有对行人的身体运 动和遮挡进行建模。当行人图像存在形变和遮挡时，效果较差。图2为现有技术二的行人 检测的方法示意图，该方法将行人分成由整个行人的模板构成的根节点和由行人身体部分 (如头，腿上半部分，或者腿下半部分）构成的子节点。子节点与根节点具有形变约束，例如 头不能离身体太远。如图2所示，该现有技术的行人检测方法包括以下步骤：1、对一幅输入 图像进行特征提取，得到两种不同分辨率（resolution)的特征图（feature map) ;2、对低 分辨率的特征图使用作为根节点的滤波模板进行匹配，得到匹配后的响应；3、对高分辨率 的特征图使用作为子节点的滤波模板进行匹配，得到匹配后的响应。图2的模型中有5个 子节点，所以有5个子节点的滤波模板，得到5个匹配后的响应；4、子节点的响应通过与根 节点的形变约束进行修正，得到修正后的响应；5、根据子节点的响应和根节点的响应得到 对于行人是否存在的总体响应。现有技术二能够对物体部分形变进行建模，对身体运动更 加鲁棒，但是此技术在根据物体的特征图与模板进行匹配时，使用人为定义的特征，不能自 动学习特征，并且不能处理遮挡的情况。
【发明内容】
[0004] 本发明实施例提供一种卷积神经网络和基于卷积神经网络的目标物体检测方法， 能够对目标物体的形变和遮挡进行处理。
[0005] 本发明第一方面提供一种基于卷积神经网络的目标物体检测方法，所述卷积神经 网络包括：特征提取层、部位检测层、形变处理层、遮挡处理层和分类器；
[0006] 所述特征提取层根据提取图像中检测区域的像素值，对所述检测区域的像素值进 行预处理，并对所述预处理后的图像进行特征提取，得到所述检测区域的特征图；
[0007] 所述部位检测层通过M个过滤器分别检测所述检测区域的特征图，输出所述检测 区域的M个部位对应的响应图，每个过滤器用于检测一个部位，每个部位对应一个响应图；
[0008] 所述形变处理层根据所述M个部位对应的响应图分别确定所述M个部位的形变， 并根据所述N个部位的形变确定所述M个部位的得分图；
[0009] 所述遮挡处理层根据所述M个部位的得分图确定所述M个部位对应的遮挡； [0010] 所述分类器根据所述遮挡处理层的输出结果，确定所述检测区域内是否有目标物 体。
[0011] 在本发明第一方面的第一种可能的实现方式中，所述特征提取层提取图像中检测 区域的像素值，对所述检测区域内的像素值进行预处理，包括：
[0012] 所述特征提取层提取所述图像中检测区域的像素值，将所述检测区域的像素值转 换为三个通道的数据，所述三个通道分别为第一通道、第二通道、第三通道；
[0013] 其中，所述第一通道的输出数据对应所述检测区域内的YUV像素值的Y通道数 据；
[0014] 所述第二通道用于将所述检测区域的大小缩小为原大小的四分之一，并将所述缩 小后的检测区域转换成YUV格式，通过Sobel边缘算子过滤所述转换为YUV格式的检测区 域，分别得到所述检测区域在Y、u、V三个通道上第一边缘图，所述Y、U、V通道分别对应一 个第一边缘图，取所述三个第一边缘图中各位置上的最大值，组成一个第二边缘图，所述三 个第一边缘图以及第二边缘图大小相同，都为所述检测区域的四分之一大小，将所述三个 第一边缘图和所述第二边缘图的拼接图作为所述第二通道的输出数据；
[0015] 所述第三通道用于将所述检测区域的大小缩小为原大小的四分之一，并将所述缩 小后的检测区域转换成YUV格式，通过Sobel边缘算子过滤所述转换为YUV格式的检测区 域，分别得到所述检测区域在Y、u、V三个通道上的第一边缘图，所述Y、U、V通道分别对应 一个第一边缘图，生成一个第三边缘图，所述第三边缘图各位置的数据为0,所述三个第一 边缘图以及第三边缘图大小相同，都为所述检测区域的四分之一大小，将所述三个第一边 缘图和所述第三边缘图的拼接图作为所述第三通道的输出数据。
[0016] 在本发明第一方面的第二种可能的实现方式中，所述部位检测层包括三个子层， 分别为第一子层、第二子层和第三子层，所述部位检测层的第一子层包括Ml个过滤器，所 述部位检测层的第二子层包括M2个过滤器，所述部位检测层的第三子层包括M3个过滤器， 其中，M1+M2+M3=M ;
[0017] 所述部位检测层的第一子层的Ml个过滤器分别检测所述检测区域内的Ml个部 位，得到Ml个响应图；
[0018] 所述部位检测层的第二子层的M2个过滤器分别检测所述检测区域内的M2个部 位，得到M2个响应图；
[0019] 所述部位检测层的第三子层的M3个过滤器分别检测所述检测区域内的M3个部 位，得到M3个响应图。
[0020] 在本发明第一方面的第三种可能的实现方式中，所述形变处理层根据所述M个部 位对应的响应图分别确定所述M个部位的形变，并根据所述M个部位的形变确定所述M个 部位的得分图，包括：
[0021] 所述形变处理层根据所述M个部位对应的响应图，分别按照公式（1)得到所述第P 个部位的形变得分图：
[0022] Bp =Mp+YAupC,,'P ( 1) η-I
[0023] 其中，Bp表示第p个部分的形变得分图，I < p < M，Mp表示所述第p个部分对 应的响应图，N表示所述第p个部位的限制条件，Dn， p表示第η个限制条件对应的得分图， I < η < N，Cn，p表示第η个限制条件对应的权重；
[0024] 所述形变处理层根据所述形变得分图，按照公式（2)确定所述第P部位的得分图：
[0025] = maxB^'v) (2) (x、v)
[0026] 其中，t'"表示（X，y)位置上Bp的值。
[0027] 在本发明第一方面的第四种可能的实现方式中，所述遮挡处理层包括三个子层， 分别为第一子层、第二子层、第三子层，所述遮挡处理层根据所述M个部位的得分图确定所 述M个部位对应的遮挡，包括：
[0028] 所述遮挡处理层确定所述M个部位在所述遮挡处理层的子层上的得分图和可视 性；
[0029] 所述遮挡处理层的第一子层、第二子层、第三子层分别按照公式（3)、（4)、（5)计算 所述各