述检测区域在Y、U、V三个通道上的第一边缘图，所述Y、U、V通道分别对应一个第 一边缘图，生成一个第三边缘图，所述第三边缘图各位置的数据为0,所述三个第一边缘图 以及第三边缘图大小相同，都为所述检测区域的四分之一大小，将所述三个第一边缘图和 所述第三边缘图的拼接图作为所述第三通道的输出数据。
3. 根据权利要求2所述的方法，其特征在于，所述部位检测层包括三个子层，分别为 第一子层、第二子层和第三子层，所述部位检测层的第一子层包括Ml个过滤器，所述部位 检测层的第二子层包括M2个过滤器，所述部位检测层的第三子层包括M3个过滤器，其中， M1+M2+M3=M ； 所述部位检测层的第一子层的Ml个过滤器分别检测所述检测区域内的Ml个部位，得 到Ml个响应图； 所述部位检测层的第二子层的M2个过滤器分别检测所述检测区域内的M2个部位，得 到M2个响应图； 所述部位检测层的第三子层的M3个过滤器分别检测所述检测区域内的M3个部位，得 到M3个响应图。
4. 根据权利要求1所述的方法，其特征在于，所述形变处理层根据所述M个部位对应的 响应图分别确定所述M个部位的形变，并根据所述M个部位的形变确定所述M个部位的得 分图，包括： 所述形变处理层根据所述M个部位对应的响应图，分别按照公式（1)得到所述第P个 部位的形变得分图：
(1) 其中，Bp表示第p个部分的形变得分图，I < p < M，Mp表示所述第p个部分对应 的响应图，N表示所述第p个部位的限制条件，Dn，p表示第η个限制条件对应的得分图， I < η < N，Cn，p表示第η个限制条件对应的权重； 所述形变处理层根据所述形变得分图，按照公式（2 )确定所述第P部位的得分图：
(2) 其中，^表示（X，y)位置上Bp的值。
5. 根据权利要求1所述的方法，其特征在于，所述遮挡处理层包括三个子层，分别为第 一子层、第二子层、第三子层，所述遮挡处理层根据所述M个部位的得分图确定所述M个部 位对应的遮挡,包括： 所述遮挡处理层确定所述M个部位在所述遮挡处理层的子层上的得分图和可视性； 所述遮挡处理层的第一子层、第二子层、第三子层分别按照公式（3)、（4)、（5)计算所述 各个部位的可视性：
其中，4表示第P个部位在所述遮挡处理层的第1层上的得分图，4表示4的权 重矩阵，<表示&的偏置，<表示第P个部位在所述遮挡处理层的第1层上的可视性， 〇 (tMl+expK))' <表示第P个部位在所述遮挡处理层的第1子层上可视性，用W1表 示h1和h 1+1之间的传递矩阵，表示W1的第j列，Wds表示隐含变量炉τ的线性分类器的参 数，（x)T表示矩阵X的转置，5^表示所述卷积神经网络的输出结果。
6. -种卷积神经网络，其特征在于，包括： 特征提取层，用于根据提取图像中检测区域的像素值，对所述检测区域的像素值进行 预处理，并对所述预处理后的图像进行特征提取，得到所述检测区域的特征图； 部位检测层，用于通过M个过滤器分别检测所述检测区域的特征图，输出所述检测区 域的M个部位对应的响应图，每个过滤器用于检测一个部位，每个部位对应一个响应图； 形变处理层，用于根据所述M个部位对应的响应图分别确定所述M个部位的形变，并根 据所述N个部位的形变确定所述M个部位的得分图； 遮挡处理层，用于根据所述M个部位的得分图确定所述M个部位对应的遮挡； 分类器，用于根据所述遮挡处理层的输出结果，确定所述检测区域内是否有目标物体。
7. 根据权利要求6所述的卷积神经网络，其特征在于，所述特征提取层包括三个通道， 分别为第一通道、第二通道、第三通道； 其中，所述第一通道的输出数据对应所述检测区域内的YUV像素值的Y通道数据； 所述第二通道，用于将所述检测区域的大小缩小为原大小的四分之一，并将所述缩小 后的检测区域转换成YUV格式，通过Sobel边缘算子过滤所述转换为YUV格式的检测区域， 分别得到所述检测区域在Y、U、V三个通道上第一边缘图，所述Y、U、V通道分别对应一个第 一边缘图，取所述三个第一边缘图中各位置上的最大值，组成一个第二边缘图，所述三个第 一边缘图以及第二边缘图大小相同，都为所述检测区域的四分之一大小，将所述三个第一 边缘图和所述第二边缘图的拼接图作为所述第二通道的输出数据； 所述第三通道，用于将所述检测区域的大小缩小为原大小的四分之一，并将所述缩小 后的检测区域转换成YUV格式，通过Sobel边缘算子过滤所述转换为YUV格式的检测区域， 分别得到所述检测区域在Y、U、V三个通道上的第一边缘图，所述Y、U、V通道分别对应一个 第一边缘图，生成一个第三边缘图，所述第三边缘图各位置的数据为0,所述三个第一边缘 图以及第三边缘图大小相同，都为所述检测区域的四分之一大小，将所述三个第一边缘图 和所述第三边缘图的拼接图作为所述第三通道的输出数据。
8. 根据权利要求7所述的卷积神经网络，其特征在于，所述部位检测层包括三个子层， 分别为第一子层、第二子层和第三子层，所述部位检测层的第一子层包括Ml个过滤器，所 述部位检测层的第二子层包括M2个过滤器，所述部位检测层的第三子层包括M3个过滤器， 其中，M1+M2+M3=M ; 所述部位检测层的第一子层，用于通过Ml个过滤器分别检测所述检测区域内的Ml个 部位，得到Ml个响应图； 所述部位检测层的第二子层，用于通过M2个过滤器分别检测所述检测区域内的M2个 部位，得到M2个响应图； 所述部位检测层的第三子层，用于通过M3个过滤器分别检测所述检测区域内的M3个 部位，得到M3个响应图。
9. 根据权利要求8所述卷积神经网络，其特征在于，所述形变处理层具体用于： 所述形变处理层根据所述M个部位对应的响应图，分别按照公式（1)得到所述第P个 部位的形变得分图：
(1) 其中，Bp表示第P个部分的形变得分图，I < P < M，Mp表示所述第P个部分对应 的响应图，N表示所述第p个部位的限制条件，Dn，p表示第η个限制条件对应的得分图， I < η < N，Cn，p表示第η个限制条件对应的权重； 所述形变处理层根据所述形变得分图，按照公式（2 )确定所述第P部位的得分图：
(2) 其中，f '1表示（X，y)位置上Bp的值。
10. 根据权利要求8所述卷积神经网络，其特征在于，所述遮挡处理层包括三个子层， 分别为第一子层、第二子层、第三子层； 所述遮挡处理层的第一子层、第二子层、第三子层分别按照公式（3)、（4)、（5)计算所述 各个部位的可视性：
其中，4表示第P个部位在所述遮挡处理层的第1层上的得分图，< 表示4的权 重矩阵，表示&的偏置，< 表示第P个部位在所述遮挡处理层的第i层上的可视性， 〇 (tMl+expK))' <表示第P个部位在所述遮挡处理层的第1子层上可视性，用W1表 示h1和h 1+1之间的传递矩阵，表示W1的第j列，Wds表示隐含变量p的线性分类器的 参数，（x) T表示矩阵X的转置，5表示所述卷积神经网络的输出结果。
【专利摘要】本发明提供一种卷积神经网络和基于卷积神经网络的目标物体检测方法，所述卷积神经网络包括：特征提取层、部位检测层、形变处理层、遮挡处理层和分类器，本发明实施例提供的卷积神经网络，联合了优化特征提取、部位检测、形变处理、遮挡处理和分类器学习，通过形变处理层使得卷积神经网络能够学习目标物体的形变，并且形变学习和遮挡处理进行交互，这种交互能提高分类器根据所学习到的特征分辨目标物体和非目标物体的能力。
【IPC分类】G06T7-00
【公开号】CN104680508
【申请号】CN201310633797
【发明人】欧阳万里, 许春景, 刘健庄, 王晓刚
【申请人】华为技术有限公司
【公开日】2015年6月3日
【申请日】2013年11月29日
【公告号】WO2015078185A1