基于深度卷积网络的行人检测方法及装置制造方法
【专利摘要】本发明公开了一种基于深度卷积网络的行人检测方法及装置，其中，该方法包括卷积神经网络训练步骤和行人检测步骤；所述卷积神经网络训练包括如下步骤：S10.从图像库中选取多组样本图像数据；S11.将一组样本图像数据送入多层神经卷积网络的输入层；S12.计算神经卷积网络的中间层的输出矢量以及输出层的实际输出矢量得出中间层误差以及输出层误差；S13.调整输出层矢量元素到中间层输出矢量元素的权值以及中间层输出矢量元素到输出层矢量元素的权值；S14.判断总误差函数值，并利用训练后的网络检测行人。本发明具有鲁棒性较佳、检测准确率高的优点。
【专利说明】基于深度卷积网络的行人检测方法及装置
【技术领域】
[0001] 本发明涉及图像处理【技术领域】，尤其涉及一种基于深度卷积网络的行人检测方法 及装置。
【背景技术】
[0002] 随着科技的发展，智能视频监控技术渐渐成为视频监控技术的研究热点之一。所 谓"智能化"，就是要充分挖掘抽取视频资源中的关键信息，并利用这种信息为用户提供有 价值的服务。比如，当监控系统发现一个来历不明的物品较长时间地出现在安全区域，或者 发现可疑人物游荡在安全管理的区域以及其他的异常行为时，系统能对这样一些具有潜在 威胁的事件及时捕获，并对是否介入事件做出智能的判断，从而有效抑制人作为行为主体 所引致的系列问题，实现真正意义上的全天候的监控。
[0003] 智能化监控系统除了可以提高报警精确度，减少漏分析或者误分析的现象外，还 可以缩短响应时间，提高响应速度，形成更为有效的现场数据，在安全威胁发生之前就能够 提示安全人员关注相关监控画面，为潜在威胁做好准备工作。于是，近年来，智能视频监控 系统也开始在一些特定的场合，如车站、银行、商场等公共领域逐渐普及，所以安全领域成 为主要应用场所。
[0004] 实际上，目前大多数监控系统都还停留在普通的网络视频监控（IP监控、数字化 监控）的概念上。简单地说，"眼睛"到处都有，但是智能化的程度并不高，还处于比较初始 的阶段。一些智能化监控系统还只能分析一些较为简单的异常行为，其光照环境适应性也 处在较低的水平，离用户所期望的理想效果还差得比较远。随着市场上对智能视频应用需 求的不断提升，很多科研机构和厂商正投入大量的资金和研发力量从事监控系统智能化的 研究。研发出了一批相关技术和产品。
[0005] 而行人作为视频监控的主体，又有着其特殊的研究地位。所以对行人的检测与识 别技术的研究在智能视频监控中有着重要的意义。行人检测可定义为：判断输入图片（或 视频帧）是否包含行人，如果有，给出位置信息。它是车辆辅助驾驶、智能视频监控和人体 行为分析等应用中的第一步，近年来也应用在航拍图像、受害者营救等新兴领域中.行人 兼具刚性和柔性物体的特性，外观易受穿着、尺度、遮挡、姿态和视角等影响，使得行人检测 成为智能视频监控的研究难点与热点。
[0006] 目前常用的行人检测方法主要有背景差法、帧差法、光流法，模版匹配和基于机器 学习的方法等。前四种检测方法都是常规的基于图像处理技术的人体检测方法，然而这些 方法不能解决人体形状和外貌各式各样的难点，人体的不同运动方式的问题，受天气以及 光照的随机变化，行人的服饰和姿态改变影响，较大。基于机器学习的方法从样本集中学习 人体的不同变化，具有较好的鲁棒性，而且合理的选择训练样本和特征，结合结构合理的分 类算法，可以较好地克服许多不利条件，如行人多样性、场景多样性、光照环境多样性等的 影响，从而有很好的推广性和广泛的适用范围。由于基于机器学习的行人检测方法的优点， 它已经成为目前行人检测的一种主流的方法。
[0007] 基于机器学习的方法一般包括特征提取和训练机器学习分类器，检测三个部分。 用于行人检测的特征有：Haar特征，Hog特征，Edgelet特征，FDF特征等。用于行人检测的 机器学习算法有：支持向量机（SVM)、各种类型的神经网络（NN)以及其他基于统计的学习 分类器（如Adaboost、级联分类器）等。行人检测除了具有一般人体检测具有的服饰变化、 姿态变化等难点外，由于其特定的应用领域还具有以下难点：摄像机是运动的，这样广泛应 用于智能监控领域中检测动态目标的方法便不能直接使用；行人检测面临的是一个开放的 环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求；实时性是 系统必须满足的要求，这就要求采用的图像处理算法不能太复杂。由于传统的算法对以上 问题的适应性都不好，所以要提出一种新的方法来解决上述问题。
【发明内容】
[0008] 本发明所要解决的技术问题是：提供一种鲁棒性较佳、检测准确率高的基于深度 卷积网络的行人检测方法及装置。
[0009] 为了解决上述技术问题，本发明采用的技术方案为：提供一种基于深度卷积网络 的行人检测方法，包括卷积神经网络训练步骤和行人检测步骤；
[0010] 所述卷积神经网络训练步骤包括如下步骤：
[0011] S10、从图像库中选取多组样本图像数据；
[0012] S11、将一组样本图像数据送入多层神经卷积网络的输入层，并给定输出层正确的 输出结果，其中，所述多层神经网络是基于神经元模型而构建，每个神经元包括输入层、中 间层及输出层；
[0013] S12、计算卷积神经网络的中间层的输出矢量以及输出层的实际输出矢量后，将中 间层的输出矢量以及输出层的实际输出矢量中的兀素分别与正确输出矢量中的兀素比较， 得出中间层误差以及输出层误差；
[0014] S13、根据中间层误差以及输出层误差分别调整输出层矢量元素到中间层输出矢 量元素的权值以及中间层输出矢量元素到输出层矢量元素的权值；
[0015] S14、判断总误差函数值是否小于或等于误差阈值，若是，则卷积神经网络训练完 成，并储存输出层矢量元素到中间层输出矢量元素的权值以及中间层输出矢量元素到输出 层矢量元素的权值；若否，则返回步骤S11。
[0016] 所述行人检测步骤包括如下步骤：
[0017] S20、采集待检测的视频图像；
[0018] S21、提取多组待测目标矢量，并选择一组待测目标矢量输入卷积神经网络，并利 用卷积神经网络对待测目标矢量进行判断，当待测目标矢量的总误差函数值小于或等于误 差阈值，则为行人图像，否则，继续处理下一组待测目标矢量。
[0019] 为了解决上述技术问题，本发明采用的另一技术方案为：提供一种基于深度卷积 网络的行人检测装置，包括卷积神经网络训练模块和行人检测模块，所述卷积神经网络训 练模块包括依次电连接的图像选择模块、图像导入模块、计算模块以及判断模块；所述行人 检测识别模块包括电连接的图像采集模块以及图像识别模块；所述图像选择模块，用于从 图像库中选取多组样本图像数据；所述图像导入模块，用于将一组样本图像数据送入多层 神经卷积网络的输入层，并给定输出层的理想输出矢量，其中，所述多层神经网络基于神经 元模型而构建，每层神经元包括输入层、中间层及输出层；所述计算模块，用于计算神经卷 积网络的中间层的输出矢量以及输出层的实际输出矢量后，将中间层的输出矢量以及输出 层的实际输出矢量中的元素分别与正确输出矢量中的元素比较，得出中间层误差以及输出 层误差；以及根据中间层误差以及输出层误差分别调整输出层矢量元素到中间层输出矢量 元素的权值以及中间层输出矢量元素到输出层矢量元素的权值；所述判断模块，用于判断 总误差函数值是否小于或等于误差阈值，若是，则卷积神经网络训练完成，并储存输出层矢 量元素到中间层输出矢量元素的权值以及中间层输出矢量元素到输出层矢量元素的权值； 所述图像采集模块，用于采集待检测的视频图像；所述图像识别模块，用于提取多组待测目 标矢量，并选择一组待测目标矢量输入卷积神经网络，并利用卷积神经网络对待测目标矢 量进行判断，当待测目标矢量的总误差函数值小于或等于误差阈值，则为行人图像，否则， 继续处理下一组待测目标矢量。
[0020] 本发明的有益效果在于：基于深度卷积网络的行人检测方法先通过构建卷积神经 网络并对神经网络进行训练，其训练得出输出层矢量元素到中间层输出矢量元素的权值以 及中间层输出矢量元素到输出层矢量元素的权值，并根据总误差函数来与误差阈值的关系 来判断进一步调整权值得到良好的分类器，并利用该分类器对采集的视频图像进行分析进 而检测出行人目标。具有计算简单、鲁棒性较佳、行人检测准确率高的优点。
【专利附图】
【附图说明】
[0021] 图1是本发明基于深度卷积网络的行人检测方法的方法流程图。
【具体实施方式】
[0022] 为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式 并配合附图详予说明。
[0023] 本发明最关键的构思在于：本发明先通过构建卷积神经网络并对神经网络进行 训练得到一个良好的分类器，然后利用该分类器对采集的视频图像进行分析进而检测行人 目标，具有鲁棒性较佳、检测准确率高的优点。
[0024] 请参阅图1，一种基于深度卷积网络的行人检测方法，包括卷积神经网络训练步骤 和行人检测步骤；
[0025] 所述卷积神经网络训练步骤包括如下步骤：
[0026] S10、从图像库中选取多组样本图像数据；
[0027] S11、将一组样本图像数据送入多层神经卷积网络的输入层，并给定输出层的理想 输出矢量，其中，所述多层神经网络基于神经元模型而构建，每层神经元包括输入层、中间 层及输出层；
[0028] S12、计算神经卷积网络的中间层的输出矢量以及输出层的实际输出矢量后，将中 间层的输出矢量以及输出层的实际输出矢量中的元素分别与理想输出矢量中的元素比较， 得出中间层误差以及输出层误差；
[0029] S13、根据中间层误差以及输出层误差分别调整输出层矢量元素到中间层输出矢 量元素的权值以及中间层输出矢量元素到输出层矢量元素的权值；
[0030] S14、判断总误差函数值是否小于或等于误差阈值，若是，则卷积神经网络训练完 成，并储存输出层矢量元素到中间层输出矢量元素的权值以及中间层输出矢量元素到输出 层矢量元素的权值；若否，则返回步骤S11。
[0031] 所述行人检测步骤包括如下步骤：
[0032] S20、采集待检测的视频图像；
[0033] S21、提取多组待测目标矢量，并选择一组待测目标矢量输入卷积神经网络，并利 用卷积神经网络对待测目标矢量进行判断，当待测目标矢量的总误差函数值小于或等于误 差阈值，则为行人图像，否则，继续处理下一组待测目标矢量。
[0034] 从上述描述可知，本发明的有益效果在于：基于深度卷积网络的行人检测方法先 通过构建卷积神经网络并对神经网络进行训练，其训练得出输出层矢量元素到中间层输出 矢量元素的权值以及中间层输出矢量元素到输出层矢量元素的权值，并根据总误差函数来 与误差阈值的关系来判断进一步调整权值得到良好的分类器，并利用该分类器对采集的视 频图像进行分析进而识别行人图像。具有计算简单、鲁棒性较佳、检测准确率高的优点。
[0035] 本方案中的输出矢量按照常用的Bootstrap处理方法，可以从大量的图像中收集 这些边界样本，同时根据卷积神经网络的特点，做出一些改进，降低随机性，提高了效率。在 获得图像数据后，通过一些归一化和预处理步骤，减小图像噪声的影响和消除图像亮度及 对比度的差异，提高数据的针对性和鲁棒性，得到统计的方法进行学习处理样本的最基本 的特征向量。
[0036] 具体的训练过程：
[0037] 首先假设输入层、中间层和输出层的单元数分别是N、L和Μ。X = (x0，xl，…，xN) 是加到网络的输入矢量，H= (h0，hl，…，hL)是中间层输出矢量，Y= (yO，yl，?，yM)是网 络的实际输出矢量，并且用D= (dO，dl，?，dM)来表示训练组中各模式的目标输出矢量输 出单元i到隐单元j的权值是Vij，而隐单元j到输出单元k的权值是Wjk。另外用0k和 来分别表示输出单元和隐含单元的阈值。
[0038] 于是，中间层各单元的输出为：
[0039]
【权利要求】
1. 一种基于深度卷积网络的行人检测方法，其特征在于，包括卷积神经网络训练步骤 和行人检测步骤； 所述卷积神经网络训练步骤包括如下步骤： 510、 从图像库中选取多组样本图像数据； 511、 将一组样本图像数据送入多层神经卷积网络的输入层，并给定输出层的理想输出 矢量，其中，所述多层神经网络基于神经元模型而构建，每层神经卷积网络包括输入层、中 间层及输出层； 512、 计算神经卷积网络的中间层的输出矢量以及输出层的实际输出矢量后，将中间层 的输出矢量以及输出层的实际输出矢量中的元素分别与理想输出矢量中的元素比较，得出 中间层误差以及输出层误差； 513、 根据中间层误差以及输出层误差分别调整输出层矢量元素到中间层输出矢量元 素的权值以及中间层输出矢量元素到输出层矢量元素的权值； 514、 判断总误差函数值是否小于或等于误差阈值，若是，则卷积神经网络训练完成，并 储存输出层矢量元素到中间层输出矢量元素的权值以及中间层输出矢量元素到输出层矢 量元素的权值；若否，则返回步骤S11。 所述行人检测步骤包括如下步骤： 520、 采集待检测的视频图像； 521、 提取多组待测目标矢量，并选择一组待测目标矢量输入卷积神经网络，并利用卷 积神经网络对待测目标矢量进行判断，当待测目标矢量的总误差函数值小于或等于误差阈 值，则为行人图像，否则，继续处理下一组待测目标矢量。
2. 根据权利要求1所述的一种基于深度卷积网络的行人检测方法，其特征在于，所述 卷积神经网络的层数为三层。
3. 根据权利要求1所述的一种基于深度卷积网络的行人检测方法，其特征在于，所述 总误差函数值为累加的中间层的输出矢量元素与输出层的实际输出矢量元素的差的平方 和，记作：
其中，k表示第k-Ι个目标矢量元素，dk表示中间层的输出矢量的第k个元素，yk表示 输出层的实际输出矢量的第k个元素。
4. 根据权利要求1所述的一种基于深度卷积网络的行人检测方法，其特征在于，所述 中间层包括三个级联的卷积层、子抽样层以及激活函数层，所述卷积层对图像进行卷积运 算；所述子抽样层对卷积后的图像进行抽样得到矢量元素；所述激活函数层对抽样后的矢 量元素进行判断。
5. -种基于深度卷积网络的行人检测装置，其特征在于，包括卷积神经网络训练模块 和行人检测模块， 所述卷积神经网络训练模块包括依次电连接的图像选择模块、图像导入模块、计算模 块以及判断模块；所述行人检测识别模块包括电连接的图像采集模块以及目标检测模块； 所述图像选择模块，用于从图像库中选取多组样本图像数据； 所述图像导入模块，用于将一组样本图像数据送入多层神经卷积网络的输入层，并给 定输出层的理想输出矢量，其中，所述多层神经网络基于神经元模型而构建，每层神经卷积 网络包括输入层、中间层及输出层； 所述计算模块，用于计算神经卷积网络的中间层的输出矢量以及输出层的实际输出矢 量后，将中间层的输出矢量以及输出层的实际输出矢量中的元素分别与理想输出矢量中的 元素比较，得出中间层误差以及输出层误差；以及根据中间层误差以及输出层误差分别调 整输出层矢量元素到中间层输出矢量元素的权值以及中间层输出矢量元素到输出层矢量 元素的权值； 所述判断模块，用于判断总误差函数值是否小于或等于误差阈值，若是，则卷积神经网 络训练完成，并储存输出层矢量元素到中间层输出矢量元素的权值以及中间层输出矢量元 素到输出层矢量元素的权值； 所述图像采集模块，用于采集待检测的视频图像； 所述目标检测模块，用于提取多组待测目标矢量，并选择一组待测目标矢量输入卷积 神经网络，并利用卷积神经网络对待测目标矢量进行判断，当待测目标矢量的总误差函数 值小于或等于误差阈值，则为行人图像，否则，继续处理下一组待测目标矢量。
【文档编号】G06K9/66GK104063719SQ201410301823
【公开日】2014年9月24日 申请日期:2014年6月27日 优先权日:2014年6月27日
【发明者】汪永强, 童庆, 刘文昌, 莫永波, 胡祝银 申请人:深圳市赛为智能股份有限公司