深度学习神经网络模型的训练装置、目标检测系统及方法与流程

1.本发明实施例涉及深度学习卷积网络技术领域，尤其涉及一种深度学习神经网络模型的训练装置、目标检测系统及方法。


背景技术：

2.目前，目标检测是自动驾驶中用到的一项关键技术，在图像中准确的定位出检测目标的位置并对目标的进行分类，可以有效辅助自动驾驶。目前目标检测的方法主要基于深度学习神经网络模型，通过采用大量预先标注的原始图像逐步输入至神经网络模型中，经过一系列的非线性转换，提取获得原始图像的特征层，然后在特征层中生成检测框，通过对检测框中的图像特征进行分类识别，从而实现目标检测。但是，由于不同方式的卷积操作会产生不一样的运算效果，卷积方式的选择合适与否，影响网络结构对有效特征的提取，现有的检测模型在对如路灯、行人等小目标物体特征进行检测时会随卷积网络层数的加深逐渐淡化，无法保证对图像中小目标的识别准确性；同时，随着卷积网络层数的增多，也会导致网络参数的快速增多，影响网络运行速度。


技术实现要素：

3.本发明实施例要解决的技术问题在于，提供一种深度学习神经网络模型的训练装置，能获得对小目标的检测效果好的检测模型。
4.本发明实施例进一步要解决的技术问题在于，提供一种目标检测系统，能有效提高对小目标的检测效果。
5.本发明实施例进一步要解决的技术问题在于，提供一种深度学习神经网络模型的训练方法，能获得对小目标的检测效果好的检测模型。
6.为了解决上述技术问题，本发明实施例提供以下技术方案：一种深度学习神经网络模型的训练装置，包括：特征层提取模块，用于采用预定步长的普通卷积层与平均池化层对外部输入的原始图像进行卷积操作并叠加卷积结果后获得所述原始图像的若干特征层；卷积运算模块，与所述特征层提取模块相连，用于依次采用不同尺度和数量的卷积滤波器对各个特征层进行卷积运算以从各个特征层中提取出不同的第一特征图，并通过点积运算将尺寸相同的第一特征图进行组合；特征图处理模块，与所述卷积运算模块相连，用于采用两个激活函数相结合的方式对组合后的各个第一特征图进行非线性转换获得加入了非线性因素的第二特征图；检测框生成模块，与所述特征图处理模块相连，用于任意选取预定数量的第二特征图，在每个选定的第二特征图上均确定一个坐标点，所有选定的第二特征图中确定的坐标点具有相互对应的位置关系，在每个选定的第二特征图中均以所述坐标点为中心生成多个不同预定尺度的待判定检测框，将各个待判定检测框所包含的待检测区域与所述原始图像中预先标注的实际目标框进行对比，判断所述待检测区域与所述实际目标框的初步相似
度，将所述初步相似度最高的待判定检测框确定为正样本检测框；参数更新模块，与所述检测框生成模块相连，用于对每个第二特征图进行回归运算匹配，再次对比所述正样本检测框所包含的区域与所述实际目标框的目标相似度，将所述目标相似度大于预定相似度阈值的正样本检测框确定为正样本，根据各个所述正样本在所述第二特征图中的位置更新所述普通卷积层、平均池化层及各个卷积滤波器的参数值，对所述正样本进行卷积运算及回归确定所述正样本的类别和在所述原始图像中的坐标信息；以及模型输出模块，与所述参数更新模块和特征层提取模块相连，用于判断所述类别和所述坐标信息的准确度，在所述准确度大于预定阈值时输出检测模型，否则根据更新后的所述普通卷积层、平均池化层及各个卷积滤波器的参数值重复运行上述各个模块。
7.进一步的，所述两个激活函数分别为relu激活函数和prelu激活函数。
8.进一步的，所述检测框生成模块通过对比所述待检测区域与所述实际目标框在对应的第二特征图的尺寸大小和位置以确定所述初步相似度。
9.进一步的，所述普通卷积层与平均池化层的步长为2。
10.另一方面，为了解决进一步的上述技术问题，本发明实施例提供以下技术方案：一种目标检测系统，包括摄像装置以及与所述摄像装置相连的目标检测装置，所述目标检测装置采用如上述任一项所述的深度学习神经网络模型的训练装置对大量的原始图像进行训练获得的检测模型对摄像装置采集的实际图像进行检测。
11.再一方面，为了解决进一步的上述技术问题，本发明实施例提供以下技术方案：一种深度学习神经网络模型的训练方法，包括以下步骤：采用预定步长的普通卷积层与平均池化层对外部输入的原始图像进行卷积操作并叠加卷积结果后获得所述原始图像的若干特征层；依次采用不同尺度和数量的卷积滤波器对各个特征层进行卷积运算以从各个特征层中提取出不同的第一特征图，并将尺寸相同的第一特征图通过点积运算进行组合；采用两个激活函数相结合的方式对组合后的各个第一特征图进行非线性转换获得加入了非线性因素的第二特征图；任意选取预定数量的第二特征图，在每个选定的第二特征图上均确定一个坐标点，所有选定的第二特征图中确定的坐标点具有相互对应的位置关系，在每个选定的第二特征图中均以所述坐标点为中心生成多个不同预定尺度的待判定检测框，将各个待判定检测框所包含的待检测区域与所述原始图像中预先标注的实际目标框进行对比，判断所述待检测区域与所述实际目标框的初步相似度，将所述初步相似度最高的待判定检测框确定为正样本检测框；对每个第二特征图进行回归运算匹配，再次对比所述正样本检测框所包含的区域与所述实际目标框的目标相似度，将所述目标相似度大于预定相似度阈值的正样本检测框确定为正样本，根据各个所述正样本在所述第二特征图中的位置更新所述普通卷积层、平均池化层及各个卷积滤波器的参数值，对所述正样本进行卷积运算及回归确定所述正样本的类别和在所述原始图像中的坐标信息；以及判断所述类别和所述坐标信息的准确度，在所述准确度大于预定阈值时输出检测模型，否则根据更新后的所述普通卷积层、平均池化层及各个卷积滤波器的参数值对外部
输入的原始图像重复进行上述步骤。
12.进一步的，所述两个激活函数分别为relu激活函数和prelu激活函数。
13.进一步的，通过对比所述待检测区域与所述实际目标框在对应的第二特征图的尺寸大小和位置以确定所述初步相似度。
14.进一步的，所述普通卷积层与平均池化层的步长为2。
15.采用上述技术方案后，本发明实施例至少具有如下有益效果：本发明实施例通过采用预定步长的普通卷积层与平均池化层对外部输入的原始图像进行卷积操作并叠加卷积结果后获得所述原始图像的若干特征层，然后通过依次采用不同尺度和数量的卷积滤波器对各个特征层进行卷积运算以从各个特征层中提取出不同的第一特征图，利用深度分通道卷积操作获得特征图，使得图像特征能有效传递，尤其是保留底层小目标物体的图像特征，并通过点积运算将尺寸相同的第一特征图进行组合，可有效的减少参数量，再进一步用两个激活函数相结合的方式对组合后的各个第一特征图进行非线性转换，加入非线性因素以获得第二特征图，有效提升神经网络对重要特征的表达能力，然后生成多个不同预定尺寸的待判定检测框以适应实际检测中对不同尺寸目标的检测需求，通过对比判断待检测区域与实际目标框的初步相似度，初步确定出正样本检测框，最后再次回归运算匹配后对比所述正样本检测框与所述实际目标框的目标相似度，最终确定出正样本，并结合正样本对普通卷积层、平均池化层及卷积滤波器的参数值修改，实现对卷积网络训练，并最终对正样本分类，确定坐标信息实现目标检测；最后从而判断所述类别和所述坐标信息的准确度，直至所述准确度大于预定阈值时输出检测模型否则进行重复的迭代运算，能获得对小目标的检测效果好的检测模型。
附图说明
16.图1为本发明深度学习神经网络模型的训练装置一个可选实施例的原理结构框图。
17.图2为本发明目标检测系统一个可选实施例的原理结构框图。
18.图3为本发明深度学习神经网络模型的训练方法一个可选实施例的步骤流程图。
具体实施方式
19.下面结合附图和具体实施例对本申请作进一步详细说明。应当理解，以下的示意性实施例及说明仅用来解释本发明，并不作为对本发明的限定，而且，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
20.如图1所示，本发明一个可选实施例提供一种深度学习神经网络模型的训练装置1，包括：特征层提取模块10，用于采用预定步长的普通卷积层与平均池化层对外部输入的原始图像进行卷积操作并叠加卷积结果后获得所述原始图像的若干特征层；卷积运算模块12，与所述特征层提取模块10相连，用于依次采用不同尺度和数量的卷积滤波器对各个特征层进行卷积运算以从各个特征层中提取出不同的第一特征图，并通过点积运算将尺寸相同的第一特征图进行组合；特征图处理模块14，与所述卷积运算模块12相连，用于采用两个激活函数相结合
的方式对组合后的各个第一特征图进行非线性转换获得加入了非线性因素的第二特征图；检测框生成模块16，与所述特征图处理模块14相连，用于任意选取预定数量的第二特征图，在每个选定的第二特征图上均确定一个坐标点，所有选定的第二特征图中确定的坐标点具有相互对应的位置关系，在每个选定的第二特征图中均以所述坐标点为中心生成多个不同预定尺度的待判定检测框，将各个待判定检测框所包含的待检测区域与所述原始图像中预先标注的实际目标框进行对比，判断所述待检测区域与所述实际目标框的初步相似度，将所述初步相似度最高的待判定检测框确定为正样本检测框；以及参数更新模块18，与所述检测框生成模块16相连，用于对每个第二特征图进行回归运算匹配，再次对比所述正样本检测框所包含的区域与所述实际目标框的目标相似度，将所述目标相似度大于预定相似度阈值的正样本检测框确定为正样本，根据各个所述正样本在所述第二特征图中的位置更新所述普通卷积层、平均池化层及各个卷积滤波器的参数值，对所述正样本进行卷积运算及回归确定所述正样本的类别和在所述原始图像中的坐标信息；以及模型输出模块19，与所述参数更新模块18和特征层提取模块10相连，用于判断所述类别和所述坐标信息的准确度，在所述准确度大于预定阈值时输出检测模型，否则根据更新后的所述普通卷积层、平均池化层及各个卷积滤波器的参数值重复运行上述各个模块。
21.本发明实施例通过采用预定步长的普通卷积层与平均池化层对外部输入的原始图像进行卷积操作并叠加卷积结果后获得所述原始图像的若干特征层，然后通过依次采用不同尺度和数量的卷积滤波器对各个特征层进行卷积运算以从各个特征层中提取出不同的第一特征图，利用深度分通道卷积操作获得特征图，使得图像特征能有效传递，尤其是保留底层小目标物体的图像特征，并通过点积运算将尺寸相同的第一特征图进行组合，可有效的减少参数量，再进一步用两个激活函数相结合的方式对组合后的各个第一特征图进行非线性转换，加入非线性因素以获得第二特征图，有效提升神经网络对重要特征的表达能力，然后生成多个不同预定尺寸的待判定检测框以适应实际检测中对不同尺寸目标的检测需求，通过对比判断待检测区域与实际目标框的初步相似度，初步确定出正样本检测框，最后再次回归运算匹配后对比所述正样本检测框与所述实际目标框的目标相似度，最终确定出正样本，并结合正样本对普通卷积层、平均池化层及卷积滤波器的参数值修改，实现对卷积网络训练；并最终对正样本分类，确定坐标信息实现目标检测，从而判断所述类别和所述坐标信息的准确度，直至所述准确度大于预定阈值时输出检测模型否则进行重复的迭代运算，能获得对小目标的检测效果好的检测模型。在具体实施时，任意选取预定数量(例如：4个、5个等数量)的第一特征图，以其中一个第一特征图上的任意一坐标点为中心生成多个不同预定尺度的待判定检测框；将所述目标相似度大于预定相似度阈值(例如：50％)的正样本检测框确定为正样本。
22.在本发明又一个可选实施例中，所述两个激活函数分别为relu(rectified linear unit，线性整流函数)激活函数和prelu(parametric rectified linear unit，带参数的线性整流函数)激活函数。本实施例采用上述两个激活函数，在特征图中加入非线性因素，可有效的提升神经网络对特征的表达能力。在具体实施时，可采用上述两个激活函数交替对各个特征图进行非线性转换。
23.其中：relu激活函数是带有卷积图像的输入x的最大函数(x，o)，relu激活函数将矩阵x内所有负值都设为零，而其他的值不变，且relu激活函数的计算是在卷积之后进行的；prelu激活函数可以看作是leaky relu激活函数的一个变体。在prelu激活函数中，负值部分的斜率是根据数据来确定。
24.在本发明一个可选实施例中，所述检测框生成模块16通过对比所述待检测区域与所述实际目标框在对应的第二特征图的尺寸大小和位置以确定所述初步相似度。本实施例通过比对待检测区域与所述实际目标框在对应的第二特征图的尺寸大小和位置从而确定二者的初步相似度，判断依据简单，可有效的确定出二者的相似程度。
25.在本发明再一个可选实施例中，所述预定步长为2。本实施例采用步长为2的普通卷积层与平均池化层进行卷积操作并叠加卷积结果，可以最大程度保留原始图像的图像特征，防止原始图像中较小的目标在处理的过程中被淡化。
26.另一方面，如图2所示，本发明实施例提供一种目标检测系统，包括摄像装置3以及与所述摄像装置3相连的目标检测装置5，所述目标检测装置5采用如上述任一项所述的深度学习神经网络模型的训练装置1对大量的原始图像进行训练获得的检测模型对摄像装置3采集的实际图像进行检测。本实施例目标检测系统的目标检测装置采用如上述的训练装置1经过大量原始图片训练的得到的检测模型对实际图像进行检测，可有效的提高对小尺寸目标的检测精度。
27.再一方面，如图3所示，本发明实施例提供一种深度学习神经网络模型的训练方法，包括以下步骤：s1：采用预定步长的普通卷积层与平均池化层对外部输入的原始图像进行卷积操作并叠加卷积结果后获得所述原始图像的若干特征层；s2：依次采用不同尺度和数量的卷积滤波器对各个特征层进行卷积运算以从各个特征层中提取出不同的第一特征图，并将尺寸相同的第一特征图通过点积运算进行组合；s3：采用两个激活函数相结合的方式对组合后的各个第一特征图进行非线性转换获得加入了非线性因素的第二特征图；s4：任意选取预定数量的第二特征图，在每个选定的第二特征图上均确定一个坐标点，所有选定的第二特征图中确定的坐标点具有相互对应的位置关系，在每个选定的第二特征图中均以所述坐标点为中心生成多个不同预定尺度的待判定检测框，将各个待判定检测框所包含的待检测区域与所述原始图像中预先标注的实际目标框进行对比，判断所述待检测区域与所述实际目标框的初步相似度，将所述初步相似度最高的待判定检测框确定为正样本检测框；以及s5：对每个第二特征图进行回归运算匹配，再次对比所述正样本检测框所包含的区域与所述实际目标框的目标相似度，将所述目标相似度大于预定相似度阈值的正样本检测框确定为正样本，根据各个所述正样本在所述第二特征图中的位置更新所述普通卷积层、平均池化层及各个卷积滤波器的参数值，对所述正样本进行卷积运算及回归确定所述正样本的类别和在所述原始图像中的坐标信息；以及s6：判断所述类别和所述坐标信息的准确度，在所述准确度大于预定阈值时输出检测模型，否则根据更新后的所述普通卷积层、平均池化层及各个卷积滤波器的参数值对外部输入的原始图像重复进行步骤s1
‑
步骤s5。
28.本发明实施例通过上述方法，采用预定步长的普通卷积层与平均池化层对外部输入的原始图像进行卷积操作并叠加卷积结果后获得所述原始图像的若干特征层，然后通过依次采用不同尺度和数量的卷积滤波器对各个特征层进行卷积运算以从各个特征层中提取出不同的第一特征图，利用深度分通道卷积操作获得特征图，使得图像特征能有效传递，尤其是保留底层小目标物体的图像特征，并通过点积运算将尺寸相同的第一特征图进行组合，可有效的减少参数量，再进一步用两个激活函数相结合的方式对组合后的各个第一特征图进行非线性转换，加入非线性因素以获得第二特征图，有效提升神经网络对重要特征的表达能力，然后生成多个不同预定尺寸的待判定检测框以适应实际检测中对不同尺寸目标的检测需求，通过对比判断待检测区域与实际目标框的初步相似度，初步确定出正样本检测框，最后再次回归运算匹配后对比所述正样本检测框与所述实际目标框的目标相似度，最终确定出正样本，并结合正样本对普通卷积层、平均池化层及卷积滤波器的参数值修改，实现对卷积网络训练；并最终对正样本分类，确定坐标信息实现目标检测，从而判断所述类别和所述坐标信息的准确度，直至所述准确度大于预定阈值时输出检测模型，能获得对小目标的检测效果好的检测模型。
29.在本发明又一个可选实施例中，所述两个激活函数分别为relu激活函数和prelu激活函数。本实施例采用上述两个激活函数，在特征图中加入非线性因素，可有效的提升神经网络对特征的表达能力。在具体实施时，采用上述两个激活函数交替对各个特征图进行非线性转换。
30.在本发明再一个可选实施例中，通过对比所述待检测区域与所述实际目标框在对应的第二特征图的尺寸大小和位置以确定所述初步相似度。本实施例通过比对待检测区域与所述实际目标框在对应的第二特征图的尺寸大小和位置从而确定二者的初步相似度，判断依据简单，可有效的确定二者的相似程度。
31.在本发明一个可选实施例中，所述预定步长为2。本实施例采用步长为2的普通卷积层与平均池化层进行卷积操作并叠加卷积结果，可以最大程度保留原始图像的图像特征，防止原始图像中较小的目标在处理的过程中被淡化。
32.本发明实施例所述的功能如果以软件功能模块或单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
33.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。