训练用于跑冒滴漏检测的全连接分类网络的方法及装置与流程

本发明涉及图像识别技术领域，具体地，涉及一种训练用于跑冒滴漏检测的全连接分类网络的方法及装置。

背景技术：

跑、冒、滴、漏(跑气，冒水，滴液，漏液)是现代安全文明生产的大敌，在长期连续生产过程中，由于受振动、应力、变形、冲击、冲刷、腐蚀、温度、压力、环境、季节以及人为因素、材料自身缺陷等众多因素的影响，常常会造成各种形式的密封失效，进而产生介质泄漏。这些泄漏如果不能及时治理，在介质的冲刷下会使泄漏迅速扩大，造成物料的损失、生产环境的破坏，如果是有毒有害、易燃易爆的介质泄漏，还有可能造成人员中毒、火灾爆炸等重大事故。因此，如何能在不影响生产的情况下，快速治理泄漏，一直是企业设备管理人员所关注的话题。

现有技术中，在对跑冒滴漏目标进行识别时，通常选用区域卷积神经网络(英文全称：regionconvolutionalneuralnetwork，以下简称：r-cnn)和回归模型来进行目标检测和定位。其中，r-cnn包括：区域快速卷积神经网络(英文全称：fastregionconvolutionalneuralnetwork，以下简称：fastr-cnn)、区域更快速卷积神经网络(英文全称：fasterregionconvolutionalneuralnetwork，以下简称：fasterr-cnn)以及区域掩码卷积神经网络(英文全称：maskregionconvolutionalneuralnetwork，以下简称：maskr-cnn)等。回归模型包括：yolo(英文全称：youonlylookonce)算法和ssd(英文全称：singleshotmultiboxdetector)算法等。

然而，上述r-fcn、fastr-cnn、fasterr-cnn以及maskr-cnn，均属于基于候选区域的目标检测，其特点是具有很高的检测精度，但是速度不能满足应用实时性要求；而上述的yolo算法和ssd算法是基于回归的目标检测，其特点是速度很快，但是检测精度欠佳。

此外，在跑冒滴漏实际场景中，高压气体、液体泄漏时，其喷射的方向、大小均是随机的，而且，随着泄漏的扩大，高压气体、液体喷射的方向可能不断变化(例如喷射束增加)、喷射的大小也可能逐步扩大，对应的待检测跑冒滴漏目标在图像中是动态变化的。上述所涉及到的目标检测方法往往不能适应这种动态变化，从而导致边界框检测不准确，边界框中往往存在不属于待检测跑冒滴漏目标的区域，从而造成待检测跑冒滴漏目标的检测精度的降低。

技术实现要素：

本发明的实施例提供一种训练用于跑冒滴漏检测的全连接分类网络的方法及装置，解决现有技术中在待检测跑冒滴漏目标在图像中是动态变化的情况下，出现的检测速度慢以及检测精度低的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明实施例的第一方面，提供一种训练用于跑冒滴漏检测的全连接分类网络的方法，该方法包括：

使用样本图像通过迁移学习确定网络参数；

根据网络参数初始化卷积神经网络和区域建议网络；

根据区域建议网络训练卷积神经网络；

根据训练后的卷积神经网络优化区域建议网络；以及

根据样本图像的样本特征图和样本图像的候选边界框训练全连接分类网络；

其中，样本图像的候选边界框是通过优化后的区域建议网络提取的。

本发明实施例的第二方面，提供一种用于跑冒滴漏检测的方法，该方法包括：

通过使用由第一方面的方法得到的训练后的全连接分类网络识别目标的待检测图像的边界框，以确定跑冒滴漏检测结果。；

本发明实施例的第三方面，提供一种计算机可读存储介质，存储介质存储有执行第一方面或第二方面的方法的计算机程序。

本发明实施例的第四方面，提供一种训练用于跑冒滴漏检测的全连接分类网络的装置，该装置包括：

确定模块，用于使用样本图像通过迁移学习确定网络参数；

初始化模块，用于根据网络参数初始化卷积神经网络和区域建议网络；

第一训练模块，用于根据区域建议网络训练卷积神经网络；

优化模块，用于根据训练后的卷积神经网络优化区域建议网络；以及

第二训练模块，用于根据样本图像的样本特征图和样本图像的候选边界框训练全连接分类网络；

其中，样本图像的候选边界框是通过优化后的区域建议网络提取的。

本发明实施例的第五方面，提供一种用于跑冒滴漏检测的装置，该装置包括：

识别模块，用于通过使用第四方面的装置得到的训练后的全连接分类网络识别目标的待检测图像的边界框，以确定跑冒滴漏检测结果。

相比于现有技术，本发明提供的训练用于跑冒滴漏检测的全连接分类网络，通过引入迁移学习的思想使得能够根据样本图像自动生成训练集并进行自动训练得到网络参数，然后根据训练得到的网络参数分别初始化卷积神经网络和区域建议网络，由于采用迁移学习的方法来确定网络参数，从而节省了训练网络模型所花费的时间，使得能够在最终进行目标检测时提高检测速度；其次，根据区域建议网络的预选区域训练卷积神经网络，根据训练后的卷积神经网络优化区域建议网络，由于样本图像的候选边界框是通过优化后的区域建议网络提取的，这样使得提取出来的样本图像的候选边界框较为合理，能够适应样本图像中的动态变化，从而能够提高检测的精度。

附图说明

本公开可以通过参考下文中结合附图所给出的描述而得到更好的理解。应当明白的是附图不必按比例绘制。在附图中：

图1为本发明实施例提供的一种训练用于跑冒滴漏检测的全连接分类网络的方法的流程图；

图2为本发明实施例提供的一种用于跑冒滴漏检测的方法的流程图；

图3为本发明实施例提供的一种训练用于跑冒滴漏检测的全连接分类网络的装置的结构示意图；

图4为本发明实施例提供的另一种训练用于跑冒滴漏检测的全连接分类网络的装置的结构示意图；以及

图5为本发明实施例提供的另一种用于跑冒滴漏检测的装置的结构示意图。

具体实施方式

在下文中将结合附图对本公开内容的示例性实施方式进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该理解，在开发任何这种实际实施方式的过程中可以做出很多特定于实施方式的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施方式的不同而有所改变。

为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能或作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本文中术语“包括/包含”在本文使用时指特征、要素或组件的存在，但并不排除一个或更多个其它特征、要素或组件的存在或附加。

本发明实施例实现的目标检测的场景主要包含液体异常、汽体异常、明火异常以及粉尘异常等。其中：液体异常包括但不限于：酸碱溶液(一股水)、水(一股水或花洒头喷水)、食用油(偏淡黄的油)、机油(偏黑的油)或水煤浆(固液混合物)；汽体异常包括但不限于：水蒸汽(加湿器模拟蒸汽)或烟雾(纸张燃烧产生的烟雾)；明火异常：明火(打火机模拟)或电火花(电路短路模拟)；粉尘异常包括但不限于：漏料粉尘(偏白色粉尘)或漏斗煤灰(偏黑/深灰色粉尘)。

现有技术中，在对跑冒滴漏目标进行识别时，r-cnn用选择性搜索算法在图像中提取侯选框，并将归一化后的候选区域输入到卷积神经网络(英文全称：convolutionalneuralnetwork，以下简称：cnn)中，进行特征的提取，再用支持向量机(英文全称：supportvectormachine，以下简称：svm)分类来做识别，用线性回归来微调候选框位置与大小,来获得更贴近的候选框坐标。但是，r-cnn相当耗时，因为这些候选框都需要进行cnn操作，计算量很大，其中有不少是重复计算。

fastr-cnn在r-cnn的特征图谱中选择相应的区域来获取每个区域的cnn抽象特征；然后，通常使用最大池化操作来合并每个区域中的初级抽象特征。具体的，fastr-cnn在一个模型中联合训练卷积神经网络、分类器和边界框回归模型为了检测图像中对象位置，第一步是要产生一系列随机多尺度的边界框或是待测试的感兴趣区域。然而，在fastr-cnn中，通过选择性搜索方法创建这些区域，这是一个相当缓慢的过程。

fasterr-cnn是在cnn特征的顶部添加了一个全卷积网络(英文全称：fullyconvolutionalnetworks，以下简称：fcn)，创建了区域建议网络(英文全称：regionproposalnetwork，以下简称：rpn)，该区域建议网络在cnn特征图谱上依次滑动一个窗口，在每个窗口位置上，网络在每个锚点上输出一个分值和一个边界框,只将每个可能是目标对象的边界框传递到fasterr-cnn中，以实现对象分类和缩紧边界框。

上述r-fcn、fastr-cnn、fasterr-cnn以及maskr-cnn，均属于基于候选区域的目标检测，其特点是具有很高的检测精度，但是速度不能满足应用实时性要求。

此外，在跑冒滴漏实际场景中，高压气体、液体泄漏时，其喷射的方向、大小均是随机的，而且，随着泄漏的扩大，高压气体、液体喷射的方向可能不断变化(例如喷射束增加)、喷射的大小也可能逐步扩大，对应的待检测跑冒滴漏目标在图像中是动态变化的。上述所涉及到的目标检测方法往往不能适应这种动态变化，从而导致边界框检测不准确，边界框中往往存在不属于待检测跑冒滴漏目标的区域，从而造成待检测跑冒滴漏目标的检测精度的降低，从而影响用户对生产过程中跑冒滴漏故障严重性的判断，导致报警不准确。

为了解决上述的技术问题，本发明实施例提供一种训练用于跑冒滴漏检测的全连接分类网络的方法，如图1所示，该方法包括：

101、使用样本图像通过迁移学习确定网络参数。

其中，上述的迁移学习是机器学习技术的一种，在一个任务上训练的模型被重新利用在另一个相关的任务上。本方案中通过在基础数据集上训练出网络参数，这样可以避免通过深度学习模型所需耗费的巨大资源，从而节省训练时间，提高训练模型的效率。

示例性的，上述的步骤101具体可以通过以下内容实现：使用数据集预先训练卷积神经网络和区域建议网络，采用迁移学习的方法，确定出网络参数。优选的，上述的数据集为：imagenet，但不限于此。上述的卷积神经网络可以为任意的cnn模型，例如：resnet、inception或者vgg。

可选的，在步骤101之前，该方法还包括：

101a、通过摄像头拍摄包含待检测物体的样本图像。

示例性的，上述的样本图像为包含各种类型的泄漏图像。这样在开始训练时采用包括各种类型的泄漏图像，训练的结果就是可以识别各种类型的泄漏目标，因此，当存在两种泄漏时，通过本发明的内容不尽能识别出两个地方发生泄漏，还能识别出泄漏的类型。

102、根据网络参数初始化卷积神经网络和区域建议网络。

示例性的，上述的网络参数是指在数据集上训练的权重，卷积神经网络需要用数据来训练，从数据中获得信息，进而把数据转换成相应的权重，然后将该权重迁移至卷积神经网络和区域建议网络中，即通过深度学习和迁移学习结合的方法自动进行特征学习。从而借助迁移学习机制对上述的卷积神经网络和区域建议网络进行训练，对于高压气体或液体喷射位置和方向的识别，得到具备泛化能力的网络模型。

103、根据区域建议网络训练卷积神经网络。

优选的，上述的步骤103具体包括以下内容：

103a1、使用区域建议网络生成第一训练区域。

103a2、基于第一训练区域训练卷积神经网络。

104、根据训练后的卷积神经网络优化区域建议网络。

示例性的，上述的步骤104具体包括以下内容：

104a1、根据训练后的卷积神经网络训练区域建议网络。

104a2、使用训练后的区域建议网络生成第二训练区域。

104a3、根据训练后的区域建议网络和第二训练区域优化区域建议网络。

优选的，上述的步骤104a1具体可以通过以下内容实现：用训练后的卷积神经网络初始化区域建议网络，并保持卷积层不变，只调整训练后的卷积神经网络与区域建议网络不同的部分。上述的步骤104a3具体可以通过以下内容实现：保持训练后的区域建议网络的卷积层参数不变，利用第二训练区域对训练后的区域建议网络再次进行调整，获得优化的区域建议网络。示例性的，上述的步骤104a1在具体实现时可以参考以下内容：先使用训练后的卷积神经网络生成第三训练区域，然后基于该第三训练区域训练上述的区域建议网络。上述的步骤103和104的内容，通过区域建议网络来训练卷积神经网络，然后通过训练后的卷积神经网络来优化区域建议网络，由于样本图像的候选边界框是通过优化后的区域建议网络提取的，这样使得提取出来的样本图像的候选边界框较为合理，能够适应样本图像中的动态变化，从而提高检测的精度。

105、根据样本图像的样本特征图和样本图像的候选边界框训练全连接分类网络。

其中，样本图像的候选边界框是通过优化后的区域建议网络提取的。可选的，在上述的步骤105之前，该方法还包括：

105a、根据优化后的区域建议网络提取样本图像的候选边界框。

示例性的，上述的步骤105a具体包括：

105a1、采用训练后的卷积神经网络学习样本图像的特征，得到样本特征图。

105a2、将优化后的区域建议网络的卷积核与样本特征图卷积，确定样本图像的候选边界框。

假设给定输入图像尺寸为m*n，经过卷积操作得到的样本特征图尺寸为m*n，共有l个特征图，上述的m>m>0，n>n>0。其中，卷积神经网络包括多个卷积层。

例如，对步骤104优化后的区域建议网络rpn采用一个3*3的卷积核，即3*3滑动窗口，在m*n的样本特征图上进行卷积。将3*3的卷积核的中心点位置映射到原始图像中，在该中心位置处提取出3种纵横比例ratio(1:1，1:2，2:1)、3种尺度scale(64，128，256)、共9个锚点(英文简称：anchor)，即候选边界框。

可选的，在上述的步骤105a之后，该方法还包括：

105b、将经过区域池化层处理的样本图像的候选边界框输入至全连接分类网络，并且输出目标分类以及边界框位置。

105c、根据坐标修正量调整边界框位置。

其中，上述的修正量为修正边界框的位置的一个参数。

105d、根据偏差样本过滤法筛选调整后的样本图像的候选边界框，确定样本图像的新的候选边界框。

上述的步骤105b中将经过感兴趣区域池化层roi的候选边界框输入全连接层，然后输入分类层和边界框回归层。该分类层进行最终的目标分类，即判断样本候选框是否为目标。该边界框回归层用于目标边界回归修正，即预测卷积核的中心位置在原始图像中的映射所对应的候选边界框的左上角顶点的横坐标x、纵坐标y以及候选框的宽度w、高度h。其中，对于每个中心位置会有4*9个位置的回归。而在实际的计算过程中，边界框回归，使用了平滑的l1-loss(范数)。

上述的步骤105d采用偏差样本过滤法选出样本偏差大于阈值的候选边界框作为新的候选边界框。在使用偏差样本过滤方法之前，还采用非极大值抑制，去除掉重叠区域(即重合度)过大的候选边界框。

通过卷积神经网络结合偏差样本过滤方法，有效地降低了卷积神经网络中正负样本数量不均匀而导致的训练结果恶化的情形。

进一步可选的，上述的方法还包括：

105e、根据样本图像的样本特征图和样本图像的新的候选边界框更新全连接分类网络。

105f、循环执行以下步骤直至坐标修正量为预设值：将经过区域池化层处理的样本图像的候选边界框输入至全连接分类网络，输出目标分类，以及输出边界框位置。

示例性的，上述的预设值为经验值，可以根据实际的图片情况进行设置该值，当上述的修正量等于该预设值时，所对应的全连接分类网络的网络模型是最精确的。

示例性的，上述步骤105e和105f具体通过以下内容实现：将样本图像的样本特征图和新的候选边界框作为新的训练样本，经过感兴趣区域池化层roi处理，输入到全连接层的分类网络，再次进行目标分类和目标位置调整，经过上述多次迭代训练，更新全连接分类网络参数，使得目标位置调整量逐渐变小，达到设定值时得到训练好的全连接分类网络。其中，对样本图像按照5:1比例分配训练集和测试集，并进行交叉验证。

当上述的区域建议网络采用特征金字塔网络(fpn)时，在特征金字塔网络的每一层生成多种长宽比的候选区域，然后利用非极大值抑制选取候选区域，利用多尺度特征来进行检测，综合利用底层特征和高层特征对微小的跑冒滴漏目标的检测尤为有效。

本发明实施例提供一种用于跑冒滴漏检测的方法，如图2所述，该方法包括：

201、通过使用上述的方法得到的训练后的全连接分类网络识别目标的待检测图像的边界框，以确定跑冒滴漏检测结果。

优选的，在上述的步骤201之后该方法还包括：

202、根据预设规则挖取待检测图像的边界框。

203、显示挖取的边界框。

可选的，在进行挖取时的预设规则是挖取包含待检测图像的边界框的邻接区域，其中，对于邻接区域的形状不进行限制，可以是圆形区域，也可以是矩形区域。

优选的，上述的预设规则为：

1)如边界框的大小m*n，选择挖取框大小为l*l，l为(min(m，n))/p)；p＝α*m/n,所述α为调整系数，取值为10。

2)从边界框的四个角之一开始进行z扫描，对挖取框中图像进行边缘检测。

3)如果没有检测到边缘，则去除该挖取框中图像，沿z扫描方向继续扫描下一个挖取框，重复步骤2)；

4)如果检测到边缘，则终止该扫描，选择下一个边界框的角重复步骤2)-3)，直到从边界框的四个角的z扫描全部完成。

可选的，在进行挖取待检测图像的边界框时，若选择的挖取尺度过大，就可能把真实边缘也挖掉了，此时就需要将挖取后的边界框通过多个最小的边界框进行填补，已得到待检测图像的完整边界框。

上述的显示模块在执行显示时，具体可以将挖取后的结果映射回原始图像中，进行边界框的绘制，从而完成跑冒滴漏的目标检测。通过以上步骤的处理，改善了跑冒滴漏目标检测的速度，提高跑冒滴漏目标检测的精度。

为进一步提高跑冒滴漏目标检测精度，还可以在获取跑冒滴漏目标与边界框相对位置的基础上，可以直接获取跑冒滴漏目标的掩码，实现像素级的跑冒滴漏目标分割。另外，可以根据掩码执行平滑滤波，以消除块效应。

相比于现有技术，本发明提供的训练用于跑冒滴漏检测的全连接分类网络，通过引入迁移学习的思想使得能够根据样本图像自动生成训练集并进行自动训练得到网络参数，然后根据训练得到的网络参数分别初始化卷积神经网络和区域建议网络，由于采用迁移学习的方法来确定网络参数，从而节省了训练网络模型所花费的时间，使得能够在最终进行目标检测时提高检测速度；其次，根据区域建议网络的预选区域训练卷积神经网络，根据训练后的卷积神经网络优化区域建议网络，由于样本图像的候选边界框是通过优化后的区域建议网络提取的，这样使得提取出来的样本图像的候选边界框较为合理，能够适应样本图像中的动态变化，从而能够提高检测的精度。下面将基于图1对应的训练用于跑冒滴漏检测的全连接分类网络的方法的实施例中的相关描述对本发明实施例提供的一种训练用于跑冒滴漏检测的全连接分类网络的装置进行介绍。以下实施例中与上述实施例相关的技术术语、概念等的说明可以参照上述的实施例，这里不再赘述。

本发明实施例提供一种训练用于跑冒滴漏检测的全连接分类网络的装置，如图3所示，该装置包括：第一确定模块301，初始化模块302、第一训练模块303、优化模块304以及第二训练模块305，其中：

第一确定模块301，用于使用样本图像通过迁移学习确定网络参数。

初始化模块302，用于根据网络参数分别初始化卷积神经网络和区域建议网络。

第一训练模块303，用于根据区域建议网络训练卷积神经网络。

优化模块304，用于根据训练后的卷积神经网络优化区域建议网络。

第二训练模块305，用于根据样本图像的样本特征图和样本图像的候选边界框训练全连接分类网络；其中，样本图像的候选边界框是通过优化后的区域建议网络提取的。

其中，上述的迁移学习是机器学习技术的一种，在一个任务上训练的模型被重新利用在另一个相关的任务上。本方案中通过在基础数据集上训练出网络参数，这样可以避免通过深度学习模型所需耗费的巨大资源，从而节省训练时间，提高训练模型的效率。

示例性的，上述的确定模块具体可以通过以下内容实现：使用数据集预先训练卷积神经网络和区域建议网络，采用迁移学习的方法，确定出网络参数。优选的，上述的数据集为：imagenet，但不限于此。上述的卷积神经网络可以为任意的cnn模型，例如：resnet、inception或者vgg。

可选的，上述的装置4还包括：采集模块306，其中：

采集模块306，用于通过摄像头拍摄包含待检测物体的样本图像。

示例性的，上述的样本图像为包含各种类型的泄漏图像。这样在开始训练时采用包括各种类型的泄漏图像，训练的结果就是可以识别各种类型的泄漏目标，因此，当存在两种泄漏时，通过本发明的内容不尽能识别出两个地方发生泄漏，还能识别出泄漏的类型。

上述的网络参数是指在数据集上训练的权重，卷积神经网络需要用数据来训练，从数据中获得信息，进而把数据转换成相应的权重，然后将该权重迁移至卷积神经网络和区域建议网络中，即通过深度学习和迁移学习结合的方法自动进行特征学习。从而借助迁移学习机制对上述的卷积神经网络和区域建议网络进行训练，对于高压气体或液体喷射位置和方向的识别，得到具备泛化能力的网络模型。

优选的，上述的第一训练模块303具体用于：

使用区域建议网络生成第一训练区域。

基于第一训练区域训练卷积神经网络。

优选的，上述的优化模块304，具体用于：

根据训练后的卷积神经网络训练区域建议网络。

使用训练后的区域建议网络生成第二训练区域。

根据训练后的区域建议网络和第二训练区域优化区域建议网络。

优选的，上述的优化模块在根据训练后的卷积神经网络训练区域建议网络时，具体可以通过以下内容实现：用训练后的卷积神经网络初始化区域建议网络，并保持卷积层不变，只调整训练后的卷积神经网络与区域建议网络不同的部分。上述的优化模块在根据训练后的区域建议网络和第二训练区域优化区域建议网络时，具体可以通过以下内容实现：保持训练后的区域建议网络的卷积层参数不变，利用第二训练区域对训练后的区域建议网络再次进行调整，获得优化的区域建议网络。

示例性的，上述的优化模块中在根据训练后的卷积神经网络训练区域建议网络时可以通过以下内容实现：先使用训练后的卷积神经网络生成第三训练区域，然后基于该第三训练区域训练上述的区域建议网络。

上述的第一训练模块和优化模块的内容，通过区域建议网络来训练卷积神经网络，然后通过训练后的卷积神经网络来优化区域建议网络，由于样本图像的候选边界框是通过优化后的区域建议网络提取的，这样使得提取出来的样本图像的候选边界框较为合理，能够适应样本图像中的动态变化，从而提高检测的精度。

可选的，如图4所示，上述的装置3还包括：提取模块307，其中：

提取模块307，用于根据优化后的区域建议网络提取样本图像的候选边界框。

示例性的，上述的提取模块307具体用于：

采用训练后的卷积神经网络学习样本图像的特征，得到样本特征图。

将优化后的区域建议网络的卷积核与样本特征图卷积，确定样本图像的候选边界框。

假设给定输入图像尺寸为m*n，经过卷积操作得到的样本特征图尺寸为m*n，共有l个特征图，上述的m>m>0，n>n>0。其中，卷积神经网络包括多个卷积层。

例如，对优化后的区域建议网络rpn采用一个3*3的卷积核，即3*3滑动窗口，在m*n的样本特征图上进行卷积。将3*3的卷积核的中心点位置映射到原始图像中，在该中心位置处提取出3种纵横比例ratio(1:1，1:2，2:1)、3种尺度scale(64，128，256)、共9个锚点(英文简称：anchor)，即候选边界框。

可选的，如图4所示，装置3还包括：输出模块308、调整模块309以及第二确定模块310，其中：

输出模块308，用于将经过区域化层处理的样本图像的候选边界框输入至全连接分类网络，并且输出目标分类以及边界框位置。

调整模块309，用于根据坐标修正量调整边界框位置。

第二确定模块310，根据偏差样本过滤法筛选调整后的样本图像的候选边界框，确定样本图像的新的候选边界框。

其中，上述的修正量为修正边界框的位置的一个参数。

上述内容中将经过感兴趣区域池化层roi的候选边界框输入全连接层，然后输入分类层和边界框回归层。该分类层进行最终的目标分类，即判断样本候选框是否为目标。该边界框回归层用于目标边界回归修正，即预测卷积核的中心位置在原始图像中的映射所对应的候选边界框的左上角顶点的横坐标x、纵坐标y以及候选框的宽度w、高度h。其中，对于每个中心位置会有4*9个位置的回归。而在实际的计算过程中，边界框回归，使用了平滑的l1-loss(范数)。

上述的第二确定模块采用偏差样本过滤法选出样本偏差大于阈值的候选边界框作为新的候选边界框。在使用偏差样本过滤方法之前，还采用非极大值抑制，去除掉重叠区域(即重合度)过大的候选边界框。通过卷积神经网络结合偏差样本过滤方法，有效地降低了卷积神经网络中正负样本数量不均匀而导致的训练结果恶化的情形。

进一步可选的，如图4所示，装置3还包括：更新模块311以及循环执行模块312，其中：

更新模块311，还用于根据样本图像的样本特征图和样本图像的新的候选边界框更新全连接分类网络。

循环执行模块312，用于循环执行以下步骤直至坐标修正量为预设值：将经过区域池化层处理的样本图像的候选边界框输入至全连接分类网络，输出目标分类，以及输出边界框位置。

示例性的，上述的预设值为经验值，可以根据实际的图片情况进行设置该值，当上述的修正量等于该预设值时，所对应的全连接分类网络的网络模型是最精确的。

示例性的，上述更新模块和循环执行模块具体还可以通过以下内容实现：将样本图像的样本特征图和新的候选边界框作为新的训练样本，经过感兴趣区域池化层roi处理，输入到全连接层的分类网络，再次进行目标分类和目标位置调整，经过上述多次迭代训练，更新全连接分类网络参数，使得目标位置调整量逐渐变小，达到设定值时得到训练好的全连接分类网络。其中，对样本图像按照5:1比例分配训练集和测试集，并进行交叉验证。

当上述的区域建议网络采用特征金字塔网络时，在特征金字塔网络的每一层生成多种长宽比的候选区域，然后利用非极大值抑制选取候选区域，利用多尺度特征来进行检测，综合利用底层特征和高层特征对微小的跑冒滴漏目标的检测尤为有效。

本发明实施例提供一种用于跑冒滴漏检测的装置，如图5所示，该装置5包括：

识别模块401，用于通过使用上述的装置得到的训练后的全连接分类网络识别目标的待检测图像的边界框，以确定跑冒滴漏检测结果。

优选的，上述的装置4还包括：挖取模块402，以及显示模块403，其中：

挖取模块402，用于根据预设规则挖取待检测图像的边界框。

显示模块403，用于显示挖取的边界框。

可选的，在进行挖取时的预设规则是挖取包含待检测图像的边界框的邻接区域，其中，对于邻接区域的形状不进行限制，可以是圆形区域，也可以是矩形区域。

优选的，上述的预设规则为：

1)如边界框的大小m*n，选择挖取框大小为l*l，l为(min(m，n))/p)；p＝α*m/n,所述α为调整系数，取值为10。

2)从边界框的四个角之一开始进行z扫描，对挖取框中图像进行边缘检测。

3)如果没有检测到边缘，则去除该挖取框中图像，沿z扫描方向继续扫描下一个挖取框，重复步骤2)；

4)如果检测到边缘，则终止该扫描，选择下一个边界框的角重复步骤2)-3)，直到从边界框的四个角的z扫描全部完成。

可选的，在进行挖取待检测图像的边界框时，若选择的挖取尺度过大，就可能把真实边缘也挖掉了，此时就需要将挖取后的边界框通过多个最小的边界框进行填补，已得到待检测图像的完整边界框。

上述的显示模块在执行显示时，具体可以将挖取后的结果映射回原始图像中，进行边界框的绘制，从而完成跑冒滴漏的目标检测。通过以上步骤的处理，改善了跑冒滴漏目标检测的速度，提高跑冒滴漏目标检测的精度。

相比于现有技术，本发明提供的训练用于跑冒滴漏检测的全连接分类网络，通过引入迁移学习的思想使得能够根据样本图像自动生成训练集并进行自动训练得到网络参数，然后根据训练得到的网络参数分别初始化卷积神经网络和区域建议网络，由于采用迁移学习的方法来确定网络参数，从而节省了训练网络模型所花费的时间，使得能够在最终进行目标检测时提高检测速度；其次，根据区域建议网络的预选区域训练卷积神经网络，根据训练后的卷积神经网络优化区域建议网络，由于样本图像的候选边界框是通过优化后的区域建议网络提取的，这样使得提取出来的样本图像的候选边界框较为合理，能够适应样本图像中的动态变化，从而能够提高检测的精度。

本发明实施例提供一种计算机存储介质，该存储介质存储有执行上文所描述的方法的计算机程序。

示例性的，计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘，硬盘、磁带)、光介质(例如，dvd)或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。