一种基于级联神经网络的混储电池识别去模糊方法与流程

本发明属于图像去模糊的，具体涉及一种基于级联神经网络的混储电池识别去模糊方法。

背景技术：

1、在混储电池自动化生产过程中，不同型号、不同大小、电池标记等精准识别在自动分拣等过程中需要越来越高的准确度，而采用去模糊电池图像精准识别是提高电池识别的自动化程度的关键。随着深度学习的发展和兴起，基于深度学习的图像检测技术也不断发展；显著性检测可分为自底向上的数据驱动模型和自顶向下的任务驱动模型两大类；自底向上的图像检测是指对于给定的任意一幅图像，找出图中引人注意的目标，该目标可为任何类型的对象；而自顶向下的图像检测方法通常从给定图片中找出给定类别的目标，并赋予不同的显著值。目前，对自底向上的图像检测方法的研究最多。

2、图像复原倒推图像退化过程，根据已有低质量图像获取原始高质量图像。近年来深度学习神经网络应用于低层视觉领域，通过卷积层等一系列操作拟合传统图像复原模型。图像复原无需额外估算相机目标相对运动轨迹(模糊核)，挖掘大量模糊图像关键特征并学习其至清晰图像的映射关系。通过图像复原，消除运动模糊拖影，还原对象锐利边缘，补偿尺寸检测运动模糊误差，有助于高速移动对象的目标检测与识别。

技术实现思路

1、为解决上述存在的问题与缺陷，本发明提供一种基于级联神经网络的混储电池识别去模糊方法，该方法应用于动态成像条件下的机器视觉尺寸检测，无需额外估算模糊核，依托大量数据集，应用神经网络直接学习低质量模糊图像至高质量清晰图像映射关系，消除运动模糊拖影，还原对象锐利边缘，补偿尺寸检测运动模糊误差，有助于高速移动对象的目标检测与识别。

2、该方法包含三个阶段，分别为获取不同尺寸图像、构建不同尺寸的fcn边缘检测网络、基于融合cnn网络的边缘语义信息融合。该方法能够准确的提取图像的多种语义信息，实现对复杂场景中图像的运动模糊的去除。

3、本发明的具体实施步骤如下：

4、步骤一、图像的预处理；

5、图像的预处理，为了更好地提取图像中的纹理信息，首先需要对图像进行预处理，采用均衡化的方法来实现对图像的预处理，通过如下映射函数t(rk)公式（1）实现对图像的均衡化；

6、sk=t(rk)=（1）

7、式中，sk为rk灰度级像素均衡化后的像素值，n为图像的像素总数，nk为灰度级为rk的像素的个数，rk为归一化后的第k个灰度级，pk(rk)为rk灰度级出现的概率；

8、对于原始待处理图像a1，其大小为n×n（n=2h）（h为正整数），分别在原始图像a1的水平与垂直方向上每间隔一个像素点进行下采样，得到(n/2)×(n/2)的图像a2，在图像a2的基础上采用同样的下采样方式，得到(n/4)×(n/4)的图像a3；

9、步骤二、针对不同尺寸的图像分别构建改进的fcn深度学习网络，将预处理后的图像送入改进的fcn网络进行训练；

10、构建改进的fcn深度学习网络，传统的fcn神经网络由6个模块组成，前5个模块由卷积层和池化层组成，最后一个模块由一个池化层和两个全连接层组成；其中改进fcn网络为：将fcn神经网络中的全连接层移除，替换为单层的感知层，且将卷积层后的池化层去除，仅仅在感知层的最后连接池化层。

11、全连接层参数量过大，且本发明中需要进行像素级的分割，全连接层的存在不利于像素级的分割，卷积层后的池化层会导致图像边缘的模糊，因此，本发明中将5个卷积层的池化层去除，仅仅在感知层后连接池化层，将图像恢复原始大小；新增的感知层能够有效的提取图像中的语义信息，下面将对感知层的构建详细阐述；

12、本发明中的感知层，利用特定区域内产生的像素值差分特性，从而实现对信息的感知，使得改进后的fcn网络的训练结果包含更为准确的语义信息；

13、针对不同尺寸的图像a1、a2、a3分别构建改进的fcn1、fcn2、fcn3深度学习网络，其中改进的深度学习网络fcn1中的边缘感知层的输入为fcn1中的前五个卷积层的输出图像b11、b12、b13、b14、b15；以及对fcn网络输入图像进行边缘处理后的图像c1；将卷积层的输出图像作为边缘感知层的输入，能够融合前5个卷积层对图像显著性提取的结果，能够有效的提取图像中的边缘感知信息；采用相似的方式构建fcn2深度学习网络，fcn2中的显著度感知层的输入为fcn2中的前五个卷积层的输出图像b21、b22、b23、b24、b25；以及对fcn网络输入图像进行显著性处理后的图像c2；显著度感知层获取图像中的深层显著度语义信息；fcn3中的目标关联性感知层的输入为fcn3中的前五个卷积层的输出图像b31、b32、b33、b34、b35；以及对fcn网络输入图像进行目标关联性感知处理后的图像c3；

14、其中c1为通过边缘特征提取网络获取；c2为通过显著性特征提取网络提取；c3为通过包含注意力机制的目标关联性特征提取网络提取。

15、该级联神经网络使用如下损失函数实现网络的训练：

16、ltot= ledge+lsig+lass；（2）

17、其中为权重系数，ledge为边缘感知损失，lsig为显著性感知损失，lass为目标关联性感知损失；

18、 （3）

19、 （4）

20、 （5）

21、其中，为显著性感知系数，为目标关联性感知系数，其中yi为训练样本，为网络输出，、为样本显著性，、为图像中目标对象相关性，为目标对象，n为样本组数。

22、使用回归算法对模型进行调优，计算误差函数s对卷积核w及偏置b的偏导数，然后采用公式（6）对卷积核和偏置进行调整：

23、wnew=wold-, bnew=bold-（6）

24、其中、为学习率，c为进行样本训练的误差；在每次训练完成后，求得验证即样本的误差，网络迭代的中止条件为：当验证集的误差开始从由逐渐减小变成逐渐增大时，认为该神经网络已经拟合完成，此时可以停止训练。

25、步骤三、构建融合cnn网络实现对不同尺寸图像不同语义信息的融合；

26、通过步骤二实现对不同尺寸图像的改进fcn深度学习网络的构建，并基于构建的改进fcn深度学习网络对不同尺寸的图像进行训练从而获得不同尺寸下的不同语义信息；此时需要对不同尺寸图像的语义信息进行融合，因此构建语义融合cnn网络，通过cnn网络实现对不同尺寸下的不同语义信息的融合，实现不同尺寸语义信息之间的互补，从而提高图像目标检测与识别的精度。该cnn网络为包含注意力机制的lstm网络；通过构建语义融合cnn网络实现对不同尺寸的图像经过改进fcn深度学习网络获得的不同的语义检测信息的融合；并最终实现对复杂场景中图像运动模糊的去除。由此构建了由三个改进的fcn深度学习网络fcn1、fcn2、fcn3和一个语义融合的cnn网络组成的级联神经网络对复杂场景中模糊去除与复原。

27、本发明提出一种基于级联神经网络的混储电池识别去模糊方法，本发明的有益效果是：

28、（1）对传统的fcn深度学习网络进行改进，删除了卷积层后的池化层，减少池化层对于语义信息的噪声的引入，并在传统的5个卷积层后添加一个感知层，感知层能够有效的提取复杂场景中图像的语义信息，而在感知层后添加一层的池化层来恢复图像的尺寸，改进后的fcn深度学习网络能够更好的提取复杂场景中的语义信息；

29、（2）构建不同尺寸的图像，实现对不同尺寸的图像的语义信息的提取，现实生活中获取的图像往往没有统一的标准，因此也增加了复杂场景中图像语义信息的提取的难度，本发明中针对不同尺寸的图像分别构建不同的fcn深度学习网络，能够适应不同尺寸的输入图像，并实现对不同尺寸图像的语义信息提取；

30、（3）对不同尺寸的图像不同语义信息构建融合cnn神经网络，实现不同尺寸不同语义信息的融合，并针对不同尺寸的图像分别提取不同的语义信息，充分的提取的复杂场景图像的不同种类的语义信息；

31、（4）通过构建级联神经网络实现对复杂场景图像的不同尺寸的不同语义信息的提取，并基于融合cnn神经网络实现对不同尺寸、不同种类语义信息进行融合，经过融合后的语义信息能够有效的实现复杂场景图像的运动模糊去除。