工业检测中的雨线去除装置、雨线去除方法与流程

1.本发明涉及工业检测技术领域，具体涉及一种工业检测中的雨线去除装置、一种工业检测中的雨线去除方法。


背景技术：

2.雨是较为常见的动态恶劣天气，雨滴呈随机下落状态，下落时的速度很快，而且在空中随机分布，在图像中雨滴主要以雨线的形状出现，容易造成图像模糊、细节信息丢失，甚至会出现图像中部分区域被随机遮挡的情况，从而会对机器视觉算法的性能产生影响。而目前工业现场大多采用的机器视觉算法多对图像进行处理，如果不对图像进行去雨处理，将严重影响检测的效率、准确率。
3.相关技术中，一般分为有监督去雨和无监督去雨两种方法。有监督的去雨方法是将数据集中雨图和对应的真实图像制作成训练集进行模型训练，然后通过推理测试集来评估训练好的模型。该方法在公开数据集上表现良好， 但是在真实世界的雨天图像数据上表现一般，主要是因为公开数据集泛化性较差的原因。
4.无监督的去雨方法通常使用生成对抗网络以及相应改进方法进行去雨，基于生成对抗网络的去雨方法是将公开数据集中雨图与相应的真实图像分别作为生成对抗网络中的两类进行相互转化。这种去雨方法由于没有真实标签的指导，致使去雨效果较差，但是泛化性较强。其他由此衍生出来的算法在此基础上有所改善，但仍然无法应用于实际场景。


技术实现要素：

5.为解决上述技术问题，本发明的第一个目的在于提出一种工业检测中的雨线去除装置，该装置采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息。
6.本发明的第二个目的在于提出一种工业检测中的雨线去除方法。
7.本发明采用的技术方案如下：本发明第一方面的实施例提出了一种工业检测中的雨线去除装置，包括：第一通道，所述第一通道的输入端用于接收待检测图像，所述第一通道用于将所述待检测图像进行特征提取并生成第一特征图；第二通道，所述第二通道的输入端与所述第一通道的输出端相连，所述第二通道用于对所述第一特征图进行特征提取并生成第二特征图；第三通道，所述第三通道的输入端与所述第二通道的输出端相连，所述第三通道用于对所述第二特征图进行特征提取并生成去雨图像；其中，所述第一通道、所述第二通道和所述第三通道的结构相同，所述第一通道、所述第二通道或所述第三通道包括：通道记忆块和特征筛选模块，所述通道记忆块包括：第一卷积层、通道注意力模块和长短期记忆网络，所述第一卷积层用于提取特征并转化为特征图，所述通道注意力模块用于基于上下文语义提取通道上的语义
信息，所述长短期记忆网络用于对所述语义信息进行筛选；所述特征筛选模块用于对筛选后的语义信息进行进一步筛选与提取。
8.本发明上述提出的工业检测中的雨线去除装置还可以具有如下附加技术特征：根据本发明的一个实施例，所述通道记忆块还包括：激励压缩模块，所述激励压缩模块用于对筛选后的语义信息根据相应的权重进行随机丢弃。
9.根据本发明的一个实施例，所述特征筛选模块包括：依次串联的第一注意力机制、第一通道注意力模块、第二通道注意力模块、第二注意力机制、第三通道注意力模块、第四通道注意力模块和第二卷积层。
10.根据本发明的一个实施例，所述第一通道与所述第二通道的特征筛选模块之间利用gru（gate recurrent unit，门控循环单元）进行参数共享，所述第二通道与所述第三通道的特征筛选模块之间利用gru进行参数共享。
11.根据本发明的一个实施例，所述特征筛选模块中的第一通道注意力模块、第二通道注意力模块、第三通道注意力模块和第四通道注意力模块利用跳跃连接模块进行参数共享。
12.根据本发明的一个实施例，采用拉普拉斯损失和结构相似性损失构造损失函数。
13.根据本发明的一个实施例，根据以下公式获取所述损失函数：； ；；其中，表示所述结构相似性损失，表示所述拉普拉斯损失，表示所述损失函数，表示第一图像，表示第二图像，表示计算第一图像和第二图像的结构相似性值，表示一个极小值，表示对第一图像进行拉普拉斯操作，表示对第二图像进行拉普拉斯操作，表示变量的平方和，表示另一个极小值，和表示损失函数的权重。
14.本发明第二方面的实施例提出了一种工业检测中的雨线去除方法，包括以下步骤：接收待检测图像，将所述待检测图像进行特征提取并生成第一特征图；对所述第一特征图进行特征提取并生成第二特征图；对所述第二特征图进行特征提取并生成去雨图像；其中，进行特征提取具体包括：利用卷积层提取特征并转化为特征图；利用通道注意力模块基于上下文语义提取通道上的语义信息；利用长短期记忆网络对所述语义信息进行筛选；利用特征筛选模块对筛选后的语义信息进行进一步筛选与提取。
15.本发明上述提出的工业检测中的雨线去除方法还可以具有如下附加技术特征：根据本发明的一个实施例，上述的方法还包括：采用激励压缩模块对筛选后的语义信息根据相应的权重进行随机丢弃。
16.根据本发明的一个实施例，所述特征筛选模块包括：依次串联的第一注意力机制、第一通道注意力模块、第二通道注意力模块、第二注意力机制、第三通道注意力模块、第四通道注意力模块和第二卷积层。
17.根据本发明的一个实施例，特征筛选模块之间利用gru进行参数共享。
18.根据本发明的一个实施例，所述特征筛选模块中的第一通道注意力模块、第二通道注意力模块、第三通道注意力模块和第四通道注意力模块利用跳跃连接模块进行参数共享。
19.根据本发明的一个实施例，采用拉普拉斯损失和结构相似性损失构造损失函数。
20.根据本发明的一个实施例，根据以下公式获取所述损失函数：； ；；其中，表示所述结构相似性损失，表示所述拉普拉斯损失，表示所述损失函数，表示第一图像，表示第二图像，表示计算第一图像和第二图像的结构相似性值，表示一个极小值，表示对第一图像进行拉普拉斯操作，表示对第二图像进行拉普拉斯操作，表示变量的平方和，表示一个极小值，和表示损失函数的权重。
21.本发明的有益效果：本发明采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息；在网络的生成过程中使用了拉普拉斯损失和结构相似性损失的组合，拉普拉斯损失可以将生成图像的边缘更趋向于真实标签图像，结构相似性损失可以使得生成图像在人眼的角度与真实标签更相似，两者结合达到了较好的效果。
附图说明
22.图1是根据本发明一个实施例的工业检测中的雨线去除装置的结构示意图；图2是根据本发明另一个实施例的工业检测中的雨线去除装置的结构示意图；图3是根据本发明一个实施例的工业检测中的雨线去除方法的流程图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.图1是根据本发明一个实施例的工业检测中的雨线去除装置的结构示意图，如图1所示，该装置包括：第一通道1、第二通道2、第三通道3，第一通道1的输入端input1用于接收待检测图像，第一通道1用于将待检测图像进行特征提取并生成第一特征图f1；第二通道2
的输入端input2与第一通道的输出端output1相连，第二通道2用于对第一特征图f1进行特征提取并生成第二特征图f2；第三通道3的输入端input3与第二通道的输出端output2相连，第三通道3用于对第二特征图f2进行特征提取并生成去雨图像f3。
25.其中，第一通道1、第二通道2和第三通道3的结构相同，第一通道1、第二通道2或第三通道3包括：通道记忆块cmb（channel memory block）和特征筛选模块12，通道记忆块cmb包括：第一卷积层conv1、通道注意力模块cab（channel attention block）和长短期记忆网络lstm（long short
‑
term memory），第一卷积层conv1用于提取特征并转化为特征图，通道注意力模块cab用于基于上下文语义提取通道上的语义信息，长短期记忆网络lstm用于对语义信息进行筛选；特征筛选模块12用于对筛选后的语义信息进行进一步筛选与提取。
26.具体地，如图1所示，采用多阶段渐进式去雨，输入的待检测图像首先通过第一通道1的cmb进行高效的特征提取，然后将产生的特征图传递给后续的第一通道1的特征筛选模块12，直到第一通道1输出初始去雨结果，即第一特征图f1。再将第一特征图f1输入到第二通道2中，第二通道2和第三通道3的处理同上，最后输出最终输出结果，即去雨图像。即网络循环进行三次，每次都是基于上一次去雨的结果进一步进行去雨工作，解决了当前单阶段去雨效果较差的问题。本发明输入的待检测图像为真实雨天数据集。
27.由于数据集中的雨线纹理分布较为不均匀，数据量较大，需要从中高效的提取雨线特征，所以本发明提出一种通道记忆块cmb。cmb主要由第一卷积层conv1、通道注意力模块cab和长短期记忆网络lstm构成。
28.首先使用第一卷积层conv1，它可以提取输入待检测图像的雨线特征，并转化为特征图供后续网络使用。第一卷积层conv1提取的特征传递给通道注意力模块cab后，由于图像数量较大，所以雨线等信息量较大，而这些信息大部分分布在图像的各个通道上，通道注意力模块cab具有基于上下文语义选择通道上相关语义信息的能力，此时使用通道注意力模块cab，能够高效的提取通道上的语义信息。
29.在提取了大量的语义信息之后，由于雨线数据量较大，需要对输入雨图中遮挡前景和背景的雨线和相关特征信息进行筛选，本发明采用长短期记忆网络lstm对语义信息进行遗忘性选择，lstm的遗忘门可以选择重要的信息，同时忘记不重要的信息。长短期记忆网络lstm的表达如下公式（1）
‑
（5）：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀꢀꢀ
（2）
ꢀꢀꢀ
（3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中表示由第一卷积层提取的特征，用来编码cell阶段特征，并传递给后续的lstm，表示上一阶段lstm用来编码cell阶段特征，表示lstm的输出，表示上一阶段lstm的输出， 和 分别表示卷积操作和对应元素相乘的操作，表示sigmoid激活函数，表示上一层到输入门的权重，表示隐藏层到输入层的权重，表示输入
层的偏置，表示输出层到输入层的权重，表示隐藏层的偏置，表示上一层到遗忘门的权重，表示隐藏层到遗忘门的权重，表示输出层到遗忘门的权重，表示遗忘门的输出结果，表示输入门的结果，表示tanh激活函数，表示上一层到输出层的权重，表示隐藏层到输出层的权重，表示输出层的偏置，表示t阶段的特征图，表示上一层的特征权重，表示隐藏层的特征权重，表示输出层的特征权重，表示输出层的偏置。
30.总的来说，通道记忆块cmb可以在最开始把最需要的特征提取出来供后续模块进行进一步的特征筛选与提取，直到能够准确提取出需要去除的雨线信息，特征提取效果好。由此，该装置采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息。
31.进一步地，根据本发明的一个实施例，如图2所示，通道记忆块cmb还可以包括：激励压缩模块se，激励压缩模块se用于对筛选后的语义信息根据相应的权重进行随机丢弃。
32.具体地，由长短期记忆网络lstm筛选过后的数据量依旧较大，激励压缩模块se可以针对长短期记忆网络lstm选择的重要特征按照相应的权重进行随机丢弃，进一步提升了特征提取的表达性。
33.根据本发明的一个实施例，如图2所示，特征筛选模块12包括：依次串联的第一注意力机制ca1、第一通道注意力模块cab1、第二通道注意力模块cab2、第二注意力机制ca2、第三通道注意力模块cab3、第四通道注意力模块cab4和第二卷积层conv2。
34.其中，第一通道1与第二通道2的特征筛选模块12之间利用gru进行参数共享，第二通道2与第三通道3的特征筛选模块12之间利用gru进行参数共享。特征筛选模块12中的第一通道注意力模块cab1、第二通道注意力模块cab2、第三通道注意力模块cab3和第四通道注意力模块cab4利用跳跃连接模块sc进行参数共享。
35.具体地，特征筛选模块12包括四个通道注意力模块、两个注意力机制和一个卷积层，各模块间的连接方式如图2所示，每次循环中调用了通道记忆块cmb和跳跃连接模块sc。其中cmb可以高效的提取图像样本对数据的特征，针对网络提取的特征传递较远时，特征会减弱，跳跃连接模块sc高效的解决了此问题。如图2所示，虚线为各阶段之间的参数共享，参数共享过程中加入了gru，使得通道间共享的特征得到增强，cab1
‑
cab4之间的实线为跳跃连接模块sc，使得通道注意力模块之间共享的特征得到增强。
36.在本发明的实施例中，在网络的生成过程中，采用拉普拉斯损失和结构相似性损失构造损失函数。
37.进一步地，根据以下公式获取损失函数：； ；
；其中，表示结构相似性损失，表示拉普拉斯损失，表示损失函数，表示第一图像，表示第二图像，表示计算第一图像和第二图像的结构相似性值，表示一个极小值，表示对第一图像进行拉普拉斯操作，表示对第二图像进行拉普拉斯操作，表示变量的平方和，表示另一个极小值，和表示损失函数的权重。
38.具体地，在网络的生成过程中使用了拉普拉斯损失和结构相似性损失的组合，拉普拉斯损失可以将生成图像的边缘更趋向于真实标签图像，结构相似性损失可以使得生成图像在人眼的角度与真实标签更相似，两者结合达到了较好的效果。
39.本发明上述提出的去除装置具有可迁移、可学习的特性，通过对公开数据集的样本数据进行装置中的模型训练与测试，不同数据集得到不同的模型，最后推理出相应测试集的推理结果。利用psnr（peak signal to noise ratio，峰值信噪比）和ssim（structural similarity，结构相似性）进行模型推理结果的综合评定，采用本发明的雨线去除装置，在对图像进行雨线去除时，可得到清晰的无雨图像。
40.综上所述，根据本发明实施例的工业检测中的雨线去除装置，采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息；在网络的生成过程中使用了拉普拉斯损失和结构相似性损失的组合，拉普拉斯损失可以将生成图像的边缘更趋向于真实标签图像，结构相似性损失可以使得生成图像在人眼的角度与真实标签更相似，两者结合达到了较好的效果。
41.与上述的工业检测中的雨线去除装置相对应，本发明还提出一种工业检测中的雨线去除方法。由于本发明实施例的雨线去除方法与上述实施例提供的雨线去除装置相对应，因此在前述的雨线去除装置的实施方式也适用于本实施例提供的雨线去除方法，在本实施例中不再进行详细描述。
42.图3是根据本发明一个实施例的工业检测中的雨线去除方法的流程图，如图3所示，该雨线去除方法包括以下步骤：s1，接收待检测图像，将待检测图像进行特征提取并生成第一特征图。
43.s2，对第一特征图进行特征提取并生成第二特征图。
44.s3，对第二特征图进行特征提取并生成去雨图像。
45.其中，进行特征提取具体包括：利用卷积层提取特征并转化为特征图；利用通道注意力模块基于上下文语义提取通道上的语义信息；利用长短期记忆网络对语义信息进行筛选；利用特征筛选模块对筛选后的语义信息进行进一步筛选与提取。
46.根据本发明的一个实施例，特征筛选模块包括：依次串联的第一注意力机制、第一通道注意力模块、第二通道注意力模块、第二注意力机制、第三通道注意力模块、第四通道注意力模块和第二卷积层。
47.根据本发明的一个实施例，特征筛选模块之间利用gru进行参数共享。
48.根据本发明的一个实施例，特征筛选模块中的第一通道注意力模块、第二通道注意力模块、第三通道注意力模块和第四通道注意力模块利用跳跃连接模块进行参数共享。
49.根据本发明的一个实施例，采用拉普拉斯损失和结构相似性损失构造损失函数。
50.根据本发明的一个实施例，根据以下公式获取损失函数：； ；；其中，表示结构相似性损失，表示拉普拉斯损失，表示损失函数，表示第一图像，表示第二图像，表示计算第一图像和第二图像的结构相似性值，表示一个极小值，表示对第一图像进行拉普拉斯操作，表示对第二图像进行拉普拉斯操作，表示变量的平方和，表示一个极小值，和表示损失函数的权重。
51.综上所述，根据本发明实施例的工业检测中的雨线去除方法，采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息；在网络的生成过程中使用了拉普拉斯损失和结构相似性损失的组合，拉普拉斯损失可以将生成图像的边缘更趋向于真实标签图像，结构相似性损失可以使得生成图像在人眼的角度与真实标签更相似，两者结合达到了较好的效果。
52.在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
53.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
54.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
55.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
56.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
57.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
58.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
59.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
60.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。