一种基于对抗互补UNet的工业图像特征提取方法与流程

本发明属于图像特征提取领域，尤其涉及一种基于对抗互补unet的工业图像特征提取方法。

背景技术：

1、机器视觉逐渐渗入社会生活的方方面面，在人脸识别、图片识别、视频监控、3c应用等各领域几乎都能看到机器视觉的身影，对于工业领域而言，机器视觉的应用更是大大降低了高危作业的危险系数，保障了工业生产的安全性和高效性。

2、机器视觉在工业产品缺陷检测中非常重要，因为它可以实现高效、准确和一致的自动检测和分类；机器视觉系统可以自动检测缺陷，免去了人工检测的繁琐和耗时的过程，这样可以提高生产效率，减少人力成本；机器视觉系统能够实现非常高的准确性，因为它可以进行比人类更细致和准确的检测，这样可以减少因检测误差而引起的产品返工及重复生产成本；同时，机器视觉系统可以在异常情况下保证同样的检测结果，无论是白班还是夜班，或是不同的操作员；最后，机器视觉系统可以学习和不断优化算法和模型，使缺陷检测和分类更加精准和智能化，进一步提高产品检测的质量和效率。

3、最近几年，随着深度学习的流行，计算机视觉领域涌现出了许多优秀的语义分割算法用于图像特征的提取。目前主流的图像特征提取模型几乎都是基于unet进行变体的：例如，将残差模块加入到原始的unet网络中，得到了深度resunet；将注意力门(attentiongate)加入到unet的解码器中，提出了attention unet模型，该模型在没有引入大量模型参数的情况下，通过抑制不相关背景区域的特征响应来突出被分割目标；将空洞卷积加入到unet中，提出了dinknet34模型，该模型在保持分辨率的同时扩大感受野，获得了deepglobe2018挑战赛的冠军等等。

4、但是，目前的基于unet变体的工业图像特征提取方法主要从凸出图像中显著区域角度提高分割结果，忽视了图像中其他区域的特征，进而导致图像特征提取不够充分，最终得到的分割精度不够高，分割结果存在缺陷错位情况。

技术实现思路

1、本发明目的是为了克服现有技术的不足而提供一种基于对抗互补unet的工业图像特征提取方法，具有分割精度高，分割结果精细，工业图像提取特征精准度高的优点。

2、为达到上述目的，本发明采用的技术方案是：一种基于对抗互补unet的工业图像特征提取方法，包括如下步骤：

3、s1对图像预处理后获取数据集；

4、s2将数据集放入原始unet中进行训练得到第一阶段的分割结果；

5、s3设置固定阈值，将第一阶段的分割结果中大于阈值的像素擦除；

6、s4将像素擦除之后的第一阶段的分割结果输入到新的原始unet中进行训练得到第二阶段的分割结果；

7、s5将第一阶段的分割结果以及第二阶段的分割结果融合后得到融合后的结果。

8、进一步的，所述原始unet包括但不限于unet、resunet、attention unet以及unet-acol

9、进一步的，基于融合后的结果，对原始unet进行训练后得到优化后的unet模型；

10、将数据集输入经过上述优化后的unet模型中进行训练，训练结束后保存网络权值；

11、加载网络权值，使用数据集进行测试，计算平均交并比miou，从而得出最适配的优化后的unet模型。

12、进一步的，

13、其中，pii为预测正确元素的数量，pij表示真实值为i，被预测为j的数量，pji表示真实值为j，预测为i的数量，k表示要分类的类别数。

14、进一步的，图像预处理的方法如下：

15、首先取一个512×512的边界框模板，将这个模板在1500×1500的图像上进行滑动，先将四个角上和最中间的图像裁剪下来，然后依次取四个角上的四个边界框中每相邻两个模板中间的图像；

16、去除部分标注错误的图像，最终得到8960幅大小为512×512的图像，按照原始数据集训练集、验证集和测试集的划分，分别得到8361幅训练图像、126幅验证图像和433幅测试图像。

17、进一步的，第一阶段的分割结果为punet，假设xh×w×c表示工业相机采集的图像，funet表示原始unet的输出特征图，punet表示原始unet的输出特征图funet经过sigmoid函数得到的特征图，σ(·)表示sigmoid函数，则有

18、funet＝unet1(xh×w×c)

19、punet＝σ(funet)。

20、进一步的，设置固定阈值为δ，将特征图funet中大于阈值δ得像素擦除，得到擦除后的特征图f'unet，f'unet＝e(funet,δ)，其中，e(·)表示固定阈值擦除函数；

21、擦除函数e(·)的实现方式如下：

22、

23、其中，funet(i,j)表示原始unet的输出特征图中第i行第j列的值。

24、进一步的，第二阶段的分割结果为f”unet；p'unet定义为新的unet的输出特征图f”unet经过sigmoid函数得到的特征图，σ(·)表示sigmoid函数；则

25、f”unet＝unet2(fu'net)

26、p'unet＝σ(f”unet)。

27、进一步的，第一阶段的分割结果以及第二阶段的分割结果融合后得到结果pfinal；

28、pfinal＝fusion(punet,p'unet)其中，fusion(·)表示融合函数；

29、融合函数的实现方式如下:

30、

31、其中，punet、p'unet表示待融合的两幅分割图，punet(i,j)、p'unet(i,j)表示待融合的两张特征图在(i,j)位置的像素值。

32、由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

33、本发明的基于对抗互补unet的工业图像特征提取方法，第一，使用对抗互补unet这种两阶段的网络可以在一定程度上缓解单阶段网络分割精度不高的问题；第二，通过将对抗互补unet中两阶段分割结果进行融合，可以使最终的结果分割精度进一步提高；第三，使用固定阈值擦除方法可以使得网络第二阶段学习那些第一阶段原始unet难以分割出来部分，使第二个原始unet进行“有针对性学习”，从而提升了分割精度。

技术特征：

1.一种基于对抗互补unet的工业图像特征提取方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于对抗互补unet的工业图像特征提取方法，其特征在于：

3.如权利要求2所述的基于对抗互补unet的工业图像特征提取方法，其特征在于：

4.如权利要求1所述的基于对抗互补unet的工业图像特征提取方法，其特征在于，图像预处理的方法如下：

5.如权利要求1所述的基于对抗互补unet的工业图像特征提取方法，其特征在于：第一阶段的分割结果为punet，假设xh×w×c表示工业相机采集的图像，funet表示原始unet的输出特征图，punet表示原始unet的输出特征图funet经过sigmoid函数得到的特征图，σ(·)表示sigmoid函数，则有

6.如权利要求5所述的基于对抗互补unet的工业图像特征提取方法，其特征在于：设置固定阈值为δ，将特征图funet中大于阈值δ得像素擦除，得到擦除后的特征图f'unet，f'unet＝e(funet,δ)，其中，e(·)表示固定阈值擦除函数；

7.如权利要求6所述的基于对抗互补unet的工业图像特征提取方法，其特征在于:第二阶段的分割结果为f″unet；p'unet定义为新的unet的输出特征图f″unet经过sigmoid函数得到的特征图，σ(·)表示sigmoid函数；则

8.如权利要求7所述的基于对抗互补unet的工业图像特征提取方法，其特征在于：第一阶段的分割结果以及第二阶段的分割结果融合后得到结果pfinal；

技术总结
本发明公开了一种基于对抗互补UNet的工业图像特征提取方法，包括如下步骤：S1对图像预处理后获取数据集；S2将数据集放入原始UNet中进行训练得到第一阶段的分割结果；S3设置固定阈值，将第一阶段的分割结果中大于阈值的像素擦除；S4将像素擦除之后的第一阶段的分割结果输入到新的原始UNet中进行训练得到第二阶段的分割结果；S5将第一阶段的分割结果以及第二阶段的分割结果融合后得到融合后的结果；本发明使用对抗互补UNet这种两阶段的网络可以缓解单阶段网络分割精度不高的问题；其次，通过将两阶段分割结果进行融合，提高最终的结果分割精度；另外，使用固定阈值擦除方法可以使得网络第二阶段学习那些第一阶段原始UNet难以分割出来部分，提升分割精度。

技术研发人员：周春荣,丁际友
受保护的技术使用者：苏州梅曼智能科技有限公司
技术研发日：
技术公布日：2024/1/16