一种双阶段图像的异常检测与重构方法及系统

本发明属于图像重构领域，具体涉及双阶段图像的异常检测与重构方法及系。

背景技术：

1、在工业生产中，异常检测是必不可少的环节。准确高效的异常检测能及时识别异常情况，从而减少生产中的异常状态。这有助于维持生产线的平稳运行，提高总体生产效率。相比于传统的人工异常检测，利用计算机视觉和机器学习的异常检测方法可实时监测大量的产品数据，降低人工检测的主观错误，减少人工和损失成本。而随着深度学习技术的兴起，越来越多的研究者开始利用深度学习技术检测工业产品异常。

2、不同于其他检测任务，使用深度学习技术检测异常，面临着异常样本少的挑战。因此，异常检测算法以无监督学习为主，即只利用正常样本数据训练深度学习模型。无监督异常检测算法可细分为基于图像重构、基于深度特征嵌入以及基于自监督学习等方法。其中基于图像重构的算法具有良好的解释性，并且模型相对简单易懂，目前得到了广泛的研究。该方法的主要思想是利用含有伪异常的正常样本训练图像重构模型。测试时，图像重构模型将异常图像重构为成正常图像，通过对比重构图像和异常图像的差异，获取异常图像的异常区域和得分。

3、虽然基于图像重构的方法有良好的解释性，但现阶段的图像重构方法还存在一些缺陷：(1)重构方法对于大面积的异常区域重构效果差，这影响最终的异常检测精度。(2)重构模型不能对于正常图像的细节进行重构，使得重构图像与正常图像存在差异，容易将正常图像误判为异常图像。

技术实现思路

1、本发明提供了一种双阶段图像的异常检测与重构方法及系统，不仅可以重构正常图片细节，还可以有效重构大面积的异常，进而增加整体的异常检测精度。

2、为达到上述目的，本发明所采用的技术方案是：

3、本发明第一方面提供了一种双阶段图像的异常检测与重构方法，包括：

4、获取待检测的图像数据后进行标准化处理获得输入图像，将输入图像输入至预设的图像分割模型获得异常掩码图；将所述异常掩码图中的伪异常区域所对应在输入图像的区域记为可疑异常区域；

5、计算输入图像的感知哈希值，基于输入图像的感知哈希值由图像数据库中寻找获得相似图像；将输入图像的可疑异常区域替换为相似图像对应的区域获得叠加图像；

6、对叠加图像进行灰度化处理后输入预设的图像重构模型获得重构图像；逐像素比较重构图像与输入图像之间的差异获得异常得分，根据异常得分对输入图像的异常区域进行定位和判断。

7、进一步的，所述图像分割模型的构建过程包括：

8、由训练数据集中获取正常图像，对正常图像进行标准化处理获得正常图像；

9、在纯黑色图片上生成总面积大于像素的白色柏林噪声作为异常掩码图；将所述异常掩码图中的伪异常区域所对应在正常图像的区域记为可疑异常区域；

10、获取与正常图像相同产品类型的若干异常图像，对每个异常图像进行标准化处理后分割为2×2块异常子图，然后随机拼接异常子图获得异常图像；

11、对异常图像进行图像增强处理获取异常图像；将正常图像的可疑异常区域替换为异常图像的对应区域获得异常图像；

12、利用异常图像训练图像分割模型获得异常掩码图，基于异常掩码图和异常掩码图计算分割训练损失值，利用adam优化器根据分割训练损失值对图像分割模型的参数进行优化，重复迭代图像分割模型的训练过程直至分割训练损失值收敛，输出训练后的图像分割模型。

13、进一步的，对异常图像进行图像增强处理的过程包括：

14、随机调整异常图像对比度；

15、以50%的概率将异常图像中像素点的像素值置零；

16、以50%的概率反转异常图像中像素点的像素值为32到128；

17、在旋转角度-45度到50度随机旋转异常图像。

18、进一步的，基于异常掩码图和异常掩码图计算分割训练损失值的过程包括：

19、；

20、；

21、；

22、公式中，和分别表示异常掩码图和异常掩码图中在坐标上像素点的像素值，w和h分别代表异常掩码图和异常掩码图的宽和高；和分别代表异常掩码图和异常掩码图的像素均值；和分别代表异常掩码图和异常掩码图的像素方差；是异常掩码图和异常掩码图的协方差；和表示为设定常数，表示为基于异常掩码图和异常掩码图计算的分割训练损失值，表示为基于异常掩码图和异常掩码图计算的均方误差损失；表示为基于异常掩码图和异常掩码图计算的结构相似性误差损失。

23、进一步的，所述图像分割模型包括分割编码器和分割解码器；所述分割编码器内依次设置有卷积块、池化层、卷积块、池化层和卷积块；所述分割解码器内依次设置有上采样块、卷积块、上采样块、卷积块和输出层；

24、所述卷积块、卷积块、卷积块、卷积块和卷积块包括依次设置的卷积层、批量归一化层、第一relu激活函数、卷积层、批量归一化层和第二relu激活函数；

25、所述上采样块和上采样块包括依次设置的上采样层、卷积层、批量归一化层和第三relu激活函数；

26、所述输出层包括卷积层；所述卷积层、卷积层、卷积层和卷积层的卷积核大小为且步长为1。

27、进一步的，所述图像重构模型的构建过程包括：

28、由训练数据集中获取正常图像，对正常图像进行标准化处理后转化为异常图像；

29、随机在异常图像中选中调节区域，对调节区域内的像素做亮度增强或颜色抖动调整的操作，并粘贴到异常图像的任意区域生成异常图像；

30、将异常图像输入至训练后的图像分割模型获得异常掩码图；对异常掩码图进行二值化处理获得异常掩码图；对异常掩码图中白色连通区域面积值在阈值以下的区域，变为黑色得到异常掩码图；

31、将所述异常掩码图中的伪异常区域所对应在异常图像的区域记为可疑异常区域；

32、将异常图像中的可疑异常区域替换为标准化处理后的正常图像中对应区域获得异常图像；对异常图像进行灰度化处理后获得异常图像；

33、利用异常图像训练图像重构模型获得重构图像，基于正常图像和重构图像计算重构训练损失值，利用adam优化器根据重构训练损失值对图像重构模型的参数进行优化，重复迭代图像重构模型的训练过程直至重构训练损失值收敛，输出训练后的图像重构模型。

34、进一步的，所述图像重构模型包括重构编码器和重构解码器；所述重构编码器内依次设置有卷积块、池化层、卷积块、池化层、卷积块、池化层、卷积块、池化层和卷积块；所述重构解码器内依次设置有上采样块、卷积块、上采样块、卷积块、上采样块、卷积块、上采样块、卷积块和输出层；

35、所述卷积块、卷积块、卷积块、卷积块、卷积块、卷积块、卷积块、卷积块和卷积块包括依次设置的卷积层、批量归一化层、第四relu激活函数、卷积层、批量归一化层和第五relu激活函数；

36、所述上采样块、上采样块、上采样块和上采样块包括上采样层、卷积层、批量归一化层和第六relu激活函数；

37、所述输出层包括卷积层；所述卷积层、卷积层、卷积层和卷积层的卷积核大小为且步长为1。

38、进一步的，基于正常图像和重构图像计算重构训练损失值的过程包括：

39、；

40、；

41、；

42、公式中，和分别表示重构图像和正常图像中在坐标上像素点的像素值，w和h分别代表为图像重构图像和正常图像的宽和高；和分别是图像重构图像和正常图像的像素均值；和分别是图像重构图像和正常图像的像素方差；是图像重构图像和正常图像的像素协方差；和表示为设定常数；表示为基于正常图像和重构图像计算的重构训练损失值，表示为基于正常图像和重构图像计算的均方误差损失；表示为基于正常图像和重构图像计算的结构相似性误差损失。

43、进一步的，逐像素比较重构图像与输入图像之间的差异获得异常得分的过程包括：

44、基于彩色输入图像和彩色重构图像计算获得颜色差异图，表达公式为：

45、；

46、；

47、公式中，表示为颜色差异图，所述颜色差异图为的矩阵，表示为彩色输入图像中在上像素点的像素值；表示为彩色输入图像中在上像素点的像素值；k表示为色彩维度；

48、利用红色通道下的颜色差异图和蓝色通道下的颜色差异图获得总差异图，表达公式为：

49、；

50、公式中，表示为红色通道下的颜色差异图，表示为蓝色通道下的颜色差异图；表示为总差异图；

51、对总差异图进行均值滤波和归一化获得总差异图中各像素点异常得分。

52、本发明第二方面提供了一种双阶段图像的异常检测与重构系统，包括：

53、获取模块，用于获取待检测的图像数据后进行标准化处理获得输入图像，

54、图像分割模块，将输入图像输入至预设的图像分割模型获得异常掩码图；将所述异常掩码图中的伪异常区域所对应在输入图像的区域记为可疑异常区域；

55、图像重构模块，用于计算输入图像的感知哈希值，基于输入图像的感知哈希值由相关图像数据库中寻找获得相似图像；将输入图像的可疑异常区域替换为相似图像对应的区域获得叠加图像；

56、异常判断模块，用于对叠加图像进行灰度化处理后输入预设的图像重构模型获得重构图像；逐像素比较重构图像与输入图像之间的差异获得异常得分，根据异常得分对输入图像的异常区域进行定位和判断。

57、与现有技术相比，本发明的有益效果：

58、本发明中第一阶段使用分割模型检测出可疑异常区域。第二阶段将大面积可疑异常区域使用相似图片的对应区域进行替换，替换后的图像送入到重构模型，输出叠加图像，将叠加图像与输入图像对比得到异常得分，以达到异常检测的目的；本发明不仅可以重构正常图片细节，还可以有效重构大面积的异常，进而增加整体的异常检测精度。