基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法

文档序号:37348073发布日期:2024-03-18 18:25阅读:9来源:国知局
基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法

本发明涉及工业图像异常检测,具体为基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法。


背景技术:

1、工业图像的表面缺陷/异常检测是指识别图像中的异质或意想不到的模式,是正常和异常的分类任务。然而,收集全面的异常图像并用有监督方法来进行表面缺陷检测极具挑战性,因为充足的异常样本难以获取,并且实际应用中的异常模式也是无限的。因此,只使用正常样本进行缺陷检测模型训练的一类学习的设置,即半监督范式,更具有实用价值。

2、最近,很多研究提出一些方法来检测新的输入图像是否与训练数据的分布相匹配。为了描述正常模式的分布,基于重建的模型试图训练一个只会重建正常特征的模型,并期望与图像中异常区域相对应的特征具有更大的重建误差,然而深度学习重建能力和泛化能力之间的矛盾不能很好地保证这一期望;基于特征表示的模型试图使用基于imagenet预训练的编码器对正常特征进行特征嵌入和统计建模,尽管此类模型的异常检测精度一般较高,但劣势也很明显:(1)在源域数据集上预训练的编码器不能保证提取的目标域数据集中的正常和异常的特征具有区分性;(2)为了保证细粒度的异常检测,此类模型的特征表示大多都基于patch级别,因此无法使用位置信息和邻域信息建模patch之间的复杂逻辑关系;(3)基于特征表示的模型的检测速度难以满足工业场景的实时性需求。最重要的是,大多数现有的半监督模型仅对局部结构异常具有良好的检测性能,而对逻辑异常的检测性能较差,部分原因在于逻辑异常的检测要求模型在一个大的感受野内对图像中各个patch之间的长距离依赖充分建模,这对卷积神经网络来说显然是困难的。总之,现有方法面临的挑战主要集中于模型检测精度和速度的平衡以及逻辑异常的检测。


技术实现思路

1、本发明的目的在于提供基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、基于自监督学习和自注意力图卷积的半监督工业图像异常检测方法,包括生成式预训练网络和异常分割网络,其特征在于;

4、所述生成式预训练网络和异常分割网络共同完成半监督工业图像的表面缺陷检测;

5、所述生成式预训练网络用于完成工业图像去噪的自监督任务,以完成特征编码器的预训练;

6、所述异常分割网络用于完成工业图像异常分割的自监督任务,以完成一类分类解码器的训练;

7、半监督工业图像异常检测方法具体包括以下步骤:

8、s1、生成式预训练网络:该网络基于具体的图像表面缺陷检测数据集,并结合掩模自编码器完成对特征编码器的预训练;

9、s2、异常模拟策略:异常模拟策略从结构和逻辑两个角度进行异常模拟,模型将正常样本与广泛的模拟异常样本进行对比,以建立模型对正常模式的紧凑描述;

10、s3、优化目标:全卷积网络将生成式预训练网络作为生成器,然后引入全卷积的马尔可夫判别器构成生成对抗网络,使用对抗损失和l1损失完成生成对抗网络的优化,以生成更高质量的图片,此外,在生成器的瓶颈结构处使用基于l2距离的辅助损失以优化编码器对深层特征的提取,针对异常分割网络,全卷积网络同时使用预测值和真实值之间的l1损失ll1和焦点损失lf来优化模型参数。

11、作为本发明的一种优选方案:所述s1的生成式预训练网络具体包括以下步骤:

12、s1.1、全卷积网络将输入的图像大小固定在256×256;

13、s1.2、基于网络结构将图像均匀划分为s×s的patch,并随机选取p%的patch进行掩模操作;

14、s1.3、将掩模后的图像输入到预训练网络中,通过去掩模操作完成图像重建任务。

15、作为本发明的一种优选方案:所述s1.3中预训练网络需要在小领域内学习正常图像中各元素间的相对位置关系,所述s1.2的网格掩模的基础上还需要叠加随机位置和更大尺度的大掩模。

16、作为本发明的一种优选方案:所述s2的异常模拟策略具体包括以下步骤:

17、s2.1、全卷积网络将二值化后的柏林噪声和目标前景相乘得到掩模图像m,掩模图像在噪声源图像in中提取异常前景图像;

18、s2.2、对异常前景图像进行传统的数据增强操作;

19、s2.3、全卷积网络将异常前景图像叠加到正常图像i上生成模拟异常图像ia,叠加公式为

20、作为本发明的一种优选方案:所述全卷积网络的异常模拟策略分为结构异常模拟和逻辑异常模拟两个支路;

21、所述结构异常模拟中,噪声源图像in来自两个数据源,其中一个是dtd纹理数据集,用于模拟异源结构异常,另一个是将正常图像i随机排列组合后得到的图像,用于模拟同源结构异常;

22、所述逻辑异常模拟中,全卷积网络需控制柏林噪声的参数和二值化阈值使生成的掩模图像m的前景区域集中。

23、作为本发明的一种优选方案:所述逻辑异常模拟中全卷积网络需要利用卷积神经网络提取的深层特征图进行建模,且全卷积网络还需要利用自注意力建模全局范围内所有patch间的稠密关系和利用图卷积建模跨领域的、远程patch间的稀疏关系。

24、作为本发明的一种优选方案:所述稠密关系中,对于编码器输出的深层特征应用自注意力建模全局范围内所有patch间稠密关系的遵从公式为和z=wdh(x),其中wd表示稠密相似度矩阵、f(·)和g(·)分别表示特征转换和维度调整函数。

25、作为本发明的一种优选方案:所述稀疏关系中,对于编码器输出的深层特征需要先将其转化为图结构g(v,e),其中v为节点集合,v={vi}i=1:hw且然后构建图中节点之间的相似度矩阵ws,再借助ws对每一个节点索引与其相似的k各节点建立连接关系,即得到e={eij}i=1:hw,j=1:k。

26、作为本发明的一种优选方案:所述相似度矩阵ws的构建方法具体包括以下步骤:

27、s9.1、对x进行二维的sine-cosine位置编码,得到空间特征图其中cp表示为位置编码的维度;

28、s9.2、通过公式wp=cossim(p,pt)计算p与pt余弦相似度得到位置相似度矩阵wp∈rn×n;

29、s9.3、使用余弦相似度再次计算得到稠密相似度矩阵wd',然后使用wd'减去位置相似度矩阵得到构建图结构的稀疏相似度矩阵ws∈rn×n,整个过程公式为ws=cossim(f(x),g(x)t)-wp;

30、s9.4、完成图g(v,e)的构建,然后对图中的每个节点vi进行相对最大图卷积其中j=1:k,得到节点集合v',在对v'进行维度调整,得到二维特征图

31、s9.5、最后对全局稠密信息的特征z和v”在通道维度上拼接,并通过更新函数u(·)得到sg模块的输出公式为x'=u([z,v”])。

32、作为本发明的一种优选方案:所述s3中的优化生成器和判别器分别通过以下公式完成:其中xm为生成器的输入,x为真实图像,最后生成器预训练网络的优化目标表示为:异常分割网络的优化目标表示为:其中α表示为不同损失函数间的平衡因子。

33、与现有技术相比,本发明的有益效果是:

34、1、本发明基于半监督方法进行训练,训练过程中不需要提供真实场景中的异常样本,克服了异常样本获取和标注的困难;

35、2、本发明基于生成式预训练网络创建了一个用于编码器预训练的掩码修复自监督任务,缓解了迁移学习的域适应问题,提高了编码器对位置信息的敏感性;

36、3、本发明从结构异常和逻辑异常两个方面扩展了异常模拟策略,确保了模拟异常样本的多样性,增强了模型的泛化能力;

37、4、本发明提出了一种基于自注意的图卷积网络来建模节点之间的全局广泛关系和跨邻域关键关系,以帮助模型感知图像中的上下文信息;

38、5、本发明在mvtec loco ad异常检测数据集上的图像级auc-roc分数上以90.3%达到了目前算法的最佳性能,slsg的像素级异常定位结果更接近真实值,充分验证了本发明的良好泛化能力和适应性;

39、6、本发明使用nvidia gtx 1080gpu每秒钟可处理54.1张图像,检测速度更能满足工业场景的实时性要求。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1