一种跨类别的工业缺陷检测方法、装置及介质与流程

本发明涉缺陷检测，具体为一种跨类别的工业缺陷检测方法、装置及介质。

背景技术：

1、当前在工业产品缺陷检测领域中主要有两大方向，一是基于目标检测，二是基于异常检测，基于目标检测的缺陷检测方法已经存在较多的研究，但是从异常检测的角度来解决缺陷检测还存在很多的挑战，缺陷检测中存在着很多的难点和挑战：不确定性，缺陷和很多的不确定性相关联，例如不确定的视觉特征，有一些缺陷在没有实际出现之前都是不确定的；稀缺性，缺陷样本通常是相当稀缺的，想要收集一个带有大量标注的缺陷数据集是相当困难也是几乎不太可能的；异构性，缺陷是不规则的，因此一类缺陷可能和另一类缺陷表现出完全不同的视觉特征，甚至同一类缺陷也会存在特征上的变化。上述的缺陷特性使得基于目标检测的方法有时不能很好发挥作用，但基于异常检测的方法可以一定程度上解决上述的难点和挑战。

2、当前，异常检测主要是基于正常特征建模，该类方法通常只需要正常样本用于网络的训练，该类方法更关注于正常样本特征，在检测过程中通过特征对比将特征远离正常特征的样本视作异常样本。这类方法最大的优点在于不需要有标注的异常样本作为训练样本，这可以极大程度上减少数据收集中的人力和钱力开销，在异常并不是完全已知并且数据收集代价较高时更具有吸引力，但是这类方法的问题在于，可能将特征不同于正常特征的样本都归类于异常。

3、但是，考虑到类别无关性和通用性的问题，现有的异常检测方法通常需要对于每一个工业产品类训练一个特定的模型，这种一对一的范式将需要更多的计算和内存开销，并且在实际应用中需要更多的资源来存储不同的模型权重。此外，新的产品类别通常出现在现实世界的场景中，但这些训练好的模型不能直接应用到新的类别中，这可能会导致应用系统在新场景下出现故障，但是，通过重新训练或微调来维护系统是不划算的，因此，现有的异常检测方法对于现实世界的场景仍然不能令人满意。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的现状，而提供一种跨类别的工业缺陷检测方法、装置及介质，通过预训练的归一化流模型得到图像中的疑似缺陷区域并进行图像块屏蔽，利用剩余未被屏蔽的图像块重构出被屏蔽的图像块，再通过异常得分图确定待检测样本的缺陷区域，使工业缺陷检测方法具有跨类别特点。

2、本发明解决上述技术问题所采用的技术方案为：

3、本发明的第一方面提供一种跨类别的工业缺陷检测方法，包括：

4、s1：将获取的待检测样本图像通过预训练的归一化流模型得到图像中的疑似缺陷区域，并将所述疑似缺陷区域对应的图像块屏蔽；

5、s2：基于经训练的屏蔽自编码器，利用剩余未被屏蔽的图像块重构出被屏蔽的图像块；

6、s3：由重构图像块的视觉词元和屏蔽图像块的原始视觉词元之间的不确定度作为重构误差的计算方式，生成对应的异常得分图，并基于异常得分图确定待检测样本的缺陷区域。

7、进一步地，通过预训练的归一化流模型得到图像中的疑似缺陷区域的步骤包括：

8、s11：对于输入的待检测样本图像，以局部图像块的形式表示该样本并由卷积神经网络提取出每个图像块的特征；

9、s12：将每个图像块中的特征与正常原型特征集中其对应的原型特征相减得到残差特征；

10、s13：将残差特征输入预训练的归一化流模型中生成图像块的似然得分；

11、s14：对待检测样本图像中所有图像块按照似然得分进行排序，并由预先设置的得分阈值确定对应得分的图像块作为屏蔽区域。

12、进一步地，由正常图像样本集经卷积神经网络提取出每个图像块的特征后，利用核心集采样机制提取关键特征作为所述正常原型特征集，所述核心集采样机制从已有的核心集中选择和正常特征集中距离最近的特征作为参考特征，然后基于所述参考特征从非核心集中选择和所述参考特征距离最远的特征作为新的核心特征，直到选择足够数量的正常特征作为正常原型特征集。

13、进一步地，对归一化流模型进行训练的步骤包括：

14、t1：对训练集中的正常图像样本以局部图像块的形式表示，并由卷积神经网络从中提取出每个图像块的特征，得到正常特征集；

15、t2：利用核心集采样机制，从正常特征集中提取关键特征作为正常原型特征；

16、t3：将训练集中各图像块的特征与其对应的原型特征相减得到的残差特征，输入至归一化流模型并转化到隐特征空间中，通过限定隐特征空间符合高斯分布，使模型对正常残差特征生成高似然得分。

17、进一步地，所述屏蔽自编码器包括编码器和解码器，编码器用于提取输入图像序列中未被屏蔽的图像块的特征，解码器结合未被屏蔽图像块的特征和被屏蔽图像块的特殊编码词元，对屏蔽图像块进行视觉词元重构。

18、进一步地，对所述屏蔽自编码器进行训练的步骤包括：

19、a1：对输入的正常图像训练样本以局部图像块的形式表示，并将部分图像块屏蔽，被屏蔽的图像块经预训练的词元编码器转化为视觉词元表征，得到原始视觉词元表征；

20、a2：将未屏蔽的图像块输入至编码器中，提取图像块中的特征；

21、a3：根据未屏蔽图像块中的特征对屏蔽区域图像的视觉词元表征进行重构，以获得重构图像块的视觉词元表征；

22、a4：根据重构图像块的视觉词元表征和原始视觉词元表征对所述屏蔽自编码器进行训练，使得所述屏蔽自编码器利用未屏蔽的图像块来重构屏蔽的图像块。

23、进一步地，所述视觉词元表征通过图像块的像素值进行转化得到。

24、进一步地，在对所述屏蔽自编码器进行训练时，对图像块进行屏蔽采用随机屏蔽策略、基于连续区域的屏蔽策略、区域限制的屏蔽策略、基于频率的屏蔽策略或动态的屏蔽策略中的一种屏蔽策略或两种及以上屏蔽策略的组合。

25、本发明第二方面，提供一种跨类别的工业缺陷检测装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行基于跨类别的工业缺陷检测方法。

26、本发明的第三方面，提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行基于跨类别的工业缺陷检测方法。

27、与现有技术相比，本发明至少含有以下有益效果：

28、(1)本发明所述的一种跨类别的工业缺陷检测方法，可只利用正常样本进行建模，对样本缺陷进行检测及定位，避免了对大规模有标注的缺陷样本数据集的需求；

29、(2)通过预训练的归一化流模型得到图像中的疑似缺陷区域，并将所述疑似缺陷区域对应的图像块屏蔽，并利用未屏蔽图像块重构出屏蔽图像块，对于新出现的工业产品类别，此方法下的模型不需要重新训练即可以用于该类别的缺陷检测，更适合于产品类别多样化的工业缺陷检测等场景中的应用。

技术特征：

1.一种跨类别的工业缺陷检测方法，其特征在于，包括：

2.根据权利要求1的一种跨类别的工业缺陷检测方法，其特征在于，通过预训练的归一化流模型得到图像中的疑似缺陷区域的步骤包括：

3.根据权利要求2的一种跨类别的工业缺陷检测方法，其特征在于，由正常图像样本集经卷积神经网络提取出每个图像块的特征后，利用核心集采样机制提取关键特征作为所述正常原型特征集，所述核心集采样机制从已有的核心集中选择和正常特征集中距离最近的特征作为参考特征，然后基于所述参考特征从非核心集中选择和所述参考特征距离最远的特征作为新的核心特征，直到选择足够数量的正常特征作为正常原型特征集。

4.根据权利要求3的一种跨类别的工业缺陷检测方法，其特征在于，对归一化流模型进行训练的步骤包括：

5.根据权利要求1的一种跨类别的工业缺陷检测方法，其特征在于，所述屏蔽自编码器包括编码器和解码器，编码器用于提取输入图像序列中未被屏蔽的图像块的特征，解码器结合未被屏蔽图像块的特征和被屏蔽图像块的特殊编码词元，对屏蔽图像块进行视觉词元重构。

6.根据权利要求5的一种跨类别的工业缺陷检测方法，其特征在于，对所述屏蔽自编码器进行训练的步骤包括：

7.根据权利要求6的一种跨类别的工业缺陷检测方法，其特征在于，所述视觉词元表征通过图像块的像素值进行转化得到。

8.根据权利要求6的一种跨类别的工业缺陷检测方法，其特征在于，在对所述屏蔽自编码器进行训练时，对图像块进行屏蔽采用随机屏蔽策略、基于连续区域的屏蔽策略、区域限制的屏蔽策略、基于频率的屏蔽策略或动态的屏蔽策略中的一种屏蔽策略或两种及以上屏蔽策略的组合。

9.一种跨类别的工业缺陷检测装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行权利要求1-8任一项所述的跨类别的工业缺陷检测方法。

10.一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行权利要求1-8任一项所述的跨类别的工业缺陷检测方法。

技术总结
本发明属于缺陷检测技术领域，提供了一种跨类别的工业缺陷检测方法、装置及介质，包括：S1：将获取的待检测样本图像通过预训练的归一化流模型得到图像中的疑似缺陷区域，并将所述疑似缺陷区域对应的图像块屏蔽；S2：基于经训练的屏蔽自编码器，利用剩余未被屏蔽的图像块重构出被屏蔽的图像块；S3：由重构图像块的视觉词元和屏蔽图像块的原始视觉词元之间的不确定度作为重构误差的计算方式，生成对应的异常得分图，并基于异常得分图确定待检测样本的缺陷区域。本发明的优点在于对于新出现的工业产品类别，此方法下的模型不需要重新训练即可以用于该类别的缺陷检测，更适合于产品类别多样化的工业缺陷检测等场景中的应用。

技术研发人员：姚欣成,李若琦,张重阳,张保柱,刘振宇
受保护的技术使用者：宁波海棠信息技术有限公司
技术研发日：
技术公布日：2024/1/12