一种基于轻量型记忆库的图像异常检测方法及系统与流程

本发明涉及数字图像处理异常检测，尤其涉及一种基于轻量型记忆库的图像异常检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、工业图像的异常检测方法多种多样，常见的有基于重构的方法、基于流的归一化方法、基于密度估计的方法、基于记忆库的方法、基于生成对抗网络（gan）的方法等，每种方法都有其特定的优势和适用场景。

3、基于记忆库的异常检测方法是一种非常高效的方法，patchcore是基于记忆库方法的工业异常检测领域的一个代表性工作。它通过使用一个存储正常样本特征的记忆库，实现了精准的异常检测。此外，基于记忆库的异常检测方法具有很多的优势，它并不需要大量的异常样本进行训练，只需要提取正常样本的特征，并进行存储，检测时将输入样本的特征与记忆库中的特征比较，以此判断输入的样本是否异常。

4、进行图像异常检测时，基于记忆库的异常检测方法通常使用基于imagenet的预训练的模型进行特征提取，但是在工业领域，工业产品和环境与imagenet数据集存在较大差异，不利于提高检测的准确率。此外，传统的基于记忆库的方法由于要存储大量的特征，记忆库需要占用巨大的存储空间，在测试时，由于要和已存储的大量的特征进行对比，也会花费大量的推理时间。

技术实现思路

1、本发明提供一种基于轻量型记忆库的图像异常检测方法及系统，解决了图像异常检测领域记忆库占用存储空间过大等问题，对工业领域异常检测具有应用能力。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供一种基于轻量型记忆库的图像异常检测方法。

4、一种基于轻量型记忆库的图像异常检测方法，包括：

5、获取待检测的产品图像，并进行预处理和分割，得到若干图像块；

6、基于每个图像块，采用特征提取网络提取特征，得到融合特征图；

7、计算每个图像块的异常分数；

8、从待测产品图像的每个图像块的异常分数中选择最大异常分数；基于最大异常分数所对应的图像块的融合特征图，计算该图像块的融合特征图与记忆库中存储的所有特征图的距离，选择最小距离；

9、基于最小距离，对最大异常分数进行加权，得到最终异常分数；

10、判断整个图像的异常分数是否大于设定的阈值，若是，则待测产品图像异常，否则，待测产品图像正常。

11、进一步地，所述预处理和分割的过程包括：采用双线性插值法对待处理的产品图像进行预处理，得到张量；将所述张量按照预设尺寸大小进行分割，得到若干尺寸相同的图像块。

12、进一步地，在得到融合特征图之后还包括，对融合特征图进行池化降维。

13、进一步地，所述特征提取网络包括初始化卷积模块、主分支网络和辅助分支网络；所述初始化卷积网络用于提取图像块的特征图；所述主分支网络，用于提取特征图的不同层次的特征，得到主分支特征图；所述辅助分支网络，用于提取特征图不同尺度的特征，得到辅助分支特征图；将主分支特征图和辅助分支特征图进行拼接，得到融合特征图。

14、更进一步地，所述主分支网络包括依次连接的三个残差块，这三个残差块的结构相同，在通道数量上依次递增。

15、更进一步地，所述辅助分支网络包括两个卷积模块和一个池化模块。

16、进一步地，所述计算每个图像块的异常分数的过程包括：采用最邻近搜索算法，计算每个图像块的异常分数。

17、进一步地，所述记忆库通过采用现有的产品图像训练特征提取网络得到。

18、更进一步地，在训练过程中，将训练得到的融合特征图存储至记忆库中，并在训练过程中计算每个融合特征图与记忆库中特征图的相似度，将相似度值小于预设阈值的融合特征图加入到记忆库中。

19、本发明的第二个方面提供一种基于轻量型记忆库的图像异常检测系统。

20、一种基于轻量型记忆库的图像异常检测系统，包括：

21、数据获取模块，其被配置为：获取待检测的产品图像，并进行预处理和分割，得到若干图像块；

22、特征提取模块，其被配置为：基于每个图像块，采用特征提取网络提取特征，得到融合特征图；

23、异常计算模块，其被配置为：计算每个图像块的异常分数；

24、距离计算模块，其被配置为：从待测产品图像的每个图像块的异常分数中选择最大异常分数；基于最大异常分数所对应的图像块的融合特征图，计算该图像块的融合特征图与记忆库中存储的所有特征图的距离，选择最小距离；

25、加权模块，其被配置为：基于最小距离，对最大异常分数进行加权，得到最终异常分数；

26、异常检测模块，其被配置为：判断整个图像的异常分数是否大于设定的阈值，若是，则待测产品图像异常，否则，待测产品图像正常。

27、与现有技术相比，本发明的有益效果是：

28、本发明解决了图像异常检测领域记忆库占用存储空间过大等问题，对工业领域异常检测具有应用能力。

29、本发明设计了工业场景下的特征提取网络，能够对工业产品图像能够进行有效的特征提取。

30、本发明提出了一种加权的异常分数计算方法，能够有效的减少误判，进一步提高图像异常检测的精度。

31、本发明提出了一种轻量型的图像异常检测方案，能够实现快速、准确的工业图像的异常检测。

技术特征：

1.一种基于轻量型记忆库的图像异常检测方法，其特征在于，包括：

2.根据权利要求1所述的基于轻量型记忆库的图像异常检测方法，其特征在于，所述预处理和分割的过程包括：采用双线性插值法对待处理的产品图像进行预处理，得到张量；将所述张量按照预设尺寸大小进行分割，得到若干尺寸相同的图像块。

3.根据权利要求1所述的基于轻量型记忆库的图像异常检测方法，其特征在于，在得到融合特征图之后还包括，对融合特征图进行池化降维。

4.根据权利要求1所述的基于轻量型记忆库的图像异常检测方法，其特征在于，所述特征提取网络包括初始化卷积模块、主分支网络和辅助分支网络；所述初始化卷积网络用于提取图像块的特征图；所述主分支网络，用于提取特征图的不同层次的特征，得到主分支特征图；所述辅助分支网络，用于提取特征图不同尺度的特征，得到辅助分支特征图；将主分支特征图和辅助分支特征图进行拼接，得到融合特征图。

5.根据权利要求4所述的基于轻量型记忆库的图像异常检测方法，其特征在于，所述主分支网络包括依次连接的三个残差块，这三个残差块的结构相同，在通道数量上依次递增。

6.根据权利要求4所述的基于轻量型记忆库的图像异常检测方法，其特征在于，所述辅助分支网络包括两个卷积模块和一个池化模块。

7.根据权利要求1所述的基于轻量型记忆库的图像异常检测方法，其特征在于，所述计算每个图像块的异常分数的过程包括：采用最邻近搜索算法，计算每个图像块的异常分数。

8.根据权利要求1所述的基于轻量型记忆库的图像异常检测方法，其特征在于，所述记忆库通过采用现有的产品图像训练特征提取网络得到。

9.根据权利要求8所述的基于轻量型记忆库的图像异常检测方法，其特征在于，在训练过程中，将训练得到的融合特征图存储至记忆库中，并在训练过程中计算每个融合特征图与记忆库中特征图的相似度，将相似度值小于预设阈值的融合特征图加入到记忆库中。

10.一种基于轻量型记忆库的图像异常检测系统，其特征在于，包括：

技术总结
本发明涉及数字图像处理异常检测技术领域，提供了一种基于轻量型记忆库的图像异常检测方法及系统。该方法包括，获取待检测的产品图像，并进行预处理和分割，得到若干图像块；基于每个图像块，采用特征提取网络提取特征，得到融合特征图；计算每个图像块的异常分数；从待测产品图像的每个图像块的异常分数中选择最大异常分数；基于最大异常分数所对应的图像块的融合特征图，计算该图像块的融合特征图与记忆库中存储的所有特征图的距离，选择最小距离；基于最小距离，对最大异常分数进行加权，得到最终异常分数；判断整个图像的异常分数是否大于设定的阈值，若是，则待测产品图像异常，否则，待测产品图像正常。

技术研发人员：李敏,赫敬辉,周鸣乐,李刚,韩德隆
受保护的技术使用者：山东省计算中心（国家超级计算济南中心）
技术研发日：
技术公布日：2024/3/27