基于图像检测模型的异常图像检测方法、装置及设备与流程

本技术涉及人工智能，特别涉及一种基于图像检测模型的异常图像检测方法、装置及设备。

背景技术：

1、计算机视觉领域的无监督异常图像检测任务仅需正常图像训练即可实现对异常图像的检测，因无监督的低成本训练方式及在实际应用中的重要意义，异常图像检测算法逐渐受到越来越多的关注，并广泛应用于工业缺陷检测、医学图像病变检测、视频异常检测等领域中。

2、在相关技术中，采用reconstruction-based(基于重建特征)的图像检测方法来实现这一目标。具体来说，首先收集用于训练图像检测模型的样本图像，编码器将样本图像映射到高维隐空间得到编码特征，根据解码器恢复该编码特征得到重建特征，以最小化编码特征与重建特征的差异为目标，逐步优化模型参数，从而得到训练后的图像检测模型。我们可以输入一张待检测图像，通过训练后的图像检测模型根据编码特征以及重建特征的差异，实现对图像的异常检测。

3、上述方法，由于现有编码器网络通常采用cnn(convolutional neural network，卷积神经网络)模型，仅提取输入图像的单一尺度的编码特征。这使得编码特征对图像信息的表征并不完整全面。解码器在这种信息不完整的情况下，仅能得到比较粗糙的重建特征。这时，编码特征与重建特征之间的差异不仅来源于异常的存在，也来源与编码-解码过程的信息丢失。针对待检测图像的异常检测，直接基于编码特征和重建特征的差异来进行异常图像检测容易引入误判。即通过解码器得到重建特征的效果差，会导致检测结果不准确的问题。

技术实现思路

1、本技术实施例提供了一种基于图像检测模型的异常图像检测方法、装置及设备。本技术实施例提供的技术方案如下：

2、根据本技术实施例的一个方面，提供了一种基于图像检测模型的异常图像检测方法，所述图像检测模型包括特征融合网络、上采样网络、风格转换网络和特征解码网络；所述方法包括：

3、对于待检测的第一图像，提取所述第一图像的n个尺度的编码特征，n为大于1的整数；

4、通过所述特征融合网络对所述n个尺度的编码特征进行融合，得到融合特征；

5、通过所述上采样网络对所述融合特征进行上采样，得到所述n个尺度的上采样特征；

6、通过所述风格转换网络对所述n个尺度的上采样特征进行通道变换，得到所述n个尺度的适应特征，其中，所述通道变换为通道压缩或通道扩展；

7、通过所述特征解码网络根据所述n个尺度的适应特征，得到所述n个尺度的重建特征；

8、根据所述n个尺度的重建特征和所述n个尺度的编码特征，确定所述第一图像的异常检测结果。

9、根据本技术实施例的一个方面，提供了一种图像检测模型的训练方法，所述图像检测模型包括特征融合网络、上采样网络、风格转换网络和特征解码网络；所述方法包括：

10、获取用于训练所述图像检测模型的样本图像，所述样本图像中不存在异常区域；

11、提取所述样本图像的n个尺度的编码特征，n为大于1的整数；

12、通过所述特征融合网络对所述n个尺度的编码特征进行融合，得到融合特征；

13、通过所述上采样网络对所述融合特征进行上采样，得到所述n个尺度的上采样特征；

14、通过所述风格转换网络对所述n个尺度的上采样特征进行通道变换，得到所述n个尺度的适应特征，其中，所述通道变换为通道压缩或通道扩展；

15、通过所述特征解码网络根据所述n个尺度的适应特征，得到所述n个尺度的重建特征；

16、以最小化所述n个尺度的重建特征和所述n个尺度的编码特征之间的差异为目标，对所述图像检测模型的参数进行调整，得到训练后的图像检测模型。

17、根据本技术实施例的一个方面，提供了一种基于图像检测模型的异常图像检测装置，所述图像检测模型包括特征融合网络、上采样网络、风格转换网络和特征解码网络；所述装置包括：

18、提取模块，用于对于待检测的第一图像，提取所述第一图像的n个尺度的编码特征，n为大于1的整数；

19、第一得到模块，用于通过所述特征融合网络对所述n个尺度的编码特征进行融合，得到融合特征；

20、第二得到模块，用于通过所述上采样网络对所述融合特征进行上采样，得到所述n个尺度的上采样特征；

21、第三得到模块，用于通过所述风格转换网络对所述n个尺度的上采样特征进行通道变换，得到所述n个尺度的适应特征，其中，所述通道变换为通道压缩或通道扩展；

22、第四得到模块，用于通过所述特征解码网络根据所述n个尺度的适应特征，得到所述n个尺度的重建特征；

23、确定模块，用于根据所述n个尺度的重建特征和所述n个尺度的编码特征，确定所述第一图像的异常检测结果。

24、根据本技术实施例的一个方面，提供了一种图像检测模型的训练装置，所述图像检测模型包括特征融合网络、上采样网络、风格转换网络和特征解码网络；所述装置包括：

25、获取模块，用于获取用于训练所述图像检测模型的样本图像，所述样本图像中不存在异常区域；

26、提取模块，用于提取所述样本图像的n个尺度的编码特征，n为大于1的整数；

27、第一得到模块，用于通过所述特征融合网络对所述n个尺度的编码特征进行融合，得到融合特征；

28、第二得到模块，用于通过所述上采样网络对所述融合特征进行上采样，得到所述n个尺度的上采样特征；

29、第三得到模块，用于通过所述风格转换网络对所述n个尺度的上采样特征进行通道变换，得到所述n个尺度的适应特征，其中，所述通道变换为通道压缩或通道扩展；

30、第四得到模块，用于通过所述特征解码网络根据所述n个尺度的适应特征，得到所述n个尺度的重建特征；

31、调整模块，用于以最小化所述n个尺度的重建特征和所述n个尺度的编码特征之间的差异为目标，对所述图像检测模型的参数进行调整，得到训练后的图像检测模型。

32、根据本技术实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述基于图像检测模型的异常图像检测方法，或上述图像检测模型的训练方法。

33、根据本技术实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述基于图像检测模型的异常图像检测方法，或上述图像检测模型的训练方法。

34、根据本技术实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机程序，以实现上述基于图像检测模型的异常图像检测方法，或上述图像检测模型的训练方法。

35、本技术实施例提供的技术方案至少包括如下有益效果：

36、通过提取输入图像在多个尺度上的编码特征，有效保留了输入图像多个尺度的特征信息，特征融合网络对多个尺度的编码特征进行融合，得到融合特征。上采样网络对该融合特征进行上采样，得到多个尺度的上采样特征。进一步地，风格转换网络对不同尺度的上采样特征的通道维度进行变换，得到多个尺度的适应特征，能够增加特征表达的多样性。通过特征解码网络根据不同尺度的适应特征，可以得到不同尺度的高质量重建特征。一方面，本技术提出的上述网络中只包含卷积操作，简单且高效。另一方面，通过多个尺度的编码特征的融合利用，可以得到多个尺度高质量的重建特征，从而实现更加准确和高效的异常图像检测。