基于迁移学习的无监督缺陷检测方法和系统、存储介质与流程

本发明涉及缺陷检测，具体涉及基于迁移学习的无监督缺陷检测方法和系统、存储介质。

背景技术：

1、现有技术中，在采用机器学习的方法对工业产品进行缺陷检测时，大多需要获取缺陷图像和正常图像，作为训练样本对机器学习模型进行训练，使机器学习模型学习到缺陷图像和正常图像的区别，实现对缺陷的检测、分类等，其中缺陷图像指有缺陷产品的图像，正常图像指正常产品的图像。这种检测方式称为有监督的检测方式。在众多真实的工业生产场景中，有缺陷产品的工业图像数量较少，正常产品的图像占比较大，导致正负样本比例悬殊；并且缺陷呈现的类型复杂多样，且具有不可预知性，在获取方式上，获得大量正常产品的图像是非常容易的，而收集全部缺陷类型的缺陷图像，则代价昂贵，生产企业无法承受。因此在工业生产上的缺陷检测场景中，有监督的检测方式较难进行实际应用。

技术实现思路

1、本发明主要解决的技术问题是现实中缺陷图像数量少，导致有监督的缺陷检测方式难以进行实际应用。

2、根据第一方面，一种实施例中提供一种基于迁移学习的无监督缺陷检测方法，包括：

3、获取被测物体的待检测图像；

4、将所述待检测图像输入训练好的缺陷检测模型以得到所述待检测图像的特征描述图；

5、将所述待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定所述待检测图像的缺陷区域；

6、其中所述缺陷检测模型按以下步骤训练得到：

7、获取由正常样本图像组成的训练样本集；

8、将所述训练样本集的正常样本图像按批次作为当前样本图像，将各当前样本图像分别输入设置了初始参数的所述缺陷检测模型以得到各当前样本图像的特征描述图，对各当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图，其中第一批次正常样本图像的压缩特征图与0值图像进行特征融合，所述核心特征图与特征描述图的分辨率相同；

9、使用所述训练样本集对所述缺陷检测模型进行训练，获得最终的模型参数，训练目标为正常样本图像的特征描述图与所述核心特征图的相异处的差异增大、相似处的差异减小。

10、一种实施例中，所述缺陷检测模型包括特征提取模块和特征描述模块；

11、所述将所述待检测图像输入训练好的缺陷检测模型以得到所述待检测图像的特征描述图，包括：

12、将所述待检测图像输入所述特征提取模块以得到所述待检测图像的n层特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图，其中n≥2；

13、将该初始特征图输入所述特征描述模块以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到所述待检测图像的特征描述图；

14、所述将当前样本图像输入设置了初始参数的所述缺陷检测模型以得到当前样本图像的特征描述图，包括：

15、将当前样本图像输入设置了初始参数的所述特征提取模块以得到当前样本图像的n层特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图；

16、将该初始特征图输入设置了初始参数的所述特征描述模块以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到当前样本图像的特征描述图。

17、一种实施例中，所述特征提取模块为一预训练的特征提取网络且该特征提取网络在训练过程中网络参数不变，和/或所述特征描述模块为一坐标卷积网络层。

18、一种实施例中，根据预设的损失函数对所述缺陷检测模型进行训练，所述损失函数通过以下方式确定：

19、将正常样本图像的特征描述图中每个像素点的特征向量都分别与所述核心特征图的所有像素点的特征向量计算距离值；

20、对于正常样本图像的特征描述图的每个像素点，选取其特征向量与所述核心特征图的所有像素点的特征向量的距离值中最小的y个距离值，并按照从小到大的顺序排列，将其中较小的y/2个距离值对应的所述核心特征图的像素点的特征向量作为正对比特征向量，将其中较大的y/2个距离值对应的所述核心特征图的像素点的特征向量作为负对比特征向量，其中y为不小于2的偶数；

21、根据正常样本图像的特征描述图的像素点的特征向量和对应的正对比特征向量构建第一损失函数，所述第一损失函数的目标为减小正常样本图像的特征描述图的像素点的特征向量与对应的正对比特征向量间的距离；

22、根据正常样本图像的特征描述图的像素点的特征向量和对应的负对比特征向量构建第二损失函数，所述第二损失函数的目标为增大正常样本图像的特征描述图的像素点的特征向量与对应的负对比特征向量间的距离；

23、将第一损失函数和第二损失函数相加作为所述损失函数。

24、一种实施例中，所述损失函数具体为：

25、ltotal＝l1+l2，

26、其中l1为第一损失函数，l2为第二损失函数，且

27、

28、

29、z表示正常样本图像的特征描述图的像素数量，k＝y/2，βz表示正常样本图像的特征描述图的第z个像素点的特征向量，表示βz对应的第k个正对比特征向量，表示βz与之间的欧氏距离；p＝y/2，表示βz对应的第p个负对比特征向量，表示βz与之间的欧氏距离，r和λ为需要通过学习得到的自适应参数。

30、一种实施例中，所述对当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，包括：

31、对当前样本图像的特征描述图在批处理维度上执行取平均操作得到压缩特征图gt：

32、gt＝mean(β)，

33、其中t表示迭代批次且t≥1，gt表示第t批次的压缩特征图，β表示当前样本图像的特征描述图，mean()表示在批处理维度上执行取平均操作；

34、根据以下公式将压缩特征图gt与上一批次获得的融合特征图进行特征融合得到新的融合特征图

35、

36、其中表示第t批次获得的融合特征图，且

37、一种实施例中，所述将所述待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定所述待检测图像的缺陷区域，包括：

38、将所述待检测图像的特征描述图中每个像素点的特征向量都分别与所述核心特征图的所有像素点的特征向量计算距离值；

39、对于所述待检测图像的特征描述图的每个像素点，选取其特征向量与所述核心特征图的所有像素点的特征向量的距离值中最小的距离值，组成距离表示图；

40、对所述距离表示图采用sigmoid函数处理得到所述待检测图像的预测分数图，所述预测分数图的像素值用于表示对应像素点是异常像素的概率；

41、对所述待检测图像的预测分数图进行上采样处理，使其分辨率与所述待检测图像相同；

42、对上采样后的所述待检测图像的预测分数图进行阈值分割，获得所述待检测图像的缺陷区域。

43、一种实施例中，所述对上采样后的所述待检测图像的预测分数图进行阈值分割，包括：

44、获取正常样本图像的预测分数图的像素值的平均值和标准差σx；

45、若上采样后的所述待检测图像的预测分数图的像素值位于区间内，则判定该像素为正常像素，否则为异常像素，其中k1为预设系数。

46、根据第二方面，一种实施例中提供一种基于迁移学习的无监督缺陷检测系统，包括：

47、待检测图像获取模块，用于获取被测物体的待检测图像；

48、特征描述图获取模块，用于将所述待检测图像输入训练好的缺陷检测模型以得到所述待检测图像的特征描述图；

49、特征比较模块，用于将所述待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定所述待检测图像的缺陷区域；

50、模型训练模块，用于通过以下方式对所述缺陷检测模型进行训练：

51、获取由正常样本图像组成的训练样本集；

52、将所述训练样本集的正常样本图像按批次作为当前样本图像，将各当前样本图像分别输入设置了初始参数的所述缺陷检测模型以得到各当前样本图像的特征描述图，对各当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图，其中第一批次正常样本图像的压缩特征图与0值图像进行特征融合，所述核心特征图与特征描述图的分辨率相同；

53、使用所述训练样本集对所述缺陷检测模型进行训练，获得最终的模型参数，训练目标为正常样本图像的特征描述图与所述核心特征图的相异处的差异增大、相似处的差异减小。

54、根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面所述的无监督缺陷检测方法。

55、依据上述实施例的基于迁移学习的无监督缺陷检测方法/系统，通过将被测物体的待检测图像输入预先训练好的缺陷检测模型获得待检测图像的特征描述图，将待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异来确定待检测图像的缺陷区域；其中缺陷检测模型的训练包括：将训练样本集的正常样本图像按批次作为当前样本图像，对于每一批次，将其中的各当前样本图像分别输入设置了初始参数的缺陷检测模型以得到各当前样本图像的特征描述图，对当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图，以增大正常样本图像的特征描述图与核心特征图相异处的差异、减小相似处的差异为目标，训练缺陷检测模型。由于对正常样本图像的特征描述图进行了特征压缩和特征融合，使得获得的核心特征图不因正常样本图像的增多而增大，从而避免推理时间过长，实时性高。基于迁移学习，使用正常样本图像提取核心特征图，引导缺陷检测模型训练，实现对工业图像的特征自适应。训练过程中无需缺陷图像参与，相比有监督的检测方式更易于在工业上进行实际应用。