一种基于无监督生成式的彩涂板表面缺陷检测方法和装置与流程

本技术属于彩涂板检测，尤其涉及一种基于无监督生成式的彩涂板表面缺陷检测方法和装置。

背景技术：

1、随着社会的发展，彩涂板的需求总量越来越高，彩涂板的质量要求也越来越高。随着汽车、家电等消费产业的发展，不断提高的彩涂板表面质量要求使得彩涂板表面质量问题日渐突出。据统计，近些年来彩涂板生产企业和用户间发生的质量异议和质量投诉，绝大多数都与表面质量有关。因此，无论是彩涂板生产企业，还是彩涂板用户，对彩涂板的表面质量检测都极为重视。

2、近年来，通过机器视觉和人工智能方法进行带钢的表面缺陷检测成为工业质检领域研究重点和发展趋势之一。然而，将上述方法应用于对彩涂板表面缺陷进行检测时主要存在以下两个挑战：

3、(1)如何降低彩涂板花纹图案、颜色对缺陷检测的影响，提升检测精度。传统基于图像特征的缺陷检测方法，在遇到彩涂花纹图案、深浅不一的颜色时，由于花纹图案等对边缘信息产生强干扰，导致传统方法在彩涂板缺陷检测时效果很差，无法精准的检测出表面缺陷。

4、(2)如何提升彩涂板缺陷检测的速度，达到彩涂产线缺陷实时检测。由于彩涂板表面缺陷通常非常小，所以需要检测精度极高，例如可以采用线阵相机进行图像采集，而线阵相机的分辨率通常在4k以上，每秒产生的图像数据量极大，因此需要高效的彩涂板缺陷检测方法在极短时间内完成彩涂板表面图像的检测处理，对于彩涂产线实时缺陷检测是十分必要的。

技术实现思路

1、为克服相关技术中存在的问题，本技术实施例提供了一种基于无监督生成式的彩涂板表面缺陷检测方法和装置。

2、本技术是通过如下技术方案实现的：

3、第一方面，本技术实施例提供了一种基于无监督生成式的彩涂板表面缺陷检测方法，包括：

4、通过线阵相机采集彩涂板的待识别图像；

5、从所述待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型；

6、基于无缺陷的图像样本搭建cflow模型，并对所述cflow模型进行训练得到缺陷检测模型，所述cflow模型包括encoder模块和decoder模块；

7、根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；

8、基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。

9、上述基于无监督生成式的彩涂板表面缺陷检测方法，应用彩涂板花纹图案分类模型进行彩涂板花纹类型的确定，再通过缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标，相较于传统基于图像特征如边缘提取等方法由于花纹图案和颜色的强干扰影响存在的缺陷检测效果较差的问题，本技术实施例在彩涂板拉丝花纹、星光斑点等图案和深浅不同颜色的情况下，抗干扰能力较强并能够保证较高的缺陷检出率。

10、结合第一方面，在一些实施例中，所述从所述待识别图像中提取有效区域，包括：

11、从所述待识别图像的图像矩阵中选择多个行向量和多个列向量；

12、计算所述多个行向量的行均值向量，以及所述多个列向量的列均值向量；

13、根据有效区域阈值、所述行均值向量和所述列均值向量，确定有效区域的坐标。

14、结合第一方面，在一些实施例中，所述通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型，包括：

15、按照所述有效区域的坐标从所述图像矩阵中提取得到有效区域矩阵；

16、将所述有效区域矩阵转换为维度大小为(c,w,h)的预测矩阵，c、w、h分别为矩阵通道数、宽和高；

17、将所述预测矩阵输入彩涂板花纹图案分类模型中，输出所述有效区域的彩涂板花纹类型。

18、结合第一方面，在一些实施例中，所述基于无缺陷的图像样本搭建cflow模型，并对所述cflow模型进行训练得到缺陷检测模型，包括：

19、采样无缺陷彩涂板不同花纹图案的第一图像样本，采样带有缺陷彩涂板不同花纹图案的第二图像样本；

20、构建resnet18分类网络并基于所述第一图像样本和所述第二图像样本进行分类训练，用于替换cflow模型中的encoder imagenet预训练权重；

21、采用freia框架构建8组可联结的可逆子网络，得到cflow模型的decoder模块。

22、结合第一方面，在一些实施例中，所述根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标，包括：

23、将所述待识别图像输入到cflow模型的encoder模块，提取第二特征层、第三特征层和第四特征层的特征向量；

24、生成位置无关条件向量c，所述位置无关条件向量c中的每个元素根据其所处位置，由正弦或余弦公式计算出且计算值各自不相关；

25、将所述第二特征层、第三特征层、第四特征层的特征向量和所述位置无关条件向量c分别输入到cflow模型的decoder模块，输出得到：

26、

27、其中ui＝g-1(zi,ci,θ),是decoder模块中的可逆网络输出的两个输出，为特征向量，为所述位置无关条件向量，d为输入特征层的通道数，zi为decoder网络输出的潜在输出变量第i个值，ci为条件向量的第i个值，为网络参数；

28、在cflow模型的推理阶段，采用公式进行0-1区间映射，k表示特征层索引号；

29、对进行上采样，将还原到与所述图像矩阵的高和宽相同的向量，将第二特征层、第三特征层和第四特征层相加，得到最终score map图；

30、根据异常阈值对score map图进行二值化，得到二值化特征矩阵；

31、对所述二值化特征矩阵进行最大连通区域求解，计算出缺陷区域坐标。

32、结合第一方面，在一些实施例中，在cflow模型的训练阶段，其损失函数为：n为|det ji|的向量长度；

33、所述二值化特征矩阵mmask为：anormal_threshold为所述异常阈值；

34、所述缺陷区域坐标dloc为：d∈dnum，x1,y1,x2,y2分别表示缺陷框左上和右下角的顶点坐标，dnum表示缺陷数量。

35、结合第一方面，在一些实施例中，所述基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别，包括：

36、利用resnet18构建所述缺陷类型分类分级模型，采用优化函数求解所述缺陷类型分类分级模型中的参数，所述优化函数为pytorch adam optimizer函数；

37、基于所述缺陷区域坐标从所述图像矩阵上裁剪出缺陷区域；

38、将所述缺陷区域输入所述缺陷类型分类分级模型，得到彩涂板上各个缺陷的类型和级别。

39、第二方面，本技术实施例提供了一种基于无监督生成式的彩涂板表面缺陷检测装置，包括：

40、图像采集模块，用于通过线阵相机采集彩涂板的待识别图像；

41、提取识别模块，用于从所述待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型；

42、模型搭建模块，用于基于无缺陷的图像样本搭建cflow模型，并对所述cflow模型进行训练得到缺陷检测模型，所述cflow模型包括encoder模块和decoder模块；

43、缺陷区域坐标模块，用于根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；

44、缺陷识别模块，用于基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。

45、第三方面，本技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有、可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的基于无监督生成式的彩涂板表面缺陷检测方法。

46、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的基于无监督生成式的彩涂板表面缺陷检测方法。

47、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的基于无监督生成式的彩涂板表面缺陷检测方法。

48、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

49、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。