基于语义对齐的缺陷检测方法及系统与流程

1.本发明涉及图像处理技术领域，具体来说涉及一种基于语义对齐的缺陷检测方法及系统。


背景技术：

2.在工业领域，生产的大部分产品都是正常无故障的，但不幸的是，在特定的场景下制造的产品也会包含一些缺陷故障，例如凹痕、错误标签或零件重复等。因此，保存产品质量的良品率和一致性非常重要。
3.传统的方法都是通过人工进行检测，这样往往需要耗费大量的人力，而且不同人检测结果不一致，存在漏检和误检等问题。因此，采用计算机视觉方案代替人工检测势在必行。
4.目前，大多视觉方案都是基于图像比较思想，通过正常产品图片与未知产品图片比较，如果存在差异，则表明未知产品是异常。但是这样往往需要正常图片具有高度明显的特征，同时由于未知产品图片与正常产品图片的拍摄角度和位置不同，造成比较结果不准确。


技术实现要素：

5.本发明旨在解决现有基于图像进行缺陷检测的方式存在准确性差的问题，提出一种基于语义对齐的缺陷检测方法及系统。
6.本发明解决上述技术问题所采用的技术方案是：
7.一方面，提供一种基于语义对齐的缺陷检测方法，包括以下步骤：
8.步骤1、视觉采集不同角度和位置的样本产品图片，并根据采集的样本产品图片构建多角度样本数据集；
9.步骤2、构建语义对齐的深度学习网络，并基于所述多角度样本数据集训练得到语义对齐网络；
10.步骤3、从所述多角度样本数据集中选取正常样本产品对应的第一样本数据，并基于所述第一样本数据提取得到正常的第一语义特征；
11.步骤4、获取待检测样本产品的待测图片，根据所述待测图片和第一样本数据并基于所述语义对齐网络，得到待检测样本产品对应的第二样本数据及其对应的第二语义特征，所述第二样本数据逼近第一样本数据；
12.步骤5、根据所述第一语义特征和第二语义特征判断待检测样本产品是否存在缺陷。
13.作为进一步优化，所述不同角度的样本产品图片至少包括：经翻转和裁剪之后的样本产品图片，所述不同位置的样本产品图片至少包括：对样本产品进行平移和旋转后采集的样本产品图片。
14.作为进一步优化，根据所述第一语义特征和第二语义特征判断待检测样本产品是
否存在缺陷，具体包括：
15.针对每个像素位置，对与其对应的第一语义特征和第二语义特征进行差分，并根据差分结果判断待检测样本产品是否存在缺陷，所述差分包括：像素差分或均方根像素差分。
16.作为进一步优化，所述根据差分结果判断待检测样本产品是否存在缺陷，具体包括：
17.如果所有像素位置对应的差分结果均小于预设阈值，则判定待检测样本产品不存在缺陷，如果存在差分结果大于预设阈值对应的像素位置，则判定待检测样本产品对应的像素位置存在缺陷。
18.作为进一步优化，所述差分公式如下：
19.diff(i,j)＝|feature(i,j)-normal(i,j)|；
20.式中，diff表示差分结果，feature表示第二语义特征，normal表示第一语义特征，(i,j)表示像素位置对应的坐标位置。
21.作为进一步优化，该方法还包括：
22.步骤6、对差分结果进行上采样，得到待测图片对应的放大图片，实现缺陷区域的定位。
23.作为进一步优化，所述上采样方法为：临近值插值上采样或二次线性插值上采样。
24.作为进一步优化，所述上采样的公式如下：
[0025][0026]
式中，f()表示上采样函数，q
11
、q
12
、q
21
和q
22
表示待测图片中预设的四个位置坐标，(x,y)表示任一像素位置的位置坐标，其中，q
11
＝(x1,y1)，q
12
＝(x1,y2)，q
21
＝(x2,y1)，q
22
＝(x2,y2)。
[0027]
作为进一步优化，所述深度学习网络为：vgg网络、resnet网络或mobilenet网络。
[0028]
第二方面，提供一种基于语义对齐的缺陷检测系统，其特征在于，包括：
[0029]
数据采集训练模块，用于视觉采集不同角度和位置的样本产品图片，并根据采集的样本产品图片构建多角度样本数据集；以及从所述多角度样本数据集中选取正常样本产品对应的第一样本数据，并基于所述第一样本数据提取得到正常的第一语义特征；
[0030]
语义对齐模块，用于构建语义对齐的深度学习网络，并基于所述多角度样本数据集训练得到语义对齐网络；以及获取待检测样本产品的待测图片，根据所述待测图片和第一样本数据并基于所述语义对齐网络得到待检测样本产品对应的第二样本数据及其对应的第二语义特征，所述第二样本数据逼近第一样本数据；
[0031]
差分比较模块，用于根据所述第一语义特征和第二语义特征判断待检测样本产品是否存在缺陷。
[0032]
本发明的有益效果是：本发明所述的基于语义对齐的缺陷检测方法及系统，在得到未知产品图片后，基于预先训练得到的语义对齐网络将其与正常产品图片对齐，进而提高了缺陷检测的准确性。此外，本发明还通过上采样定位缺陷区域，便于后续产品质量优化
追踪。
附图说明
[0033]
图1为本发明实施例所述的基于语义对齐的缺陷检测方法的一种流程示意图；
[0034]
图2为本发明实施例所述的基于语义对齐的缺陷检测方法的另一种流程示意图；
[0035]
图3为本发明实施例所述的基于语义对齐的缺陷检测系统的结构示意图。
具体实施方式
[0036]
下面将结合附图对本发明的实施方式进行详细描述。
[0037]
本发明提供的基于语义对齐的缺陷检测方法及系统，主要的技术方案包括：首先视觉采集不同角度和位置的样本产品图片，并根据采集的样本产品图片构建多角度样本数据集；然后构建语义对齐的深度学习网络，并基于所述多角度样本数据集训练得到语义对齐网络；再从所述多角度样本数据集中选取正常样本产品对应的第一样本数据，并基于所述第一样本数据提取得到正常的第一语义特征；在需要对待检测样本产品进行缺陷检测时，首先获取待检测样本产品的待测图片，根据所述待测图片和第一样本数据并基于所述语义对齐网络，得到待检测样本产品对应的第二样本数据及其对应的第二语义特征，所述第二样本数据逼近第一样本数据；最后根据所述第一语义特征和第二语义特征判断待检测样本产品是否存在缺陷。
[0038]
在基于图像对产品进行缺陷检测时，其主要是通过将待检测样本产品与正常样本产品的图片进行像素对比，如果各像素点对应的特征值不一致，则判定待检测样本产品存在缺陷。这种方式在实际应用过程中，需要保证待检测样本产品图片与正常样本产品图片的拍摄角度和位置高度一致，若不一致，则很容易出现像素点对应的特征值不一致，进而导致误判。基于此，本发明通过拍摄样本产品的多种角度和位置的图片构建多角度样本数据集，并根据多角度样本数据集训练能够实现语义对齐功能的语义对齐网络，将待检测样本产品图片与正常样本产品图片输入至语义对齐网络中，即可确定待检测样本产品图片对应的逼近于正常样本图片的图片，逼近于正常样本图片是指角度和位置逼近于正常样本图片，再根据图片对应的第二语义特征与正常样本图片对应的第一语义特征，即可判断出待检测样本图片是否存在缺陷。本发明在获取待检测样本图片时，无需考虑拍摄角度和位置，通过将待检测样本图片进行语义对齐后再与正常样本图片进行比较，提高了缺陷检测的准确性。
[0039]
实施例
[0040]
本发明实施例所述的基于语义对齐的缺陷检测方法，如图1所示，包括以下步骤：
[0041]
步骤1、视觉采集不同角度和位置的样本产品图片，并根据采集的样本产品图片构建多角度样本数据集；
[0042]
本实施例中，样本产品图片中可以为正常样本产品图片，也可以为存在缺陷的样本产品图片。其中，所述不同角度的样本产品图片至少包括：经翻转和裁剪之后的样本产品图片，所述不同位置的样本产品图片至少包括：对样本产品进行平移和旋转后采集的样本产品图片。在实际应用时，可以固定相机和光源，人工对样本产品进行旋转和平移，然后采集不同角度和位置的图片，因为人工仅能旋转和平移，为了增强样本数据以提高语义对齐
的效果，还采用了裁剪和翻转等图像处理操作。
[0043]
步骤2、构建语义对齐的深度学习网络，并基于所述多角度样本数据集训练得到语义对齐网络；
[0044]
本实施例中，深度学习网络可以为vgg网络、resnet网络或mobilenet网络，具体应用时，如图2所示，先拼接全连接层构建分类任务，并在多角度样本数据集上进行预训练，提高网络特征提取能力，然后移除全连接层，然后取倒数一层卷积层的输出作为语义特征层，得到语义对齐网络，本实施例中的语义对齐网络用于进行语义对齐和语义特征提取。
[0045]
步骤3、从所述多角度样本数据集中选取正常样本产品对应的第一样本数据，并基于所述第一样本数据提取得到正常的第一语义特征；
[0046]
可以理解，正常样本产品对应的第一样本数据，仅包括一种位置和角度的正常样本产品图片对应的数据，以便于通过语义对齐网络将待检测样本产品图片与正常样本产品图片对齐。
[0047]
步骤4、获取待检测样本产品的待测图片，根据所述待测图片和第一样本数据并基于所述语义对齐网络，得到待检测样本产品对应的第二样本数据及其对应的第二语义特征，所述第二样本数据逼近第一样本数据；
[0048]
具体地，在需要对待检测样本产品进行缺陷检测时，首先获取待检测样本产品的待测图片，这里的待测图片可以是任意角度或位置的待检测样本产品图片，将待测图片对应的数据以及第一样本数据输入至语义对齐网络中，让待测图片逼近正常样本图片，实现网络语义对齐功能，进而得到待测样本产品对应的逼近第一样本数据的第二样本数据，并通过语义对齐网络提取得到第二样本数据对应的第二语义特征。
[0049]
步骤5、根据所述第一语义特征和第二语义特征判断待检测样本产品是否存在缺陷。
[0050]
根据所述第一语义特征和第二语义特征判断待检测样本产品是否存在缺陷，具体包括：
[0051]
针对每个像素位置，对与其对应的第一语义特征和第二语义特征进行差分，并根据差分结果判断待检测样本产品是否存在缺陷，所述差分包括：像素差分或均方根像素差分。
[0052]
本实施例中，差分公式如下：
[0053]
diff(i,j)＝|feature(i,j)-normal(i,j)|；
[0054]
式中，diff表示差分结果，feature表示第二语义特征，normal表示第一语义特征，(i,j)表示像素位置对应的坐标位置。
[0055]
在得到差分结果后，如果所有像素位置对应的差分结果均小于预设阈值，则判定待检测样本产品不存在缺陷，如果存在差分结果大于预设阈值对应的像素位置，则判定待检测样本产品对应的像素位置存在缺陷。
[0056]
为了实现缺陷区域的定位，以便于用户查看缺陷位置，本实施例还包括：
[0057]
步骤6、对差分结果进行上采样，得到待测图片对应的放大图片，实现缺陷区域的定位。其中，上采样方法可以为：临近值插值上采样或二次线性插值上采样。
[0058]
本实施例中，上采样公式如下：
[0059][0060]
式中，f()表示上采样函数，q
11
、q
12
、q
21
和q
22
表示待测图片中预设的四个位置坐标，(x,y)表示上采样之后的位置坐标，其中，q
11
＝(x1,y1)，q
12
＝(x1,y2)，q
21
＝(x2,y1)，q
22
＝(x2,y2)。
[0061]
可以理解，针对差分结果进行上采样，实现将图片放大并在放大后的图片中显示缺陷位置，实现缺陷区域的定位。
[0062]
基于上述技术方案，本实施例还提出一种基于语义对齐的缺陷检测系统，如图3所示，包括：
[0063]
数据采集训练模块，用于视觉采集不同角度和位置的样本产品图片，并根据采集的样本产品图片构建多角度样本数据集；以及从所述多角度样本数据集中选取正常样本产品对应的第一样本数据，并基于所述第一样本数据提取得到正常的第一语义特征；
[0064]
语义对齐模块，用于构建语义对齐的深度学习网络，并基于所述多角度样本数据集训练得到语义对齐网络；以及获取待检测样本产品的待测图片，根据所述待测图片和第一样本数据并基于所述语义对齐网络得到待检测样本产品对应的第二样本数据及其对应的第二语义特征，所述第二样本数据逼近第一样本数据；
[0065]
差分比较模块，用于根据所述第一语义特征和第二语义特征判断待检测样本产品是否存在缺陷。
[0066]
可以理解，由于本发明实施例所述的基于语义对齐的缺陷检测系统是用于实现实施例所述基于语义对齐的缺陷检测方法的系统，对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的较为简单，相关之处参见方法的部分说明即可。