外观缺陷检测方法、装置、视觉检测系统和电子设备与流程

本申请属于缺陷检测领域，尤其涉及一种外观缺陷检测方法、装置、视觉检测系统和电子设备。

背景技术：

1、随着人民生活水平提升和电子产品行业不断发展优化，消费者对于美的要求越来越追求极致，外观质量成为了消费者选择电子产品的重要因素，推动厂家对产品表面的缺陷检测能力的要求也越来越高，甚至达到人眼极限。

2、产品外观的缺陷形态表现出多样性、多维度性、多角度性的特点。形态多样性是指缺陷的中心、边缘、死角等位置多样，点、线、面等形状多样，以及灰、白、黑、蓝、绿等颜色多样；多维度性是指需要从如长、宽、灰度、颜色、深度等多个衡量维度判定缺陷规格；多角度性是指外观缺陷在某个角度无法观测，需要人工对着光线选择多角度进行综合观测，外观缺陷检测需要模拟人眼对缺陷多角度观测。

3、现有的外观缺陷检测技术无法满足缺陷形态检测的复杂性和准确性要求，检测精度差、检测效率低。

技术实现思路

1、本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种外观缺陷检测方法、装置、视觉检测系统和电子设备，在对缺陷高精度检测的同时，提高检测效率。

2、第一方面，本申请提供了一种外观缺陷检测方法，该方法包括：

3、获取多张第一光场图像，所述第一光场图像包括待测对象，所述多张第一光场图像所对应的光场不同；

4、对所述多张第一光场图像进行通道融合，得到目标图像，所述目标图像包括多通道的光场图像特征；

5、将所述目标图像输入至外观缺陷检测模型，获得所述外观缺陷检测模型输出的所述待测对象的缺陷检测结果；

6、其中，所述外观缺陷检测模型是基于样本图像集训练得到的，所述样本图像集的样本图像为多张样本光场图像进行通道融合后得到的。

7、根据本申请的外观缺陷检测方法，通过将多个光场下的单通道图像进行通道叠加融合，得到能够包含缺陷在不同光场下的特征的目标图像，使得在不同的缺陷类型在目标图像中易于区分，并利用外观缺陷检测模型对目标图像进行检测，能够得到更全面的缺陷检测结果，在实现对不同光场的图像进行同步高精度检测的同时，提高检测效率。

8、根据本申请的一个实施例，所述目标图像基于至少三张所述第一光场图像进行通道融合得到，所述至少三张所述第一光场图像对应的光场包括同轴光场、左光场和右光场。

9、根据本申请的一个实施例，在所述将所述目标图像输入至外观缺陷检测模型之后，所述外观缺陷检测模型对所述目标图像执行以下步骤：

10、对所述目标图像进行像素分割和特征提取，得到所述目标图像中每个像素点的像素特征；

11、对每个像素特征进行分类，生成所述缺陷检测结果并输出。

12、根据本申请的一个实施例，在所述将所述目标图像输入至外观缺陷检测模型之前，所述方法还包括：

13、获取多个包含样本对象的样本图像；

14、根据每个样本图像的缺陷位置信息、缺陷类型和缺陷面积，确定所述每个样本图像的缺陷检测标签；

15、将所述每个样本图像，以及与所述每个样本图像对应的缺陷检测标签进行组合，获取与每个样本图像对应的样本；

16、基于多个样本，构建样本图像集；

17、基于所述样本图像集，构建训练集和验证集；

18、将所述训练集中的训练样本输入至所述外观缺陷检测模型，以对所述外观缺陷检测模型进行训练；

19、将所述验证集中的验证样本输入至训练后的所述外观缺陷检测模型，获取由所述外观缺陷检测模型输出的与验证样本对应的缺陷估算结果；

20、基于预设损失函数，根据所述验证样本的缺陷估算结果和缺陷检测标签计算损失值；

21、在所述损失值小于预设阈值，或对所述外观缺陷检测模型的训练次数达到预设次数的情况下，所述外观缺陷检测模型训练完成。

22、根据本申请的一个实施例，所述对所述多张第一光场图像进行通道融合，得到目标图像，包括：

23、通过halcon机器视觉图像处理系统对所述多张第一光场图像进行通道融合，得到所述目标图像。

24、根据本申请的一个实施例，所述外观缺陷检测模型是基于深度学习分割网络的结构框架训练得到的。

25、根据本申请的一个实施例，所述对所述多张第一光场图像进行通道融合，得到目标图像，还包括：

26、将所述多张第一光场图像进行尺寸归一化；

27、对归一化后的所述多张第一光场图像按目标融合顺序进行合并，得到所述目标图像。

28、第二方面，本申请提供了一种外观缺陷检测装置，该装置包括：

29、获取模块，用于获取多张第一光场图像，所述第一光场图像包括待测对象，所述多张第一光场图像所对应的光场不同；

30、第一处理模块，用于对所述多张第一光场图像进行通道融合，得到目标图像，所述目标图像包括多通道的光场图像特征；

31、第二处理模块，用于将所述目标图像输入至外观缺陷检测模型，获得所述外观缺陷检测模型输出的所述待测对象的缺陷检测结果；

32、其中，所述外观缺陷检测模型是基于样本图像集训练得到的，所述样本图像集的样本图像为多张样本光场图像进行通道融合后得到的。

33、第三方面，本申请提供了一种视觉检测系统，包括：

34、图像采集装置，所述图像采集装置用于采集待测对象的多张第一光场图像；

35、控制器，所述控制器与所述图像采集装置电连接，所述控制器用于执行上述第一方面的外观缺陷检测方法。

36、第四方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的外观缺陷检测方法。

37、第五方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的外观缺陷检测方法。

38、第六方面，本申请提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的外观缺陷检测方法。

39、第七方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的外观缺陷检测方法。

40、本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种外观缺陷检测方法，其特征在于，包括：

2.根据权利要求1所述的外观缺陷检测方法，其特征在于，所述目标图像基于至少三张所述第一光场图像进行通道融合得到，所述至少三张所述第一光场图像对应的光场包括同轴光场、左光场和右光场。

3.根据权利要求1所述的外观缺陷检测方法，其特征在于，在所述将所述目标图像输入至外观缺陷检测模型之后，所述外观缺陷检测模型对所述目标图像执行以下步骤：

4.根据权利要求1所述的外观缺陷检测方法，其特征在于，在所述将所述目标图像输入至外观缺陷检测模型之前，所述方法还包括：

5.根据权利要求1所述的外观缺陷检测方法，其特征在于，所述对所述多张第一光场图像进行通道融合，得到目标图像，包括：

6.根据权利要求1所述的外观缺陷检测方法，其特征在于，所述外观缺陷检测模型是基于深度学习分割网络的结构框架训练得到的。

7.根据权利要求1-6中任一项所述的外观缺陷检测方法，其特征在于，所述对所述多张第一光场图像进行通道融合，得到目标图像，还包括：

8.一种外观缺陷检测装置，其特征在于，包括：

9.一种视觉检测系统，其特征在于，包括：

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述外观缺陷检测方法。

技术总结
本申请公开了一种外观缺陷检测方法、装置、视觉检测系统和电子设备，属于缺陷检测领域。方法包括：获取多张第一光场图像，多张第一光场图像所对应的光场不同；对多张第一光场图像进行通道融合，得到目标图像，目标图像包括多通道的光场图像特征；将目标图像输入至外观缺陷检测模型，获得外观缺陷检测模型输出的待测对象的缺陷检测结果；其中，外观缺陷检测模型是基于样本图像集训练得到的，样本图像集的样本图像为多张样本光场图像进行通道融合后得到的。外观缺陷检测方法通过将多个光场下的单通道图像进行通道叠加融合，得到包含缺陷在不同光场下的特征的目标图像，对目标图像进行检测，进而在实现对缺陷高精度检测的同时，提高检测效率。

技术研发人员：伍雨辰
受保护的技术使用者：深圳市凌云视迅科技有限责任公司
技术研发日：
技术公布日：2024/1/22