贴片焊接质量检查方法、装置、设备及存储介质与流程

本申请涉及计算机，尤其涉及一种贴片焊接质量检查方法、装置、设备及存储介质。

背景技术：

1、smt(表面贴装技术)生产流程中的贴片焊接质量检查是指在经过点胶、贴装、回流焊接和清洗后对贴片有效焊接面积、贴片内气泡、贴片偏移量和偏移角度的检查。smt贴片焊接质量检查作为smt基本工艺中必不可少的一环，贴片质量的好坏直接影响到出货率、成品的质量以及企业的利益，因此制造商对于贴片焊接质量检查的要求越来越高。

2、基于模板匹配，blob分析等传统视觉算法的自动光学检测和x-ray(x射线)检测系统，依赖于人工提取图像特征，存在算法泛化性弱，迁移性差，性能不稳定等问题，不适用于全新的、复杂度高的检测场景。

技术实现思路

1、针对上述技术问题，本申请的目的在于提供一种贴片焊接质量检查方法、装置、设备及存储介质，旨在解决传统视觉算法存在传统smt贴片焊接质量检查方法存在泛化性弱，迁移性差，性能不稳定等问题。

2、第一方面，本发明实施例提供一种贴片焊接质量检查方法，其特征在于，包括：

3、获取焊接有贴片的pcb图像；

4、采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述pcb图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；

5、基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；

6、基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；

7、基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；

8、基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。

9、进一步的，所述基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，包括：

10、获取所述检测到的贴片框的中心点和所述检测到的焊盘框的中心点；

11、根据所述检测到的贴片框的中心点确定所述检测到的贴片框的中轴；

12、根据所述检测到的焊盘框的中心点确定所述焊盘框的中轴；

13、将所述焊盘框的中轴作为理想状态下的贴片框的中轴；

14、根据所述检测到的贴片框的中轴和所述理想状态下的贴片框的中轴计算所述检测到的贴片框的偏移角度。

15、进一步的，所述基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，包括：

16、根据所述检测到的贴片框的偏移角度以及所述检测到的贴片框，计算得到理想状态下的贴片框；

17、获取所述理想状态下的贴片框的中心点；

18、计算所述检测到的贴片框的中心点和所述理想状态下的贴片框的中心点之间的位移距离，将所述位移距离作为所述检测到的贴片框的偏移距离。

19、进一步的，所述基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，包括：

20、将所述检测到的焊盘框的区域裁切下来，作为焊盘框图像；

21、基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域；

22、统计所述有效焊接区域的像素个数；

23、获取相机的空间分辨率；

24、将所述有效焊接区域的像素个数乘以所述相机的空间分辨率得到有效焊接区域的实际面积。

25、进一步的，所述基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域，包括：

26、采用laplacian算子对所述焊盘框图像进行处理，得到第一图像；

27、采用sobel算子对所述第一图像进行处理，得到第二图像；

28、采用canny算子对所述第一图像进行处理，得到第三图像；

29、将所述第二图像和所述第三图像进行叠加校验降噪，得到第四图像；

30、基于所述第四图像，采用otsu算法和/或grabcut算法分割得到有效焊接区域。

31、进一步的，所述基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比，包括：

32、采用预先训练好的预先训练好的基于深度学习的实例分割网络对所述有效焊接区域进行分割，得到所述有效焊接区域内的气泡区域；

33、统计所述气泡区域的像素个数；

34、计算所述气泡区域的像素个数与所述有效焊接区域的像素个数的比值，将所述比值作为所述效焊接区域内的气泡所占比。

35、进一步的，在所述获取焊接有贴片的pcb图像的步骤之前，还包括：

36、获取x-ray检测系统输出的pcb板的x-ray图像；其中，所述pcb板上焊接有贴片；

37、将所述pcb板的x-ray图像切割为多个图像，得到多个所述焊接有贴片的pcb图像。

38、第二方面，本发明实施例提供一种贴片焊接质量检查装置，其特征在于，包括：

39、图像获取模块，用于获取焊接有贴片的pcb图像；

40、检测模块，用于采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述pcb图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；

41、贴片框的偏移角度计算模块，用于基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；

42、贴片框的偏移距离计算模块，用于基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；

43、有效焊接区域的实际面积计算模块，用于基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；

44、有效焊接区域内的气泡所占比计算模块，用于基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。

45、第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的贴片焊接质量检查方法的步骤。

46、第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的贴片焊接质量检查方法的步骤。

47、本发明实施例通过采用基于深度学习的贴片以及焊盘检测模型对所述pcb图像进行贴片检测和焊盘检测，并基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。如此，不赖于人工提取图像特征，从而解决了基于模板匹配，blob分析等传统视觉算法泛化性弱，迁移性差，性能不稳定等问题，本发明方法具有更好的稳定性和泛化性，从而适用于全新的、复杂度高的检测场景。

技术特征：

1.一种贴片焊接质量检查方法，其特征在于，包括：

2.根据权利要求1所述的贴片焊接质量检查方法，其特征在于，所述基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，包括：

3.根据权利要求1所述的贴片焊接质量检查方法，其特征在于，所述基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，包括：

4.根据权利要求1所述的贴片焊接质量检查方法，其特征在于，所述基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，包括：

5.根据权利要求4所述的贴片焊接质量检查方法，其特征在于，所述基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域，包括：

6.根据权利要求4或5所述的贴片焊接质量检查方法，其特征在，所述基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比，包括：

7.根据权利要求1所述的贴片焊接质量检查方法，其特征在于，在所述获取焊接有贴片的pcb图像的步骤之前，还包括：

8.一种贴片焊接质量检查装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的贴片焊接质量检查方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的贴片焊接质量检查方法的步骤。

技术总结
本申请涉及计算机技术领域，提供一种贴片焊接质量检查方法、装置、设备及存储介质，方法包括：获取焊接有贴片的PCB图像；采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。本发明具有更好的稳定性和泛化性，从而适用于全新的、复杂度高的检测场景。

技术研发人员：茹彬鑫,狄东林,康佩伦,赵晨旭,季聪
受保护的技术使用者：深圳市识渊科技有限公司
技术研发日：
技术公布日：2024/1/12