一种弹簧缺陷识别方法与流程

本发明涉及弹簧缺陷识别，具体涉及一种弹簧缺陷识别方法。

背景技术：

1、在pcba生产过程中，弹簧主要是通过人工手动插件完成，人在长时间重复性劳动中，容易疲劳、被周围环境干扰，从而导致漏贴、弹簧偏移等情况，其中弹簧偏移(或者偏高)缺陷检测最困难，一直是行业难点，无法有效解决。

2、目前，很多pcb生产厂商对焊锡缺陷的检测手段主要采用的是人工检测、在线测试、自动射线检测以及自动光学检测(automated optical inspection,aoi)。其中aoi是集成光学传感技术、图像处理技术、运动控制技术等多学科技术的新科学技术，具有可靠性高、非接触式检测、易发现大量异常重复出现的缺陷从而预警得到广泛应用。但是目前aoi设备多数采取模板匹配的方法，模板匹配依靠ok模板作为标准来检测焊点质量，判断标准较为单一、呆板，检测的泛化能力差，容易出现大量虚警的情况，大量虚警数据需要人工复检，这失去了检测意义，如何既能检测真正缺陷的数据，又能避免虚警率高的问题一直是热门研究，但目前未有效解决。

技术实现思路

1、针对现有技术中的缺陷，本发明提供一种弹簧缺陷识别方法，包括：

2、获取弹簧图像，根据所述弹簧图像进行目标检测，以识别所述弹簧图像中的弹簧和焊盘，并根据识别结果获取弹簧数据和焊盘数据；

3、根据所述弹簧数据和焊盘数据定位所述弹簧图像中的引脚，并获取引脚数据；

4、根据所述焊盘数据和引脚数据获取焊盘区域图像和引脚区域图像，根据所述焊盘区域图像和引脚区域图像基于深度学习模型进行弹簧缺陷识别。

5、进一步地，所述获取弹簧图像，根据所述弹簧图像进行目标检测，以识别所述弹簧图像中的弹簧和焊盘，并根据识别结果获取弹簧数据和焊盘数据，具体为：

6、获取弹簧图像，将所述弹簧图像输入至神经网络模型中，以基于神经网络模型识别所述弹簧图像中是否存在弹簧；

7、若不存在弹簧，则输出少件缺陷，若存在弹簧，则识别弹簧坐标，以获取弹簧数据，并识别所述弹簧图像中是否存在焊盘；

8、若不存在焊盘，则输出偏移缺陷，若存在焊盘，则识别焊盘坐标，以获取焊盘数据。

9、进一步地，还包括：

10、根据所述弹簧坐标识别左侧弹簧和右侧弹簧，在所述弹簧图像中对左侧弹簧和右侧弹簧分别标注弹簧标识框，并识别左侧弹簧标示框坐标和右侧弹簧标识框坐标；

11、根据所述焊盘坐标在弹簧图像中对所述焊盘标注焊盘标识框，并识别所述焊盘标识框坐标；

12、所述标识框坐标包括每个标识框的左上点横纵坐标、左下点横纵坐标、右上点横纵坐标以及右下点横纵坐标。

13、进一步地，所述根据所述弹簧数据和焊盘数据定位所述弹簧图像中的引脚，并获取引脚数据，包括：

14、当所述弹簧图像中存在同一水平线上的弹簧时，根据所述弹簧数据和焊盘数据定位弹簧图像中的引脚，并计算左侧引脚坐标和右侧引脚坐标，计算公式为：

15、pinleft＝(xsl_1-3,ypad_1-3,xsl_2+3,ypad_2+3)

16、pinright＝(xsr_1-3,ypad_1-3,xsr_2+3,ypad_2+3)

17、其中，pinleft为左侧引脚坐标，pinright为右侧引脚坐标，xsl_1为左侧弹簧标识框的左上点横坐标，ypad_1为焊盘标识框的左上点纵坐标，xsl_2为左侧弹簧标识框的右下点横坐标，ypad_2为焊盘标识框的右下点纵坐标，xsr_1为右侧弹簧缺陷识别框的左上点横坐标，xsr_2为右侧弹簧缺陷识别框的右下点横坐标。

18、进一步地，所述根据所述弹簧数据和焊盘数据定位所述弹簧图像中的引脚，并获取引脚数据，包括：

19、当所述弹簧图像中不存在同一水平线上的弹簧时，根据所述弹簧数据和焊盘数据定位弹簧图像中的引脚，并计算左侧引脚坐标和右侧引脚坐标，计算公式为：

20、pinleft＝(xsl_1-3,ypad_1-3,xsl_2+3,ypad_2+3)

21、pinright＝(xsr_1-t,ysr_1-t,xpad_2+t,ypad_2+t)

22、其中，pinleft为左侧引脚坐标，pinright为右侧引脚坐标，xsl_1为左侧弹簧标识框的左上点横坐标，ypad_1为焊盘标识框的左上点纵坐标，xsl_2为左侧弹簧标识框的右下点横坐标，ypad_2为焊盘标识框的右下点纵坐标，xsr_1为右侧弹簧缺陷识别框的左上点横坐标，ysr_1为右侧弹簧缺陷识别框的左上点纵坐标，xpad_2为焊盘标识框的右下点横坐标，ypad_2为焊盘标识框的右下点纵坐标，t为调整系数。

23、进一步地，所述根据所述焊盘数据和引脚数据获取焊盘区域图像和引脚区域图像，根据所述焊盘区域图像和引脚区域图像基于深度学习模型进行弹簧缺陷识别，具体为：

24、根据所述焊盘坐标和引脚坐标从弹簧图像中截取对应的焊盘区域图像和引脚区域图像；

25、将所述焊盘区域图像和引脚区域图像分别输入至预先构建的深度学习网络模型中，以识别是否存在弹簧缺陷；

26、若存在弹簧缺陷，则输出缺陷数据；

27、若不存在弹簧缺陷，则输出正常数据。

28、进一步地，所述若存在弹簧缺陷，则输出缺陷数据，包括：

29、基于所述深度学习模型采用hsv颜色提取方法，对所述焊盘区域图像进行橙色提取，并计算焊盘橙色区域面积；

30、截取所述焊盘区域图像中间区域设定大小的焊盘局部图像，将所述焊盘局部图像转化为灰度图，并计算灰度值小于设定灰度阈值的焊盘灰度图个数；

31、当所述焊盘橙色区域面积大于设定面积阈值且所述焊盘灰度图个数大于设定个数阈值时，则输出识别结果为少锡缺陷。

32、进一步地，所述若存在弹簧缺陷，则识别弹簧缺陷类型，并输出缺陷数据，还包括：

33、基于所述深度学习模型识别所述焊盘区域图像中是否存在弹簧数据，若不存在，则输出识别结果为虚焊缺陷；

34、截取所述焊盘区域图像设定区域的焊盘左部图像和焊盘右部图像，对所述焊盘左部图像和焊盘右部图像分别进行灰度图转化，并计算灰度值小于设定灰度阈值的焊盘灰度图个数，当所述焊盘灰度图个数大于设定个数阈值时，则输出识别结果为偏移缺陷。

35、进一步地，所述若存在弹簧缺陷，则识别弹簧缺陷类型，并输出缺陷数据，包括：

36、基于所述深度学习模型采用hsv颜色提取方法，对所述引脚区域图像进行橙色提取，并计算引脚橙色区域面积；

37、当所述引脚橙色区域面积大于设定面积阈值时，则输出识别结果为少锡缺陷。

38、进一步地，所述若存在弹簧缺陷，则识别弹簧缺陷类型，并输出缺陷数据，还包括：

39、截取所述引脚区域图像中间区域设定大小的引脚局部图像，将所述引脚局部图像转化为灰度图，并计算灰度值小于设定灰度阈值的引脚灰度图个数；

40、当所述引脚灰度图个数大于设定个数阈值时，则输出识别结果为偏移缺陷。

41、本发明的有益效果体现在：通过神经网络模型检测识别弹簧图像中的弹簧和焊盘，以将整张弹簧图像进行分解，细化图像特征；根据所识别的弹簧和焊盘定位图像中的引脚区域，实现多特征区域并行识别，降低虚警率；截取焊盘区域图像和引脚区域图像，进而基于深度学习模型精准识别弹簧偏移、少锡以及虚焊等缺陷，提高识别准确率，解决焊锡特征难以描述、难以用传统图像处理进行分类等问题，弹簧缺陷识别过程准确可靠，不需要人工复检，降低人力成本。