一种多种照明融合识别定位焊盘的处理方法及系统与流程

1.本发明涉及图像识别技术领域，特别涉及一种多种照明融合识别定位焊盘的处理方法及系统。


背景技术：

2.目前，焊接机(例如：锡焊焊接机和激光焊接机等)对焊盘进行焊接时，需要人工识别焊接位置(例如：焊点和焊孔等)，一一输入焊接机，焊接机基于人工输入的焊接位置进行焊接作业，人力成本较大，无法实现完全自动化焊接。
3.因此，亟需一种解决办法。


技术实现要素：

4.本发明目的之一在于提供了一种多种照明融合识别定位焊盘的处理方法及系统，代替人工识别焊盘上的焊接位置，实现完全自动化焊接，极大程度上降低了人力成本。
5.本发明实施例提供的一种多种照明融合识别定位焊盘的处理方法，包括：
6.步骤1：在带有焊盘的产品的底部提供红外辐射源；
7.步骤2：分别获取产品的正面的红外图像和可见光图像；
8.步骤3：对红外图像和可见光图像进行图像融合处理，获得融合图像；
9.步骤4：基于模板匹配技术，根据融合图像，对产品上的焊盘进行识别定位。
10.优选的，红外辐射源包括：玻璃封装波长滤波器的电热灯丝、红外led或led阵列的发射源和红外激光器和透镜组成的发射源中一种或多种结合。
11.优选的，步骤2：分别获取产品的正面的红外图像和可见光图像，包括：
12.通过红外相机获取产品的正面的红外图像；
13.通过ccd相机获取产品的正面的可见光图像。
14.优选的，步骤3：对红外图像和可见光图像进行图像融合处理，获得融合图像，包括：
15.基于预设的融合规则，对红外图像和可见光图像进行图像融合处理，获得融合图像。
16.优选的，步骤4：基于模板匹配技术，根据融合图像，对产品上的焊盘进行识别定位，包括：
17.获取预设的焊盘识别模板库，焊盘识别模板库包括：多组一一对应的第一模板图像和第一识别分类结果；
18.将融合图像与第一模板图像进行匹配；
19.若匹配符合，确定融合图像中匹配符合的图像块，将匹配符合的第一模板图像对应的第一识别分类结果标记于图像块旁。
20.优选的，多种照明融合识别定位焊盘的处理方法，还包括：
21.每隔预设的时间间隔，对焊盘识别模板库进行扩充；
22.其中，对焊盘识别模板库进行扩充，包括：
23.获取多个补入内容；
24.依次遍历补入内容；
25.每次遍历时，从遍历到的补入内容中提取第二模板图像和第二识别分类结果；
26.基于预设的第一特征提取模板，对第二模板图像进行特征提取，获得多个第一特征值；
27.基于第一特征值，构建第二模板图像的第一图像特征描述向量；
28.获取焊盘识别模板库中与第二识别分类结果相同的第一识别分类结果对应的第一模板图像的历史匹配符合情况；
29.基于预设的第二特征提取模板，对历史匹配符合情况进行特征提取，获得多个第二特征值；
30.基于第二特征值，构建历史匹配符合情况的第一情况描述向量；
31.获取预设的匹配符合情况评价库；
32.从匹配符合情况评价库中确定第一情况描述向量对应的第一评价值；
33.若评价值大于等于预设的第一评价值阈值，基于第一特征提取模板，对相应第一模板图像进行特征提取，获得多个第三特征值；
34.基于第三特征值，构建相应第一模板图像的第二图像特征描述向量；
35.计算第一图像特征描述向量与任一第二图像特征描述向量的向量相似度；
36.若向量相似度大于等于预设的向量相似度阈值，将遍历到的补入内容补入至焊盘识别模板库中。
37.优选的，获取多个补入内容，包括：
38.从本地获取多个第一预补入内容；
39.获取第一预补入内容的发布人的经验值；
40.若经验值大于等于预设的经验值阈值，将对应第一预补入内容作为补入内容；
41.和/或，
42.从大数据平台上获取多个第二预补入内容；
43.获取大数据平台对第二预补入内容的可信性进行担保的担保情况；
44.基于预设的第三特征提取模板，对担保情况进行特征提取，获得多个第四特征值；
45.基于第四特征值，构建担保情况的第二情况描述向量；
46.获取预设的担保情况评价库；
47.从担保情况评价库中确定第二情况描述向量对应的第二评价值；
48.若第二评价值大于等于预设的第二评价值阈值，将对应第二预补入内容作为补入内容。
49.本发明实施例提供的一种多种照明融合识别定位焊盘的处理系统，包括：
50.提供模块，用于在带有焊盘的产品的底部提供红外辐射源；
51.获取模块，用于分别获取产品的正面的红外图像和可见光图像；
52.处理模块，用于对红外图像和可见光图像进行图像融合处理，获得融合图像；
53.定位模块，用于基于模板匹配技术，根据融合图像，对产品上的焊盘进行识别定位。
54.优选的，红外辐射源包括：玻璃封装波长滤波器的电热灯丝、红外led或led阵列的发射源和红外激光器和透镜组成的发射源中一种或多种结合。
55.优选的，获取模块分别获取产品的正面的红外图像和可见光图像，包括：
56.通过红外相机获取产品的正面的红外图像；
57.通过ccd相机获取产品的正面的可见光图像。
58.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
59.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
60.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
61.图1为本发明实施例中一种多种照明融合识别定位焊盘的处理方法的示意图；
62.图2为本发明实施例中的预设的融合规则的示意图；
63.图3为本发明实施例中的反色、增强处理后红外图像；
64.图4为本发明实施例中的ccd图像；
65.图5为本发明实施例中的权重图；
66.图6为本发明实施例中的最终得到的融合图像；
67.图7为本发明实施例中一种多种照明融合识别定位焊盘的处理系统的示意图。
具体实施方式
68.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
69.本发明实施例提供了一种多种照明融合识别定位焊盘的处理方法，如图1所示，包括：
70.步骤1：在带有焊盘的产品的底部提供红外辐射源；
71.步骤2：分别获取产品的正面的红外图像和可见光图像；
72.步骤3：对红外图像和可见光图像进行图像融合处理，获得融合图像；
73.步骤4：基于模板匹配技术，根据融合图像，对产品上的焊盘进行识别定位。
74.上述技术方案的工作原理及有益效果为：
75.红外辐射源为带有焊盘的产品提供更好的红外辐射。分别获取产品的正面的红外图像和可见光图像，进行图像融合处理。基于模板匹配技术，根据融合图像，对产品上的焊盘进行识别定位。可应用于自动锡焊焊接机(包括激光焊接)中自动识别焊盘位置并完成自动焊接，特别是对fpc上锡后的焊盘来说，可以更好地提高识别准确率，因为焊盘上锡后，其高度、宽度、长度乃至形状都有了变化，在ccd成像的时候，由于高度的变化，每个焊盘的阴影同样出现较大的差异，导致常用的模板匹配识别方法的识别准确率不高，本技术对红外图像和可见光图像进行图像融合处理，再利用模板匹配识别方法，提升识别准确率。
76.本技术代替人工识别焊盘上的焊接位置，实现完全自动化焊接，极大程度上降低
了人力成本。
77.本发明实施例提供了一种多种照明融合识别定位焊盘的处理方法，红外辐射源包括：玻璃封装波长滤波器的电热灯丝、红外led或led阵列的发射源和红外激光器和透镜组成的发射源中一种或多种结合。
78.上述技术方案的工作原理及有益效果为：
79.红外辐射源可以为玻璃封装波长滤波器的电热灯丝、红外led或led阵列的发射源和红外激光器和透镜组成的发射源中一种或多种结合。
80.本发明实施例提供了一种多种照明融合识别定位焊盘的处理方法，步骤2：分别获取产品的正面的红外图像和可见光图像，包括：
81.通过红外相机获取产品的正面的红外图像；
82.通过ccd相机获取产品的正面的可见光图像。
83.上述技术方案的工作原理及有益效果为：
84.红外图像可以由红外相机拍摄获取，可见光图像可以由ccd相机拍摄获取。
85.本发明实施例提供了一种多种照明融合识别定位焊盘的处理方法，步骤3：对红外图像和可见光图像进行图像融合处理，获得融合图像，包括：
86.基于预设的融合规则，对红外图像和可见光图像进行图像融合处理，获得融合图像。
87.上述技术方案的工作原理及有益效果为：
88.预设的融合规则具体为：(1)对红外图像进行反色、增强处理后与可见光图像一起用梯度来约束计算获得预融合图像；(2)使用低秩分解的图像融合算法(mdlatlrr，预融合图像经图像分解算法)分解预融合图像得到基础层；(3)再使用局部结构相似性算法(局部ssim)对预融合图像和红外光图像得到相似度指数a，对预融合图像和可见光图像得到相似度指数b，示意图如图2所示；(4)整幅图像的像素只保留相似度指数大的位置(通过相似度指数a-b判断)，得到一个权重图；(5)使用mdlatlrr分解可见光图像得到的可见光细节层与权重图融合；(6)使用mdlatlrr分解红外图像得到的红外光细节与上一步得到的加权可见光细节使用不同系数求和，得到融合细节层；(7)把第(2)步的基础层与上一步的融合细节层简单相加生成最后的融合图像。
89.图3为反色、增强处理后红外图像。图4为ccd图像。图5为(4)中得到的权重图。图6为最终得到的融合图像。
90.本发明实施例提供了一种多种照明融合识别定位焊盘的处理方法，步骤4：基于模板匹配技术，根据融合图像，对产品上的焊盘进行识别定位，包括：
91.获取预设的焊盘识别模板库，焊盘识别模板库包括：多组一一对应的第一模板图像和第一识别分类结果；
92.将融合图像与第一模板图像进行匹配；
93.若匹配符合，确定融合图像中匹配符合的图像块，将匹配符合的第一模板图像对应的第一识别分类结果标记于图像块旁。
94.上述技术方案的工作原理及有益效果为：
95.多组一一对应的第一模板图像和第一识别分类结果具体为：例如，第一模板图像为焊孔图像，第一识别分类结果为焊孔。将融合图像与第一模板图像进行匹配，若匹配符
合，将匹配符合的第一模板图像对应的第一识别分类结果标记于图像块旁，实现识别定位。
96.本发明实施例提供了一种多种照明融合识别定位焊盘的处理方法，步骤4：基于模板匹配技术，根据融合图像，对产品上的焊盘进行识别定位，包括：
97.获取预设的焊盘识别模板库，焊盘识别模板库包括：多组一一对应的第一模板图像和第一识别分类结果；
98.将融合图像与第一模板图像进行匹配；
99.若匹配符合，确定融合图像中匹配符合的图像块，将匹配符合的第一模板图像对应的第一识别分类结果标记于图像块旁。
100.上述技术方案的工作原理及有益效果为：
101.第一模板图像和第一识别分类结果具体为：用于识别焊盘上各区域类型的模板图像和对应识别分类的类型，例如：焊孔图像和类型为焊孔。将融合图像与第一模板图像进行匹配，匹配时，将第一模板图像在融合图像上随机位移，将第一模板图像与融合图像中第一模板图像位移至的所在区域的区域图像进行匹配，若匹配符合，将第一模板图像位移至的所在区域的区域图像作为融合图像中匹配符合的图像块。当存在匹配符合时，将匹配符合的第一模板图像对应的第一识别分类结果标记于图像块旁。提升了图像识别的精准性和识别效率。
102.本发明实施例提供了一种多种照明融合识别定位焊盘的处理方法，还包括：
103.每隔预设的时间间隔，对焊盘识别模板库进行扩充；
104.其中，对焊盘识别模板库进行扩充，包括：
105.获取多个补入内容；
106.依次遍历补入内容；
107.每次遍历时，从遍历到的补入内容中提取第二模板图像和第二识别分类结果；
108.基于预设的第一特征提取模板，对第二模板图像进行特征提取，获得多个第一特征值；
109.基于第一特征值，构建第二模板图像的第一图像特征描述向量；
110.获取焊盘识别模板库中与第二识别分类结果相同的第一识别分类结果对应的第一模板图像的历史匹配符合情况；
111.基于预设的第二特征提取模板，对历史匹配符合情况进行特征提取，获得多个第二特征值；
112.基于第二特征值，构建历史匹配符合情况的第一情况描述向量；
113.获取预设的匹配符合情况评价库；
114.从匹配符合情况评价库中确定第一情况描述向量对应的第一评价值；
115.若评价值大于等于预设的第一评价值阈值，基于第一特征提取模板，对相应第一模板图像进行特征提取，获得多个第三特征值；
116.基于第三特征值，构建相应第一模板图像的第二图像特征描述向量；
117.计算第一图像特征描述向量与任一第二图像特征描述向量的向量相似度；
118.若向量相似度大于等于预设的向量相似度阈值，将遍历到的补入内容补入至焊盘识别模板库中。
119.上述技术方案的工作原理及有益效果为：
120.对焊盘进行识别定位时，依赖于焊盘识别模板库，焊盘识别模板库的质量直接决定对焊盘进行识别定位的效果。因此，需要对焊盘识别模板库进行定时扩充。
121.获取补入内容，补入内容中有第二模板图像和第二识别分类结果。基于预设的第一特征提取模板，对第二模板图像进行特征提取，获得多个第一特征值，第一特征值具体为：图像的灰度等级、图像的清晰度和图像的对比度等。基于第一特征值，构建第一图像特征描述向量，第一特征提取模板为了适配于提取这类第二特征值预先制定的模板。
122.一般的，焊盘识别模板库中经常被匹配符合的第一模板图像具备用作模板图像的要求，例如：经常被匹配符合的第一模板图像的灰度等级与融合图像的灰度等级接近，便于匹配确认。
123.因此，获取焊盘识别模板库中与第二识别分类结果相同的第一识别分类结果对应的第一模板图像的历史匹配符合情况，历史匹配符合情况具体为：第一模板图像历史上被匹配符合的次数和每次匹配符合的匹配符合度等。引入预设的第二特征提取模板，对历史匹配符合情况进行特征提取，获得多个第二特征值，第二特征值具体为：历史上被匹配符合的次数和每次匹配符合的匹配符合度，第二特征提取模板为了适配于提取这类第二特征值预先制定的模板。基于第二特征值，构建第一情况描述向量。引入预设的匹配符合情况评价库，匹配符合情况评价库中包含第一情况描述向量对应的第一评价值，一般的，历史上被匹配符合的次数越多和每次匹配符合的匹配符合度越大，说明第一模板图像越具备用作模板图像的要求，构建的第一情况描述向量对应的第一评价值越大。从匹配符合情况评价库中确定第一情况描述向量对应的第一评价值，若第一评价值大于等于预设的第一评价值阈值，说明对应第一模板图像足够具备用作模板图像的要求，基于第一特征提取模板，对相应第一模板图像进行特征提取，获得多个第三特征值，第三特征值具体为：图像的灰度等级、图像的清晰度和图像的对比度等。基于第三特征值，构建第二图像特征描述向量。
124.计算第一图像特征描述向量与任一第二图像特征描述向量的向量相似度，若向量相似度大于等于预设的向量相似度阈值，说明补入内容中第二模板图像足够具备用作模板图像的要求，将对应补入内容补入焊盘识别模板库，实现扩充。
125.本技术对焊盘识别模板库进行扩充，充分保证利用模板匹配对融合图像进行焊盘识别定位的识别精准性和识别效率，另外，对补入内容进行筛选，保证补入内容足够具备用作模板图像的要求，极大程度上提升了焊盘识别模板库的扩充质量，另外，用作模板图像的要求基于相同识别分类结果的第一模板的历史匹配情况确定，提升了适用性。
126.本发明实施例提供了一种多种照明融合识别定位焊盘的处理方法，获取多个补入内容，包括：
127.从本地获取多个第一预补入内容；
128.获取第一预补入内容的发布人的经验值；
129.若经验值大于等于预设的经验值阈值，将对应第一预补入内容作为补入内容；
130.和/或，
131.从大数据平台上获取多个第二预补入内容；
132.获取大数据平台对第二预补入内容的可信性进行担保的担保情况；
133.基于预设的第三特征提取模板，对担保情况进行特征提取，获得多个第四特征值；
134.基于第四特征值，构建担保情况的第二情况描述向量；
135.获取预设的担保情况评价库；
136.从担保情况评价库中确定第二情况描述向量对应的第二评价值；
137.若第二评价值大于等于预设的第二评价值阈值，将对应第二预补入内容作为补入内容。
138.上述技术方案的工作原理及有益效果为：
139.补入内容的获取方式有两种：
140.第一种，从本地获取。本地中存储有不同发布人发布的第一预补入内容，发布人为工作人员，第一预补入内容里有模板图像和识别分类结果，工作人员预先收集不同焊盘上不同区域图像的类型。发布人的经验值代表着发布人收集不同焊盘上不同区域图像的类型的能力和经验丰富程度等。若经验值大于等于预设的经验值阈值，将对应第一预补入内容作为补入内容。提升补入内容的质量。
141.第二种，从大数据平台获取。大数据平台用于实现不同使用到焊盘定位识别的厂商之间的数据共享，从大数据平台上获取第二预补入内容，第二预补入内容里有模板图像和识别分类结果。大数据平台对第二预补入内容的可信性进行担保，担保情况具体为：担保力度和担保时长等。基于预设的第三特征提取模板，对担保情况进行特征提取，获得多个第四特征值，第四特征值具体为：担保力度和担保时长等，第三特征提取模板为了适配于提取这类第四特征值预先制定的模板。引入预设的担保情况评价库，担保情况评价库中包含第二情况描述向量对应的第二评价值，一般的，担保力度越大和担保时长越久，说明对应第二预补入内容的可信性越高，构建的第二情况描述向量对应的第二评价值越大。从担保情况评价库中确定第二情况描述向量对应的第二评价值，若第二评价值大于等于预设的第二评价值阈值，将对应第二预补入内容作为补入内容。提升补入内容的质量。
142.本发明实施例提供了一种多种照明融合识别定位焊盘的处理系统，如图7所示，包括：
143.提供模块1，用于在带有焊盘的产品的底部提供红外辐射源；
144.获取模块2，用于分别获取产品的正面的红外图像和可见光图像；
145.处理模块3，用于对红外图像和可见光图像进行图像融合处理，获得融合图像；
146.定位模块4，用于基于模板匹配技术，根据融合图像，对产品上的焊盘进行识别定位。
147.本发明实施例提供了一种多种照明融合识别定位焊盘的处理系统，红外辐射源包括：玻璃封装波长滤波器的电热灯丝、红外led或led阵列的发射源和红外激光器和透镜组成的发射源中一种或多种结合。
148.本发明实施例提供了一种多种照明融合识别定位焊盘的处理系统，获取模块2分别获取产品的正面的红外图像和可见光图像，包括：
149.通过红外相机获取产品的正面的红外图像；
150.通过ccd相机获取产品的正面的可见光图像。
151.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。