一种基于3D视觉传感的电子料盘贴标纠偏系统及方法与流程

一种基于3d视觉传感的电子料盘贴标纠偏系统及方法
技术领域
1.本发明属于视觉纠偏检测技术领域，涉及一种基于3d视觉传感的电子料盘贴标纠偏系统及方法。


背景技术：

2.电子物料是组成电子产品的最基本元件，通常采用smt贴片技术将电子元器件贴装到pcba基板上；电子物料种类繁多，通常被缠绕在塑料圆盘上进行存放，电学领域称之为电子料盘；电子料盘上会贴有标签以便于使用人员进行区别以及使用，贴标位置一般有两处，两处贴标位置分别有规定的位置，一般来料已有一处贴标，另一处待贴标，待贴标的位置的准确性就需要通过纠偏处理来保证其准确性，关于待贴标的位置，传统2d算法只需识别已贴标签位置，另一处贴标位置相对已知，并添加伺服纠偏机构，从而实现贴标位置纠偏，让贴标机精准贴标，然而传统2d视觉算法实现必须拍整体进行静止采图，然后计算已贴标签位置，此过程需要的视野大且容易受环境光干扰，并需要人工按个上料，工作流程繁琐且浪费人力，总体流水线节拍慢，无法满足快节奏生产需求，并难以区分不同尺寸料盘，甚至再增加辅助机构。
3.针对上述问题，授权公告号为cn110002070b的中国发明专利申请，公开了基于视觉纠偏的电子元件全自动贴标设备，包括第一传输机构、第二传输机构、第三传输机构以及贴标装置，所述第一传输机构、所述第二传输机构以及所述第三传输机构依次相连接，所述贴标装置位于所述第二传输机构上，所述第一传输机构设有扫描组件，所述第三传输机构设有检测组件，所述扫描组件与所述贴标装置通信连接，利用所述扫描组件获取电路板上的母码，利用所述贴标装置对电路板贴上与母码对应的字码标签，再通过所述检测组件对贴标后的标签的位置和正反极性进行视觉纠偏检测，实现了对电路板的自动贴标，具有效率高、贴标精度高等优点，然而该技术方案中，通过第一检测相机与第二检测相机对粘贴的标签位置的准确性进行检测，将标签贴偏的电子元件信息传输给控制系统，仅仅是将标签贴偏的电子元件分类出来并没有进行纠偏的程序，且需要对电子元件进行拦截再逐一扫描，整体流水线节拍慢，生产效率偏低，且不能区分不同尺寸大小种类的电子元件，应用范围窄。


技术实现要素：

4.本发明的目的是克服现有技术的不足而提供一种使生产线生产效率提高、纠偏的准确度提高、应用的范围增大的基于3d视觉传感的电子料盘贴标纠偏系统及方法。
5.本发明采用的技术方案如下：
6.一种基于3d视觉传感的电子料盘贴标纠偏系统，包括控制系统以及与所述控制系统通信连接的第一上料机构、3d视觉传感器、蜘蛛手机器人、第二上料机构以及多个贴标设备；
7.所述第一上料机构将装有电子料盘的料盘箱运输至预设定位置；
8.所述3d视觉传感器设置于所述第一上料机构一固定位的上方，用以拍摄所述料盘箱以及料盘箱内的电子料盘形成图像，并获取电子料盘图像中电子料盘表面的点云数据；
9.所述控制系统获取所述3d视觉传感器上传的图像以及点云数据，并控制第一上料机构、蜘蛛手机器人、第二上料机构以及贴标设备的运行；
10.所述蜘蛛手机器人设置于与所述3d视觉传感器位置相对应的第一上料机构的上方，所述蜘蛛手机器人根据所述控制系统发出的控制指令，将所述电子料盘抓取到第二上料机构上按照规定的摆放方式放置到预设位置处；
11.所述第二上料机构设置于与3d视觉传感器位置对应的第一上料机构的一侧，所述第二上料机构用于输送所述蜘蛛手机器人从所述料盘箱中抓取后的电子料盘；
12.所述贴标设备设置在第二上料机构的一侧，并根据所述控制系统发出的控制指令对所述电子料盘贴标签；
13.所述控制系统包括处理器模块以及存储模块，所述存储模块，用于存储各个尺寸的电子料盘的数据资料以及各个尺寸的电子料盘的正确贴标位置的数据、以及控制程序，所述处理器模块用于执行所述控制程序，以对电子料盘进行纠偏。
14.与现有技术相比，本发明的有益效果是：
15.1、本发明在控制系统中存储存储模块，再通过3d视觉传感器进行扫描获取坐标信息，将需纠偏的电子料盘上的已贴标签坐标与需纠偏的电子料盘中心的坐标的向量与存储模块中进行对比，确定纠偏角度，通过已贴标签中心位置坐标y轴与模板中已贴标签中心位置坐标y轴对比，确定纠偏角度的方向，最后控制系统整合纠偏数据后通过tcp/ip通讯协议发送信号给蜘蛛手机器人进行抓取以及纠偏，纠偏程序迅速且准确，有利于生产效率的提高，避免仅是将标签贴偏的电子元件分类识别出来不设纠偏的程序进行纠偏，影响流水线上的生产效率；
16.2、本发明通过3d视觉传感器对需纠偏的电子料盘进行扫描获取到表面点云数据后，控制系统提取出中心坐标和直径，与存储模块进行对比后识别出不同尺寸大小的电子料盘，使得该系统可以区分不同尺寸大小种类的电子料盘，避免仅能识别单一的电子元件导致应用范围窄。
17.进一步，所述第一上料机构的上方设置有支撑架，所述支撑架包括四足支撑框架以及固定在四足支撑框架顶部的顶板，所述蜘蛛手机器人以及3d视觉传感器均安装在所述顶板的下侧面。
18.进一步，所述第二上料机构垂直于所述第一上料机构设置。
19.进一步，所述第一上料机构输送放在料盘箱中的需纠偏的电子料盘，所述第二上料机构输送所述蜘蛛手机器人已抓取纠偏的电子料盘。
20.一种基于3d视觉传感的电子料盘贴标纠偏方法，所述纠偏方法基于权利要求1所述的基于3d视觉传感的电子料盘贴标纠偏系统执行存储模块的控制程序，所述控制程序主线程以及子线程；
21.所述主线程中处理器执行的控制程序为：控制系统向第一上料机构发出指令，使第一上料机构将放在料盘箱传送至3d视觉传感器的扫描范围内，扫描后获取电子料盘表面的点云数据；
22.从点云数据中提取出电子料盘的边界点云进行拟合，计算出电子料盘的中心坐标
和直径，与存储模块中存储的数据进行对比识别不同尺寸的电子料盘；
23.所述子线程中处理器执行的控制程序为：根据3d视觉传感器扫描后获取的图像，控制系统控制3d视觉传感器的左相机曝光获取到合适亮度的图像；
24.根据图像定位已贴标签的位置，通过点云数据识别已贴标签的质心并计算出其质心的三维坐标点；
25.通过计算电子料盘中心坐标到已贴标签中心坐标的向量，与存储模块中的向量的夹角确定纠偏角度，根据已贴标签中心位置坐标y轴相对于电子料盘中心位置坐标y轴的方向，确定纠偏角度的正负，正负代表纠偏角度的顺逆方向；
26.主线程将子线程计算出的纠偏角度由控制系统通过tcp/ip通讯协议实时发送指令给蜘蛛手机器人进行抓取纠偏。
27.进一步，所述主线程的具体方法包括：扫描、识别、分类、发送纠偏角度；
28.步骤s1、扫描，通过3d视觉传感器扫描电子料盘获取电子料盘表面点云数据；
29.步骤s2、识别，通过点云去噪以及点云分割提取电子料盘的边界数据进行拟合，拟合后计算出电子料盘的中心坐标和直径；
30.步骤s2识别的具体步骤如下：
31.步骤s21、通过点云去噪从点云数据中识别出电子料盘的边界的离散点云数值；
32.步骤s22、通过点云分割将离散点云数值外的点云进行消除；
33.步骤s23、将边界的离散点云数值进行圆拟合，形成电子料盘的点云数据；
34.步骤s24、通过拟合后的电子料盘的点云数据，计算出电子料盘的中心坐标和直径；
35.步骤s3、分类，将计算出的电子料盘中心的坐标和直径，与存储模块中的数据进行对比，得出对应尺寸的电子料盘。
36.进一步，所述子线程的具体方法包括：坐标计算、向量对比、确定纠偏角度；
37.步骤s4、坐标计算，经3d视觉传感器扫描获取点云后，自动调节所述3d视觉传感器的左相机曝光获取合适亮度图像，通过其ai粗定位已贴标签大概位置，再通过图像处理精定位，计算已贴标签区域的点，通过有序点云映射，从点云数据中获取已贴标签的点云数据范围并识别标签质心，获取已贴标签质心的三维坐标点；
38.步骤s5、向量对比，计算需纠偏的电子料盘中心到已贴标签中心的数值向量，与存储模块中的数值向量进行对比，得出夹角，确定纠偏的角度大小；
39.步骤s6、确定纠偏角度，将已贴标签中心位置坐标y轴与存储模块中已贴标签中心位置坐标y轴进行对比，确定纠偏角度的方向，如果两者y坐标相减为负，则纠偏角度为负，如果两者y坐标相减为正，则纠偏角度为正；
40.步骤s7、发送纠偏角度，基于步骤s4、s5以及s6，主线程将子线程计算出的纠偏角度以及纠偏方向由控制系统通过tcp/ip通讯协议发送至蜘蛛手机器人进行抓取以及纠偏。
41.进一步，所述步骤s4、坐标计算的另一处理方法，经3d视觉传感器扫描后，未扫描到电子料盘表面的点云数据以及图像，处理器模块发送识别为空箱的信号给控制系统，控制系统向第一上料机构发送向前传输的信号，所述第一上料机构向前传送将空的料盘箱传送出3d视觉传感器的扫描范围并将下一个放满需纠偏的电子料盘的料盘箱传送至3d视觉传感器的扫描范围内，由此重复进行控制程序的主线程以及子线程的程序进行贴标纠偏，
空的料盘箱一直向前传输直至脱离传送带，由工作人员收回空箱。
42.总之，本发明具有使生产线生产效率提高、纠偏的准确度提高、应用的范围增大的优点。
附图说明
43.图1为本发明的纠偏系统流程图。
44.图2为本发明纠偏装置的立体结构示意图。
45.图3为图2的后视图。
46.图4为图2的左视图。
47.图中，1、蜘蛛手机器人，2、3d视觉传感器，3、电子料盘，4、第二上料机构，5、第一上料机构，6、四足支撑框架，7、顶板，8、料盘箱。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.如图1以及图2所示，一种基于3d视觉传感的电子料盘贴标纠偏系统，包括：控制系统以及与所述控制系统通信连接的第一上料机构5、3d视觉传感器2、蜘蛛手机器人1、第二上料机构4以及多个贴标设备；
50.所述第一上料机构5将装有电子料盘3的料盘箱8运输至预设定位置；
51.所述3d视觉传感器2设置于所述第一上料机构5一固定位的上方，用以拍摄所述料盘箱8以及料盘箱8内的电子料盘3形成图像，并获取电子料盘3图像中电子料盘3表面的点云数据；
52.所述控制系统获取所述3d视觉传感器2上传的图像以及点云数据，并控制第一上料机构5、蜘蛛手机器人1、第二上料机构4以及贴标设备的运行；
53.所述蜘蛛手机器人1设置于与所述3d视觉传感器3位置相对应的第一上料机构的上方，所述蜘蛛手机器人1根据所述控制系统发出的控制指令，将所述电子料盘3抓取到第二上料机构4上按照规定的摆放方式放置到预设位置处；
54.所述第二上料机构4设置于与3d视觉传感器3位置对应的第一上料机构5的一侧，所述第二上料机构4用于输送所述蜘蛛手机器人1从所述料盘箱8中抓取后的电子料盘3；
55.所述贴标设备设置在第二上料机构4的一侧，并根据所述控制系统发出的控制指令对所述电子料盘3贴标签；
56.所述控制系统包括处理器模块以及存储模块，所述存储模块，用于存储各个尺寸的电子料盘3的数据资料以及各个尺寸的电子料盘3的正确贴标位置的数据、以及控制程序，所述处理器模块用于执行所述控制程序，以对电子料盘3进行纠偏。
57.如图2、图3以及图4所示，所述第一上料机构5的上方设置有支撑架，所述支撑架包括四足支撑框架6以及固定在四足支撑框架6顶部的顶板7，所述蜘蛛手机器人1以及3d视觉传感器2均安装在所述顶板7的下侧面，所述第二上料机构4垂直于所述第一上料机构5设
置，所述第一上料机构5输送放在料盘箱8中的需纠偏的电子料盘3，所述第二上料机构4输送所述蜘蛛手机器人1已抓取纠偏的电子料盘3，所述蜘蛛手机器人1设置在所述顶板7的中心，所述3d视觉传感器2设置在所述蜘蛛手机器人1的左侧，所述蜘蛛手机器人1、3d视觉传感器2、第一上料机构5、第二上料机构4均与控制系统通讯连接，所述3d视觉传感器2对放置在第一上料机构5上的料盘箱8中的需纠偏的电子料盘3进行扫描后生成点云数据，将点云数据传送给控制系统，控制系统根据点云数据统计出纠偏角度以及方向后，所述纠偏角度以及方向由控制系统通过tcp/ip通讯协议传输给蜘蛛手机器人1进行抓取纠偏的指令。
58.如图1以及图2所示，一种基于3d视觉传感的电子料盘贴标纠偏方法，所述纠偏方法基于权利要求1所述的基于3d视觉传感的电子料盘贴标纠偏系统执行存储模块的控制程序，其特征在于，所述控制程序主线程以及子线程；
59.所述主线程中处理器执行的控制程序为：控制系统向第一上料机构5发出指令，使第一上料机构5将放在料盘箱8传送至3d视觉传感器2的扫描范围内，扫描后获取电子料盘3表面的点云数据；
60.从点云数据中提取出电子料盘3的边界点云进行拟合，计算出电子料盘3的中心坐标和直径，与存储模块中存储的数据进行对比识别不同尺寸的电子料盘3；
61.所述子线程中处理器执行的控制程序为：根据3d视觉传感器2扫描后获取的图像，控制系统控制3d视觉传感器2的左相机曝光获取到合适亮度的图像；
62.根据图像定位已贴标签的位置，通过点云数据识别已贴标签的质心并计算出其质心的三维坐标点；
63.计算质心三维坐标点是通过第三方开源点云处理库pcl中算子pc1：：compute3dcentroid()计算点云质心，计算公式如下：
[0064][0065]
通过计算电子料盘3中心坐标到已贴标签中心坐标的向量，与存储模块中的向量的夹角确定纠偏角度，根据已贴标签中心位置坐标y轴相对于电子料盘3中心位置坐标y轴的方向，确定纠偏角度的正负，正负代表纠偏角度的顺逆方向；
[0066]
向量的计算公式为：已知点a(x1，y1，z1)，b(x2，y2，z2)，ab的方向向量为：(x
2-x1，y
2-y1，z
2-z1)，的单位向量(xm，ym，zm)为：
[0067][0068][0069][0070]
和的夹角θ计算公式为：
[0071][0072]
其中θ的取值范围是：[0，π]；
[0073]
主线程将子线程计算出的纠偏角度由控制系统通过tcp/ip通讯协议实时发送指令给蜘蛛手机器人1进行抓取纠偏。
[0074]
如图1所示，所述主线程的具体方法包括：扫描、识别、分类、发送纠偏角度；
[0075]
步骤s1、扫描，通过3d视觉传感器2扫描电子料盘3获取电子料盘3表面点云数据；
[0076]
步骤s2、识别，通过点云去噪以及点云分割提取电子料盘3的边界数据进行拟合，拟合后计算出电子料盘3的中心坐标和直径；
[0077]
步骤s2中，计算电子料盘3的中心坐标的计算方法使用迭代重加权最小二乘法(irls)，一定程度上解决离群点过多最小二乘法拟合不准的问题，有两个权重函数，分别是huber权重函数、tukey权重函数。
[0078]
tukey权重函数为
[0079][0080]
tukey权重函数为
[0081][0082]
基于irls方法拟合圆公式为
[0083]
圆的方程式为
[0084]
(x-a)2+(y-b)2＝c2
ꢀꢀꢀꢀ
(3)
[0085]
建立最小化误差函数e
[0086][0087]
其中，a＝-2a，b＝-2b，c＝a2+b
2-c2[0088]
引入距离权值wi
[0089][0090]
对a，b，c求导
[0091]
[0092][0093][0094][0095]
变换矩阵形式为
[0096][0097]
通过上式可求解出a、b、c，再进而求解出a、b、c
[0098]
在进行第一次迭代时，采用标准的最小二乘法进行拟合圆，即wi＝1；
[0099]
步骤s2识别的具体步骤如下：
[0100]
步骤s21、通过点云去噪从点云数据中识别出电子料盘3的边界的离散点云数值；
[0101]
步骤s22、通过点云分割将离散点云数值外的点云进行消除；
[0102]
步骤s23、将边界的离散点云数值进行圆拟合，形成电子料盘3的点云数据；
[0103]
步骤s24、通过拟合后的电子料盘3的点云数据，计算出电子料盘3的中心坐标和直径；
[0104]
步骤s3、分类，将计算出的电子料盘3中心的坐标和直径，与存储模块中的数据进行对比，得出对应尺寸的电子料盘3；
[0105]
所述子线程的具体方法包括：坐标计算、向量对比、确定纠偏角度；
[0106]
步骤s4、坐标计算，经3d视觉传感器2扫描获取点云后，自动调节所述3d视觉传感器2的左相机曝光获取合适亮度图像，通过其ai粗定位已贴标签大概位置，再通过图像处理精定位，计算已贴标签区域的点，通过有序点云映射，从点云数据中获取已贴标签的点云数据范围并识别标签质心，获取已贴标签质心的三维坐标点；
[0107]
步骤s5、向量对比，计算需纠偏的电子料盘3中心到已贴标签中心的数值向量，与存储模块中的数值向量进行对比，得出夹角，确定纠偏的角度大小；
[0108]
步骤s6、确定纠偏角度，将已贴标签中心位置坐标y轴与存储模块中已贴标签中心位置坐标y轴进行对比，确定纠偏角度的方向，如果两者y坐标相减为负，则纠偏角度为负，如果两者y坐标相减为正，则纠偏角度为正；
[0109]
步骤s7、发送纠偏角度，基于步骤s4、s5以及s6，主线程将子线程计算出的纠偏角度以及纠偏方向由控制系统通过tcp/ip通讯协议发送至蜘蛛手机器人1进行抓取以及纠偏；
[0110]
所述步骤s4、坐标计算的另一处理方法，经3d视觉传感器2扫描后，未扫描到电子料盘3表面的点云数据以及图像，处理器模块发送识别为空箱的信号给控制系统，控制系统向第一上料机构5发送向前传输的信号，所述第一上料机构5向前传送将空的料盘箱8传送出3d视觉传感器2的扫描范围并将下一个放满需纠偏的电子料盘3的料盘箱8传送至3d视觉传感器2的扫描范围内，由此重复进行控制程序的主线程以及子线程的程序进行贴标纠偏，
空的料盘箱8一直向前传输直至脱离传送带，由工作人员收回空箱。
[0111]
本实施例中，所述3d视觉传感器2可采用市售的型号为at-s1000-01a-s1的双目线扫激光3d视觉传感器，所述蜘蛛手机器人1可采用市售型号为bx4-650/800/1100/1300的蜘蛛手机器人，所述蜘蛛手机器人1由控制系统通过tcp/ip通讯协议发送信号进行控制。
[0112]
本发明在具体实施时，系统启动之前，先将需纠偏的电子料盘3的不同尺寸种类的信息输入控制系统的存储模块中，系统启动之后，3d视觉传感器2开始扫描，对放置在第一上料机构5上的料盘箱8中的需纠偏的电子料盘3进行扫描后，生成点云数据，将点云数据传送给控制系统与存储模块中的数据匹配后识别出需纠偏的电子料盘3的尺寸大小，同时控制系统通过扫描后的图像识别需纠偏的电子料盘3的已贴标签的中心位置坐标与需纠偏的电子料盘3的中心坐标并计算出两坐标之间的向量，与存储模块中的相应尺寸的电子料盘3的坐标向量进行对比，得出纠偏的角度，再将需纠偏的电子料盘3上的已贴标签的中心坐标y轴相对于存储模块中设定的已贴标签的中心坐标y轴进行对比来确定纠偏角度的方向，确定好纠偏角度以及方向，最后由控制系统整合纠偏数据后再通过tcp/ip通讯协议发送信号给蜘蛛手机器人1对需纠偏的电子料盘3进行抓取纠偏后放在第二上料机构4上；
[0113]
若料盘箱8中的需纠偏的电子料盘3已抓取完，则由3d视觉传感器2识别空箱，未获取点云数据的信号传输给控制系统，控制系统发送信号给第一上料机构5向前传输，将空的料盘箱8传送出3d视觉传感器2的扫描范围并将下一个放满需纠偏的电子料盘3的料盘箱8传送至3d视觉传感器2的扫描范围内，空的料盘箱8一直向前传输直至脱离传送带，由工作人员收回空箱。
[0114]
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。