基于视觉定位的物料上架自动码放方法及系统与流程

1.本发明涉及自动码垛计算领域，尤其涉及一种基于视觉定位的物料上架自动码放方法及系统。


背景技术：

2.在诸如玻璃板等片状物料生产过程中，完成一道工序需要集中起来进入下一道工序(如超声波清洗、钢化时)，这时需要将玻璃一片一片插入料框中然后统一加工处理。料框为存放玻璃片的常用工具，玻璃片放置于料框内，能使玻璃片之间相互隔离一定的间距，不易划花，且插架内的玻璃片也方便被取出。现如今，将玻璃片从流水线平台上插入料框内的工作一般通过人工完成或者使用机器人定点插入完成，而为了兼容大小不同玻璃，料框设计为人工可调整宽度方式，人工将玻璃插入料框存在速度慢、效率低的问题，机器人定点插入会因料框位置偏移存在玻璃划伤的问题，甚至造成玻璃崩边、破裂，因而都会影响产能。


技术实现要素：

3.本发明的目的是为解决上述技术问题的不足而提供一种自动化的、可适应料框位置变动而且确保将物料精确放置到位的基于视觉定位的物料上架自动码放方法及系统。
4.为了实现上述目的，本发明公开了一种基于视觉定位的物料上架自动码放方法，用于放置物料的料架包括左右两列相对层叠设置的若干料框，彼此相邻上下两所述料框之间具有用于承载所述物料端部的插槽，所述码放方法包括：
5.提供一用于码放所述物料的机器人、视觉装置和带动所述视觉装置移动以对所述料架上的不同层的所述料框分别拍摄图像的移动臂；
6.分别对所述视觉装置和所述移动臂与所述机器人之间的坐标系进行坐标标定；
7.通过所述移动臂带动所述视觉装置移至所述料架的任一层，拍摄图像，获取所述料架该层两所述料框的料框图像，对所述料框图像处理，得到该所述料框图像中位于两所述料框之间的中心点图像坐标；
8.根据所述视觉装置和所述机器人之间的坐标标定关系，对所述中心点图像坐标进行转换，得到中心点机器人坐标；
9.根据所述料架中同一层的两所述料框之间的中心点与所述插槽的间距，对所述中心点机器人坐标进行调整，以得到机器人执行物料插放的初始坐标；
10.根据所述移动臂与所述机器人之间的坐标标定关系，对所述初始坐标进行调整，得到机器人动作的执行坐标。
11.较佳的，所述移动臂与所述机器人之间的坐标系标定方法包括：
12.记录视觉装置和机器人位于起始位置时位于机器人末端的参照标识物的图像坐标p(u1,v1)，并将该图像坐标p(u1,v1)转换为机器人坐标q(x1,y1)；
13.所述机器人和所述视觉装置沿下移，每次移动一个插槽层的距离，每移动一层记录该层的所述参照标识物的图像坐标p(u
i
,v
i
)，以及机器人坐标q(x
i
,y
i
)，i为所述料架的
层数，i≥2；
14.计算后续若干层的参照标识物的所述机器人坐标q(x
i
,y
i
)与起始位置的机器人坐标q(x1,y1)的差值，并将计算结果描绘在x
‑
y坐标系中，根据数据拟合法，拟合出机器人坐标q(x
i
,y
i
)的偏移量q
′
(x
′
i
,y
′
i
)的模型方程。
15.较佳的，所述料框的左右两端分别具有一尖端，彼此相邻上下两所述料框的所述尖端之间的空隙形成所述插槽，两所述尖端的端点与所述料框的中心点位于同一水平线上，所述中心点图像坐标的获取方法包括：
16.在所述料框图像中，于两所述料框的轮廓的外侧生成一竖直的参考线，计算所述尖端轮廓区域各点与所述参考线之间的距离，找出所述尖端轮廓区域距离所述参考线最近的点，即为所述料框的端点，从而得到两所述料框的外侧尖端的端点图像坐标；
17.根据所述料框图像中两所述料框的端点图像坐标，计算两所述端点的中点坐标，即为所述中心点图像坐标。
18.较佳的，所述料架中每一层的两所述料框之间的中心点与所述插槽的间距的获取方法包括：
19.预置一插槽层所对应的中心点图像坐标和初始坐标；
20.将该预置的所述中心点图像坐标转换为与其对应的中心点机器人坐标，并计算该中心点机器人坐标与预置的所述初始坐标的差值，以得到所述间距。
21.较佳的，在所述机器人根据所述执行坐标对所述物料进行插放作业时，所述视觉装置对下一层的所述料框进行拍摄工作，并进行该层的所述执行坐标的计算。
22.本发明还公开一种基于视觉定位的物料上架自动码放系统，其包括机器人、视觉装置、移动臂和定位系统，所述定位系统包括第一标定模块、第二标定模块、图像处理模块和数据处理模块；
23.所述机器人用于将物料码放在料架上，料架包括左右两列相对层叠设置的若干料框，彼此相邻上下两所述料框之间具有用于承载所述物料端部的插槽；
24.所述视觉装置与所述移动臂连接，所述移动臂用于带动所述视觉装置移动，以使得所述视觉装置可对所述料架上的不同层的所述料框分别拍摄图像；
25.所述第一标定模块，用于对所述视觉装置和所述机器人进行坐标系标定；
26.所述第二标定模块，用于对所述移动臂和所述机器人进行坐标系标定；
27.所述图像处理模块，用于对所述视觉装置在所述料架的每一层拍摄到的两料框图像进行处理，以得到两所述料框图像的中心点图像坐标；
28.所述数据处理模块，包括第一处理模块、第二处理模块和第三处理模块，所述第一处理模块用于根据所述视觉装置和所述机器人之间的坐标标定关系，将所述中心点图像坐标转换为与中心点机器人坐标，所述第三处理模块用于根据所述料架中同一层的两所述料框之间的中心点与所述插槽的间距对所述中心点机器人坐标进行调整，以得到机器人执行物料插放的初始坐标，所述第三处理模块用于根据所述移动臂与所述机器人之间的坐标标定关系，对所述初始坐标进行调整，得到机器人动作的执行坐标。
29.较佳的，所述第二标定模块包括参考数据记录模块、比对数据记录模块、比对模块和数据拟合模块；
30.所述参考数据记录模块，用于记录视觉装置和机器人位于起始位置时位于机器人
末端的参照标识物的图像坐标p(u1,v1)，并将该图像坐标p(u1,v1)转换为机器人坐标q(x1,y1)；
31.所述比对数据记录模块，用于记录所述机器人和所述视觉装置沿下移到每一个插槽层时所述参照标识物的图像坐标p(u
i
，v
i
)，以及机器人坐标q(x
i
，y
i
)，i为所述料架的层数，i≥2；
32.所述比对模块，用于将后续若干层的参照标识物的所述机器人坐标q(x
i
,y
i
)与起始位置的机器人坐标q(x1，y1)比对；
33.所述数据拟合模块，用于根据所述比对模块的反馈，将比对结果描绘在x
‑
y坐标系中，根据数据拟合法，拟合出机器人坐标q(x
i
，y
i
)的偏移量q
′
(x
′
i
，y
′
i
)的模型方程。
34.较佳的，所述料框的左右两端分别具有一尖端，彼此相邻上下两所述料框的所述尖端之间的空隙形成所述插槽，两所述尖端的端点与所述料框的中心点位于同一水平线上，所述图像处理模块包括：
35.参考线生成模块、第一计算模块和第二计算模块；
36.所述参考线生成模块，用于在所述料框图像中，于两所述料框的轮廓的外侧生成一竖直的参考线；
37.所述第一计算模块，用于计算所述尖端轮廓区域各点与所述参考线之间的距离，并找出所述尖端轮廓区域距离所述参考线最近的点，即为所述料框的端点，从而得到两所述料框的外侧尖端的端点图像坐标；
38.所述第二计算模块，用于所述料框图像中两所述料框的端点图像坐标，计算两所述端点的中点坐标，即为所述中心点图像坐标。
39.较佳的，还包括间距生成模块，所述间距生成模块用于根据预置的某一插槽层所对应的中心点图像坐标转换和与其对应的机器人的初始坐标，计算出所述料架中每一层的两所述料框之间的中心点与所述插槽的间距的间距。
40.较佳的，在所述机器人根据所述执行坐标对所述物料进行插放作业时，所述视觉装置对下一层的所述料框进行拍摄工作，并进行该层的所述执行坐标的计算。
41.本发明还公开一种基于视觉定位的物料上架自动码放系统，其包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的基于视觉定位的物料上架自动码放方法的指令。
42.本发明还公开一种计算机可读存储介质，其包括计算机程序，所述计算机程序可被处理器执行以完成如上所述的基于视觉定位的物料上架自动码放方法。
43.与现有技术相比，通过本发明公开的基于视觉定位的物料上架自动码放方法，在机器人将物料插入料架上每一层的插槽前，移动臂带动视觉装置移动到该位置处对该层料框进行拍照，通过视觉处理计算获取机器人插放工作的执行坐标，从而确保机器人每次插放工作的准确进行，避免物料与料框发生碰撞，而且提高了工作效率，另外，还对带动视觉装置的移动臂和机器人之前进行了坐标标定，有效避免因移动臂的安装误差影响机器人工作的精准度。
附图说明
44.图1为本发明实施例中料架的平面结构示意图。
45.图2为图1中其中一层插槽层的平面结构示意图。
46.图3为本发明实施例中物料上架自动码放方法流程图。
47.图4为本发明实施例中物料上架自动码放系统的系统结构示意图。
48.图5为图4中第二标定模块的逻辑结构示意图。
具体实施方式
49.为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
50.如图1和图2，本实施例公开一种基于视觉定位的物料上架自动码放方法，用于对通过机器人进行物料102(如玻璃)自动码放的坐标位置进行精准控制，本实施例中用于放置物料102的料架100包括左右两列相对层叠设置的若干料框101，两列料框101之间的间距可根据所要码放的物料102的尺寸进行调整。彼此相邻上下两料框101之间具有用于承载物料102端部的插槽103，因此，在料架100上自上向下形成有多个插槽层，为避免两料框101之间间距调整时机器人也可将物料102精准地放置在合适位置，本实施例中通过视觉定位技术对料架100上每一层的码放坐标进行计算，因此，提供了与机器人配合工作的视觉装置和带动视觉装置移动以对料架100上的不同层的料框101分别拍摄图像的移动臂，通过移动臂将视觉装置移动至料架100的每一层位置处，在机器人执行插放物料102工作之前，通过该视觉装置对该层的两料框101所在区域拍照。具体的，码放方法包括：
51.s1：分别对视觉装置和移动臂与机器人之间的坐标系进行坐标标定。本实施例中，之所以要对移动臂和机器人之间的坐标系进行标定，因为根据设计，由于移动臂下移一层时，机器人工作时也要相应的下移一层，理论上移动臂与机器人之间的x
‑
y坐标相对不变，变动的只是竖向坐标z，但是对于移动臂来说，由于存在安装误差，因此，实际工作过程中移动臂与机器人之间的x
‑
y相对坐标也会发生变化，所以，通过移动臂与机器人之间的坐标系标定，以消除由于移动臂的安装误差对机器人操作精度的影响。
52.s2：机器执行插放工作前，通过移动臂带动视觉装置移至料架100的任一层，拍摄图像，获取料架100该层两料框101的料框图像104，对该料框图像104处理，得到该料框图像104中位于两料框101之间的中心点图像坐标，也即两料框之间的中心点z1在料框图像104中的像素坐标。
53.s3：根据视觉装置和机器人之间的坐标标定关系，对中心点图像坐标进行转换，得到位于机器人坐标系中的中心点机器人坐标；
54.s4：根据料架100中同一层的两料框101之间的中心点与插槽103的间距d1，对中心点机器人坐标进行调整，也即将中心点机器人坐标下移一段距离，以得到机器人执行物料102插放的初始坐标；
55.s5：根据移动臂与机器人之间的坐标标定关系，对初始坐标进行调整，得到机器人动作的执行坐标，该执行坐标位于插槽层中两插槽103的中间位置z2处，机器人根据该执行坐标即可对物料102进行插放操作，将物料102精确插放在当前插槽层中。
56.根据上述码放方法的执行过程，在机器人将物料102插入料架100上每一层的插槽
103前，移动臂带动视觉装置移动到该位置处对该层料框101进行拍照，通过视觉处理计算获取机器人插放工作的执行坐标，从而确保机器人每次插放工作的准确进行，避免物料102与料框101发生碰撞，而且提高了工作效率，另外，还对带动视觉装置的移动臂和机器人之前进行了坐标标定，有效避免因移动臂的安装误差影响机器人工作的精准度。
57.为提高工作效率，在机器人根据执行坐标对物料102进行插放作业时，视觉装置对下一层的料框101进行拍摄工作，并进行该层的执行坐标的计算，可使得机器人连续工作，中间无须等待。
58.由于视觉装置与机器人之间的坐标系的具体标定方法，属于本领域技术人员的公知技术常识，在此不再赘述，如经常使用的九点标定法。对于移动臂与机器人之间的坐标系的标定方法具体如下：
59.首先，使移动臂带动视觉装置移动至起始位置，并在机器人末端设置一参照标识物，如圆板或方板，机器人动作，使得参照标识物位于视觉装置的视野中，记录参照标识物的图像坐标为p(u1,v1)，再根据视觉装置与机器人的坐标标定关系，将图像坐标p(u1，v1)转换为机器人坐标q(x1，y1)；然后，机器人和移动臂沿竖向向下移动一个插槽层的距离，记录此时参照标识物的图像坐标为p(u2，v2)，以及将图像坐标p(u2,v2)转换为的机器人坐标q(x2,y2)，以此类推，每移动一层，记录一次参照标识物的图像坐标为p(u
i
,v
i
)，以及机器人坐标为q(x
i
,y
i
)，i为料架100的层数，i≥2；接着，计算后续若干层的参照标识物的机器人坐标q(x
i
,y
i
)与起始位置的机器人坐标q(x1,y1)的差值，并将计算结果描绘在x
‑
y坐标系中，根据数据拟合法，拟合出机器人坐标q(x
i
,y
i
)的偏移量q
′
(x
′
i
,y
′
i
)，如下述模型方程一，其中参数l为当前插槽层与起始位置的插槽层的层数间隔。
[0060][0061]
这样，在得到机器人在每一层的初始坐标后，再将该初始坐标加上偏移量q
′
(x
′
i
，y
′
i
)即可得到机器人将物料102插入位置的执行坐标。
[0062]
更具体的，如图1和图2，料框101的左右两端分别具有一尖端j0，彼此相邻上下两料框101的尖端j0之间的空隙形成插槽103，两尖端j0的端点j1与料框101的中心点z1位于同一水平线上，中心点图像坐标的获取方法包括：
[0063]
在料框图像104中，于两料框101的轮廓的外侧生成一竖直的参考线c1，计算尖端j0轮廓区域各点与参考线c1之间的距离，找出尖端j0轮廓区域距离参考线最近的点，即为料框101的端点j1，从而得到两料框101的外侧尖端j0的端点j1图像坐标，然后，根据料框图像104中两料框101的端点j1图像坐标，计算两端点j1的中点坐标，即为中心点图像坐标。例如，两料框101的外侧尖端j0的端点j1图像坐标分别为p
l
(u
l
,v
l
)、p
r
(u
r
,v
r
)，中心点图像坐标p(u，v，r)满足如下方程二的关系，参数r代表料架100的旋转角度。
[0064]
[0065]
进一步的，对于述料架100中每一层的两料框101之间的中心点与插槽103的间距d1，较佳的获取方法包括：
[0066]
预置一插槽层所对应的中心点图像坐标和初始坐标，将该预置的中心点图像坐标转换为与其对应的中心点机器人坐标，并计算该中心点机器人坐标与预置的初始坐标的差值，以得到间距d1。
[0067]
下面对机器人插放工作的执行坐标的具体计算过程做一描述：如果预置的物料102插入位置的料框101的尖端j0的中心图像坐标为(m
px
,m
py
,m
pr
)，与其对应的初始坐标为(t
qx
,t
qy
,t
qr
)。通过视觉装置获取的任意一层的中心点图像坐标为(n
px
,n
py
,n
pr
)，通过视觉装置与机器人的坐标标定关系可得到，与中心图像坐标(m
px
,m
py
,m
pr
)对应的中心点机器人坐标为(m
qx
,m
qy
,m
qr
)，与中心点图像坐标(n
px
,n
py
,n
pr
)对应的中心点机器人坐标为(n
qx
,n
qy
,n
qr
)。根据上述两料框101之间的中心点z1与插槽103中心点z2的间距的获取方法可知，根据下述方程三计算出机器人的初始坐标(r
qx
,r
qy
,r
qr
)。
[0068][0069]
然后，再根据上述得到的偏移量q
′
(x
′
i
,y
′
i
)的计算公式，根据下述方程四对初始坐标进行修正，以得到机器人的执行坐标。
[0070][0071]
请结合参阅图1、图2以及图4、图5，本发明还公开了一种基于视觉定位的物料上架自动码放系统，其包括机器人1、视觉装置2、移动臂3和定位系统，定位系统包括第一标定模块40、第二标定模块41、图像处理模块42和数据处理模块。
[0072]
机器人1用于将物料102码放在料架100上，料架100包括左右两列相对层叠设置的若干料框101，彼此相邻上下两料框101之间具有用于承载物料102端部的插槽103。
[0073]
视觉装置2与移动臂3连接，移动臂3用于带动视觉装置2移动，以使得视觉装置2可对料架100上的不同层的料框101分别拍摄图像。
[0074]
第一标定模块40，用于对视觉装置2和机器人1进行坐标系标定。
[0075]
第二标定模块41，用于对移动臂3和机器人1进行坐标系标定。
[0076]
图像处理模块42，用于对视觉装置2在料架100的每一层拍摄到的两料框图像104进行处理，以得到两料框图像104的中心点图像坐标。
[0077]
数据处理模块，包括第一处理模块430、第二处理模块431和第三处理模块432，第一处理模块430用于根据视觉装置2和机器人1之间的坐标标定关系，将中心点图像坐标转
换为与中心点机器人坐标，第三处理模块432用于根据料架100中同一层的两料框101之间的中心点与插槽103的间距d1对中心点机器人坐标进行调整，以得到机器人1执行物料102插放的初始坐标，第三处理模块432用于根据移动臂3与机器人1之间的坐标标定关系，对初始坐标进行调整，得到机器人1动作的执行坐标。
[0078]
进一步的，第二标定模块41包括参考数据记录模块410、比对数据记录模块411、比对模块412和数据拟合模块413。
[0079]
参考数据记录模块410，用于记录视觉装置2和机器人1位于起始位置时位于机器人1末端的参照标识物的图像坐标p(u1,v1)，并将该图像坐标p(u1,v1)转换为机器人坐标q(x1,y1)。
[0080]
比对数据记录模块411，用于记录机器人1和视觉装置2沿下移到每一个插槽层时参照标识物的图像坐标p(u
i
,v
i
)，以及机器人坐标q(x
i
,y
i
)，i为料架100的层数，i≥2。
[0081]
比对模块412，用于将后续若干层的参照标识物的机器人坐标q(x
i
，y
i
)与起始位置的机器人坐标q(x1,y1)比对。
[0082]
数据拟合模块413，用于根据比对模块412的反馈，将比对结果描绘在x
‑
y坐标系中，根据数据拟合法，拟合出机器人坐标q(x
i
,y
i
)的偏移量q
′
(x
′
i
，y
′
i
)的模型方程。
[0083]
进一步的，料框101的左右两端分别具有一尖端j0，彼此相邻上下两料框101的尖端j0之间的空隙形成插槽103，两尖端j0的端点j1与料框101的中心点z1位于同一水平线上，图像处理模块42包括参考线生成模块、第一计算模块和第二计算模块。
[0084]
参考线生成模块，用于在料框图像104中，于两料框101的轮廓的外侧生成一竖直的参考线c1。
[0085]
第一计算模块，用于计算尖端j0轮廓区域各点与参考线c1之间的距离，并找出尖端j0轮廓区域距离参考线c1最近的点，即为料框101的端点j1，从而得到两料框101的外侧尖端j0的端点j1图像坐标。
[0086]
第二计算模块，用于料框图像104中两料框101的端点j1图像坐标，计算两端点j1的中点坐标，即为中心点图像坐标。
[0087]
进一步的，本实施例中的物料102上架自动码放系统还包括间距生成模块，间距生成模块用于根据预置的某一插槽层所对应的中心点图像坐标转换和与其对应的机器人1的初始坐标，计算出料架100中每一层的两料框101之间的中心点与插槽103的间距的间距d1。
[0088]
关于上述物料102上架自动码放系统的工作原理和工作方法详见上述基于视觉定位的物料102上架自动码放方法，在此不再赘述。
[0089]
本发明还公开一种基于视觉定位的物料上架自动码放系统，其包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的基于视觉定位的物料上架自动码放方法的指令。
[0090]
本发明还公开一种计算机可读存储介质，其包括计算机程序，所述计算机程序可被处理器执行以完成如上所述的基于视觉定位的物料上架自动码放方法。
[0091]
以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。