相机的位置偏差测定方法与流程

1.本说明书公开了相机的位置偏差测定方法。


背景技术：

2.以往，在具备臂的机器人中，提出了进行与臂相独立地设置的相机的校正的机器人(例如，参照专利文献1)。该相机的校正的处理工序首先设定钳爪坐标系的三个旋转轴x、y、z，以使保持于手末端的校正用图案以各旋转轴为中心分别旋转的方式使臂进行动作。接着，利用相机来拍摄以各旋转轴为中心的旋转的多个旋转位置处的校正用图案的图案图像。并且，使用这些图案图像来推定钳爪坐标系与相机坐标系之间的坐标变换矩阵。根据该处理工序，可得到能够计算钳爪坐标系与相机坐标系之间的坐标变换的外部参数，因此能够进行使用了相机的对象物的位置检测。
3.现有技术文献
4.专利文献1：日本特开2019-14031号公报


技术实现要素：

5.发明所要解决的课题
6.在上述的专利文献1中，虽然关于进行与臂相独立地设置的相机的校正进行了记载，但关于进行安装于臂的相机的校正(位置偏差的测定)没有任何提及。
7.本公开的主要目的在于通过简易的手法来进行安装于臂的相机的位置偏差的测定。
8.用于解决课题的手段
9.本公开的相机的位置偏差量测定方法为了达成上述的主要目的而采用了以下的手段。
10.本公开的相机的位置偏差量测定方法测定具有机器人臂、手及相机的机器人中的上述相机的位置偏差，上述手经由旋转轴而安装于上述机器人臂的前端部，上述相机以使光轴与上述旋转轴平行的方式安装于上述机器人臂，
11.上述相机的位置偏差测定方法具备如下的步骤：
12.步骤(a)，向上述手安装具有标记的工具；
13.步骤(b)，使上述手绕着上述旋转轴旋转并在多个旋转位置处利用上述相机拍摄上述标记；及
14.步骤(c)，基于在上述多个旋转位置处分别拍摄到的各拍摄图像中拍到的标记的位置与理想的标记的位置之间的差值来求出上述相机的位置偏差。
15.本公开的相机的位置偏差量测定方法测定具有机器人臂、手及相机的机器人中的相机的位置偏差，上述手经由旋转轴而安装于机器人臂的前端部，上述相机以使光轴与旋转轴平行的方式安装于机器人臂。在该方法中，向手安装附设有标记的工具，使手绕着旋转轴旋转并在多个旋转位置处利用相机拍摄标记。并且，基于在多个旋转位置处分别拍摄到
的各拍摄图像中拍到的标记的位置与理想的标记的位置之间的差值来求出相机的位置偏差。由此，能够通过简易的工序进行安装于臂的相机的位置偏差的测定。
附图说明
16.图1是作业机器人的外观立体图。
17.图2是机器人主体的侧视图。
18.图3是示出机器人主体与控制装置的电连接关系的框图。
19.图4是示出相机位置偏差测定工序的一例的说明图。
20.图5是示出带标记工具的安装的情形的说明图。
21.图6是示出在相机产生了位置偏差时的设计上的相机视野和实际的相机视野的说明图。
22.图7是说明以实际的相机视野为基准的x
vryvr
坐标系中的位置偏差(xc，yc)和旋转偏差θc的说明图。
23.图8是说明以设计上的相机视野为基准的x
viyvi
坐标系中的位置偏差(x
ci
，y
ci
)的说明图。
具体实施方式
24.接着，一边参照附图一边对用于实施本公开的方式进行说明。
25.图1是作业机器人的外观立体图。图2是机器人主体的侧视图。图3是示出机器人主体与控制装置的电连接关系的框图。
26.作业机器人1构成为对工件w进行预定的作业(例如，拾取并输送工件w的输送作业、拾取工件w并向对象物组装的组装作业等)的水平多关节机器人。作业机器人1具备机器人主体10(参照图1～图3)和控制机器人主体10的控制装置70(参照图3)。如图1、图2所示，机器人主体10具备基台11和多关节臂20。
27.基台11固定于作业台2，支撑多关节臂20的基端侧。多关节臂20具备第一臂21、第一臂驱动部30、第二臂22、第二臂驱动部40、轴23、轴驱动部50及相机60。第一臂21构成为基端部经由第一关节轴j1而连结于基台11，能够通过第一关节轴j1的转动而相对于基台11在水平面内转动(水平回旋)。第二臂22构成为基端部经由第二关节轴j2而连结于第一臂21的前端部，能够通过第二关节轴j2的转动而相对于第一臂21在水平面内转动(水平回旋)。轴23构成为经由第三关节轴j3而连结于第二臂22的前端部，能够相对于第二臂22绕着第三关节轴j3的轴旋转且能够沿着第三关节轴j3的轴向进行升降。在轴23的前端设置有用于保持用于对工件w进行作业的各种工具的工具保持部24。
28.如图3所示，第一臂驱动部30具备电动机32和编码器34。电动机32的旋转轴经由未图示的减速机而连结于第一关节轴j1。第一臂驱动部30利用通过驱动电动机32而经由减速机向第一关节轴j1传递的转矩，以第一关节轴j1为支点使第一臂21水平回旋。编码器34构成为安装于电动机32的旋转轴且检测电动机32的旋转位移量的旋转编码器。
29.第二臂驱动部40与第一臂驱动部30相同地具备电动机42和编码器44。电动机42的旋转轴经由未图示的减速机而连结于第二关节轴j2。第二臂驱动部40利用通过驱动电动机42而经由减速机向第二关节轴j2传递的转矩，以第二关节轴j2为支点使第二臂22水平回
旋。编码器44构成为安装于电动机42的旋转轴且检测电动机42的旋转位移量的旋转编码器。
30.如图3所示，轴驱动部50具备电动机52a、52b和编码器54a、54b。电动机52a的旋转轴经由带(未图示)而连接于轴23，使轴23绕着轴旋转。电动机52b的旋转轴经由带而连接于贯通轴23的滚珠丝杠螺母(未图示)，通过使该滚珠丝杠螺母旋转而使轴23上下升降。编码器54a构成为检测轴23的旋转位移量的旋转编码器。编码器54b构成为检测轴23的升降位置的线性编码器。
31.相机60以使光轴与轴23的轴平行的方式安装于第二臂22的前端部侧面。相机60拍摄作为作业对象的工件w，并将其拍摄图像向控制装置70输出。控制装置70通过对拍摄图像进行处理来识别工件w的位置。
32.如图3所示，控制装置70具备：cpu71、rom72、ram73、非易失性存储器(存储装置74)及输入输出接口(未图示)。对控制装置70经由输入输出接口而输入来自编码器34、44、54a、54b的位置信号和来自相机60的图像信号等。从控制装置70经由输入输出接口而输出对于电动机32、42、52a、52b的驱动信号等。
33.接着，对这样构成的作业机器人1的动作进行说明。控制装置70的cpu71首先为了使相机60向工件w的上方移动而以使手末端向预先确定的目标位置移动的方式控制第一臂驱动部30、第二臂驱动部40及轴驱动部50，并利用相机60拍摄工件w。接着，cpu71进行处理得到的拍摄图像的图像处理而在相机坐标系中计测工件w的位置。图像处理通过计测在拍摄图像中拍到的工件w的坐标值且使用修正值对计测到的坐标值执行位置偏移修正及旋转偏移修正来进行。在此，修正值用于修正因相机60的加工误差或组装误差等而产生的相机60与手末端之间的位置关系的偏差。修正值通过后述的相机位置偏差测定工序而预先测定，并存储于存储装置74。接着，cpu71将工件w的位置变换为机器人坐标系，基于变换后的工件w的位置来设定用于拾取工件w的手末端的目标位置。并且，cpu71以使手末端向设定的目标位置移动的方式控制第一臂驱动部30、第二臂驱动部40及轴驱动部50。工件w通过手末端向目标位置移动而由手末端(工件保持部24)拾取。
34.接着，对相机位置偏差测定工序进行说明。图4是示出相机位置偏差测定工序的一例的说明图。相机位置偏差测定工序通过步骤s100～s150来执行。
35.在步骤s100中，如图5所示，在设置于轴23的前端的工具保持部24(手末端)保持带标记工具100。带标记工具100在从安装于工具保持部24的安装部位向与轴23正交的方向离开的位置具有标记m。在步骤s110中，以使轴23每次旋转预定角度(例如，每次10度)的方式控制轴驱动部50，每当轴23旋转了预定角度时，利用相机60拍摄标记m。由此，在多个旋转位置n(n＝1，2，3
…
)处得到标记m的拍摄图像。在步骤s120中，从拍摄图像在以包含相机60的位置偏差的实际的相机视野为基准的坐标系(x
vryvr
坐标系)中测定每个旋转位置n的标记位置(x
vn
，y
vn
)(n＝1，2，3
…
)。标记位置(x
vn
，y
vn
)的测定通过处理拍摄图像而求出在图像中拍到的标记m的中心坐标来进行。
36.在步骤s130中，基于在x
vryvr
坐标系中测定到的标记位置(x
vn
，y
vn
)(n＝1，2，3
…
)与在x
vryvr
坐标系中预先存储于rom72的理想的标记位置(x
vi
，y
vi
)(n＝1，2，3
…
)的差值来导出相机60的位置偏差(xc，yc)和旋转偏差θc。位置偏差(xc，yc)分别表示x
vr
轴方向上的位置偏差量和y
vr
轴方向上的位置偏差量。另外，旋转偏差θc表示包含相机60的位置偏差的实际的
相机视野相对于不包含相机60的位置偏差的设计上的相机视野的旋转方向上的偏差量。在本实施方式中，步骤s130通过使用遗传算法、牛顿-拉夫逊方法等周知的最小化算法导出使由如下的式(1)～(3)定义的x
vr
轴方向上的差值f
xk
与y
vr
轴方向上的差值f
yk
的平方和f最小的位置偏差(xc，yc)和旋转偏差θc的组合来进行。在步骤s140中，使用旋转偏差θc，通过如下的式(4)及(5)将位置偏差(xc，yc)从以实际的相机视野为基准的坐标系(x
vryvr
坐标系)变换为以设计上的相机视野为基准的坐标系(x
viyvi
坐标系)。由此，在x
viyvi
坐标系中，导出相机60的x
viyvi
轴方向上的位置偏差(x
ci
，y
ci
)。在步骤s150中，将与位置偏差(x
ci
，y
ci
)同量且方向相反的位置偏移值和与旋转偏差θc同量且方向相反的旋转偏移值作为修正值而登记于存储装置74。由此，在拾取工件w时，通过对利用相机60拍摄工件w而测定到的工件w的位置进行偏移修正(位置偏移及旋转偏移)，能够不管相机60的位置偏差而正确地识别工件w的位置。其结果是，能够进一步提高作业(拾取)的精度。
37.[数1]
[0038]fxk
＝x
in-{(x
rn
+xc)cosθ
c-(y
rn
+yc)sinθc}
…
(1)
[0039]fyk
＝y
in-{(x
rn
+xc)sinθc+(y
rn
+yc)cosθc}
…
(2)
[0040][0041]
x
ci
＝xccosθ
c-ycsinθc…
(4)
[0042]yci
＝xcsinθc+yccosθc…
(5)
[0043]
在此，在步骤s130中，在测定到的标记位置(x
vn
，y
vn
)与理想的标记位置(x
vi
，y
vi
)之间，理论上，如下的式(6)及(7)成立。因此，能够使用式(6)及(7)来导出相机60的位置偏差(xc，yc)和旋转偏差θc。但是，实际上，在两者的关系中包含各种各样的误差，因此，能够通过求出使与差值f
xk
、f
yk
的平方和f最小的位置偏差(xc，yc)及旋转偏差θc的组合，来进一步提高修正精度。
[0044]
[数2]
[0045]
x
in
＝(x
rn
+xc)cosθ
c-(y
rn
+yc)sinθc…
(6)
[0046]yin
＝(x
rn
+xc)sinθc+(y
rn
+yc)cosθc…
(7)
[0047]
在此，对实施方式的主要要素与权利要求书所记载的本公开的主要要素之间的对应关系进行说明。即，在本实施方式中，多关节臂20相当于机器人臂，工具保持部24相当于手，相机60相当于相机。
[0048]
另外，本公开不受上述的实施方式的任何限定，只要属于本公开的技术范围就能够以各种各样的方案来实施，这是不言而喻的。
[0049]
例如，在上述的实施方式中，将本公开的相机的位置偏差测定方法应用于水平多关节机器人而进行了说明。但是，不限定于此，只要是例如垂直多关节机器人等具有机器人臂、经由旋转轴而安装于机器人臂的前端部的手及以使光轴与旋转轴平行的方式安装于机器人臂的相机的结构，则能够应用于任何结构的机器人。
[0050]
如以上说明的那样，本公开的相机的位置偏差测定方法测定具有机器人臂、手及相机的机器人中的上述相机的位置偏差，上述手经由旋转轴而安装于上述机器人臂的前端部，上述相机以使光轴与上述旋转轴平行的方式安装于上述机器人臂，上述相机的位置偏
差测定方法具备如下的步骤：步骤(a)，向上述手安装具有标记的工具；步骤(b)，使上述手绕着上述旋转轴旋转并在多个旋转位置处利用上述相机拍摄上述标记；及步骤(c)，基于在上述多个旋转位置处分别拍摄到的各拍摄图像中拍到的标记的位置与理想的标记的位置之间的差值来求出上述相机的位置偏差。
[0051]
本公开的相机的位置偏差量测定方法测定具有机器人臂、手及相机的机器人中的相机的位置偏差，上述手经由旋转轴而安装于机器人臂的前端部，上述相机以使光轴与旋转轴平行的方式安装于机器人臂。在该方法中，向手安装附设有标记的工具，使手绕着旋转轴旋转并在多个旋转位置处利用相机拍摄标记。并且，基于在多个旋转位置处分别拍摄到的各拍摄图像中拍到的标记的位置与理想的标记的位置之间的差值来求出相机的位置偏差。由此，能够通过简易的工序进行安装于臂的相机的位置偏差的测定。
[0052]
在本公开的相机的位置偏差测定方法中，也可以设为：在上述步骤(c)中，在以实际的相机视野为基准的x
vryvr
坐标系中，将通过上述步骤(b)在各旋转位置n(n＝1，2
…
)处分别拍摄而测定到的标记的位置设为(x
vn
，y
vn
)、将上述各旋转位置n(n＝1，2
…
)处的理想的标记的位置设为(x
in
，y
in
)、将x
vr
轴方向及y
vr
轴方向上的上述相机的各位置偏差设为(xc，yc)并且将上述实际的相机视野相对于设计上的相机视野的旋转方向上的旋转偏差设为θc时，使用表示上述测定到的标记位置(x
vn
，y
vn
)与上述理想的标记位置(x
in
，y
in
)之间的关系的关系式来求出上述位置偏差(xc，yc)和上述旋转偏差θc，基于上述旋转偏差θc而将上述位置偏差(xc，yc)的坐标系从上述x
vryvr
坐标系变换为以上述设计上的相机视野为基准的x
viyvi
坐标系，从而求出上述相机的位置偏差。这样一来，能够根据在各旋转位置n处分别由相机拍摄而测定到的标记的位置而通过简易的处理来求出相机的位置偏差。
[0053]
在该情况下，也可以设为：在上述步骤(c)中，使用预定的最小化算法来求出使由式(1)～(3)定义的平方和f最小的上述位置偏差(xc，yc)和上述旋转偏差θc的组合，利用式(4)及(5)将上述位置偏差(xc，yc)的坐标系从上述x
vryvr
坐标系变换为上述x
viyvi
坐标系，从而求出上述x
viyvi
坐标系中的位置偏差(x
ci
，y
ci
)。这样一来，能够进一步提高相机的位置偏差、旋转偏差的测定精度。
[0054]
另外，在本公开的相机的位置偏差测定方法中，也可以设为：将与在上述步骤(c)中求出的上述相机的位置偏差及旋转偏差对应的偏移值登记为用于修正利用上述相机拍摄而测定出的对象物的位置的修正值。这样一来，能够使用相机来高精度地识别对象物的位置。
[0055]
产业上的可利用性
[0056]
本公开能够利用于机器人的制造产业等。
[0057]
附图标记说明
[0058]
1作业机器人，2作业台，10机器人主体，11基台，20多关节臂，21第一臂，22第二臂，23轴，30第一臂驱动部，32电动机，34编码器，40第二臂驱动部，42电动机，44编码器，50轴驱动部，52a、52b电动机，54a、54b编码器，60相机，70控制装置，71cpu，72rom，73ram，74存储装置，j1第一关节轴，j2第二关节轴，j3第三关节轴。