焊接线检测系统的制作方法

1.本发明涉及焊接线检测系统。


背景技术：

2.在下述专利文献1中，公开了使焊接机器人对动作进行示教的动作示教系统。在该动作示教系统中，在进行动作示教时，将位于机械手的手指尖部的焊炬交换成拍摄部。并且，基于根据该拍摄部的拍摄图像生成的焊接部位的位置信息、和拍摄该拍摄图像时的机械手的位置以及姿态信息，来生成该焊接部位的焊接所需的机械手的位置以及姿态的轨迹，通过将各焊接部位中的轨迹合成，来生成示教数据。
3.现有技术文献
4.专利文献
5.专利文献1：jp特开2019-150930号公报
6.然而，在专利文献1的动作示教系统中，在进行动作示教前，进行将表示在动作示教时设为生成轨迹的对象的焊接部位的线(焊接线)画到焊接对象物的作业。并且，该作业通过作业者用笔将焊接线画到焊接对象物上来进行。因此，不仅作业花费工夫，有时通过笔描绘的线也会残留于焊接对象物的表面。


技术实现要素：

7.为此，本发明目的在于，能提高对焊接机器人示教动作的作业效率、能使焊接品质提升的焊接线检测系统。
8.本发明的一方式所涉及的焊接线检测系统具备：拍摄终端，其拍摄焊接对象的图像；坐标系设定部，其设定以所拍摄的图像中所含的标志为基准的用户坐标系；点群数据描画部，其基于图像检测标志的特定位置，将该检测到的特定位置设定在由测定到焊接对象为止的距离的距离测量传感器取得的点群数据上，将被赋予以该设定的特定位置为原点的用户坐标系的坐标的点群数据描画到用户坐标系；和焊接线检测部，其基于描画在用户坐标系的点群数据来检测焊接对象的焊接线。
9.根据该方式，能基于拍摄焊接对象以及标志而得到的图像检测标志的特定位置，将该检测到的标志的特定位置设定在点群数据上，将赋予了以该设定的标志的特定位置为原点的用户坐标系的坐标的点群数据描画到图像上，基于该点群数据来检测焊接对象的焊接线。因此，即使作业者不将焊接线画到焊接对象，也能认识焊接对象的焊接线。
10.在上述方式中，也可以是，焊接线检测部基于点群数据来认识与焊接对象对应的多个面，将该多个面中所含的两个面的交线检测为焊接线。
11.根据该方式，能将由描画在用户坐标系的点群数据表征的面当中的两个面的交线检测为焊接线，能使焊接线的检测精度提升。
12.在上述方式中，也可以是，焊接线检测部将两个面的交线的至少一部分检测为焊接线。
13.根据该方式，能将两个面的交线的至少一部分检测为焊接线，能没有遗漏地检测焊接线的候补。
14.在上述方式中，也可以是，还具备：程序作成部，其基于由焊接线检测部检测到的焊接线来作成用于进行焊接的作业程序。
15.根据该方式，由于能作成对检测到的焊接线进行焊接的作业程序，因此，在进行焊接时，能沿着以该作业程序指定的焊接线效率良好地进行焊接。
16.在上述方式中，也可以是，标志是ar标志。
17.根据该方式，在认识ar标志时，能使将以该ar标志的位置为原点的用户坐标系重合在实际的影像进行显示的程序启动。
18.在上述方式中，也可以是，拍摄终端具备：拍摄图像的图像传感器；和距离测量传感器。
19.根据该方式，能使图像传感器与距离测量传感器的位置关系固定，可以将在各传感器取得数据的定时对准。
20.在上述方式中，也可以是，拍摄终端还具备：显示部，其显示图像；和控制部，其控制使显示部显示的内容，控制部使由焊接线检测部检测到的焊接线与图像重合来显示于显示部。
21.根据该方式，操作拍摄终端的作业者能一边看着拍摄终端的显示部一边容易地判断是否有未检测的焊接线。
22.发明的效果
23.根据本发明，能提供能提高对焊接机器人示教动作的作业效率、且能使焊接品质提升的焊接线检测系统。
附图说明
24.图1是例示包含实施方式所涉及的焊接线检测系统的焊接机器人系统的结构的图。
25.图2是例示焊接线检测系统的功能结构的图。
26.图3是表示焊接对象的一例的图。
27.图4是表示以标志的位置为原点的用户坐标系的一例的图。
28.图5是表示焊接对象的一例的图。
29.图6是表示在用户坐标系中描画的点群数据的一例的图。
30.图7是用于说明在焊接线检测系统中作成作业程序时的动作的一例的流程。
31.附图标记的说明
32.1...拍摄终端、2...机器人控制装置、3...机械手、11...控制部、12...拍摄部、13...通信部、14...显示部、21...控制部、22...存储部、23...通信部、24...焊接电源部、31...多关节臂、32...焊炬、100...焊接机器人系统、211...拍摄部、212...坐标系设定部、213...点群数据描画部、214...焊接线检测部、215...程序作成部、c...通信线缆、m...标志、n...网络
具体实施方式
33.参考附图来说明本发明的适合的实施方式。另外，在各图中，标注相同的附图标记的要素具有相同或同样的结构。此外，由于附图是示意性的，因此各构成要素的尺寸、比率与实际有差异。
34.图1是例示包含实施方式所涉及的焊接线检测系统的焊接机器人系统的结构的图。焊接机器人系统100例如具备拍摄终端1、机器人控制装置2和机械手3。拍摄终端1和机器人控制装置2经由例如网络n连接，机器人控制装置2和机械手3经由例如通信线缆c连接。网络n可以是有线(包含通信线缆)，也可以是无线。另外，在焊接机器人系统100中可以包含示教器。示教器是作业者对机械手3的动作进行示教的操作装置。
35.机械手3是按照机器人控制装置2中设定的施工条件来进行电弧焊接的焊接机器人。机械手3例如具有：设置在固定于工厂的地面等的底座构件上的多关节臂31；和与多关节臂31的前端连结的焊炬32。
36.机器人控制装置2是控制机械手3的动作的控制组件，例如包含控制部21、存储部22、通信部23以及焊接电源部24。
37.控制部21例如通过处理器执行存储于存储部22的作业程序，来控制机械手3以及焊接电源部24。
38.通信部23控制与经由网络n连接的拍摄终端1的通信，或控制与经由通信线缆c连接的机械手3的通信。
39.焊接电源部24例如为了使焊丝的前端与工件之间电弧产生，按照预先确定的焊接的施工条件将焊接电流以及焊接电压等供给到机械手3。焊接的施工条件例如包含焊接条件、焊接开始位置、焊接结束位置、电弧放电的时间、焊接距离、焊炬的姿态以及焊炬的移动速度等数据项目。焊接电源部24可以与机器人控制装置2分开具备。
40.拍摄终端1例如是数字摄像机，但也可以是带数字摄像机的可移动型终端。可移动型终端例如包含平板终端、智能手机、便携信息终端(pda)、笔记本pc(个人计算机)等能携带移动的终端。拍摄终端1例如包含控制部11、拍摄部12、通信部13、显示部14。
41.控制部11通过处理器执行存放于存储器的给定的程序，来控制拍摄终端1的各部。
42.拍摄部12例如包含镜头以及摄像元件(图像传感器)，将在镜头接受到的被摄体的光变换成电信号(数字图像数据)。
43.通信部13控制与经由网络n连接的机器人控制装置2的通信。
44.显示部14例如是具有触控面板的显示器，显示拍摄部12得到的被摄体的影像，并且接受作业者的操作指示等的输入。显示部14，例如，可以作为具有触控面板的显示器装置，与拍摄终端1分开具备。
45.图2是例示本发明所涉及的焊接线检测系统的功能结构的图。焊接线检测系统作为功能结构例如具有拍摄部211、坐标系设定部212、点群数据描画部213、焊接线检测部214和程序作成部215。这些功能当中的拍摄部211是拍摄终端1所具有的功能。另一方面，坐标系设定部212、点群数据描画部213、焊接线检测部214以及程序作成部215，可以是由拍摄终端1以及机器人控制装置2的任一方全部具备，也可以是在拍摄终端1以及机器人控制装置2中分散具备各功能。此外，拍摄终端1以及机器人控制装置2以外的其他装置可以具备上述功能的一部分或全部。
46.拍摄部211与上述拍摄终端1的拍摄部12相同。本实施方式所涉及的拍摄部211例如以由成为电弧焊接的对象的多片铁板构件(工件)构成的构造物为焊接对象来进行拍摄。在图3示出焊接对象的一例。在该图中，由成为底板的1片工件wa、成为侧板的2片工件wb、wc和成为背板的1片工件wd构成的构造物作为焊接对象而显示。在由该构造物形成的空间内放置后述的标志m。
47.图2所示的坐标系设定部212设定以拍摄部211的影像中所含的标志的位置为原点的用户坐标系。在图4示出以标志的位置为原点的用户坐标系的一例。在该图中，将标志m的位置设为原点o，将基于在该原点o相互正交的x轴、y轴以及z轴的三维的正交坐标系作为用户坐标系来显示。
48.另外，用户坐标系的原点只要能以标志(例如标志的角、标志的中心等)为基准来设定即可。不是以拍摄终端1为基准设定用户坐标系的原点，而是以标志为基准设定用户坐标系的原点，出于以下的理由。拍摄终端1由于在拍摄时由作业者携带而移动，因此难以在机器人坐标系上确定拍摄终端1的位置。与此相对，由于标志是固定配置的，因此在机器人坐标系上确定标志的位置比较容易。因此，若以标志为基准设定用户坐标系，则与以拍摄终端1为基准设定用户坐标系相比，能容易地校准用户坐标系与机器人坐标系的位置关系。
49.在此，标志m只要是能使拍摄部211认识到被放置于空间内这一情况的识别符即可。作为标志，例如优选使用ar标志。通过使用ar标志，在认识到被放置于空间内的ar标志时，能简易地实现使以该ar标志为原点的用户坐标系与实际的影像重合来显示。
50.以标志为基准的用户坐标系，能通过使摄像机坐标系的原点(例如镜头的中心)移动到后述的标志的特定位置来设定。这样的用户坐标系例如能运用设定ar标志的坐标系的公知的技术来设定。
51.图2所示的点群数据描画部213取得与焊接对象对应的坐标数据(点群数据)，将该取得的坐标数据描画到用户坐标系。
52.具体进行说明。点群数据描画部213基于由拍摄部211拍摄的图像来检测标志的特定位置(例如标志的角、标志的中心)，将该检测到的标志的特定位置设定在由后述的距离测量传感器取得的点群数据上，将被赋予以该设定的标志的特定位置为原点的用户坐标系的坐标的点群数据，描画到用户坐标系。设定在点群数据上的标志的特定位置例如可以通过数据解析自动地认识点群数据上的标志的特定位置，也可以由作业者对点群数据上的标志的特定位置进行指示等来指定。
53.与焊接对象对应的坐标数据例如能由距离测量传感器取得。距离测量传感器只要是能测定到焊接对象的距离的传感器即可。作为距离测量传感器，例如能使用lidar(light detection and ranging，激光探测测距)传感器、毫米波传感器、超声波传感器等。此外，也可以基于从不同的多个位置拍摄焊接对象而得到的多个图像进行估算，来取得与焊接对象对应的坐标数据。在该情况下，能使用基于公知的立体法的三维测量手法。
54.在此，可以将距离测量传感器包含在拍摄终端1中。由此，能使图像传感器与距离测量传感器的位置关系固定，能将在各传感器取得数据的定时对准。因此，能使将上述的标志的特定位置设定在点群数据上的处理效率提升。此外，通过在拍摄终端1中具备图像传感器和距离测量传感器，由于操作拍摄终端1的作业者能自由移动到能同时拍摄焊接对象的焊接线和标志的任意的位置来进行拍摄，因此能提高作业效率。
55.进而，也可以将一并具有拍摄来取得图像的传感器的功能和测量来取得距离的传感器的功能的传感器包含在拍摄终端1中。由此，由于能从相同位置且在相同定时取得包含焊接对象的图像和到焊接对象的距离，因此能进一步提高将上述的标志的特定位置设定在点群数据上的处理效率。
56.参考图5以及图6来说明将与焊接对象对应的坐标数据作为点群数据描画到用户坐标系的概念。
57.图5是表示焊接对象的一例的图。在该图中例示由放置于作业工作台t上的工件we、和放置成处于与工件we大致垂直关系的工件wf构成的焊接对象。在焊接对象的旁边放置标志m。
58.图6是表示描画到用户坐标系的点群数据的一例的图。在该图中，将与图5的工件we以及工件wf分别对应的坐标数据wec、wfc、和与图5的作业工作台t对应的坐标数据tc作为点群数据描画到用户坐标系。
59.图2所示的焊接线检测部214基于描画在用户坐标系的点群数据来检测焊接对象的焊接线。具体地，焊接线检测部214基于点群数据来认识与焊接对象对应的多个平面，将这些多个平面中所含的两个平面的交线检测为焊接线。在两个平面的组合存在多个的情况下，按各个组合的每一者来检测焊接线。例如，在图6中，认识由与工件we对应的坐标数据wec示出的平面、和由与工件wf对应的坐标数据wfc示出的平面，将这两个平面的交线检测为焊接线。由此，如图5所示那样，检测焊接线l作为工件wf与工件we的交线，与实际的影像重合进行显示。另外，优选在检测焊接线时，优选将两个平面的交线的端到端检测为焊接线。能在任意的条件下设定检测焊接线时的端点。
60.在此，作为焊接线进行检测的并不限定于两个平面的交线。例如，可将两个面的交线检测为焊接线。
61.此外，在作为焊接线进行检测时，也可以将以下(1)、(2)的一方或两方加进检测焊接线时的条件。
62.(1)在检测到的焊接线不足特定的长度的情况下，不采用该焊接线(无视该焊接线)。
63.(2)将位于检测到的焊接线的两端的给定长度部分从该焊接线除外(无视该焊接线的一部分)。
64.图2所示的程序作成部215，基于由焊接线检测部214检测到的焊接线来作成用于进行电弧焊接的作业程序。程序作成部215使作成的作业程序存储到机器人控制装置2的存储部22。由此，在机械手3进行电弧焊接时，机器人控制装置2的控制部21能将作业程序读入，遵循以该作业程序指定的焊接步骤来控制机械手3，以使得沿着以该作业程序指定的焊接线进行焊接。
65.在此，程序作成部215在作成作业程序时，例如，优选进行使以机械手3的位置为基准设定的机器人坐标系和用户坐标系一致的校准、或在用户坐标系上指定机械手3的位置信息等来将用户坐标系上的位置和机器人坐标系上的位置建立对应。
66.参考图7，来说明程序作成部215作成作业程序时的动作的一例。
67.最初，程序作成部215基于由焊接线检测部214检测到的焊接线来确定用户坐标系上的焊接线(步骤s101)。
68.接着，程序作成部215对上述步骤s101中确定的焊接线设定焊炬的前进角、焊炬的后退角以及焊炬的目标角等焊炬的姿态(步骤s102)。
69.接着，程序作成部215决定包含用户坐标系上的机械手3的各部的姿态的轨迹(步骤s103)。
70.接着，程序作成部215将上述步骤s103中决定的用户坐标系上的轨迹变换成机器人坐标系上的轨迹，并作成作业程序(步骤s104)。然后结束本动作。
71.在此，上述动作的各步骤在拍摄终端1以及机器人控制装置2的哪一者中执行都可以，也可以在拍摄终端1执行各步骤的一部分，在机器人控制装置2执行剩余一部分。
72.如前述那样，根据实施方式所涉及的焊接线检测系统，能基于拍摄焊接对象以及放置于由该焊接对象形成的空间内的标志而得到的图像，来设定以标志的特定位置为原点的用户坐标系，在该用户坐标系中描画与焊接对象对应的点群数据，基于该点群数据来检测焊接对象的焊接线。因此，即使作业者不将焊接线画到焊接对象，也能认识焊接对象的焊接线。
73.为此，根据实施方式所涉及的焊接线检测系统，能提高对机械手3示教动作的作业效率，能使焊接品质提升。
74.此外，由于通过将前述的实施方式所涉及的拍摄终端1作为能携带移动的终端，作业者能从任意的部位拍摄焊接对象，因此能检测位于作业者所期望的位置的焊接线。在拍摄终端1的位置被固定的情况下，不能检测位于不能从该固定的位置拍摄的部位、范围的焊接线，但在焊接作业中，还包含钻到焊接对象的下方进行那样的作业。因此，通过使用能携带移动的拍摄终端1，例如作业者能移动到能拍摄位于焊接对象的下方的焊接线的位置来拍摄焊接对象，由此能检测作为位于固定的位置的拍摄终端1不能检测的焊接线。
75.[变形例]
[0076]
另外，本发明并不限定于前述的实施方式，能在不脱离本发明的要旨的范围内以其他种种形实施。为此，上述实施方式在所有点上都是单纯的例示，并不限定地进行解释。
[0077]
例如，前述的实施方式所涉及的焊接线检测部214检测焊接对象的焊接线，但也可以检测焊接线的候补。在该情况下，优选还具备：焊接线选择部，其让作业者从检测到的焊接线的候补中选择实际进行焊接的焊接线。除此以外，优选程序作成部215基于由焊接线选择部选择的焊接线来作成用于进行电弧焊接的作业程序。
[0078]
此外，也可以是，前述的实施方式所涉及的拍摄终端1的控制部11使由焊接线检测部214检测到的焊接线与由拍摄部12拍摄的图像重合地显示于显示部14。由此，操作拍摄终端1的作业者能一边看着拍摄终端1的显示部14一边容易地判断是否有未检测的焊接线。换言之，能将用于判断是否重新进行拍摄终端1的拍摄的有效的信息提供给作业者。