机器人系统的制作方法

本发明涉及一种具备影像显示装置的机器人系统，该影像显示装置利用增强现实(Augmented Reality)处理技术来将虚拟物体的图像叠加在机器人的影像上进行显示。

背景技术：

在制造现场的工业用机器人系统中，机器手、加工工具等末端执行器安装于机器人的臂部的前端。并且，带式输送机、轨道式输送台车等机器人周边装置配置于机器人的周边。

然而，存在在向机器人示教作业动作的阶段尚无法准备上述那样的末端执行器、机器人周边装置的情况。在该情况下，直至准备好末端执行器、机器人周边装置为止，作业者不能实施适当的机器人示教作业。因此，期望即使在还没有准备末端执行器、机器人周边装置的情况下也能够视为它们存在来实施机器人示教作业。

作为有可能解决上述问题的技术，能够想到将虚拟图像叠加在实时的影像上进行显示这样的增强现实处理技术。另外，近年来，公开了一种利用这种增强现实处理技术来提高机器人示教作业时的操作性的装置。

例如，专利第4850984号公报公开了一种利用增强现实处理来将按照动作计划进行动作的机器人的动作空间叠加在真实机器人的图像上进行显示的技术。并且，日本特开2014-180707号公报公开了一种利用增强现实处理来将基于动作程序的机器人的动作轨迹叠加在真实机器人的图像上进行显示的技术。

然而，在专利第4850984号公报和日本特开2014-180707号公报中，并没有提出使用增强现实处理技术来将上述那样的末端执行器、机器人周边装置的影像叠加在真实机器人的图像上进行显示的技术。

技术实现要素：

本发明提供一种即使没有末端执行器、机器人周边装置也能够视为它们存在来实施机器人示教作业的机器人系统。

根据本发明的第一方式，提供一种机器人系统，该机器人系统具备：控制装置，其用于控制机器人；以及影像显示装置，其与控制装置连接，其中，影像显示装置具备：显示部，其用于实时地显示由照相机拍摄到的包含机器人的真实空间的图像；以及增强现实图像处理部，其用于将机器人的末端执行器或机器人周边装置的虚拟图像叠加于由照相机拍摄到的机器人的真实图像并使显示部显示。

根据本发明的第二方式，提供一种机器人系统，该机器人系统是上述第一方式的机器人系统，影像显示装置具备虚拟物体图像生成部，该虚拟物体图像生成部基于机器人与照相机之间的相对的位置和角度，来生成要叠加于由照相机拍摄到的机器人的真实图像的末端执行器或机器人周边装置的虚拟图像。

根据本发明的第三方式，提供一种机器人系统，该机器人系统是上述第一方式或第二方式的机器人系统，增强现实图像处理部基于由控制装置控制的机器人的位置姿势数据或来自控制装置的模拟信号，来使末端执行器或机器人周边装置的虚拟图像移动并且使显示部显示。

根据本发明的第四方式，提供一种机器人系统，该机器人系统是上述第一方式至第三方式中的任一方式的机器人系统，控制装置具备示教操作板，该示教操作板用于进行机器人的示教操作。

根据本发明的第五方式，提供一种机器人系统，该机器人系统是上述第一方式至第四方式中的任一方式的机器人系统，影像显示装置是具备照相机的头戴式显示器(Head Mount Display)。

附图说明

基于附图所示的本发明的典型的实施方式的详细说明，会使本发明的这些目的、特征和优点以及其它目的、特征和优点更加明确。

图1是示出本发明的一个实施方式的机器人系统的框图。

图2是示出将虚拟物体的图像叠加于真实机器人的图像进行显示时的处理流程的流程图。

图3是示意性地示出第一实施例的处理的情形的图。

图4是示意性地示出在使机器人进行动作时在支持增强现实的显示器的显示部所显示的图像的情形的图。

图5是示意性地示出第二实施例的处理的情形的图。

具体实施方式

接着，参照附图来说明本发明的实施方式。在参照的附图中，对相同的构件或功能部标注相同的参照附图标记。而且，设在不同的附图中被标注相同的参照附图标记的结构要素是指具有相同功能的结构要素。另外，为了易于理解，这些附图适当变更了比例尺。

图1是示出本发明的一个实施方式的机器人系统的框图。如图1所示，本实施方式的机器人系统10具备机器人11、控制机器人11的机器人控制装置12、与机器人控制装置12连接的作为影像显示装置的支持增强现实的显示器(日语：拡張現実対応ディスプレイ)13、以及与机器人控制装置12连接来进行机器人11的示教操作的示教操作板14。

机器人11例如是多关节垂直型操纵器。在机器人11的各关节轴设置有伺服电动机(未图示)。并且，对机器人11设置有对各伺服电动机的轴位置(旋转角度)进行检测的位置检测传感器15、例如脉冲编码器。

在机器人11的臂部的前端设置有用于安装机器手、加工工具等装卸自如的末端执行器的安装部(未图示)。

机器人控制装置12具有基于动作程序来生成控制信号并驱动机器人11的功能。另外，机器人控制装置12向机器人11输出控制信号并且接收来自支持增强现实的显示器13和示教操作板14的信号。

并且，机器人控制装置12具有保持机器人11的动作程序的程序保持部16、以及生成机器人11的位置姿势数据的位置姿势数据生成部17。

从示教操作板14向程序保持部16输入机器人11的动作程序。另外，示教操作板14能够重写程序保持部16内的动作程序。

机器人控制装置12按照程序保持部16内的动作程序来向伺服电动机提供位置指令，并且对伺服电动机进行控制使得由位置检测传感器15检测的伺服电动机的位置与位置指令匹配。由此，机器人11依照程序保持部16内的动作程序进行动作。

位置姿势数据生成部17基于从位置检测传感器15输出的伺服电动机的位置信号来生成机器人11的位置姿势数据，向支持增强现实的显示器13输出该位置姿势数据。

在实施机器人示教作业的情况下，作业者一边对支持增强现实的显示器13进行目视确认，一边通过示教操作板14来操作机器人11。此时，从示教操作板14经由机器人控制装置12向机器人11示教期望的作业动作。由此，期望的作业动作记录于机器人控制装置12的程序保持部16。

在进行上述机器人示教作业时，存在无法准备要安装于机器人11的臂部的前端的机器手、加工工具等末端执行器的情况。另外，也存在无法将用于输送工件的带式输送机、轨道式输送台车等机器人周边装置配置于机器人11的周边的情况。本实施方式的机器人系统10构成为在这样的情况下也将末端执行器或机器人周边装置设为虚拟图像而显示于支持增强现实的显示器13。

具体来说，如图1所示，支持增强现实的显示器13具备用于拍摄包含机器人11的真实空间的照相机18、用于实时显示由照相机18拍摄到的包含机器人11的真实空间的图像的显示部19、以及计算机20。

支持增强现实的显示器13例如是头戴式显示器(参照图3和图5)。在该情况下，优选的是，显示部19具有为眼镜片程度的大小且以与人的两个眼睛分别对应的方式配置的显示画面。此外，支持增强现实的显示器13只要使作业者能够一边拿着示教操作板14一边对照相机18的影像进行目视确认即可，并不限定于头戴式显示器。

如图1所示，支持增强现实的显示器13的计算机20具备照相机位置姿势估计部21、虚拟物体数据保持部22、虚拟物体图像生成部23以及增强现实图像处理部24。但是，虚拟物体数据保持部22和虚拟物体图像生成部23也可以内置于机器人控制装置12。

照相机位置姿势估计部21估计机器人11与拍摄该机器人11的照相机18之间的相对的位置和角度(姿势)。

虚拟物体数据保持部22用于保持在设置有机器人11的真实空间中不存在的虚拟物体的数据。从示教操作板14向虚拟物体数据保持部22输入虚拟物体的数据。另外，上述虚拟物体的数据是与上述末端执行器、机器人周边装置等有关的三维形状、设置场所的数据。

从虚拟物体数据保持部22向虚拟物体图像生成部23输入上述虚拟物体的数据。并且，从照相机位置姿势估计部21向虚拟物体图像生成部23输入机器人11与照相机18之间的相对位置角度(相对位置姿势)的数据。

然后，虚拟物体图像生成部23基于虚拟物体的数据和机器人11与照相机18之间的相对位置角度的数据，来生成适合于由照相机18拍摄到的机器人11的真实图像的虚拟物体的图像。此时，如果机器人11与照相机18之间的相对位置角度发生改变，则虚拟物体的图像与此相应地被变更为适合于拍摄到的机器人11的真实图像的图像。

向增强现实图像处理部24输入由虚拟物体图像生成部23生成的虚拟物体的图像信息。

并且，从机器人控制装置12的位置姿势数据生成部17经由计算机20而向增强现实图像处理部24输入机器人11动作期间的位置姿势数据。另外，还向增强现实图像处理部24输入由照相机18拍摄到的机器人11的真实图像的信息。

然后，增强现实图像处理部24基于机器人11的位置姿势数据，来将由虚拟物体图像生成部23生成的虚拟物体的图像叠加于机器人11的真实图像并使显示部19显示。在使机器人11进行动作的情况下，优选的是，基于机器人11动作期间的位置姿势数据，每隔规定时间更新要叠加于拍摄到的机器人11的真实图像的虚拟物体的图像的数据。

图2是示出将上述末端执行器、机器人周边装置等虚拟物体的图像叠加于由照相机18拍摄到的机器人11的真实图像进行显示时的处理流程的流程图。

如图2所示，首先，支持增强现实的显示器13判断是否经由照相机18取入了机器人11的真实图像(步骤S11)。

在判断为取入了机器人11的真实图像的情况下，支持增强现实的显示器13的照相机位置姿势估计部21估计机器人11与照相机18之间的相对位置角度(步骤S12)。

然后，在上述步骤S12之后，从机器人控制装置12的位置姿势数据生成部17向支持增强现实的显示器13输出机器人11的位置姿势数据(步骤S13)。

接着，支持增强现实的显示器13将末端执行器、机器人周边装置等虚拟物体的图像叠加于由照相机18拍摄到的机器人11的真实图像并使显示部19显示(步骤S14)。此时，如上所述，根据机器人11与照相机18之间的相对位置角度来制作虚拟物体的图像，基于机器人11的位置姿势数据来将虚拟物体的图像叠加于机器人11的真实图像。

并且，支持增强现实的显示器13判断是否需要使上述叠加显示图像、即已在机器人11的真实图像上叠加显示的虚拟物体的图像进行动作(步骤S15)。

在从位置姿势数据生成部17向支持增强现实的显示器13输出的机器人11的位置姿势数据发生变化时，支持增强现实的显示器13在上述步骤S15中判断为“是”。

在上述步骤S15中判断为“是”的情况下，支持增强现实的显示器13使上述叠加显示图像进行动作(步骤S16)。在该情况下，只要基于机器人11动作期间的位置姿势数据每隔规定时间更新叠加显示图像的数据即可。

下面，具体地例示将虚拟的末端执行器的图像叠加在现实的机器人11的真实图像上进行显示的情况(以下称为第一实施例)。

(第一实施例)

图3是示意性地示出第一实施例的处理的情形的图。

在进行机器人示教作业时，如图3所示作业者佩戴支持增强现实的显示器13，对设置于规定的场所的机器人11进行目视确认。此时，在机器人11的臂部的前端没有安装机器手、加工工具等末端执行器。另外，在机器人11的周边也没有配置用于输送工件的带式输送机、轨道式输送台车等机器人周边装置。

在这样的真实环境中，支持增强现实的显示器13取入由照相机18拍摄到的包含机器人11的真实环境的图像(参照图3中的箭头A)。

接着，支持增强现实的显示器13的照相机位置姿势估计部21估计机器人11与照相机18之间的相对位置角度。其原因在于，在将虚拟的末端执行器的图像叠加在现实的机器人11的真实图像R1上进行显示时，需要以适当的方向和位置显示该虚拟的末端执行器的图像R2。

在第一实施例中，通过如下的方法来估计上述那样的机器人11与照相机18之间的相对位置角度。

即，事前利用照相机18从许多视点对各种静止姿势的机器人11进行拍摄，并事先将多个机器人11的图像模型记录于照相机位置姿势估计部21。此时，还事先记录获取各个机器人11的图像模型时的机器人11与照相机18之间的相对位置角度。

之后，如上所述，当现实的机器人11的真实图像R1被取入支持增强现实的显示器13时，判定被取入的机器人11的真实图像R1与预先记录的多个机器人11的图像模型M₁、M₂、...M_n中的哪一个图像模型最接近(参照图3中的箭头B)。然后，照相机位置姿势估计部21将与该最接近的图像模型对应的机器人11与照相机18之间的相对位置角度视为当前由照相机18正在拍摄的机器人11与照相机18之间的相对位置角度。

接着，照相机位置姿势估计部21向机器人控制装置12进行表示已估计出机器人11与照相机18之间的相对位置角度的意思的通知(参照图3中的箭头C)。

由此，机器人控制装置12的位置姿势数据生成部17向支持增强现实的显示器13发送机器人11当前的位置姿势数据(参照图3中的箭头D)。

接着，支持增强现实的显示器13内的虚拟物体图像生成部23生成适合于当前由照相机18正在拍摄的机器人11的真实图像R1的、虚拟的末端执行器的图像R2。此时，基于存储保持于虚拟物体数据保持部22的末端执行器的三维形状等数据和如上所述那样估计出的机器人11与照相机18之间的相对位置角度，来制作虚拟的末端执行器的图像R2。也就是说，虚拟的末端执行器的图像R2被生成为相对于由照相机18拍摄到的机器人11的真实图像R1中的臂部的前端具有适当的方向、位置以及大小的图像。

然后，支持增强现实的显示器13内的增强现实图像处理部24将由虚拟物体图像生成部23生成的虚拟的末端执行器的图像R2附加于由照相机18拍摄到的机器人11的真实图像R1中的臂部的前端并使显示部19显示(参照图3中的箭头E)。此时，基于从机器人控制装置12发送的机器人11的位置姿势数据和机器人11与照相机18之间的相对位置角度，来确定机器人11的真实图像R1中的臂部的前端的位置。

图4是示意性地示出在使机器人11进行动作时支持增强现实的显示器13所显示的图像的情形的图。

在机器人示教作业时，作业者使用示教操作板14来使机器人11进行动作。由此，机器人11的位置姿势发生变化，因此如图4所示那样显示部19中的机器人11的真实图像R1发生变化。增强现实图像处理部24基于发生变化的机器人11的位置姿势数据来更新要显示于机器人11的真实图像R1中的臂部的前端附近的、虚拟的末端执行器的图像R2的数据。此时，优选的是，利用虚拟物体图像生成部23来与机器人11的真实图像R1的变化相应地实时地生成虚拟的末端执行器的图像R2。通过上述那样，显示于机器人11的真实图像R1中的臂部的前端附近的、虚拟的末端执行器的图像R2(图4中由划线围起来的图像部分25)随着机器人11的真实图像R1的变化而发生变动。

根据以上所说明的第一实施例，即使在机器人11的臂部的前端没有安装末端执行器的情况下，也能够通过支持增强现实的显示器13而视为存在末端执行器来实施机器人示教作业。另外，由于使用头戴式显示器来作为支持增强现实的显示器13，因此作业者能够一边对显示于显示部19的照相机18的影像进行目视确认一边操作示教操作板14。

接着，具体地例示将虚拟的机器人周边装置的图像叠加在现实的机器人11的真实图像上进行显示的情况(以下称为第二实施例)。

(第二实施例)

图5是示意性地示出第二实施例的处理的情形的图。

在进行机器人示教作业时，如图5所示那样作业者佩戴支持增强现实的显示器13，对设置于规定的场所的机器人11进行目视确认。此时，在机器人11的臂部的前端没有安装机器手、加工工具等末端执行器。另外，在机器人11的周边也没有配置用于输送工件的带式输送机、轨道式输送台车等机器人周边装置。

在这样的真实环境中，支持增强现实的显示器13取入由照相机18拍摄到的包含机器人11的真实环境的图像(参照图5中的箭头F)。但是，在第二实施例的情况下，在机器人11的表面至少安装有一个标识器26。优选的是，标识器26具有规定的形状或图案且能够通过照相机18而被识别为图像。

接着，支持增强现实的显示器13的照相机位置姿势估计部21估计机器人11与照相机18之间的相对位置角度。其原因如上述的第一实施例中所说明的那样。

在第二实施例中，通过如下那样的方法来估计上述那样的机器人11与照相机18之间的相对位置角度。

即，事先在设置于真实空间的机器人11的表面安装多个标识器26，利用照相机18拍摄标识器26。各标识器26在真实空间中的位置是已知的。因此，能够基于投影到照相机18的图像坐标上的标识器26的位置来反向计算照相机18在真实空间坐标系中的位置和姿势(角度)。照相机位置姿势估计部21通过这样的计算来估计机器人11与照相机18之间的相对位置角度。另外，优选的是，事先将期望的机器人周边装置的图像模型与标识器26的位置相关联起来。通过这样，能够基于照相机18在真实空间坐标系中的位置和姿势(角度)来使期望的机器人周边装置的图像模型的数据叠加在机器人11的真实图像中的期望的位置进行显示。

接着，照相机位置姿势估计部21向机器人控制装置12通知机器人11与照相机18之间的相对位置角度(参照图5中的箭头G)。此外，在第二实施方式中，代替图1所示的方式而设为虚拟物体数据保持部22和虚拟物体图像生成部23内置于机器人控制装置12。

内置于机器人控制装置12的虚拟物体图像生成部23生成要附加于当前由照相机18正在拍摄的机器人11的真实图像R1的、虚拟的机器人周边装置例如带式输送机的图像R3。此时，基于存储保持于虚拟物体数据保持部22的机器人周边装置的三维形状等数据和如上所述计算出的机器人11与照相机18之间的相对位置角度来制作虚拟的机器人周边装置的图像R3。也就是说，虚拟的机器人周边装置的图像R3被生成为相对于由照相机18拍摄到的机器人11的真实图像R1具有适当的方向、位置以及大小的图像。

接着，机器人控制装置12将由虚拟物体图像生成部23生成的虚拟的机器人周边装置的图像R3向支持增强现实的显示器13内的增强现实图像处理部24发送(参照图5中的箭头H)。

然后，增强现实图像处理部24将由虚拟物体图像生成部23生成的虚拟的机器人周边装置的图像R3叠加于由照相机18拍摄到的机器人11的真实图像R1并使显示部19显示(参照图5中的箭头I)。此时，基于投影到照相机18的图像坐标上的标识器26的位置和机器人11与照相机18之间的相对位置角度来确定叠加显示虚拟的机器人周边装置的图像R3的位置。

此外，为了使已叠加显示于机器人11的真实图像的、虚拟的机器人周边装置例如带式输送机的图像R3移动，优选采取如下这样的方法。首先，事前基于虚拟的带式输送机的图像R3来制作将虚拟的带式输送机的可动带部每次移动少许而得到的多个移动图像，事先将该多个移动图像记录于虚拟物体数据保持部22。机器人控制装置12构成为能够在期望的时机向支持增强现实的显示器13输出用于控制虚拟的带式输送机的模拟信号。然后，支持增强现实的显示器13基于来自机器人控制装置12的模拟信号的输入，每隔规定时间对机器人11的真实图像以适当的方向、位置以及大小叠加上述可动带部的移动图像后进行显示。

根据以上所说明的第二实施例，即使在机器人11的周边实际上没有配置带式输送机等的机器人周边装置的情况下，也能够通过支持增强现实的显示器13而视为存在机器人周边装置来实施机器人示教作业。另外，由于使用头戴式显示器来作为支持增强现实的显示器13，因此作业者能够一边对显示于显示部19的照相机18的影像进行目视确认一边操作示教操作板14。

以上，使用典型的实施例来说明了本发明，但能够理解为如果是本领域技术人员，则在不脱离本发明的范围的情况下能够对上述的各实施例进行变更和各种其它变更、省略、追加。另外，将上述各实施例适当组合也包含在本发明的范围内。

发明的效果

根据本发明的第一方式、第二方式、第三方式以及第四方式，即使在针对机器人还没有准备末端执行器、机器人周边装置的情况下，也能够通过影像显示装置而视为存在末端执行器、机器人周边装置来实施机器人示教作业。

根据本发明的第五方式，作业者能够一边对显示于显示部的照相机的影像进行目视确认一边操作示教操作板。