具备扩展现实对应显示器的机器人系统的制作方法
【技术领域】
[0001]本发明涉及一种具备扩展现实对应显示器的机器人系统，在上述扩展现实对应显示器上附加了与机器人的状态对应的信息、机器人操作的导航信息。
【背景技术】
[0002]在现有的机器人系统中，有使用与虚拟现实(Virtual Reality:VR)相关的技术，进行机器人的状态或作业者的操作的导航的系统。但是在虚拟现实中，机器人以及机器人周围的环境的现实再现度越小，越与现实产生差异。
[0003]因此在近年的机器人系统中，有使用与扩展现实(Augmented Reality:AR)相关的技术(AR对应显示器等)，进行机器人的状态显示或作业者的操作辅助(导航)的系统。例如日本特开2014-097539号公报中公开了操作者通过主从方式远程操作双足步行型机器人的步行的方法和装置，记载有操作者一边观察AR(扩展现实)影像一边移动自己的脚的情况。
[0004]另外，在日本特开2014-180707号公报中公开一种机器人装置，该机器人装置具备:机器人控制部，其根据动作程序使机器人动作；机器人摄像部，其取得图像数据；数据处理部，其具有扩展现实空间数据生成部，该扩展现实空间数据生成部使用虚拟空间数据保持部以及至少图像数据和虚拟空间数据来生成扩展现实空间数据；以及显示部，其显示扩展现实空间的图像，进而还记载有虚拟空间数据包括在虚拟空间对存在于机器人的实际作业空间中的物体进行了模拟的虚拟物体的信息。
[0005]在日本特开2014-097539号公报记载的发明中记载了通过使用AR影像，能够稳定操作者自身的脚的位置/姿势。另外，在日本特开2014-180707号公报记载的发明中记载了通过使用实际机器人的图像数据和包括虚拟物体的虚拟空间数据来生成扩展现实空间数据，能够不产生机器人和周边物的干扰，从而安全且容易地实施机器人的示教作业。不过，目前关于使用扩展现实，将用数值或字符进行显示的情况为通常的与机器人的状态或导航(操作指南)相关的信息提供给操作者的情况，在日本特开2014-097539号公报和日本特开2014-180707号公报都没有提到。
【发明内容】
[0006]因此，本发明的目的在于提供一种机器人系统，使用扩展现实对应显示器，将机器人在实际影像或实际环境中的状态或与操作指南相关的信息提供给机器人的使用者，谋求实现使用者操作的效率化。
[0007]为了达成上述目的，本发明提供一种机器人系统，其具有:机器人；控制装置，其控制上述机器人；影像取入显示装置，其与上述控制装置连接，具有将包括上述机器人的场景的影像取入后实时进行显示的功能；以及测量部，其根据包括上述机器人的场景的影像，测量上述影像取入显示装置和上述机器人之间的相对位置角度，上述影像取入显示装置具有显示器，该显示器根据通过上述测量部测量出的相对位置角度，针对实时显示在上述影像取入显示装置中的影像，重叠显示视觉地表示上述机器人的状态或操作指南的附加信息。
[0008]在优选的实施方式中，上述影像取入显示装置具备显示现实的场景的视频图像的显示器，针对上述视频图像中包括的上述机器人的实际影像重叠显示上述附加信息。
[0009]在优选的实施方式中，上述影像取入显示装置具备透过现实的场景进行显示的显示器，针对在上述显示器上透过显示的上述机器人的实际影像重叠显示上述附加信息。
[0010]在优选的实施方式中，上述影像取入显示装置是与上述控制装置连接的示教操作盘。
[0011]上述附加信息例如是表示通过手动操作上述机器人有可能动作的方向的图像。
[0012]上述附加信息例如是通过上述机器人的速度倍率的当前值所对应的发光强度进行显示的发光显示。
[0013]上述附加信息例如是搭载到上述机器人上的设备中检测出异常的设备的发光显不O
【附图说明】
[0014]通过边参照附图边说明以下的优选实施方式，能够更加明确本发明的上述或其他目的、特征以及优点。
[0015]图1是表示本发明第一实施方式的机器人系统的概略结构的图。
[0016]图2是表示本发明的机器人系统的处理的一例的流程图。
[0017]图3是表示本发明第二实施方式的机器人系统的概略结构的图。
[0018]图4是表不在AR对应显不器中用于重置图像的具体单兀的一例的图。
[0019]图5是表示在AR对应显示器中用于重叠图像的具体单元的其他例子的图。
[0020]图6是表示本发明第三实施方式的机器人系统的概略结构的图。
[0021]图7是表示通过扩展现实处理而得到的图像的具体例子的图。
[0022]图8是表示通过扩展现实处理而得到的图像的其他具体例子的图。
[0023]图9是表示通过扩展现实处理而得到的图像的进一步其他具体例子的图。
【具体实施方式】
[0024]图1是表示本发明第一实施方式的机器人系统10的概略结构的图。机器人系统10具有:实机机器人(实际机器人)12 ;机器人控制装置(以后也简单地称为控制装置)14，其控制实际机器人12 ;影像取入显示装置(扩展现实(AR)对应显示器)16，其通过有线或无线与控制装置14连接，具有取入对包括实际机器人12的场景进行拍摄得到的影像(图像)后实时地进行显示的功能。另外，在以下说明的实施方式中，本发明的影像取入显示装置以及测量部的功能由AR对应显示器16或后述的示教操作盘42所具备，不过也能够使其他单元具备这些功能的一部分。
[0025]在图1的例子中，影像取入显示装置16图示为使用者18能够安装的头戴式显示器。使用者18使设置在头戴式显示器16上的照相机20面向实际机器人12，从而能够拍摄包括实际机器人12的场景，实时取得(捕捉)该场景的影像，能够经由显示部22 (显示器)识别后述的被扩展现实化了的图像26。
[0026]接着，参照图2的流程图说明关于机器人系统10的处理。首先，通过内置有计算机和存储器的AR对应显示器16拍摄(捕捉)包括实际机器人12的实际环境(场景)。在正确地捕捉到实际机器人12的图像的情况下(步骤SI)，从预先记录在AR对应显示器16中的多个机器人的图像模型24(参照图1)检测(匹配)距离通过AR对应显示器16捕捉到的实际机器人12的图像最近的图像模型。在图1的例子中，检测(选择)出AR对应显示器16中存储的多个图形模型24a?24z中距离实际机器人12的摄像图像最近的图像模型 24a。
[0027]接着，使用AR对应显示器16测量实际机器人12相对AR对应显示器16 (的照相机20)的相对位置以及角度(以后称为相对位置角度)(步骤S2)。具体地说，如图1所示，预先将表示针对AR对应显示器16的机器人的代表点(例如工具前端点)位置和姿势的值(相对位置角度)与多个图像模型分别关联，将与检测出的图像模型24a关联的相对位置角度作为AR对应显示器16和实际机器人12的相对位置角度进行测量。另外，在图示例中，实际机器人12是6轴的多关节机器人，通过6个参数(X、Y、Z、W、P、R)来表现该机器人的工具前端点的相对位置角度。
[0028]接着，在步骤S3中，将通过AR对应显示器16测量出的相对位置角度发送给控制装置14。并且在接着的步骤S4中，将为了扩展现实化所需要的实际机器人12的内部信息从控制装置14发送给AR对应显示器16。
[0029]接着，在步骤S5中，在AR对应显示器16根据来自控制装置14的实际机器人12的内部信息生成预定的附加信息图像，针对捕捉到的实际机器人12的图像进行扩展现实处理，将进行了扩展现实化的机器人显示在显示部22中。在该例子中，实际机器人12的内部信息是工具前端点的机器人坐标系的各个轴(X、Y、Z)的方向，在被扩展现实化了的机器人的图像中，将工具前端点设为原点，将表示将上述各个轴的方向设为基本轴的正交坐标系28的图像作为附加信息图像(实际机器人的操作指南)重叠显示在实际机器人12的图像上。
[0030]通过预定的时间周期重复上述的步骤SI?S5，从而在显示部22实时地显示被扩展现实化了的机器人的图像，使用者18能够一边对此进行识别一边有效地进行实际机器人12的示教操作等。
[0031]图3是表示本发明第二实施方式的机器人系统10’的概略结构的图。机器人系统10’具有:实机机器人(实际机器人)12;控制装置14，其控制实际机器人12;影像取入显示装置(扩展现实(AR)对应显示器)16，其通过有线或无线与控制装置14连接，具有取入将场景进行取入的影像后实时地进行显示的功能。
[0032]在图3的例子中，影像取入显示装置16图示为使用者18能够安装的头戴式显示器。使用者18通过将设置在头戴式显示器16上的照相机20面向实际机器人12，能够实时取得(捕捉)拍摄包括实际机器人12的场景而得到的影像(图像)，能够经由显示部(显示器)22识别后述的被扩展现实化了的图像26。
[0033]接着，参照图2的流程图说明机器人系统10’的处理。首先，在实际机器人12的预定部位(旋转躯干、上臂、前臂等)至少粘贴或形成一个标记30，通过内置具有图像处理功能的计算机的AR对应显示器16拍摄(捕捉)包括实际机器人12的实际环境(场景)。这时候，在被拍摄的图像中包括标记30。
[0034]在正确捕捉到具有标记30的实际机器人12的图像的