机器人系统及其控制装置和控制方法、摄像装置、控制程序和存储介质与流程

本发明涉及一种机器人系统。

背景技术：

近年来，通过使用机器人装置的机器人系统，已使得在工厂生产线中执行的诸如组装、运输和涂装工作等工作自动化。作为机器人装置的示例，给出了使用具有多个旋转驱动关节的机器人手臂的多关节机器人和使用具有多个水平驱动臂连杆的机器人手臂的垂直多关节机器人。

随着机器人系统的控制技术的进步，可以从远程位置对机器人装置给出期望的操作命令。例如，将两个装置(控制机器人装置的控制装置以及由操作者在远程位置操作的计算机)连接到网络，并且通过例如网络照相机等摄像装置将机器人装置显示在计算机的画面上。这样，远程位置的操作者可以在计算机画面上操作机器人装置。

因此，即使在工厂中的机器人装置中发生了异常并且操作者必须通过视觉识别来进行机器人装置的维护工作的情况下，操作者也可以通过使用摄像装置从远程位置进行维护工作。因此，可以计划使工厂生产线不仅自动化而且无人值守。

上述无人化工厂生产线不仅可以实现人工成本的降低，而且即使在由于工厂环境而使操作者不宜进入工厂的情况下，也可以实现工厂的监视，因此对无人化工厂的需求在增加。

如上所述，为了利用摄像装置、通过视觉识别来从远程位置操作机器人装置，重要的是摄像装置的视点。如果如上所述的机器人装置中发生异常，在为了通过视觉识别从远程位置视觉地进行维护工作而使机器人装置执行预定操作的情况下，存在操作者想要基于机器人装置的操作来密切观察的视点。

例如，在将机器人手安装在机器人手臂的前端的机器人装置用于通过诸如利用机器人手抓取目标物等操作进行维护工作的情况下，操作者必须密切观察机器人手和工件。

此外，在由于发生异常而使机器人装置的机器人手臂停止、并从停止的机器人手臂的姿势恢复到预定姿势的情况下，机器人手臂的特定部分可能会经过附近障碍物的周边。在这种情况下，为了在机器人手臂的特定部分即将与附近的障碍物接触时紧急停止机器人手臂，希望控制摄像装置的视点，以便在执行恢复机器人手臂的操作时持续地密切观察特定部分的周围。

在专利文献1中，讨论了一种方法，其中，通过从由摄像装置拍摄的视频图像中检测出要由摄像装置密切观察的目标物的移动轨迹，可以容易地执行摄像装置的跟踪控制。

引文清单

专利文献

专利文献1：日本特开2016-111649号公报

技术实现要素：

技术问题

在专利文献1中讨论的技术，通过执行用于检测摄像装置拍摄的视频图像中的目标物位置的处理(图像匹配)，允许控制摄像装置的视点以跟踪目标物。因此，在要控制摄像装置的视点以跟踪机器人装置的移动的情况下，需要在机器人的各个部分上设置多个跟踪标记。在许多情况下，各种外围设备被安装在工厂使用的机器人装置中，因此如果跟踪标记被隐藏在其他外围设备的后面，则将难以执行对摄像装置的视点的跟踪控制。

考虑到上述问题，本发明涉及一种机器人系统，该机器人系统能够在基于摄像装置执行的摄像而操作安装有外围设备的机器人装置时，不使用跟踪标记而控制摄像装置的视点。

问题的解决方案

为了解决上述问题，本发明采用了包括机器人装置和摄像装置的机器人系统。机器人系统包括被配置为控制机器人装置和摄像装置的控制装置，且该控制装置基于机器人装置的预定部分移动的路径来控制摄像装置的移动，以便即使机器人装置移动，仍对该预定部分进行摄像。

发明的有益效果

根据本发明的一个方面，基于操作者想要密切观察的目标物的路径，即使移动了目标物，仍控制摄像装置连续执行摄像。利用该配置，可以在不使用跟踪标记的情况下控制摄像装置的视点。

附图说明

【图1】图1是示出根据示例性实施例的机器人系统1000的配置的图。

【图2】图2是示出根据示例性实施例的机器人装置1的配置的图。

【图3】图3是示出根据示例性实施例的摄像装置2的配置的图。

【图4】图4是示出根据示例性实施例的计算机3的配置的图。

【图5】图5是示出根据示例性实施例的控制方法的流程图。

【图6a】图6a是示出根据示例性实施例的机器人装置1异常停止的状态的图。

【图b】图6b是示出根据示例性实施例的机器人装置1异常停止的状态的图。

【图7】图7是示出根据示例性实施例的计算出的路径和摄像视点的图。

【图8】图8是示出根据示例性实施例的用于监视正由摄像装置2摄像的机器人装置1的画面结构的图。

【图9】图9是示出根据示例性实施例的用于监视正由摄像装置2摄像的机器人装置1的画面结构的变形示例的图。

【图10】图10是示出根据示例性实施例的摄像装置4的配置的图。

【图11a】图11a是示出根据示例性实施例的用于监视正由摄像装置4摄像的机器人装置1的画面结构的图。

【图11b】图11b是示出根据示例性实施例的用于监视正由摄像装置4摄像的机器人装置1的画面结构的图。

【图12】图12是示出根据示例性实施例的用于监视正由摄像装置2摄像的机器人装置1的画面结构的图。

具体实施方式

在下文中，将参照附图描述体现本发明的示例性实施例。下文中描述的示例性实施例仅是示例，本领域技术人员可以在不脱离本发明范围的范围内适当地改变配置的细节。此外，在本示例性实施例中提到的值是参考值，并不旨在限制本发明。

【第一示例性实施例】

图1是示出根据本示例性实施例的机器人系统1000的示意性配置的图。在本示例性实施例中，将使用机器人装置1执行的用以将通过传送带150沿箭头p所示的方向传送的工件wa至wd布置到托盘152上的任务的示例来进行描述。

机器人系统1000由机器人装置1、用于对机器人装置1的状态进行摄像的摄像装置2、用于控制机器人装置1和摄像装置2的机器人系统控制装置13以及允许操作者从远程位置浏览摄像装置2拍摄的视频图像的计算机3构成。计算机3和机器人系统控制装置13经由通信装置60以可远程通信的状态连接。

这里，远程位置是指操作者不能直接且在视觉上将机器人装置1识别为操作目标、而是可以利用摄像装置2在视觉上识别机器人装置1的地方。

如图1所示，摄像装置2被安装在杆155上，并且摄像装置2对机器人装置1的移动进行摄像，并在安装于远程位置的计算机3的显示器31上显示机器人装置1的图像。另外，在机器人装置1的周围配置有防护壁153和154。为了安全起见，配置有防护壁153和154，从而可以防止工件和操作者与机器人装置1碰撞。

图2是示出根据本示例性实施例的机器人装置1的配置的图。在本示例性实施例中，将描述六轴多关节机器人作为机器人装置的示例。

如图2所示，机器人装置1包括基座10、具有六个关节j1至j6的机器人手臂主体50以及用于抓握工件的末端执行器11。机器人装置1经由电缆12连接至机器人系统控制装置13。此外，机器人系统控制装置13包括用于连接至外部网络的网卡，并且经由电缆14连接至通信装置60以连接到外部网络。

在本示例性实施例中，将以具有三个手指部分的机器人手作为末端执行器11的示例进行描述。尽管在本示例性实施例中以具有手指部分的机器人手为示例，但是可以单独使用能够在工件上执行任务的机构，例如，利用代替手指部分而配设的吸附机构来保持工件的末端执行器。

机器人系统控制装置13由包括微处理器的中央处理单元(cpu)构成。外部输入设备可以连接至机器人系统控制装置13。例如，可以给出使示教者能够在机器人装置1附近直接示教机器人装置1的示教器，作为外部输入设备的示例。

示教者通过使用外部输入设备将命令值输入到机器人控制装置13，并且来自控制装置13的控制值被传输到机器人手臂主体50和末端执行器11，这使得机器人装置1执行诸如在托盘152上布置工件等的操作。然后，机器人装置1对工件进行操作以制造物品。

机器人系统控制装置13包括只读存储器(rom)，其存储有用于根据机器人手臂主体50的各种移动和执行该控制所需的数据来控制相应的驱动单元的程序。机器人系统控制装置13还包括随机存取存储器(ram)，其上加载有控制机器人手臂主体50所需的数据、设定值和程序，并且还用作cpu的工作区域。

如图2所示，例如，机器人手臂主体50由通过串联(seriallink)方法经由多个关节(六个轴)彼此连接的多个连杆构成。机器人手臂主体50的连杆51、52、53、54、55和56通过关节j1、j2、j3、j4、j5和j6被驱动。各个关节包括用作驱动源的马达(未示出)。

如图2所示，机器人手臂主体50的基座10和连杆51通过围绕z轴方向的旋转轴旋转的关节j1而连接。例如，关节j1具有从初始姿势大约±180度的可移动范围。

机器人手臂主体50的连杆51和52通过关节j2连接。在图2所示的状态下，关节j2的旋转轴与x轴方向一致。例如，关节j2具有从初始姿势大约±80度的可移动范围。

机器人手臂主体50的连杆52和53通过关节j3连接。在图2所示的状态下，关节j3的旋转轴与x轴方向一致。例如，关节j3具有从初始姿势大约±70度的可移动范围。

机器人手臂主体50的连杆53和54通过关节j4连接。在图2所示的状态下，关节j4的旋转轴与y轴方向一致。例如，关节j4具有从初始姿势大约±180度的可移动范围。

机器人手臂主体50的连杆54和55通过关节j5连接。关节j5的旋转轴与x轴方向一致。关节j5具有从初始姿势大约±120度的可移动范围。

机器人手臂主体50的连杆55和56通过关节j6连接。关节j6的旋转轴与z轴方向一致。关节j6具有从初始姿势大约±240度的可移动范围。

此外，用于执行生产线中的组装工作或运输工作的机器人手被用作连接到机器人手臂主体50的前端的末端执行器11。

末端执行器11可以通过诸如螺钉等的半固定方法或者通过诸如闩锁等的附接-拆卸方法附接到连杆56。

特别地，在可拆卸地安装末端执行器11的情况下，可以考虑这样一种方法，即，通过机器人手臂主体50自身的移动来控制机器人手臂主体50附接或替换为设置在供给位置上的另一个末端执行器11。

此外，在本示例性实施例中，为了执行关节j1至j6的驱动的反馈控制，在关节j1至j6的每一个上布置有扭矩传感器和编码器(未示出)。

图3是示出摄像装置2的配置的图。在本示例性实施例中，将以能够执行平摇、俯仰和变焦的摄像装置为例进行描述。

摄像装置2包括照相机基座20、可移动单元21和可移动单元21内部的摄像单元22。

可移动单元21包括俯仰马达，并且摄像单元22通过诸如轴和轴承的传动机构设置在其中，这使得摄像单元22能够沿箭头a所示的俯仰方向旋转。

类似地，可移动单元21包括平摇马达，并且摄像单元22通过诸如轴和轴承的传动机构设置在其中，这使得摄像单元22能够沿箭头b所示的平摇方向旋转。

此外，摄像装置2包括用于连接至外部网络的网卡，并且经由电缆23连接至通信装置60以连接到外部网络。

利用上述配置，摄像装置2可以通过可移动单元21对机器人装置1及其附近的预定位置进行摄像，从而可以经由通信装置60在远程位置的计算机3的显示器31上显示拍摄的图像。

图4是示出使操作者能够基于从摄像装置2获取的拍摄图像来操作机器人装置1的计算机3的图。计算机3包括操作系统(os)30、显示器31、键盘32和鼠标33。

在显示器31上显示用于在远程位置控制机器人装置1的界面和由摄像装置2摄像的拍摄图像。

此外，os30包括用于连接到外部网络的网卡，并经由电缆34连接到通信装置60以连接到外部网络。

利用上述配置，操作者可以基于在显示器31上显示的信息，通过使用键盘32和鼠标33输入命令值，以从远程位置操作机器人装置1和摄像装置2。

在本示例性实施例中，已经使用示例进行了描述，在该示例中，机器人装置1执行将通过传送带150沿箭头p所示的方向传送的工件wa至wd布置在托盘152上的任务。根据预先创建的操作程序，执行用于布置工件的机器人装置1的操作。在本示例性实施例中，该操作称为正常操作。

然而，存在由于某种异常的发生而使机器人装置1的操作停止的情况。例如，可以考虑以下情形：由于现场操作者进入机器人装置1的附近而使机器人装置1紧急停止、由于传送带150上传送了不同类型的工件使得在正常操作期间发生了一些异常。

此时，将机器人装置1停止的位置称为异常停止位置。通常，为了使机器人装置1恢复到正常操作，必须将机器人装置1移动到在正常操作中指定为初始起点的位置。该位置被称为恢复位置，将机器人装置1的从异常停止位置到恢复位置的操作称为恢复。

为了执行恢复，在本示例性实施例中，操作者利用摄像装置2从远程位置检查机器人装置1的状态，创建并执行机器人装置1的恢复轨迹，并监视操作中的机器人装置1。

此时，为了避免机器人装置1与任何外围设备接触，当操作者基于摄像装置2的摄像来操作机器人装置1时，使操作者能够在容易地确认安全的同时执行上述操作，而未使用跟踪标记。细节将在下面进行描述。

图5是示出根据本示例性实施例的机器人装置1和摄像装置2的控制方法的流程图。该控制方法包括八个处理步骤s100至s107。下面将参考附图描述在每个处理步骤中执行的具体方法。

首先，假定机器人装置1进入上述异常状态，在机器人装置1停在异常停止位置的状态下开始处理流程。

图6a是示出了当正在操作的机器人装置1异常停止时机器人装置1的异常停止位置和恢复位置的图。图6b是示出当操作者模拟显示异常状态下的机器人装置1时的计算机3的显示器31的画面结构的图。

图6a和图6b示出了机器人装置1的末端执行器11停在异常停止位置70处的状态，并且末端执行器11必须恢复到工件wa上方的恢复位置71。在本示例性实施例中，机器人系统具有基于关于起点和终点的信息而自动生成机器人装置1的轨迹的功能。

在图6b中，在计算机3的画面上显示用于执行3d画面显示的3d模型显示单元80和用于创建机器人装置1的轨迹的轨迹生成显示单元90。

实际布置的机器人装置1和工件作为3d模型模拟显示在3d模型显示单元80上。

操作者可以利用键盘32和鼠标33来适当地移动诸如机器人装置1和传送带150之类的可移动物体。为方便起见，在显示在3d模型显示单元80上的物体的附图标记上附有符号[']。

轨迹生成显示单元90包括用于设置起点的起点选择框91和用于设置终点的终点选择框92。由操作者创建的示教点被显示在起点选择框91和终点选择框92内，从而操作者可以进行选择。

轨迹生成显示单元90还包括轨迹生成按钮93、轨迹再现按钮94、临时停止按钮95和停止按钮96。

当操作者点击轨迹生成按钮93时，执行用于计算从在起点选择框91中选择的示教点开始到在终点选择框92中选择的示教点为止的机器人装置1的轨迹的处理。

使用诸如快速探索随机树(rrt)之类的技术来执行轨迹的计算。当结束轨迹的计算时，操作者可以通过点击轨迹再现按钮94来检查机器人装置1和末端执行器11实际在3d模型显示单元80上如何移动。

在此使用的轨迹表示机器人装置1的各个关节j1至j6每个控制周期的位移值。例如，当机器人装置1的控制周期为4ms、机器人装置1执行耗时2000ms的移动时，轨迹由关节j1至j6的总共500组位移值表示。

返回图5，当由于机器人装置1中出现异常而使机器人装置1停在异常停止位置时，开始该处理流程，并且处理进入步骤s100。

在步骤s100中，当在实际布置的机器人装置1中发生异常时，机器人系统控制装置13和os30彼此通信，并且将3d模型显示单元80上的机器人装置1'显示为与机器人装置1姿势相同。

此时，os30从机器人系统控制装置13接收到异常状态下的机器人装置1的关节j1至j6中配设的编码器的检测值，并基于编码器的检测值显示建模的机器人装置1'。通过该处理，机器人装置1'能够以与发生异常时的机器人装置1相同的姿势显示在3d模型显示单元80上。

接下来，在步骤s101中，基于从处于远程位置的操作者接收到的预定指令，模拟生成使末端执行器11从异常停止位置移动到恢复位置的机器人装置1的轨迹。在此，操作者输入异常停止位置70作为起点，并输入恢复位置71作为终点。

然后，在步骤s102中，基于步骤s101中计算出的机器人装置1的轨迹，计算出末端执行器11的路径。这里使用的路径表示当机器人装置1沿着轨迹移动时，针对轨迹的每个控制周期来布置机器人装置1的特定部分的位置的转换。

在本示例性实施例中，将末端执行器11设置为特定部分。当机器人装置1的控制周期为4ms且机器人装置1的操作花费2000ms时，基于2000ms/4ms顺次将末端执行器11总共移动至500个位置。

尽管在本示例性实施例中将末端执行器11描述为机器人装置1的特定部分的示例，但是可以将诸如机器人手臂主体50的关节j1到j6中的任一个的预定位置指定为特定部分。

将选择为特定部分的位置指定为摄像装置2要摄像的位置。因此，例如，如果机器人装置1的任何部分可能与防护壁153或154接触，则该部分可以被选择为特定部分。

通过基于该轨迹(即，机器人的各个关节j1至j6的位移)解决机器人的正向运动学，可以计算出末端执行器11的位置，并且可以计算出末端执行器11的路径。步骤s102中的处理对应于路径计算处理。

当在步骤s101和s102中分别计算出机器人装置1的轨迹和末端执行器11的路径时，路径81被显示在3d模型显示单元80上(图6b)。另外，操作者可以在检查路径81和由摄像装置2摄像的拍摄图像的同时，修改在步骤s101中生成的机器人装置1的轨迹。

接下来，在步骤s103中，计算用于控制摄像装置2的可移动单元21的摄像视点。当从远程位置控制摄像装置2时，必须考虑从远程位置到摄像装置2的通信延迟。这是因为，在由摄像装置2摄像的机器人装置1的移动与实际操作中的实际机器人装置1的移动之间会出现差异。由于处于远程位置的操作者基于摄像装置2摄像的拍摄图像来操作机器人装置1，因此在出现差异的情况下，操作者可能会执行非预期的机器人装置1的操作，这可能会引起麻烦。

因此，在本示例性实施例中，通过将从远程位置到摄像装置2的通信中花费的响应时间的值作为周期来从路径81提取摄像视点。响应时间是指从远程示教者通过os30将命令值输入到摄像装置2时的时间点开始、基于命令值驱动摄像装置2所花费的时间。

例如，假定机器人装置1的控制周期为4ms，并且使末端执行器11在路径81中移动所花费的时间为280ms。此时，末端执行器11基于280ms/4ms顺次移动到路径81中的70个位置。

然而，通常情况是，远程位置的摄像装置2与os30之间的响应时间大于机器人装置1的控制周期4ms。例如，假定摄像装置2和os30之间的响应时间是40ms。

根据上述计算，末端执行器11在路径81中的位置数量是70。因此，根据40ms×70，基于示教者输入的命令值来驱动摄像装置2以对所有位置进行摄像将至少花费2800ms。由于机器人装置1在路径81中的操作时间是280ms，因此在正由摄像装置2摄像的机器人装置1与实际正在操作中的机器人装置1之间将存在差异。

因此，通过将路径81上的末端执行器11的操作时间除以在摄像装置2与os30之间进行通信所花费的响应时间来计算摄像视点。

因为末端执行器11在路径81中的操作时间是280ms，并且在摄像装置2和os30之间的通信中花费的响应时间是40ms，因此，基于280ms/40ms提取末端执行器11在路径81中的7个位置以计算摄像视点。通过该计算，端部执行器11的操作时间和摄像装置2的摄像时间可以彼此大致匹配，从而可以减小上述差异。步骤s103中的处理对应于摄像视点计算处理。

图7是示出用于通过摄像装置2对路径81进行摄像的多个摄像视点的图。在移动了末端执行器11的路径81中示出了总共7个摄像视点，包括6个摄像视点82至87以及恢复位置71。如果还向其添加异常停止位置70，则摄像视点的总数将为8。

接下来，在步骤s104中，计算与每个摄像视点相对应的摄像装置2的控制命令值。摄像装置2的控制命令包括平摇马达的旋转量和俯仰马达的旋转量的组合。os30利用模仿机器人装置1和外围设备的模拟器来执行上述计算。可以根据摄像视点与摄像装置之间的相对位置关系来计算平摇/俯仰旋转量。此外，可以基于摄像视点与摄像装置2之间的距离来调整摄像装置2的变焦量。

通过经由os30和控制装置13将上述控制命令值发送到摄像装置2，可以移动摄像装置2以在步骤s103中计算出的摄像视点处执行摄像。另外，不能集中发送摄像装置2的控制命令值，因此需要连续发送控制命令值，以便连续移动摄像装置2。

接下来，在步骤s105中，计算与步骤s102中获取的轨迹相对应的机器人装置1的控制命令值。尽管可以以各种形式考虑机器人装置1的控制命令，但是在本示例性实施例中，将每个控制周期的关节j1至j6的位移值(即轨迹本身)作为机器人装置1的控制命令值。

通过将控制命令值发送到机器人系统控制装置13，可以从远程位置操作机器人装置1。另外，能够预先共同发送用于使机器人装置1从起点移动到终点的控制命令值。

接下来，在步骤s106中，设置要由摄像装置2的摄像单元22摄像的第一摄像视点。在本示例性实施例中，将机器人装置1当前异常停止的位置，即异常停止位置70，设置为第一摄像视点。

最后，在步骤s107中，将在步骤s104中计算出的摄像装置2的控制命令值和在步骤s105中计算出的机器人装置1的控制命令值发送到机器人系统控制装置13。机器人装置1的控制命令值可以被共同发送，但摄像装置2的控制命令值不能被共同发送。因此，需要针对步骤s103中指定的每个周期发送控制命令值。利用这种配置，可以容易地控制摄像装置2的视点以跟踪机器人装置1的移动。

图8是示出当操作者监视机器人装置1的移动时计算机3的画面结构的图。当直至步骤s107的处理结束时，在显示器31上显示的3d模型的显示被切换为对正由摄像装置2摄像的拍摄图像进行显示。该显示被设定为使得操作者能够在任意的时刻切换显示。

如图8所示，当通过摄像装置2监视机器人装置1的移动时，在显示器31上显示摄像显示单元100、机器人装置操作单元110和摄像操作单元120。

摄像显示单元100是用于显示正由摄像装置2摄像的拍摄图像的盖单元，机器人装置操作单元110是用于对机器人装置1进行操作的操作单元，并且摄像操作单元120是用于对摄像装置2进行操作的操作单元。

机器人装置操作单元110包括分别用于手动和自动操作机器人装置1的两个操作部分。

作为手动操作的方法，机器人装置操作单元110包括：末端执行器操作按钮111，其用于在任意坐标系中沿xyz方向移动机器人装置1的末端执行器11；以及关节操作按钮112，其用于操作每个关节j1到j6的旋转量。

此外，对于执行自动操作的情况，机器人装置操作单元110包括用于利用实际机器人装置1执行步骤s101中计算出的轨迹的执行按钮113，临时停止按钮114和紧急停止按钮115。

摄像操作单元120还包括分别用于手动和自动操作摄像装置2的两个操作部分。

手动操作包括用于执行摄像装置2的平摇/俯仰操作的视点操作按钮121和用于执行放大/缩小操作的变焦操作按钮122。

此外，用于执行自动操作的显示单元包括用于指定摄像装置2的摄像目标的摄像目标框123。在其中显示与机器人装置1有关的部分，并且在步骤s102中基于从中选择的部分来计算路径。

在操作者想要基于步骤s103中计算的摄像视点执行自动摄像控制的情况下，操作者点击跟踪on按钮124。在不需要摄像装置2进行跟踪的情况下，操作者点击跟踪off按钮125。

上面已经描述了根据本示例性实施例的用于跟踪机器人装置1的移动的摄像装置1的视点的操作控制方法。通过将跟踪按钮124设置为on并按下用于执行机器人装置1的自动操作的执行按钮113，可以容易地控制照相机以跟踪机器人装置1的移动，而无需事先进行诸如布置跟踪标记等准备。以这种方式，可以防止由于隐藏在外围设备后面的跟踪标记而导致难以控制摄像装置的视点。

此外，当实际操作机器人装置1时，可能会发生操作者无法预料的事件。然而，由于自动控制摄像装置2的视点以跟踪机器人装置1的移动，因此操作者可以集中精力在机器人装置1的操作上。因此，即使在发生了意外事件的情况下，操作人员也可以迅速采取诸如执行紧急停止操作等的措施，从而可以防止机器人装置1与外围设备接触。

此外，当设置了摄像装置2的摄像视点时，通过将末端执行器11在路径81中的操作时间除以在摄像装置2与os30之间进行通信所花费的响应时间来计算摄像视点。通过该方法，末端执行器11的移动时间与摄像装置2的摄像时间可以匹配，因此能够防止移动不同步。

如果摄像装置2具有足以在某种程度上对末端执行器11及其附近进行摄像的视野，则在步骤s106中，可以将异常停止位置70之后的摄像视点82设置为第一摄像视点。以这种方式，可以预期地执行对机器人装置1的操作监视，从而可以更加可靠地防止由于机器人装置1的移动而导致机器人装置1的预定位置与外围设备的接触。

另外，可以通过首先基于摄像视点移动摄像装置2、然后在预定定时开始机器人装置1在路径81中的移动来实现预期移动。尽管此时末端执行器11暂时不在摄像装置2的摄像范围内，但是可以通过移动摄像装置2以使得末端执行器11基于摄像视点再次位于摄像范围内来实现预期移动。

此外，如图9所示，可以将在步骤s102中计算出的路径81和在步骤s103中计算出的摄像视点与由摄像装置2摄像的拍摄图像一起显示在摄像显示单元100上。通过该配置，可以预料机器人装置1接下来如何移动，从而防止机器人装置1的预定位置与外围设备接触。

尽管在本示例性实施例中，分别显示3d模型显示单元80和摄像显示单元100，但是可以同时显示3d模型显示单元80和摄像显示单元100。利用该配置，可以确认模拟与实际装置之间的移动差异。

[第二示例性实施例]

将参考附图描述根据本发明的第二示例性实施例的使用摄像装置的机器人系统的控制方法。在第一示例性实施例中，已经描述了能够通过平摇/俯仰旋转来操作视点的平摇/俯仰变焦相机作为示例。根据本示例性实施例，能够对周围360度摄像的照相机也是优选的。下面将详细描述本示例性实施例。

在下文中，将描述与第一示例性实施例中描述不同的硬件和控制系统的配置。此外，应当理解，可以通过与第一示例性实施例相似的部分来实现与上述相似的配置和效果，因此将省略其详细描述。

图10是示出根据本示例性实施例的摄像装置4的配置的图。摄像装置4是全向照相机，配设有照相机基座40、摄像单元41和用于网络连接的电缆42。摄像单元41可以基于安装摄像装置4的位置在360度方向上执行摄像。此外，摄像装置4包括用于连接至外部网络的网卡，并且经由电缆42连接至通信装置60以连接至外部网络。

尽管本示例性实施例的摄像装置4不具有在第一示例性实施例中描述的用于移动摄像单元的视点的机构或变焦机构，但是摄像装置4可以执行用于局部放大所拍摄图像的一部分的数字变焦。因此，控制本示例性实施例中的摄像装置4，以在与摄像视点相对应的位置上执行数字变焦，从而可以控制视点以跟踪期望观察的目标物。

本示例性实施例中的摄像装置4的控制方法与图5的流程图所示的第一示例性实施例的控制方法相似，因此将省略其描述。

图11示出了显示正由本示例性实施例的摄像装置4摄像的拍摄图像的摄像显示单元100的图。图11a示出了由摄像装置4正常摄像的拍摄图像。图11b示出了针对与在第一示例性实施例的步骤s103中计算出的摄像视点相对应的位置执行数字变焦时的拍摄图像。

如图11b所示，如果控制摄像装置4，从而对考虑到机器人装置的路径和与摄像装置的通信的滞后而计算出的摄像视点执行数字变焦，则可以实现与第一示例性实施例类似的效果。尽管在平摇-俯仰变焦照相机中，由于需要诸如平摇马达和俯仰马达之类的驱动源而使成本增加，但是全向照相机的成本可以降低，因为其上未设置马达。

此外，除了上述基于图像处理的数字变焦之外，还可以通过用镜头调整摄像装置4显示的图像的放大率来显示摄像视点。

此外，如图12所示，对于与所计算的摄像视点相对应的位置，可以执行用于在拍摄图像上添加标记的处理。在图11中，标记141显示在与摄像装置摄像的拍摄图像中的摄像视点相对应的位置。

通过设置要由操作者按下以自动对标记141执行数字变焦的按钮，操作者可以在观察机器人装置1的整体的同时密切观察特定部分，从而可以容易地从远程位置监视机器人装置1的移动。

具体地，在第一和第二示例性实施例中描述的处理过程由控制装置13和os30执行。因此，能够执行上述功能的软件的控制程序和存储该程序的存储介质构成了本发明。

此外，在上述示例性实施例中，已经将rom或ram描述为计算机可读存储介质，并将控制程序存储在rom或ram中。然而，本发明不限于这些示例性实施例。用于实现本发明的控制程序可以存储在任何类型的存储介质中，只要该存储介质可由计算机读取即可。例如，硬盘驱动器(hdd)、外部存储设备或记录盘可以用作用于提供控制程序的存储介质。此外，控制单元可以布置在摄像装置上，机器人装置的上述控制程序和轨迹数据可以存储在该控制单元中，并且第一和第二示例性实施例可以仅通过摄像装置来实现。

【其他示例性实施例】

尽管在上述第一和第二示例性实施例中，已经描述了具有六个关节的六轴多关节机器人作为机器人手臂主体50，但是关节的数量不限于此。尽管已经描述了垂直多轴结构作为机器人手臂主体50的形式，但是可以在诸如并行链接型等不同形式的机器人手臂主体50的关节中实现与上述配置相似的配置。

尽管在图2中示出了机器人手臂主体50的配置示例，但是配置不限于此，本领域技术人员可以任意地改变设计。此外，机器人手臂主体50的马达不限于上述配置，并且可以使用诸如人造肌肉的设备作为用于驱动各个关节的驱动源。

此外，尽管在第一示例性实施例和第二示例性实施例中描述了单个摄像装置2和单个摄像装置4，但是可以通过使用多个摄像装置并协同控制多个摄像装置来对摄像视点进行摄像。

此外，在第一示例性实施例和第二示例性实施例中，在图8、9、11和12中，用于监视摄像装置摄像的机器人装置的移动的画面结构显示在计算机3的显示器31上，但这不是限制性的。例如，画面结构可以显示在各种界面上，例如诸如示教器等外部输入设备和能够经由应用来操作机器人装置的移动终端。

本发明不限于上述实施例，并且可以在不脱离本发明的精神和范围的情况下进行各种改变和修改。因此，以下权利要求书将附此以公开公开本发明的范围。

本申请要求2018年9月12日提交的日本专利申请jp2018-170883的优先权，该申请在此已被全文引用。