操作装置、机器人系统以及操作方法与流程

本发明涉及一种用于操作机器人的操作装置、机器人系统以及操作方法。

背景技术

已知一种用于使机器人进行点动(jog)的操作装置(例如，国际公开第98/03314号和日本特开2012-171024号公报)。

在上述那样的操作装置中，寻求一种可靠地防止用户无意图地导致机器人在实际空间进行动作的技术。

技术实现要素：

在本公开的一个方式中，用于操作机器人的操作装置具备：触摸屏，其显示将机器人模型化得到的机器人模型的图像，并且接受触摸输入；模型动作执行部，其根据对触摸屏的面进行触摸的触摸输入来使机器人模型进行动作；机器人动作按钮，其使机器人在实际空间进行动作；动作输入检测部，其检测机器人动作按钮的输入；以及实机动作指令部，其在动作输入检测部持续检测到机器人动作按钮的输入的期间，输出用于使机器人在实际空间执行与模型动作执行部执行了的机器人模型的动作相同的动作的指令。

在本公开的另一个方式中，操作机器人的方法包括：使将机器人模型化得到的机器人模型的图像显示于能够接受触摸输入的触摸屏；根据对触摸屏的面进行触摸的触摸输入来使机器人模型进行动作；检测用于使机器人在实际空间进行动作的机器人动作按钮的输入；以及在持续检测到机器人动作按钮的输入的期间，输出用于使机器人在实际空间执行与机器人模型的动作相同的动作的指令。

根据本公开的一个方式，仅在用户正在对机器人动作按钮进行输入的期间，实际空间的机器人进行动作。根据该结构，能够可靠地防止用户无意图地导致机器人在实际空间进行动作。

附图说明

通过与附图相关联的以下的实施方式的说明将进一步明确本发明的目的、特征以及优点。

图1是一个实施方式所涉及的机器人系统的概要图。

图2是图1所示的操作装置的框图。

图3表示图1所示的操作装置的触摸屏上显示的图像的例子。

图4表示用户正在对机器人动作按钮进行输入的状态。

图5是其它实施方式所涉及的操作装置的框图。

图6是表示图5所示的操作装置的动作流程的一例的流程图。

图7是用于说明图6中的步骤s3和s4的图，表示图5所示的操作装置的触摸屏上显示的图像的例子。

图8是表示图6中的步骤s6的流程的一例的流程图。

图9是其它实施方式所涉及的操作装置的框图。

图10是表示图5所示的操作装置执行的、图6中的步骤s6的动作流程的一例的流程图。

图11是其它实施方式所涉及的操作装置的框图。

图12表示图11所示的操作装置的触摸屏上显示的图像的例子。

图13表示从不同的方向观察图12所示的机器人模型得到的图像。

具体实施方式

以下，基于附图详细地说明本公开的实施方式。此外，在以下说明的各种实施方式中，对同样的要素附加相同的附图标记，并省略重复的说明。首先，参照图1和图2对一个实施方式所涉及的机器人系统10进行说明。

机器人系统10具备机器人12、对机器人12进行控制的机器人控制部14以及与机器人控制部14以能够通信的方式进行连接的操作装置50。机器人控制部14具有cpu以及存储器(未图示)等，直接或间接地对机器人12的各结构要素进行控制。

在本实施方式中，机器人12是垂直多关节机器人，具有基座16、旋转主体18、机器人臂20、手腕部22以及末端执行器24。基座16被固定于实际空间的作业室的地板上。

旋转主体18以能够绕铅直轴转动的方式设置于基座16。机器人臂20具有以能够转动的方式与旋转主体18连结的下腕部26以及以能够转动的方式与该下腕部26的前端连结的上腕部28。手腕部22以能够转动的方式与上腕部28的前端连结，并对末端执行器24进行支承。

在旋转主体18、机器人臂20以及手腕部22中各自内置有伺服马达(未图示)。机器人控制部14向各伺服马达发送指令，来驱动旋转主体18、机器人臂20以及手腕部22。

由此，机器人12在实际空间中被配置为任意的位置和姿势。换言之，机器人12在实际空间的位置和姿势由内置于旋转主体18、机器人臂20以及手腕部22的伺服马达的旋转角度来规定。

操作装置50例如是平板电脑终端或智能手机这样的手持式的通信设备、或者pc，与机器人控制部14以能够通过有线或无线进行通信的方式连接。

如图2所示，操作装置50具备触摸屏52、模型动作执行部54、机器人动作按钮56、动作输入检测部58以及实机动作指令部60。

触摸屏52显示图像62(图1、图3)，并且从用户接受触摸输入。具体地说，触摸屏52具有lcd或有机el显示器等显示部以及电阻膜式、静电电容式或电磁感应式等的触摸传感器(均未图示)。

图像62具有机器人动作按钮56(图1、图3)的图像以及包含使机器人12模型化得到的机器人模型64的图像的虚拟空间70的图像。机器人模型64是三维的cg。机器人动作按钮56被显示于图像62内的与虚拟空间70不同的区域。在后面记述机器人动作按钮56的技术意义。

模型动作执行部54根据用户对触摸屏52的表面进行触摸的触摸输入，来使机器人模型64在虚拟空间70内虚拟地进行动作。参照图3对该动作进行说明。

作为一例，模型动作执行部54根据滑动触摸输入来使机器人模型64进行动作。该滑动触摸输入是指用户用手指f(或者，触控笔那样的能够对触摸传感器进行触摸输入的构件)对触摸屏52的表面进行触摸并使该触摸点在触摸屏52的表面上向任意的方向b滑动的输入操作。

例如，在接收到针对触摸屏52(更具体地说，触摸传感器)的表面上的虚拟空间70的显示区域的滑动触摸输入时，模型动作执行部54根据该滑动触摸输入来使机器人模型64在虚拟空间70内虚拟地进行动作。

具体地说，用户用手指f对触摸屏52上的虚拟空间70的显示区域的规定位置a进行触摸并且一边用手指f触摸着触摸屏52一边使该手指f向箭头b的方向滑动到位置a’，在该位置a’处使手指f离开触摸屏52。

在该情况下，模型动作执行部54将这样的触摸输入识别为用于使机器人模型64虚拟地移动的滑动触摸输入，根据该滑动触摸输入来使机器人模型64在虚拟空间70内向作为机器人模型64’所示的位置和姿势移动。

在本实施方式中，针对触摸屏52设定坐标系ct。模型动作执行部54根据来自触摸屏52的触摸传感器的输出信号，求出滑动触摸输入的起点a在坐标系ct中的坐标和滑动触摸输入的终点a’在坐标系ct中的坐标。

然后，模型动作执行部54基于起点a和终点a’的坐标求出从起点a向终点a’的矢量以及该矢量的大小，将该矢量和该矢量的大小分别转换为在虚拟空间70中的移动方向c和移动距离d。

然后，模型动作执行部54使设为移动对象的机器人模型64的构成要素模型(例如，使末端执行器24模型化得到的末端执行器模型)在虚拟空间70内向移动方向c移动移动距离d。

此时，模型动作执行部54计算使移动对象的构成要素模型向移动方向c移动移动距离d所需要的、机器人模型64的各构成要素模型在虚拟空间70中的路径(以下设为虚拟点动路径)。

此外，虚拟空间70中的机器人模型64的各构成要素模型(基座模型、旋转主体模型、机器人臂模型、手腕部模型)与实机的机器人12同样地受到构成要素间的关节处的容许旋转角度等所引起的移动的限制。

即，机器人模型64具有与实机的机器人12相同的可动范围。另一方面，机器人模型64的各构成要素模型在虚拟空间70中不受移动速度的限制。

因而，模型动作执行部54能够在虚拟空间70中使机器人模型64的移动对象的构成要素模型在该机器人模型64的可动范围内以与来自用户的滑动触摸输入同等的速度向移动方向c移动移动距离d。其结果，机器人模型64如图3所示那样在虚拟空间70内被移动成机器人模型64’的位置和姿势。

另外，作为另一例，代替上述的滑动触摸输入，用户也可以在触摸屏52的表面上进行触摸起点a和终点a’的触摸输入以指定使机器人模型64在虚拟空间70内进行动作时的起点和终点。在该情况下，模型动作执行部54根据针对起点a和终点a’的触摸输入来使机器人模型64如上述那样虚拟地进行动作。

另外，模型动作执行部54也可以从用户接受移动对象的构成要素模型的指定。例如，用户针对与机器人模型64的构成要素模型中的设为移动对象的构成要素模型(例如末端执行器模型)的位置对应的在触摸屏52的表面上的位置进行触摸输入。

在该情况下，模型动作执行部54将接收到触摸输入的构成要素模型设为移动对象，根据滑动触摸输入(或者，针对起点a和终点a’的触摸输入)来使移动对象的构成要素模型在虚拟空间70内移动。

在本实施方式中，模型动作执行部54将移动前的机器人模型64和移动后的机器人模型64’双方显示于虚拟空间70。在该情况下，为了在视觉上区分机器人模型64和64’，机器人模型64’例如可以被显示为半透明或虚线，或者也可以用与机器人模型64不同的颜色显示。或者，模型动作执行部54也可以在移动了机器人模型64之后，将移动前的机器人模型64从图像62中删除。

作为一例，操作装置50如后述的那样基于机器人模型64的虚拟点动路径生成用于使实机的机器人12执行与模型动作执行部54所执行的机器人模型64的动作相同的动作的、对各伺服马达的动作指令。

另外，作为另一例，操作装置50对机器人控制部14发送与机器人模型64的虚拟点动路径相关的信息。在该情况下，机器人控制部14基于接收到的虚拟点动路径生成对各伺服马达的动作指令。

模型动作执行部54继如上述那样使机器人模型64虚拟地进行动作的第一虚拟点动动作之后，能够执行第二虚拟点动动作。具体地说，用户在执行最初的触摸输入(例如滑动触摸输入)并使手指f离开触摸屏52之后，再次用手指f对触摸屏52的表面上的规定位置进行触摸来执行第二触摸输入。

模型动作执行部54根据该第二触摸输入来执行使机器人模型64’在虚拟空间70内虚拟地进行动作的第二虚拟点动动作。通过这样，每当用户依次执行第n触摸输入(n为2以上的整数)时，模型动作执行部54都根据该第n触摸输入执行第n虚拟点动动作。

动作输入检测部58检测机器人动作按钮56的输入。具体地说，用户如图4所示那样用手指f对触摸屏52上的机器人动作按钮56的显示区域56a进行触摸。动作输入检测部58基于来自配设于显示区域56a的触摸传感器的输出信号，检测图4所示那样的针对显示区域56a的触摸输入。

这样，在本实施方式中，机器人动作按钮56作为图像被显示于触摸屏52，动作输入检测部58将针对触摸屏52的显示区域56a的触摸输入检测为机器人动作按钮56的输入。

在动作输入检测部58持续检测到针对显示区域56a的触摸输入的期间，实机动作指令部60对机器人控制部14输出使机器人12在实际空间执行与模型动作执行部54所执行的机器人模型64的动作(即，虚拟点动动作)相同的动作的指令。

作为一例，在操作装置50生成了对机器人12的各伺服马达的动作指令的情况下，实机动作指令部60在动作输入检测部58正在检测到针对显示区域56a的触摸输入的期间，将所生成的动作指令发送到机器人控制部14。

机器人控制部14将从实机动作指令部60接收到的动作指令分别发送到内置于机器人12的伺服马达。通过这样，机器人12在实际空间执行与模型动作执行部54所执行的虚拟点动动作相同的动作。

另一方面，在用户将手指f离开显示区域56a而由此动作输入检测部58不再检测到触摸输入时，实机动作指令部60停止对机器人控制部14发送动作指令。由此，机器人控制部14停止向机器人12的各伺服马达发送动作指令，以此使机器人12在实际空间的动作停止。

作为另一例，在机器人控制部14根据从操作装置50接收到的虚拟点动路径生成向各伺服马达的动作指令的情况下，实机动作指令部60在动作输入检测部58正在检测到触摸输入的期间，对机器人控制部14发送点动许可指令。

机器人控制部14在从实机动作指令部60正在接收到点动许可指令的期间，将动作指令分别发送到机器人12的伺服马达，使机器人12在实际空间执行与虚拟点动动作相同的动作。另一方面，在动作输入检测部58不再检测到触摸输入时，实机动作指令部60停止点动许可指令的发送。

机器人控制部14在点动许可指令的接收停止时，停止向机器人12的各伺服马达发送动作指令，因此而使机器人12在实际空间的动作停止。

这样，根据本实施方式，仅在用户正在对显示区域56a进行触摸输入的期间，实际空间的机器人12进行动作。根据该结构，能够可靠地防止用户无意图地导致机器人12在实际空间进行动作。

另外，在本实施方式中，用户能够重复执行滑动触摸输入等触摸输入来使机器人模型64在虚拟空间70内连续地进行动作。根据该结构，能够使机器人模型64更详细地进行动作。

接着，参照图5对其它实施方式所涉及的操作装置80进行说明。与上述的操作装置50同样地，操作装置80例如是手持式通信设备或pc。操作装置80代替上述的操作装置50而被应用于图1所示的机器人系统10，与机器人控制部14以能够通信的方式进行连接。

操作装置80具备cpu82、系统存储器84、工作存储器86、输入/输出接口(i/o接口)88、计时部90以及上述的触摸屏52。

cpu82经由总线92来与系统存储器84、工作存储器86、触摸屏52以及i/o接口88以能够通信的方式进行连接，与这些要素进行通信并执行后述的各种处理。

系统存储器84是电可擦除和可记录的非易失性存储器，例如由eeprom(注册商标)等构成。系统存储器84以在操作装置80不进行动作时不丢失的方式存储cpu82执行后述的各种处理所需要的常数、变量、设定值、程序等。

工作存储器86暂时保管cpu82执行各种处理所需要的数据。另外，系统存储器84中所记录的常数、变量、设定值、参数、程序等被适当地解压缩到工作存储器86。cpu82利用被解压缩到工作存储器86的数据来执行各种处理。

i/o接口88与机器人控制部14以能够通信的方式进行连接，在来自cpu82的指令下，与机器人控制部14进行通信。i/o接口88例如也可以由以太网端口或usb端口等构成，以有线方式与机器人控制部14进行通信。或者，i/o接口88也可以例如经由wi-fi等无线lan来以无线方式与机器人控制部14进行通信。

计时部90根据来自cpu82的指令，来对从预先决定的时间点起的经过时间进行计时。

接着，参照图6～图8对操作装置80的动作进行说明。在cpu82从用户或机器人控制部14接收到动作开始指令时开始图6所示的流程。

在步骤s1中，cpu82从机器人控制部14获取机器人12在实际空间的位置和姿势。作为一例，机器人控制部14基于内置于机器人12的各伺服马达的旋转角度求出在当前时间点的机器人12的各可动要素(旋转主体18、机器人臂20、手腕部22)在实际空间的位置和姿势。

然后，机器人控制部14将表示所求出的位置和姿势的信息发送到i/o接口88。cpu82通过i/o接口88获取从机器人控制部14发送的表示位置和姿势的信息，并存储到系统存储器84。

另外，作为另一例，机器人控制部14将与内置于机器人12的各伺服马达的旋转角度相关的信息发送到i/o接口88。cpu82通过i/o接口88获取从机器人控制部14发送的与各伺服马达的旋转角度相关的信息，并存储到工作存储器86。

然后，cpu82基于从机器人控制部14接收到的旋转角度求出机器人12的各可动要素的位置和姿势，并存储到系统存储器84。

这样，在本实施方式中，cpu82承担作为从机器人控制部14获取机器人12的位置和姿势的状态获取部94(图5)的功能。

在步骤s2中，cpu82生成包含机器人模型64的图像，并显示于触摸屏52。在图7中示出该图像的例子。图7所示的图像96包含机器人动作按钮56、包含机器人模型64的虚拟空间70、预览按钮98以及复原按钮100的图像。

机器人模型64是使被配置为在步骤s1中由cpu82获取到的位置和姿势的状态的机器人12模型化得到的三维cg。预览按钮98被显示于与虚拟空间70和机器人动作按钮56不同的区域。

复原按钮100被显示于与虚拟空间70、机器人动作按钮56以及预览按钮98不同的区域。在后面记述这些预览按钮98和复原按钮100的技术意义。

在步骤s3中，cpu82判定是否检测到来自用户的触摸输入。例如图7所示，设为用户用手指f从触摸屏52的表面上的起点a到终点a’进行了滑动触摸输入。

cpu82对来自在触摸屏52上的虚拟空间70的显示区域配设的触摸传感器的输出信号进行监视，检测从起点a到终点a’的滑动触摸输入。

cpu82在判定为检测到触摸输入(即，是(yes))的情况下，进入步骤s4。另一方面，cpu82在判定为没有检测到触摸输入(即，否(no))的情况下，进入步骤s6。

在步骤s4中，cpu82根据在步骤s3中检测到的触摸输入，执行使机器人模型64在虚拟空间70内虚拟地进行动作的虚拟点动动作。具体地说，与上述的实施方式同样地，cpu82基于触摸输入的起点a和终点a’的坐标计算在虚拟空间70内的移动方向c和移动距离d，使被配置为在步骤s1中获取到的位置和姿势的机器人模型64的成为移动对象的构成要素模型(末端执行器模型)向移动方向c虚拟地移动移动距离d。

此时，cpu82计算机器人模型64的各构成要素模型在虚拟空间70中的虚拟点动路径，并存储到工作存储器86。其结果，机器人模型64如图7所示那样被移动成机器人模型64’的位置和姿势。

这样，在本实施方式中，cpu82承担作为根据触摸输入来使机器人模型64虚拟地进行动作的模型动作执行部102(图5)的功能。

在步骤s5中，cpu82生成用于使实机的机器人12执行与在步骤s4中所执行的虚拟点动动作相同的动作的、对各伺服马达的动作指令。具体地说，cpu82根据在步骤s4中计算出的虚拟点动路径，生成对各伺服马达的动作指令，并存储到系统存储器84。

这样，在本实施方式中，cpu82根据基于触摸输入的起点a和终点a’的坐标求出的虚拟点动路径，来生成动作指令。因而，cpu82承担作为根据触摸输入的起点a和终点a’来生成动作指令的动作指令生成部104(图5)的功能。

在此，在本实施方式中，cpu82在检测到针对触摸屏52的表面上的预览按钮98的显示区域的触摸输入时，在虚拟空间70内再现在步骤s4中所执行的虚拟点动动作。

具体地说，cpu82在检测到针对预览按钮98的触摸输入时，从工作存储器86读出在步骤s4中计算出的虚拟点动路径，再现机器人模型64按照虚拟点动路径移动到机器人模型64’的位置和姿势的动作。由此，用户能够详细地确认虚拟点动动作。

另外，cpu82在检测到针对触摸屏52的表面上的复原按钮100的显示区域的触摸输入时，取消在步骤s4中所执行的虚拟点动动作。

具体地说，cpu82在检测到针对复原按钮100的触摸输入时，将步骤s4的执行后的机器人模型64’从虚拟空间70中删除，来使图像96恢复为步骤s4的执行前的状态。由此，用户能够在进行了不适当的虚拟点动动作的情况下等，简单地取消该虚拟点动动作。

在步骤s6中，cpu82执行发送动作指令的处理。参照图8对该步骤s6进行说明。

在步骤s11中，cpu82判定是否检测到针对机器人动作按钮56的显示区域56a的触摸输入。具体地说，cpu82对来自显示区域56a的触摸传感器的输出信号进行监视，判定是否检测到针对显示区域56a的触摸输入。

cpu82在判定为检测到针对显示区域56a的触摸输入(即，是)的情况下，进入步骤s12。另一方面，cpu82在判定为没有检测到针对显示区域56a的触摸输入(即，否)的情况下，进入步骤s19。

这样，在本实施方式中，cpu82承担作为对机器人动作按钮56的输入进行检测的动作输入检测部106(图5)的功能。

在步骤s12中，cpu82开始计时。具体地说，cpu82向计时部90发送指令，对从在步骤s11中判定为“是”的时间点起的经过时间t进行计时。

在步骤s13中，cpu82判定计时部90计时得到的经过时间t是否达到了预先决定的时间tr。预先决定的时间tr由用户预先决定(例如，tr＝1秒)，被预先存储到系统存储器84。

cpu82在判定为经过时间t达到了时间tr(即，是)的情况下，进入步骤s15。另一方面，cpu82在判定为经过时间t没有达到时间tr(即，否)的情况下，进入步骤s14。

在步骤s14中，cpu82判定是否仍然正在检测到针对机器人动作按钮56的显示区域56a的触摸输入。cpu82在判定为正在检测到触摸输入(即，是)的情况下，返回到步骤s13。另一方面，cpu82在判定为没有检测到触摸输入(即，否)的情况下，返回到步骤s11。

此外，cpu82也可以以周期τ1(例如，τ1＝0.2秒)重复执行步骤s13和s14的循环。这样，cpu82在时间tr(1秒)内持续检测到针对显示区域56a的触摸输入时，进入步骤s15。

在步骤s15中，cpu82开始对机器人控制部14发送动作指令。具体地说，cpu82从系统存储器84读出在步骤s5中生成的动作指令，并将该动作指令通过i/o接口88依次对机器人控制部14发送。

机器人控制部14将从cpu82接收到的动作指令分别对机器人12的伺服马达发送。由此，机器人12在实际空间执行与在步骤s4中所执行的虚拟点动动作相同的动作。

在步骤s16中，cpu82与上述的步骤s14同样地判定是否仍然正在检测到针对机器人动作按钮56的显示区域56a的触摸输入。cpu82在判定为正在检测到触摸输入(即，是)的情况下，进入步骤s18。另一方面，cpu82在判定为没有检测到针对显示区域56a的触摸输入(即，否)的情况下，进入步骤s17。

在步骤s17中，cpu82停止对机器人控制部14发送动作指令。由此，机器人控制部14停止对机器人12的各伺服马达发送动作指令，以此使实际空间中的机器人12的动作停止。然后，cpu82返回到步骤s11。

在步骤s18中，cpu82判定动作指令的发送是否已完成。具体地说，在全部发送了在步骤s5中存储于系统存储器84的动作指令的情况下，cpu82判定为“是”，进入步骤s19。另一方面，在步骤s5中存储于系统存储器84的动作指令中存在未发送的指令的情况下，cpu82判定为“否”，返回到步骤s16。

这样，在本实施方式中，仅在持续检测到针对机器人动作按钮56的显示区域56a的触摸输入(即，循环进行步骤s16和s18)的期间，cpu82对机器人控制部14输出用于使机器人12在实际空间进行动作的动作指令。

另一方面，在不再检测到针对显示区域56a的触摸输入(即，在步骤s16中判定为“否”)时，cpu82使实际空间中的机器人12的动作停止(步骤s17)。

因而，在本实施方式中，cpu82承担作为在持续检测到机器人动作按钮56的输入的期间输出用于使机器人12在实际空间执行与虚拟点动动作相同的动作的指令的实机动作指令部108(图5)的功能。此外，cpu82也可以以周期τ2(例如、τ＝0.5秒)重复执行步骤s16和s18的循环。

在步骤s19中，cpu82判定是否从用户或机器人控制部14接收到动作结束指令。cpu82在判定为接收到动作结束指令(即，是)的情况下，结束图8所示的步骤s6，以此结束图6所示的流程。

另一方面，cpu82在判定为没有接收到动作结束指令(即，否)的情况下，返回到图6中的步骤s3。然后，cpu82循环进行步骤s3～s6直到在步骤s19中判定为“是”为止。

通过这样，cpu82每当检测到第n触摸输入(n为2以上的整数)(步骤s3)时，都根据该第n触摸输入执行第n虚拟点动动作(步骤s4)。

然后，cpu82每当执行步骤s4时，都生成用于使机器人12执行与第n虚拟点动动作相同的动作的第n动作指令(步骤s5)，并依次存储到系统存储器84。

这样，根据本实施方式，仅在用户对显示区域56a进行着触摸输入的期间，实际空间的机器人12进行动作，因此能够可靠地防止用户无意图地导致机器人12在实际空间进行了动作。

另外，在本实施方式中，用户能够重复执行触摸输入来使机器人模型64在虚拟空间70内连续地进行点动。根据该结构，能够更精细地进行机器人模型64的虚拟点动动作。

另外，在本实施方式中，cpu82作为状态获取部94发挥功能来获取实机的机器人12的位置和姿势(步骤s1)，作为模型动作执行部102发挥功能来使被配置为所获取到的位置和姿势的机器人模型64进行动作(步骤s4)。根据该结构，能够使实机的机器人12与虚拟空间70内的机器人模型64同步。

另外，在本实施方式中，cpu82作为动作指令生成部104发挥功能来在操作装置80的侧生成对实机的机器人12发送的动作指令。根据该结构，能够削减在由操作装置80操作机器人12时的机器人控制部14的运算处理量，因此能够减轻对机器人控制部14的资源施加的负荷。

接着，参照图9对其它实施方式所涉及的操作装置110进行说明。与上述的操作装置50同样地，操作装置110例如是手持式通信设备或pc。操作装置110代替上述的操作装置50来被应用于图1所示的机器人系统10，能够与机器人控制部14以能够通信的方式进行连接。

操作装置110与图5所示的操作装置80的不同在于触摸屏52’的结构。具体地说，触摸屏52’除了具有显示部和触摸传感器(均未图示)以外，还具有力检测部112。

力检测部112例如具有应变仪或力觉传感器，检测在用户对触摸屏52’的表面进行了触摸输入时施加于该表面的力f。此外，力检测部112也可以仅配设在显示区域56a。在该情况下，力检测部112仅检测针对显示区域56a的触摸输入的力f。

或者，力检测部112也可以配设于触摸屏52’的整个区域，来检测针对触摸屏52’的表面上的任意位置的触摸输入的力f。cpu82获取与力检测部112检测到的力f相关的信息，并存储到系统存储器84。

接着，对操作装置110的动作进行说明。与上述的操作装置80同样地，操作装置110的cpu82执行图6所示的流程。在此，操作装置110的动作流程与操作装置80的不同在于步骤s6。

以下，参照图10对本实施方式所涉及的步骤s6的流程进行说明。此外，在图10所示的流程中，对与图8同样的处理附加相同的步骤编号，并省略详细的说明。

在步骤s11中判定为“是”时，在步骤s31中，cpu82开始力f的检测。具体地说，cpu82向力检测部112发送力检测指令。力检测部112当接收到该力检测指令时，周期性地检测对显示区域56a施加的力f，将与检测到的力f相关的信息依次发送到cpu82。cpu82从力检测部112获取针对显示区域56a的触摸输入的力f，并依次存储到系统存储器84。

在步骤s32中，cpu82判定最近获取到的力f是否处于预先决定的容许范围内([α，β])。预先决定的容许范围[α，β]由使用者预先决定，并存储到系统存储器84。

cpu82在最近获取到的力f处于容许范围内(α≤f≤β)的情况下，判定为“是”，进入步骤s12。另一方面，cpu82在最近获取到的力f处于容许范围外(f<α或β<f)的情况下，判定为“否”，返回到步骤s11。

在步骤s13中判定为“否”时，在步骤s33中，cpu82与步骤s32同样地判定最近获取到的力f是否处于容许范围内([α，β])。

cpu82在判定为α≤f≤β(即，是)的情况下，返回到步骤s13。另一方面，cpu82在判定为f<α或β<f(即，否)的情况下，返回到步骤s11。

在步骤s15之后、或者在步骤s18中判定为“否”时，在步骤s34中，cpu82与步骤s32同样地判定最近获取到的力f是否处于容许范围内([α，β])。

cpu82在判定为α≤f≤β(即，是)的情况下，进入步骤s18。另一方面，cpu82在判定为f<α或β<f(即，否)的情况下，进入步骤s17。此外，cpu82也可以以周期τ2(例如、τ＝0.5秒)重复执行步骤s34和s18的循环。

在本实施方式中，仅在针对显示区域56a的触摸输入的力f处于容许范围内的期间，cpu82向机器人控制部14发送动作指令。根据该结构，为了使机器人12在实际空间进行动作，用户需要以规定的力按压显示区域56a。

另一方面，假设在用户突然将手指f离开了显示区域56a的情况下、或者在用户突然较强地按压了显示区域56a的情况下，实际空间中的机器人12的动作被停止。因而，能够更可靠地防止用户无意图地导致机器人12在实际空间进行了动作。

接着，参照图11对其它实施方式所涉及的操作装置120进行说明。操作装置120与上述的操作装置50的不同点在于还具备图像切换部122。

图像切换部122根据针对触摸屏52的表面的预先决定的种类的触摸输入，来将机器人模型64的图像切换为从与该图像不同的方向观察所得到的机器人模型64的第二图像。

参照图12和图13对该功能进行说明。在图12所示的例子中，触摸屏52显示图像114。图像114除了包含机器人动作按钮56、虚拟空间70、预览按钮98以及复原按钮100的图像以外，还包含图像切换按钮组124的图像。

图像切换按钮组124包含第一图像切换按钮124a、第二图像切换按钮124b、第三图像切换按钮124c、第四图像切换按钮124d以及第五图像切换按钮124e。

在本实施方式中，在虚拟空间70设定了成为方向的基准的坐标系cv。第一图像切换按钮124a是用于将虚拟空间70内的机器人模型64的图像切换为从坐标系cv的z轴正方向观察的图像的按钮。

第二图像切换按钮124b是用于将虚拟空间70内的机器人模型64的图像切换为从坐标系cv的x轴正方向观察的图像的按钮。第三图像切换按钮124c是用于将虚拟空间70内的机器人模型64的图像切换为从坐标系cv的x轴负方向观察的图像的按钮。

第四图像切换按钮124d是用于将虚拟空间70内的机器人模型64的图像切换为从坐标系cv的y轴负方向观察的图像的按钮。第五图像切换按钮124e是用于将虚拟空间70内的机器人模型64的图像切换为从坐标系cv的y轴正方向观察的图像的按钮。

此外，图12所示的图像114表示从坐标系cv的y轴负方向(即，由第四图像切换按钮124d规定的方向)观察虚拟空间70内的机器人模型64所得到的图像。

例如，在触摸屏52显示着图12所示的机器人模型64时，用户用手指f从起点a1向方向b1滑动到终点a1’来执行第一滑动触摸输入。

模型动作执行部54根据该第一滑动触摸输入来使机器人模型64在虚拟空间70内向方向c1移动至作为机器人模型64’所示的位置和姿势。与此同时，模型动作执行部54计算机器人模型64的各构成要素模型在虚拟空间70中的第一虚拟点动路径。

接着，设为用户触摸了触摸屏52的表面上的第二图像切换按钮124b的显示区域。在该情况下，图像切换部122检测到针对第二图像切换按钮124b的触摸输入，将图12所示的图像114切换为图13所示的图像114’。

图13所示的图像114’表示从与图12的图像114不同的、坐标系cv的x轴正方向观察虚拟空间70内的机器人模型64’所得到的图像。

这样，图像切换部122根据针对第一图像切换按钮124a～第五图像切换按钮124e中的任一个按钮的触摸输入，来将机器人模型64、64’的图像(图12)切换为从与该图像不同的方向观察得到的机器人模型64、64’的第二图像(图13)。

在切换为图13所示的图像114’之后，用户用手指f从起点a2向方向b2滑动到终点a2’来执行第二滑动触摸输入。

模型动作执行部54根据该第二滑动触摸输入来使机器人模型64’在虚拟空间70内向方向c2移动至作为机器人模型64”所示的位置和姿势。与此同时，模型动作执行部54计算机器人模型64的各构成要素模型在虚拟空间70中的第二虚拟点动路径。

这样，在本实施方式中，用户能够从各种各样的方向视觉识别图像114所示的三维的机器人模型64，并通过触摸输入来使机器人模型64在虚拟空间70内自如地进行动作。由此，用户能够更精细地进行使机器人模型64虚拟地进行点动的动作。

此外，图像切换部122也可以在检测到同时对触摸屏52的表面上的两个不同位置进行触摸的双指触摸输入时，切换机器人模型64’的图像(图12)。

在该情况下，用户用两根手指同时对触摸屏52的表面进行触摸。图像切换部122也可以在检测到这样的双指触摸输入时，将机器人模型64的图像从例如从y轴正方向观察的图像(图12)切换为从x轴正方向观察的图像(图13)。

在该情况下，每当用户进行双指触摸输入时，图像切换部122都对机器人模型64的图像按照如从x轴正方向观察的图像→从x轴负方向观察的图像→从y轴正方向观察的图像→从y轴负方向观察的图像····那样地预先决定的顺序进行切换。

或者，图像切换部122也可以在检测到在规定时间内持续对触摸屏52的表面的至少一个位置进行触摸的触摸输入时，来切换机器人模型64的图像。该规定时间由用户预先决定。

或者，图像切换部122也可以在检测到针对触摸屏52的触摸输入的力为预先决定的阈值以上时，来切换机器人模型64的图像。

例如，在图9所示的操作装置110中应用图像切换部122。在该情况下，操作装置110的cpu82承担图像切换部122的功能。力检测部112检测针对触摸屏52的表面上的除显示区域56a以外的区域的触摸输入的力f’。

然后，cpu82在判定为力f’为预先决定的阈值γ以上(f’≥γ)时，作为图像切换部122发挥功能来将机器人模型64的图像从例如从y轴正方向观察的图像(图12)切换为从x轴正方向观察的图像(图13)。

此外，在上述的实施方式中，记述了机器人动作按钮56作为图像被显示于触摸屏52、52’的情况。然而，机器人动作按钮56例如也可以作为机械的按钮而与触摸屏52、52’分开地设置于操作装置50、80、120。

在该情况下，用户持续按压机器人动作按钮56以使机器人12在实际空间进行动作。动作输入检测部58、106检测机器人动作按钮56的输入，实机动作指令部60、108在动作输入检测部58、106持续检测到机器人动作按钮56的输入的期间，向机器人控制部14输出指令(例如，动作指令或点动许可指令)。

另外，机器人12也可以是水平多关节机器人、并联柔索悬吊机器人(parallellinkrobot)等。或者，机器人12也可以是装载机。

另外，机器人模型64、64’、64”不限于三维，也可以是二维的cg。另外，机器人模型64、64’、64”也可以不一定是如图3等所示那样的三维cad的图像，可以是更简单的线图等。

另外，还能够将上述的各种实施方式的特征进行组合。也可以将例如图11所示的图像切换部122应用于操作装置50、80、110或120。

以上，通过实施方式对本公开进行了说明，但是上述的实施方式并非用于对权利要求书所涉及的发明进行限定。