控制系统、解析装置以及控制方法与流程

本发明涉及控制机器人的控制系统、解析装置以及控制方法。

背景技术：

在“村田敦等三人、“基于视觉伺服的高精度定位方法的开发”、seitechnicalreview、2009年7月、第175号、p98-102”(非专利文献1)中公开了利用视觉伺服将机器人臂向目标位置引导的技术。非专利文献1所公开的系统通过安装于机器人臂的照相机拍摄连接器，控制机器人以使照相机的图像接近目标图像。由此，将支撑于机器人手的端子插入连接器中。

现有技术文献

非专利文献

非专利文献1：村田敦等三人、“基于视觉伺服的高精度定位方法的开发”、seitechnicalreview、2009年7月、第175号、p98-102。

技术实现要素：

发明要解决的问题

在生产现场会发生4m变更。4m变更是指人(man)、机器(machine)、方法(method)、材料(material)的变化。在发生4m变更的情况下，无法使用视觉伺服正常控制机器人，对象物的状态可能不会按照预期方式变化。例如，在非专利文献1记载的系统中，端子变得无法插入连接器中。

作业人可以通过目视确认机器人的动作来判定是否正在正常执行使用视觉伺服的机器人控制。但是，在机器人的动作速度较快的情况下或者由于安全栏等环境条件导致与机器人的距离较长的情况下，作业人难以目视确认机器人的动作。在该情况下，作业人难以判定是否正在正常执行使用视觉伺服的机器人控制。

本发明就是鉴于上述问题提出的，其目的在于提供作业人易于判定是否正在正常执行使用视觉伺服的机器人控制的控制系统、解析装置以及控制方法。

解决问题的技术手段

根据本公开的一个例子，控制系统具备用于使对象物的状态变化的机器人、用于拍摄对象物的拍摄装置、控制部以及解析部。控制部控制机器人，以使由拍摄装置拍摄的实际图像上的对象物的状态的变化接近预先创建的基准动画上的对象物的状态的变化。解析部将表示从实际图像中提取的特征量的时间变化的第一波形以及表示从基准动画的帧中提取的特征量的时间变化的第二波形两者显示在显示装置的画面上。

根据本公开，作业人通过确认画面上显示的第一波形以及第二波形，易于判定是否正在正常执行使用视觉伺服的机器人控制。例如，作业人在第一波形与第二波形的偏差较大的情况下，能够判定使用视觉伺服的机器人控制中发生了某种异常。

在上述的公开内容中，解析部使第一波形与第二波形的时间轴一致。根据该公开，可以修正第一波形与第二波形的时间偏差。其结果，可进一步易于判定是否正在正常执行使用视觉伺服的机器人控制。

在上述的公开内容中，解析部针对时间轴上的各时刻，计算表示第一波形与第二波形的特征量的差异的参数值，将参数值以及表示参数值的时间变化的第三波形中的至少一个显示在画面上。根据该公开内容，作业人通过确认参数值或者第三波形，能够易于把握机器人的控制中的某个时间段的第一波形与第二波形的偏差是否变大。

在上述的公开内容中，解析部针对时间轴上的各时刻，计算表示第一波形与第二波形的特征量的差异的参数值。解析部基于计算出的参数值，选择参数值最大的时刻或者参数值超过阈值的时刻作为指定时刻。解析部将指定时刻对应的实际图像以及基准动画中的指定时刻的帧同时显示在画面上。

根据该公开内容，作业人能够确认第一波形与第二波形的特征量的差异较大时的图像，易于把握机器人的异常原因。

在上述的公开内容中，解析部接收时间轴上的指定时刻，将指定时刻对应的实际图像以及基准动画中的指定时刻的帧同时显示在画面上。根据该公开内容，作业人将第一波形与第二波形的特征量的差异较大时的时刻指定为指定时刻，从而能够确认第一波形与第二波形的特征量的差异较大时的图像，易于把握机器人的异常原因。

在上述的公开内容中，解析部将由按照时间序列排列的实际图像构成的实际动画以及基准动画两者中的、包含指定时刻的一部分期间的映像同时显示在画面上。

根据该公开内容，作业人可以进一步易于把握使用视觉伺服的机器人控制的异常原因。

在上述的公开内容中，解析部将表示拍摄实际图像时机器人从基准位置的移动量的时间变化的第四波形以及表示对象物的状态按照基准动画变化时的移动量的时间变化的第五波形两者显示在所述画面上。

根据该公开内容，作业人通过确认第四波形与第五波形的偏差，能够判定机器人有无异常。其结果，作业人易于把握第一波形与第二波形的偏差较大的原因。

在上述的公开内容中，机器人以多个自由度使对象物的状态变化。解析部接收多个自由度中的一个自由度的选择指示。移动量是机器人沿一个自由度的方向从基准位置移动的量。

根据该公开内容，作业人易于把握机器人具有的多个自由度中的某一个是否异常。

根据本公开的一个例子，用于上述控制系统的解析装置具备解析部。

根据本公开的一个例子，控制方法使用用于拍摄对象物的拍摄装置来控制使对象物状态变化的机器人。控制方法具备第一步骤以及第二步骤。第一步骤是控制机器人，以使通过拍摄装置拍摄的实际图像上的对象物的状态的变化接近预先创建的基准动画上的对象物的状态的变化的步骤。第二步骤是将表示从实际图像的帧中提取的特征量的时间变化的第一波形以及表示从基准动画的帧中提取的特征量的时间变化的第二波形两者显示在显示装置的画面上的步骤。

通过这些公开内容，作业人易于判定是否正在正常执行使用视觉伺服的机器人控制。

发明的效果

根据本发明，作业人易于判定是否正在正常执行使用视觉伺服的机器人控制。

附图说明

图1是表示实施方式所涉及的控制系统的概要的示意图。

图2是表示实施方式的解析画面的概要的图。

图3是表示构成实施方式所涉及的控制系统的控制装置的硬件结构的示意图。

图4是表示实施方式所涉及的控制装置的功能结构的框图。

图5是表示基准动画(第一基准动画或者第二基准动画)的一个例子的图。

图6是表示实施方式所涉及的基准动画存储部存储的第一表的一个例子的图。

图7是表示实施方式所涉及的实际动画存储部存储的第三表的一个例子的图。

图8是表示第一模板的创建方法的一个例子的图。

图9是表示第一至第四控制部的功能结构的框图。

图10是说明第一变化信息组的生成方法的图。

图11是说明计算部进行的控制量的计算方法的图。

图12是表示实施方式的解析画面的具体例的图。

图13是表示使时间轴一致前的实际波形与基准波形、以及使时间轴一致后的实际波形与基准波形的图。

图14是表示特征量的一个例子的图。

图15是表示特征量的另一例子的图。

图16是表示变化信息生成部进行变化信息的生成处理流程的一个例子的流程图。

图17是表示图16所示的步骤s2的子程序的处理流程的流程图。

图18是表示使用视觉伺服的焊接控制的处理流程的一个例子的流程图。

图19是表示图18所示的步骤s44的子程序的处理流程的流程图。

图20是表示最邻近帧与目标帧的关系的图。

图21是表示图18所示的步骤s46的子程序的处理流程的流程图。

图22是表示解析部的处理流程的流程图。

图23是表示变形例1的解析画面的一个例子的图。

图24是表示变形例1所涉及的基准动画存储部存储的第五表的一个例子的图。

图25是表示变形例1所涉及的实际动画存储部存储的第六表的一个例子的图。

图26是表示变形例2所涉及的解析画面的一个例子的图。

图27是表示变形例3所涉及的解析画面的一个例子的图。

图28是表示变形例3所涉及的实际动画存储部存储的第七表的一个例子的图。

图29是表示变形例4所涉及的控制系统的对象物的示意图。

附图标记说明

1控制系统，2a烙铁，2b焊料提供器，2c电线，2d焊盘，2e熔融焊料，3基板，7a公连接器，7b母连接器，21、22拍摄装置，30a～30d机器人，31a～31c手，31d工作台，40a～40d机器人控制器，50控制装置，51基准动画存储部，52示教范围选择部，53图像处理部，54目标帧选择部，55a第一控制部，55b第二控制部，55c第三控制部，55d第四控制部，56实际图像获取部，57实际动画存储部，58机器人控制部，59解析部，60显示装置，510处理器，512ram，514显示控制器，516系统控制器，518i/o控制器，520硬盘，522照相机接口，522a、522b图像缓存器，524输入接口，526机器人控制器接口，528通信接口，530存储卡接口，534输入装置，536存储卡，550控制程序，551变化信息生成部，552变化信息存储部，553计算部，554指令部，555结束判定部，5521第一变化信息组，5522第二变化信息组，601～606、625、626、631、632区域，607～615按键，621实际波形，622基准波形，623、624标记，627、628缩略图，629、630、633波形。

具体实施方式

下面，参照附图说明本发明的实施方式。在以下的说明中，对同一部件以及结构要素标注相同的符号。它们的名称以及功能相同。因此，关于它们的详细说明不再重复。

<a.应用例>

首先，参照图1，说明应用本发明的场景的一个例子。图1是表示实施方式所涉及的控制系统的概要的示意图。

本实施方式所涉及的控制系统1例如在工业产品的生产线等中，使用烙铁2a以及焊料提供器2b，进行用于在基板3的焊盘2d上焊接电线2c的控制(下面称为“焊接控制”)。控制系统1在每次搬运来的新的基板3时进行焊接控制，在该基板3的焊盘2d上焊接电线2c。

如图1所示，控制系统1具备拍摄装置21、22、机器人30a～30d、机器人控制器40a～40d、控制装置50以及显示装置60。

拍摄装置21、22拍摄存在于拍摄视野的拍摄对象，生成图像数据(以下称为“实际图像”)。拍摄装置21、22设定在与机器人30a～30d不同的固定位置。拍摄装置21、22设置在彼此不同的场所，从彼此不同的方向拍摄作为拍摄对象的烙铁2a、焊料提供器2b、电线2c以及焊盘2d。拍摄装置21、22按照预先设定的拍摄周期进行拍摄，将通过拍摄得到的实际图像输出给控制装置50。

机器人30a是用于使烙铁2a的状态(这里是位置以及姿态)变化的机构，例如可以是垂直多关节机器人。机器人30a具有用于在前端支撑(把持)烙铁2a的手31a，使手31a把持的烙铁2a的位置以及姿态以六自由度变化。六自由度包含x方向、y方向以及z方向的平移自由度、俯仰方向，横摆方向以及侧倾方向的旋转自由度。

机器人30b是用于使焊料提供器2b的状态(这里是位置以及姿态)变化的机构，例如可以是垂直多关节机器人。机器人30b具有用于在前端支撑(把持)焊料提供器2b的手31b，使手31b把持的焊料提供器2b的位置以及姿态以六自由度变化。

机器人30c是用于使电线2c的状态(这里是位置以及姿态)变化的机构，例如垂直多关节机器人。机器人30c具有用于在前端支撑(把持)电线2c的手31c，使手31c把持的电线2c的位置以及姿态以六自由度变化。

机器人30d是用于使基板3的焊盘2d的状态(这里是位置以及姿态)变化的机构，例如xyθ工作台。机器人30d具有用于支撑(这里是载置)基板3的工作台31d，使工作台31d载置的基板3的焊盘2d的位置以及姿态以三自由度变化。三自由度包含x方向以及y方向的平移自由度、以正交于xy平面的轴为中心的方向(θ方向)的旋转自由度。

机器人30a～30d分别具有多个伺服电机，通过该伺服电机进行驱动，使支撑的对象物的状态变化。与该多个伺服电机相对应分别设置有编码器，编码器产生与伺服电机的驱动量(旋转量)相对应的脉冲信号。编码器产生的脉冲信号输出给对应的机器人控制器，并且输出给控制装置50。

机器人控制器40a～40d分别与机器人30a～30d对应设置。机器人控制器40a～40d按照从控制装置50接收到的控制指令，分别进行机器人30a～30d的动作控制。

机器人控制器40a～40c分别从控制装置50接收x方向、y方向、z方向的平移自由度以及俯仰方向、横摆方向以及侧倾方向的旋转自由度的各控制指令。这些x方向、y方向、z方向、俯仰方向、横摆方向以及侧倾方向通过对应的机器人的坐标系表示。

机器人控制器40a～40c针对对应的机器人进行反馈控制，以使对应的手的x方向、y方向以及z方向的平移移动量分别接近x方向、y方向以及z方向的平移自由度的控制指令。通过对来自设置于对应的机器人的编码器的脉冲信号中包含的脉冲数进行计数，从而求出对应的手的x方向、y方向以及z方向的平移移动量。

机器人控制器40a～40c针对对应的机器人进行反馈控制，以使对应的手的俯仰方向、横摆方向以及侧倾方向的旋转移动量分别接近俯仰方向、横摆方向以及侧倾方向的旋转自由度的控制指令。通过对来自设置于对应的机器人的编码器的脉冲信号中包含的脉冲数进行计数，从而求出对应的手的俯仰方向、横摆方向以及侧倾方向的旋转移动量。

机器人控制器40d从控制装置50接收x方向以及y方向的平移自由度以及旋转自由度的控制指令。这些x方向、y方向以及旋转方向通过机器人30d的坐标系表示。

机器人控制器40d对机器人30d进行反馈控制，以使工作台31d的x方向以及y方向的平移移动量分别接近x方向以及y方向的平移自由度的控制指令。通过对来自设置于机器人30d的编码器的脉冲信号中包含的脉冲数进行计数，从而求出工作台31d的x方向以及y方向的平移移动量。

机器人控制器40d对机器人30d进行反馈控制，以使工作台31d的旋转移动量接近旋转自由度的控制指令。通过对来自设置于机器人30d的编码器的脉冲信号中包含的脉冲数进行计数，从而求出工作台31d的旋转移动量。

控制装置50通过机器人控制器40a～40d分别控制机器人30a～30d。

控制装置50存储有用于表示烙铁2a、焊料提供器2b、电线2c以及焊盘2d的样本的第一基准动画以及第二基准动画。第一基准动画是从拍摄装置21的位置观察到的动画。第二基准动画是从拍摄装置22的位置观察到的动画。

控制装置50进行使用视觉伺服的机器人30a～30d的控制作为焊接控制。控制装置50控制机器人30a，以使拍摄装置21、22拍摄的实际图像上的烙铁2a的状态的变化分别接近第一、第二基准动画上的烙铁2a的状态的变化。类似地，控制装置50控制机器人30b，以使拍摄装置21、22拍摄的实际图像上的焊料提供器2b的状态的变化分别接近第一、第二基准动画上的焊料提供器2b的状态的变化。控制装置50控制机器人30c，以使拍摄装置21、22拍摄的实际图像上的电线2c的状态的变化分别接近第一、第二基准动画上的电线2c的状态的变化。控制装置50控制机器人30d，以使得拍摄装置21、22拍摄的实际图像上的焊盘2d的状态的变化分别接近第一、第二基准动画上的焊盘2d的状态的变化。由此，烙铁2a、焊料提供器2b、电线2c以及焊盘2d的状态按照第一基准动画以及第二基准动画相联系地变化。

并且，控制装置50在焊接控制结束后作为解析装置运转，将用于判定是否正在正常进行使用视觉伺服的机器人30a～30d的控制的解析画面显示在显示装置60上。

图2是表示实施方式的解析画面的概要的图。控制装置50将表示从拍摄装置21拍摄的实际图像中提取的特征量的时间变化的实际波形621以及表示从第一基准动画的帧中提取的特征量的时间变化的基准波形622两者显示在解析画面61上。或者，控制装置50将表示从拍摄装置22拍摄的实际图像中提取的特征量的时间变化的实际波形621以及表示从第二基准动画的帧中提取的特征量的时间变化的基准波形622两者显示在解析画面61上。实际波形621以及基准波形622分别在解析画面61的区域601、602进行显示。

特征量例如是对象物(烙铁2a、焊料提供器2b、电线2c或者焊盘2d)在图像上的坐标(像素坐标)。

在正常执行使用视觉伺服的机器人30a～30d的控制的情况下，由拍摄装置21、22拍摄的实际图像上的对象物的状态的变化分别追随第一、第二基准动画上的对象物的状态的变化。因此，实际波形621近似于基准波形622。由此，作业人通过确认解析画面61中显示的实际波形621以及基准波形622，易于判定是否正在正常执行使用视觉伺服的机器人30a～30d的控制。例如，作业人在实际波形621与基准波形622的偏差较大的情况下，判定使用视觉伺服的机器人30a～30d的控制中发生了某种异常。

<b.具体例>

下面，说明实施方式所涉及的控制系统的具体例。

<b-1.控制装置的硬件结构>

图3是表示构成实施方式所涉及的控制系统的控制装置的硬件结构的示意图。如图3所示，控制装置50具有按照计算机架构的构造，通过处理器执行预先安装的程序，实现后面所述的各种处理。

更具体地讲，控制装置50具备cpu(centralprocessingunit)、mpu(micro-processingunit)等处理器510、ram(randomaccessmemory)512、显示控制器514、系统控制器516、i/o(inputoutput)控制器518、硬盘520、照相机接口522、输入接口524、机器人控制器接口526、通信接口528以及存储卡接口530。这些各部分以系统控制器516为中心，以彼此可进行数据通信的方式连接。

处理器510与系统控制器516之间交换程序(代码)等，通过按顺序执行它们，实现目的运算处理。

系统控制器516经由总线分别与处理器510、ram512、显示控制器514以及i/o控制器518连接，与各部分之间进行数据交换等，并且管理控制装置50的整体处理。

ram512作为典型可以是dram(dynamicrandomaccessmemory)等易失性存储装置，保存从硬盘520读出的程序、由拍摄装置21、22获取的图像(图像数据)、针对图像的处理结果以及作业数据等。

显示控制器514与显示装置60连接，按照来自系统控制器516的内部命令，将用于显示各种信息的信号输出给显示装置60。

i/o控制器518控制与控制装置50连接的存储介质、外部机器之间的数据交换。更具体地讲，i/o控制器518与硬盘520、照相机接口522、输入接口524、机器人控制器接口526、通信接口528以及存储卡接口530连接。

硬盘520作为典型可以是非易失性的磁存储装置，除了处理器510执行的控制程序550以外，还存储各种信息。安装于该硬盘520的控制程序550以存储于存储卡536等的状态流通。此外，也可以取代硬盘520而采用闪存等半导体存储装置、dvd-ram(digitalversatilediskrandomaccessmemory)等光学存储装置。

照相机接口522相当于从拍摄装置21、22接收图像数据的输入部，对处理器510与拍摄装置21、22之间的数据传输进行中介。照相机接口522包含将来自拍摄装置21、22的图像数据分别暂时缓存的图像缓存器522a、522b。可以针对多个拍摄装置设置可公用的一个图像缓存器，但是，为了处理快速化，优选与每个拍摄装置相对应地独立配置多个。

输入接口524对处理器510与键盘、鼠标、触摸面板、专用控制台等输入装置534之间的数据传输进行中介。

机器人控制器接口526对处理器510与机器人控制器40a、40b之间的数据传输进行中介。

通信接口528对处理器510与未图示的其他个人计算机、服务器装置等之间的数据传输进行中介。通信接口528作为典型可以由以太网(注册商标)、usb(universalserialbus)等构成。

存储卡接口530对处理器510与作为存储介质的存储卡536之间的数据传输进行中介。存储卡536中控制装置50执行的控制程序550等以存储的状态流通，存储卡接口530从该存储卡536读出控制程序550。存储卡536由sd(securedigital)等通用的半导体存储装置、软盘(flexibledisk)等磁存储介质、cd-rom(compactdisk-readonlymemory)等光学存储介质等构成。或者，可以经由通信接口528将从分发服务器等下载的程序安装于控制装置50。

在使用上述的具有通用计算机构造的计算机的情况下，可以在用于提供本实施方式的功能的应用的基础上，还安装用于提供计算机的基本功能的os(operatingsystem)。在该情况下，本实施方式所涉及的控制程序可以按照规定顺序和/或定时调用作为os的一部分提供的程序模块中的所需的模块从而执行处理。

并且，本实施方式所涉及的控制程序可以嵌入到其他程序的一部分而提供。在该情况下，程序自身不包含上述组合的其他程序中包含的模块，与该其他程序协同执行处理。即，本实施方式所涉及的控制程序可以是嵌入其他程序的方式。

此外，替代性地，可以将通过执行控制程序提供的功能的一部分或者全部作为专用的硬件电路安装。

<b-2.控制装置的功能结构>

图4是表示实施方式所涉及的控制装置的功能结构的框图。如图4所示，控制装置50具备基准动画存储部51、实际图像获取部56、实际动画存储部57、机器人控制部58以及解析部59。

<b-2-1.基准动画存储部>

基准动画存储部51由图3所示的硬盘520以及ram512构成，存储第一基准动画以及第二基准动画。第一基准动画以及第二基准动画表示使用烙铁2a以及焊料提供器2b在焊盘2d上焊接电线2c的样子。通过拍摄由机器人30a～30d使对象物(烙铁2a，焊料提供器2b，电线2c以及焊盘2d)的样品的状态变化的样子，从而创建第一基准动画以及第二基准动画。或者，通过拍摄由作业人的手使对象物的样品的状态变化的样子，从而创建第一基准动画以及第二基准动画。

第一基准动画以及第二基准动画分别包含按照时间序列排列的多个(以下为m个(m是2以上的整数))帧。第一基准动画的第k(k是1～m中的任意整数)帧以及第二基准动画的第k帧是同时从不同方向观察到的某个状态下的烙铁2a、焊料提供器2b、电线2c以及焊盘2d的图像。

图5是表示基准动画(第一基准动画或者第二基准动画)的一个例子的图。图5中示出了基准动画的帧71～77。

帧71是焊盘2d的状态到达所希望的状态时的帧。帧72是电线2c到达焊盘2d上时的帧。帧73是烙铁2a的前端与焊盘2d接触时的帧。帧74是焊料提供器2b的前端与烙铁2a的前端接触时的帧。帧75是由焊料提供器2b供给的熔融的焊料(下面，称为“熔融焊料2e”)形成所希望的尺寸时的帧。帧76是使焊料提供器2b离开烙铁2a时的帧。帧77是使烙铁2a离开焊盘2d时的帧。通过这种一连串的动作，在焊盘2d上焊接电线2c。

如图4所示，基准动画存储部51还存储有将第一基准动画的各帧与从该帧中提取的特征量相关联的第一表以及将第二基准动画的各帧与从该帧中提取的特征量相关联的第二表。特征量例如是各对象物的重心在图像上的坐标(像素坐标)。

图6是表示实施方式所涉及的基准动画存储部存储的第一表的一个例子的图。在图6所示的例子的第一表中，对于各帧，帧编号、该帧的图像文件名、该帧的时刻、多个种类的特征量被相关联。第二表也具有与图6所示的第一表同样的数据构造。

此外，第一表以及第二表中包含的特征量通过后面所述的图像处理部53计算。

<b-2-2.实际图像获取部>

实际图像获取部56按照各拍摄周期从拍摄装置21、22获取实际图像。并且，实际图像获取部56生成将一次焊接控制中从拍摄装置21获取的实际图像按照时间序列排列而成的第一实际动画，并且生成将该焊接控制中从拍摄装置22获取的实际图像按照时间序列排列而成的第二实际动画。实际图像获取部56将生成的第一实际动画以及第二实际动画存储在实际动画存储部57。

实际图像获取部56的一部分由照相机接口522构成。实际图像获取部56的一部分通过图3所示的处理器510执行控制程序550来实现。

<b-2-3.实际动画存储部>

实际动画存储部57由图3所示的硬盘520以及ram512构成，针对每次焊接控制存储第一实际动画以及第二实际动画。如上所述，第一实际动画以及第二实际动画由实际图像获取部56生成。

并且，实际动画存储部57存储有将构成第一实际动画的多个实际图像的各图像与从该实际图像中提取的特征量相关联的第三表以及将构成第二实际动画的多个实际图像的各图像与从该实际图像中提取的特征量相关联的第四表。特征量是各对象物的重心在图像上的坐标(像素坐标)。

图7是表示实施方式所涉及的实际动画存储部存储的第三表的一个例子的图。在图7所示的例子的第三表中，将识别实际图像的图像文件名、该实际图像的拍摄时刻、从该实际图像中提取的多个种类的特征量相关联。第四表具有与图7所示的第三表同样的数据构造。

此外，基准动画存储部51存储的第一、第二表中包含的特征量与实际动画存储部57存储的第三、第四表中包含的特征量是同一种类。第三表以及第四表中包含的特征量由后面所述的图像处理部53计算。

实际动画存储部57针对每次焊接控制存储第三表以及第四表。在一次焊接控制中，在焊盘2d上焊接电线2c。因此，实际动画存储部57将识别焊盘2d的焊盘识别编号、第一实际动画、第二实际动画、第三表以及第四表相关联地存储。图7中示出了与焊盘识别编号“000001”对应的第三表。

<b-2-4.机器人控制部>

机器人控制部58使用视觉伺服控制机器人30a～30d。机器人控制部58具备示教范围选择部52、图像处理部53、目标帧选择部54、第一控制部55a、第二控制部55b、第三控制部55c以及第四控制部55d。示教范围选择部52、图像处理部53以及目标帧选择部54通过图3所示的处理器510执行控制程序550来实现。

<b-2-5.示教范围选择部>

示教范围选择部52针对各对象物，从第一基准动画以及第二基准动画中选择作为该对象物的样本的示教范围。对象物可以是烙铁2a、焊料提供器2b、电线2c以及焊盘2d中的任一个。

示教范围选择部52将提示示教范围的选择指示的画面显示在显示装置60。作业人确认第一基准动画以及第二基准动画的各帧，操作输入装置534(参照图3)，指定对象物进行所希望的动作的一连串的帧组的起始帧以及最终帧。示教范围选择部52将指示的起始帧至最终帧选择为示教范围。

例如，对于图5所示的基准动画，示教范围选择部52选择所有帧(即，第一帧到第m帧)作为烙铁2a以及焊料提供器2b的示教范围。示教范围选择部52选择第一帧至电线2c的一部分开始缺失的帧(稍早于帧75的帧)作为电线2c的示教范围。示教范围选择部52选择第一帧至焊盘2d的一部分开始缺失的帧(稍早于帧72的帧)作为焊盘2d。

<b-2-6.图像处理部>

图像处理部53对对象图像进行图像处理，使用模板匹配，从对象图像中检测对象物。作为模板匹配的基本处理，预先准备表示对象物的图像特征的数据即模板，通过评估对象图像与模板之间的图像特征的一致度，从而检测对象图像中的对象物的位置、姿态、形状、尺寸。

图像处理部53进行图像处理的对象图像是第一基准动画的帧、第二基准动画的帧、以及由拍摄装置21、22拍摄的实际图像。

图像处理部53作为事前准备，针对各对象物创建第一模板以及第二模板。对象物是烙铁2a、焊料提供器2b、电线2c、焊盘2d以及熔融焊料2e中的任一个。基于从第一基准动画中选择的帧来创建第一模板。基于从第二基准动画中选择的帧来创建第二模板。

图8是表示第一模板的创建方法的一个例子的图。如图8所示，图像处理部53将从第一基准动画中由作业人选择的帧显示在显示装置60。作业人只要选择显示出对象物整体的帧即可。

图像处理部53接受显示装置60显示的帧上的对象物的区域指定。在图8所示的例子中，作业人操作输入装置534(参照图3)，输入包围烙铁2a的线4a、包围焊料提供器2b的线4b、包围电线2c的线4c、包围焊盘2d的线4d。图像处理部53将由线4a～4d包围的区域分别确定为烙铁2a、焊料提供器2b、电线2c以及焊盘2d的图像区域。

图像处理部53将表示线4a所包围的图像区域的图像特征的数据创建为烙铁2a的第一模板。类似地，图像处理部53将表示线4b所包围的图像区域的图像特征的数据创建为焊料提供器2b的第一模板。图像处理部53将表示线4c所包围的图像区域的图像特征的数据创建为电线2c的第一模板。图像处理部53将表示线4d所包围的图像区域的图像特征的数据创建为焊盘2d的第一模板。图像处理部53通过同样的方法创建熔融焊料2e的第一模板。

通过同样的方法，图像处理部53将从第二基准动画中选择的帧显示在显示装置60，针对各对象物创建第二模板。

图像处理部53使用各对象物的第一模板进行模板匹配，从而从第一基准动画的帧或者由拍摄装置21拍摄的实际图像中检测对象物。

图像处理部53使用各对象物的第二模板进行模板匹配，从而从第二基准动画的帧或者由拍摄装置22拍摄的实际图像中检测对象物。

图像处理部53针对各对象物，输出从对象图像中检测到的该对象物的各特征点在图像上的坐标。

并且，图像处理部53从由拍摄装置21、22拍摄的实际图像、第一基准动画以及第二基准动画的各帧中提取特征量。特征量是各对象物的重心在图像上的坐标(像素坐标)。

基准动画存储部51存储的第一表包含从第一基准动画的各帧中提取的特征量。基准动画存储部51存储的第二表包含从第二基准动画的各帧中提取的特征量。实际动画存储部57存储的第三表包含从由拍摄装置21拍摄的实际图像中提取的特征量。实际动画存储部57存储的第四表包含从由拍摄装置22拍摄的实际图像中提取的特征量。

<b-2-7.目标帧选择部>

目标帧选择部54从第一基准动画以及第二基准动画中选择目标帧。其中，目标帧选择部54在选择第一基准动画的第k帧作为目标帧的情况下，选择第二基准动画的第k帧作为目标帧。目标帧的选择方法的具体例在后面进行说明。

<b-2-8.第一至第四控制部>

第一控制部55a通过机器人控制器40a控制机器人30a，使烙铁2a的状态变化。第二控制部55b通过机器人控制器40b控制机器人30b，使焊料提供器2b的状态变化。第三控制部55c通过机器人控制器40c控制机器人30c，使电线2c的状态变化。第四控制部55d通过机器人控制器40d控制机器人30d，使焊盘2d的状态变化。

图9是表示第一至第四控制部的功能结构的框图。如图9所示，第一控制部55a、第二控制部55b、第三控制部55c以及第四控制部55d分别具备变化信息生成部551、变化信息存储部552、计算部553、指令部554、结束判定部555。变化信息存储部552由图3所示的硬盘520以及ram512构成。变化信息生成部551、计算部553、指令部554以及结束判定部555通过图3所示的处理器510执行控制程序550来实现。

<b-2-9.变化信息生成部>

变化信息生成部551针对多个自由度的各自由度，生成表示对象机器人的控制量与由拍摄装置21拍摄的实际图像上的对象物的状态的变化量的关系的第一变化信息。变化信息生成部551将由针对多个自由度分别生成的多个第一变化信息构成的第一变化信息组5521存储在变化信息存储部552。

并且，变化信息生成部551针对多个自由度的各自由度，生成表示对象机器人的控制量与由拍摄装置22拍摄的实际图像上的对象物的状态的变化量的关系的第二变化信息。变化信息生成部551将由针对多个自由度分别生成的多个第二变化信息构成的第二变化信息组5522存储在变化信息存储部552。

对象物是第一控制部55a下的烙铁2a、第二控制部55b下的焊料提供器、第三控制部55c下的电线2c、第四控制部55d下的焊盘2d。对象机器人是第一控制部55a下的机器人30a、第二控制部55b下的机器人30b、第三控制部55c下的机器人30c、第四控制部55d下的机器人30d。多个自由度是第一控制部55a、第二控制部55b以及第三控制部55c下的六自由度、第四控制部55d下的三自由度。

在本实施方式中，第一变化信息以及第二变化信息表示以单位控制量控制对象机器人时的图像上的对象物的状态的变化量。具体来讲，第一变化信息以及第二变化信息表示将以单位控制量控制对象机器人之前的图像上的对象物转换为以单位控制量控制对象机器人之后的图像上的对象物的映射。

以单位控制量控制对象机器人时的图像上的对象物的状态的变化量取决于对象物的实际空间上的状态。因此，变化信息生成部551针对第一基准动画的示教范围的各帧生成第一变化信息组5521。并且，变化信息生成部551针对第二基准动画的示教范围的各帧生成第二变化信息组5522。

作为事前准备，执行变化信息生成部551的第一变化信息组5521以及第二变化信息组5522的生成以及存储处理。

参照图10，说明第一变化信息组5521的生成方法。此外，第二变化信息组5522的生成方法也是同样的方法，因此，省略该生成方法的说明。

图10是说明第一变化信息组的生成方法的图。图10(a)表示第一基准动画的第k帧70。将第k帧70对应的对象物的实际空间上的状态(此处是位置以及姿态)作为基准状态。图10(b)表示从基准状态使对象物沿y方向的平移自由度进行单位控制量的平移移动之后由拍摄装置21拍摄的图像80a。图10(c)表示从基准状态使对象物沿x方向的平移自由度进行单位控制量的平移移动之后由拍摄装置21拍摄的图像80b。图10(d)表示从基准状态使对象物沿z方向的平移自由度进行单位控制量的平移移动之后由拍摄装置21拍摄的图像80c。图10(e)表示从基准状态使对象物沿俯仰方向的旋转自由度进行单位控制量的旋转移动之后由拍摄装置21拍摄的图像80d。图10(f)表示从基准状态使对象物沿横摆方向的旋转自由度进行单位控制量的旋转移动之后由拍摄装置21拍摄的图像80e。图10(g)表示从基准状态使对象物沿侧倾方向的旋转自由度进行单位控制量的旋转移动之后由拍摄装置21拍摄的图像80f。

变化信息生成部551从图像处理部53获取从帧70以及图像80a～80中分别提取的对象物的各特征点在图像上的坐标。

变化信息生成部551生成用于表示将从帧70中提取的对象物的特征点5a’～5g’的坐标分别转换成从图像80a中提取的特征点5a～5g的坐标的映射的信息，作为与y方向的平移自由度相对应的第一变化信息。

类似地，变化信息生成部551生成用于表示将特征点5a’～5g’的坐标转换成从图像80b中提取的特征点5a～5g的坐标的映射的信息，作为与x方向的平移自由度相对应的第一变化信息。变化信息生成部551生成用于表示将特征点5a’～5g’的坐标转换成从图像80c中提取的特征点5a～5g的坐标的映射的信息，作为与z方向的平移自由度相对应的第一变化信息。变化信息生成部551生成用于表示将特征点5a’～5g’的坐标转换成从图像80d中提取的特征点5a～5g的坐标的映射的信息，作为与俯仰方向的旋转自由度相对应的第一变化信息。变化信息生成部551生成用于表示将特征点5a’～5g’的坐标转换成从图像80e中提取的特征点5a～5g的坐标的映射的信息，作为与横摆方向的旋转自由度相对应的第一变化信息。变化信息生成部551生成用于表示将特征点5a’～5g’的坐标转换成从图像80f中提取的特征点5a～5g的坐标的映射的信息，作为与侧倾方向的旋转自由度相对应的第一变化信息。这样，变化信息生成部551生成与第一基准动画的第k帧70相对应的第一变化信息组5521。

变化信息生成部551通过同样的方法，生成与第一基准动画中的示教范围的剩余的帧相对应的第一变化信息组5521。

<b-2-10.计算部>

计算部553计算用于使拍摄装置21、22拍摄的实际图像上的对象物的状态分别接近第一基准动画以及第二基准动画的目标帧上的对象物的状态的多个自由度的各个自由度的控制量。

计算部553从变化信息存储部552获取与目标帧相对应的第一变化信息组5521以及第二变化信息组5522，基于获取的第一变化信息组5521以及第二变化信息组5522，计算控制量。如上所述，第一变化信息以及第二变化信息用于表示将以单位控制量控制对象机器人之前的图像上的对象物转换成以单位控制量控制对象机器人之后的图像上的对象物的映射。因此，计算部553从图像处理部53获取从实际图像中提取的对象物的特征点在图像上的坐标、从目标帧中提取的对象物的特征点在图像上的坐标。计算部553基于第一变化信息以及第二变化信息，计算用于将实际图像上的对象物映射为目标帧上的对象物的多个自由度的各个自由度的控制量。

参照图11，说明第一控制部55a至第三控制部55c的计算部553的控制量的计算方法。此外，第四控制部55d的计算部553的控制量的计算方法是同样的方法，因此省略说明。

图11是说明计算部的控制量的计算方法的图。计算部553从图像处理部53获取从第一基准动画的目标帧中提取的对象物的特征点5a’～5g’在图像上的坐标。并且，计算部553从图像处理部53获取从拍摄装置21拍摄得到的实际图像中提取的对象物的特征点5a～5g在图像上的坐标。此外，特征点的数量不限于七个。

计算部553计算各特征点的第一差分向量6a～6g。第一差分向量6a～6g分别是将特征点5a～5g作为起点、特征点5a’～5g’作为终点的向量。计算部553计算第一差分向量6a～6g的平均的x分量δx1以及y分量δy1。x分量以及y分量通过图像的坐标系表示。

通过同样的方法，计算部553计算从由拍摄装置22拍摄得到的实际图像中提取的特征点与从第二基准动画的目标帧中提取的特征点的第二差分向量的平均的x分量δx2以及y分量δy2。

首先，计算部553计算3个平移自由度的控制量，以使第一差分向量的平均的x分量δx1以及y分量δy1、以及第二差分向量的平均的x分量δx2以及y分量δy2变为0。具体来讲，计算部553使用δx1、δy1、δx2、δy2、第一变化信息组5521以及第二变化信息组5522，计算对象机器人的手的x方向、y方向以及z方向的平移自由度的各个自由度的控制量。

在对象机器人的手进行x方向、y方向以及z方向的平移自由度中任一个的平移移动的情况下，在拍摄装置21、22拍摄得到的图像上，对象物沿一定方向平移移动。因此，第一变化信息组5521中的平移自由度对应的第一变化信息表示将图像上的任意点转换成沿一定方向进行平移移动后的点的映射。类似地，第二变化信息组5522中的平移自由度对应的第二变化信息表示将图像上的任意点转换成沿一定方向进行平移移动后的点的映射。

其中，目标帧对应的第一变化信息组5521的x方向的平移自由度对应的第一变化信息表示将点(x，y)转换成点(x+dx1_1，y+dy1_1)的映射。y方向的平移自由度对应的第一变化信息表示将图像上的任意点(x，y)转换成点(x+dx1_2，y+dy1_2)的映射。z方向的平移自由度对应的第一变化信息表示将图像上的任意点(x，y)转换成点(x+dx1_3，y+dy1_3)的映射。

并且，目标帧对应的第二变化信息组5522的x方向上的平移自由度对应的第二变化信息表示将图像上的任意点(x，y)转换成点(x+dx2_1，y+dy2_1)的映射。y方向上的平移自由度对应的第二变化信息表示将图像上的任意点(x，y)转换成点(x+dx2_2，y+dy2_2)的映射。z方向上的平移自由度对应的第二变化信息表示将图像上的任意点(x，y)转换成点(x+dx2_3，y+dy2_3)的映射。

此时，计算部553通过解下面四个线性方程式(1)～(4)，从而计算系数a1、a2、a3。

a1×dx1_1+a2×dx1_2+a3×dx1_3＝δx1…(1)

a1×dy1_1+a2×dy1_2+a3×dy1_3＝δy1…(2)

a1×dx2_1+a2×dx2_2+a3×dx2_3＝δx2…(3)

a1×dy2_1+a2×dy2_2+a3×dy2_3＝δy2…(4)。

第一变化信息以及第二变化信息表示以单位控制量控制对象机器人时的图像上的对象物的状态的变化量。因此，计算部553将x方向的平移自由度的控制量设置为单位控制量的a1倍、y方向的平移自由度的控制量设置为单位控制量的a2倍、z方向的平移自由度的控制量设置为单位控制量的a3倍。这些平移自由度的控制量是用于以δx1、δy1、δx2以及δy2使实际图像上的对象物的状态接近目标帧上的对象物的状态的控制量。

然后，计算部553计算3个旋转自由度的各个旋转自由度的控制量。计算部553从各特征点的第一差分向量中减去上述平均的x分量δx1以及y分量δy1。类似地，计算部553从各特征点的第二差分向量中减去上述平均的x分量δx2以及y分量δy2。计算部553例如使用爬山算法这种搜索算法，计算出各特征点的第一差分向量以及第二差分向量的残差最接近0的3个旋转自由度的控制量。

具体来讲，计算部553将俯仰方向、横摆方向以及侧倾方向的旋转自由度的控制量为0的解作为当前解，开始搜索算法。计算部553模拟按照当前的解的附近的多个解的各个解控制对象机器人时的各特征点的第一差分向量以及第二差分向量的残差的变化。计算部553根据模拟的结果，在存在比当前解更接近各特征点的第一差分向量以及第二差分向量的残差为0的附近解的情况下，用该附近解替换当前解。计算部553通过重复该处理，可以搜索第一差分向量以及第二差分向量的残差为极限值的解。

<b-2-11.指令部>

指令部554生成用于以计算部553计算出的控制量使对象机器人移动的控制指令，将生成的控制指令输出给对象机器人控制器。第一控制部55a、第二控制部55b、第三控制部55c以及第四控制部55d的对象机器人控制器分别是机器人控制器40a～40d。

<b-2-12.结束判定部>

结束判定部555计算实际图像上的对象物的状态与示教范围的最终帧上的对象物的状态的偏差，在计算出的偏差为预设的阈值以下的情况下，判定结束对象机器人的控制。结束判定部555在判定结束对象机器人的控制的情况下，输出结束通知。

偏差例如可以是从实际图像以及最终帧中提取的对象物对应的特征点彼此距离的平均。

可以根据对象物的状态所要求的精度来设定阈值。阈值是第一控制部55a中的阈值tha、第二控制部55b中的阈值thb、第三控制部55c中的阈值thc、第四控制部55d中的阈值thd。阈值tha～thd可以相同，也可以彼此不同。

<b-2-13.解析部>

解析部59在输入装置534(参照图3)中输入有解析指示时，将用于判定是否正在正常进行使用视觉伺服的机器人30a～30d的控制的解析画面显示在显示装置60。

解析部59接收焊盘识别编号的输入，从实际动画存储部57读出与输入的焊盘识别编号相对应的第一实际动画、第二实际动画、第三表以及第四表。解析部59将基于读出的第一实际动画、第二实际动画、第三表以及第四表的解析画面显示在显示装置60。

图12是表示实施方式的解析画面的具体例的图。图12所示的例子的解析画面62包含区域601～606以及按键607～612。

解析部59在输入有解析指示时，基于从实际动画存储部57读出的第三表，创建表示从拍摄装置21拍摄的实际图像中提取的特征量的时间变化的第一实际波形，作为实际波形621。解析部59将创建的实际波形621显示在区域601。并且，解析部59基于基准动画存储部51存储的第一表，创建表示从第一基准动画的各帧中提取的特征量的时间变化的第一基准波形，作为基准波形622，将创建的基准波形622显示在区域602。此时，解析部59创建与多个种类的特征量中的一个特征量相对应的实际波形621以及基准波形622。在图12所示的例子中，显示了特征量“烙铁的像素位置(y坐标)”的实际波形621以及基准波形622。

解析部59在输入有解析指示时，将指定实际波形621在时间轴上的时刻的标记623与实际波形621重叠显示。解析部59将标记623所指定的时刻对应的特征量的值显示在标记623的附近的区域625。此外，标记623指定的默认时刻例如可以是实际波形621的开始时刻。

解析部59在输入有解析指示时，将指定基准波形622在时间轴上的时刻的标记624与基准波形622重叠显示。解析部59将标记624所指定的时刻对应的特征量的值显示在标记624的附近的区域626。此外，标记624指定的默认时刻例如可以是基准波形622的开始时刻。

解析部59在输入有解析指示时，将由拍摄装置21拍摄的实际图像显示在区域603。解析部59将标记623所指定的时刻对应的实际图像显示在区域603。

解析部59在输入有解析指示时，将第一基准动画的帧显示在区域604。解析部59将标记624所指定的时刻对应的帧显示在区域604。

解析部59在输入有解析指示时，将由拍摄装置21拍摄的多个实际图像的缩略图显示在区域605。多个实际图像的缩略图必须包含标记623指定的时刻对应的实际图像的缩略图627。解析部59将缩略图627以与其余的缩略图不同的显示方式进行显示。在图12所示的例子中，通过粗线包围缩略图627。

解析部59在输入有解析指示时，将第一基准动画的多个帧的缩略图显示在区域606。多个帧的缩略图必须包含标记624所指定的时刻对应的帧的缩略图628。解析部59将缩略图628以与其余的缩略图不同的显示方式进行显示。在图11所示的例子中，通过粗线包围缩略图628。

解析部59接收按键607～612的操作。解析部59在按键607～612中的任一个被操作时，进行以下的处理。

(按键607被操作的情况)

按键607是用于切换拍摄装置21、22的按键。解析部59在按键607被操作时，基于从实际动画存储部57读出的第四表，创建表示从拍摄装置22拍摄的实际图像中提取的特征量的时间变化的第二实际波形，作为实际波形621。解析部59将区域601中显示的实际波形621切换为第二实际波形。并且，解析部59基于基准动画存储部51存储的第二表，创建表示从第二基准动画的各帧中提取的特征量的时间变化的第二基准波形，作为基准波形622。解析部59将区域602中显示的基准波形622切换为第二基准波形。

并且，解析部59将区域603中显示的实际图像切换为由拍摄装置22拍摄的实际图像，并且将区域604中显示的帧切换为第二基准动画的帧。

并且，解析部59将区域605中显示的缩略图切换为由拍摄装置22拍摄的实际图像的缩略图，并且将区域606中显示的缩略图切换为第二基准动画的帧的缩略图。

然后，解析部59在按键607每次被操作时，将区域601中显示的实际波形621从第一实际波形以及第二实际波形中的一个切换为另一个。并且，解析部59在按键607每次被操作时，将区域602中显示的基准波形622从第一基准波形以及第二基准波形中的一个切换为另一个。

解析部59在第一实际波形显示在区域601的情况下，将拍摄装置21的实际图像显示在区域603，并且将拍摄装置21的多个实际图像的缩略图显示在区域605。

解析部59在第二实际波形显示在区域601的情况下，将拍摄装置22的实际图像显示在区域603，并且将拍摄装置22的多个实际图像的缩略图显示在区域605。

解析部59在第一基准波形显示在区域602的情况下，将第一基准动画的帧显示在区域603，并且将第一基准动画的多个帧的缩略图显示在区域605。

解析部59在第二基准波形显示在区域602的情况下，将第二基准动画的帧显示在区域603，并且将第二基准动画的多个帧的缩略图显示在区域605。

此外，解析部59无论按键607是否被操作，都不变更标记623、624的位置。

(按键608被操作的情况)

按键608是用于使标记623、624的位置以单位时间移动的按键。当操作按键608时，解析部59根据标记623、624所指定的时刻，分别变更区域625、626中显示的值。并且，解析部59根据标记623、624所指定的时刻，分别变更区域603中显示的实际图像以及区域604中显示的帧。并且，解析部59根据标记623、624所指定的时刻，分别变更区域605、606中粗体框包围的缩略图。

这样，解析部59根据标记623的移动，变更区域603、605、625的显示内容。并且，解析部59根据标记624的移动，变更区域604、606、626的显示内容。在以下的说明中，不特别指出的情况下，根据标记623的移动变更区域603、605、625的显示内容，根据标记624的移动变更区域604、606、626的显示内容。

(按键609被操作的情况)

按键609是用于在区域603播放实际动画(第一实际动画或者第二实际动画)、在区域604播放基准动画(第一基准动画或者第二基准动画)的按键。当操作按键609时，解析部59在区域603播放实际动画，并且在区域604播放基准动画。此时，解析部59根据区域603中显示的实际图像，使标记623的位置移动。解析部59根据区域604中显示的帧，使标记624的位置移动。

(按键610被操作的情况)

按键610是用于在区域603反向播放实际动画(第一实际动画或者第二实际动画)、在区域604反向播放基准动画(第一基准动画或者第二基准动画)的按键。当操作按键609时，解析部59在区域603反向播放实际动画，并且在区域604反向播放基准动画。此时，解析部59根据区域603中显示的实际图像，使标记623的位置移动。解析部59根据区域604中显示的帧，使标记624的位置移动。

(按键611被操作的情况)

按键611是用于使实际波形621与基准波形622的时间轴一致的按键。解析部59在按键611被操作时，以实际波形621与基准波形622的时间轴一致的方式修正实际波形621。由此，修正实际波形621与基准波形622的时间偏差。其结果，可进一步易于判定是否正在正常执行使用视觉伺服的机器人控制。

图13是表示使时间轴一致之前的实际波形与基准波形、以及使时间轴一致之后的实际波形与基准波形的图。在图13的上方表示使时间轴一致之前的实际波形621以及基准波形622，在图13的下方表示使时间轴一致之后的实际波形621以及基准波形622。

作为使实际波形621与基准波形622的时间轴一致的方法，例如有图案匹配以及dp匹配。

图案匹配是以两个波形的距离变为最小的方式使时间轴一致的方法。具体来讲，解析部59使实际波形621沿时间轴方向一个单位时间一个单位时间地移动，计算实际波形621与基准波形622的距离。解析部59使实际波形621移动至该距离变为最小的位置。距离例如可以是实际波形621与基准波形622的各时刻的特征量的差的平方和。

dp匹配被称为动态计划法，是以两个波形最一致的方式使两个波形中的至少一个时间轴伸缩的方法。具体来讲，解析部59使实际波形621的时间轴的伸缩率一个单位量一个单位量地变化，计算实际波形621与基准波形622的距离。解析部59按照该距离变为最小的伸缩率使实际波形621伸缩。

解析部59在按键611被操作时，使标记623的位置与标记624的位置一致。

解析部59在根据按键611的操作修正实际波形621之后按键608～610被操作的情况下，基于修正后的实际波形621进行处理。

(按键612被操作的情况)

按键612是用于切换特征量的按键。解析部59在按键612每次被操作时，依次切换实际波形621以及基准波形622所示的特征量。或者，解析部59在按键612被操作时，也可以显示多个种类的特征量的一览，显示接受选择指示的一个特征量的实际波形621以及基准波形622。

多个种类的特征量如上所述，包含烙铁2a、焊料提供器2b、电线2c、焊盘2d以及熔融焊料2e在图像上的坐标(像素坐标)。但是，多个种类的特征量也可以包含从图像中提取的其他特征量。

图14是表示特征量的一个例子的图。图15是表示特征量的另一例子的图。图14所示的特征量是烙铁2a从图像上的初始位置的移动距离d1。这样，多个种类的特征量也可以包含特定的对象物从图像上的初始位置的移动距离。

图15所示特征量是熔融焊料2e在图像上的面积sa。这样，多个种类的特征量也可以包含图像上的斑点(区域)的面积、圆角半径、周长等。图像处理部53只要通过进行标记(labeling)等的图像处理来从对象图像中提取斑点即可。

<c.动作例>

<c-1.变化信息的生成处理>

参照图16，说明变化信息生成部551的变化信息的生成处理流程。图16是表示变化信息生成部的变化信息的生成处理流程的一个例子的流程图。此外，图16中示出了第一控制部55a的变化信息生成部551的处理流程。第二控制部55b、第三控制部55c以及第四控制部55d的变化信息生成部551按照与图16同样的方法生成变化信息即可。作为事前准备，进行变化信息的生成处理。

首先，在步骤s1，控制装置50使机器人30a进行将由手31a把持的烙铁2a向初始位置移动的定型动作。由此，烙铁2a移动到拍摄装置21、22的视野内。

在步骤s2，变化信息生成部551控制机器人30a，以使通过拍摄装置21、22分别拍摄与第一基准动画以及第二基准动画的示教范围的起始帧相同的图像。后面说明步骤s2的子程序。

在步骤s3，变化信息生成部551将k设置为示教范围的起始帧的帧编号。在步骤s4，变化信息生成部551选择六自由度中的一个。

在步骤s5，变化信息生成部551生成用于沿选择的自由度的正方向以单位控制量使手31a移动的控制指令，并输出给机器人控制器40a。

在步骤s6，变化信息生成部551在手31a以单位控制量进行移动后，从拍摄装置21、22获取最新的实际图像。

在步骤s7，变化信息生成部551从图像处理部53获取从步骤s6获取的实际图像中提取的烙铁2a的特征点的坐标。

在步骤s8，变化信息生成部551从图像处理部53获取从第一基准动画以及第二基准动画的第k帧中提取的烙铁2a的特征点的坐标。

在步骤s9，变化信息生成部551基于由步骤s8获取的坐标以及由步骤s7获取的坐标，生成第k帧以及由步骤s4选择的自由度对应的第一变化信息以及第二变化信息。即，变化信息生成部551生成表示用于将拍摄装置21的实际图像中提取的特征点的坐标转换成从第一基准动画的第k帧中提取的特征点的坐标的映射的第一变化信息。并且，变化信息生成部551生成表示用于将拍摄装置22的实际图像中提取的特征点的坐标转换成从第二基准动画的第k帧中提取的特征点的坐标的映射的第二变化信息。

在步骤s10，变化信息生成部551生成用于使手31a返回至原始状态(此前的步骤s5之前的状态)的控制指令，并输出给机器人控制器40a。由此，烙铁2a返回至步骤s5之前的状态。

在步骤s11，变化信息生成部551判定是否存在未选择的自由度。在存在未选择的自由度的情况下(步骤s11为是)，变化信息的生成处理返回步骤s4。其结果，重复步骤s4至步骤s10，针对六自由度分别生成第一变化信息以及第二变化信息。

在不存在未选择的自由度的情况下(步骤s11为否)，变化信息生成部551在步骤s12判定k是否是示教范围的最终帧的帧编号。

在k不是最终帧的帧编号的情况下(步骤s12为否)，变化信息生成部551在步骤s13控制机器人30a，以使拍摄装置21、22分别拍摄与第一基准动画以及第二基准动画的第k+1帧相同的图像。

具体来讲，变化信息生成部551通过与上述的计算部553的处理内容同样的方法，计算用于使第k帧上的烙铁2a的状态接近第k+1帧上的烙铁2a的状态的六自由度的控制量。即，变化信息生成部551针对从第k帧中提取的多个特征点的各个特征点，将该特征点作为起点，求出以从第k+1帧中提取的对应的特征点为终点的差分向量。变化信息生成部551基于各特征点的差分向量以及第k帧对应的第一变化信息以及第二变化信息，计算六自由度的控制量。变化信息生成部551生成表示计算出的控制量的控制指令，并输出给机器人控制器40a。

在步骤s14，变化信息生成部551将k加1。步骤s14后，处理返回步骤s4。由此，针对第k+1帧，同样生成六自由度的各个自由度的第一变化信息以及第二变化信息。

在k为最终帧的帧编号的情况下(步骤s12为是)，针对所有帧生成了第一变化信息组5521以及第二变化信息组5522，因此结束变化信息的生成处理。

图17是表示图16所示的步骤s2的子程序的处理流程的流程图。

首先，在步骤s21，变化信息生成部551从图像处理部53获取从第一基准动画以及第二基准动画的示教范围的起始帧中提取的烙铁2a的特征点的坐标。

在步骤s22，变化信息生成部551从拍摄装置21、22获取最新的实际图像。

在步骤s23，变化信息生成部551从图像处理部53获取从由步骤s22获取的实际图像中提取的烙铁2a的特征点的坐标。

在步骤s24，变化信息生成部551判定步骤s22获取的实际图像上的烙铁2a的状态与起始帧上的烙铁2a的状态的偏差是否小于阈值tha。偏差例如可以是从实际图像以及起始帧中提取的烙铁2a对应的特征点彼此的距离的平均。

在偏差小于阈值tha的情况下(步骤s24为是)，变化信息生成部551判定通过拍摄装置21、22分别拍摄了与起始帧相同的图像，结束处理。

在偏差为阈值tha以上的情况下(步骤s24为否)，在步骤s25，变化信息生成部551选择六自由度中的一个自由度。在步骤s26，变化信息生成部551选择正方向以及负方向中的一个作为控制方向。

在步骤s27，变化信息生成部551生成用于沿选择的自由度所选择的控制方向以单位控制量使手31a移动的控制指令，并输出给机器人控制器40a。

在步骤s28，变化信息生成部551在手31a以单位控制量进行移动后，从拍摄装置21、22获取实际图像。

在步骤s29，变化信息生成部551从图像处理部53获取从步骤s28获取的实际图像中提取的烙铁2a的特征点的坐标。

在步骤s30，变化信息生成部551计算步骤s28获取的实际图像上的烙铁2a的状态与起始帧上的烙铁2a的状态的偏差。

在步骤s31，变化信息生成部551生成用于使手31a返回原始状态(此前的步骤s27之前的状态)的控制指令，并输出给机器人控制器40a。由此，烙铁2a返回步骤s27之前的状态。

在步骤s32，变化信息生成部551判定是否存在未选择的控制方向。在存在未选择的控制方向的情况下(步骤s32为是)，处理返回步骤s26。

在不存在未选择的控制方向的情况下(步骤s32为否)，在步骤s33，变化信息生成部551判定是否存在未选择的自由度。在存在未选择的自由度的情况下(步骤s33为是)，处理返回步骤s25。

在不存在未选择的自由度的情况下(步骤s33为否)，在步骤s34，变化信息生成部551通过机器人控制器40a控制机器人30a，以使沿最小偏差对应的自由度以及控制方向以单位控制量使手31a移动。步骤s34之后，处理返回步骤s22。

<c-2.机器人的控制>

参照图18，说明使用视觉伺服的焊接控制的处理流程。图18是表示使用视觉伺服的焊接控制的处理流程的一个例子的流程图。

首先，在步骤s41，控制装置50判定是否从所有的控制部(第一控制部55a、第二控制部55b、第三控制部55c以及第四控制部55d)的结束判定部555输出了结束通知。在从所有的控制部的结束判定部555输出了结束通知的情况下(步骤s41为是)，结束处理。

在没有从所有的控制部的结束判定部555输出结束通知的情况下(步骤s41为否)，在步骤s42，控制装置50获取由拍摄装置21、22拍摄的实际图像。按照拍摄周期进行步骤s42。

在步骤s43，图像处理部53通过模板匹配，从实际图像以及目标帧中检测所有对象物(烙铁2a、焊料提供器2b、电线2c、焊盘2d以及熔融焊料2e)，提取各对象物的特征点在图像上的坐标。

在步骤s44，目标帧选择部54从第一基准动画以及第二基准动画选择目标帧。

在步骤s45，目标帧选择部54确定在示教范围内包含目标帧的对象物。目标帧选择部54向用于控制所确定的对象物的控制部(第一控制部55a、第二控制部55b、第三控制部55c以及第四控制部55d中的至少一个)输出控制指示。

在步骤s46，接收到控制指示的控制部进行对象机器人的控制。步骤s46之后，处理返回步骤s41。在步骤s4为否的情况下，按照拍摄周期重复步骤s42～s46的一连串的处理。另外，此时，在步骤s41为否的情况下，在步骤s46进行对象机器人的控制的期间，可以开始获取下一个实际图像的步骤s42。由此，无需停止对象机器人的动作而能够根据最新的实际图像持续控制对象机器人。其结果，能够使对象物的状态快速变化。

<c-3.目标帧的选择>

参照图19以及图20，说明目标帧选择部54的目标帧的选择处理的流程。图19是表示图18所示的步骤s44的子程序的处理流程的流程图。图20是表示最邻近帧与目标帧的关系的图。

首先，在步骤s51，目标帧选择部54从图像处理部53获取从第一基准动画以及第二基准动画的各帧中提取的所有的对象物的特征点的坐标。

在步骤s52，目标帧选择部54从图像处理部53获取从拍摄装置21、22拍摄的实际图像中提取的所有对象物的特征点的坐标。

在步骤s53，目标帧选择部54判定第一次目标帧的选择是否结束。

在第一次目标帧的选择结束的情况下(步骤s53为是)，在步骤s54，目标帧选择部54判定前一次的目标帧是否是任意一个对象物对应的示教范围的最终帧。

在前一次目标帧是最终帧的情况下(步骤s54为是)，处理移动至步骤s55。在步骤s55，目标帧选择部54针对该最终帧所属的示教范围对应的对象物，计算实际图像上的状态与最终帧上的状态的偏差，判定偏差是否小于阈值。偏差例如可以是实际图像以及最终帧的对象物对应的特征点彼此的距离的平均。

在偏差为阈值以上的情况下(步骤s55为否)，在步骤s56，目标帧选择部54选择与前一次目标帧相同的帧作为目标帧。步骤s56之后，结束处理。

在偏差小于阈值的情况下(步骤s55为是)，判定对象物的状态到达最终帧上的状态，处理转移至步骤s57。在第一次的目标帧的选择没结束的情况下(步骤s53为否)，以及前一次的目标帧不是最终帧的情况下(步骤s54为否)，处理同样转移至步骤s57。

在步骤s57，目标帧选择部54计算实际图像上的所有对象物的状态与各帧上的所有对象物的状态的偏差，将最小偏差的帧确定为最邻近帧。偏差例如可以是实际图像以及各帧中的对象物对应的特征点彼此的距离的平均。

具体来讲，目标帧选择部54计算拍摄装置21拍摄的实际图像上的所有对象物的状态与第一基准动画的第k帧上的所有对象物的状态的第一偏差。并且，目标帧选择部54计算拍摄装置22拍摄的实际图像上的所有对象物的状态与第二基准动画的第k帧上的所有对象物的状态的第二偏差。目标帧选择部54计算第一偏差与第二偏差的平均作为第k帧对应的偏差。

在步骤s58，目标帧选择部54判定从最邻近帧到规定数量的后续帧中是否存在某个示教范围的最终帧。

在存在最终帧的情况下(步骤s58为是)，在步骤s59，目标帧选择部54选择该最终帧作为目标帧。此外，在从最邻近帧到规定数量的后续帧中存在多个最终帧的情况下，目标帧选择部54选择该多个最终帧中的帧编号最小的最终帧。

在不存在最终帧的情况下(步骤s58为否)，在步骤s60，目标帧选择部54选择从最邻近帧开始的规定数量之后的帧作为目标帧。步骤s60之后，结束目标帧的选择处理。

<c-4.控制部的处理>

参照图21，说明图18的步骤s46的子程序的处理。图21是表示图18所示的步骤s46的子程序的处理流程的流程图。

首先，在步骤s61，结束判定部555判定目标帧是否是示教范围的最终帧。

在目标帧为最终帧的情况下(步骤s61为是)，在步骤s62，结束判定部555判定实际图像上的对象物的状态与最终帧上的对象物的状态的偏差是否小于阈值。

在偏差小于阈值的情况下(步骤s62为是)，在步骤s63，结束判定部555输出结束通知。步骤s63之后，处理结束。

在目标帧不是最终帧的情况下(步骤s61为否)以及偏差为阈值以上的情况下(步骤s62为否)，处理转移至步骤s64。

在步骤s64，计算部553基于与目标帧相对应的第一变化信息组5521以及第二变化信息组5522，计算用于使实际图像上的对象物的状态接近目标帧上的对象物的状态的多个自由度的各个自由度的控制量。

在步骤s65，指令部554生成用于表示计算出的控制量的控制指令，并输出给对象机器人控制器。步骤s65之后，处理结束。

<c-5.解析处理>

参照图22，说明解析部59的处理。图22是表示解析部的处理流程的流程图。

首先，在步骤s71，解析部59判定输入装置534(参照图3)中是否输入有解析指示。作业人在想要针对某个焊盘2d确认焊接控制的解析画面的情况下，将识别该焊盘2d的焊盘识别编号以及解析指示输入给输入装置534。

在未输入有解析指示的情况下(步骤s71为否)，处理返回步骤s71。

在输入有解析指示的情况下(步骤s71为是)，在步骤s72，解析部59从基准动画存储部51读出第一基准动画、第二基准动画、第一表以及第二表。并且，解析部59从实际动画存储部57读出与输入的焊盘识别信息相对应的第一实际动画、第二实际动画、第三表以及第四表。

在步骤s73，解析部59基于从步骤s72读出的信息，将图12所示的解析画面62显示在显示装置60。

在步骤s74，解析部59判定是否输入有结束指示。在未输入结束指示的情况下(步骤s74为否)，在步骤s75，解析部59判定按键607～612中的任一个是否被操作。

在按键607～612中的任一个被操作的情况下(步骤s75为是)，在步骤s76，解析部59根据被操作的按键使画面转移。步骤s76之后，处理返回步骤s74。在按键均未被操作的情况下(步骤s75为否)，处理返回步骤s74。

在输入有结束指示的情况下(步骤s74为是)，解析部59结束解析画面62的显示。

<c-6.作用、效果>

如上所述，控制系统1具备用于使对象物的状态变化的机器人30a～30d、用于拍摄对象物的拍摄装置21、22、第一控制部55a～第四控制部55d以及解析部59。第一控制部55a～第四控制部55d控制对象机器人，以使由拍摄装置21、22拍摄的实际图像上的对象物的状态的变化分别接近预先创建的第一、第二基准动画上的对象物的状态的变化。解析部59将表示从实际图像中提取的特征量的时间变化的实际波形621以及表示从基准动画的帧中提取的特征量的时间变化的基准波形622两者显示在显示装置60的解析画面62上。

在正在正常执行使用视觉伺服的机器人30a～30d的控制的情况下，由拍摄装置21、22拍摄的实际图像上的对象物的状态的变化分别追随第一、第二基准动画上的对象物的状态的变化。因此，实际波形621与基准波形622近似。由此，作业人通过确认解析画面62中显示的实际波形621以及基准波形622，易于判定是否正在正常执行使用视觉伺服的机器人30a～30d的控制。例如，作业人在实际波形621与基准波形622的偏差较大的情况下，能够判定使用视觉伺服的机器人30a～30d的控制中发生了某种异常。

<d.变形例>

<d-1.变形例1>

图23是表示变形例1的解析画面的一个例子的图。图23所示的例子的解析画面63与图12所示的解析画面62相比，包含按键613、表示机器人从基准位置的移动量的时间变化的波形629、630这点不同。波形629表示拍摄实际图像时的移动量的时间变化。波形630表示对象物的状态按照基准动画变化时的移动量的时间变化。

为了显示图23所示的解析画面63，基准动画存储部51还存储有图24所示的第五表。实际动画存储部57还存储有图25所示的第六表。

图24是表示变形例1所涉及的基准动画存储部存储的第五表的一个例子的图。图25是表示变形例1所涉及的实际动画存储部存储的第六表的一个例子的图。

如图24所示，基准动画存储部51存储有第一基准动画以及第二基准动画的所有帧(第1～m帧)的时刻与各机器人30a～30d的移动量信息相关联的第五表。移动量信息针对多个自由度的每个自由度，表示从基准位置姿态的移动量。例如，在机器人30a的情况下，移动量信息表示x方向、y方向以及z方向的平移移动量、俯仰方向、横摆方向以及侧倾方向的平移移动量。

基准动画存储部51存储的移动量信息是变化信息生成部551生成第一变化信息以及第二变化信息时创建的。如上所述，变化信息生成部551针对第一基准动画以及第二基准动画的第1～m帧的每个帧，控制对象机器人，以使得到与该帧相同的实际图像。变化信息生成部551基于对象机器人的控制量，针对第一基准动画以及第二基准动画的第1～m帧的每个帧，生成移动量信息。

或者，可以在通过机器人30a～30d使对象物的样品的状态变化从而创建第一基准动画以及第二基准动画的情况下，根据创建第一基准动画以及第二基准动画时的各机器人的动作来生成移动量信息。

如图25所示，实际动画存储部57存储拍摄装置21、22的拍摄时刻与机器人30a～30d的每个机器人的移动量信息相关联的第六表。实际动画存储部57存储的移动量信息由第一控制部55a、第二控制部55b、第三控制部55c以及第四控制部55d生成。

第一控制部55a、第二控制部55b、第三控制部55c以及第四控制部55d的各控制部接收来自设置于对象机器人的多个编码器的脉冲信号。各控制部通过对脉冲信号中包含的脉冲数进行计数，从而生成移动量信息。

按键613是用于切换波形629、630所示的移动量的按键。解析部59在图23所示的按键613被操作时，显示用于提示机器人以及自由度的选择指示的输入的弹出画面。并且，解析部59根据输入的选择指示来选择机器人以及自由度。

解析部59从实际动画存储部57存储的第五表中读出选择的机器人以及自由度的移动量，生成表示该移动量的时间变化的波形629。即，波形629所示的移动量是沿选择的自由度的方向使选择的机器人从基准位置移动的量。解析部59将生成的波形629显示在区域601，并且将标记623所指定的时刻的移动量显示在区域631。区域631位于标记623与波形629的交叉点附近。

并且，解析部59从基准动画存储部51存储的第一表读出选择的机器人以及自由度的移动量，生成表示该移动量的时间变化的波形630。解析部59将生成的波形630显示在区域602，并且将标记624所指定的时刻的移动量显示在区域632。区域632位于标记624与波形630的交叉点的附近。

根据变形例1，作业人通过确认波形629与波形630的偏差，能够判定机器人有无异常。其结果，作业人易于把握实际波形621与基准波形622的偏差较大的原因。

<d-2.变形例2>

图26是表示变形例2所涉及的解析画面的一个例子的图。解析部59在按键611被操作时，针对时间轴上的各时刻，计算表示实际波形621与基准波形622的特征量的差异的参数值。解析部59如图26所示，将表示计算出的参数值的变化的波形633显示在解析画面64。并且，解析部59将标记623所指定的时刻的参数值显示在区域625。参数值例如可以是实际波形621与基准波形622的特征量的差或者比。

根据变形例2，作业人通过确认波形633或者区域625的参数值，易于把握焊接控制中的某个时间段中实际波形621与基准波形622的偏差是否变得较大。此外，解析部59可以仅显示波形633以及区域625的参数值中的一个。

并且，如图26所示，解析画面64可以包含按键614。按键614是用于搜索实际波形621与基准波形622的偏差较大的时刻的按键。

解析部59在按键614被操作时，选择参数值最大的时刻作为指定时刻。并且，解析部59使标记623、624移动至指定时刻的位置。其结果，在区域603显示指定时刻对应的实际图像，在区域604显示指定时刻对应的帧。

由此，作业人能够确认实际波形621与基准波形622的特征量的差异较大时的图像，易于把握机器人的异常原因。

此外，解析部59可以选择参数值超过阈值的时刻作为指定时刻。在参数值超过阈值的时刻存在多个的情况下，解析部59选择该多个时刻中的一个作为指定时刻。

当按键609被操作时，解析部59在区域603可以播放实际动画(第一实际动画或者第二实际动画)中的包含指定时刻的一部分期间的映像，在区域604播放基准动画(第一基准动画或者第二基准动画)中的该期间的映像。由此，作业人进一步易于把握焊接控制的异常原因。

变形例2也可应用于上述的变形例1。即，解析部59可以针对时间轴上的各时刻，计算表示波形629与波形630的移动量的差异的参数值。解析部59可以将该参数值以及表示该参数值的时间变化的波形中的至少一个显示在解析画面63。或者，解析部59可以选择参数值最大的时刻作为指定时刻。

<d-3.变形例3>

图27是表示变形例3所涉及的解析画面的一个例子的图。如图27所示，解析画面65包含用于选择移动方向所示的对象物的按键615以及表示选择的对象物的移动方向的箭头634。

为了显示箭头634，实际动画存储部57存储构成第一实际动画的实际图像与各对象物在图像上的移动方向相关联的第七表、以及构成第二实际动画的实际图像与各对象物在图像上的移动方向相关联的第八表。

图28是表示变形例3所涉及的实际动画存储部存储的第七表的一个例子的图。在图28所示的例子的第七表中，识别实际图像的图像文件名与表示各对象物的移动方向的移动方向信息相关联。第八表具有与图28所示的第七表同样的数据构造。

如上所述，计算部553每次从拍摄装置21获取实际图像时，计算第一差分向量6a～6g(参照图11)。计算部553以第一差分向量变小的方式计算对象机器人的控制量。由此，对象物在实际图像上沿第一差分向量的平均的方向移动。因此，计算部553生成表示第一差分向量的平均的方向的信息作为移动方向信息。实际动画存储部57存储包含由计算部553生成的移动方向信息的第七、第八表。

解析部59在按键615被操作时，显示用于提示对象物的选择指示的弹出画面。解析部59从实际动画存储部57读出选择的对象物以及标记623所指定的时刻的实际图像对应的移动方向信息。此外，解析部59在实际波形621表示从拍摄装置21拍摄的实际图像中提取的特征量的情况下，从第七表中读出移动方向信息。解析部59在实际波形621表示从拍摄装置22拍摄的实际图像中提取的特征量的情况下，从第八表读出移动方向信息。

解析部59基于读出的移动方向信息，生成表示对象物的移动方向的箭头634，将生成的箭头634显示在区域603。由此，作业人易于把握对象物的移动方向。

此外，解析部59在按键615每次被操作时，可以依次切换表示移动方向的对象物。

<d-4.变形例4>

在上述的说明中，控制系统1进行焊接控制。但是，控制系统1也可以对其他对象物进行控制。

图29是表示变形例4所涉及的控制系统的对象物的示意图。变形例4的控制系统1在工业产品的生产线等中，将公连接器7a插入母连接器7b，从而使公连接器7a与母连接器7b连接。

公连接器7a通过机器人30a的手31a把持。母连接器7b载置在机器人30d的工作台31d上。

此外，机器人30a～30d例如可以使气球这种可膨胀以及收缩的对象物的状态(这里是尺寸)变化。在该情况下，控制装置50获取表示以单位控制量控制机器人时的对象物的大小的变化的变化信息。然后，控制装置基于变化信息控制机器人，以使实际图像上的对象物的大小接近目标帧上的对象物的大小。

或者，机器人30a～30d也可以向对象物施加力，使对象物的状态(这里是尺寸)变化。

<d-5.其他变形例>

图像处理部53可以使用对象物的3d-cad数据从对象图像中检测对象物。

第一基准动画以及第二基准动画可以是通过cg(computergraphics)创建的。

在上述说明中，控制装置50具备机器人控制部58以及解析部59。即，控制装置50作为机器人控制装置运转，并且作为解析装置运转。但是，解析部59可以设置于以可通信方式与控制装置50连接的解析装置中。

《附记》

如上所述，实施方式1～3以及变形例包含以下的内容。

(结构1)

一种控制系统(1)，具备：

机器人(30a～30d)，用于使对象物(2a～2d、7a、7b)的状态变化；

拍摄装置(21、22)，用于拍摄所述对象物；

控制部(58)，控制所述机器人(30a～30d)，以使由所述拍摄装置(21、22)拍摄的实际图像上的所述对象物的状态的变化接近预先创建的基准动画上的所述对象物的状态的变化；以及

解析部(59)，将表示从所述实际图像中提取的特征量的时间变化的第一波形以及表示从所述基准动画的帧中提取的所述特征量的时间变化的第二波形两者显示在显示装置(60)的画面上。

(结构2)

根据结构1所述的控制系统(1)，

所述解析部(59)使所述第一波形与所述第二波形的时间轴一致。

(结构3)

根据结构2所述的控制系统(1)，

所述解析部(59)针对所述时间轴上的各时刻，计算表示所述第一波形与所述第二波形的所述特征量的差异的参数值，将所述参数值以及表示所述参数值的时间变化的第三波形中的至少一个显示在所述画面上。

(结构4)

根据结构2所述的控制系统(1)，

所述解析部(59)针对所述时间轴上的各时刻，计算表示所述第一波形与所述第二波形的所述特征量的差异的参数值，

基于计算出的参数值，选择所述参数值最大的时刻或者所述参数值超过阈值的时刻作为指定时刻，

将与所述指定时刻相对应的所述实际图像以及所述基准动画中的所述指定时刻的帧同时显示在所述画面上。

(结构5)

根据结构2所述的控制系统(1)，

所述解析部(59)接收所述时间轴上的指定时刻，

将与所述指定时刻相对应的所述实际图像以及所述基准动画中的所述指定时刻的帧同时显示在所述画面上。

(结构6)

根据结构4或者5所述的控制系统(1)，

所述解析部(59)在所述画面上同时播放由按照时间序列排列的所述实际图像构成的实际动画以及所述基准动画两者中的、包含所述指定时刻的一部分期间的映像。

(结构7)

根据结构1至6中任一项所述的控制系统(1)，

所述解析部(59)将表示拍摄所述实际图像时所述机器人从基准位置的移动量的时间变化的第四波形、以及表示所述对象物的状态按照所述基准动画变化时所述移动量的时间变化的第五波形两者显示在所述画面上。

(结构8)

根据结构7所述的控制系统(1)，

所述机器人(30a～30d)以多个自由度使所述对象物的状态变化，

所述解析部(59)接收所述多个自由度中的一个自由度的选择指示，

所述移动量是沿所述一个自由度的方向使所述机器人(30a～30d)从所述基准位置移动的量。

(结构9)

一种解析装置(50)，用于结构1至8中任一项所述的控制系统(1)，

具备所述解析部(59)。

(结构10)

一种控制方法，使用用于拍摄对象物(2a～2d、7a、7b)的拍摄装置(21、22)来控制使所述对象物的状态变化的机器人(30a～30d)，具有以下步骤：

控制所述机器人(30a～30d)，以使所述拍摄装置(21、22)拍摄的实际图像上的所述对象物的状态的变化接近预先创建的基准动画上的所述对象物的状态的变化；以及

将表示从所述实际图像的帧中提取的特征量的时间变化的第一波形以及表示从所述基准动画的帧中提取的所述特征量的时间变化的第二波形两者显示在显示装置(60)的画面上。

说明了本发明的实施方式，但是，应理解此次公开的实施方式只是示例性的，并不用于限制本发明。本发明的范围通过权利要求表示，包含与权利要求相同的含义以及范围内的所有变更。