模拟装置以及模拟方法与流程

本发明涉及用于推定系统的动作的模拟装置、模拟方法以及模拟程序。

背景技术：

在工厂自动化(FA：Factory Automation)领域中，使用视觉传感器的自动控制技术被广泛的利用。例如，通过对工件等的对象物进行拍摄并对该拍摄的图像执行图形匹配等的图像测量处理，实现用于操作各种的控制设备的自动化处理。

例如，日本特开2012-187651号公报(专利文献1)公开了包括视觉传感器以及机械手的传送带跟踪的结构。在该传送带跟踪的系统中，视觉传感器以及用于控制机械手的机械手控制装置经由网络连接。

在上述那样的自动控制技术的对象的系统的设计或检讨等阶段，需要预先评价系统整体的性能等。针对这样的需求，假想地构筑系统来实现模拟动作的技术。例如，日本特开2013-191128号公报(专利文献2)公开了进行包含与假想拍摄部对应的实际空间的视觉传感器的机械系统的综合模拟的技术。在专利文献2公开的技术中，通过联合3D模拟器与视觉传感器模拟器，假想地生成各个时刻的3D空间内的工件的拍摄图像。

专利文献1：日本特开2012-187651号公报

专利文献2：日本特开2013-191128号公报

例如，在上述的专利文献1所公开的传送带追踪的系统中，基于视觉传感器的测量结果，生成针对各装置的控制指令。因此，在模拟这样的系统的情况下，存在想要一并确认各装置的动作和视觉传感器的测量结果的需求。

另外，例如，在将某个传送带上的工件移动至其他传送带进行配置的情况下，也进行将工件的朝向调整为预先设定的方向的处理。因此，也存在想要确认这样的针对工件的处理是否合适地被实施的需求。

技术实现要素：

根据本发明的一个技术方案，提供一种模拟装置，用于推定处理装置对对象物进行处理的系统的动作。模拟装置包括：

构筑机构，其在三维假想空间内假想地构筑系统，

测量机构，其对包括被摄物体即对象物的至少一部分的输入图像进行图像测量处理，该输入图像与在三维假想空间内的规定部位预先设定的第一区域相关联，所述图像测量处理包括从输入图像中搜索与预先设定的一个或多个参照信息相对应的部分的处理，

执行机构，其基于测量机构的测量结果，执行控制运算，该控制运算用于生成针对处理装置的控制指令，

再现机构，其基于由执行机构输出的控制指令的时间序列数据以及测量机构的测量结果，在系统上，使搜索的对象物的动作与从输入图像中搜索的关于对象物的类别以及该对象物的朝向的信息一同再现。

优选地，对象物的类别包括预先设定的多个参照信息中的表示与对象物的对应程度最确切的信息。

优选地，对象物的类别包括表示对象物与预先设定的参照信息之间的对应程度是否满足预先设定的条件的信息。

优选地，再现机构对对象物的每个类别，使颜色、形状、大小中的至少一个不同来进行显示。

优选地，模拟装置还具有输入机构，该输入机构接受对对象物的每个类别的显示所使用的颜色、形状、大小中至少一个的设定。

优选地，测量机构将与包含于输入图像的任一参照信息相对应的部分的旋转角作为测量结果输出，

再现机构基于测量结果的旋转角，生成关于对象物的朝向的信息。

优选地，再现机构将表示对象物的朝向的对象附加于对象物来进行显示。

优选地，再现机构将与对象物的朝向相对应的特征附加于再现的对象物的外观。

优选地，系统包括用于运送对象物的运送机，

规定部位在运送机的运送路径上。

优选地，再现机构基于表示运送对象物的运送机的位置或位移的信息，依次更新三维假想空间内的对象物的显示位置。

根据本发明的其他技术方案，提供一种模拟方法，由计算机执行，该模拟方法用于推定处理装置对对象物进行处理的系统的动作。模拟方法包括：

在三维假想空间内假想地构筑系统的步骤，

对包括作为被摄物体的对象物的至少一部分的输入图像进行图像测量处理的步骤，该输入图像与在三维假想空间内的规定部位预先设定的第一区域相关联，图像测量处理包括从输入图像中搜索与预先设定的一个或多个参照信息相对应的部分的处理，

基于图像测量处理的测量结果，执行用于生成针对处理装置的控制指令的控制运算的步骤，

基于控制指令的时间序列数据以及测量结果，将从输入图像中搜索的关于对象物的类别以及该对象物的朝向的信息与搜索的对象物的动作一同在系统上再现的步骤。

根据本发明的另一其他技术方案，提供一种模拟程序，用于推定处理装置对对象物进行处理的系统的动作。模拟程序在计算机中执行如下步骤：

在三维假想空间内假想地构筑系统的步骤，

对包括作为被摄物体的对象物的至少一部分的输入图像进行图像测量处理的步骤，该输入图像与在三维假想空间内的规定部位预先设定的第一区域相关联，图像测量处理包括从输入图像中搜索与预先设定的一个或多个参照信息相对应的部分的处理，

基于图像测量处理的测量结果，执行用于生成针对处理装置的控制指令的控制运算的步骤，

基于控制指令的时间序列数据以及测量结果，将从输入图像中搜索的关于对象物的类别以及该对象物的朝向的信息与搜索的对象物的动作一同在系统上再现的步骤。

根据本发明，既能够按照控制指令确认处理装置处理的对象物的位置以及朝向，又能够评价系统的动作，因此，一看就能够掌握系统的有效性。

附图说明

图1是表示本实施方式的模拟装置中的模拟的对象的系统结构例的示意图。

图2是用于说明使用了本实施方式的模拟装置的模拟方法的示意图。

图3是表示本实施方式的模拟装置的硬件结构的示意图。

图4是表示本实施方式的模拟装置的功能结构的示意图。

图5是表示本实施方式的模拟装置的功能结构的其他方式的示意图。

图6是表示使用了本实施方式的模拟装置的模拟的处理顺序的流程图。

图7A、7B是用于说明本实施方式的模拟装置中的图像测量处理的一个例子的示意图。

图8是用于说明本实施方式的模拟装置中的图像测量处理的测量结果的内容的示意图。

图9是表示本实施方式的模拟装置提供的再现模拟结果的用户界面画面的一个例子的图。

图10A、10B是用于说明本实施方式的模拟装置提供的用户设定模拟结果的显示方式的一个例子的示意图。

图11是用于说明本实施方式的模拟装置提供的用户设定模拟结果的显示方式的其他例子的示意图。

图12是用于说明本实施方式的模拟装置提供的用户设定模拟结果的显示方式的另一其他例子的示意图。

图13A、13B是表示本实施方式的模拟装置提供的在模拟结果中用于支援类别的确认的用户界面画面的一个例子的图。

图14A、14B是表示本实施方式的模拟装置提供的模拟结果中的工件的朝向的显示方式的一个例子的图。

图15A、15B是表示本实施方式的模拟装置提供的模拟结果中的工件的朝向的显示方式的其他例子的图。

图16是表示本实施方式的模拟装置提供的再现模拟结果的用户界面画面的其他例子的图。

其中，附图标记说明如下：

1、2 传送带追踪系统

100 模拟装置

102 处理器

104 主存储器

106 输入部

108 显示部

110 网络接口

112 光驱

114 光盘

116 通信接口

118 内部总线

120 硬盘

122 操作系统(OS)

124 模拟程序

130 测量结果存储部

140 图像数据群

150 视觉传感器模拟器

152 设定参数

160 控制模拟器

162 控制程序

170 再现模块

171 工件显示方式设定模块

172 三维设计数据

174 工件显示方式设定参数

180 用户界面模块

182 模型构筑模块

190 编码器模拟器

200 控制装置

202 网络

210、311、313 机械手

220 视觉传感器

221 拍摄区域

222 拍摄部

230、240 传送带

231、233、235 追踪区域

232 工件

234、244 驱动辊

236、246 编码器

250 对象

260 基准线

400、410、420 设定画面

402、412 下拉项

404、414 下拉菜单

406、416 颜色选择框

408 形状选择框

418 大小输入框

422 设定按钮

424 图像选择菜单

具体实施方式

一边参照附图，一边详细地说明本发明的实施方式。此外，对图中的同一或相当部分标注同一附图标记，并省略其说明。

<A.概要>

本实施方式的模拟装置用于推定系统的动作。更具体地说，本实施方式的模拟装置能够使用任意的输入图像来推定假想地构筑的系统的动作等。在本实施方式中，作为典型例，说明将处理装置对在运送路径上被运送的对象物进行处理的系统作为模拟对象的情况，但并不限定于此，也能够应用于任意的系统。

在下面的说明中，作为在运送路径上运送对象物的运送机的一个例子，采用一个或多个传送带，并且，作为对对象物进行处理的处理装置的一个例子，假想一个或多个机械手。但是，就运送机以及处理装置而言，并不限定于此，可以根据对象的系统合适地选择。在下面，也将对象物称为“工件”，作为工件，若是利用视觉传感器能够测量最终生成物或其一部分或者中间生成物或其一部分等的构件，可以是任何的构件。

首先，对本实施方式的模拟装置中的模拟的概要进行说明。

图1是表示本实施方式的模拟装置中的模拟对象的系统结构例的示意图。参照图1，作为一个例子，在传送带跟踪系统1中，若在传送带230上连续地被运送的工件232到达规定的跟踪区域231，则利用机械手210夹持跟踪区域231内的工件232并运送至传送带240，将其配置于传送带240上。利用这样的机械手210的夹持、运送、配置的一系列动作也称为“拾取和放置动作”。在该拾取和放置动作中，也存在如下情况，即，在机械手210夹持传送带230上的工件232后，进行使工件232旋转而沿预先设定的朝向对齐的处理。

就利用机械手210的拾取和放置动作而言，通过利用拍摄部222对设置于传送带230的一部分的拍摄区域221进行拍摄，并且视觉传感器220对由拍摄部222的拍摄所获取的输入图像进行图像匹配等的图像测量处理，来获取包括工件232的位置、类别、朝向等信息的测量结果。

控制装置200基于来自视觉传感器220的测量结果执行预先设定的控制逻辑，从而依次更新(即，跟踪)工件232的位置，并且生成针对机械手210的控制指令。典型地，作为控制装置200使用了可编程控制器(下面，称为“PLC”)。

在生成针对机械手210的控制指令时，控制装置200参照机械手210的状态值、来自与驱动传送带230的驱动辊234结合的编码器236的编码值(编码值1)以及来自与驱动传送带240的驱动辊244结合的编码器246的编码值(编码值2)。控制装置200以及视觉传感器220经由网络202可数据通信地连接，来自视觉传感器220的测量结果经由网络202向控制装置200传送。

在导入图1所示的传送带跟踪系统1时，存在事前想要评价处理能力(生产节拍等)以及处理精度等的需求。即，由于成本或时间的制约，不能实际制作传送带跟踪系统1来检讨其处理能力的情况较多。本实施方式的模拟装置是针对于想要更简单地推定这样的传送带跟踪系统1的动作的需求的装置。

更具体地说，本实施方式的模拟装置通过在三维假想空间内假想地构筑模拟对象的系统，并且使任意的输入图像与该假想地构筑的系统相融合，能够实现更加高效的模拟。

图2是用于说明使用了本实施方式的模拟装置的模拟方法的示意图。参照图2，模拟装置将模拟对象的传送带跟踪系统2整体模型化，并且，为了模拟拍摄部222的拍摄，可以将任意的输入图像赋予该系统模型。

作为赋予传送带跟踪系统1的系统模型的输入图像，利用能够表示设计上假想的标准(例如，工件232的移动速度或单位时间的个数等)的输入图像。典型地，假想使用由类似的生产线实际拍摄的输入图像。

作为用于模拟的输入图像，假想由现有的系统(例如，模拟对象的系统更新后的系统的情况的更新前的系统)拍摄的图像，但并不限定于此，也可以使用在任意的系统以及状况下所拍摄的图像。即，若包括关于模拟的对象物(典型地，为工件232)的时间变化的信息，则可以使用任何输入图像。

另外，作为输入图像，可以是动态图像数据，也可以是按时间序列排列的多个静态图像数据。而且，通过合适地调整动态图像数据的播放速度或多个静态图像数据的更新速度，也能够调整成为控制对象的对象物的时间变化(即，移动速度)。通过这样调整赋予系统模型的输入图像，也能够利用模拟来确定控制对象的时间变化的最佳值等。

而且，作为多个静止图像，不仅是实际连续地拍摄的图像，也可以通过将在不同场景所拍摄的多个图像合适地排列而变为随时间变化的数据来当作动态输入图像。在该情况下，在生成的多个图像之间不会产生重叠，而且事实上在实施模拟时也不存在这种问题。

在模拟包括这样的视觉传感器的系统时，存在想要评价视觉传感器对工件的测量结果和基于该测量结果的控制装置的动作等需求。就上述的拾取和放置动作而言，需要评价如下方面，即，通过针对输入图像的图像测量处理，能否正确地得到工件的信息(例如，工件的类别等)，或者，通过机械手的拾取和放置动作，工件的朝向能否正确地对齐。

因此，本实施方式的模拟装置100能够将由图像测量处理所获取的关于工件的类别以及该对象物的朝向的信息和工件的动作一同再现在系统上。下面，说明本实施方式的模拟装置100的详细。

<B.模拟装置的硬件结构>

接着，对本实施方式的模拟装置100的硬件结构进行说明。典型地，本实施方式的模拟装置100通过一个或多个计算机执行程序来实现。

图3是表示本实施方式的模拟装置100的硬件结构的示意图。参照图3，作为一个例子，模拟装置100包括以通用的计算机体系结构为标准构成的计算机。模拟装置100包括处理器102、主存储器104、输入部106、显示部108、网络接口110、硬盘(HDD：Hard Disk Drive)120、光驱112、通信接口116。上述部件经由内部总线118相互可通信地连接。

处理器102通过将存储于硬盘120的程序在主存储器104中展开执行，实现后述那样的功能以及处理。主存储器104由挥发性存储器构成，作为利用处理器102执行程序所必需的工件存储器发挥作用。

典型地，输入部106包括键盘、鼠标、触摸面板、触摸板等，接受来自用户的操作。显示部108包括显示器、指示器等，对用户提示各种信息。

网络接口110在与伺服装置等外部设备之间经由网络交换数据。光驱112从光盘114等读取存储于其中的各种程序，并安装于硬盘120。通信接口116包括例如USB(Universal Serial Bus)等通信接口，在与辅助存储装置等外部设备之间经由本地通信交换数据。

硬盘120为了作为操作系统(OS：Operating System)122以及模拟程序124等的模拟装置发挥作用，存储必要的程序，并且也存储用于模拟的预先获取的输入图像即图像数据群140。

图3示出了经由光驱112将必要的程序安装于模拟装置100的结构例，但并不限定于此，也可以从网络上的伺服装置等下载。

这样，在使用通用的计算机实现的情况下，除了用于提供本实施方式的功能的程序以外，还可以安装有用于提供计算机的基本功能的操作系统(OS：Operating System)。在该情况下，本实施方式的模拟程序也可以是如下程序，即，将作为OS的一部分所提供的程序模块中的必要的模块按照规定的顺序和/或时刻调出来执行处理。即，就本实施方式的程序而言，也存在不包括上述那样的模块而与OS协作来执行处理的情况。因此，作为本实施方式的程序也可以是不包括这样的一部分的模块的方式。

本实施方式的程序也可以是编入为其他程序的一部分的程序。在该情况下，程序自身不具有包含于上述那样组合的其他程序的模块，而是与该其他程序协作来执行处理。即，作为本实施方式的模拟程序，也可以是编入这样的其他程序的方式。

图3示出了由通用的计算机实现模拟装置100的例子，但并不限定于此，也可以使用专用电路(例如，ASIC(Application Specific Integrated Circuit)等)来实现其全部或一部分。而且，也可以由外部装置来承担一部分的处理。

图3示出了本实施方式的模拟装置100通过单一的装置安装的例子，但也可以是多个装置联合来实现模拟装置100。即，本实施方式的模拟装置100也可以包括由多个独立的装置的组合所构成的系统。

<C.模拟装置的功能结构>

接着，对本实施方式的模拟装置100的功能结构进行说明。

图4是表示本实施方式的模拟装置100的功能结构的示意图。参照图4，模拟装置100作为软件功能包括视觉传感器模拟器150、控制模拟器160、再现模块170、用户界面模块180、编码器模拟器190。典型地，上述功能模块群通过处理器102执行模拟程序124(均参照图3)来实现。

用户界面模块180提供关于设定参数152、控制程序162、三维设计数据172以及工件显示方式设定参数174的用于支援用户的设定、制作的操作画面等。另外，在利用再现模块170显示模拟结果时，用户界面模块180提供必要的用户界面。

用户界面模块180作为处理三维设计数据172的功能包括模型构筑模块182。模型构筑模块182在三维假想空间内假想地构筑模拟对象的系统。更具体地说，模型构筑模块182提供用于显示三维假想空间并且在该三维假想空间内构筑模拟对象的系统的设定及操作画面。

在本实施方式的模拟装置100中，典型地，在三维假想空间内假想地构筑包括运送机(作为典型例为传送带)的系统。并且，如图2所示，在与运送机(传送带)相关联的运送路径上的第一部位假想配置有视觉传感器220，并且在运送路径上的第二部位假想配置有控制装置200。另外，在系统模型内设定视觉传感器的拍摄区域。在图1以及图2所示的针对拾取和放置动作的系统模型中，也可以设定有夹持(拾取)工件的区域(追踪区域)和配置(放置)工件的区域。

视觉传感器模拟器150是模拟视觉传感器220中的处理的模块，针对包括被摄物体即工件的至少一部分的输入图像进行图像测量处理，该输入图像与预先设定于三维假想空间内的运送路径(传送带)上的拍摄区域相关联。更具体地说，视觉传感器模拟器150响应来自控制模拟器160的读取指令(作为典型例为触发信号)，读取预先获取的图像数据群140中的对象的图像数据，进行与视觉传感器220(参照图1以及图2)相对应的图像测量处理。典型地，由视觉传感器模拟器150所执行的图像测量处理包括从输入图像搜索与预先设定的一个或多个参照信息相对应的部分的处理。

由视觉传感器模拟器150中的图像测量处理所得的测量结果向控制模拟器160输出。即，执行相当于图1所示的传送带跟踪系统中的经由网络202从视觉传感器220向控制装置200传送测量结果的处理。在此，视觉传感器模拟器150中的图像测量处理按照预先设定的设定参数152执行。

控制模拟器160基于视觉传感器模拟器150的测量结果，执行生成针对处理装置的一个例子即机械手的控制指令的控制运算。控制模拟器160是模拟控制装置200(参照图1以及图2)中的处理的模块，该控制模拟器160按照预先制作的控制程序162，执行控制运算(顺序指令、动作指令、各种功能指令等)。包括控制模拟器160中的控制运算的输入及输出的跟踪数据向再现模块170输出。

跟踪数据包括控制模拟器160输出的针对机械手的控制指令的时间序列数据和视觉传感器模拟器150的测量结果。

由控制模拟器160所执行的控制运算包括用于对视觉传感器模拟器150生成图像数据的读取指令(触发信号)的处理。即，在满足预先设定的条件时，控制模拟器160产生触发信号。预先设定的条件能够使用例如传送带移动了规定距离或预先设定的周期已到来等。如后面所述，传送带的移动距离等基于编码器模拟器190产生的信息等被检测。

再现模块170基于由控制模拟器160输出的跟踪数据(包括针对机械手的控制指令的时间序列数据和视觉传感器模拟器150的测量结果)，使从输入图像搜索的关于工件的类别以及该工件的朝向的信息和该被搜索的工件的动作一同再现在系统上。更具体地说，再现模块170基于定义文件即三维设计数据172，使在三维假想空间内假想地构筑的系统视觉化，并且，基于来自控制模拟器160的跟踪数据，再现系统中的工件以及机械手的时间变化等。

再现模块170包括工件显示方式设定模块171。工件显示方式设定模块171基于工件显示方式设定参数174，确定再现的工件的显示方式等。更具体地说，工件显示方式设定模块171按照工件显示方式设定参数174，设定和变更在三维假想空间内显示的工件的颜色、形状、大小、朝向等。赋予再现的工件的信息的详细在后面叙述。

这样，再现模块170将模拟结果的时间变化以动画的状态表现在模拟装置100的显示部108(图3)上。

在图4所示的功能结构中，控制模拟器160输出跟踪数据，该跟踪数据包括由控制模拟器160输出的针对机械手的控制指令的时间序列数据和视觉传感器模拟器150的测量结果，但并不限定于此，再现模块170也可以合成这些数据来再现系统的动作。

图5是表示本实施方式的模拟装置100的功能结构的其他方式的示意图。图5所示的模拟装置100作为软件功能，除了包括图4所示的功能模块以外，还包括测量结果存储部130。测量结果存储部130将由视觉传感器模拟器150中的图像测量处理所得的测量结果与编码值相对应地依次存储。此外，除了测量结果以及编码值以外，也可以存储成为该图像测量处理的对象的输入图像。

再现模块170通过将基于存储于测量结果存储部130的各个测量结果的工件，基于与上述工件相对应的编码值显示在三维假想空间内，再现系统中的工件以及机械手的时间变化。

通过采用图5所示的功能结构，例如，在再现工件的动作时，也能够将用于图像测量处理的输入图像一并显示。

在上述的图4以及图5中，示出了使用由控制模拟器160输出的跟踪数据再现再现模块170所构筑的系统的动作的结构例，但未必需要在模拟装置100内安装再现模块170。例如，也可以将由控制模拟器160输出的跟踪数据向外部装置或外部应用系统输出，由该外部装置或外部应用系统再现系统的动作。或者，再现模块170也可以只生成用于再现系统的动作的动态图像数据并将其存储于任意的存储介质，由其他应用播放该动态图像数据。

编码器模拟器190生成表示该运送机的位置或位移的信息，该信息与运送机的移动相关联。作为一个例子，编码器模拟器190也可以输出表示距基准位置的位移量的编码值，也可以产生与运送机(传送带)的每单位时间的移动量成比例的脉冲。即，编码值表示传送带的位置，每单位时间的脉冲数表示传送带的速度。

<D.处理顺序>

接着，对使用了本实施方式的模拟装置100的模拟的处理顺序进行说明

图6是表示使用了本实施方式的模拟装置100的模拟的处理顺序的流程图。参照图6，首先，模拟装置100接受系统模型的设定(步骤S2)。系统模型的设定包括构成系统的各装置的配置位置、运送机即传送带的移动速度等的设定。模拟装置100(模型构筑模块182)基于系统模型的设定，在三维假想空间内假想地构筑模拟对象的系统(系统模型)。

模拟装置100(用户界面模块180)接受在系统模型内设定的视觉传感器的拍摄区域(步骤S4)。于是，基于构筑的系统和设定的拍摄区域之间的相对位置关系，能够计算出用于将测量结果变换为控制运算的输入值的变化参数即校准参数。

接着，模拟装置100(用户界面模块180)接受用于控制系统模型的控制程序(步骤S6)。该控制程序是与系统相关联的程序，由控制模拟器160执行。

模拟装置100(用户界面模块180)接受应由视觉传感器模拟器150执行的图像测量处理的内容设定(步骤S8)。作为设定的内容，包括图像测量处理的处理内容的指定和与被指定的处理内容相对应的参照信息(模型图像、由模型图像计算出的特征量等)。

通过上面那样的顺序，完成用于进行模拟的设定。

在指示开始模拟时，模拟装置100(编码器模拟器190)按照所指定的时间间隔，更新表示假想地配置的传送带的位置或移动量的编码值(步骤S10)。模拟装置100(控制模拟器160)判断是否满足产生触发信号的条件(步骤S12)。若满足产生触发信号的条件(在步骤S12中为YES的情况下)，则假想地产生触发信号(步骤S14)。若不满足产生触发信号的条件(在步骤S12中为NO的情况下)，则跳过步骤S14的处理。

响应触发信号的产生，模拟装置100(视觉传感器模拟器150)读取预先获取的图像数据群中的对象的图像数据(步骤S100)，执行图像测量处理(步骤S102)。模拟装置100(视觉传感器模拟器150)在执行图像测量处理后，输出测量结果(步骤S104)。所述步骤S100～S106的处理和控制模拟器160中的处理独立地执行。

接着，模拟装置100(控制模拟器160)判断图像测量处理的测量结果是否被更新(步骤S16)。即，判断是否从视觉传感器模拟器150接收了新的测量结果。若图像测量处理的测量结果被更新(在步骤S16中为YES的情况下)，则模拟装置100(控制模拟器160)基于该更新的图像测量处理的测量结果执行控制运算(步骤S18)。若图像测量处理的测量结果未被更新(在步骤S16中为NO的情况下)，则跳过步骤S18的处理。

模拟装置100(控制模拟器160)将由该控制运算的执行所计算出的各个值与时间信息即编码值相关联地存储(步骤S20)。

模拟装置100判断预先设定的模拟期间是否已满(步骤S22)。若预先设定的模拟期间未满(在步骤S22中为NO的情况下)，则反复进行步骤S10以下的处理。

相对于此，若预先设定的模拟期间已满(在步骤S22中为YES的情况下)，则模拟装置100使用在步骤S20中依次存储的跟踪数据再现系统模型的动作(步骤S24)。

模拟装置100根据用户操作来变更在再现系统模型的动作时所使用的工件的显示方式的设定(在步骤S26中为YES的情况下)，并按照设定的工件的显示方式再现系统模型的动作(步骤S24)。

另外，模拟装置100能够根据用户操作，合适地变更再现的系统模型的动作的时间间隔以及更新间隔等。

通过上面那样的处理顺序，能够事前评价系统模型中的处理能力(生产节拍等)以及处理精度等。

<E.图像测量处理>

接着，在本实施方式的模拟装置中假想的图像测量处理包括从输入图像搜索与预先设定的一个或多个参照信息相对应的部分的处理。对这样的图像测量处理的一个例子进行说明。但是，作为图像测量处理并不限定于下面所例示的处理，能够使用各种各样的图像测量处理。

图7是用于说明本实施方式的模拟装置100中的图像测量处理的一个例子的示意图。图7A表示适用于判断工件的类别的处理，图7B表示适用于判断工件的良否的处理。

参照图7A，例如，作为预先设定的参照信息，登录将想要识别的各工件作为被摄物体所拍摄的多个模型图像，并依次计算出依次拍摄运送路径上的工件所得的输入图像与该登录的多个模型图像之间的对应程度(典型地，为相关值)。并且，从与计算出的与各个模型图像之间的相关值中的超过预先设定的阈值且确定为最高的相关值相对应的模型图像来确定工件的类别。

这样，工件的类别包括表示预先设定的多个模型图像(参照信息)中的与工件的对应程度最确切的信息。此外，作为参照信息，可以使用拍摄样品工件所得的输入图像，也可以使用从输入图像提取特征量(例如，边缘量等)的特征图像。

通过采用这样的图像测量处理，即使是在传送带上掺杂多个类别的工件被运送的系统，也能够判别各工件是哪个类别。

参照图7B，例如，作为预先设定的参照信息，登录将合格品的工件作为被摄物体所拍摄的模型图像，并计算出依次拍摄运送路径上的工件所得的输入图像与该预先登录的多个模型图像之间的对应程度(典型地，为相关值)。并且，若计算出的与各个模型图像之间的相关值超过预先设定的阈值，则能够判断为对象的工件为合格品，若计算出的与各个模型图像之间的相关值未超过预先设定的阈值，则能够判断为对象的工件为不合格品。

这样，工件的类别包括工件与预先设定的模型图像(参照信息)之间的对应程度是否满足预先设定的条件的信息。此外，作为参照信息，可以使用拍摄样品工件所得的输入图像，也可以使用从输入图像提取特征量(例如，边缘量等)的特征图像。

通过采用这样的图像测量处理，在传送带上运送多个工件的系统中，能够进行针对各工件的合格品判断。

图8是用于说明本实施方式的模拟装置100中的图像测量处理的测量结果的内容的示意图。图8是表示使用预先设定的模型图像与输入图像的图像匹配的例子。

在图8中，判断为输入图像内的对象与模型图像相对应，作为测量结果，输出(x，y，θ，类别/良否/相关值)。即，典型地，图像测量处理的测量结果包括：(1)表示输入图像内的被搜索的部分(对象)的中心位置的坐标值(x，y)、(2)输入图像内的被搜索的部分与模型图像的旋转角θ、(3)输入图像内匹配的模型图像的类别。旋转角θ相当于包含于输入图像的与任一模型图像(参照信息)相对应的部分的旋转角。

如上所述，取代表示工件与任一模型图像是否一致的类别，也可以包括与规定的模型图像的对应程度是否(良否)满足预先设定的条件(阈值)或表示与规定的模型图像的对应程度的值(相关值)。

模拟控制装置200中的处理的控制模拟器160(参照图4以及图5)在将来自模拟视觉传感器220中的处理的视觉传感器模拟器150(参照图4以及图5)的图8所示的测量结果变换为系统模型中的坐标系的坐标的基础上，生成控制指令。此时，基于各工件的被检测出的旋转角，也生成用于实施必要的处理(例如，用于使各工件的朝向对齐的处理)的控制指令。

<F.模拟结果的再现中的工件的显示位置>

接着，对再现本实施方式的模拟装置100的系统模型的动作时的工件位置的计算处理进行说明。具体地说，模拟装置100(再现模块170)基于表示运送工件的传送带的位置或位移的信息，依次更新三维假想空间内的工件的显示位置。

如参照图8的说明，图像测量处理的测量结果包括表示输入图像内的被搜索的部分(对象)的中心位置的坐标值(x，y)。该坐标值(x，y)是图像测量处理所使用的局部坐标系的值，需要变换为三维假想空间内的坐标值。

具体地说，模拟装置100使用用于将图像测量处理所使用的输入图像所设定的摄像头坐标系的坐标(x，y)变换为定义三维假想空间的世界坐标系的坐标(X，Y)的变换系数A～F，以如下方式从由视觉传感器模拟器150检测出的工件的坐标值(x，y)计算出输入至控制模拟器160时的初始显示位置。

工件的初始显示位置X0＝A×x+B×y+C

工件的初始显示位置X0＝D×x+E×y+F

编码值的位移量Et中的工件的显示位置能够使用编码值的每个脉冲的传送带的X轴方向的移动量Xd以及Y轴方向的移动量Yd，以下如下方式计算出。

工件的显示位置(X)＝Xd×Et+X0

工件的显示位置(Y)＝Yd×Et+Y0

此外，在使用编码值的绝对值的情况下，也能够将距各工件被初始显示的时刻的编码值的偏差适用于上面的计算式。

模拟装置100按照这样的计算式依次更新各工件的显示位置。

<G.模拟结果的视觉化>

接着，对使本实施方式的模拟装置100的系统模型的动作视觉化的处理进行说明。在本实施方式中，由图像测量处理所搜索的关于工件的类别以及该工件的朝向的信息和该工件的动作一同在系统模型上再现。

图9是表示本实施方式的模拟装置100提供的再现模拟结果的用户界面画面的一个例子的图。就图9所示的用户界面画面而言，能够从任意的方向渲染三维假想空间内的对象。即，用户界面画面所描绘的视点可以由用户任意地变更。

在图9所示的系统模型中，运送被夹持(拾取)的工件的传送带230和运送被配置(放置)的工件的传送带240并列配置。并且，配置两个机械手311以及313，所述机械手311以及313与传送带230以及传送带240相对应。在该系统模型中，工件232被传送带230从纸面左侧向纸面右侧运送。若工件232到达预先设定的跟踪区域231或跟踪区域233，则各个机械手311或机械手313夹持已到达的工件232，并将该工件配置(放置)于传送带240。机械手311以及机械手313分别将工件232配置于设定的跟踪区域235以及237，所述跟踪区域235以及237与传送带240相关联。传送带230运送的工件232朝向随机方向，但在配置于传送带240的情况下，使所述工件232在预定的方向上对齐。

另外，作为应用系统的一个例子，在传送带230上存在至少两个种类的工件232。机械手311控制为拾取和放置某个规定的类别的工件，机械手313控制为拾取和放置另一类别的工件。也存在工件的形状因类别而不同的情况，在这样的情况下，优选专用安装有分别适用于各类别的工件的机械手工具的机械手。

对各个工件232赋予关于工件的类别以及工件的朝向的信息。

在图9所示的用户界面画面中，工件232的类别能够使用赋予工件232的外观的颜色来识别。即，赋予机械手311拾取和放置的工件232的外观的颜色和赋予机械手313拾取和放置的工件232的外观的颜色相互不同。如上所述，工件的类别除了表示对象的工件与任一模型图像是否相对应的信息以外，还存在表示工件的良否的情况。在该情况下，例如，在判断为合格品的工件和判断为不合格品的工件之间，也可以使赋予外观的颜色不同。

另外，作为关于工件232的朝向的信息，表示包含于测量结果的旋转角的两个坐标轴320被赋予工件232。坐标轴320表示以在设定于传送带230的一部分的拍摄区域221所设定的坐标原点为基准的由图像测量处理所测量的工件232的旋转角。即，使上述的图8所示的旋转角θ变换为定义系统模型的坐标系来表示，相当于一种局部坐标。

通过使用这样的坐标轴320来表示工件232的朝向，用户能够评价控制机械手的控制程序是否正确地运行。另外，通过使用坐标轴320来表示工件232的朝向，能够表示360°范围的旋转，因此，能够可识别地表示例如立方体形状的工件232与模型图像的朝向是否一致(旋转角＝0°)或者是否完全反转(旋转角＝180°)。

在图9所示的用户界面画面中，基于两个机械手311以及313的设计信息等，也可以一并显示机械手311以及313自身可移动的移动区域312以及314。通过显示这样的移动区域312以及314，就相邻配置的机械手之间的间隔而言，能够事前检讨最合适的设计。

而且，由于也显示在传送带230上设定的追踪区域231以及233和在传送带240上设定的追踪区域235以及237，因此，能够视觉地掌握机械手311以及313的可移动区域(能够夹持和配置工件的范围)。

在图9所示的用户界面画面中，在再现工件的动作的情况下，在利用视觉传感器模拟器150测量任一工件的时刻(使用表示模拟中所用的传送带230的移动量的编码值进行确定)使工件出现，并且伴随着编码值的更新(增加)，更新出现的工件的显示位置。并且，就由机械手夹持而配置于传送带240的工件而言，基于表示传送带240的移动量的编码值依次更新该工件的显示位置。若变为工件的显示位置表示传送带240的区域外的值，即到传送带240的终端，则不显示该工件。

在上述的图9中，对再现本实施方式的模拟的用户界面画面的一个例子进行了说明，但就关于工件的类别以及该工件的朝向的信息的显示方式而言，如下面的说明，能够采用各种显示方式以及设定方法。

(g1：工件的类别的显示方式)

本实施方式的模拟装置100(再现模块170)针对工件的每个类别，使颜色、形状、大小中至少一个不同进行显示。在图9中，采用了使用颜色来识别工件的类别的显示方式，但是，例如，除了颜色以外或取代颜色，也可以使用与各类别相对应的形状的对象来表示工件。

图10是用于说明本实施方式的模拟装置100提供的用户设定模拟结果的显示方式的一个例子的示意图。例如，通过提供图10A所示的设定画面400，也可以任意地设定在再现模拟结果时所使用的工件的显示方式。这样，模拟装置100也可以具有用户界面模块180(输入机构)，该用户界面模块180接受用于工件的每个类别的显示的颜色、形状、大小中至少一个的设定。

在设定画面400中设置有下拉项402，该下拉项402针对工件的每个类别设定有显示方式，通过下拉项402的选择，显示出下拉菜单404。

下拉菜单404包括用于选择显示对象的工件时的颜色的颜色选择框406和用于选择显示对象的工件时的形状的形状选择框408。用户可选择颜色选择框406所列出的候选颜色中的任意候选颜色，并且可选择形状选择框408所列出的候选形状中的任意候选形状。这样，用户能够针对想要再现动作的工件的每个类别，任意地选择用于显示的颜色以及形状。

这样，通过指定颜色以及形状，以图10B所示的显示方式再现模拟结果。

或者，用户也可以任意地设定工件大小。图11是用于说明本实施方式的模拟装置100提供的用户设定模拟结果的显示方式的其他例子的示意图。在图11所示的设定画面410中，通过用户选择下拉项412，显示出下拉菜单414。

下拉菜单414包括用于选择表示对象的工件时的颜色的颜色选择框416和分别能够设定对象的工件的大小(纵向宽度、横向宽度、高度)的大小输入框418。用户可选择颜色选择框416所列出的候选颜色中的任意候选颜色，并且在大小输入框418可设定用于显示的工件的大小。

优选地，在大小输入框418内直接能够输入实际的工件的大小。在该情况下，由于将实际的大小赋予在三维空间内假想地构筑的系统模型，因此，按照由系统模型的大小所计算出的换算参数，针对工件也以相对应的大小来表示。

这样，由于能够任意地设定工件的大小，因此，根据模拟对象的应用系统，能够以更接近实际的方式确认模拟结果。

而且，用户也可以任意地设定用于工件的再现的图像。图12是用于说明本实施方式的模拟装置100提供的用户设定模拟结果的显示方式的另一其他例子的示意图。在图12所示的设定画面420中，通过用户选择设定按钮422来显示图像选择菜单424。

图像选择菜单424将在显示对象的工件时使用的图像和文件名426一起列表显示，用户可选择列出的文件名426中的任意图像文件。若用户选择OK按钮428，则使已选择的图像文件的选择有效化。由此，各类别的工件使用包含于被指定的图像文件的图像进行再现。

这样，由于能够任意地设定用于工件的显示的图像，因此，根据模拟对象的应用系统，能够以更接近实际的方式确认模拟结果。

此外，在模拟结果的再现中，优选一看就能够掌握赋予各工件的表示类别的信息是表示哪个类别。

图13是表示本实施方式的模拟装置100提供的在模拟结果中用于支援类别的确认的用户界面画面的一个例子的图。

在图13A所示的用户界面画面中，一并显示表示赋予工件232的颜色意味着哪个类别的凡例340。用户通过参照凡例340所显示的内容，一看就能够掌握工件232是哪个类别。

在图13B所示的用户界面画面中，对各工件232赋予“类别1”、“类别2”这样的标签342，所述“类别1”、“类别2”与各工件相关联。用户通过参照标签342的内容，一看就能够掌握工件232是哪个类别。

并不限定于图13所示的显示例，也可以采用用户一看就能够掌握工件的类别的支援显示。也可以将上述的显示例中的多个合适地组合。

(g2：工件的朝向的显示方式)

本实施方式的模拟装置100(再现模块170)基于包含于测量结果的旋转角，生成关于工件的朝向的信息。在图9中，作为表示工件的朝向的对象，采用了使用两个坐标轴320表示工件的朝向的显示方式，但也可以采用其他显示方式。

图14是表示本实施方式的模拟装置100提供的模拟结果中的工件的朝向的显示方式的一个例子的图。

在图14A所示的显示例中，表示基准方向的标记360赋予工件232。作为基准方向，例如，针对相对应的模型图像能够确定为旋转角变为0的方向。参照图8，将与预先设定的模型图像一致的方向设定为基准方向，标记360与设定的基准方向相对应的工件232中的部分相关联。通过这样的标记360，用户一看就能够掌握各个工件232朝向哪个方向。

在图14B所示的显示例中，除了坐标轴320以外，还赋予表示工件232的旋转角的标签362。各个标签362表示相对应的工件232所朝方向的角度。在图14B中示出了附加有坐标轴320与标签362的显示例，但也可以只显示标签362。

这样，也可以将表示工件的朝向的对象(坐标轴320、标记360或标签362)附加于工件来显示。

或者，也可以将用于显示的工件的形状与工件的朝向相关联。图15是表示本实施方式的模拟装置100提供的模拟结果中的工件的朝向的显示方式的其他例子的图。

图15A所示的显示例是与工件232的基准方向相对应的区域和其他区域不同的显示方式。更具体地说，对与工件232的基准方向相对应的区域(在图15A所示的显示例中为棱柱的一边)364赋予与其他区域不同的颜色。通过该区域364的显示方式，用户一看就能够掌握各个工件232朝向哪个方向。

在图15A中，使棱柱的一边的显示方式与其他区域不同，但并不限定于此，例如，也可以是棱柱的规定面的显示方式与其他区域不同。

在图15B所示的显示例中，与工件232的基准方向对应的区域的形状与其他区域的形状不同。更具体地说，与工件232的基准方向相对应的区域(在图15B所示的显示例中为棱柱的一角)366进行“倒角”。通过该区域366的形状，用户一看就能够掌握各个工件232朝向哪个方向。此外，也可以使被倒角的区域366的表面的颜色与其他区域不同。

这样，也可以对再现的工件的外观附加特征(区域364或区域366)来显示，该特征与工件的朝向相对应。

并不限定于图14以及图15所示的显示例，也可以采用用户一看就能够掌握工件的朝向的任意的显示方式。也可以使上述的显示例中的多个合适地组合。

(g3：附加的对象)

在上述的说明中，对由图像测量处理从输入图像搜索的工件的显示方式进行了说明，但通过显示工件和附加的对象，能够进行更接近实际的应用系统的模拟。在下面，对再现附加的对象和模拟结果的一个例子进行说明。

例如，作为拾取和放置动作的应用系统，假想装箱操作那样的将一个或多个工件配置于箱内的处理。在该情况下，优选将装入工件的箱子显示在三维假想空间内。而且，就这样的箱子而言，由于被传送带运送，因此，通过使这样的动作视觉化，能够事前评价传送带以及机械手是否按照设计进行动作。

图16是表示本实施方式的模拟装置100提供的再现模拟结果的用户界面画面的其他例子的图。参照图16，在传送带240上沿着用户预先设定的间隔显示多条基准线260。显示的基准线260的间隔基于例如要求的标准(生产节拍等)被预先设定。基于该设定，在再现模拟结果时，在传送带240上重叠显示基准线260。

例如，在拾取和放置动作中，基准线260能够用于表示确定工件的配置位置的基准。用户能够评价传送带240上的各工件232是否正确地配置在与基准线260相对应的位置。

也可以代替基准线260或将基准线260和相当于在实际的应用系统所使用的箱子的对象250一起显示。就对象250的显示位置或显示间隔而言，与基准线260相同，用户也能够预先设定。而且，就对象250的形状等而言，用户也能够预先任意地设定。与参照上述的图10～图12说明的工件的外观的设定方法相同，也能够对对象250设定任意的形状、颜色、大小。而且，也可以利用透明或半透明的方式来显示对象250，使得用户一看就能够掌握对象250与工件232之间的位置关系。

如图16所示，通过假想地显示工件232和附加的对象250和/或基准线260，能够视觉地评价针对工件的处理是否按设计进行动作。

<H.变形例>

在上述的实施方式中，作为典型例，例示了将在运送路径上被运送的对象物作为对象的情况，但也能够适用于下面那样的其他系统。

例如，在对工件进行多个工序的情况下，采用多个机械手并排联合来进行必要的动作的结构或人与机械手联合来进行必要的动作的结构。在这样的结构中，为了在工序间交接工件，在工序的上游侧的机械手或人与工序的下游侧的机械手之间，设置有共同操作区域。在共同操作区域不是传送带那样的运送机，而是只具有缓冲工件的功能。就在这样的共同操作区域设定视觉传感器的拍摄区域的系统而言，通过按照上述那样的处理顺序在三维假想空间内假想地构筑对象的系统，能够视觉地评价针对工件的处理是否按设计进行动作。

<I.利点>

根据本实施方式的模拟装置100，就处理工件的系统而言，既能够按照控制指令确认机械手等的处理装置处理的工件的位置以及朝向，又能够评价系统的整体的动作，因此，一看就能够掌握检讨对象的系统的有效性。

本次公开的实施方式在所有方面均为例示，并不用于限制。本发明的范围不是由上述说明而是由权利要求的范围示出，旨在包含与权利要求的范围均等的含义以及范围内的全部变更。