控制装置及其控制方法和工业自动化系统与流程

本发明涉及用于处理由摄像设备拍摄的图像的控制装置、控制方法、工业自动化系统、程序以及存储介质。

背景技术：

存在如下的控制装置和包括该控制装置的工业自动化系统，其中该控制装置用于从诸如照相机等的摄像设备获得包含对象(工件)的区域的图像，并且用于通过使用与基于图像获得的工件的位置有关的信息来控制诸如机器人臂等的装置的操作。控制装置对从照相机获得的图像进行分析处理，以判断在要被摄像的对象的区域中是否发生错误，并且例如基于判断结果来进行用于记录图像的处理。

在一些情况下，将这样的控制装置连接到摄像设备，以在多个视点处获得图像。

日本特开2007-19697公开了一种图像分析系统，该图像分析系统包括照相机、用于分析由照相机拍摄的图像的预分析装置、以及用于基于预分析装置的分析结果来分析图像的服务器(后分析装置)。

技术实现要素：

本发明提供连接到对所获得的图像进行第一处理的各个摄像设备的控制装置。控制装置包括：获得单元，用于从摄像设备各自获得与第一处理的结果有关的信息；以及处理单元，用于在第一处理的结果满足第一条件的情况下，进行用于判断从摄像设备各自获得的图像是否满足第二条件的第二处理。

根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是包括控制装置的工业自动化系统的第一结构图。

图2是示出各个照相机的功能块的框图。

图3是示出控制装置的功能块的框图。

图4a和图4b示出各个照相机的操作的流程图。

图5a至图5f示出由照相机获得的图像的第一示意图。

图6是示出用于设置控制装置的操作的gui的示意图。

图7是控制装置的整体操作的第一流程图。

图8a和图8b示出控制装置的处理的流程图。

图9是示出在判断结果是错误状态的情况下在显示装置上显示的图像的示意图。

图10a和图10b示出用于设置控制装置的判断处理和基本操作的gui的示意图。

图11是示出事件检测结果和反应优先程度彼此相关联的表的示意图。

图12是示出由照相机其中之一获得的事件检测结果的日志的第一示意图。

图13是示出由照相机其中之一获得的事件检测结果的日志的第二示意图。

图14是示出工业自动化系统的结构的第二结构图。

图15a和图15b示出控制装置的整体操作的第二流程图。

图16a和图16b示出由照相机获得的图像的第二示意图。

具体实施方式

下文将参考附图描述本发明的实施例。本发明的技术范围由权利要求书的范围确定，并且不受以下通过示例描述的实施例的限制。将根据实施例描述的特征的所有组合对于本发明来说不是必需的。说明书和附图中的内容是示例，并且不限制本发明。可以基于本发明的精神进行各种变形，并且各种变形没有被排除在本发明的范围之外。即，本发明包括实施例和变形例的特征的所有组合。

第一实施例

根据第一实施例的工业自动化系统包括摄像设备和控制装置。各个摄像设备进行检测处理，其中在该检测处理中，对所设置的区域进行摄像以获得图像，并且基于图像来判断是否发生预定事件以检测该事件。控制装置从用于检测预定事件的摄像设备获得图像，并且进行用于分析所获得的图像的处理，以进行用于判断是否发生错误状态的判断处理。如果判断结果是错误状态，则控制装置进行预定错误应对(例外应对处理)。错误状态的示例包括堆叠在工作台的工件倒塌的状态以及第三者进入机器人臂的工作空间附近的状态。

因此，不需要控制装置总是进行用于对由摄像设备获得的图像判断错误状态的图像分析处理，并且可以减少控制装置的负荷。

图1是包括控制装置102的工业自动化系统的结构图。工业自动化系统包括照相机101、控制装置102、机器人臂103、显示装置104和鼠标105。

工业自动化系统还包括用于处理从控制装置102输出的信息的外部服务器106。工业自动化系统的控制装置102基于从照相机101获得的图像来控制机器人臂103的操作。根据第一实施例的工业自动化系统基于由照相机101拍摄的图像来控制机器人臂103，以执行用于在工作台109上堆叠被堆叠在工作台107上的工件(对象)108的工作(基本操作)。

各个照相机101是对对象进行摄像以获得图像(拍摄图像)的摄像设备。根据本实施例，工业自动化系统包括照相机101a、101b和101c。照相机101a对包含工作台107和工作台107上的工件108的区域进行摄像以获得图像。照相机101b对包含机器人臂103的区域进行摄像以获得图像。照相机101c对包含工作台109和工作台109上的工件108的区域进行摄像以获得图像。在以下描述中，当将照相机称为照相机101a、101b和101c时，区分具有不同摄像区域的照相机。当将照相机称为照相机101时，将描述所有照相机共通的内容。

控制装置102控制工业自动化系统的装置。稍后将详细描述控制装置102。

机器人臂103响应于来自控制装置102的指示而操作。机器人臂103包含机器人控制装置，并且从外部接收控制指示以控制轴或手的操作。响应于例如从控制装置102发送的坐标位置或操作命令来控制机器人臂103的操作。

控制装置102可以容纳在与容纳机器人臂103的壳体相同的壳体中。在机器人臂103是响应于控制装置102的指示而操作的装置的情况下，机器人臂103可以是诸如带式输送机等的输送装置或诸如检查装置等的装置。包括在工业自动化系统中的装置可以包括除上述装置之外的组件。可以包括具有卤素灯或发光二极管灯的照明设备或者外部存储装置。

显示装置104是连接到控制装置102并显示用于设置控制装置102的操作的图形用户界面(gui)的监视器。

鼠标105是操作输入装置，通过该操作输入装置将用户指示输入到控制装置102中。用户使用鼠标105向在显示装置104上显示的gui输入操作。这使得能够指示系统操作的开始或终止。用户使用鼠标105来操作在显示装置104上显示的gui。这使得用户能够设置控制装置102的操作流程。操作输入装置不限于鼠标105，而可以是键盘、设置在显示装置104的屏幕上以检测触摸操作的触摸装置、或语音输入装置。

服务器106是用于处理从控制装置102获得的信息的信息处理设备。服务器106将从控制装置102输入的视频信号记录在该服务器包含的记录介质上。服务器106可以在从控制装置102获得表示系统中发生错误的信息的情况下记录发生时间和日志。服务器106可以在从控制装置102获得表示系统中发生错误的信息的情况下发出警报。

图2是示出各个照相机101的功能块的框图。各个照相机101包括摄像部201、cpu202、存储器203、存储介质204和i/f部205。

摄像部201是包括摄像透镜、透镜驱动系统、传感器和图像处理芯片的摄像单元。

cpu202是运行存储器203中存储的程序以使照相机101中的相应照相机操作的处理器。cpu202可以包括处理器。由cpu202进行的功能的一部分可以由一个或多个电子电路进行。

cpu202设置摄像部201的摄像条件，指示摄像部201摄像，并且控制摄像部201的摄像处理。cpu202使存储器203或存储介质204存储所获得的拍摄图像。cpu202进行用于对所获得的拍摄图像检测预定事件的处理(事件检测处理)。

存储器203存储由cpu202运行的程序。存储器203的示例是rom。存储器203可以是诸如ram、eprom或eeprom等的其它非易失性存储装置，并且可以包括多个存储器。存储介质204记录拍摄图像。

i/f部205是连接到控制装置102并将图像和事件检测结果输出到控制装置102的接口。i/f部205从控制装置102接收与摄像指示和摄像条件有关的信息。

各个照相机101经由i/f部205将所获得的图像发送到控制装置102。各个照相机101的cpu202进行用于从所获得的图像检测事件的事件检测处理。cpu202使存储器203存储与在事件检测处理中获得的结果有关的信息。

各个照相机101具有用于改变诸如白平衡、摄像角度(平摇/倾斜)、变焦倍率、焦距、光圈和信号放大因子等的摄像条件(摄像参数)的机构。各个照相机101可以响应于来自控制装置102的指示改变摄像条件。

图3是示出控制装置102的功能块的框图。控制装置102包括i/f部301、cpu302、存储器303和hdd304。

各个i/f部301是连接到系统中包括的其它装置并且响应于cpu302的指示发送和接收信息的接口。控制装置102包括i/f部301。

i/f部301a至301c分别连接到照相机101a至101c，并且从照相机101a至101c接收图像和与由照相机101a至101c进行的处理的结果有关的信息。i/f部301a至301c向照相机101a至101c发送用于开始摄像的指示、用于终止摄像的指示和用于改变摄像条件的指示。

i/f部301d连接到机器人臂103并且向机器人臂103发送控制指示。i/f部301d接收与机器人臂103的控制有关的信息(诸如与机器人臂103的操作完成有关的信息)。

i/f部301e连接到服务器106并且向服务器106发送图像和错误发生信号。

i/f部301f连接到显示装置104并且向显示装置104发送视频信号。

i/f部301g连接到鼠标105并且接收操作信号。

i/f部301是基于适于与外部装置通信的标准。例如，包括网络接口或串行通信接口。

cpu302是运行存储器303中存储的程序以进行稍后描述的控制装置102的操作的处理器。cpu302可以包括多个处理器。稍后描述的控制装置102的控制的一部分或全部可以由一个或多个电子电路进行。

存储器303是用于存储cpu302进行控制装置102的处理所利用的参数和软件的存储介质。存储器303存储用于提供图像处理的软件、图像处理库、图像处理设置和i/o例程中的一个或多个。cpu302使用用于图像处理的软件来进行稍后描述的错误判断处理。

存储器303的示例是rom。存储器303可以是诸如ram、eprom或eeprom等的其它非易失性存储装置。存储器303可以包括存储介质。

图4a和图4b示出各个照相机101的操作的流程图。

在s401中，cpu202设置对用于进行事件检测处理的图像进行摄像的摄像条件。将摄像条件存储在存储器203中，并且在摄像条件中预先设置例如用于事件检测处理的最佳平摇、倾斜和变焦。cpu202从存储器203读取摄像条件，以在摄像部201中设置该摄像条件。

在s402中，cpu202将开始摄像的指示输出到摄像部201以获得图像(拍摄图像)。根据本实施例，由各个照相机101获得的图像是运动图像。

在s403中，cpu202对所获得的拍摄图像进行事件检测处理。

在s404中，cpu202使存储介质204存储事件检测结果和获得在事件检测处理中所使用的图像的时间。

在s405中，cpu202使存储介质204存储拍摄图像。

在s406中，cpu202判断是否从控制装置102接收到用于改变记录标志的请求。用于改变记录标志的请求是用于开始或停止后图像记录处理的控制信号，该后图像记录处理是在控制装置102判断为错误判断处理的结果是错误状态的情况下由控制装置102进行的例外应对处理其中之一。用于改变记录标志的请求包括用于将记录标志设置为on的请求(on请求)和用于将记录标志设置为off的请求(off请求)。如果接收到用于改变记录标志的任何请求，则处理进入s407。否则，处理进入s410。

在s407中，cpu202判断所接收到的用于改变记录标志的请求是否是on请求。如果所接收到的用于改变记录标志的请求是on请求，则处理进入s408。如果所接收到的用于改变记录标志的请求不是on请求，即接收到off请求，则处理进入s409。

在s408中，cpu202将存储器203的记录标志设置为on。处理进入s410。

在s409中，cpu202将存储器203的记录标志设置为off。处理进入s410。

在s410中，cpu202判断存储器203的记录标志是否被设置为on。如果记录标志被设置为on，则处理进入s411。否则，处理进入s412。

在s411中，cpu202将在s402中获得的拍摄图像输出到控制装置102。

在s412中，cpu202判断控制装置102是否经由i/f部205输入了用于请求预图像的指示。对预图像的请求是用于进行预图像记录处理的控制信号，该预图像记录处理是在控制装置102判断为错误判断处理的结果是错误状态的情况下由控制装置102进行的例外应对处理其中之一。对预图像的请求与用于请求在接收到请求之后直到经过预定时间段为止所获得的任何图像的指示相对应。控制装置102可以指定请求预图像的时间段。如果请求了预图像，则处理进入s413。否则，处理进入s414。

在s413中，cpu202读取从当前时间起回溯预定时间段期间从存储介质204获得的任何图像，并将图像输出到控制装置102。

在s414中，cpu202判断控制装置102是否经由i/f部205输入了用于请求与事件检测结果有关的信息的指示。如果输入了用于请求与事件检测结果有关的信息的指示，则处理进入s415。否则，处理进入s416。

在s415中，cpu202经由i/f部205将与事件检测结果有关的信息输出到控制装置102。

在s416中，cpu202判断控制装置102是否经由i/f部205输入了用于进行摄像处理的指示。用于进行摄像处理的指示是对用于对控制装置102要用于例如基本操作的图像进行摄像的照相机101的指示。例如，用于进行摄像处理的指示是用于使照相机101对控制装置102要用于进行预定图像处理的图像进行摄像的控制信号，该预定图像处理是诸如错误判断处理或用于例如检测与各个工件108的位置有关的信息的分析处理等。如果输入了用于进行摄像处理的指示，则处理进入s417。否则，处理进入s420。

在s417中，cpu202设置对用于进行摄像处理的图像进行摄像的摄像条件。控制装置102在发送了用于进行摄像处理的指示的情况下，将用于设置摄像条件的信息输出到照相机101。可以根据要对控制装置102获得的拍摄图像进行的处理来设置摄像条件。在s417中设置的摄像条件可以与用于事件检测的摄像条件相同。cpu202基于从控制装置102获得的用于设置摄像条件的信息来设置摄像部201的摄像条件。

在s418中，cpu202将用于摄像的指示输出到摄像部201，并且基于摄像条件进行摄像处理以获得拍摄图像。

在s419中，cpu202将经由i/f部205获得的拍摄图像输出到控制装置102。

在s420中，cpu202判断是否输入了用于终止摄像的指示。如果输入了用于终止摄像的指示，则终止摄像控制。否则，处理返回到s401。

现在将描述由各个照相机101进行的事件检测处理。

各个照相机101的cpu202可以检测“移动物体”、“遗留”、“取走”、“损坏”、“侵入”和“通过”的事件。

在所获得的图像的检测区域中检测到移动物体的情况下，在移动物体检测处理中输出“存在移动物体”的检测结果。在检测区域中没有检测到移动物体的情况下，输出“不存在移动物体”的检测结果。即，当在拍摄图像的帧的检测区域中检测到移动物体时，输出“存在移动物体”的检测结果。

在所获得的图像的先前帧的检测区域中不存在的对象在后续帧的检测区域中存在预定时间或更长的情况下，在遗留检测处理中输出“发生遗留”的检测结果。

在取走检测处理中，响应于在所获得的图像中的先前帧的检测区域中存在的对象在后续帧的检测区域中将不会被检测到的状态下经过了预定时间或更长的事实，输出“发生取走”的检测结果。

在所获得的图像中检测到对象通过预定检测线的情况下，在通过检测处理中输出“发生通过”的检测结果。

在所获得的图像的预定检测区域中检测到人或移动对象之后经过了预定时间或更长的情况下，在侵入检测处理中输出“发生侵入”的检测结果。

cpu202可以对所获得的图像进行所有检测处理。用户可以预先选择由cpu202进行的事件检测处理。

图5a至图5f示出由照相机101获得的图像的示意图。图5a和图5b示出由照相机101a获得的图像。如图5a所示，照相机101a对包含工作台107和工件108的区域进行摄像。在照相机101a中，预先设置检测区域r1。各个检测区域r1被设置为既不包含工作台107也不包含工件108的区域，并且假设任何工件108或工作者都没有侵入该区域。

如图5a所示，在连续帧中工件108被堆叠在工作台107上的情况下，各个检测区域r1未改变，并且cpu202未检测到诸如发生侵入和发生遗留等的事件。如图5b所示，由于工作台107上的工件108倒塌，工件108落下并侵入检测区域r1。当照相机101a的移动物体检测处理有效并且工件108在检测区域r1中移动时，输出“存在移动物体”的检测结果。在照相机101a的遗留检测处理有效的情况下，当工件108进入检测区域r1并停止移动之后经过预定时间段时，输出“发生遗留”的检测结果。在照相机101a的侵入检测处理有效的情况下，当工件108进入检测区域r1之后经过预定时间段时，输出“发生侵入”的检测结果。上述事件检测使得能够检测诸如工件108落到工作空间外部等的改变。

图5c和图5d示出由照相机101b获得的图像。如图5c所示，照相机101b对包含机器人臂103的区域进行摄像。在照相机101b中，预先设置检测线r2。各个检测线r2被设置在与机器人臂103相距一定距离的位置。

如图5c所示，在机器人臂103附近什么都不存在的情况下，cpu202未检测到诸如发生通过等的事件。如图5d所示，人穿过检测线r2其中之一接近机器人臂103。在照相机101a的通过检测处理有效并且人穿过检测线r2其中之一的情况下，输出“发生通过”的检测结果。这使得能够检测到接近机器人臂103的任何人。通过将检测区域设置为包含机器人臂103的区域，可以使用诸如侵入检测处理等的其它检测处理。

图5e和图5f示出由照相机101c获得的图像。如图5e所示，照相机101c对包含工作台109和工件108的区域进行摄像。在照相机101c中，预先设置检测区域r3。检测区域r3包含工作台109和工件108。

在图5e所示的状态下，人取走堆叠在工作台109上的两个工件108中的上面的工件108，并且状态改变为图5f所示的状态。在照相机101c的取走检测处理有效的情况下，当工件108被取走之后经过预定时间段时，输出“发生取走”的检测结果。

根据由照相机101进行摄像的区域和对象，以上述方式设置有效的检测处理和检测条件(检测区域和检测线)。这使得能够检测到根据工作要检测的事件。

当控制装置102启动时，cpu302从存储器303读取软件并开始启动处理。cpu302使显示装置104显示用于设置控制装置102的操作的gui。

图6是示出用于设置控制装置102的操作的gui的示意图。在显示装置104上显示gui600，以便设置根据本实施例的控制装置102的基本操作和错误应对。用户通过使用鼠标105设置gui600的项来设置控制装置102的控制条件。

框601是用于指定照相机101其中之一的列表框。用户操作框601以选择照相机101其中之一。

设置按钮602用于设置要使用的照相机101中的所选照相机的摄像条件。cpu302响应于设置按钮602的点击，改变用于设置照相机101中的所选照相机的摄像条件的所显示的gui。可以设置的摄像条件的示例包括诸如白平衡、摄像角度(平摇/倾斜)、变焦倍率、焦距、光圈和信号放大因子等的摄像条件(摄像参数)。

在视频显示区域603中，显示照相机101中的在框601中所选择的照相机的实时取景图像。

框604是用于由用户设置系统所进行的基本处理(基本操作)的列表框。在图6中，“流程1”被设置为基本操作。

框605是用于由用户设置基本操作的终止条件的文本框。在图6的gui中设置操作，使得用户设置基本操作被重复的次数，并且响应于流程1的处理执行了所设置的次数而终止基本操作。这种设置可以使得重复处理直到满足在基本操作的流程中定义的终止条件为止。

框606是用于设置用户是否进行监视的复选框。这里描述的监视包括通过控制装置102获得各个照相机101的事件检测处理的结果的处理以及与事件检测结果有关的错误判断处理。

选项卡607用于由用户设置根据由各个照相机101进行的事件检测处理的结果而进行的错误判断处理以及在判断为存在错误的情况下进行的例外应对处理。根据本实施例，可以针对各个照相机101设置触发条件、错误判断处理和例外应对处理。图6中的选项卡607用于设置针对照相机101b的触发条件、错误判断处理和例外应对处理。对于其它照相机101，用户可以通过在选项卡之间切换来设置触发条件、错误判断处理和例外应对处理。即，可以针对由照相机101进行摄像的各个区域来设置触发条件、错误判断处理和例外应对处理。还可以针对各个照相机来设置触发条件、错误判断处理和例外应对处理。用于设置触发条件、错误判断处理和例外应对处理的选项卡的数量可以由用户通过添加或删除而自由地改变。

框608是用于由用户设置照相机101中的获得检测结果的照相机的列表框。

框609是用于由用户设置触发条件的列表框，该触发条件表示由照相机101其中之一可获得的检测内容中的哪个检测内容与用于开始错误判断处理的触发相对应。图6中的设置是在从照相机101b获得表示“发生侵入”的信息的情况下进行所设置的错误判断处理。

照相机101可以如上所述检测事件。控制装置102预先存储事件检测结果和反应优先程度彼此相关联的表。控制装置102还可以在所获得的检测结果与等于或大于针对在框609中所设置的事件检测结果的反应的优先程度的优先程度相对应情况下，进行错误判断处理。图11是示出事件检测结果和反应优先程度彼此相关联的表的示意图。例如，在框609中设置了“发生遗留”的情况下，在检测到发生侵入、存在移动物体和发生遗留中的任何一个的情况下，进行错误判断处理。

照相机101检测改变的对象的范围和控制装置102进行例外应对处理的触发条件可以根据照相机101获得图像的时间而改变。例如，在使用控制装置102的生产线系统中，在许多工作者在系统附近工作的白天期间，缩窄照相机101检测改变的对象的范围，以减少系统的误检测。然而，在工作者数量少的夜晚期间，加宽监视的范围。在白天期间，将进行例外应对处理的触发条件设置为具有高反应优先程度的事件检测结果，并且减少错误判断处理的频率。在夜晚期间，将触发条件设置为具有比白天期间的情况低的反应优先程度的事件检测结果，并且增加错误判断处理的频率。

可以针对各种事件检测结果记录发生时间，并且可以基于发生的间隔来控制是否进行错误判断处理。图12示出说明由照相机101b获得的事件检测结果的日志的表。通过照相机101b多次检测到发生侵入。然而，对于id1至id3以及id7至id8，到下一次检测到发生侵入的间隔足够长，并且不进行错误判断处理。对于id4至id6，到下一次检测到发生侵入的间隔短，并且根据在预定次数(例如，第三次)处检测到的id6的事件检测结果来进行错误判断处理。

在人和机器人一起工作的一些情况下，为了诸如供应工件等的工作而侵入的人被临时拍摄到。在一定时间内很少发生的这种事件不是错误，并且不进行错误判断处理。

可以根据照相机101a至101c的事件检测的组合来改变后处理的内容。图13示出说明由照相机101c获得的事件检测结果的日志的表。在图12和图13中，照相机101c获得id3的事件检测结果，而照相机101b获得id4至id6的事件检测结果。在照相机101这样获得事件检测结果的情况下，可以进行错误判断处理。在这种情况下，控制装置102基于照相机101b的存在移动物体的检测结果和照相机101c的存在移动物体的检测结果的组合来进行错误判断处理。照相机101的事件检测结果的组合可以被称为判断为进行例外应对处理的条件，而不是进行错误判断处理的触发条件。

框610是用于由用户设置在检测到框609中所设置的检测内容的情况下由系统进行的错误判断处理的列表框。在图6中，“流程5”被设置为错误判断处理。稍后将详细描述由“流程5”表示的处理。

框611和框612是用于设置在错误检测期间的操作的项。框611是用于设置在判断为存在错误的情况下是否记录图像(视频)以及视频条件的列表框。在图6的框611中输入的设置是记录检测到错误之后的视频(后视频)、并且在5分钟之后停止记录的设置。照相机101可以临时记录预定时间段的图像，并且可以记录从判断为错误状态的时间起回溯预定时间段期间的图像(预视频)。预视频有效地掌握错误的原因。

框612是用于由用户设置在判断结果是错误状态的情况下是否停止处理中的基本操作的复选框。

按钮613用于由用户进行基本操作、错误判断处理和例外应对处理的测试。按钮614使得能够从外部在线接收用于系统基本操作和错误应对的指示。在框615中显示测试期间检测到的日志。

图7、图8a和图8b示出控制装置102的控制流程的流程图。图7是控制装置102的整体操作的流程图。cpu302运行存储在存储器303中的软件，并且响应于控制装置102的启动而开始图7中的流程图。

在s701中，控制装置102的cpu302从各个照相机101请求与事件检测结果有关的信息。在流程图期间重复进行请求事件检测结果的处理。

在s702中，cpu302获得与各个照相机101的事件检测结果有关的信息。

在s703中，cpu302判断事件检测结果是否满足预定触发条件。如果至少一个照相机101的事件检测结果满足触发条件，则处理进入s704。否则，处理进入s706。预定触发条件是：所获得的事件检测结果与在图6中的选项卡607的框609中设置的事件检测结果一致。

s704对应于cpu302进行预定判断处理的子处理。在错误判断处理中，对从照相机101中的获得满足触发条件的事件检测结果的照相机所获得的图像进行分析，并且判断是否发生错误。在错误判断处理中，判断从照相机101中的获得满足触发条件的事件检测结果的照相机所获得的图像是否满足预定错误判断条件。错误判断条件的示例是图像中包含的各个工件108的至少位置、姿势或两者是否满足预定条件。例如，检测到工件108以预定角度以上倾斜的情况被判断为处于错误状态。错误判断条件可以是工件的位置、姿势和种类的组合。错误判断条件可以是人是否侵入图像中的预定工作空间。在cpu302判断为在错误判断处理中发生错误的情况下，将错误标志设置为on。

图8a是在s704进行的错误判断处理的流程的流程图。

在s801中，cpu302经由i/f部301从照相机101中的事件检测结果满足触发条件的照相机获得图像。

在s802中，cpu302基于所获得的图像来进行检测错误的存在或不存在的图像分析处理。基于用户预先设置的流程来进行图像分析处理。例如，如图6所示，预定设置是：在事件检测结果满足触发条件的情况下进行“流程5”。在流程5中，cpu302分析拍摄图像中包含的各个工件108的边缘或工件108具有的条形码。cpu302获得与拍摄图像中包含的工件108的种类和位置有关的信息，并判断为工件108的位置和姿势不是预定位置和预定姿势的情况处于错误状态。

在s803中，cpu302判断是否从分析处理的结果检测到错误状态。

在s804中，如果检测到错误状态，则cpu302将错误标志设置为on。否则，不将错误标志设置为on，并且终止判断处理。

可以根据照相机101进行摄像的对象、区域和环境来设置判断错误状态的错误判断处理。cpu302可以以从照相机101中的事件检测结果满足触发条件的任何照相机获得图像并且判断所获得的图像中包含的对象的种类的方式，来判断错误状态。

例如，对包含机器人臂103的区域进行摄像的照相机101b检测侵入的发生。此时，cpu302分析从检测侵入的发生的照相机101b获得的图像，并判断侵入到对象区域中的对象的种类。具体地，cpu302将存储器303中存储的表示对象的特征的数据与通过分析图像所获得的侵入对象的特征值进行比较。如果根据比较结果判断为侵入对象是人，则cpu302判断为人侵入机器人臂103的工作空间的错误状态(人的侵入)。

描述返回到图7的流程图。

在s705中，cpu302判断错误标志是否为on。如果错误标志为on，则处理进入s710。否则，处理进入s706。

s706对应于cpu302进行基本操作的子处理。在基本操作中的步骤继续进行的情况下，继续进行该继续中的操作。例如，在输出用于移动机器人臂103的指示之后，cpu302在机器人臂103的移动开始和完成之间的时间段期间保持继续中的操作继续进行。

图8b是在s706中进行的基本操作的处理流程的流程图。

在s811中，cpu302使机器人臂103移动到初始位置。机器人臂103的移动控制以相对于机器人臂103能够移动的预定空间中的坐标系指示手的目标坐标和移动速度的方式实现。控制装置102可以直接控制向机器人臂103的驱动系统施加电力。

在s812中，cpu302获得与工作台107上的对象工件的位置有关的信息。

在s813中，cpu302控制机器人臂103，使得机器人臂103移动到与对象工件的位置相对应的位置并且处于与对象工件相对应的姿势。

在s814中，cpu302使机器人臂103保持对象工件。

在s815中，cpu302获得与对象工件被放置的工作台109有关的信息。cpu302向照相机101c发送摄像请求，并获得包含工作台109的区域的拍摄图像。cpu302在拍摄图像中检测边缘，以获得与工作台109的位置以及堆叠在工作台109上的各个工件108的位置、姿势和种类等有关的信息。

在s816中，cpu302基于所获得的与工作台109有关的信息使机器人臂103移动。

在s817中，cpu302使机器人臂103移动使得对象工件被放置在工作台109中的目标位置，并且控制手使得对象工件从手释放。

在s818中，cpu302判断是否满足基本操作的预定终止条件。

如果基本操作被重复进行了图6的框605中输入的次数，则cpu302判断为满足终止条件，并且终止基本操作。否则，基本操作继续。

描述返回到图7的流程图。

在s707中，cpu302判断是否完成基本操作。如果基本操作完成，则cpu302终止控制流程。否则，处理返回到s701。

如果在s705中判断为错误标志是on，则进行例外应对处理。通过使用图6中的gui预先设置例外应对处理。

在例外应对处理中包括s710至s715的处理。在s710中，cpu302进行中断基本操作的步骤的处理。由于表示系统是否响应于图6所示的整体控制设置中的错误而停止的复选框612有效，因此进行该处理。在复选框612被预先设置为无效的情况下，不必进行该处理。

在s711中，cpu302进行从照相机101其中之一请求预图像的处理。在照相机101中的请求预图像的照相机中，与图像处理结果有关的信息满足判断结果。可以从包括照相机101中的与图像处理结果有关的信息满足判断结果的照相机的照相机101请求预图像。例如，可以从照相机101中的与图像处理结果有关的信息满足判断结果的照相机以及照相机101中的位于与图像处理结果有关的信息满足判断结果的照相机附近的其它照相机来请求预图像。

在s712中，cpu302使hdd304记录从照相机101获得的任何预图像。根据设置，可以不进行s711中的处理和s712中的预图像记录处理。

在s713中，cpu302向照相机101发送用于将记录标志设置为on的指示。s713对应于开始后图像记录处理的处理。可以针对连接的每个照相机101单独设置记录标志。如果在照相机101中的任何一个中判断为错误判断处理的结果是错误状态，则cpu302将照相机101中的该照相机的记录标志设置为on。对于包括照相机101中的没有被判断为结果是错误状态的照相机的照相机101，记录标志可以被设置为on。例如，对于照相机101中的检测到错误判断处理的结果被判断为错误状态的事件的照相机以及照相机101中的位于检测到该事件的该照相机附近的其它照相机，记录标志可以被设置为on。cpu302将开始记录后图像的时间与记录的图像彼此相关联以进行记录。

在s714中，cpu302使hdd304记录从照相机101获得的任何图像，并且判断在开始记录之后经过的时间是否超过所设置的记录时间。如果经过时间超过了所设置的记录时间，则处理进入s715。否则，重复s714中的处理。所设置的记录时间与在图6的gui的框611中所设置的时间段相对应。

在s715中，cpu302将记录标志设置为off，并且终止后图像记录处理。根据设置，可以不进行在s713、s714和s715中的后图像记录处理。例如，在图6所示的gui的框611中设置了“无视频”的情况下，不进行后图像记录处理，并且终止控制流程。

因此，控制装置102在由各个照相机101进行的事件检测处理的结果满足预定条件的情况下进行错误判断处理。因此，控制装置102不需要对所有获得的图像进行用于错误判断的分析处理，并且可以减少控制装置102的处理负荷。

因此，即使在连接的摄像设备的数量增加的情况下，也减少了控制装置102用于错误判断处理的负荷，并且可以提供使得能够减少在基本操作中使用的诸如图像处理等的其它处理的延迟的控制装置。

响应于由照相机101中的任何照相机检测到预定事件检测结果，控制装置102可以在进行判断处理之前开始记录由照相机101中的该照相机拍摄的视频。控制装置102可以自动记录照相机101中的与该照相机有关的其它照相机的视频。这增加了当用户稍后分析错误的原因时用户能够通过使用其它照相机的视频看到由于该照相机的视频中的遮挡而导致的盲点的可能性。

在以上描述中，在错误标志有效的情况下图7的流程图中的例外应对处理的示例包括基本操作中断处理、预图像记录处理和后图像记录处理。然而，可以进行其它处理。可以不进行基本操作中断处理、预图像记录处理或后图像记录处理。

在判断结果是错误状态的情况下进行的例外应对处理可以是将在错误判断处理中使用的图像输出到显示装置104的处理。图9是示出在控制装置102将在错误判断处理中使用的图像输出到显示装置104的情况下在显示装置104上显示的图像的示意图。

图9示出如下情况下在显示装置104上显示的图像：照相机101a的事件检测结果是“发生遗留”，并且作为基于从照相机101a获得的图像测量工件108的位置和姿势的结果，判断结果是错误状态。控制装置102显示由照相机101c获得的图像和与通过错误判断处理中的分析而获得的结果有关的信息。在图9中，显示装置104显示与“种类：箱(书籍·洗涤剂)”有关的信息作为与工件108中的姿势同倒塌相对应的工件有关的信息。显示的信息是工件的种类、登记的条形码和内容彼此相关联并显示的示例。

在显示装置104上显示的图像可以是照相机101中的获得被判断为包括错误的图像的照相机的实时取景图像。在显示装置104上显示发生错误的区域的图像使得用户能够根据工件的位置、姿势和种类来判断针对错误的对策。例如，如果落下的工件易碎，则该工件用新的工件替换，否则，在检查之后重新使用该工件。

在判断结果是错误状态的情况下进行的例外应对处理可以是以如下方式来控制照相机101中的用于获得被判断为包括错误的图像的照相机的摄像条件(视野)的处理：由照相机101中的获得被判断为包括错误的图像的照相机进行摄像的区域由照相机101中的其它照相机以不同的角度进行摄像。例如，在判断结果在机器人臂103附近的区域中是错误状态的情况下，控制装置102改变位于该区域周围的照相机101a和101c的摄像角度、变焦倍率和焦点。这使得能够在多个方向上对发生错误的位置(要由照相机101b进行摄像的对象的区域)进行摄像，并且使得用户容易掌握情况并做出改进。

用于设置作业的gui

根据本实施例，用户可以设置由控制装置102进行的作业。例如，用户可以将基本操作、错误判断处理和例外应对处理设置为作业。

图10a和图10b示出用于设置控制装置102的基本操作的gui的示意图。具体地，图10a示出用于创建流程图以定义与控制装置102的基本操作有关的作业(流程1)的gui1000。gui1000显示在显示装置104上。

列表区域1001显示与流程图中可以使用的处理有关的工作单元的列表。用户通过使用鼠标105将工作单元从列表区域1001拖放到流程图区域1002中，并且将工作单元彼此连接以创建流程图。

流程图1003是所设置的流程图的示例。在流程图1003所表示的处理中，通过使用机器人臂103从工作台107取出工件，并将工件布置在工作台109上。

在工作单元1004中，cpu302将机器人移动到工作台107上方的位置。这与图8b中所示的s811处的处理相对应。

在工作单元1005中，cpu302向照相机101a发送用于对包含工作台107上方的工件108的区域进行摄像的指示，以从照相机101a获得运动图像。

在工作单元1006中，cpu302在所获得的图像中检测边缘以检测工件108。获得与工件108的位置、相位和姿势有关的位置信息。

在工作单元1007中，cpu302识别贴在工件上的条形码和色彩图案，并进行用于读取例如贴在工件108上的条形码的图像的处理，以获得工件108的种类。工作单元1005至1007与图8b所示的s812处的处理相对应。

在工作单元1008中，cpu302基于与在工作单元1006中计算的对象工件108的位置有关的信息，使机器人臂103进行校正移动。

利用校正移动，机器人臂103的手(末端执行器)通过移动控制而移动或旋转并位于与对象工件的位置或相位相对应的位置。

在工作单元1009中，cpu302使机器人臂103移动到可以用手(末端执行器)保持工件的位置(例如，工件正上方的位置)。工作单元1008和1009与图8b所示的s813处的处理相对应。

在工作单元1010中，cpu302控制手的打开和关闭以保持(拾取)工件108。

在工作单元1011中，cpu302根据工件的种类使工件移动到工作台109上方的位置。工作单元1010和1011与图8b所示的s814处的处理相对应。

在工作单元1012中，cpu302发送用于通过使用照相机101c对包含工作台109和工件所接地的空间的区域进行摄像的指示，以从照相机101c获得图像。

在工作单元1013中，cpu302通过使用所获得的图像来测量工作台109和堆叠的工件108的位置和姿势，以测量工件被放置的位置。工作单元1012和1013与图8b所示的s815处的处理相对应。

在工作单元1014中，cpu302根据流程图的重复次数或从外部获得的堆叠数量，使机器人移动到放置的高度位置。这与图8b中所示的s816的处理相对应。

在工作单元1015中，cpu302控制手的打开和关闭以放置对象工件108。

在工作单元1016中，cpu302使机器人臂103的手移动到工作台109上方的位置。工作单元1015和1016与图8b中所示的s817的处理相对应。

在工作单元1017中，cpu302判断是否满足预定终止条件。例如，如图6所示，在工作重复次数固定的情况下，响应于工作总次数是固定的工作次数，cpu302终止流程1。当工作的总次数小于固定的工作次数时，cpu302再次进行工作单元1004。工作单元1017与s818相对应。

当用户通过使用操作输入装置(鼠标)105双击gui1000中的流程图1003的工作单元中的任何一个时，出现用于设置工作单元的详情的设置画面。

列表框1019是用于由用户选择要设置的流程图的框。用户可以从列表框1019选择对象流程图，或者可以输入新流程图的名称以将新流程图添加到系统中。

响应于用户按下按钮1018，在列表框1019中选择的流程被确定为在流程图区域1002中定义的流程图1003的内容。cpu302创建包括用于进行上述处理的流程图的作业，并使存储器303记录该流程图。

图10b是示出用于创建流程图以定义与控制装置102的判断处理有关的作业的gui1100的示意图。gui1100显示在显示装置104上。在gui1100中设置的流程图与图8a中所示的s802的处理相对应。

在工作单元1104中，cpu302进行用于读取条形码的图像处理。

在工作单元1105中，cpu302进行从与读取的条形码有关的信息中搜索工件的种类的处理。

在工作单元1106中，cpu302在所获得的图像中检测边缘以检测工件108。获得与工件108的位置、相位和姿势有关的位置信息。

在工作单元1107中，cpu302基于工件的种类和工件的位置信息来判断是否已经产生错误状态(错误)。

在示例中，照相机101a根据堆叠在工作台107上的工件108其中之一移动的事实来检测移动物体的存在。在这种情况下，在工作单元1107中cpu302基于工件108的位置信息来获得工件108的位置和姿势的变化。当检测到的工件108的位置或姿势与预先设置的位置和姿势相距预定程度或更大时，cpu302判断为已经产生了错误状态。

在另一示例中，照相机101a根据小动物或工作者稍微侵入工作台107附近的事实来检测移动物体的存在。在这种情况下，由cpu302获得的各个工件108的移动量小。因此，由于没有倒塌，因此cpu302判断为没有产生错误状态。

当判断结果是错误状态时，cpu302将错误标志设置为on，并终止流程5。

可以存储(复制)和进行用户通过使用外部作业创建装置而创建的作业。可以预先准备通过功能和目的分类的并包括图像处理流程图的固定包功能，并将该固定包功能以用户在gui中选择功能其中之一并调整该功能的参数的方式提供。

第二实施例

当至少一个照相机的事件检测结果满足预定条件时，根据第二实施例的具有控制装置的工业自动化系统通过控制照相机对包含测量仪器的显示器的区域进行摄像来获得测量仪器的测量值。控制装置判断所获得的测量值是否在预定范围内。如果所获得的测量值不在预定范围内，则控制装置判断为已经产生了错误状态，并且进行例外应对处理。控制装置进行用于报告发生错误状态的处理作为例外应对处理。

图14是示出根据第二实施例的工业自动化系统的结构的示意图。

工业自动化系统包括照相机1401、控制装置1402、显示装置1404、鼠标1405和服务器1406。照相机1401、显示装置1404、鼠标1405和服务器1406的操作与根据第一实施例的操作相同，并且省略对这些操作的描述。控制装置1402的功能块与根据第一实施例的控制装置102的功能块相同，并且省略对这些功能块的描述。

照相机1401对包含测量仪器1407的房间的区域进行摄像，测量仪器1407利用模拟仪表显示检测房间温度的温度计的输出值。当温度计的输出值不在预定范围内时，控制装置1402发送预定报告。安装有温度计的房间的示例包括无尘室和需要温度管理的进行环境测试的房间。房间的温度由于诸如人的进入等的环境的变化而变化。

根据第二实施例的工业自动化系统监视房间温度的变化，并且控制装置1402响应于由照相机1401检测到的发生侵入或发生通过的事件，进行用于判断温度是否在预定范围内的判断处理。

图15a和图15b示出控制装置1402的操作的流程图。

在s1501中，控制装置1402的cpu302从各个照相机1401请求与事件检测处理的结果有关的信息。

在s1502中，cpu302获得与各个照相机1401的事件检测处理的结果有关的信息。

在s1503中，cpu302判断从至少一个照相机1401获得的事件检测结果是否是发生侵入。如果从至少一个照相机1401获得的事件检测结果是发生侵入，则处理进入s1504。否则，处理进入s1507。

在s1504中，cpu302进行仪表读取处理。在仪表读取处理中，对包含测量仪器1407的显示器(模拟仪表)的预定区域进行摄像，并且获得测量仪器1407的测量值。稍后将详细描述仪表读取处理。

在s1505中，cpu302判断在仪表读取处理中获得的测量值是否在预定范围内。如果测量值不在预定范围内，则cpu302判断为测量值为错误，并且处理进入s1506。否则，处理进入s1507。

在s1506中，cpu302进行用于向用户通知测量值为错误的通知处理。在通知处理中，例如，在显示装置104上显示警告画面。在通知处理中，可以将诸如电子邮件等的警报信息发送到管理员的终端。在通知处理中，可以将表示错误发生的时间、测量值和错误发生的事实的信息记录到服务器106的日志中。

图15b是仪表读取处理的流程图。

在s1511中，cpu302进行用于改变照相机1401的摄像条件的设置处理。cpu302发送摄像位置、变焦倍率、焦距和曝光的设置，以获得可以读取预先指定的测量仪器1407的显示器的标度的拍摄图像。可以发送用于由照相机进行自动调整的指示。

在s1512中，cpu302向照相机1401输出摄像指示。

在s1513中，cpu302响应于发送的摄像条件和摄像指示，从照相机1401获得由照相机1401拍摄的图像。

图16a和图16b示出由照相机1401获得的一些图像的示意图。

图16a是照相机1401其中之一在s1511中设置的事件检测处理的摄像条件下所拍摄的图像的示意图。如图16a所示，照相机1401其中之一在没有进行仪表读取处理时以低倍率即以广角对包含测量仪器1407的区域进行摄像。这使得由于对更宽的范围进行摄像、因而可以容易检测人的侵入。侵入检测处理中的检测区域被设置为由图中的虚线所示的区域。

图16b是在s1512的处理中由照相机1401其中之一拍摄的图像的示意图。在仪表读取处理中，在s1511中设置摄像条件。因此，以高倍率对包含显示器的区域进行摄像，使得可以由控制装置1402分析测量仪器1407的显示器的标度和指示值。

在s1514中，cpu302从所获得的各个图像读取测量值。cpu302检测图像中包含标度的区域和包含针的区域。测量仪器1407指示的值是基于包含在标度区域中的标度值和针的位置而获得的。例如，在处理图16b所示的图像的情况下，cpu302获得13℃作为测量值。

在s1515中，cpu302将所获得的测量值输出到标度503。

因此，控制装置1402在由至少一个照相机1401进行的事件检测处理的结果满足预定条件时进行用于获得测量值的处理，并且进行用于判断测量值是否为错误的处理。因此，控制装置1402不需要频繁地对测量仪器1407的图像进行用于错误判断的分析处理，并且可以减少控制装置1402的处理负荷。

因此，即使当连接的摄像设备的数量增加时，也减少了控制装置的用于错误判断处理的负荷，并且可以提供使得能够减少其它处理的延迟的控制装置。

在根据第二实施例的描述中，由控制装置1402读取测量值的测量仪器1407用模拟仪表显示测量值。然而，测量仪器1407不限于此。例如，测量仪器可以用数字地显示数值的数字面板仪表(数字ocr)显示测量值。在这种情况下，控制装置1402在图像分析处理(诸如模式匹配处理等)中获得包含在图像中的数值来读取测量值。

通过浮子的位置测量流速的浮子流量计也是可接受的。在这种情况下，在图像分析处理中，控制装置1402获得浮子在包括浮子的锥形管中标记的标度上的位置来读取测量值。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。