本发明涉及用于使用全方位照相机来对检查对象物进行检查的技术。
背景技术：
在fa(factoryautomation：工厂自动化)领域中，开发出用于使用照相机来对检查对象物的外观进行检查的技术。关于该技术，日本特开2000－180382号公报(专利文献1)公开了能够高速地检查随机地配置在输送机(conveyor)上的检查对象物的表面的外观检查装置。更具体来说，该外观检查装置利用多个照相机从不同的方向拍摄在输送机上搬送的检查对象物，使用从各方向进行拍摄而得到的输入图像来对检查对象物进行检查。
现有技术文献
专利文献
专利文献1：日本特开2000-180382号公报
在专利文献1所公开的外观检查装置中，为了从各个方向拍摄检查对象物，需要设置多个照相机。因此导致外观检查装置的成本增高，外观检查装置的结构也变得复杂。因此，期望用于利用一个照相机从各个方向来对检查对象物的外观进行检查的技术。
技术实现要素：
根据一个方面，用于对检查对象物进行检查的检查系统具有：全方位照相机；移动装置，其在维持所述检查对象物的姿势的状态下使所述检查对象物在所述全方位照相机周围环绕；取得部，其在所述移动装置使所述检查对象物在所述全方位照相机周围环绕的期间内的多个定时处向所述全方位照相机输出拍摄指示，并从所述全方位照相机取得从不同的方向表现所述检查对象物的多个输入图像；以及检查部，其使用所述多个输入图像对所述检查对象物进行检查。
优选的是，所述移动装置在使所述全方位照相机距所述检查对象物的距离维持成固定的状态下使所述检查对象物在所述全方位照相机周围环绕。
优选的是，在所述检查对象物环绕所述全方位照相机的期间内，所述移动装置不使该检查对象物停止。
优选的是，所述检查系统还具有：存储部，其将从不同的方向预先拍摄与所述检查对象物相同种类的物体而得到的基准图像和映现在该基准图像中的该物体的方向对应起来进行存储；和确定部，其确定映现在所述多个输入图像的第1输入图像中的所述检查对象物的第1方向和映现在所述多个输入图像的第2输入图像中的所述检查对象物的第2方向。所述检查部比较与所述第1方向对应起来的所述基准图像和所述第1输入图像，所述检查部比较与所述第2方向对应起来的所述基准图像和所述第2输入图像，根据该比较的结果对所述检查对象物进行检查。
优选的是，所述确定部根据在所述第1输入图像的拍摄定时处的检查对象物的位置和所述全方位照相机的位置确定所述第1方向，所述确定部根据在所述第2输入图像的拍摄定时处的检查对象物的位置和所述全方位照相机的位置确定所述第2方向。
优选的是，在所述移动装置的表面的不同的位置分别赋予了不同的标记。多个所述标记分别预先与所述检查对象物的方向对应起来。所述确定部将与映现在所述第1输入图像中的标记对应起来的方向确定为所述第1方向，所述确定部将与映现在所述第2输入图像中的标记对应起来的方向确定为所述第2方向。
优选的是，所述检查部根据在所述第1输入图像的拍摄定时处的所述检查对象物的位置与所述全方位照相机之间的位置关系来确定所述第1输入图像内映现的检查对象物的位置，并且，比较在该位置所映现的检查对象物和与所述第1方向对应起来的所述基准图像，所述检查部根据在所述第2输入图像的拍摄定时处的所述检查对象物的位置与所述全方位照相机之间的位置关系来确定所述第2输入图像内映现的检查对象物的位置，并且，比较在该位置所映现的检查对象物和与所述第2方向对应起来的所述基准图像，所述检查部根据该比较结果对所述检查对象物进行检查。
根据其它方面，一种控制器，该控制器用于控制移动装置和全方位照相机，该移动装置用于移动检查对象物，该全方位照相机用于拍摄所述检查对象物，其中，所述控制器具有：取得部，其用于将在维持所述检查对象物的姿势的状态下用于使所述检查对象物在所述全方位照相机周围环绕的命令输出至所述移动装置，在所述移动装置使所述检查对象物在所述全方位照相机周围环绕的期间内的多个定时处向所述全方位照相机输出拍摄指示，并从所述全方位照相机取得从不同的方向表现所述检查对象物的多个输入图像；和检查部，其使用所述多个输入图像对所述检查对象物进行检查。
根据其它方面，用于对检查对象物进行检查的方法包括如下步骤：在维持所述检查对象物的姿势的状态下使所述检查对象物在全方位照相机周围环绕；在所述检查对象物在所述全方位照相机周围环绕的期间内的多个定时向所述全方位照相机输出拍摄指示，并从所述全方位照相机取得从不同的方向表现所述检查对象物的多个输入图像；以及使用所述多个输入图像对所述检查对象物进行检查。
根据其它方面，用于对检查对象物进行检查的检查程序使计算机执行如下步骤：在维持所述检查对象物的姿势的状态下使所述检查对象物在全方位照相机周围环绕；在所述检查对象物在所述全方位照相机周围环绕的期间内的多个定时处向所述全方位照相机输出拍摄指示，并从所述全方位照相机取得从不同的方向表现所述检查对象物的多个输入图像；以及使用所述多个输入图像对所述检查对象物进行检查。
发明的效果
在某个方面，能够利用一个照相机从各个方向来对检查对象物的外观进行检查。
本发明的上述以及其它目的、特征、方面以及优点可以通过与附图相关联地理解的本发明所涉及的以下详细说明来获知。
附图说明
图1是示出根据第1实施方式的检查系统的基本结构的示意图。
图2是表示作为检查对象物的工件的一例的图。
图3是示出根据第1实施方式的机器人使工件在全方位照相机周围环绕的过程的图。
图4是示出从根据第1实施方式的全方位照相机得到的输入图像的一例的图。
图5是示出根据第1实施方式的控制器的功能结构的一例的图。
图6是用于说明用于确定工件的方向的第1确定方法的图。
图7是用于说明用于确定工件的方向的第2确定方法的图。
图8是示出根据第1实施方式的机器人把持工件的部分即把持部分210的图。
图9是用于说明用于确定工件的方向的第3确定方法的图。
图10是概要地示出由检查部进行的工件的检查处理的概念图。
图11是表示由根据第1实施方式的控制器进行的检查处理的流程图。
图12是示出根据第1实施方式的控制器的硬件结构例的框图。
图13是示出作为移动装置的输送机正在搬送工件w的情况的图。
图14是示出从根据第2实施方式的全方位照相机得到的输入图像的一例的图。
图15是概要地示出第2实施方式的工件的检查处理的概念图。
图16是表示由根据第2实施方式的控制器进行的检查处理的流程图。
图17是示出根据第3实施方式的机器人使工件在全方位照相机周围环绕的过程的图。
图18是示出从根据第3实施方式的全方位照相机得到的输入图像的一例的图。
图19是示出根据第4实施方式的机器人使工件w在全方位照相机周围呈正方形地环绕的情况的图。
标号说明
1：检查系统；20a，20b，200a：输送机；30a～30d，33a～33d，37a～37d，38，39a～39d：输入图像；51：图像传感器；52：计数器；53：编码器；54，56：现场网络；100：控制器；102：处理器；104：芯片组；106：主存储装置；108：辅助存储装置(二次記憶装置)；110：本地网络控制器；112：usb控制器；114：存储卡接口；116：存储卡；118，120：现场总线控制器；122：内部总线控制器；124：i/o单元；128：标记信息；130：用户程序；131：序列程序(sequenceprogram)；132：运动程序；133：检查程序；134：照相机位置；135：基准图像信息；135a，136a～136d：基准图像；150：取得部；152：确定部；154：检查部；200：机器人；210：把持部分；211：存储器；211a，211b：标记(mark)；300：全方位照相机；331：全方位镜；332：摄像单元。
具体实施方式
以下，参照附图对根据本发明的各实施方式进行说明。在以下的说明中，对相同的部件和构成要素赋予相同的标号。它们的名称和功能也相同。因此，不反复进行对相同的部件和构成要素的详细的说明。
＜第1实施方式＞
[a.检查系统1]
参照图1，对根据本实施方式的检查系统1的基本结构进行说明。图1是示出根据本实施方式的检查系统1的基本结构的示意图。
如图1所示，检查系统1例如由控制器100、作为移动装置的机器人200和全方位照相机300构成。
控制器100例如是plc(programmablelogiccontroller，可编程序逻辑控制器)，控制检查系统1整体。作为一例，控制器100控制图像传感器51、机器人200、全方位照相机300等。
控制器100例如通过图像传感器51以及计数器52、菊花链与现场网络54连接。例如采用ethercat(注册商标)作为现场网络54。此外，控制器100还经由现场网络56与机器人200通信连接。例如采用ethercat(注册商标)作为现场网络56。
检查系统1对在输送机20a上搬送的工件w(检查对象物)进行规定的作业。工件w是产品或半成品，例如可以是电子部件，也可以是食品。
图像传感器51定期拍摄输送机20a，根据得到的输入图像对工件w进行检测。作为一例，图像传感器51利用模板匹配等图像处理对工件w进行检测。输入图像内的工件w的坐标值被输出至控制器100。
计数器52根据由编码器53产生的脉冲波来计测输送机20a的移动量。更具体来说，编码器53与输送机20a的移动量对应地产生脉冲信号。计数器52从编码器53接受脉冲信号，通过对包含在该脉冲信号中的脉冲数进行计数来计测输送机20a的移动量。计数器52按固定的通信间隔将脉冲波的计数值发送给控制器100。
控制器100将从图像传感器51接收到的输入图像内的工件w的坐标值(照相机坐标系)代入预定的坐标变换公式，将照相机坐标系的工件w的坐标值变换为世界坐标系的坐标值。世界坐标系是用于控制机器人200的坐标系。控制器100每当从计数器52接收到计数值，就计算出上次之后的输送机20a上的移动量，将以世界坐标系来表示的工件w的坐标值与该移动量相加。预先设定与1个计数相当的输送机20a的移动量。控制器100通过逐次更新用世界坐标系表示的工件w的坐标值，能够对在输送机20a上搬送的工件w进行跟踪。
控制器100根据工件w已到达输送机20a上的预定的范围的情况，向机器人200发送工件w的拾取命令。这时，控制器100向机器人200逐次发送输送机20a上的工件w的坐标值。由此使得机器人200能够掌握工件w的当前位置，从而能够拾取(pickup)输送机20a上的工件w。
然后，机器人200使工件w在维持工件w的姿势的状态下在全方位照相机300周围环绕而将该工件w移动至输送机20b。“维持工件w的姿势的状态”意味着将工件w固定成使得工件w不进行自转的状态，是指工件w的各个面在环绕过程中始终朝向相同的方向的状态。控制器100在工件w在全方位照相机300周围环绕的期间内拍摄工件w，使用作为该拍摄结果得到的输入图像来检查工件w的外观。关于该检查处理的详细情况，容后叙述。
另外，虽然图1示出了检查系统1由一个控制器100构成的示例，但是，检查系统1也可以由多个控制器100构成。此外，虽然图1示出了检查系统1由一个机器人200构成的示例，但是，检查系统1也可以由多个机器人200构成。此外，虽然图1示出了检查系统1由一个全方位照相机300构成的示例，但是，检查系统1也可以由多个全方位照相机300构成。
[b.工件w的拍摄处理]
参照图2～图4，对基于全方位照相机300实现的工件w的拍摄处理进行说明。
图2是表示作为检查对象物的工件w的一例的图。在以下内容中，为了便于说明工件w的方向，以工件w是立方体为前提进行说明。如图2所示，设工件w的“e面”与工件w的“a面”～“d面”垂直。工件w的“a面”与工件w的“c面”对置。工件w的“b面”与工件w的“d面”对置。
另外，作为检查对象物的工件w的形状不限于立方体，可以是长方体等多面体，可以是圆柱形，也可以是其它形状。
图3是示出机器人200使工件w在全方位照相机300周围环绕的过程的图。
全方位照相机300由全方位镜331和摄像单元332构成。全方位镜331对从周围360°接收到的光进行反射，并将该反射光引导至摄像单元332。由此，全方位照相机300能够拍摄周围360°。
如上所述，机器人200使工件w在维持工件w的姿势的状态下在全方位照相机300周围环绕。这时，由于维持着工件w的姿势，因此，从全方位照相机300观察时的工件w的外观按照工件w的各个位置而发生变化。
典型地，工件w的环绕轨道是圆形。即，机器人200在使全方位照相机300距工件w的距离维持成固定的状态下使工件w在全方位照相机300周围环绕。由此使得在工件w环绕全方位照相机300的期间内，工件w与全方位照相机300之间的距离始终固定，从而映现在从全方位照相机300得到的图像上的工件w的大小固定。
典型地，在工件w环绕全方位照相机300的期间内，机器人200不使该工件w停止。由此能够在不使被搬送的工件w停止的情况下连续地进行检查。此外，通过在工件w的抓放(pick-and-place)动作的中途实施工件w的环绕处理，即使追加工件w的环绕处理，单件工时(tacttime)也不会增加。
在使工件w环绕的期间内，机器人200定期地将工件w的位置(或臂的位置)发送给控制器100。当接收到的工件w的位置存在于预定的环绕轨道上时，控制器100判断为机器人200正在使工件w在全方位照相机300周围环绕。控制器100在工件w环绕全方位照相机300的期间内的多个定时处向全方位照相机300输出拍摄指示。由此，全方位照相机300能够从各个方向拍摄工件w。其结果是，控制器100能够从全方位照相机300取得从不同的方向表现工件w的多个输入图像。
图4是示出从全方位照相机300得到的输入图像的一例的图。作为一例，设在定时t1，控制器100向全方位照相机300输出了拍摄指示。其结果得到表现工件w的“d面”的输入图像33a。同样，设在定时t2，控制器100向全方位照相机300输出了拍摄指示。其结果得到表现工件w的“a面”的输入图像33b。同样，设在定时t3，控制器100向全方位照相机300输出了拍摄指示。其结果得到表现工件w的“b面”的输入图像33c。同样，设在定时t4，控制器100向全方位照相机300输出了拍摄指示。其结果得到表现工件w的“c面”的输入图像33d。
例如通过用工件w环绕全方位照相机300一周花费的环绕时间除以拍摄次数来计算出输出拍摄指示的间隔。例如，在环绕时间为1秒、拍摄次数为4次的情况下，拍摄间隔为0.25秒(＝1/4)。该环绕时间和该拍摄次数可以预先设定，也可以任意设定。
这样，控制器100通过在工件w进行环绕的期间内的不同定时向全方位照相机300输出拍摄指示，能够从一个全方位照相机300取得从不同的方向表现工件w的输入图像30a～30d。
另外，在图3中，虽然对工件w在全方位照相机300周围环绕一周的示例进行了说明，但是，工件w并非一定需要在全方位照相机300周围环绕一周。即，工件w只要在维持姿势的状态下在全方位照相机300周围的至少一部分进行环绕即可。此外，工件w无需在水平面上环绕，只要在全方位照相机300的视野内的一部分或全部维持姿势，可以朝任意的方向环绕。
[c.控制器100的功能结构]
参照图5～图10，对控制器100的功能进行说明。
图5是示出控制器100的功能结构的图。如图5所示，作为控制器100的主要的硬件结构，包含处理器102和辅助存储装置108。作为处理器102的功能结构，包含取得部150、确定部152和检查部154。
另外，虽然图5示出了取得部150、确定部152和检查部154被安装于控制器100中的示例，但是，这些功能的至少一部分也可以被安装于其它外部装置中。例如，该功能的至少一部分也可以被安装于图像传感器51(参照图1)、服务器等外部装置。该情况下，控制器100与外部装置进行协作来实现根据本实施方式的各种处理。
在以下内容中，对取得部150、确定部152、检查部154依次进行说明。
(c1.取得部150)
取得部150在工件w环绕全方位照相机300的期间内的多个定时向全方位照相机300输出拍摄指示，从全方位照相机300取得从不同的方向表现工件w的多个输入图像。关于工件w的拍摄方法，如在图3中进行了说明那样，因此不反复进行该说明。
(c2.确定部152)
如上所述，机器人200使工件w在维持工件w的姿势的状态下在全方位照相机300周围环绕。这时，虽然工件w自身不进行自转，但是，从全方位照相机300观察时的工件w的方向却发生变化。在以下内容中，相对于全方位照相机300的、工件w所朝向的方向也被称作“工件的方向”。即，工件的方向是指，穿过环绕面上且穿过工件w的中心的规定的基准轴与连接工件w和全方位照相机300的直线之间的角度。
确定部152对在工件w的拍摄定时的工件w的方向进行确定。关于工件w的方向的确定方法，可以采用各种各样的方法。在以下内容中，参照图6～图9对工件w的方向的确定方法进行说明。
图6是用于说明用于确定工件w的方向的第1确定方法的图。图6示出全方位照相机300的位置p1和工件w环绕全方位照相机300的规定定时的工件w的位置p2。
全方位照相机300的位置p1例如被规定为照相机位置134(参照图5)。照相机位置134可以在进行全方位照相机300的设置时设定，也可以由用户任意地设定。照相机位置134例如可以表示为xy平面上的坐标值，也可以表示为xyz平面上的坐标值。该坐标值例如表示全方位照相机300的中心。
工件w的位置p2是从机器人200取得的。更具体来说，控制器100在将工件w的拍摄指示输出至全方位照相机300的同时，将用于取得工件w的位置p2的请求输出至机器人200。由此，控制器100能够从机器人200取得拍摄时的工件w的位置p2。工件w的位置p2例如可以表示为xy平面上的坐标值，也可以表示为xyz平面上的坐标值。该坐标值例如表示工件w的中心。
确定部152将从全方位照相机300的位置p1朝向工件w的位置p2的方向确定为工件w的拍摄方向。该拍摄方向相当于从全方位照相机300观察时的工件w的方向。如果在工件w到达环绕轨道的时刻的工件w的方向始终相同，则该拍摄方向与工件w的方向一一对应。即，工件w的方向在环绕轨道上的相同的地点始终相同。确定部152基于工件w的拍摄方向与工件w的方向之间的对应关系，根据工件w的拍摄方向来确定工件w的方向。
确定部152针对从全方位照相机300得到的全部输入图像(例如，第1、第2输入图像)来确定工件w的方向。更具体来说，确定部152根据第1输入图像的拍摄定时的工件w的位置和全方位照相机300的位置来确定映现在该第1输入图像中的工件w的方向。同样，确定部152根据第2输入图像的拍摄定时的工件w的位置和全方位照相机300的位置来确定映现在该第2输入图像中的工件w的方向。
接下来，参照图7对工件w的方向的其它确定方法进行说明。图7是用于说明用于确定工件w的方向的第2确定方法的图。
图7示出输入图像33b作为从全方位照相机300得到的输入图像的一例。使用全方位照相机300时，输入图像33b的长边方向的位置与从全方位照相机300观察时的被摄物体的方向对应。即，输入图像33b内的工件w的坐标值与工件w的方向一一对应。着眼于这点，确定部152根据输入图像内的工件w的坐标值与该工件w的方向之间的对应关系来确定与根据输入图像33b检测到的工件w的坐标值对应的工件w的方向。在图7的示例中，确定部152将与工件w的中心位置p3对应的“135°”确定为在输入图像33b的拍摄定时的工件w的方向。
接下来，参照图8和图9对工件w的方向的其它确定方法进行说明。图8是示出机器人把持工件w的部分即把持部分210的图。
图8示出了把持部分210的放大图。在把持部分210的表面的不同的位置分别标注不同的标记。该标记为用于确定工件w的方向的基准。标记的差异可以利用颜色的差异来表现，也可以利用形状的差异来表现。在图8的示例中，在把持部分210附接有存储器211，存储器211由颜色不同的标记211a，211b来表示。
另外，标注标记的部位不限于把持部分210，只要是包含在全方位照相机300的视野中的位置，可以将标记标注在机器人200的任意部位。
图9是用于说明用于确定工件w的方向的第3确定方法的图。确定部152根据通过对工件w进行拍摄而得到的输入图像38对把持部分210进行检测。接下来，确定部152对映现在所检测到的把持部分210的中心或大致中心的标记的种类进行确定。然后，确定部152参照按标记的各个种类而规定工件w的方向的标记信息128，将与所确定的标记相关联的方向确定为工件w的方向。在图9的示例中，标记信息128中与标记211b对应的“90°”被确定为工件w的方向。
确定部152针对从全方位照相机300得到的全部输入图像(例如，第1、第2输入图像)来确定工件w的方向。更具体来说，确定部152对映现在第1输入图像中的标记进行检测，确定标记信息128中与该检测到的标记对应的方向，将该所确定的方向确定为映现在第1输入图像中的工件w的方向。同样，确定部152对映现在第2输入图像中的标记进行检测，确定标记信息128中与该检测到的标记对应的方向，将该所确定的方向确定为映现在第2输入图像中的工件w的方向。
另外，在上述内容中，以在工件w到达环绕轨道的时刻的工件w的方向始终相同为前提进行了说明，但是，在工件w到达环绕轨道的时刻的工件w的方向无需始终相同。即使在该时刻的工件w的方向不始终相同，只要对环绕轨道上的一个地点处的工件w的方向进行检测，确定部152就能够以该一个地点处的工件w的方向作为基准来确定工件w的方向。该一个地点处的工件w的方向的确定例如通过模板匹配等图像处理来实现。
(c3.检查部154)
如上所述，取得部150在工件w环绕全方位照相机300的期间内的多个定时向全方位照相机300输出拍摄指示，从全方位照相机300取得从不同的方向表现工件w的多个输入图像。检查部154使用由取得部150取得的多个输入图像对作为检查对象物的工件w进行检查。
参照图10，对基于检查部154实现的工件w的检查处理进行说明。图10是概要地示出由检查部154进行的工件w的检查处理的概念图。
图10示出通过对工件w的“a面”进行拍摄而得到的输入图像33b作为输入图像的一例。在以下内容中，举出作为从取得部150得到的输入图像之一的输入图像33b为例，对基于检查部154实现的检查处理进行说明。
检查部154参照基准图像信息135，对映现在输入图像33b中的工件w进行检查。基准图像信息135包含通过预先拍摄与检查对象物相同种类的物体而得到的多个基准图像。将各基准图像与映现在该基准图像中的物体的方向对应起来。基准图像信息135在执行检查处理之前已预先准备好，被预先存储在例如控制器100的辅助存储装置108(参照图12)等中。
如上所述，确定部152对映现在输入图像33b中的工件w的方向进行确定。检查部154参照基准图像信息135，对与映现在输入图像33b中的工件w的方向对应起来的基准图像进行确定。在图10的示例中，确定了与工件w的方向“135°”对应起来的基准图像135a。检查部154比较所确定的基准图像135a与输入图像33b，根据该比较结果对映现在输入图像33b中的工件w进行检查。
典型地，检查部154一边在输入图像33b上对所确定的基准图像135a进行扫描，一边计算基准图像135a的各部分与输入图像33b的相似度组，采用该相似度组中的最大值用作为基准图像135a与输入图像33b的相似度。例如用基准图像135a的图像信息(例如，像素值)与输入图像33b的图像信息(例如，像素值)的相关值来表示相似度。当计算出的相似度超过预定值时，检查部154判断为工件w的外观正常。另一方面，当计算出的相似度小于等于预定值时，检查部154判断为工件w的外观异常。
检查部154针对从取得部150取得的全部输入图像(例如，第1、第2输入图像)执行这样的检查处理。更具体来说，检查部154比较与映现在第1输入图像中的工件w的方向(第1方向)对应起来的基准图像和该第1输入图像。同样，检查部154比较与映现在第2输入图像中的工件w的方向(第2方向)对应的基准图像和该第2输入图像。检查部154根据这些比较结果对工件w进行检查。
典型地，当针对各输入图像的、计算出的相似度全部超过预定值时，检查部154判断为工件w的外观正常。另一方面，当针对各输入图像的、计算出的相似度中的至少一个小于等于预定值时，检查部154判断为工件w的外观异常。
典型地，检查部154切出在输入图像33b中映现有工件w的部分，然后比较该切出部分和基准图像135a。更具体来说，在使用全方位照相机300的情况下，工件w映现在输入图像33b中的位置依赖于工件w与全方位照相机300之间的位置关系。着眼于这点，检查部154根据输入图像33b的拍摄定时的工件w的实际位置与全方位照相机300之间的位置关系来确定映现在输入图像33b内的检查对象物的位置。然后，检查部154比较映现在所确定的位置中的工件w和与工件w的方向对应起来的基准图像，根据该比较结果对工件w进行检查。在确定了映现在输入图像内的工件部分之后再比较该工件部分和基准图像，使得检查处理花费的处理时间比在输入图像33b内扫描基准图像135a短。
[d.控制器100的控制结构]
参照图11，对基于控制器100实现的检查处理进行说明。图11是表示基于控制器100实现的检查处理的流程图。通过控制器100的处理器102(参照图5)执行程序来实现图11所示的处理。在其它方面，也可以利用电路元件或其它硬件来执行处理的一部分或全部。
在步骤s110中，处理器102根据受理检查处理的执行指示的情况，开始通过机器人200实现的工件w的移动。在该移动过程中，工件w在全方位照相机300周围环绕。
在步骤s112中，处理器102判断拍摄定时是否已到来。作为一例，拍摄定时在工件w到达全方位照相机300的环绕轨道之后每个固定时间到来。当处理器102判断为拍摄定时已到来时(在步骤s112中为“是”)，将控制切换为步骤s114。在并非拍摄定时已到来的情况下(在步骤s112中为“否”)，处理器102再次执行步骤s112的处理。
在步骤s114中，处理器102作为上述取得部150(参照图5)，向全方位照相机300输出拍摄指示，并从全方位照相机300取得表现工件w的输入图像。
在步骤s116中，处理器102作为上述确定部152(参照图5)，对映现在通过步骤s114取得的输入图像中的工件w的方向进行确定。关于工件w的方向的确定方法，如在图6～图9中进行了说明那样，因此不反复进行该说明。
在步骤s118中，处理器102作为上述检查部154(参照图5)，参照上述基准图像信息135(参照图10)，取得与在步骤s116中所确定的工件w的方向对应起来的基准图像，并比较该基准图像和输入图像。关于基准图像与输入图像的比较处理，如在图10中进行了说明那样，因此不反复进行该说明。
在步骤s120中，处理器102根据步骤s118中的比较结果来判断作为检查对象物的工件w的外观是否异常。作为一例，当基准图像与输入图像的相似度小于等于预定值时，处理器102判断为工件w的外观异常。当处理器102判断为工件w的外观异常时(在步骤s120中为“是”)，将控制切换为步骤s130。在并非工件w的外观异常的情况下(在步骤s120中为“否”)，处理器102将控制切换为步骤s122。
在步骤s122中，处理器102判断是否已对一个工件w进行了规定次数的检查。该规定次数可以预先设定，也可以任意设定。该规定次数相当于对一个工件w的拍摄次数。当处理器102判断为已对一个工件w进行了规定次数的检查时(在步骤s122中为“是”)，将控制切换为步骤s124。在并非进行了规定次数的检查的情况下(在步骤s122中为“否”)，处理器102将控制切换为步骤s112。
在步骤s124中，处理器102通知工件w的外观正常的情况。该通知的方法是任意的。作为一例，可以将工件w的外观正常的情况显示为消息，也可以作为声音输出。
在步骤s130中，处理器102通知工件w的外观异常的情况。该通知的方法是任意的。作为一例，可以将工件w的外观异常的情况显示为消息，也可以作为声音输出。
[e.控制器100的硬件结构]
参照图12，对根据本实施方式的控制器100的硬件结构进行说明。图12是示出控制部100的硬件结构例的框图。
控制器100包含cpu(centralprocessingunit，中央处理器)、mpu(micro-processingunit，微处理单元)等处理器102、芯片组104、主存储装置106、辅助存储装置108、本地网络控制器110、usb(universalserialbus，通用串行总线)控制器112、存储卡接口114、内部总线控制器122、现场总线控制器118，120以及i/o单元124－1，124－2，......。
处理器102通过读出存储在辅助存储装置108中的各种程序，在主存储装置106展开并执行，实现与控制对象对应的控制以及上述检查处理等。芯片组104通过控制处理器102和各组件从而实现控制器100整体的处理。
在辅助存储装置108中，除了用于实现plc引擎的系统程序之外，还存储有利用plc引擎执行的用户程序130。此外，在辅助存储装置108中还存储有上述照相机位置134(参照图5)以及上述基准图像信息135等。用户程序130包含以逻辑性运算为主的序列程序131、以位置控制、速度控制等的数值运算为主的运动程序132、以及以为了实现工件检查处理的运算为主的检查程序133等。
本地网络控制器110控制经本地网络实现的、与其它装置(例如，服务器等)之间的数据交换。usb控制器112经由usb连接来控制与其它装置(例如，pc(personalcomputer，个人电脑)等)之间的数据交换。
存储卡接口114构成为能够拆装存储卡116，能够对于存储卡116写入数据，从存储卡116中读出各种数据(用户程序、跟踪数据等)。
内部总线控制器122是用于在搭载于控制器100的i/o单元124－1，124－2，......之间交换数据的接口。
现场总线控制器118控制经现场网络54实现的与其它装置(例如，图像传感器51、计数器52等)之间的数据交换。同样，现场总线控制器120控制经现场网络56实现的与其它装置(例如，机器人200)之间的数据交换。
图12示出了通过由处理器102执行程序从而提供所需功能的结构例，但是，也可以使用专用的硬件电路(例如，asic(applicationspecificintegratedcircuit，专用集成电路)或fpga(field-programmablegatearray，现场可编程门阵列)等)来安装这些所提供的功能的一部分或全部。或者，也可以使用根据通用的体系结构的硬件(例如，以通用计算机为基础的工业计算机)来实现控制器100的主要部分。该情况下，也可以使用虚拟化技术并列执行用途不同的多个os(operatingsystem，操作系统)，并在各os上执行所需的应用。
[f.第1实施方式的总结]
如上所述，根据本实施方式的控制器100对机器人200进行指示，使得机器人200在维持检查对象物的姿势的状态下使工件w在全方位照相机300周围环绕。控制器100在机器人200使工件w在全方位照相机300周围环绕的期间内的多个定时向全方位照相机300输出拍摄指示。这时，维持着工件w的姿势，因此，从全方位照相机300观察时的工件w的外观按照工件w的每个位置而发生变化。因此，能够得到从不同的方向表现工件w的多个输入图像。控制器100使用该多个输入图像对工件w进行检查。
这样，控制器100通过在工件w进行环绕的期间内的不同定时向全方位照相机300输出拍摄指示，能够从一个全方位照相机300取得从不同的方向表现工件w的输入图像30a～30d。
＜第2实施方式＞
[a.概要]
在第1实施方式中，由机器人200来使工件w环绕全方位照相机300。与此相对，在第2实施方式中，则由输送机200a来使工件w环绕全方位照相机300。由此，全方位照相机300能够同时拍摄多个工件w。
关于其它方面，如在“第1实施方式”中进行了说明那样，因此不反复进行其它方面的说明。
[b.工件w的拍摄处理]
参照图13和图14，对第2实施方式的工件w的拍摄处理进行说明。
图13是示出作为移动装置的输送机200a正在搬送工件w的情况的图。图13示出了工件w1～w6作为检查对象物的一例。在本实施方式中，由输送机200a在全方位照相机300周围同时搬送多个工件w1～w6。这时，输送机200a在维持工件w1～w6各自的姿势的状态下，使工件w1～w6在全方位照相机300周围环绕。由于维持着工件w1～w6的姿势，因此，从全方位照相机300观察时的各个工件的外观按照各工件的每个位置而发生变化。
控制器100在工件w1～w6进行环绕的期间内的多个定时向全方位照相机300输出拍摄指示。由此，全方位照相机300能够从各个方向拍摄各个工件。其结果是，控制器100能够取得从不同的方向表现各个工件的多个输入图像。
图14是示出从根据第2实施方式的全方位照相机300得到的输入图像的一例的图。作为一例，设在定时t11，控制器100向全方位照相机300输出了拍摄指示。其结果能够得到表现工件w2的“c面”、工件w3的“d面”、工件w4的“a面”、工件w5的“b面”的输入图像37a。设在定时t12，控制器100向全方位照相机300输出了拍摄指示。其结果能够得到表现工件w3的“c面”、工件w4的“d面”、工件w5的“a面”、工件w6的“b面”的输入图像37b。设在定时t13，控制器100向全方位照相机300输出了拍摄指示。其结果能够得到表现工件w4的“c面”、工件w5的“d面”、工件w6的“a面”、工件w7的“b面”的输入图像37c。设在定时t14，控制器100向全方位照相机300输出了拍摄指示。其结果能够得到表现工件w5的“c面”、工件w6的“d面”、工件w7的“a面”、工件w8的“b面”的输入图像37d。
例如通过用输送机200a使各个工件环绕(一周)花费的环绕时间除以拍摄次数来计算出输出拍摄指示的间隔。例如，在环绕时间为1秒、拍摄次数为4次的情况下，拍摄间隔为0.25秒(＝1/4)。环绕时间和拍摄次数可以预先设定，也可以任意设定。
这样，控制器100通过在工件w1～w6进行环绕的期间内的不同的定时向全方位照相机300输出拍摄指示，从而能够从一个全方位照相机300取得从不同的方向表现各个工件的多个输入图像。
典型地，输送机200a以使在各个工件到达环绕轨道的时刻的各个工件的方向始终相同的方式来搬送各个工件。其结果是，如图14所示，各个工件的相同的面映现在输入图像37a～37d内的相同的位置。
另外，在图13中，虽然对工件w1～w6在全方位照相机300周围环绕一周的示例进行了说明，但是，工件w1～w6并不一定需要在全方位照相机300周围环绕一周。即，工件w1～w6只要在维持姿势的状态下在全方位照相机300周围的至少一部分进行环绕即可。
[c.工件w的检查处理]
参照图15，对基于根据第2实施方式的检查部154(参照图5)实现的工件的检查处理进行说明。图15是概要地示出第2实施方式的工件的检查处理的概念图。
图15示出通过同时拍摄工件w2的“c面”、工件w3的“d面”、工件w4的“a面”、工件w5的“b面”而得到的输入图像37a作为输入图像的一例。在以下内容中，举出作为所得到的输入图像之一的输入图像37a为例，对基于检查部154实现的检查处理进行说明。
上述确定部152(参照图5)对映现在输入图像37a中的工件w2～w5各自的方向进行确定。关于各个工件的方向的确定方法，采用在“第1实施方式”中进行了说明的“第1～第3确定方法”。由确定部15确定出的各个工件的方向被输出至检查部154。在图15的示例中，“45°”、“135°”、“225°”、“315°”作为各个工件的方向被输出至检查部154。
检查部154参照基准图像信息135，对映现在输入图像37a中的工件w2～w5进行检查。基准图像信息135包含通过预先拍摄与检查对象物相同种类的物体而得到的多个基准图像。将各基准图像与映现在该基准图像中的物体的方向对应起来。基准图像信息135在执行检查处理之前已预先准备好，被预先存储在例如控制器100的辅助存储装置108(参照图12)等中。
检查部154参照基准图像信息135，确定与映现在输入图像37a中的工件w的方向对应的基准图像。在图15的示例中，确定有与工件的方向“45°”对应的基准图像136a、与工件的方向“135°”对应的基准图像136b、与工件的方向“225°”对应的基准图像136c、以及与工件的方向“315°”对应的基准图像136d。检查部154比较所确定的基准图像136a～136d的各个基准图像和输入图像37a，根据该比较结果对映现在输入图像37a中的工件w2～w5进行检查。关于输入图像与基准图像的比较处理，如在图10中进行了说明那样，因此不反复进行该说明。
检查部154针对由取得部150取得的多个输入图像的全部，执行输入图像与基准图像的比较处理。典型地，检查部154从各输入图像中提取相同的工件，计算出提取出的各个工件部分与所对应的基准图像的相似度。例如，在进行对工件w5的检查时，检查部154计算输入图像37a的工件w5与基准图像136a的相似度，并且，计算输入图像37b(参照图14)的工件w5与基准图像136b的相似度，并且，计算出输入图像37c(参照图14)的工件w5与基准图像136c的相似度，并且，计算输入图像37d(参照图14)的工件w5与基准图像136d的相似度。当针对工件w5计算出的全部相似度超过预先确定的值时，检查部154判断为工件w5的外观正常。另一方面，当针对工件w5计算出的相似度中的至少一个小于等于预定值时，检查部154判断为工件w5的外观异常。
[d.控制器100的控制结构]
参照图16，对基于根据第2实施方式的控制器100实现的检查处理进行说明。图16是表示由根据第2实施方式的控制器100进行的检查处理的流程图。通过控制器100的处理器102(参照图5)执行程序来实现图16所示的处理。在其它方面，也可以利用电路元件或其它硬件来执行处理的一部分或全部。
在步骤s210中，处理器102根据受理检查处理的执行指示的情况，开始通过输送机200a实现的工件的搬送。在该搬送过程中，工件环绕全方位照相机300。
在步骤s220中，处理器102判断拍摄定时是否已到来。拍摄定时例如每个固定时间到来。当处理器102判断为拍摄定时已到来时(在步骤s220中为“是”)，将控制切换为步骤s222。在并非拍摄定时已到来的情况下(在步骤s220中为“否”)，处理器102再次执行步骤s220的处理。
在步骤s222中，处理器102作为上述取得部150(参照图5)，向全方位照相机300输出拍摄指示，并从全方位照相机300取得表现工件的输入图像。
在步骤s224中，处理器102根据在步骤s222中取得的输入图像对工件进行检测。如在图1中进行了说明的那样，处理器102通过跟踪处理而掌握了输送机200a上的各个工件的位置。由于输送机200a上的各个工件的位置与输入图像内的各个工件的位置相对应，因此，处理器102根据通过跟踪处理而确定的输送机200a上的各个工件的位置能够确定输入图像内的各个工件的位置。另外，处理器102也可以使用模板匹配等图像处理技术对输入图像内的工件的位置进行确定。
在步骤s226中，处理器102作为上述确定部152(参照图5)，从在步骤s224中检测出的工件中，将未检查的工件中的任意工件决定为检查对象工件，并确定该检查对象工件的方向。关于工件的方向的确定方法，采用在“第1实施方式”中说明的“第1～第3确定方法”。
在步骤s228中，处理器102作为上述检查部154(参照图5)，参照上述基准图像信息135(参照图15)，取得与在步骤s226中所确定的工件的方向对应的基准图像，并比较该基准图像和输入图像。关于基准图像与输入图像的比较处理，如在图15中进行了说明那样，因此不反复进行该说明。
在步骤s230中，处理器102根据步骤s228中的比较结果来判断检查对象工件的外观是否异常。作为一例，当基准图像与输入图像的相似度小于等于预定值时，处理器102判断为检查对象工件的外观异常。当处理器102判断为检查对象工件的外观异常时(在步骤s230中为“是”)，将控制切换为步骤s234。在并非工件w的外观异常的情况下(在步骤s230中为“否”)，处理器102将控制切换为步骤s232。
在步骤s232中，处理器102通知检查对象工件的外观正常的情况。该通知的方法是任意的。作为一例，可以将工件的外观正常的情况显示为消息，也可以作为声音输出。
在步骤s234中，处理器102通知检查对象工件的外观异常的情况。该通知的方法是任意的。作为一例，可以将工件的外观异常的情况显示为消息，也可以作为声音输出。
在步骤s240中，处理器102判断在步骤s224中检测到的全部工件的检查是否已结束。当处理器102判断为在步骤s224中检测到的全部工件的检查已结束时(在步骤s240中为“是”)，将控制切换为步骤s250。在并非已结束的情况下(在步骤s240中为“否”)，处理器102将控制切换为步骤s226。
在步骤s250中，处理器102判断是否结束检查处理。作为一例，当处理器102受理了检查处理的结束操作时，判断为要结束检查处理。当处理器102判断为要结束检查处理时(在步骤s250中为“是”)，结束图16所示的检查处理。在并非结束检查处理的情况下(在步骤s250中为“否”)，处理器102将控制切换为步骤s220。
[e.第2实施方式的总结]
如上所述，在第2实施方式中，由输送机200a来使作为检查对象物的工件环绕全方位照相机300。由此使得全方位照相机300能够同时拍摄多个工件，能够同时对多个工件进行检查。
此外，输送机200a在维持工件的姿势的状态下，使各个工件环绕全方位照相机300。控制器100在工件进行环绕的期间内的多个定时向全方位照相机300输出拍摄指示。由此，全方位照相机300能够从各个方向拍摄各个工件。其结果是，控制器100能够针对各个工件取得从不同的方向表现工件的多个输入图像。
＜第3实施方式＞
[概要]
在第1实施方式中，作为检查对象物的工件w的形状是立方体。与此相对，在第3实施方式中，作为检查对象物的工件w的形状是圆柱形。在工件是圆柱形的情况下，即使从不同的方向拍摄工件的侧面，图像内所映现的工件的形状也不发生变化。因此，在检查对象物的形状是圆柱形的情况下，根据第3实施方式的控制器100不对工件的方向进行确定。由此缩短了处理时间。
关于其它方面，如在“第1实施方式”中进行了说明那样，因此不反复进行其它方面的说明。
[b.工件w的拍摄处理]
参照图17和图18，对第3实施方式的工件w的拍摄处理进行说明。
图17是示出根据第3实施方式的机器人200使工件w在全方位照相机300周围环绕的过程的图。如图17所示，在本实施方式中，工件w的形状是圆柱形。控制器100在工件w在全方位照相机300周围环绕的期间内的多个定时向全方位照相机300输出摄像指示。由此，全方位照相机300能够从各个方向拍摄工件w。其结果是，控制器100能够从全方位照相机300取得从不同的方向表现工件w的多个输入图像。
图18是示出从根据第3实施方式的全方位照相机300得到的输入图像的一例的图。作为一例，设在定时t21，控制器100向全方位照相机300输出了拍摄指示。其结果得到输入图像39a。同样，设在定时t22，控制器100向全方位照相机300输出了拍摄指示。其结果得到输入图像39b。同样，设在定时t23，控制器100向全方位照相机300输出了拍摄指示。其结果得到输入图像39c。同样，设在定时t24，控制器100向全方位照相机300输出了拍摄指示。其结果得到输入图像39d。
如输入图像39a～39d所示，在工件w是圆柱形的情况下，即使从不同的方向拍摄工件w的侧面，输入图像内所映现的工件w的形状也不发生变化。因此，根据本实施方式的控制器100也可以不对输入图像内所映现的工件的方向进行确定。此外，在本实施方式中，无需针对工件w的各个方向准备基准图像，只要准备至少一个基准图像就足够。
控制器100比较通过从各个方向进行拍摄工件w而得到的输入图像的各个输入图像和预先准备好的基准图像，根据该比较结果对工件w进行检查。由此，控制器100能够从所有的方向对圆柱形状的工件w进行检查。
[第3实施方式的总结]
如上所述，在工件是圆柱形的情况下，即使从不同的方向拍摄工件的侧面，输入图像内所映现的工件的形状也不发生变化。因此，在检查对象物的形状是圆柱形的情况下，根据本实施方式的控制器100不对工件的方向进行确定。由此缩短了处理时间。
＜第4实施方式＞
在第1实施方式中，由机器人200来使工件w在全方位照相机300周围呈圆形地环绕。与此相对，在第4实施方式中，由机器人200来使工件w在全方位照相机300周围呈正方形地环绕。
图19是示出机器人200使工件w在全方位照相机300周围呈正方形地环绕的情况的图。这样，工件w的环绕轨道不限于圆形。只要是使得工件w的姿势得以维持的状态，工件w的环绕轨道是任意的。例如，工件w的环绕轨道可以是椭圆形，可以是矩形，也可以是其它形状。
本次公开的实施方式在所有方面均为示例，不应该认为是限制性的内容。本发明的范围并非由上述说明、而是由权利要求书示出，并且包含与权利要求书同等的含义和范围内的所有变更。