图像处理装置、系统、图像处理方法及图像处理程序的制作方法
【技术领域】
[0001]本发明涉及一种对形状可变的物体也能够进行位置识别的图像处理装置、图像处理方法、图像处理程序及具有该图像处理装置的系统。
【背景技术】
[0002]在FA(Factory Automat1n，工厂自动化)领域中，对工件等检测对象进行拍摄，并执行对其大小及位置等进行测量的处理、搜索与预先登记的模型图像一致的位置或区域的处理等。
[0003]例如，日本特开2013-156094号公报(专利文献I)公开了如下技术，即:即使是在检查对象存在个体差异的情况或检查对象的位置、方向不一定的情况下，也能够适应地自动设定检查区域，并进行高精度的检查的技术。
[0004]专利文献1:日本特开2013-156094号公报
[0005]作为如上述的图像处理的应用，拍摄检测对象以确定其存在的位置或区域，并且对以确定的位置或区域为基准任意设定的位置或区域，施加某种操作(例如，工件的握持、对工件的各种加工)O在如这样的应用中，预先登记检测对象的特征量及应该对该检测对象进行操作的位置或区域的信息作为模型信息。
[0006]但是，在有些情况下，也会将可能产生与作为模型信息登记的形状不同的形状的物体作为检测对象。例如，假设有如下的工件，即:形状取决于前工序的温度、湿度等环境条件而决定的工件或由柔性的材质构成，受外力(例如，重力)的影响形状很容易地变化的工件。
【发明内容】
[0007]期望提出对可能变形为与作为模型信息登记的形状不同的形状的检测对象也能够恰当决定应施加操作的位置的方法。
[0008]本发明的一个技术方案的图像处理装置具有:存储单元，其保持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，对应关系决定单元，其提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，位置推定单元，其基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；所述一个或多个第一位置包含于点、线或区域中。
[0009]优选地，所述对应关系决定单元对所述模型信息中的各特征点与从所述输入图像上提取的各特征点分别建立一一对应的对应关系，并且决定表示如下的二个集合之间的所述对应关系的函数，这二个集合是指，分别由相互建立了对应关系的所述模型信息中的多个特征点和从所述输入图像上提取的多个特征点组成的二个集合。
[0010]本发明的另一个技术方案的系统具有:图像处理装置，根据来自所述图像处理装置的输出进行动作的机器人；所述图像处理装置具有:存储单元，其保持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，对应关系决定单元，其提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，位置推定单元，其基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；所述一个或多个第一位置包含于点、线或区域中。
[0011]本发明的又一个技术方案的图像处理方法包括:取得模型信息的步骤，取得持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，决定对应关系的步骤，提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，推定第二位置的步骤，基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；所述一个或多个第一位置包含于点、线或区域中。
[0012]本发明的再一个技术方案提供一种利用计算机执行的图像处理程序。所述图像处理程序使所述计算机执行以下步骤:取得模型信息的步骤，取得持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，决定对应关系的步骤，提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，推定第二位置的步骤，基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；所述一个或多个第一位置包含于点、线或区域中。
[0013]若根据本发明，对可能变形为与作为模型信息登记的形状不同的形状的检测对象，也能够适当地决定应该施加操作的位置。
【附图说明】
[0014]图1为示出具有本实施方式的图像处理装置的系统的结构的示意图。
[0015]图2的(a)部分和(b)部分为用于说明本发明的现有技术及其课题的图。
[0016]图3的(a)部分和(b)部分为示出本实施方式的图像处理装置所处理的模型图像及输入图像的一个例子的图。
[0017]图4为示出对图3所示的模型图像及输入图像决定的对应关系的一个例子的图。
[0018]图5为示出显示特征点的显示例的图，该特征点用来决定表示本实施方式的图像处理装置所提供的对应关系的函数。
[0019]图6为示出本实施方式的图像处理装置的硬件结构的示意图。
[0020]图7为示出本实施方式的图像处理装置的功能结构的示意图。
[0021]图8为示出本实施方式的图像处理装置所执行的处理顺序的流程图。
[0022]图9为用于说明本实施方式的图像处理装置的检测点的推定处理的变形例的图。
[0023]图10为示出本实施方式的显示图像处理装置的检测点的推定处理结果的画面例的图。
[0024]其中，附图标记说明如下:
[0025]I系统，8摄像部，10传送带，100图像处理装置，102显示部，104内部总线，106存储卡，HO处理器，112主存储器，114硬盘，116图像处理程序，120摄像头接口，122机器人接口，124网络接口，126存储卡接口，150特征量提取模块，152模型信息生成模块，154对应关系决定模块，156检测点推定模块，158移动指令生成模块，160数据保存部，162模型信息，164检测点设定，200机器人控制器，300机器人，W工件。
【具体实施方式】
[0026]参照附图，详细说明本发明的实施方式。此外，对图中的同一或等同的部分，标记上同一附图标记，不再重复其说明。
[0027]< A.系统的结构>
[0028]本实施方式的图像处理装置虽然能够适用于各种应用，但是作为一个例子，对如下的应用进行说明，即:基于通过拍摄工件得到的信息来确定该工件存在的位置、线或区域，并且使机器人在以所确定的位置、线或区域为基准任意设定的位置、线或区域对工件施加某种操作的应用。也可以将工件存在的“线段”或“区域”及施加操作的“线段”或“区域”看作是多个位置的集合。以下，虽然为了便于说明，主要对确定或检测“位置”(即，一个坐标值)的处理进行说明，但是并不仅限于此，也能够确定或检测多个坐标值的集合“线段”或“区域”。S卩，关注的一个或多个位置包含于点、线或区域中。以如这样的点、线或区域为单位进行搜索处理。
[0029]在本说明书中，“输入图像”可以包含二维图像及三维图像。虽然为了便于说明，主要以二维图像为例子进行说明，但是很明显对于三维图像也能够应用同样的主要部分。即，通过根据输入图像的种类，适当地设定推定如后述的对应关系的方法，就能够使用同样的处理。换言之，虽然在二维图像中，通常情况下在平面上配置点，但是在三维图像中，通常情况下在曲面上配置点。此外，在对三维图像进行显示的情况下，也可以进行二维渲染处理。特别地，在应用于如后述的机器人的情况下，优选以三维图像作为输入图像。
[0030]图1为示出具有本实施方式的图像处理装置100的系统I的结构的示意图。参照图1，系统I主要具有:图像处理装置100、机器人控制器200及机器人300。系统I使用摄像部8拍摄传送带10上的局部区域，并且通过处理由摄像得到的该图像(以下也称为“输入图像”)，进而确定在传送带10上搬运的检测对象(以下也称为“工件W”)的位置，再基于所确定的位置的信息来在预先设定的位置握持工件W，并向传送带10外移动工件W。
[0031]更加具体地，图像处理装置100对来自摄像部8的输入图像执行如以下详述的图像处理，并将基于该图像处理的执行结果得到的位置信息(或，移动指令)输出给机器人控制器200。机器人控制器200通过按照来自图像处理装置100的信息赋予驱动指令，来驱动机器人300ο通常情况下，机器人300在每一个可动轴都具有伺服马达，机器人控制器200输出对每一个轴计算的相当于移动量的数量的脉冲的脉冲信号。
[0032]如后所述，预先登记有机器人300应握持工件W的工件W上的位置。更加具体地，在图像处理装置100中，除了作为握持对象的工件W的形状的信息以外，还要预先登记有应对工件W施加某种操作的位置。即使是在工件W变化为与作为模型信息登记的形状不同的形状的情况下，图像处理装置100也能够确定工件W上的应握持的位置。
[0033]如图1所示，除了握持工件W的系统以外，还能够应用于如进行对工件的操作、加工的系统。例如，若预先登记有与工件相关的切断位置、钻孔位置、研磨