图像对照装置、图像传感器、处理系统、图像对照方法
【专利摘要】一种图像对照装置，具有：存储部，对包括对照对象的物体的特征点的位置以及各特征点的位置中的亮度梯度的方向的模型图像进行存储；特征量获取部，从输入图像获取特征点的位置以及各特征点的位置中的亮度梯度的方向；图像对照部，进行所述模型图像与所述输入图像的对照；所述图像对照部对特征点的位置以及各特征点的位置中的亮度梯度的方向的两者设置允许范围并进行图像对照。优选地，图像对照装置还具有允许范围设定单元，该允许范围设定单元供用户设定特征点的位置以及各特征点中的亮度梯度的方向的允许范围。由此，能够进行更详细地指定允许的形状变化的可变形状物体的对照。
【专利说明】
图像对照装置、图像传感器、处理系统、图像对照方法
技术领域
[0001]本发明涉及利用模版匹配进行图像对照的技术。
【背景技术】
[0002]在工厂自动化(FA:Factory Automat1n)领域中，为了测量或监视在流水线上被传送的测量对象物(下面，称为“工件”)，称为图像传感器(视觉传感器)的传感器设备被广泛利用。图像传感器由摄像头和图像处理装置构成，具有如下功能，即，通过与预先登记的示教物体(下面，称为“模型”或“样式”)进行匹配处理(模版匹配)来检测出图像内的工件，从而进行需要的信息的提取和测量等。图像传感器的输出可利用于例如工件的识别、检查、分类等各种各样的用途。
[0003]但是，需要从图像中检测出袋包装的物体、蔬菜、手写文字或人体等，形状因状况而发生变化或个体间具有形状差异的物体的需求较多。到目前为止，用于高精度地进行这样的形状变化的物体(下面，称为“可变形状物体”)的技术被研究，作为主要的技术，列举有“距离变换”和“弹性匹配”。
[0004]距离变换是求得图像中的各像素距边缘的最短距离，并基于该最短距离进行匹配的技术(专利文献I)。根据该方法，在模型图像与输入图像之间，能够允许边缘的位置坐标存在允许误差来进行匹配。
[0005]弹性匹配是基于模型图像与输入图像的特征点之间的对应关系(映射函数)计算出相似度来进行匹配的技术(专利文献2、3)。根据该方法，在模型图像与输入图像之间，能够允许边缘的位置坐标存在允许误差来进行匹配。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献I:日本特开2008-286725号公报
[0009]专利文献2:美国专利申请公开第2010/0284577号说明书
[0010]专利文献3:美国专利第7024042号说明书
【发明内容】
[0011]发明要解决的问题
[0012]在距离变换中，允许边缘的位置坐标存在允许误差，但不能对各边缘点如何变形设置限制，在输入图像中，若在允许范围内存在边缘点，则为对照成功。因此，在背景中存在多个边缘的情况下，容易发生错误匹配。优选地，对形状变化设置更详细的允许尺度，以使匹配的精度提高。
[0013]在弹性匹配中，由于需要特征点的严密对应，因此，只对面孔或文字等可提取明确的特征点的物体不能适用。另外，只能使用每个部分的位置关系进行对照，考虑详细的形状变化的匹配不能进行。
[0014]本发明鉴于上述问题而提出，其目的在于，提供一种技术，能够更详细地指定允许的形状变化来进行可变形状物体的对照。
[0015]解决问题的手段
[0016]为了达到上述目的，在本发明中，采用如下结构，S卩，对特征点的位置以及该特征点中的亮度梯度的方向的两者设置允许范围并进行形状匹配。
[0017]具体而言，本发明的图像对照装置，其特征在于，
[0018]具有:
[0019]存储部，对模型图像进行存储，该模型图像包括对照对象的物体的特征点的位置以及各特征点的位置中的亮度梯度的方向，
[0020]特征量获取部，从输入图像获取特征点的位置以及各特征点的位置中的亮度梯度的方向，以及
[0021]图像对照部，进行所述模型图像与所述输入图像的对照；
[0022]所述图像对照部对特征点的位置以及各特征点的位置中的亮度梯度的方向的两者设置允许范围并进行图像对照。就包含于模型图像的特征点(模型特征点)而言，如果在与该模型特征点的位置偏移允许范围相对应的输入图像中存在亮度梯度方向在模型特征点中的亮度梯度方向的方向偏移允许范围内的特征点的情况下，所述图像对照部判断为与所述模型特征点对应的特征点存在于输入图像中。
[0023]根据该结构，在可变形状物体的图像对照中，与以往相比能够详细地设定变形的允许误差。通过根据对照对象的物体容易如何变形来分别设定位置偏移以及方向偏移的允许误差，与以往相比能够高精度地进行可变形状物体的对照。
[0024]在本发明中，特征点的位置的允许范围可以是以所述模型图像中的特征点的位置为中心的矩形(正方形或长方形)、圆形、椭圆等形状。允许范围的形状可以是任意形状，但若设定为矩形(正方形或长方形)，则容易进行是否在允许范围内的判别处理。若设为圆形，则能够均匀地允许向任意的方向的位置偏移。若设为椭圆或长方形，则能够在特定的方向上产生大的位置偏移。但是，位置的允许范围也可以是任意形状，其中心也可以不在模型图像的特征点的位置。
[0025]另外，在本发明中，亮度梯度的方向的允许范围可以是以所述模型图像中的亮度梯度的方向为中心的规定的角度范围。但是，也可以不以模型图像中的亮度梯度的方向为中心，也可以允许向顺时针方向与逆时针方向的不同角度的偏移。
[0026]本发明中的特征点若是从图像寻找的具有特征的点，则能够采取任意的点。例如，作为本发明中的特征点，能够采取边缘点。另外，也能够采用SIFT、SURF、Harri s角点等的其他特征点。
[0027]另外，优选地，本发明的图像对照装置还具有允许范围设定单元，该允许范围设定单元供用户设定所述图像对照中的特征点的位置以及各特征点中的亮度梯度的方向的允许范围。
[0028]所述允许范围设定单元可以构成为，用户能够设定上述的位置以及方向的允许范围的任一个或双方。在该情况下，可以是用户能够设定具体的数值，也可以是用户能够设定允许等级。通过用户能够分别设定位置以及方向的允许范围，用户能够进行更加详细的设定。
[0029]另外，所述允许范围设定单元构成为，将允许的变形样式以及允许的变形量的等级的组合和特征点的位置的允许范围以及各特征点的位置中的亮度梯度的方向的允许范围的组合对应地存储，并由用户选取允许的变形样式和允许的变形量的等级，从而基于来自该用户的输入来决定特征点的位置的允许范围以及各特征点的位置中的亮度梯度的方向的允许范围。这样一来，用户能够更加容易地理解设定的内容。
[0030]另外，优选地，本发明的图像对照装置还具有:对应点位置存储单元，将被所述图像对照部检测出的与模型特征点相对应的输入图像中的特征点的位置与所述模型特征点关联地存储;输出单元，输出存储于所述对应点位置存储单元的与模型特征点相对应的输入图像中的特征点的位置。此外，输出单元的输出目的地可以是显示器等的输出装置，也可以是控制其他机械的控制装置等。通过输出与模型特征点相对应的输入图像中的特征点的位置，能够合适地识别对照对象物的形状变化。
[0031]此外，不需要输出与全部的模型特征点相对应的特征点的位置。也可以设置设定单元，该设定单元从用户接受对输出与哪个模型特征点相对应的输入图像中的特征点的指定，从而只输出与被用户所指定的模型特征点相对应的特征点的位置。
[0032]此外，本发明可以包括具有上述结构的至少一部分的图像对照装置。另外，本发明可以包括具有拍摄物体的摄像头和图像对照装置的图像传感器。另外，本发明可以包括控制对上述的图像传感器和对照对象物体进行操作的处理装置的处理系统。例如，在图像传感器输出与模型特征点相对应的输入图像中的特征点的位置的情况下，控制装置通过控制处理装置以对基于该特征点的位置所决定的部位进行操作，能够进行考虑对照对象物体的形状变化的合适的操作。
[0033]另外，本发明可以包括:包含上述处理的至少一部分的图像对照装置的控制方法、用于使该方法在计算机中执行的程序、用于非暂时地存储该程序的计算机可读取的记录介质。上述结构以及处理只要不产生技术矛盾，就能够相互组合来构成本发明。
[0034]发明的效果
[0035]根据本发明，能够提供一种技术，能够更详细地指定允许的形状变化来进行可变形状物体的对照。
【附图说明】
[0036]图1是示出实施方式的图像传感器的整体结构的图。
[0037]图2是示出实施方式的图像传感器的硬件结构的图。
[0038]图3是示出第一实施方式的图像处理装置的图像对照的功能结构的图。
[0039]图4是示出图像对照处理的流程的流程图。
[0040]图5是示出模型图像的例子的图。
[0041]图6是示出特征点的位置偏移的允许范围以及亮度梯度方向的方向偏移的允许范围的图。
[0042]图7是说明图像对照部中的对照处理的图。(a)示出模型图像，(b)示出输入图像，(C)示出模型图像与输入图像的比较。
[0043]图8是示出对各种变形改变位置偏移允许量以及方向偏移允许量的情况的对照得分的图。(a)示出模型图像，(b)示出对“变细”的变形的对照结果，(C)示出对“缺损”的变形的对照结果，(d)示出对“其他”的变形的对照结果。
[0044]图9(a)、(b)分别示出了位置偏移允许量以及方向偏移允许量的设定画面的例子。
[0045]图10(a)是示出位置偏移允许量以及方向偏移允许量的设定画面的例子的图，(b)是示出对变形样式以及允许等级和位置偏移允许量以及方向偏移允许量之间的对应关系进行存储的表的例子的图。
[0046]图11是示出位置偏移允许范围以及方向偏移允许范围的变形例的图。
[0047]图12是示出第二实施方式的图像处理装置的图像对照的功能结构的图。
【具体实施方式】
[0048]本发明涉及从由摄像头拍摄的图像检测出规定的物体的技术。该技术能够应用于FA用的图像传感器、计算机视觉、机器视觉等中的物体检测。在下面所述的实施方式中，作为本发明的一个优选的应用例，对将本发明安装于在传送可变形状物体的工件的流水线中进行工件的检测的FA用的图像传感器的例子进行说明。
[0049]〈第一实施方式〉
[0050](图像传感器)
[0051]参照图1对本发明的实施方式的图像传感器的整体结构以及应用情况进行说明。
[0052]图像传感器I是设置于生产线等，使用通过拍摄制造物(工件2)所得到的输入图像进行工件2的位置检测等的系统。此外，在图像传感器I中，除了位置检测以外，还能够根据需要安装边缘检测、划伤或污垢检测、面积、长度、重心的测量等各种各样的图像处理功能。
[0053]如图1所示，在传送带3上传送有工件2。工件2是如下物体(可变形状物体)，即，SP使是同一个体，形状也根据状况而变化或个体间存在形状的差异。图像传感器I从摄像头11定期地获取图像，通过图像处理装置10进行包含于图像中的各工件2的位置检测等的处理，并将结果在显示器12上显示或向外部装置(PLC4等)输出。可编程逻辑控制器(PLC:Programmable Logic Controller)4是掌管图像传感器1、传送带3、机械手等制造装置(未图示)的控制的设备。
[0054](图像传感器的硬件结构)
[0055]参照图2来说明图像传感器I的硬件结构。图像传感器I大致由摄像头11和图像处理装置10构成。
[0056]摄像头11是用于将工件2的图像取入至图像处理装置10的设备，例如能够合适地使用CMOS (Comp lementary Meta 1-Oxide-Semi conductor)摄像头、CCD (Charge-CoupledDevice)摄像头。输入图像的形式(分辨率、彩色/黑白、静止图像/动画、灰度、数据形式等)是任意的，可以根据工件2的种类或读取的目的合适地选择。在将可见光图像以外的特殊的图像(X射线图像、热图像等)利用于检查的情况下，也可以使用适用于该图像的摄像头。
[0057]图像处理装置10包括CPU(中央运算处理装置)110、作为存储部的主存储器112以及硬盘114、摄像头接口 116、输入接口 118、显示控制器120、PLC接口 122、通信接口 124、数据读取器/记录器126。上述各部分经由总线128可相互数据通信地连接。
[0058]摄像头接口116是进行CPUl 10与摄像头11之间的数据传送的部分，该摄像头接口116具有用于暂时存储来自摄像头11的图像数据的图像缓冲器116a。输入接口 118进行CPUllO与输入部(鼠标13、键盘、触摸面板、点动控制器等)之间的数据传送。显示控制器120与液晶显示器等显示器12连接，用于控制该显示器12中的显示。PLC接口 122进行CPUllO与PLC4之间的数据传送。通信接口 124进行CPUllO与控制台(或个人计算机、服务器装置)等之间的数据传送。数据读取器/记录器126进行CPUllO与作为存储介质的存储卡14之间的数据传送。
[0059]图像处理装置10能够由具有通用的结构的计算机构成，通过CPUllO读取并执行存储于硬盘114或存储卡14的程序(命令代码)来提供各种功能。这样的程序以非暂时地存储于存储卡14或光盘等的计算机可读取的记录介质的状态流通。
[0060]在将通用的个人计算机作为图像处理装置10使用的情况下，除了本实施方式所述的用于提供物体判别功能的应用程序以外，还可以安装用于提供计算机的基本功能的OS(操作系统)。在该情况下，本实施方式的程序也可以通过利用OS提供的程序模块来实现作为目的的功能。此外，本实施方式的程序也可以作为单体的应用程序来提供，也可以作为编入为其他程序的一部分的模块来提供。另外，其功能的一部分或全部也可以用专用的逻辑电路来代替。
[0061](图像处理装置的功能结构)
[0062]图像处理装置10具有使用模版匹配的技术从输入的图像中检测出检测对象的物体的功能。图3示出了图像处理装置提供的物体检测(位置检测)的功能结构。图像处理装置10作为位置检测的功能，具有图像输入部130、对照范围决定部131、特征量获取部132、图像对照部133、输出部134、存储部135、设定部136。上述功能模块通过图像处理装置10的CPUl 1执行计算机程序来实现。
[0063]图像输入部130是获取摄像头11拍摄的工件的图像的功能部。对照范围决定部131是决定进行与模型图像的对照的范围(对照范围)的功能部。对照范围的大小与模型图像的大小相同，其位置由对照范围决定部131决定。对照范围的位置可以通过输入图像的扫描依次改变，也可以进行简单的物体检测处理而由物体所存在的位置来决定。
[0064]特征量获取部132是从输入图像获取特征点及其位置的亮度梯度方向的功能部。在本实施方式中，采用边缘点来作为特征点。边缘点的获取方法能够采用现有的任意手法。例如，首先，对输入图像应用索贝尔滤波器等微分滤波器来求得亮度梯度向量(亮度梯度方向)，在亮度梯度方向上能够提取特定的点来作为边缘点，该特定的点是指梯度向量的大小取极大值的点。此外，优选在边缘检测的前后实施细线化处理。
[0065]图像对照部133进行由对照范围决定部131决定的输入图像中的对照范围和存储于存储部135的模型图像135a之间的对照，并判别对照对象物体是否存在于对照范围内。后面进行详细叙述，但图像对照部133对特征点的位置偏移与亮度梯度的方向偏移分别设置规定的允许范围来进行对照处理。为了能进行这样的处理，图像对照部133保持位置偏移允许量133a、方向偏移允许量133b以及对照阈值(判定阈值)133c来作为对照参数。
[0066 ] 输出部134输出利用图像对照部13 3的对照结果。例如，图像对照部13 3检测出对照对象物体的输入图像中的位置通过图像中的增强显示或数值等被输出。
[0067]存储部135存储与对照对象物体相关的信息(称为模型图像)。图5示出了存储于存储部135的模型图像135a的一个例子。在模型图像135a中包含对照对象的物体50的边缘点(特征点)的位置51和该点的亮度梯度的方向52。在图5中示出了 8个边缘点，但边缘点的数量可以是任意的，其数量也可以是几十?几百个或更多。
[0068]设定部136是用户能够设定图像对照部133在进行对照时所使用的对照参数即位置偏移允许量133a、方向偏移允许量133b以及对照阈值133c的功能部。上述参数的设定方法在后面进行详细叙述。
[0069](图像对照处理)
[0070]在本实施方式的图像对照处理中，在判断与包含于模型图像的特征点(模型特征点)相对应的特征点是否存在于输入图像中时，允许特征点的位置以及亮度梯度方向的偏移来进行判断。具体而言，如果在与模型特征点的位置偏移允许范围相对应的输入图像中存在亮度梯度方向在模型特征点中的亮度梯度方向的方向偏移允许范围内的特征点，则判断为与模型特征点相对应的特征点存在于输入图像中。
[0071]下面，一边参照图4的流程图，一边对本实施方式的图像处理装置10进行的图像对照处理进行更加详细的说明。
[0072]首先，图像处理装置10经由图像输入部130获取摄像头11拍摄的图像(S10)。下面，将该图像称为输入图像。特征量获取部132从输入图像获取边缘点以及各边缘点的亮度梯度方向(S12)。
[0073]对照范围决定部131从输入图像来决定与模型图像进行对照的范围(对照范围)(S14)。对照范围也可以是对输入图像依次扫描的位置。或者，也可以另外单独进行简单的物体检测处理而将检测对象物体所存在的位置作为对照范围。从步骤S14到S26的处理分别在每个对照区域进行。
[0074]在将对照得分复位为0(S16)后，图像对照部133对与模型图像的各边缘点相对应的边缘点是否存在于输入图像的对照范围内进行对照(S18)。若对应的边缘点存在于输入图像中，则使对照得分增加I，若不存在，则不做任何操作，对下一个边缘点进行对照。此外，在本实施方式中，对照得分是将模型图像中的边缘点数量作为最大值的整数，也可以采用将规定值(例如，100)作为最大值的正规化的值来作为对照得分。
[0075]在判定对应的边缘点是否存在时，图像对照处理允许边缘点的位置偏移和亮度梯度的方向偏移。指定该允许量的对照参数为位置偏移允许量133a以及方向偏移允许量133bo
[0076]图6是用于说明位置偏移允许量133a以及方向偏移允许量133b的图。在本实施方式中，位置偏移允许量133a被指定为距模型图像中的边缘点51的距离61。即，以模型图像中的边缘点51的位置为中心的具有规定的半径61的圆62为位置偏移的允许范围。方向偏移允许量133b被指定为与模型图像中的边缘点51中的亮度梯度的方向52所成的角度63。即，以模型图像中的亮度梯度的方向为中心的角度63以内的范围64为方向偏移的允许范围。
[0077]参照图7对步骤S18的处理进行说明。图7(a)示出了模型图像，在此与图5相同，包括8个边缘点71a?78a以及各边缘点的亮度梯度方向。图7(b)示出了由特征量获取部132所获取的输入图像的边缘点71b?78b以及各边缘点的亮度梯度方向。
[0078]在步骤S18中，图像对照部133对与模型图像的边缘点相对应的边缘点是否存在于输入图像中进行对照。此时，允许由位置偏移允许量133a所指定的位置偏移以及由方向偏移允许量133b所指定的边缘点位置的亮度梯度方向的方向偏移。具体而言，在输入图像中，若亮度梯度方向在方向偏移允许量133b以内的边缘点存在于模型图像的边缘点位置的位置偏移允许量133a的范围内，则判定为与模型图像的边缘点相对应的边缘点存在于输入图像中。
[0079]参照图7(c)来进行说明。图7(c)是将图7(a)的模型图像与图7(b)的输入图像重合显示的图。在此，用圆形来表示以模型图像的边缘点71a?78a为中心的位置偏移允许范围。亮度梯度方向的方向偏移允许范围省略图示。
[0080]就边缘点73a、75a?78a的5个边缘点而言，具有相同的亮度梯度方向的边缘点73b、75b?78b存在于输入图像中的相同位置，因此，判断为与各边缘点相对应的边缘点存在于输入图像中。就边缘点71a而言，虽然与具有相同的亮度梯度方向的边缘点71b存在于完全不同的位置，但存在于位置偏移允许范围内，因此，判断为对应的边缘点存在于输入图像中。就边缘点72a而言，虽然与具有方向偏移允许范围内的亮度梯度方向的边缘点72b不是相同方向，但存在于相同位置，因此，判断为对应的边缘点存在于输入图像中。就边缘点74a而言，虽然与亮度梯度方向不同但在方向偏移允许范围内的边缘点74b存在于不同位置，但在位置偏移允许范围内，因此，判断为对应的边缘点存在于输入图像中。
[0081]如上所述，在对模型图像中的全部的边缘点反复地进行步骤S18?S20的处理后，图像处理装置10判定所得的对照得分是否在规定的对照阈值以上(S22)。
[0082]若这样算出的对照得分在规定的对照阈值以上，则图像对照部133判定对照对象的物体存在于输入图像的探索范围内(S24)。相反，若对照得分小于对照阈值，则判定对照对象的物体不存在于输入图像的探索范围内(S26)。
[0083]图像处理装置10改变对照区域而反复进行上述步骤S14?S26的处理，在完成对全部的对照区域的对照处理后输出对照结果。对照结果可以发送至输出部134进行显示，也可以作为图像处理装置10中的其他处理(例如，检查处理等)的输入来使用。此外，也可以不在全部的对照范围的对照处理完成后输出对照结果，而在每I个对照范围的处理完成后或每次物体被检测后输出对照结果。
[0084](对照结果)
[0085]参照图8对允许边缘点的位置偏移以及亮度梯度的方向偏移的对照处理(模版匹配处理)的效果进行说明。图8(a)是示出对照对象的物体的模型图像的例子，在此，是具有T字形形状的物体。
[0086]图8(b)?图8(d)示出对照对象的物体变形的情况的输入图像以及各设定的对照得分。图8(b)?图8(d)中的“位置0、方向O” “位置0、方向3” “位置3、方向O”等表示允许多少位置偏移以及方向偏移。在此，将分别的偏移允许量设定为O?5的6个等级，O不允许偏移，5允许最大的偏移。另外，图中也示出了使用分别的对照参数进行图像对照的结果的对照得分。该对照得分的最大值被设定为100。
[0087]图8(b)示出产生宽度变细的变形的情况的输入图像。在这样的物体的宽度变细或变粗的变形中，边缘点中的亮度梯度方向不变化，边缘点的位置变化。因此，在位置偏移的允许量变大的“位置3、方向O”的设定下，对照得分变大。即，在产生变细或变粗的变形的情况下，也能够正确地检测出物体。
[0088]图8(c)示出在本来为直线的部分产生缺损的情况的输入图像。在产生这样的缺损的变形中，边缘点的位置并没有变化，但边缘点中的亮度梯度方向变化。但是，在允许小的位置偏移与比较大的方向偏移的“位置1、方向4”的设定下，对照得分变大。即，在产生缺损的变形的情况下，也能够正确地检测出物体。
[0089]图8(d)示出物体的形状歪斜的情况的输入图像。在这样的变形中，边缘点的位置以及边缘点中的亮度梯度方向的两者都变化。因此，在对位置偏移以及方向偏移的两者都进行比较大地允许的“位置2，方向3”的设定下，对照得分变大。即，在产生歪斜等的变形的情况下，也能够正确地检测出物体。
[0090]此外，若将位置偏移以及方向偏移的允许量变大，则对照得分变大，因此，能够使漏掉想检测出的物体(假阴性)的概率变小。然而，若胡乱地将允许量变大，则错误检测(假阳性)的概率也会变大。因此，通过设定与检测对象物体的变形的性质相对应的位置偏移以及方向偏移的允许量，既能够将错误检测的可能性降至最小限度，又能够合适地检测出检测对象物体。这是因为，在本实施方式中，除了特征点的位置偏移以外，也允许亮度梯度方向的方向偏移，并且与以往相比能够详细地指定允许的形状变化。
[0091 ](对照参数的设定方法)
[0092]在此对特征点的位置的偏移和各特征点位置的亮度梯度方向的偏移等的对照参数的设定方法进行说明。设定部(允许范围设定单元)136在显示器12上显示设定用的用户界面，用户使用鼠标13等输入对照参数。
[0093]图9(a)示出对照参数设定用的用户界面的一个例子。在该例子中，用户可数值输入位置偏移允许量、方向偏移允许量以及判定阈值(对照阈值)。位置偏移允许量可以被指定为像素单位等的绝对值，也可以被指定为模型图像的大小(例如，横向尺寸的大小)的相对值。方向偏移允许量通过度数被指定。判定阈值被指定为从对照得分的最小值到最大值(在该例子中为O?100)之间的数值。
[0094]另外，优选根据被输入的数字来显示表示位置偏移允许范围以及方向偏移允许范围的图像。若数值被更新，则图像也被更新，因此，容易可视地理解允许量。另外，也可以输入上述参数来在图像上变更位置偏移允许范围或方向偏移允许范围。
[0095]这样，通过能够输入具体的数值，用户能够正确地指定与对照相关的设定。
[0096]图9(b)示出对照参数设定用的用户界面的其他例子。在本例子中，不是输入图9(a)所示的具体的数值，而是输入表示允许的误差的大小的等级。在图9(b)的例子中，能够将位置偏移允许量、方向偏移允许量以及判定阈值全都利用0-10的11个等级进行指定。各等级与与具体的参数的值可在内部预先设定。可以使参数的值根据等级等间隔地变大，例如，位置偏移允许量每上升I个等级增加3个像素，方向偏移允许量每上升I个等级增加10度等。另外，也可以不是根据等级的增加而等间隔地增加的设定，而是非等间隔地增加的设定。此外，可设定的等级数可以是图9(b)所示的11个等级以外的任意数量，另外，对每个参数的可设定等级数也可以不同。
[0097]优选被输入的等级与具体的参数值之间的对应关系根据对照对象物而变化。为此，根据对照对象物的种类预先准备对应关系，用户可以输入对照对象物的种类或者可以通过图像识别获取对照对象物的种类，从而选择基于哪个对应关系来决定参数值。
[0098]这样，通过输入允许等级的形式，用户容易直观地理解与对照相关的设定。
[0099]图10(a)示出对照参数设定用的用户界面的其他例子。在图9(a)、(b)中，用户可分别独立地对位置偏移允许量与方向偏移允许量进行设定，但在该例子中，若允许哪种变形样式，则使用户设定该允许程度的2个值。作为允许变形样式，在该例子中，准备了 “变细/变粗，，“缺损” “其他”3个样式。
[0100]用户从上述3个允许的变形样式中选择任意I个，另外，指定表示允许该程度的变形量的允许等级。变形样式以及允许等级的组合与实际设定的对照参数可以预先对应地存储。图10(b)是对变形样式以及允许等级的组合和位置偏移允许量以及方向偏移允许量的组合之间的对应关系进行定义的表。此外，也可以不存储表，而为每个变形样式存储用于由允许等级计算出各允许量的计算式(函数)。
[0101 ] “变细/变粗”假定为具有宽度的物体的粗度变化的变形，即亮度梯度方向不变化而特征点位置变化的变形。因此，随着变形量的允许等级变大，将位置偏移允许量设定得更大。“缺损”假定为直线的边界变为锯齿状的变形，即特征点位置变化少且亮度梯度方向变化比较大的变形。因此，随着变形量的允许等级变大，将方向偏移允许量设定得更大。“其他”假定为上述2个变形样式未假定的任意的变形。因此，随着变形量的允许等级变大，将位置偏移允许量以及方向偏移允许量的量设定得越大。
[0102]此外，在此所示的数值只不过是一个例子，也可以根据与具体的对照参数的对应关系合适地决定。另外，允许的变形样式并不限定于上述的3个种类，可以更多也可以更少。另外，在上述的例子中，用户可以设定位置偏移允许量与方向偏移允许量，但也可以构成为用户只可以设定任意一方。另外，在该例子中，省略了关于判定阈值的设定的记载，但也可以另外单独指定判定阈值，也可以根据允许等级的大小自动地变更。
[0103]这样，通过指定允许的变形样式与允许的变形量的等级，用户容易更加直观地理解与对照相关的设定。
[0104]〈第二实施方式〉
[0105]在本实施方式中，通过存储与模型图像中的特征点一致的输入图像中的特征点的位置，能够识别对照对象物体的形状变化。本实施方式的图像传感器具有与第一实施方式的图像传感器基本相同的结构，因此，主要对不同的部分进行说明。图12是本实施方式的图像传感器I的图像处理装置20的功能模块图。与第一实施方式的图像处理装置10的不同点是设有对应点位置存储部137。
[0106]图像对照部133寻找与模型图像的特征点相对应的输入图像中的特征点(图4的流程图的步骤S18)。在此，图像对照部133将与模型图像的特征点相对应的输入图像中的特征点的位置存储于对应点位置存储部137。此外，就模型图像中的全部的特征点而言，也可以存储输入图像中的对应的特征点的位置，也可以只存储后面所述的输出对应点位置的特征点。
[0107]在输出对照对象物体(工件)的检测位置来作为对照结果时，输出部134输出存储于对应点位置存储部137的与模型图像的特征点相对应的输入图像中的特征点的位置。此夕卜，输出目的地可以是显示器12，也可以是PLC4那样的外部装置。
[0108]用户能够通过设定部136指定，从输出部134输出与模型图像中的特征点中的哪个特征点相对应的输入图像中的特征点的位置。作为输出对象的特征点的数量可以是任意的。越高密度地输出对应点，则越能够识别详细的形状变化，因此，也可以根据所需的形状变化的识别精度来决定输出的特征点的数量。
[0109]根据本实施方式的图像传感器I，能够合适地识别工件的形状变化。特别地，在将与模型图像的特征点相对应的输入图像中的特征点的位置向PLC4输出的情况下，PLC4能够识别工件的形状变化来对工件的特定位置(部位)进行操作。下面，对利用本实施方式的图像传感器的处理系统进行说明。
[0110]例如，在图1、图2所示的系统和由蔬菜的加工机组成且PLC4控制加工机的处理系统中，能够合适地使用本实施方式的图像传感器I。考虑加工机切掉蔬菜(例如，茄子)的蒂的情况。蔬菜因个体差异大而需要认定要切掉的蒂的位置。因此，也可以设定为，在模型图像中选定用于认定蒂的部位的特征点的位置，并将与该特征点相对应的输入图像中的特征点从图像传感器I向PLC4输出。PLC4能够基于从图像传感器I获得的特征点位置来认定蒂的部位，从而对加工机进行指示以切掉蒂的部位。
[0111]另外，在图1、图2所示的系统和由从传送带上把持(拣选)工件并使之移动的传送机械组成的系统中，在PLC4控制传送机械的情况下，也能够合适地使用本实施方式的图像传感器I。优选在传送机械把持工件并使之移动的情况下认定把持的位置。因此，也可以设定为，在模型图像中选定用于认定把持部位的特征点的位置，并将与该特征点相对应的输入图像中的特征点从图像传感器I向PLC4输出。PLC4能够基于从图像传感器I获得的特征点位置来认定要把持的部位，从而对传送机械进行指示以使该传送机械把持工件的该部位并移动。
[0112]此外，上述的说明只不过是例示，也能够将本实施方式的图像传感器合适地应用于一般的处理系统，该处理系统包括对工件进行操作的处理装置、图像传感器、掌管处理装置的控制的控制装置，并且由控制装置对处理装置进行指示，使得基于从图像传感器输出的特征点位置进行操作。
[0113]根据这样的处理系统，通过来自图像传感器的输出，能够合适地识别工件的形状变化，并且能够考虑形状变化来对工件进行处理，因此，能够可靠地对工件进行操作。
[0114](变形例)
[0115]上述的实施方式的结构只不过是表示本发明的一个具体例，并不是限定本发明的范围。本发明在不脱离其技术思想的范围内，能够采取各种的具体结构。
[0116]例如，上面将生产线中的用于进行工件的位置检测的系统作为例子进行了说明，但本发明的图像对照能够适用于从图像检测出对照对象物的任意用途。例如，本发明的一个实施方式也能够作为用于识别手写文字的系统进行安装。另外，本发明的另一个实施方式也能够作为如下系统进行安装，即，经由记录介质或网络获取图像数据，并将该图像数据作为对象进行图像对照。
[0117]另外，在上述的说明中，采用边缘点来作为特征点，但特征点若是从图像寻找的具有特征的点，则能够采取任意的点。除了边缘点以外，也能够采用利用SIFT、SURF、Harri s角点等各种各样的手法所提取的特征点。
[0118]另外，在上述的说明中，将位置偏移的允许范围设定为距模型图像中的特征点的位置在规定距离以内的范围即圆形区域，但这不是必须的。允许范围除了圆形以外，也能够设定为矩形(正方形以及长方形)、椭圆、多边形等任意形状的区域。例如，如图11(a)所示，能够将位置偏移允许范围设定为以特征点位置为中心的正方形。这样一来，能够通过X坐标的位置偏移与y坐标的位置偏移是否分别在规定值以内来判断是否在允许范围内，因此，处理负载变少。在图11(a)中，X坐标的位置偏移与y坐标的位置偏移的允许量也可以不同。在该情况下，成为图11(b)所示的长方形的允许范围，从而能够比较大地允许向特定方向的位置偏移。图11(c)是将允许范围设定为菱形的例子。这样一来，能够通过X坐标的位置偏移与y坐标的位置偏移的和是否在规定值以内来判断是否在允许范围内，因此，处理负载变少。该方法不采用欧几里德距离而采用曼哈顿距离来作为距离测度，来允许规定的距离以内的位置偏移。另外，图11(d)是将允许范围设定为以特征点位置为中心的椭圆形状的例子。这样一来，由于能够比较大地允许向特定的方向的位置偏移，因此，优选将容易位置偏移的方向决定的物体作为对象的情况。允许范围除了在此所示的形状以外，也能够设定为任意形状。
[0119]另外，不需要将方向偏移的允许范围设定为以模型图像中的亮度梯度方向为中心的角度范围。如图11(e)所示，也可以根据方向使方向偏移的允许量不同。在该情况下，也可以分别对顺时针方向的偏移允许量和逆时针方向的偏移允许量进行设定。
[0120]另外，在上述的说明中，就模型图像中的全部的特征点而言，对适用于同一偏移允许基准的对应的特征点是否存在于输入图像中进行判定，但每个特征点也可以适用于不同的允许基准。即，也可以对每个特征点设定允许的位置偏移量以及方向偏移量。
[0121]在图1中，摄像头与图像处理装置分别单独地构成，但也能够使用摄像头与图像处理装置为一体结构的图像传感器。另外，也可以在图像处理装置连接多个摄像头，也可以用I个图像传感器进行多条生产线的测量和监视。另外，也可以应用网格计算、客户服务器系统、云计算等技术，也可以用其他计算机执行图像处理装置的功能的一部分或全部。
[0122]附图标记的说明如下:
[0123]1:图像传感器
[0124]2:工件
[0125]3:传送带
[0126]4:PLC
[0127]10:图像处理装置
[0128]11:摄像头
[0129]12:显示器
[0130]130:图像输入部
[0131]131:对照范围决定部
[0132]132:特征量获取部
[0133]133:图像对照部
[0134]134:输出部
[0135]135:存储部
[0136]136:设定部
【主权项】
1.一种图像对照装置，其特征在于， 具有: 存储部，对模型图像进行存储，该模型图像包括对照对象的物体的特征点的位置以及各特征点的位置中的亮度梯度的方向， 特征量获取部，从输入图像获取特征点的位置以及各特征点的位置中的亮度梯度的方向，以及 图像对照部，进行所述模型图像与所述输入图像的对照； 所述图像对照部对特征点的位置以及各特征点的位置中的亮度梯度的方向的两者设置允许范围并进行图像对照。2.如权利要求1所述的图像对照装置，其特征在于， 就包含于模型图像的特征点(下面，称为模型特征点)而言，如果在与该模型特征点的位置偏移允许范围相对应的输入图像中存在亮度梯度方向在模型特征点中的亮度梯度方向的方向偏移允许范围内的特征点的情况下，所述图像对照部判断为与所述模型特征点对应的特征点存在于输入图像中。3.如权利要求1或2所述的图像对照装置，其特征在于， 特征点的位置的允许范围是以所述模型图像中的特征点的位置为中心的矩形、圆形、椭圆形中的任意形状。4.如权利要求1?3中任一项所述的图像对照装置，其特征在于， 亮度梯度的方向的允许范围是以所述模型图像中的亮度梯度的方向为中心的规定的角度范围。5.如权利要求1?4中任一项所述的图像对照装置，其特征在于， 所述特征点为边缘点。6.如权利要求1?5中任一项所述的图像对照装置，其特征在于， 还具有允许范围设定单元，该允许范围设定单元供用户设定所述图像对照中的特征点的位置以及各特征点中的亮度梯度的方向的允许范围。7.如权利要求6所述的图像对照装置，其特征在于， 所述允许范围设定单元构成为，用户能够设定特征点的位置的允许范围以及各特征点的位置中的亮度梯度的方向的允许范围的任一个或双方。8.如权利要求6所述的图像对照装置，其特征在于， 所述允许范围设定单元构成为，预先将允许的变形样式以及允许的变形量的等级的组合和特征点的位置的允许范围以及各特征点的位置中的亮度梯度的方向的允许范围的组合对应地存储，并由用户选取允许的变形样式和允许的变形量的等级，从而基于来自该用户的输入来决定特征点的位置的允许范围以及各特征点的位置中的亮度梯度的方向的允许范围。9.如权利要求1?8中任一项所述的图像对照装置，其特征在于， 还具有: 对应点位置存储单元，将被所述图像对照部检测出的与模型特征点相对应的输入图像中的特征点的位置和所述模型特征点关联地存储， 输出单元，输出存储于所述对应点位置存储单元的与模型特征点相对应的输入图像中的特征点的位置。10.如权利要求9所述的图像对照装置，其特征在于， 还具有设定单元，该设定单元从用户接受对输出与哪个模型特征点相对应的输入图像中的特征点的指定。11.一种图像传感器，其特征在于， 具有: 摄像头，用于拍摄物体， 权利要求1?10中任一项所述的图像对照装置，该图像对照装置判别在从所述摄像头输入的图像中是否包含所述对照对象的物体，并输出其结果。12.一种图像传感器，其特征在于， 摄像头，用于拍摄物体， 权利要求9或10所述的图像对照装置，该图像对照装置判别在从所述摄像头输入的图像中是否包含所述对照对象的物体，在包含所述物体的情况下，从所述输出单元输出与所述模型特征点相对应的输入图像中的特征点的位置。13.—种处理系统， 具有: 控制装置，对进行对照对象物体的操作的处理装置进行控制，以及 权利要求12所述的图像传感器； 其中， 所述图像传感器的输出单元向所述控制装置输出与所述模型特征点相对应的输入图像中的特征点的位置， 所述控制装置控制所述处理装置，以对基于从所述图像传感器所得的与所述模型特征点相对应的输入图像中的特征点的位置所决定的部位进行操作。14.一种图像对照方法，通过计算机进行，其特征在于， 包括: 存储步骤，对模型图像进行存储，该模型图像包含对照对象的物体的特征点的位置以及各特征点的位置中的亮度梯度的方向， 特征量获取步骤，从输入图像获取特征点的位置以及各特征点的位置中的亮度梯度的方向，以及 图像对照步骤，进行所述模型图像与所述输入图像的对照； 在所述图像对照步骤中，对特征点的位置以及各特征点的位置中的亮度梯度的方向的两者设置允许范围并进行图像对照。15.—种计算机程序，用于使权利要求14所述的物体判别方法的各步骤在计算机中执行。16.一种计算机可读取的记录介质，用于非暂时存储权利要求15所述的计算机程序。
【文档编号】G06T7/00GK105849774SQ201480069612
【公开日】2016年8月10日
【申请日】2014年12月26日
【发明人】小西嘉典
【申请人】欧姆龙株式会社