图像检查方法和检查区域设定方法

图像检查方法和检查区域设定方法
【专利摘要】在本发明的图像检查装置中，使用检查区域定义信息，该检查区域定义信息包含：定义检查区域的初始轮廓的信息；以及定义将以初始轮廓为基准到怎样的范围为止作为要搜索检查区域的轮廓的搜索范围的信息。然后，在初始轮廓上设定多个基点，在搜索范围的内侧的区域中，在通过各基点并与初始轮廓交叉的线段上进行边缘搜索处理，由此，决定与各基点对应的边缘点，通过对得到的多个边缘点进行连接或近似来生成检查区域的轮廓。
【专利说明】图像检查方法和检查区域设定方法

【技术领域】
[0001]本发明涉及进行基于图像的外观检查的图像检查方法和检查区域设定方法。

【背景技术】
[0002]为了实现生产线上的检查的自动化、省力化，进行基于图像的外观检查的图像检查装置已被广泛利用。虽然存在各种外观检查的种类和方法，但是，基本的结构是:利用图像传感器(相机)对检查对象物进行拍摄，从得到的图像中提取作为检查区域的部分，对该检查区域的部分的图像的特征进行分析、评价，由此，进行目的性的检查(例如，良/不良的判定、区分、信息取得等)。
[0003]在这种图像检查装置中，在开始检查处理之前，需要进行检查区域的设定等准备作业。在一般的装置中，准备有用于设定检查区域的专用工具，用户能够使用该工具自己设定与检查对象物和检查目的等对应的适当的检查区域。近年来，尽量缩短安排时间(段取?9時間)以提高多品种少量生产中的效率这样的需求强烈，不希望检查区域的设定耗费劳力和时间。但是，另一方面，为了应对制品形状的复杂化和检查内容的高度化、细分化，并且为了提高检查的精度和可靠性，希望仅在应作为检查的对象的部分上准确地对准检查区域这样的需求也很强烈。
[0004]然而，根据检查对象物的不同，形状中存在个体差异，有时图像内的位置、姿态、缩放(Scale)发生变动。例如,在假定检查在皮带运输机上输送的蔬菜的情况，由于没有一个蔬菜的形状是相同的，并且无法进行准确的定位，因此，图像内的位置、姿态按照每个检查对象物而不同。在零部件安装基板这样的工业制品的检查的情况下，严格地讲各零部件的形状、位置也不相同。因此，如果要进行高精度的检查，需要在按照每个检查对象物设定每次检查区域，或者每次对预先设定的检查区域的偏离进行检查并在需要的情况下从最初重新设定检查区域，因此会妨碍自动检查。另外，如果与检查对象物相比将检查区域设定得非常小，则难以承受个体差异和变动的影响，因此，虽然还能够使用相同的检查区域进行自动检查，但在该方法中，从检查区域偏离的部分露出，因此可能产生检查遗漏。相反，虽然有时采用与检查对象物相比将检查区域的范围设定得足够大的对策，但在该方法中，与检查对象物无关的部分(例如背景或其他的物体)的像素被包含在检查区域中，因此，存在其成为噪声而导致检查精度降低的缺点。
[0005]作为自动地设定检查区域的方法，以往，已知有利用二值化或色域提取的检查区域提取方法。即，是从图像中提取符合预先设定的亮度范围或色域的像素组，并将该像素组作为检查区域的方法。该方法在要提取为检查区域的部分(前景)与其以外的部分(背景)的亮度或颜色的对比度较高的情况是有效的。然而，当在要提取前景部分中存在由于照明等的影响而存在阴影，或者前景部分由各种亮度或颜色构成，或者在背景中存在与前景部分接近的颜色时，通过二值化或色域提取难以准确地仅提取前景部分。最近，检查内容的高度化、细分化发展，例如仅将成型加工部件中的I个切削面作为对象而进行的表面检查，或者希望仅对安装有多个部件的印刷基板上的I个部件进行检查等，大多数情况下背景与前景的之间几乎没有色差。此外，由于二值化、色域提取是按照图像的每个像素而进行的，因此，易受到噪声、照明变动的影响，有时提取出的检查区域中像素丢失，或者反之从背景部分选择了不相邻区域的像素，存在使检查精度降低的问题。
[0006]在非专利文献I中，提出了自动提取图像中存在的对象物(人物、物体等)的轮廓的方法。在该方法中，准备了对对象物的轮廓形状进行定义的形状模型(Shape Model)，并使其适合输入图像中的对象物。此时，将形状模型的位置、姿态、旋转参数与对象物的特征量之间的关系作为评价值，反复进行计算直到使误差最小化。由此，针对形状或位置发生变动的对象物，也能够追踪其轮廓。在非专利文献I的方法中进行如下处理:以与形状模型的轮廓线垂直的方向上的像素值的分布为线索，使形状模型的轮廓适合输入图像中的对象物。此时，为了使形状模型和对象物的轮廓点周围的信息量最小化，需要大量的重复计算，存在计算成本变得庞大的问题。
[0007]现有技术文献
[0008]非专利文献
[0009]非专利文献1:T.F.Cootes, C.J.Taylor, D.H.Cooper, et al., "Active ShapeModels -Their Training and Applicat1n, "Computer Vis1n and Image Understanding，Vol.61，N0.1，January, pp.38-59，1995.


【发明内容】

[0010]发明要解决的问题
[0011]本发明是鉴于上述实际情况而完成的，其目的在于提供如下技术:与检查对象物的形状的个体差异或图像内的位置、姿态、缩放的变动对应地，高速并且高精度地进行自动调整检查区域的处理，由此能够进行高精度的检查。
[0012]用于解决问题的手段
[0013]为了实现上述目的，在本发明中，将检查区域的初始轮廓和搜索范围(容许轮廓的变动的范围)作为检查区域定义信息提供给图像检查装置。然后，在进行检查对象物的检查时，根据初始轮廓通过边缘搜索处理从搜索范围中检测边缘点，通过对这些边缘点进行连接或近似，按照每个检查对象物单独地地决定检查区域。
[0014]具体而言，本发明提供一种由图像检查装置执行的图像检查方法，该图像检查方法的特征在于，其具有以下步骤:取得步骤，取得对检查对象物进行拍摄而得到的检查对象物图像；设定读入步骤，从预先存储有检查区域定义信息的存储装置中读入所述检查区域定义信息；检查区域提取步骤，根据所述检查区域定义信息，从所述检查对象物图像中提取作为检查区域的部分，将其作为检查区域图像；检查处理步骤，通过对所述检查区域图像进行解析来进行所述检查对象物的检查，所述检查区域定义信息包含:定义检查区域的初始轮廓的信息；以及定义将以所述初始轮廓为基准到怎样的范围为止作为要搜索检查区域的轮廓的搜索范围的信息，所述检查区域提取步骤包含以下步骤:基点设定步骤，在所述初始轮廓上设定多个基点；边缘搜索步骤，在所述检查对象物图像的所述搜索范围内的区域中，在通过各基点且与所述初始轮廓交叉的线段上进行边缘搜索处理，由此决定与各基点对应的边缘点；以及轮廓生成步骤，通过对与所述多个基点对应的多个边缘点进行连接或近似，生成所述检查对象物图像的检查区域的轮廓。
[0015]根据该结构，通过以初始轮廓为基准的边缘搜索处理，能够对检查区域的轮廓进行变形，以适合图像中的检查对象物的边缘。因此，在形状存在个体差异的情况下或图像内的位置、姿态、缩放可能发生变动的情况下，也能够与这样的检查对象物的个体差异或变动对应地，适当地并且自动地调整检查区域。而且，由于预先限制进行边缘搜索的范围，因此，能够缩短边缘点的搜索和决定所需要的时间，进而缩短轮廓的生成和检查区域的提取所需要的时间。由此，与以往相比能够进行高速且高精度的检查。
[0016]在所述边缘搜索步骤中，在通过某个基点的线段上存在多个边缘点的候选的情况下，选择任意一个边缘点候选，作为该选择方法，例如存在如下方法。一个方法是，选择多个候选中的与该基点最近的候选作为与该基点对应的边缘点。在个体差异或变动不太大的检查对象物的情况下，该方法能够得到高精度的结果。作为另一个选择方法优选如下方法:从多个候选中选择如下候选作为与该基点对应的边缘点，该候选与该基点之间的距离最接近存在于该基点的周边的周边基点与对应于所述周边基点的周边边缘点之间的距离。在个体差异或变动比较大的检查对象物的情况下，如该方法这样考虑周边的边缘点能够得到高精度的结果。
[0017]在所述边缘搜索步骤中，还假定从通过某个基点的线段上I个边缘点也没有被检测到的情况。作为该情况的例外处理，例如能够采用在与该基点相同的位置上设定与该基点对应的边缘点的方法、或者通过对分别与存在于该基点的周边的多个周边基点对应的多个周边边缘点进行插值来求出与该基点对应的边缘点的位置的方法等。在个体差异或变动较小的检查对象物的情况下，前者的方法能够得到高精度的结果，在个体差异或变动较大的检查对象物的情况下，后者的方法能够得到高精度的结果。
[0018]此外，优选的是，在所述边缘搜索步骤中，根据与存在于该基点的周边的周边基点对应的周边边缘点的位置，相比所述搜索范围进一步缩小搜索与某个基点对应的边缘点的范围。或者，优选的是，所述边缘搜索步骤包含以下步骤:粗搜索步骤，根据在所述初始轮廓上稀疏地配置的多个基点来决定对应的边缘点；以及详细搜索步骤，根据比所述粗搜索步骤密集地配置的多个基点来决定对应的边缘点，在所述详细搜索步骤中，根据在所述粗搜索步骤中决定的边缘点的位置，相比所述搜索范围进一步缩小搜索与某个基点对应的边缘点的范围。通过这些处理进一步缩小边缘搜索范围，由此，能够进一步缩短边缘点的搜索和决定所需要的时间。
[0019]优选的是，在所述轮廓生成步骤中，判定生成的轮廓是否包含于所述搜索范围内，在存在从所述搜索范围偏离的部分的情况下，修正所述轮廓，以使得该部分包含于所述搜索范围内。由此，能够防止用户在未预定的位置处设定检查区域的轮廓。
[0020]此外，本发明之一是检查区域设定方法，其用于对执行上述的图像检查方法的图像检查装置设定所述检查区域定义信息，该检查区域设定方法的特征在于，其包含以下步骤:取得步骤，计算机取得检查对象物的样本图像和针对所述样本图像设定的检查区域；轮廓提取步骤，计算机提取所述检查区域的轮廓；范围设定步骤，计算机使用户设定所述检查区域的轮廓能够变动的范围；以及定义信息生成步骤，计算机根据所述检查区域的轮廓和由用户设定的范围，生成包含定义初始轮廓的信息和定义搜索范围的信息在内的检查区域定义信息。
[0021]如果利用该方法，能够简单地进行图像检查装置中的检查区域提取(边缘搜索)所需要的检查区域定义信息的设定(作成)作业。
[0022]在所述范围设定步骤中，可以是能够按照所述检查区域的轮廓上的每个位置设定不同的范围。由此，例如，能够实现对位置或形状等的变动较大的部分设定较大的搜索范围、对变动较小的部分或不容许较大的变动的部分设定较小的搜索范围这样的灵活的范围设定。其结果，能够使图像检查装置中的检查区域提取(边缘搜索)所需要的时间最优化，实现处理时间的缩短。
[0023]所述定义初始轮廓的信息可以包含如下信息，该信息对在所述图像检查方法的边缘搜索处理时在所述初始轮廓上设定的多个基点的位置进行定义。由此，能够使边缘搜索处理中的基点的设定简单化，实现处理时间的缩短。而且，该情况下，所述检查区域设定方法可以包含如下步骤:计算机使用户设定基点的数量、间隔或配置；以及计算机根据由用户设定的基点的数量、间隔或配置，决定在所述初始轮廓上设定的多个基点的位置。
[0024]另外，能够获得具有上述手段中的至少任意一个手段的图像检查装置作为本发明，还能够获得具有与上述的检查区域设定有关的手段中的至少任意一个手段的图像检查装置用的检查区域设定装置作为本发明。此外，还能够获得执行上述处理中的至少任意一个处理的图像检查方法或检查区域设定方法、或者用于使图像检查装置或计算机执行该方法的程序、计算该程序的存储介质作为本发明。
[0025]发明的效果
[0026]根据本发明，能够与检查对象物的形状的个体差异或图像内的位置、姿态、缩放的变动对应地，高速并且高精度地进行自动调整检查区域的处理，由此能够进行高精度的检查。

【专利附图】

【附图说明】
[0027]图1是示意地示出图像检查装置的结构的图。
[0028]图2是示出检查处理的流程的流程图。
[0029]图3是用于说明检查处理中的检查区域的提取过程的图。
[0030]图4是示出检查区域的计算处理的详细情况的流程图。
[0031]图5是示意地示出检查区域定义信息的结构的图。
[0032]图6是概念性地示出检查区域的计算处理的图。
[0033]图7是示出检查区域定义信息的设定画面的一例的图。
[0034]图8是示出第2实施方式的处理的流程图。
[0035]图9是用于说明第2实施方式的处理的图。
[0036]图10是用于说明第3实施方式的处理的图。
[0037]图11是用于说明第4实施方式的处理的图。
[0038]图12是用于说明第5实施方式的处理的图。
[0039]图13是用于说明第6实施方式的处理的图。
[0040]图14是用于说明在检测到多个边缘点候选的情况下通过插值来决定轮廓线的方法的图。

【具体实施方式】
[0041]以下叙述的实施方式涉及进行基于图像的外观检查的图像检查装置，以及用于支援生成向图像检查装置提供的检查区域定义信息的作业的检查区域设定装置。该图像检查装置适合利用于在FA的生产线等中自动或半自动地连续检查大量物品的用途等。不管作为检查对象的物品的种类，在本实施方式的图像检查装置中使用由图像传感器拍摄到的原始图像按照每个检查对象物适当地决定检查区域并进行检查，因此，能够特别优选应用于原始图像中的检查区域的位置、形状按照每个检查对象物而变动的情况。外观检查的目的、检查项目多种多样，本实施方式的检查区域设定装置对哪种检查都能够合适地进行应用。另外，在本实施方式中，以作为图像检查装置的一个功能(设定工具)的方式安装有检查区域设定装置，但是，图像检查装置和检查区域设定装置也可以分别独立构成。
[0042]<第I实施方式>
[0043](图像检查装置)
[0044]图1示意地示出图像检查装置的结构。该图像检查装置I是对在输送路上输送的检查对象物3进行外观检查的系统。
[0045]如图1所示，图像检查装置I由装置主体10、图像传感器11、显示装置12、存储装置13、输入装置14等硬件构成。图像传感器11是用于将彩色或单色的静态图像或者动态图像取入装置主体10的设备，例如能够适合用于数字相机。其中，在用于检测可见光像以外的特殊图像(X线图像、热图像等)的情况下，使用与这种图像对应的传感器即可。显示装置12是用于显示由图像传感器11取入的图像、检查结果、以及与检查处理或设定处理相关的GUI画面的设备，例如能够使用液晶显示器等。存储装置13是用于存储图像检查装置I在检查处理中参照的各种设定信息(检查区域定义信息、检查逻辑等)、和检查结果等的设备，例如能够利用HDD、SSD、闪存、网络存储等。输入装置14是用户为了对装置主体10输入指示而进行操作的设备，例如能够利用鼠标、键盘、触摸面板、专用控制台等。
[0046]装置主体10在硬件上能够由具有CPU(中央运算处理装置)、主存储装置(RAM)、辅助存储装置(ROM、HDD、SSD等)的计算机构成，在功能上具有检查处理部15、检查区域提取部16、设定工具17。检查处理部15和检查区域提取部16是与检查处理相关的功能，设定工具17是支援检查处理所需要的设定信息的用户进行的设定作业的功能。这些功能是通过将辅助存储装置或存储装置13中存储的计算机程序下载到主存储装置中并由CPU执行而实现的。另外，图1仅是示出装置结构的一例，也可以将图像传感器11、显示装置12、存储装置13、输入装置14的全部或一部分与装置主体10 —体化。另外，装置主体10可以由个人计算机或平板式终端那样的计算机构成，或者，也能够由专用芯片或机载计算机等构成。
[0047](检查处理)
[0048]参照图2和图3来说明与图像检查装置I的检查处理相关的动作。图2是示出检查处理的流程的流程图，图3是用于说明检查处理中的检查区域的提取过程的图。这里，为了便于说明，以印刷基板中的电子零部件的位置、姿态、焊接等的检查为例来说明检查处理的流程。
[0049]在步骤S20中，通过图像传感器11对印刷基板30进行拍摄，将图像数据取入装置主体10。另外，在事先拍摄的图像存在于装置主体10的辅助存储装置或存储装置13中的情况下，也可以从辅助存储装置或存储装置13中读入作为检查的对象的数据。此处，根据需要将取入的图像(原始图像；检查对象物图像)显示在显示装置12中。图3(a)的上段示出原始图像的一例。在原始图像中映出作为检查对象物的电子零部件31，在其上侧映出相邻的电子零部件的一部分。该电子零部件31在零部件主体32的两端具有电极33，各电极33被焊接在印刷基板30的连接盘(land) 34上。35表示焊锡。
[0050]在步骤S21中，检查区域提取部16从存储装置13中读入必要的设定信息。设定信息中至少包含检查区域定义信息和检查逻辑。检查区域定义信息是在后段的检查区域的计算处理中使用的信息。后面对其进行详细叙述。检查逻辑是对检查处理的内容进行定义的信息，例如是检查中使用的特征量的种类，判定方法、特征量提取或判定处理中使用的参数和阈值等。
[0051]在步骤S22中，检查区域提取部16使用步骤S21中读入的检查区域定义信息，计算原始图像中的检查区域。图3 (a)的中段示出将步骤S22中求出的检查区域(由交叉阴影示出)36重叠于原始图像上的状况。可知，在检查区域36中选择了电子零部件31和焊锡35的部分。
[0052]在使用图像的外观检查中，希望不会过量或不足而仅提取要作为检查对象的像素作为检查区域36。这是因为，当检查区域36中混入多余的像素时，该多余的像素成为噪声，可能使检查精度降低，相反，当检查区域36小于要作为检查的对象的范围时，可能产生检查的遗漏。不过，检查对象物的位置、姿态、形状不一定始终相同。图3(b)中示出另外的基板中的检查对象物的例子，在该例中，电子零部件31的位置产生偏移和倾斜，并且左侧的焊锡38比规定少。为了应对这样的个别的变动，在本实施方式的装置中，不固定检查区域的位置、形状等，而结合原始图像中的检查对象物的位置、姿态、形状等适当地求出检查区域。其结果，如图3(b)的中段那样得到适当的检查区域39。后面详细叙述该步骤S22的处理。
[0053]在步骤S23中，检查区域提取部16根据步骤S22中求出的检查区域，从原始图像中提取检查区域的部分。图3(a)的下段示出从原始图像中仅提取检查区域36的部分的图像(检查区域图像37)的情况。在检查区域图像37中，删除了印刷基板30的表面、连接盘34、相邻的电子零部件等。将这样得到的检查区域图像37交给检查处理部15。
[0054]在步骤S24中，检查处理部15按照检查逻辑从检查区域图像37中提取必要的特征量。例如，提取零部件主体32的重心的位置和边缘的角度作为用于检查电子零部件31的位置和姿态是否正常的特征量，并且，提取焊锡35的部分的面积和颜色特征作为用于检查焊接是否良好的特征量。
[0055]在步骤S25中，检查处理部15按照检查逻辑进行检查处理。例如，能够在步骤S24中得到的零部件主体32的重心位置或边缘角度偏离容许值的情况下判定为零部件位置不良，在焊锡35的部分的面积或颜色特征异常的情况下判定为焊接不良。
[0056]在步骤S26中，检查处理部15将检查结果显示在显示装置12中，并存储在存储装置13中。以上，对I个电子零部件31的检查处理完成。在生产线中，对一个接一个输送来的检查对象物重复上述的处理。
[0057](检查区域的计算)
[0058]参照图4、图5、图6，对图2的步骤S22中的检查区域的计算处理进行说明。图4是示出检查区域的计算处理的详细的流程图，图5是示意地示出检查区域定义信息的结构的图，图6是概念地示出检查区域的计算处理的图。
[0059]如图5所示，在步骤S21中读入的检查区域定义信息中包含有初始轮廓定义信息和搜索范围定义信息。初始轮廓定义信息是对检查区域的初始轮廓(也称作基准轮廓)进行定义的信息，在本实施方式中，由轮廓线上的多个(η个)点序列Ρ1、Ρ2、...、Ρη的数据构成。此外，搜索范围定义信息是对以初始轮廓为基准将到何种程度的范围位置作为要搜索检查区域的轮廓的搜索范围进行定义的信息，换言之，是对容许检查区域的轮廓的变动的范围进行定义的信息。在本实施方式中，将朝向检查区域的内侧的方向设为正(+)、朝向外侧的方向设为负(_)，以对于初始轮廓的相对的像素数来定义正方向和负方向的搜索范围。在图5的例中，将从初始轮廓的内侧dl像素到外侧d2像素的范围规定为搜索范围。
[0060]按照图4的流程图来说明检查区域的计算处理的流程。
[0061]首先，检查区域提取部16针对原始图像的全部像素计算边缘强度(步骤S400)。边缘强度是表示该像素的边缘似然性的指标，例如能够使用该像素的像素值(浓度值)的微分值。在本实施方式中，分别对原始图像施加X方向、Y方向的索贝尔滤波并生成边缘图像，通过下式求出像素(X，y)的边缘强度E(X，y)。
[0062][式I]
[0063]I a V.V1、Sm x.r r 甲 Sri x.r)
[0064]这里，Sx(x,y)是通过X方向的索贝尔滤波(Sobel filter)生成的边缘图像,Sy (x,y)是通过Y方向的索贝尔滤波生成的边缘图像。另外，该边缘强度的计算方法是一例，也可以使用其他的微分滤波或组合3个方向以上的微分滤波。
[0065]接着，检查区域提取部16根据检查区域定义信息的初始轮廓定义信息，对原始图像配置初始轮廓(步骤S401)。图6(a)中示出原始图像中的检查对象物60和所配置的初始轮廓61的一例。此时，虽然可以直接使用由初始轮廓定义信息定义的初始轮廓的坐标值，但是，在按照每个检查对象物，检查区域的位置或姿态可能较大地(例如偏离搜索范围的程度)变动的情况下，检查区域提取部16也可以使原始图像和初始轮廓的中任意一方平行移动或旋转，从而将初始轮廓61配置成与原始图像中的检查对象物60 —致。这样的处理例如可通过公知的模式匹配来实现，或者，通过利用步骤S400中生成的边缘强度，以使初始轮廓61上的边缘强度的累计值成为最大的方式选择配置，也能够实现。
[0066]接着，如图6(b)所示，检查区域提取部16在初始轮廓61上设定多个基点62 (步骤S402)。在本实施方式中，直接使用初始轮廓61的定义点P1、P2、...、Pn作为基点62。另外，不是必须使基点和初始轮廓的定义点一致，可以使定义点稀疏而设定数量比定义点少的基点，也可以通过在定义点间追加基点而设定数量比定义点多的基点。或者，也可以与定义点无关地在初始轮廓上的任意位置上设定基点。
[0067]接着，检查区域提取部16针对步骤S402中所设定的各个基点执行步骤S403?S409的边缘搜索处理。首先，检查区域提取部16关注I个基点62 (步骤S403)，考虑通过该基点62而与初始轮廓61垂直的法线63 (参照图6(c))。然后，检查区域提取部16在该法线63上进行边缘点的搜索(步骤S404)。此时，检查区域提取部16仅在由搜索范围定义信息规定的搜索范围的内侧的区域进行搜索。本实施方式的情况下，如图6(c)的放大图所示，从基点62向检查区域内侧的dl像素与从基点62向检查区域外侧的d2像素的合计dl+d2像素的范围成为搜索范围。图6(d)中，横轴表示法线63上的位置(从基点62起的距离d)，纵轴表示边缘强度E。在步骤S404中，选择边缘强度E超过规定的阈值Eth的点作为与基点62对应的边缘点的候选。在本例中，检测焊锡和连接盘的分界即点Α、连接盘和基板表面的分界即点B作为边缘点的候选。
[0068]接着，在步骤S405中，根据所检测出的边缘点候选的数量对处理进行分支。在仅有I个边缘点候选的情况下，直接选择该点作为对应边缘点(步骤S406)。在存在多个边缘点候选的情况下，选择与基点62最近的点作为对应边缘点(步骤S407)。在未检测到边缘点候选的情况下，选择基点62作为对应边缘点(步骤S408)。在图6(d)的情况下，由于检测到点A和点B这2个候选，因此，在步骤S407中选择与基点62接近的点A作为对应边缘点。
[0069]针对各基点62依次执行以上的步骤S403?S408的处理(步骤S409)，决定与初始轮廓61上的全部基点62对应的多个边缘点64。然后，检查区域提取部16通过直线或曲线依次连接这些边缘点64，从而生成检查区域的轮廓65 (步骤S410)。如图6(e)所示可知,通过上述步骤求出的轮廓65与初始轮廓61相比，良好地适合原始图像中的检查对象物60的外形。
[0070](检查区域定义信息的设定)
[0071]接着，参照图7对设定工具17的功能和动作进行说明。图7是示出通过设定工具17显示的检查区域定义信息的设定画面的一例的图。
[0072]在启动设定工具17后，在显示装置12中显示图7(a)的设定画面。在该设定画面中设有图像窗口 70、图像取入按钮71、检查区域取入按钮72、基点数设定框73、搜索范围设定框74、定义信息保存按钮75。能够利用输入装置14来进行按钮的选择和对框的输入等操作。另外，该设定画面毕竟仅是一例，可以使用任何的UI，只要能够进行以下说明的参数输入和检查区域的确认等即可。
[0073]在按下图像取入按钮71后，设定工具17从装置主体10的辅助存储装置或存储装置13中读入检查对象物的样本图像的数据。将此处所取得的样本图像如图7(a)所示显示在设定画面的图像窗口 70中。接着，在按下检查区域取入按钮72后，设定工具17从装置主体10的辅助存储装置或存储装置13中读入已针对样本图像设定的检查区域的数据。检查区域的数据的形式可以是任意的形式。例如，可以使用在检查区域的内侧和外侧改变了标签的位掩码(bitmask)等。
[0074]在读入检查区域后，设定工具17提取检查区域的轮廓，并且在该轮廓上配置多个基点，如图7(b)所示，在样本图像的检查对象物76上重叠显示检查区域的轮廓77和基点78。此时，当用户改变基点数设定框73的数值时，能够改变基点78的数量、即密度。
[0075]接着，进行搜索范围的设定。在搜索范围设定框74中，能够独立设定向检查区域的内侧的搜索范围(像素数)和向检查区域的外侧的搜索范围。在图7(c)中，设定为在内侧是10个像素、外侧是14个像素，由此规定的搜索范围79被重叠显示在样本图像上。
[0076]通过以上的画面显示，用户能够一目了然地确认检查区域的轮廓77、基点78的数量和间隔、搜索范围79的大小等。然后，在按下定义信息保存按钮75后，设定工具17根据轮廓77和基点78的坐标值、以及通过搜索范围设定框74设定的值，生成图5所示的检查区域定义信息(初始轮廓定义信息、搜索范围定义信息)。将所生成的检查区域定义信息存储在存储装置13中。
[0077](本实施方式的优点)
[0078]根据以上说明的本实施方式的结构，通过以初始轮廓为基准的边缘搜索处理，能够使检查区域的轮廓变形以适合图像中的检查对象物的边缘。因此，在形状存在个体差异的情况下，或者图像内的位置、姿态、缩放可能变动的情况下，也能够与这样的检查对象物的个体差异和变动对应地，适当地并且自动地调整检查区域。而且，由于预先限制进行边缘搜索的范围，因此，能够缩短边缘点的搜索和决定所需要的时间，进而缩短轮廓的生成和检查区域的提取所需要的时间。由此，与以往相比能够进行高速且高精度的检查。
[0079]此外，在本实施方式中使用如下简单的算法:在针对某个基点检测到多个边缘点候选的情况下选择与基点最近的点，在I个边缘点候选也没有的情况下直接选择基点作为边缘点(图4的S405?S408)，因此，能够降低边缘搜索所需要的计算成本，实现高速处理。本实施方式的步骤S407、S408的处理(选择基点或与基点最近的点的处理)是优先初始轮廓的算法，优选应用于个体差异和变动较小的检查对象物的情况。
[0080]另外，在图4的流程中，在检测到针对I个基点的全部边缘点候选后(步骤S404)，检查边缘点候选的数量(步骤S405)。但是，使用如下算法也能够得到相同的结果:从靠近基点处起依次进行边缘搜索，在检测到I个满足作为边缘点的条件的点(超过阈值Eth的点)的时刻停止搜索处理。该算法的情况下，具有能够进一步缩短边缘点的搜索和决定所需要的时间的优点。
[0081]<第2实施方式>
[0082]参照图8对本发明的第2实施方式进行说明。与第I实施方式的不同之处在于，检测到多个边缘点候选的情况下的边缘点的选择方法，以及I个边缘点候选也没有的情况下的应对方法。其以外的结构和处理与第I实施方式相同。
[0083]图8是示出将第I实施方式的图4的流程中的步骤S403?S409置换后的处理的流程图。根据该流程图说明第2实施方式的特征性的处理。
[0084]检查区域提取部16与第I实施方式的情况同样地，进行检查对象物图像的边缘强度的计算、初始轮廓的配置以及基点的设定(步骤S400?S402)。接着，检查区域提取部16针对全部基点依次进行边缘点的搜索处理(步骤S800)。边缘搜索的算法与第I实施方式的步骤S404的算法相同。
[0085]在完成全部基点的边缘搜索后，检查区域提取部16针对各个基点(步骤S801，S805),确认所检测到的边缘点候选的数量(步骤S802)。在仅有I个边缘点候选的情况下，直接选择该点作为对应边缘点(步骤S803)。在有多个边缘点候选的情况下,选择位于与通过存在于关注基点的周边的周边基点而检测到的边缘点(周边边缘点)类似的位置处的候选，作为对应边缘点(步骤S804)。
[0086]图9 (a)中示出具体例，是放大了初始轮廓90上的3个基点91?93的图。在关注基点92中检测到2个边缘点候选92A、92B。这里，考虑与关注基点92相邻的2个基点91、93作为周边基点，假设在这些周边基点91、93中均仅检测到I个的边缘点91A、93A(或者已经决定了对应边缘点)。图中的dl, d2A、d2B、d3表示基点与边缘点之间的距离。此时,检查区域提取部16例如如下求出选择了候选92A时的距离差的合计SA以及选择了候选92B时的距离差的合计SB。
[0087]SA = |dl-d2A| + |d3-d2A
[0088]SB = I dl-d2B | +1 d3_d2B
[0089]然后，选择距离差的合计最小的边缘点候选作为关注基点92的对应边缘点。在图9(a)的例中，选择点92A。
[0090]对全部基点进行上述的步骤S802?S804的处理，由此，针对检测到I个以上的边缘点候选的基点来决定对应边缘点。
[0091]接着,检查区域提取部16进行针对未检测到任何边缘点候选的基点的应对。具体而言，依次选择关注基点(步骤S806，S809)，如果存在对应边缘点未定的关注基点(步骤S807)，则对周边边缘点进行插值，由此生成关注基点的对应边缘点(步骤S808)。图9(b)中示出具体例。在关注基点92中没有检测到边缘点候选的情况下,考虑与关注基点92相邻的2个基点91、93作为周边基点。然后，选择连结周边边缘点91A、93A的线与关注基点92上的初始轮廓90的法线之间的交点，作为关注基点92的对应边缘点92A。
[0092]这样决定了全部基点的对应边缘点后，进入图4的步骤S410。以降的处理与第I实施方式相同。
[0093]根据以上说明的本实施方式的结构，能够得到与第I实施方式同样的作用效果。图8所示的处理是优先与周边基点对应的边缘点的位置的算法，能够优选应用于个体差异和变动较大的检查对象物的情况。另外，在本实施方式中，考虑将关注基点的两个相邻的基点作为周边基点，但是周边基点的选择方法不限于此。例如，可以选择关注基点的单侧相邻的I个基点作为周边基点，也可以考虑将附近2个、附近3个等以关注基点为中心的规定范围的多个基点作为周边基点。此外，图9所示的方法仅是一个具体例，在对与基点的距离的类似进行评价的方法和对周边边缘点进行插值的方法中可以利用任意的方法。
[0094]<第3实施方式>
[0095]图10示出本发明的第3实施方式。在第3实施方式中，根据周边边缘点的位置缩小关注基点的边缘搜索范围，由此实现边缘搜索处理的进一步高速化。其以外的结构与其他的实施方式相同。
[0096]图10是放大初始轮廓90上的3个基点91?93的图。按照基点91、92、93的顺序进行对应边缘点的搜索处理，图10示出决定基点91的对应边缘点91A并接下来进行关注基点92的边缘搜索的阶段。在第I和第2实施方式中，针对由检查区域定义信息提供的搜索范围94进行关注基点92的边缘搜索。与此相对，在本实施方式中，将以周边基点91及其对应边缘点91A之间的距离dl为中心的± Ad的范围(图10的粗线箭头)作为关注基点92的搜索范围。在附近的基点彼此间，存在轮廓位置的变动量(即基点与对应边缘点之间的距离)大致相等的趋势，因此，即使这样缩小搜索范围，也基本不会产生边缘点的检测遗漏。
[0097]根据本实施方式的方法，由于进行搜索范围的进一步缩小，因此能够进一步缩短边缘点的搜索和决定所需要的时间。
[0098]〈第4实施方式〉
[0099]图11示出本发明的第4实施方式。在第4实施方式中，将边缘搜索分为多个步骤来执行。即，在最初的步骤(粗搜索步骤)中，稀疏地配置基点，并决定各基点的对应边缘点。在接下来的步骤(详细搜索步骤)中，配置比粗搜索步骤密集的基点并搜索边缘点。在详细搜索步骤中，根据粗搜索步骤中决定的边缘点的位置来进行搜索范围的缩小。
[0100]图11(a)示出粗搜索步骤的结果。在粗搜索步骤中，针对构成初始轮廓110的全部基点中的每隔5个而选择的基点111、112、113，进行边缘搜索。111A、112A、113A表示分别检测到的对应边缘点。在接下来的详细搜索步骤中，如图11(b)所示，将以通过粗搜索得到的对应边缘点111A、112A、113A的位置为中心的± Ad的范围(由斜线和粗心箭头示出的范围)设定为搜索范围。然后，如图11(c)所示，针对其余的基点114分别决定对应边缘点，最终生成检查区域的轮廓115。
[0101]根据本实施方式的方法，由于进行搜索范围的进一步缩小，因此能够进一步缩短边缘点的搜索和决定所需要的时间。
[0102]<第5实施方式>
[0103]图12示出本发明的第5实施方式。在本实施方式中，检查区域提取部16对通过边缘搜索而检测到的对应边缘点的点序列进行曲线近似，由此生成检查区域的轮廓(步骤S1200)。作为具体的方法，例如，可以采用使用η次的样条曲线或贝塞尔曲线对对应边缘点的点序列进行近似的方法。或者也可以采用如下方法，将对应边缘点划分为若干的点序列，通过圆弧或线段等对它们进行近似，从而生成段(曲线)，连结相邻的段而生成检查区域的轮廓。
[0104]接着，检查区域提取部16检查步骤S1200中生成的轮廓(近似曲线)全体是否包含在由检查区域定义信息规定的搜索范围内(步骤S1201)。在轮廓的一部分偏离搜索范围的情况下，检查区域提取部16进行轮廓的修正，以使该部分包含于搜索范围内(步骤S1202)。例如，将从搜索范围偏离的轮廓部分变形为沿着搜索范围的外延(边界)即可。
[0105]根据本实施方式的方法，通过近似曲线生成检查区域的轮廓，因此，能够得到平滑的轮廓。此外，由于进行修正以使得通过近似而得到的轮廓不从搜索范围露出，因此，能够防止用户在未预定的位置设定检查区域的轮廓。
[0106]<第6实施方式>
[0107]图13示出本发明的第6实施方式中的检查区域定义信息的设定画面的一例。在第I实施方式(图7)中，分别对基点的数量、搜索范围的宽度(像素数)输入数值，基点的间隔和搜索范围的宽度在初始轮廓的整周范围内相同，与此相对，在第6实施方式中，能够由用户自由地设定基点的配置(位置和疏密)和搜索范围的宽度。
[0108]作为指定基点的配置的接口，例如考虑用户通过鼠标等指定希望配置基点的轮廓上的位置的方法、输入配置基点的坐标值的方法、由设定工具17推荐多个基点的配置例并由用户从其中选择所期望的配置的方法等。用户还能够进行基点的追加、位置的变更、删除等操作。在设定工具17推荐基点的配置的情况下(或者自动设定基点的情况下)，例如，可以在初始轮廓的拐角(corner)部分或曲率较大的部分处配置基点。此外，作为指定基点的疏密的接口，考虑由用户通过鼠标等在轮廓的一部分上指定范围、并输入该指定的范围内的基点的间隔、密度的方法等。可以通过数值输入基点的间隔、密度，也可以使用滑块等GUI来调整基点的间隔、密度。
[0109]作为指定搜索范围的宽度的接口，例如考虑如下方法等:通过样条曲线等近似曲线描绘图13所示的搜索范围(斜线部)的外侧的轮廓和内侧的轮廓，用户能够通过鼠标等自由地变更该近似曲线的控制点。
[0110]根据本实施方式，能够得到如下的便利性。虽然具有基点的数量越多且间隔越小则越能够使检查区域的轮廓适合检查对象物的形状这样的优点，但是，缺点是，相应的处理时间变长。在这方面，如上所述，通过准备设定基点的数量、间隔、配置等的单元，能够由用户自己根据检查对象物的形状、变动的趋势等来适当设定基点的数量等和处理时间之间的平衡。此外，通过能够按照轮廓上的每个位置设定不同的搜索范围，例如图13所示，能够实现在变动较大的部位(焊锡部分等)将搜索范围设定得较大，在变动较小的部位(电子零部件的主体部分)将搜索范围设定得较小这样的灵活的范围设定。其结果，能够使图像检查装置中的检查区域提取(边缘搜索)所需要的时间最优化，实现处理时间的缩短。
[0111]< 其他 >
[0112]上述的实施方式示出本发明的一个具体例，并不意味着将本发明的范围限定于这些具体例。
[0113]在上述的实施方式中，在检测到多个边缘点候选的情况下,选择与基点最近的点(第I实施方式)，或者选择位于与周边边缘点类似的距离处的点(第2实施方式)，但是也可以采用其他的方法。例如，也可以在所检测出的多个边缘点候选中选择边缘强度E最大的边缘点候选作为对应边缘点。或者，也可以根据边缘强度E和第2实施方式中使用的与周边边缘点之间的距离的类似度，计算每个边缘点候选的得分(边缘强度E较大、与周边边缘点的距离类似时得到良好值的评价值)，选择得分最好的边缘点候选作为对应边缘点。另外，在这种得分的计算中，不限于使用边缘强度和距离的类似度，也可以使用其他的指标。例如，也可以针对各边缘点候选分别计算边缘方向，增大与周边边缘点和轮廓的朝向(角度)相同的方向的权重，对得分进行评价。根据这些方法，能够期待排除噪声(疑似边缘)的效果。
[0114]进而，还优选根据多个边缘点候选通过插值来决定对应边缘点。例如，如图14(a)所示，当图像中包含噪声(疑似边缘)时，有时会将不是检查对象物的轮廓的点检测为边缘点。因此，在针对一个基点检测到多个边缘点候选的情况下，可以参照周边边缘点(或周边基点的多个边缘点候选)，通过基于最小二乘误差的多项式近似进行插值，来描绘适当的轮廓线。该情况下，如图14(b)那样，通过插值求出的轮廓线与基点的法线之间的交点成为对应边缘点的位置。在进行基于多项式近似的插值的情况下，还优选不是仅着眼于边缘点候选的位置，还对各边缘点候选附加基于边缘点强度的权重和基于边缘方向的权重，使用加权最小二乘法等的多项式近似。另外，作为插值方法，可以使用样条插值、基于AR(Autc)Regressive:自动回归)模型的插值等任意的方法。此外，在I个边缘点候选也没有检测到的情况下的对应边缘点的补充中，也能够用应用基于周边边缘点或周边基点的边缘点候选的插值。
[0115]例如，在上述实施方式中假定了以图像的像素为单位的处理，但是，为了得到更准确的轮廓，也可以以所谓的亚像素精度进行边缘搜索。即，是以比像素精细的亚像素的精度来计算图6(c)和图6(d)所示的线63上的边缘强度的评价。以亚像素的精度计算出的边缘点、轮廓的坐标(即不是离散值而是连续值)可以利用图像的α通道来表现。例如，以在轮廓横切像素的正中的情况下将该像素的α值设定为0.5这样的方式，以预先设定的等级表现作为该像素的检查区域的程度。此外，针对亚像素的区域，也可以通过以样条曲线等插值曲线进行近似来表现。此外，还优选以亚像素精度进行轮廓的平滑化。
[0116]标号说明
[0117]1:图像检查装置
[0118]2:检查对象物(壳体零部件)
[0119]10:装置主体，11:图像传感器，12:显示装置，13:存储装置，14:输入装置，
[0120]15:检查处理部，16:检查区域提取部，17:设定工具
【权利要求】
1.一种由图像检查装置执行的图像检查方法，该图像检查方法的特征在于，其具有以下步骤: 取得步骤，取得对检查对象物进行拍摄而得到的检查对象物图像； 设定读入步骤，从预先存储有检查区域定义信息的存储装置中读入所述检查区域定义信息； 检查区域提取步骤，根据所述检查区域定义信息，从所述检查对象物图像中提取作为检查区域的部分，将其作为检查区域图像； 检查处理步骤，通过对所述检查区域图像进行解析来进行所述检查对象物的检查，所述检查区域定义信息包含:定义检查区域的初始轮廓的信息；以及定义将以所述初始轮廓为基准到怎样的范围为止作为要搜索检查区域的轮廓的搜索范围的信息， 所述检查区域提取步骤包含以下步骤: 基点设定步骤，在所述初始轮廓上设定多个基点； 边缘搜索步骤，在所述检查对象物图像的所述搜索范围内的区域中，在通过各基点且与所述初始轮廓交叉的线段上进行边缘搜索处理，由此决定与各基点对应的边缘点；以及轮廓生成步骤，通过对与所述多个基点对应的多个边缘点进行连接或近似，生成所述检查对象物图像的检查区域的轮廓。
2.根据权利要求1所述的图像检查方法，其特征在于， 在所述边缘搜索步骤中，在通过某个基点的线段上存在多个边缘点的候选的情况下，选择所述多个候选中的与该基点最近的候选，作为与该基点对应的边缘点。
3.根据权利要求1所述的图像检查方法，其特征在于， 在所述边缘搜索步骤中，在通过某个基点的线段上存在多个边缘点的候选的情况下，从所述多个候选中选择如下的候选作为与该基点对应的边缘点，该候选与该基点之间的距离最接近存在于该基点的周边的周边基点与对应于所述周边基点的周边边缘点之间的距离。
4.根据权利要求1至3中的任意一项所述的图像检查方法，其特征在于， 在所述边缘搜索步骤中，在从通过某个基点的线段上没有检测到任何一个边缘点的情况下，在与该基点相同的位置上设定与该基点对应的边缘点。
5.根据权利要求1至3中的任意一项所述的图像检查方法，其特征在于， 在所述边缘搜索步骤中，在从通过某个基点的线段上没有检测到任何一个边缘点的情况下，对分别与存在于该基点的周边的多个周边基点对应的多个周边边缘点进行插值，由此求出与该基点对应的边缘点的位置。
6.根据权利要求1至5中的任意一项所述的图像检查方法，其特征在于， 在所述边缘搜索步骤中，根据与存在于该基点的周边的周边基点对应的周边边缘点的位置，相比所述搜索范围进一步缩小搜索与某个基点对应的边缘点的范围。
7.根据权利要求1至5中的任意一项所述的图像检查方法，其特征在于， 所述边缘搜索步骤包含以下步骤: 粗搜索步骤，根据在所述初始轮廓上稀疏地配置的多个基点来决定对应的边缘点；以及 详细搜索步骤，根据比所述粗搜索步骤密集地配置的多个基点来决定对应的边缘点， 在所述详细搜索步骤中，根据在所述粗搜索步骤中决定的边缘点的位置，相比所述搜索范围进一步缩小搜索与某个基点对应的边缘点的范围。
8.根据权利要求1至7中的任意一项所述的图像检查方法，其特征在于， 在所述轮廓生成步骤中，判定生成的轮廓是否包含于所述搜索范围内，在存在从所述搜索范围偏离的部分的情况下，修正所述轮廓，以使得该部分包含于所述搜索范围内。
9.一种检查区域设定方法，其用于对执行权利要求1至8中的任意一项所述的图像检查方法的图像检查装置设定所述检查区域定义信息，该检查区域设定方法的特征在于，其包含以下步骤: 取得步骤，计算机取得检查对象物的样本图像和针对所述样本图像设定的检查区域； 轮廓提取步骤，计算机提取所述检查区域的轮廓； 范围设定步骤，计算机使用户设定所述检查区域的轮廓能够变动的范围；以及定义信息生成步骤，计算机根据所述检查区域的轮廓和由用户设定的范围，生成包含定义初始轮廓的信息和定义搜索范围的信息在内的检查区域定义信息。
10.根据权利要求9所述的检查区域设定方法，其特征在于， 在所述范围设定步骤中，能够按照所述检查区域的轮廓上的每个位置设定不同的范围。
11.根据权利要求9或10所述的检查区域设定方法，其特征在于， 对所述初始轮廓进行定义的信息包含如下信息，该信息对在所述图像检查方法的边缘搜索处理时在所述初始轮廓上设定的多个基点的位置进行定义， 所述检查区域设定方法还包含如下步骤: 计算机使用户设定基点的数量、间隔或配置；以及 计算机根据由用户设定的基点的数量、间隔或配置，决定在所述初始轮廓上设定的多个基点的位置。
12.—种程序，其特征在于，该程序使图像检查装置执行权利要求1至8中的任意一项所述的图像检查方法的各步骤。
13.一种程序，其特征在于，该程序使计算机执行权利要求9至11中的任意一项所述的检查区域设定方法的各步骤。
14.一种图像检查装置，其特征在于，该图像检查装置具有: 取得单元，其取得对检查对象物进行拍摄而得到的检查对象物图像； 设定读入单元，其从预先存储有检查区域定义信息的存储装置中读入所述检查区域定义信息； 检查区域提取单元，其根据所述检查区域定义信息，从所述检查对象物图像中提取作为检查区域的部分，将其作为检查区域图像； 检查处理单元，其通过对所述检查区域图像进行解析来进行所述检查对象物的检查，所述检查区域定义信息包含:定义检查区域的初始轮廓的信息；以及定义将以所述初始轮廓为基准到怎样的范围为止作为要搜索检查区域的轮廓的搜索范围的信息， 所述检查区域提取单元包含: 基点设定单元，其在所述初始轮廓上设定多个基点； 边缘搜索单元，其在所述检查对象物图像的所述搜索范围内侧的区域中，在通过各基点且与所述初始轮廓交叉的线段上进行边缘搜索处理，由此决定与各基点对应的边缘点；以及 轮廓生成单元，其通过对与所述多个基点对应的多个边缘点进行连接或近似，生成所述检查对象物图像的检查区域的轮廓。
15.一种检查区域设定装置，其用于对执行权利要求1至8中的任意一项所述的图像检查方法的图像检查装置设定所述检查区域定义信息，其特征在于，该检查区域设定装置包含: 取得单元，其取得检查对象物的样本图像和针对所述样本图像设定的检查区域； 轮廓提取单元，其提取所述检查区域的轮廓； 范围设定单元，其使用户设定所述检查区域的轮廓能够变动的范围；以及定义信息生成单元，其根据所述检查区域的轮廓和由用户设定的范围，生成包含定义初始轮廓的信息和定义搜索范围的信息在内的检查区域定义信息。
【文档编号】G01B11/00GK104204783SQ201280071322
【公开日】2014年12月10日 申请日期:2012年11月16日 优先权日:2012年3月14日
【发明者】小竹康代, 湊善久, 柳川由纪子, A·阮 申请人:欧姆龙株式会社