专利名称：图像处理装置的制作方法
技术领域：
本发明涉及一种基于由以从互相不同的方向拍摄对象物的方式被配置的多个照相机分别拍摄到的图像来进行三维计测的装置。
背景技术：
以往，针对对象物的形状或表面图案进行基于二维图像处理的计测的装置，在各种制品的制造现场被广泛使用。这些二维的图像处理装置对代表对象物的面(例如对象物的底面)或者对象物的计测对象面(包括检查对象面)，基于从垂直于该面的方向、即正视该面的方向拍摄到的图像，进行计测(包括以检查为目的的计测。以下，此说明书中，根据在检查过程中进行的某些计测，在单独提到“计测”的情况下，意为包括“以检查为目的而进行的计测”的情况)。
这样的二维图像处理装置多具备多样的处理项目的菜单，以使同一装置能够适用于各种计测目的，用户指定使用的处理项目和其执行顺序而组成处理项目的序列(sequence)。例如专利文献1的图9中，记载了一种图像处理装置，向用户提示可用的处理项目，指定处理项目的执行顺序。
另一方面，已知有使用多台的照相机的基于立体视觉的原理的三维计测的方法，此类方法记载于例如专利文献2中。然而，进行三维计测的装置的实际情况是作为如下的装置而被实用化，即，在具有限定对象物的种类和性质、利用所提供的该对象物的特征来进行计测的计测算法的基础上，专用于该对象物。例如，专利文献2中记载了一种用于对具有旋转对称的形状的对象物进行三维计测的图像处理装置。
专利文献1JP特开2005-167678号公报。
专利文献2JP特开2002-99902号公报。
即使在各种制品的制造现场，对象物的三维计测也是可能的话，则存在能够进行以往的二维图像处理装置所不能做的计测、或者计测精度和易用性都变得比以往高的状况。然而，并没有在各种制品的制造现场能够通用的三维计测装置。
发明内容
在这种状况下，发明人并没有开发以往普通的特定为三维计测的图像处理装置，而是沿着继承以往的二维图像处理装置的功能、同时还附加了三维计测功能的方向来进行装置开发，从而创造出了能进行三维计测且通用性高的、新型的图像处理装置。在这样的方针下，发明人所设定的一个课题为与以往的二维图像处理装置相同，通过提示能够利用的处理项目生成处理项目的序列那样的用户接口，能够指定三维计测的序列。
发明人所设定的另一个课题为将在以往的二维图像处理装置中也使用的处理的一部分活用于三维计测。
(1)与以往的二维图像处理装置相同地，为了通过提示可用的处理项目而生成处理项目序列那样的用户接口来指定三维计测的序列而提供合适的处理项目的图像处理装置，即为使用基于由第一照相机以及第二照相机分别拍摄的图像的第一图像以及第二图像进行处理的图像处理装置，该第一照相机以及第二照相机以从相互不同的方向拍摄对象物的方式被设置，其特征在于，具备序列设定单元，其设定处理项目的序列；序列执行单元，其执行所设定的序列。序列设定单元提供二维图像处理的多个项目以及三维计测处理的至少一个项目，作为根据用户的选择而能够成为序列的要素的处理项目。在所提供的二维图像处理的项目之中，包括有确定第一图像中对象物上的位置的至少一个第一图像上位置确定处理的项目，三维计测处理包含有确定第二图像中对象物上的位置的第二图像上位置确定处理，该第二图像中对象物上的位置对应于属于与上述三维计测处理所属序列相同的序列的第一图像上位置确定处理中所确定的第一图像中对象物上的位置。
此图像处理装置中，为了三维计测，在第一图像上确定位置的处理可以从二维图像处理的多个项目中选出。因此，根据此图像处理装置，尽管能进行三维计测，但是与以往的二维图像处理装置的统一性高，所以对用户来说少量地进行以使用装置为目的的学习即可。因而，用户操纵装置是容易的。
其中，使用的照相机台数也可以为3台以上。该情况下，其中的两台为第一照相机、第二照相机。
第一图像、第二图像可以分别为第一照相机、第二照相机所拍摄的图像本身，进而也可以为施加了一些处理的图像。例如，也可将把第二照相机所拍摄的斜视图像变换为正视图像的图像作为第二图像使用。
第一图像上位置确定处理，作为该处理自身的规格，即使根据设定以第二图像为对象，也不影响其成为可能的通用的处理(程序)。
(2)其中，上述三维计测处理还包含有利用上述第一图像上位置确定处理中所确定的位置和上述第二图像上位置确定处理中所确定的位置来计算出三维坐标的处理。
即，在这种情况下，在第二图像上确定位置的处理和计算三维坐标的处理成为一个处理项目。因此，由于用户能够以少量的指示完成三维计测全体的序列，因而用户操纵装置就更加容易了。
(3)此图像处理装置中可以提供根据用户的选择而能够成为序列的要素的、多个种类的第一图像上位置确定处理的项目和多个种类的三维计测处理的项目。
根据此构成，能够选择三维计测的处理内容。进而，在通过选择会有多个三维计测处理的项目能够对应一个第一图像上位置确定处理的项目的情况下，以及在通过选择会有多个第一图像上位置确定处理的项目能够对应一个三维计测处理的项目的情况下，根据项目的组合，能够生成比项目自身的选择项的数量种类还多的三维计测的序列(4)此图像处理装置以根据用户的选择而能够利用的方式提供包括有至少一个第一图像上位置确定处理的项目和至少一个三维计测处理的项目的三维计测的基本序列。
根据此构成，即使不习惯三维计测的序列的用户，也能更容易地使用装置的三维计测功能。
(5)此图像处理装置也可以为以下的构成。即，作为处理项目而被提供的至少一个第一图像上位置确定处理，相对于第一图像设定第一检测区域，确定针对第一检测区域而规定的边缘检测方向上的边缘的位置，作为处理项目而被提供的至少一个三维计测处理中的第二图像上位置确定处理，相对于第二图像设定第二检测区域，确定第二检测区域内的边缘检测方向上边缘的位置，该第二检测区域是将基于第一照相机和第二照相机的位置关系以及在第一图像上位置确定处理中所确定的边缘的位置的确定的一个方向作为边缘检测方向的区域。根据此构成，能够三维计测对象物的边缘位置。
(6)其中，第二检测区域的沿着其边缘检测方向的范围是作为三维计测的对象范围而基于沿着用户所指定的第一照相机的光轴的范围来设定的。这样的话，若计测对象的边缘存在，则由于能够在与用户估计的范围对应的被限定的范围中设定第二检测区域，因此能够减少第二图像上位置确定处理的计算量，同时能够减少由非计测对象的边缘被包含到第二检测区域而引起的错误动作。
(7)并且，第一照相机具有矩形的视野的范围，以从正视对象物的方向进行拍摄的方式被设置，第二照相机位于相对第一照相机而沿着第一照相机的视野中的纵向或横向离开的位置，以从相对正视对象物的方向而倾斜的方向拍摄对象物的方式被设置，第一图像上位置确定单元将第一检测区域相对于第一图像而设定于基于用户的指示的位置，第一检测区域的边缘检测方向为第一照相机及第二照相机的排列方向。
在此构成中，在以第一图像为对象的确定边缘位置的处理中的边缘检测方向为照相机的排列方向，且，由于第二照相机被设置在第一照相机的视野的纵或横的方向上，因此照相机的视野的纵向或横向成为边缘检测方向。进而，第一图像为从正面拍摄对象物得到的图像。由于将第一图像中的检测区域设定在基于用户指示的位置，利用设定对象的图像为正视图像，以及利用照相机的视野的纵向或横向为边缘检测方向，尽管是为三维计测而设定的，也能以与以往的二维图像处理装置相同的易懂性来设定边缘的检测区域。因而，用户操作装置是容易的。
(8)此图像处理装置也可为以下的构成。即，作为处理项目而被提供的至少一个第一图像上位置确定处理，确定与计测执行前预先登录的模型图像一致程度高的第一图像上的区域的代表位置，作为处理项目而被提供的至少一个三维计测处理中的第二图像上位置确定处理，确定与上述模型图像一致程度高的第二图像上的区域的代表位置。根据此构成，能够三维地计测与预先登录的模型图像一致程度高的对象物上的区域的代表位置。
(9)在此，第二图像上位置确定处理，基于第一照相机和第二照相机的位置关系以及第一图像上位置确定处理中所确定的代表位置，在第二图像上设定搜索区域，确定在搜索区域内与上述模型图像一致程度高的区域的代表位置。由此，由于能够将搜索区域限定于第二图像中具有存在计测对象的区域的可能性的范围内，因此能够减少第二图像上位置确定处理的计算量，同时能够减少由非第二图像上的计测对象的区域与模型图像一致而引起的错误动作。
(10)此搜索区域还作为三维计测的对象范围而基于沿着用户所指定的第一照相机的光轴的范围来设定。这样的话，由于若计测对象的区域存在，则能够在与用户估计的范围对应的被限定的范围中设定搜索区域，所以能够减少第二图像上位置确定处理的计算量，同时能够减少第二图像上由非计测对象的区域与模型图像一致而引起的错误动作。
(11)此图像处理装置也可以为如下构成。即，作为处理项目而被提供的至少一个第一图像上位置确定处理，在第一图像上确定基于用户的指示而设定的计测对象区域的代表位置，取得计测对象区域内的图像作为模型图像，作为处理项目而被提供的至少一个三维计测处理中的第二图像上位置确定处理，确定与上述模型图像一致程度高的第二图像上的区域的代表位置。
根据此构成，能够三维地计测与从第一图像取得的模型一致程度高的对象物上的区域的代表位置。由于实际上是从作为计测处理的对象的图像中取得模型，因此即使在作为计测的对象的表面的文字或图案随对象物不同而变化的情况下，也能够进行三维计测。并且，如果对对象物的多个区域分别进行计测的话，还能够得到对象物的三维形状(对象物表面的三维坐标的分布)。
(12)在此，第二图像上位置确定处理，基于第一照相机和第二照相机的位置关系以及第一图像上位置确定处理中所确定的代表位置，在第二图像上设定搜索区域，确定在搜索区域内与上述模型图像一致程度高的区域的代表位置。这样的话，由于能够将搜索区域限定于第二图像中具有存在计测对象的区域的可能性的范围内，因此能够减少第二图像上位置确定处理的计算量，同时能够减少由非第二图像上的计测对象的区域与模型图像一致而引起的错误动作。
(13)此搜索区域还作为三维计测的对象范围而基于沿用户所指定的第一照相机的光轴的范围来设定。这样的话，由于若计测对象的区域存在，则能够在与用户估计的范围对应的被限定的范围中设定搜索区域，所以能够减少第二图像上位置确定处理的计算量，同时能够减少由非第二图像上的计测对象的区域与模型图像一致而引起的错误动作。
(14)此图像处理装置中具体实现的解决方法，也能够作为图像处理方法来掌握。即，此图像处理方法是使用基于由第一照相机以及第二照相机分别拍摄的图像的第一图像以及第二图像的图像处理方法，该第一照相机以及第二照相机以从相互不同的方向拍摄对象物的方式设置，其特征在于，具备序列设定步骤，设定处理项目的序列；序列执行步骤，执行所设定的序列，序列设定步骤提供二维图像处理的多个项目以及三维计测处理的至少一个项目，作为根据用户的选择而能够成为序列的要素的处理项目，所提供的二维图像处理的项目之中，包含有确定第一图像中对象物上的位置的至少一个第一图像上位置确定处理的项目，三维计测处理包含有确定第二图像中对象物上的位置的第二图像上位置确定处理，该第二图像中对象物上的位置对应于属于与上述三维计测处理所属序列相同的序列的第一图像上位置确定处理中所确定的第一图像中对象物上的位置。
(15)在此，三维计测处理还包含有利用上述第一图像上位置确定处理中所确定的位置和上述第二图像上位置确定处理中所确定的位置来计算出三维坐标的处理。
(16)在以往的二维图像处理装置中被使用的处理能在三维计测中活用的图像处理装置的合适的例子为一种图像处理装置，使用基于由第一照相机和第二照相机分别拍摄的图像的第一图像以及第二图像而进行处理，其中，该第一照相机具有矩形的视野的范围，并以从正视对象物的方向进行拍摄的方式被配置，而该第二照相机位于相对第一照相机而沿着第一照相机的视野中的纵向或横向离开的位置，以从相对正视对象物的方向而倾斜的方向拍摄对象物的方式被设置，其特征在于，具有第一图像上位置确定单元，其确定第一图像中对象物上的位置；第二图像上位置确定单元，其确定对应于第一图像上位置确定单元中所确定的第一图像中对象物上的位置的、第二图像中对象物上的位置；三维坐标计算单元，其利用第一图像上位置确定单元所确定的位置和第二图像上位置确定单元所确定的位置来计算出三维坐标。
第一图像上位置确定单元，将第一检测区域相对于第一图像而设定于基于用户的指示的位置，确定针对第一检测区域而规定的边缘检测方向上的边缘的位置。此第一检测区域的边缘检测方向为第一照相机以及第二照相机的排列方向。第二图像上位置确定单元，相对于第二图像设定第二检测区域，确定第二检测区域内的边缘检测方向上的边缘的位置，该第二检测区域是将基于第一照相机和第二照相机的位置关系以及在第一图像上位置确定单元中所确定的边缘的位置而设定的确定的一个方向作为边缘检测方向的区域。
根据这样的图像处理装置，在以往的二维图像处理装置中使用的确定在检测区域内的边缘的位置的处理，通过像上述那样确定相对于第一图像以及第二图像的边缘检测方向，能够用于三维计测。特别地，由于确定以第一图像为对象的边缘位置的处理中的边缘检测方向为照相机的排列方向，且，第二照相机被设置在第一照相机的视野的纵向或者横向，因此照相机的视野的纵向或者横向成为边缘检测方向。进而，第一图像是从正面拍摄对象物得到的图像。由于将第一图像中的检测区域设定于基于用户的指示的位置，所以利用设定对象的图像为正视图像，以及利用照相机的视野的纵向或者横向为边缘检测方向，尽管是以三维计测为目的的设定，也能够以与以往的二维图像处理装置一样的易懂性来设定边缘的检测区域。因而，用户操纵装置是容易的。
(17)这种图像处理装置中具体实现的解决方法，也能够作为将各处理的单元执行的内容作为处理的步骤的图像处理方法来掌握。
由上所述，由于能够由与以往的二维图像处理统一性高的装置或者方法进行三维计测，因此用户可以容易地使用三维计测功能。
图1为将本发明适用的检查装置的摄像部的构成与其设置例同时表示的立体图。
图2为表示由各照相机生成的图像的例子的说明图。
图3为检查装置的框图。
图4为表示用于序列设定的系统构成的功能框图。
图5为表示处理项目表的数据构成例的说明图。
图6为表示序列的菜单显示例的说明图。
图7A、图7B为对应表示“边缘位置”的序列和表示其流程的流程图的说明图。
图8A、图8B为对应表示“图案”的序列和表示其流程的流程图的说明图。
图9为表示在基本序列中追加其他的处理项目的情况下的操作步骤的说明图。
图10为表示在基本序列中追加了二维计测相关的处理项目的例子的说明图。
图11为检查装置的框图。
图12为表示检查IC所需步骤的流程图。
图13为表示检测区域的设定例的说明图。
图14为表示示教处理的步骤的流程图。
图15为表示定位区域的设定例的说明图。
图16为表示引线检查的详细的步骤的流程图。
图17为表示检查时的正视图像中的相对于工件的定位区域以及检测区域的关系的说明图。
图18为表示各图像间的对应点的关系的说明图。
图19为表示检测区域的设定方法的说明图。
图20A、图20B为表示高度范围和检测区域的关系的说明图。
图21为表示将作为合格品的工件上的检查对象部位登录为模型的例子的说明图。
图22为表示检查文字键的步骤的流程图。
图23为表示对于检查对象的图像来设定计测对象区域以及搜索区域的例子的说明24为表示具有圆形的显示区域的工件的正视图像以及斜视图像的说明图。
图25为表示相对于工件的计测对象区域的指定结果的说明图。
图26为表示对图16的工件进行高度检查的步骤的流程图。
图27A、图27B为表示计测对象区域以及搜索区域追随工件位置变化的例子的说明图。
具体实施例方式
图1同时表示了适用本发明的检查装置(图像处理装置)的摄像部的构成与其设置例。
此实施例的检查装置具有三维以及二维两方面的计测处理功能，由摄像部1顺次拍摄工厂的检查流水线L所运送的检查对象物W(以下称为“工件W”)，再根据各种检查目的执行计测处理和判别处理。
摄像部1为在筐体15内安装了两台照相机C0、C1的结构，被设置于检查流水线L的上方。一方的照相机C0被设置为其光轴朝向铅垂方向的状态(相对于工件W垂直的状态)。另一方的照相机C1被设置为与照相机C0视野重合那样地使光轴倾斜的状态。照相机C0以及照相机C1的规定视野范围的拍摄面为矩形，照相机C1相对于照相机C0，以沿照相机C0的视野的范围的横向(对应于图2的图像A0的x轴方向)排列的方式而被配置。
图2表示由各照相机C0、C1生成的工件W的图像的例子。图中的A0(相当于第一图像)为来自照相机C0的图像，A1(相当于第二图像)为来自照相机C1的图像。
在图2以及下述的图13等的举例表示工件W的图像的图中，对各图像A0、A1中的工件，与图1相同地用W表示。并且，图像A0的横向(水平方向)为x轴方向，纵向(垂直方向)为y轴方向。
由于照相机C0被设置为光轴朝向垂直方向，所以图像A0表示从正面看到的工件W的上表面的状态。相对于此，由于照相机C1使光轴倾斜而设置，所以图像A1中出现的是从斜向所见状态的工件W。着眼于这样的图像的特征，此检查装置首先用图像变形小(接近工件W的平面图)的照相机C0侧的图像A0来确定计测对象位置，接着在照相机C1侧的图像A1上确定与图像A0上的计测对象位置相对应的位置。
图3为表示检查装置的全体构成的框图。此检查装置除摄像部1之外，由主体部2、监视器3、控制台4等构成。主体部2设有相对于各照相机C0、C1的图像输入部20、21、照相机驱动部22、图像存储器23、处理部24、存储器25、显示控制部26、输出部27等。
照相机驱动部22接收来自未图示的检测工件用的传感器的检测信号，同时驱动各照相机C0、C1。图像输入部20、21包括A/D变换电路或图像缓冲器等，由各照相机C0、C1生成的图像信号分别在各自的图像输入部20、21进行数字变换，生成每个照相机的计测处理用的数字图像(图像A0、A1)。这些图像A0、A1被保存在图像输入部20、21的图像缓冲器中后，按照来自处理部24的指令被读出，并被存储于图像存储器23中。
处理部24包括CPU及其周边电路。存储器25为EEPROM等非易失性存储器，保存有程序(统括装置动作的程序、执行各图像处理项目的程序、图像处理的序列等)、用于三维计测的参数(相当于三维坐标计算的算式的系数)、以及计测所必需的各种数据文件。处理部24对存储于图像存储器23中的图像A0、A1执行依照下述序列的处理，执行工件W的计测和判别处理。
显示控制部26从图像输入部20、21收到图像A0、A1的供给，生成包含这些图像的显示用画面，将此显示在监视器3上。处理部24适当地控制显示控制部26，在显示图像A0、A1的同时显示计测结果和检查结果，并且，显示下述的设定用的画面。
输出部27为用于将计测处理和判定处理的结果输出到PLC等外部设备中的输出用接口。
此实施例的检查装置中，针对为了计测和检查而执行的各种处理，预备了多种的处理项目，通过让用户选择这些处理项目以及其执行顺序，组成从图像输入到输出处理结果的处理为止的一连串的序列。
图4表示与序列的设定相关的系统构成。
此系统由处理项目表201、序列保存部202、程序存储部203、指定操作接受部204、序列组成部205、序列执行部206、处理结果输出部207等构成。其中，处理项目表201、序列保存部202、程序存储部203作为文件被保存于存储器25中，其他的构成为通过被存储在存储部25中的统括装置的动作的程序而设定于处理部24的功能。
处理项目表201中按照每个处理的目的而登录了多个处理项目。图5表示了此处理项目表的一个例子，按照“图像输入相关”、“位置修正相关”、“一般计测相关”等的每个处理的种类分别设定有具体的处理项目。
在此表中，属于“图像输入相关”的各处理项目对应于取得处理对象的图像这样的目的。属于“位置修正相关”的各处理项目对应于如下的目的通过修正图像中的工件上的计测对象部位的位置偏移，而使计测对象部位位于图像中的一定的位置。
并且，属于“一般计测相关”的各处理项目对应于针对计测对象部位进行计测这样的目的，进而区分为“定位”“计测”两种处理。其中，“定位”为以在图像A0上确定计测对象位置为目的的处理。
通过执行属于“定位”的处理项目而确定的位置能够用于三维计测，但也有以图像A0上的二维的位置计测本身为目的而执行属于“定位”的处理项目的情况。被计测的二维位置也能够用于计算图像A0上的两点间的尺寸。
“计测”是以在进行三维计测的情况下、在图像A1上找出与在图像A0侧确定的计测对象位置对应的位置而计算出该计测对象位置的三维坐标为目的的处理。并且，以图像A0为对象，求取计测对象部位的面积的处理和求取平均浓度的处理那样的以二维计测为目的的处理也被设定为属于“计测”的处理项目。
返回图4，程序存储部203中保存有按照登录在处理项目表201中的每个处理项目而分别执行该项目的处理的程序。
指定操作接受部204从处理项目表201中读出各种处理项目并显示在监视器3上，接受控制台4的指定操作。此指定操作在选择使用的处理项目的同时，指定其执行顺序。
序列组成部205接受从指定操作接受部204收到的指定内容，组成根据该指定的序列。所组成的序列被登录到序列保存部202。序列具体来说为将与所指定的处理项目对应的编码信息按照所指定的顺序排列的数据构成。
处理项目表201、序列保存部202、指定操作接受部204、序列组成部205相当于序列设定单元，序列执行部206相当于序列执行单元。
序列执行部206读出被保存在序列组成部205的序列之后，依次从程序存储部203读出并执行与构成此序列的处理项目对应的程序。处理结果输出部207输出通过执行此序列而最终得到的处理结果。
并且，在序列保存部202，针对经常利用的多个计测目的，预先登录有表示分别从图像输入到二维计测或三维计测为止的流程的处理项目的序列。以下，将这些称为“基本序列”。
指定操作接受部204调出并显示被登录在序列保存部202中的各种序列(包括基本序列)，还能够接受选择操作。其中，在一个序列被选定并指定执行此序列的情况下，处理从指定操作接受部204转移到序列执行部206，执行所选择的序列。
指定操作接受部204在选择序列后，还能够接受追加处理项目的操作和更改一部分的处理项目的操作等。这种情况下，将序列的选择结果和其后的操作内容传给序列组成部205，并且对所选择的序列进行编辑处理。对基本序列也能够自由地进行处理项目的追加、变更、删除等。
被编辑的序列被登录替换先前的序列，但也能够作为新的序列来登录。
图6表示序列保存部202中登录的序列的菜单显示例。其中，菜单中的各序列被称为场景，分别赋予单独的“场景名”(“边缘位置”等)。图6的显示例中，0～3的各栏中登录有三维计测的基本序列，4～7栏为未登录。显示“场景4”等的初始名称。如果登录基本序列以外的序列，则在此画面的4栏以后显示新的场景名。
下面对图6所示的三维计测的基本序列进行简单地说明。
“边缘位置”适用于对计测对象部位的边缘点的三维坐标进行计测的情况，在各图像A0、A1上确定作为计测对象的边缘点的位置，计算出此边缘点的三维坐标。
“图案”适用于计测包含有文字、图样等一定的图案的部位的情况，从图像A0、A1中确定与预先登录的模型的图案(以下只称为“模型”)对应的区域的代表位置，计算出此代表位置的三维坐标。
“高度计测”适用于计测对象部位的图案不一定(随工件不同而不同)的情况，基于预先指定的位置信息确定图像A0中的计测对象区域及其代表位置，取得该区域内的图案后，在图像A1上探索与从图像A0取得的图案对应的区域，确定其代表位置，从两图像中的代表位置计算出该代表位置的三维坐标。由于此处理项目多是将照相机C0设置成正视(垂直视)，以取得高度信息(Z坐标)为目的，因此被称为高度计测。
“多点高度计测”基本上与“高度计测”相同，以计测所指定的区域内的多个点的高度为目的而被使用。
从上述的显示菜单选择任一个序列后，监视器的画面切换为表示此被选择的序列的内容的显示。
图7A表示选择了图6的“边缘位置”时的显示画面，显示应该执行的处理项目和表示执行顺序的数字(0，1，2，3)。在图7B中，将此显示的序列转换为流程图表示，步骤0～3分别与表示执行顺序的数字对应。以下，用此流程图说明“边缘位置”的处理的流程。
首先，最初的步骤0(立体照相机图像输入)中，驱动各照相机C0、C1生成图像A0、A1，将其中的图像A0存储于图像存储器23中。图像A1也被保存在图像输入部11的图像缓冲器内。
接着的步骤1(浓淡边缘位置)中，通过在图像A0的计测对象区域内执行二值化以及投影处理，确定边缘的位置的x，y坐标。
接着的步骤2(照相机切换)中，从与照相机C1对应的图像输入部11的图像缓冲器中读出图像A1，通过此图像改写图像存储器23。
接着的步骤3(立体边缘位置)中，将图像A1作为处理对象，基于照相机C0、C1间的照相机坐标系的关系，确定与步骤1中确定的边缘位置对应的位置。接着，用在图像A0上确定的位置和在图像A1上确定的位置计算出三维坐标。
图8A表示选择了图6的菜单显示中的“图案”的情况下的监视器3的显示例，而在图8B中，将显示在此显示画面上的处理内容转换为流程图表示。以下，按照此流程图说明“图案”的处理的流程。
在最初的步骤0(立体照相机图像输入)中，与“边缘位置”的步骤0相同，驱动各照相机C0、C1生成图像A0、A1，将其中的图像A0存储于图像存储器23。
接着的步骤1(高精度ECM(Edge Code Model边缘代码模型)搜索)中，将图像A0作为对象，确定与预先登录的模型图像一致程度高(与模型图像匹配)的区域的代表位置(例如区域的中心位置)。此处理按照以下方法进行将图像A0进行微分处理，提取出浓度的微分值在一定值以上的点，进而计算出这些点的浓度梯度的方向(以角度数据EC(Edge Code边缘代码)表示)，将角度数据EC的分布图案与模型图像的角度数据EC的分布图案对照。详细的处理方法请参照下述的专利文献3。
专利文献3JP特开2002-230549号公报。
接着的步骤2(照相机切换)中，与“边缘位置”的步骤2相同，以照相机C1侧的图像A1改写图像存储器23。
接着的步骤3(立体高精度ECM搜索)中，以图像A1为处理对象，以对图像A0执行的相同的方法确定与模型图像一致程度高的区域的代表位置(例如区域的中心位置)。接着，用在图像A0上确定的位置和在图像A1上确定的位置计算出三维坐标。
其他的三维计测的基本序列也相同，按如下方式来设定首先以照相机C0侧的图像A0为处理对象，执行确定成为三维计测的对象的点的位置或区域的代表位置的处理之后，将处理对象切换为图像A1，求取与在图像A0侧确定的位置对应的点的位置或者区域的代表位置，执行三维坐标或Z坐标的计算处理。
根据图5所示的处理项目表201，图7、图8的步骤0以及步骤2相当于图像输入相关的处理项目。并且，步骤1相当于定位相关的处理项目，步骤3相当于计测相关的处理项目。用此实施例的检查装置的结构来实施三维计测的话，需要选择对应于此步骤0～3的处理项目(然而，如果图像存储器中能存储双方的图像A0、A1的话，则不需要步骤2)。
三维计测的基本序列中，由于与上述步骤0～3的各处理对应的处理项目已经被选择，所以用户能够通过选择适合用于确定工件W的被检查部位的位置的条件和计测目的的基本序列，进行相应于此目的的计测处理。
在一个序列中能分别选择多个定位相关的处理项目以及计测相关的处理项目。例如，作为定位相关，能选择“边缘位置”和“高精度ECM搜索”，作为计测相关，能选择“立体边缘位置”和“立体高精度ECM搜索”。这种情况下，将在“边缘位置”的处理中所确定的位置提供给“立体边缘位置”的处理，由“立体边缘位置”的处理进行对应位置的确定和三维坐标计算，此外，将在“高精度ECM搜索”的处理中确定的位置提供给“立体高精度ECM搜索”的处理，通过“立体高精度ECM搜索”的处理进行对应位置的确定和三维坐标计算。
进而，在一个序列中，能够设定多个同种的处理。例如，能设定多个相同的“高精度ECM搜索”的处理，也能设定与其数量相同的“立体高精度ECM搜索”的处理。这种情况下，按每个成对的“高精度ECM搜索”(定位)的处理和“立体高精度ECM搜索”(计测)的处理来计算出三维坐标。
有必要确定将哪种定位处理(第一图像上的位置确定处理)和哪种计测处理(第二图像上的位置确定处理)组成一对进行三维计测。具体来说，针对各计测处理的设定事项中包括有显示分别与该处理对应的定位处理为序列中的第几个处理的数值。
并且，作为其他实施形式，在图像存储器23能同时存储图像A0和图像A1的情况下，由于没有必要设置“照相机切换”的步骤，在序列中将定位处理和三维计测处理按此顺序连续设定时，也可以将这些处理作为一对来对待。
在图7A、图7B、图8A、图8B的基本序列中，虽然只设定了三维计测所必需的处理项目，但是也能根据需要追加其他的处理项目。
图9表示在图7A、图7B的“边缘位置”的基本序列中追加位置修正相关的处理项目的例子。以下，按照此图9的流程，说明追加处理项目的情况下用户操作的步骤。
首先，用户将光标31移至在新添加的处理后立即执行的处理项目(图9(A))，进行编辑操作(此例中，同时操作转换键和回车键)。进行此编辑操作后，显示画面如图9(B)所示，选择框32被设定，在其内部显示有表示编辑方法的词(变更、插入等)。
在此，用户如果选择了选择框32中的“插入”，则如图9(C)所示，选择框32的显示被切换而显示处理项目表201的种类栏中设定的项目。在对于此显示，如果用户选择规定的项目(图示例子中为“位置修正相关”)后，则如图9(D)所示，新的选择框33被设定，在其内部显示有被包括在所选择的种类中的处理项目。如果用户从中选择了所希望的项目(图示例子中为“模型位置修正”)，则如图9(E)所示，在基本序列中由光标31指定的位置插入了所选择的处理项目。
在图9(B)的选择框32中如果选择“变更”，则能够将当前选中的处理项目(浓淡边缘位置)置换为其他处理项目。或者通过选择“删除”而能删除选中的处理项目。或者通过选择“复制”，就保存了选中的处理项目，并能在其他步骤中设定相同项目。此复制功能能够使用在如图1、2所示的工件W那样，存在多个计测对象部位(IC的引线)，必须对这些计测对象部位的每一个确定计测位置的情况下。
进而，以上对编辑基本序列的例子进行了说明，但是在不依赖于基本序列，从处理项目表201直接读出必要的处理项目，进行序列的完全手动设定的情况下，由于有与图9相同的选择框32、33被显示出来，因此也能够毫不混乱地选择必要的处理项目。
进而，在处理项目表201中，不仅限于用于三维计测的处理，也登录有二维计测用的处理项目。例如，作为用于检查被标记在工件W上的文字的印刷状态的处理项目，登录有图案匹配处理，或者作为用于检测损伤或缺陷等不合格的处理项目，登录有浓度平均值或浓度偏差的计算处理。针对这些处理项目，通过与三维计测项目一起编入序列中，能够高效地执行二维以及三维的计测处理。
图10表示在图7的“边缘位置”的基本序列中追加了二维计测用的处理的例子。在此例中，在步骤0的“立体照相机图像输入”之后，作为二维计测相关的处理项目而设定有“浓度平均/偏差”，下面设定有与基本序列相同的处理项目。
根据被编辑过的此序列，由于先将存储于图像存储器23中的图像A0作为处理对象，执行计算出浓度平均以及偏差的处理后，使用相同的图像A0确定三维计测的对象位置，其后转到对图像A1的处理，所以二维计测也能使用与三维计测相同的图像。并且，对图像存储器23改写的次数，与基本序列相同而一次即可，因此能够防止处理的延迟。
从这里开始，对到现在为止所述的实施例进行更详细的说明。以下，将来自照相机C0的图像A0称为“正视图像A0”，将来自照相机C1的图像A1称为“斜视图像A1”。
图11为表示检查装置的全体构成的框图，更加详细的表示了图3的内容。对与图3重复的部分省略说明。在此检查装置中设置有装置内计算机200。
装置内计算机200在执行了使用了照相机C0、C1各自的图像的计测处理后，根据其处理结果判断工件W的合格与否。在装置内计算机200中，除了用于存储图像A0、A1的图像存储器23之外，还设置有图像处理部41、计测处理部42、判断部43、显示控制部26、参数计算部44、参数保存部45等。除图像存储器23以及参数保存部45之外的各部分，为通过专用的程序设定于装置内计算机200的功能。图像存储器23和参数保存部45被设定在装置内计算机200的存储器(RAM、EEPEOM等)中。
在上述构成中，图像处理部41、计测处理部42、判断部43、参数计算部44、参数保存部45对应于图3的处理部24。此外，虽然在图11中没表示，但是在装置内计算机200中还设置有用于登录检查所必需的信息(检查区域的设定条件和模型的图像等)的存储器(与图3的存储器25对应)。对此登录用存储器的登录处理和对装置内计算机200的各部分执行的处理的设定或变更，能够适当地按照控制台4的操作来进行。
图像处理部41通过二值化、边缘提取、图案匹配等提取工件W的检查对象部位的构成点。计测处理部42对由图像处理部41提取出的检查对象部位执行计测位置和大小等的处理。图像处理部41以及计测处理部42被设定成能够选择执行二维以及三维的处理。
判断部43将计测处理部42的计测结果与规定的阈值进行比较等，判断工件W的好坏。将此计测结果和判断结果输出到输出部27及显示控制部26。
显示控制部26用于控制监视器3的显示动作，能够使图像输入部20、21生成的正视图像A0、斜视图像A1在一个画面内并列显示。进而，能够适当地得到图像处理部41、计测处理部42、判断部43的处理结果，并使这些处理结果与图像同时显示。
在参数保存部45中保存有用于三维计测的算式所包含的各种系数。这些系数的值根据由各照相机C0、C1构成的立体坐标系和表示实际的空间中的位置的空间坐标系之间的关系(各坐标间的原点间的距离、相对空间坐标系的立体坐标系的回转偏移量等)而变动(以下将这些系数称为“参数”)。这些参数在检查之前由图像处理部41及参数计算部44计算出，并被存储于参数保存部45。此计算出参数的处理中，使用了具有多个特征点的校准(calibration)用工件。
进而在参数保存部45中还登录有构成下述算式(1)的单应矩阵的参数。
此实施例的检查装置通过向用户提示多种检查菜单(处理项目和已登录的处理项目的序列)并接受选择操作，能够组成检查的算法(序列)。并且，能够根据检查对象的部位，选择并执行使用二维的计测处理的检查和使用三维的计测处理的检查。使用二维的计测处理的检查，以来自照相机C0的正视图像A0为对象，执行图案匹配处理、二值化处理、边缘提取处理等，提取出工件全体或工件中的检查对象部位。
进而，在此实施例中，使用三维的计测处理的检查也能够有效活用来自照相机C0的正视图像A0，从而将三维计测处理高速化。关于这点，在后面详细说明。
以下，以用上述的检查装置进行IC的检查的情况为例，详细说明检查相关的处理。
图12表示工件W为IC的情况下所实施的检查的步骤。此步骤从收到来自工件检测用的传感器的检测信号后开始。最初的ST1(ST为“步骤”的省略。以下相同。)中，由照相机驱动部12同时驱动照相机C0、C1，生成正视图像A0、斜视图像A1。
接下来的ST2中，以被印刷在IC的封装部分上的文字为对象执行检查。此检查中，执行只使用正视图像A0的二维的图像处理。例如，通过图案匹配处理提取出文字的印刷区域，根据该匹配时的相关度和匹配位置来判断文字的印刷状态的合格与否。
接着的ST3中，以IC两侧的引线为检查对象。此检查中，通过使用了正视图像A0以及斜视图像A1两方的三维计测处理，求得各引线的前端部的三维坐标，根据其计算值判断各引线的前端部是否有上浮或弯曲等异常。
ST2，3的检查结束后，在ST4中，将各检查的结果输出到外部设备和监视器3上。进而，如果通过工件检测用的传感器检测出下个IC，则回到ST1，执行与上述相同的步骤。
这样，由两台照相机C0、C1分别拍摄工件W一次，从而能够连续地执行使用二维计测的检查和使用三维计测的检查。由于二维的计测处理中使用正视图像A0，因此能够用没有文字变形的图像进行高精度的计测处理。
在进行三维计测处理时，确定正视图像A0和斜视图像的A1之间对应的计测对象的点，使用适用基于三角测量的原理的算式计算出其三维坐标。
图13表示正视图像A0的检测区域以及斜视图像A1的检测区域的设定例。此例也与图2相同，以图像的纵向(在正视图像A0中为沿引线的排列方向)为y方向，横向(在正视图像A0中为沿引线的长度的方向)为x方向。在正视图像A0中，每个引线6设定单个的检测区域7，每个检测区域7确定一个与引线的前端相对应的边缘点。
即，在此由于照相机C0、C1在x方向排列，所以视差主要发生在x方向。于是，通过将检测区域7内的图像二值化，并将所得到的二值图像沿y方向投影，从而生成以x方向为横轴，“明”像素数或“暗”像素数为纵轴的直方图。接着，将直方图的值的突变处的x坐标作为引线6的前端的x坐标。另一方面，将检测区域7内的y方向的中点的y坐标作为引线6的前端的y坐标。在此，虽然将检测区域7内的图像进行了二值化，但是也可以不限于此，而将检测区域7内的图像保持浓淡图像的原样，在y方向上积分各像素的浓度，求出这样得到的积分浓度分布的值沿x方向突变处(例如横穿阈值的地方)的x坐标。
这样，在检测区域7中，确定的一个方向为边缘的检测对象。图13的例子中，x方向为边缘的检测方向。其中，在正视图像A0中设定检测区域7后，对该检测区域7指定边缘的检测方向。然而，并不仅限于此，也可以设定具有原来固有的边缘的检测方向的检测区域7，也可以先指定检测区域7的边缘检测方向，其后再在正视图像A0上设定检测区域7。
斜视图像A1也要对每个引线6设定检测区域8。这些的检测区域8为基于用于将一方的图像上的一点变换为另一方的图像上的一点的算式(下述(1)式)，使用正视图像A0的各检测区域7确定的边缘点的坐标和由用户指定的高度范围(检查对象部位的高度的可能取到的范围)等来设定。高度范围为沿照相机C0的光轴的三维计测的对象范围。
虽然图13仅表示了对工件W的右侧的引线的区域设定，但是对左侧的引线的也进行同样的设定(以下的图也都相同)。
图14表示用于IC的引线检查的示教处理的顺序。此顺序于图4的IC检查开始之前执行。
在此顺序的最初的步骤S11中，对检查对象的工件W(此例中的IC)，输入引线6的长度和引线6间的间距等。其中所输入的数据被登录到作业用的存储器中，并在下述的ST15中使用。
接下来的步骤ST12中，在摄影对象位置设置合格的工件，并对此由照相机C0、C1进行拍摄。示教处理中，只要生成来自照相机C0的正视图A0就够了，但是此实施例中，即使在示教处理时也同时驱动各照相机C0、C1，并将所生成的两张图像排列显示在监视器3上。
接下来的步骤ST13中，接受正视图像A0中的定位区域的指定操作。图15表示此指定操作时的正视图像A0的表示例，图中的9为定位区域。
此定位区域9用于提取出排成一列的引线6中的最靠边的引线(图示例子中为最上端的引线6a。以下，将此称为“起始引线6a”)。图7的例子中，设定了只包含起始引线6a的正方形的区域9。即使工件W在预想的程度内有位置偏差，但是能够调整此定位区域9大小以对定位区域9中的起始引线6a进行拍摄。并且，定位区域9是以在其下半部分的范围内能够拍摄到起始引线6a的方式被设定的。由此，由于在定位区域9的上半部分的范围内没有拍摄到引线，因此能够确认在定位区域9的下半部分拍摄到的是起始引线6a。
回到图14，指定定位区域9后，在接下来的步骤ST14中，从此定位区域9中提取出起始引线6a。此提取处理中，例如，根据将定位区域9内的图像二值化并将二值化后的图像沿x轴方向投影的方法，求得起始引线6a的y坐标。或者，也可以通过提取出定位区域9内的边缘和其浓度梯度方向，来提取出引线的轮廓线，进而求得引线中心线的y坐标。
ST15中，基于起始引线6a的y坐标以及在ST11所输入的数据，设定各引线6的检测区域7。此实施例中，使用在ST11中输入的数据、照相机C0的像素数、倍率等，计算图像上的引线6的长度和引线6间的间距，基于此计算得的值，决定各检测区域7的大小和区域间的间隔。进而，以起始引线6a的位置为基准，对包括此引线6a的各引线6，每隔已决定的间隔设定大小已决定的检测区域7。
能够采用这样的方法的理由为，使用了原样反映工件W的检查对象部位的特性(各引线的长度相等、引线间的间隔相等等)的正视图像A0。因此，只要能够提取出起始引线6a，即使不提取出其他的引线6，也能够在所有的引线6设定检测区域，从而能够大幅度地提高处理效率。
ST16中，将ST13中指定的定位区域9的设定条件(区域的位置以及大小)和ST15中设定的检测区域7的设定条件登录到登录用存储器中。进而，在ST17中，将定位区域9内的图像作为模型登录到登录用存储器中。由此结束一系列的示教处理。
在执行ST16之前，优选将表示检测区域7的设定结果的图像显示到监视器3上，并根据用户的确认操作进行登录。此外，此时也可以能够对检测区域7的位置和大小进行微调。
图16表示IC的引线检查(图12的ST3)相关的详细顺序。
此顺序的从ST21到ST24为止的处理是对正视图像A0进行的处理。首先，在ST21中，基于示教中所登录的设定条件，在正视图像A0中设定定位区域9。在接下来的步骤ST22中，将此定位区域9内的图像与示教处理的ST17中登录的模型进行对照，并提取出与模型相对的偏差量(在此处理中，能够应用例如图案匹配的手法)。
ST21和ST22相当于处理项目表201中的“模型位置修正”的处理项目。
在ST23中，基于ST22中提取出的偏差量对示教时登录的检测区域的设定条件进行调整，利用该调整后的设定条件设定各引线的检测区域7。由正视图像A0，由于可以不考虑图像上的工件W的倾斜，因此能够将定位区域9的偏差量原样适用于各检测区域7，对各引线6能够基于跟示教处理时相同的位置关系来设定检测区域7。
图17表示检查时的正视图像A0的一个例子。由于在此例中的工件W向图7所示的示教时的图像A0右侧偏移，因此变成引线6的前端从定位区域9露出的状态。然而，对于检测区域7，由于进行了上述调整处理，因此对任意的引线6按照图4所示的相同的条件都可以设定检测区域7。
这样如果对每个引线设定了检测区域7，在接下来的ST24中，对每个检测区域7计算引线的前端x，y坐标。ST23和ST24相当于处理项目表201中的“浓淡边缘位置”的处理项目。此处理项目仅重复设定引线的个数次。此外，虽然图示省略了，但是在此处理项目之后，还执行了“照相机切换”的处理项目。
在接下来的ST25中，在斜视图像A1上，设定各引线的前端部分对应的检测区域8。并且在ST26中，对所设定的检测区域8执行与ST24相同的处理，并计算引线的前端的x，y坐标。
此后，在ST27中，对各前端分别用在ST24、26计算所得的坐标计算三维坐标。进而，在ST28中，将计算所得的三维坐标与预先登录的基准值进行比较等，判断各引线的前端部的好坏。例如，规定的前端部有上浮的话，表示高度的Z坐标会成为超出基准值的值，由此判断其前端部不合格。从ST25到ST27为止相当于“立体边缘位置”的处理项目。此处理项目也重复设定引线的个数次。
接着，对ST25中的检测区域8的设定进行详细说明。
图18表示空间内的任意的高度位置上的某平面D上的一点P于照相机C0、C1的摄像面F0、F1上的点p0、p1分别成像的状态。在图18中，X，Y，Z为表示三维空间的坐标轴，平面D与XY平面平行。此外在摄像面F0中设定有由x0、y0的轴形成的二维坐标系，而在摄像面F1中设定有由x1、y1形成的二维坐标系。图18中，恰好在两摄像面的原点成像的平面D上的点为P，但并不仅限于此，点P的位置为平面D上的任意点。
摄像面F0中点P的成像位置(点p0)的坐标为(xcam0，ycam0)，摄像面F1中的点P的成像位置(点p1)的坐标为(xcam1，ycam1)的话，点p0、p1间的关系如下面的(1)式所示。
λxcam1ycam11=Hzxcam0ycam01---(1)]]>(1)式中，Hz为对于高度Z的平面D上的点，表示摄像面F0上的成像位置和摄像面F1上的成像位置的关系的3×3的单应矩阵，λ为常数。矩阵Hz能够由利用了预先在平面D上的已知的坐标的校准而求得(关于校准的详细内容，请参照下述的非专利文献1)。
非专利文献1见市伸裕，和田俊和，松山隆司《关于投影机、照相机系统的校准的研究》、(平成17年6月1日检索)、因特网<URLhttp//vision.kuee.kyoto-u.ac.jp/Research/Thesis/Thesis_PDF/Miichi_2002_P_147.pdf>。
因此，将正视图像A0的各检测区域7中提取出的引线的前端看作点p0，将其坐标代入(1)式的(xcam0，ycam0)的情况下，计算所得的(xcam1，ycam1)能够看作是与斜视图像A1中与引线的前端的位置相对应。然而，引线前端的高度变动的话，平面D的高度Z也随之变化，同时与之对应地，单应矩阵Hz变化，(xcam1，ycam1)的值也变化。
在ST25中，基于此原理，以预想的高度范围(沿照相机C0的光轴的三维计测的对象范围)的上限值为平面D的高度Z时、和以下限值为高度Z时，分别使用与该高度Z对应的单应矩阵Hz，执行(1)式，从而作为(xcam1，ycam1)得到如图19所示的两点e，f的坐标。接着，斜视图像A1中，如图19所示，设定将线段ef向与线段ef垂直的各侧的方向仅平行移动正视图像A0侧的检测区域7的半幅值k得到的线段gh以及线段g`h`，将连接所得的线段gh以及线段g`h`的4个端点而形成的矩形区域ghh`g`作为检测区域8。
图20A，图20B对比表示了对于与图13相同的斜视图像A1，引线6能取到的高度范围为0～5mm的情况和高度范围为-15～15mm的情况下检测区域8的大小。从此例可以明确，检测区域8随高度范围的变动幅度变小而变小。图20A，图20B中简化地将各检测区域8互相平行地画出，实际上，由于在斜视图像A1中产生如因透视法的效果而将矩形的对象物拍摄成梯形那样的变形，所以各检测区域8成为越向图的右边这些中心线之间的间隔就越大的非平行设置的状态。在各检测区域8中，用于求得边缘前端位置的二值化图像的投影在与检测区域8的中心线相垂直的方向进行。
上述的实施例中，对于基准图像A0，由于设定了用于确定引线的前端位置的与各引线6对应的检测区域7，所以仅引线个数次的处理项目的设定是必要的，代替这个，也可以以包含各引线的前端的方式在y轴方向设定一个长的检测区域，并且设置在此区域中能够分别求得各引线的前端位置的处理项目。
接着，说明将以配置有按钮式的文字键的工件(遥控器、电话机等)作为检查对象来检查各键的高度的情况。这种情况下，在检查之前，如图21所示，使用拍摄合格工件W得到的正视图像A0，对各键60的每一个，指定包含被画在该键60上的文字的区域70，将该区域70内的图像作为模型预先登录。
图22表示检查的步骤。首先在ST31中，同时驱动各照相机C0、C1，生成图像。此ST31相当于处理项目表201中的“立体照相机图像输入”的处理项目。接下来的ST32中，对正视图像A0，执行使用了检查前所登录的模型的图案匹配处理，确定与模型最一致的区域并将该区域作为计测对象区域。此处理对与各键60对应的每一个模型都进行，但是在这里为了简化说明，限定一个图案进行说明。
计测对象区域确定后，接下来的ST33中，确定此区域的代表点(例如区域的中心点)的坐标。代表点也能确定多个(例如，与预定图案上的多个特征点对应的点)。
ST32和ST33相当于处理项目表201中的“高精度ECM搜索”的处理项目。此处理项目执行后，执行未图示的“照相机切换”处理项目，前进到ST34。
在ST34中，基于代表点的坐标，在斜视图像A1上设定搜索区域。此情况下，也与在上述的引线检查中设定检测区域8的情况相同地，将预先指定的高度范围的上限值以及下限值作为高度Z来设定单应矩阵Hz，通过使用代表点的坐标和高度范围的上限值以及下限值执行两次计算，来求得图像A1上代表点可能存在的范围，将在该范围内加入了模型大小的区域作为搜索区域。
在ST35中，对于搜索区域，执行搜索区域和模型之间的图案匹配处理，确定计测对象区域和该区域内的代表点的位置。进而在ST36中，使用正视、斜视的各图像A0、A1中计测对象区域的代表点的坐标，计算三维坐标。接下来，在ST37中，通过比较计算所得的三维坐标中的Z坐标与规定的阈值，来判断键的高度是否合适。接着，在ST38中，输出判断结果，结束处理。从ST35到ST38为止，相当于“立体高精度ECM搜索”的处理项目。
在基准图像A0上，将与在模型上采定的特征点对应的点作为代表点确定了的情况下，在ST36中，相同地，也能够确定模型上的对应点。并且，在ST35中，也可以使用与指定的高度范围内的规定高度(例如工件为正常时标准的高度)对应的单应矩阵，将模型变换为应是斜视照相机C1拍摄到的形状，并使用该变换后的模型确定计测对象区域。
图23表示在上述的检查中，在正视图像A0上确定的与键60相关的计测对象区域71、基于此区域71的位置和大小而设定的斜视图像A1侧的搜索区域80、以及在搜索区域80中确定的计测对象区域81。
图22表示的步骤中，只根据三维计测处理进行检查，此检查也能够通过使用了正视图像A0的二维计测处理，来对各键的文字的印刷状态等进行检查。
接下来的实施例是检查中央部有圆形显示区域的工件的显示区域内的高度是否合格。
图24表示由各照相机C0、C1生成的工件W的图像A0、A1。图中，S为检查对象的显示区域。在正视图像A0中，由于与先前的实施例相同地，呈现了工件W的正面图像，因此显示区域S的轮廓线72也成为圆形。与此相对，在斜视图像A1中，由于在工件W产生了变形，所以显示区域S的大小和轮廓线72的形状也和正视图像A0不同，在显示区域S内的文字的配置状态也产生了变形。
在此实施例中，在检查之前，拍摄工件W的合格品模型，在所得到的正视图像A0上，由用户指定显示区域S的半径和计测对象区域。此时，在图像处理部22执行从正视图像A0中求取显示区域S的中心点的位置的处理，然后将与此中心点相对的计测对象区域的相对位置登录到登录用存储器中。
图25放大表示了正视图像A0中的显示区域S。图中，73为由用户指定的计测对象区域，74为显示区域S的中心点。此中心点74的位置，是执行从正视图像A0提取出圆形图案，并根据该提取结果中确定最符合由用户指定大小的圆的轮廓线72而求得的。
图26表示检查图24的工件W的高度的步骤。
在ST41中，与先前的实施例相同地，同时驱动各照相机C0、C1，生成正视图像A0以及斜视图像A1。此ST41相当于处理项目表201中的“立体照相机图像输入”的处理项目。在ST42中通过根据正视图像的上述处理，求得显示区域S的中心点74的位置。ST42相当于“模型位置修正”的处理项目。
在接下来的步骤ST43中，以在ST42求得的中心点74的坐标为基准，基于预先登录的相对位置来设定计测对象区域73。接着，之后的ST44中，将计测对象区域73的图像作为搜索用的模型图像登录，进而也登录计测对象区域73的代表点位置(例如，区域内的中心点位置)。
ST44相当于“立体区域设定”的处理项目。图26中虽然省略了图示，但是在此处理项目执行后还执行“照相机切换”的处理项目。
在ST45中，在斜视图像A1上设定搜索区域82(如图27所示)。此实施例也是将在ST44登录的代表点的坐标代入(1)式，通过使用相应于预先指定的高度范围的上限值以及下限值的单应矩阵Hz来执行(1)式，从而决定搜索区域的82的位置和大小。
在ST46中，使用正面图像A0的计测对象区域73在ST44所登录的图像，在搜索区域82内执行相关匹配处理。接着，确定与登录的图像最为类似的区域，并将此作为斜视图像A1侧的计测对象区域。在ST47中，对于斜视图像A1侧的计测对象区域，求得代表点的坐标，并使用此坐标和正视图像A0侧的代表点的坐标来计算三维坐标。之后的ST48中，判断所求得的Z坐标是否合格。接着，在ST49中，输出判断结果，然后结束处理。
从ST45到ST49为止的处理相当于处理项目表201中的“立体高度计测”的处理项目。
图27A，图27B表示关于一组的正视图像A0和斜视图像A1的，正视图像A0中的计测对象区域73、斜视图像A1中的搜索区域82以及计测对象区域83。并且，正视图像A0中，将显示区域S的轮廓线72表示为粗线的同时，标出了求得的显示区域S的中心点74的位置。在图27A的图像和图27B的图像中，虽然工件W的位置不同，但是无论在那种情况下计测对象区域73都能正确地被设定，以在其中收纳作为目标的文字。
由图26所示的检查的步骤，由于从每个作为检查对象的工件W取得搜索用的模型图像，因此即使在作为三维计测对象的文字等的表面图案随工件W不同而不同等情况下，也能够适用相同的序列进行三维计测。其中，表面图案可能随工件W不同而不同，但利用工件W的形状和以工件W的形状为基准的计测对象区域的位置对任何工件W都是共通的这一点，设定计测对象区域。
在图26的步骤中，也可以将所登录的搜索用的模型图像用单应矩阵Hz变换成应为斜视照相机C1拍摄到的形状，然后使用变换后的图像确定计测对象区域83。
进而，在图26的步骤中，也能够编入使用正视图像A0检查显示区域S内的文字的印刷状态的处理。
权利要求
1.一种图像处理装置，使用基于由第一照相机以及第二照相机分别拍摄的图像的第一图像以及第二图像进行处理，该第一照相机以及第二照相机以从相互不同的方向拍摄对象物的方式被设置，其特征在于，具备序列设定单元，其设定处理项目的序列；序列执行单元，其执行所设定的序列，序列设定单元提供二维图像处理的多个项目以及三维计测处理的至少一个项目，作为根据用户的选择而能够成为序列的要素的处理项目，在所提供的二维图像处理的项目之中，包括有确定第一图像中对象物上的位置的至少一个第一图像上位置确定处理的项目，上述三维计测处理包含有确定第二图像中对象物上的位置的第二图像上位置确定处理，该第二图像中对象物上的位置对应于属于与上述三维计测处理所属序列相同的序列的第一图像上位置确定处理中所确定的第一图像中对象物上的位置。
2.根据权利要求1所述的图像处理装置，其特征在于，上述三维计测处理还包含有利用上述第一图像上位置确定处理中所确定的位置和上述第二图像上位置确定处理中所确定的位置来计算出三维坐标的处理。
3.根据权利要求1或2所述的图像处理装置，其特征在于，提供根据用户的选择而能够成为序列的要素的、多个种类的第一图像上位置确定处理的项目和多个种类的三维计测处理的项目。
4.根据权利要求1或2所述的图像处理装置，其特征在于，以根据用户的选择而能够利用的方式提供包括有至少一个第一图像上位置确定处理的项目和至少一个三维计测处理的项目的三维计测的基本序列。
5.根据权利要求1或2所述的图像处理装置，其特征在于，作为处理项目而被提供的至少一个第一图像上位置确定处理，相对于第一图像设定第一检测区域，确定针对第一检测区域而规定的边缘检测方向上的边缘的位置，作为处理项目而被提供的至少一个三维计测处理中的第二图像上位置确定处理，相对于第二图像设定第二检测区域，确定第二检测区域内的边缘检测方向上边缘的位置，该第二检测区域是将基于第一照相机和第二照相机的位置关系以及在第一图像上位置确定处理中所确定的边缘的位置的确定的一个方向作为边缘检测方向的区域。
6.根据权利要求5所述的图像处理装置，其特征在于，第二检测区域的沿着其边缘检测方向的范围是作为三维计测的对象范围而基于沿着用户所指定的第一照相机的光轴的范围来设定的。
7.根据权利要求5所述的图像处理装置，其特征在于，第一照相机具有矩形的视野的范围，以从正视对象物的方向进行拍摄的方式被设置，第二照相机位于相对第一照相机而沿着第一照相机的视野中的纵向或横向离开的位置，以从相对正视对象物的方向而倾斜的方向拍摄对象物的方式被设置，第一图像上位置确定单元将第一检测区域相对于第一图像而设定于基于用户的指示的位置，第一检测区域的边缘检测方向为第一照相机及第二照相机的排列方向。
8.根据权利要求1或2所述的图像处理装置，其特征在于，作为处理项目而被提供的至少一个第一图像上位置确定处理，确定与计测执行前预先登录的模型图像一致程度高的第一图像上的区域的代表位置，作为处理项目而被提供的至少一个三维计测处理中的第二图像上位置确定处理，确定与上述模型图像一致程度高的第二图像上的区域的代表位置。
9.根据权利要求8所述的图像处理装置，其特征在于，第二图像上位置确定处理，基于第一照相机和第二照相机的位置关系以及第一图像上位置确定处理中所确定的代表位置，在第二图像上设定搜索区域，确定在搜索区域内与上述模型图像一致程度高的区域的代表位置。
10.根据权利要求9所述的图像处理装置，其特征在于，上述搜索区域还作为三维计测的对象范围而基于沿着用户所指定的第一照相机的光轴的范围来设定。
11.根据权利要求1或2所述的图像处理装置，其特征在于，作为处理项目而被提供的至少一个第一图像上位置确定处理，在第一图像上确定基于用户的指示而设定的计测对象区域的代表位置，取得计测对象区域内的图像作为模型图像，作为处理项目而被提供的至少一个三维计测处理中的第二图像上位置确定处理，确定与上述模型图像一致程度高的第二图像上的区域的代表位置。
12.根据权利要求11所述的图像处理装置，其特征在于，第二图像上位置确定处理，基于第一照相机和第二照相机的位置关系以及第一图像上位置确定处理中所确定的代表位置，在第二图像上设定搜索区域，确定在搜索区域内与上述模型图像一致程度高的区域的代表位置。
13.根据权利要求11所述的图像处理装置，其特征在于，上述搜索区域还作为三维计测的对象范围而基于沿用户所指定的第一照相机的光轴的范围来设定。
14.一种图像处理方法，是使用基于由第一照相机以及第二照相机分别拍摄的图像的第一图像以及第二图像的图像处理方法，该第一照相机以及第二照相机以从相互不同的方向拍摄对象物的方式设置，其特征在于，具备序列设定步骤，设定处理项目的序列；序列执行步骤，执行所设定的序列，序列设定步骤提供二维图像处理的多个项目以及三维计测处理的至少一个项目，作为根据用户的选择而能够成为序列的要素的处理项目，所提供的二维图像处理的项目之中，包含有确定第一图像中对象物上的位置的至少一个第一图像上位置确定处理的项目，上述三维计测处理包含有确定第二图像中对象物上的位置的第二图像上位置确定处理，该第二图像中对象物上的位置对应于属于与上述三维计测处理所属序列相同的序列的第一图像上位置确定处理中所确定的第一图像中对象物上的位置。
15.根据权利要求14所述的图像处理方法，其特征在于，上述三维计测处理还包含有利用上述第一图像上位置确定处理中所确定的位置和上述第二图像上位置确定处理中所确定的位置来计算出三维坐标的处理。
16.一种图像处理装置，使用基于由第一照相机和第二照相机分别拍摄的图像的第一图像以及第二图像而进行处理，其中，该第一照相机具有矩形的视野的范围，并以从正视对象物的方向进行拍摄的方式被配置，而该第二照相机位于相对第一照相机而沿着第一照相机的视野中的纵向或横向离开的位置，以从相对正视对象物的方向而倾斜的方向拍摄对象物的方式被设置，其特征在于，具有第一图像上位置确定单元，其确定第一图像中对象物上的位置；第二图像上位置确定单元，其确定对应于第一图像上位置确定单元中所确定的第一图像中对象物上的位置的、第二图像中对象物上的位置；三维坐标计算单元，其利用第一图像上位置确定单元所确定的位置和第二图像上位置确定单元所确定的位置来计算出三维坐标，第一图像上位置确定单元，将第一检测区域相对于第一图像而设定于基于用户的指示的位置，确定针对第一检测区域而规定的边缘检测方向上的边缘的位置，第一检测区域的边缘检测方向为第一照相机以及第二照相机的排列方向，第二图像上位置确定单元，相对于第二图像设定第二检测区域，确定第二检测区域内的边缘检测方向上的边缘的位置，该第二检测区域是将基于第一照相机和第二照相机的位置关系以及在第一图像上位置确定单元中所确定的边缘的位置而设定的确定的一个方向作为边缘检测方向的区域。
17.一种图像处理方法，是使用基于由第一照相机和第二照相机分别拍摄的图像的第一图像以及第二图像而进行处理的图像处理方法，其中，该第一照相机具有矩形的视野的范围，并以从正视对象物的方向进行拍摄的方式被配置，而该第二照相机位于相对第一照相机而沿着第一照相机的视野中的纵向或横向离开的位置，以从相对正视对象物的方向而倾斜的方向拍摄对象物的方式被设置，其特征在于，具有第一图像上位置确定步骤，确定第一图像中对象物上的位置；第二图像上位置确定步骤，确定对应于第一图像上位置确定步骤中所确定的第一图像中对象物上的位置的、第二图像中对象物上的位置；三维坐标计算步骤，利用第一图像上位置确定步骤所确定的位置和第二图像上位置确定步骤所确定的位置来计算出三维坐标，第一图像上位置确定步骤，将第一检测区域相对于第一图像而设定于基于用户的指示的位置，确定针对第一检测区域而规定的边缘检测方向上的边缘的位置，第一检测区域的边缘检测方向为第一照相机以及第二照相机的排列方向，第二图像上位置确定步骤，相对于第二图像设定第二检测区域，确定第二检测区域内的边缘检测方向上的边缘的位置，上述第二检测区域是将基于第一照相机和第二照相机的位置关系以及在第一图像上位置确定步骤中所确定的边缘的位置而设定的确定的一个方向作为边缘检测方向的区域。
全文摘要
本发明提供一种图像处理装置，与以往的二维图像处理装置相同，通过提示可用的处理项目而生成处理项目的序列的用户接口，能够指定三维计测的序列。处理项目表(201)中登录有二维图像处理的多个项目以及三维计测处理的至少一个项目。二维图像处理的项目中包括确定第一图像中的对象物上的位置的至少一个第一图像上位置确定处理的项目。序列组成部(205)根据用户的选择来组合第一图像上位置确定处理的项目和三维计测处理的项目，设定用于三维计测的序列。
文档编号G01B21/20GK1880914SQ20061009286
公开日2006年12月20日 申请日期2006年6月16日 优先权日2005年6月17日
发明者池田泰之, 藤枝紫朗 申请人:欧姆龙株式会社