专利名称：三维计测方法以及三维计测装置的制作方法
技术领域：
本发明涉及一种利用由多台照相机所生成的图像来对上述照相机的视场重合的范围执行三维计测处理的方法、以及用于执行该方法的三维计测装置。
背景技术：
在基于双目视觉原理的三维计测处理中，由两台以上的照相机从不同方向拍摄计测对象物，并在所生成的图像之间对表示同样图像的特征点的彼此建立对应关系。然后，将从各图像提取的特征点的坐标代入到基于三角计测原理的计算式中，从而计算出三维坐标(参照专利文献1)。
专利文献1JP特开2002-99902公报要进行如上述专利文献1所示的计测处理，则计测对象的各点必须得包含在所有照相机的视场内。因此，为确保三维计测的精度，必须基于计测对象物所包含的范围和计测对象物可能会采用的高度范围来调整各照相机的位置关系。
但是，判别各照相机的视场重合的范围或高度非常困难。特别是，当由缺乏关于三维计测的专业知识的用户使用装置时，不知道怎样调整照相机才可变成适于计测的状态，而以尝试法进行调整，因而当进行调整操作时有可能花费极大的劳力和时间。
发明内容
本发明是着眼于上述问题而提出的，其目的在于能够简单地执行将各照相机设定为对应于计测目的的状态、或者确认是否设定成这样的设定的处理。
在假设通过多台照相机来拍摄位于规定的高度位置的平面的情况下，在所生成的图像之间相对应的像素的坐标关系是通过利用被称为单应矩阵的矩阵的式子来表示(参照下述非专利文献1)。
非专利文献1见市伸裕，和田俊和，松山隆司“关于投影机及照相机系统的标定(Calibration)的研究”，“平成17年6月1日检索”，网址<URLhttp//vision.kuee.kyoto-u.ac.jp/Research/Thesis_PDF/Miichi_2002_P_147.pdf>
因此，若弄清楚照相机之间的照相机坐标系的关系(原点之间的距离、坐标轴的旋转错位等)，则当位于空间内的规定的高度位置的一点成像在一台照相机的拍摄面上时，通过将该成像位置的坐标代入到利用对应于上述点的高度的单应矩阵的关系式中，而能够将上述坐标变换为其他照相机的拍摄面上的坐标。若该变换后的坐标包含在照相机的实际拍摄面的范围内，则能够认为上述空间内的一点为被包含在所有照相机的视场的点、且为能够进行三维计测的点。
在这里，为了使说明变得简单，照相机采用A、B两台，并将具有特定的高度、且面积无限大的假设平面作为计测对象。这时，对任意的照相机都能够认为分别位于上述假设平面上的任意的位置的点成像在构成其拍摄面的所有像素上。因此，当对于构成一方照相机A的图像的全部像素，分别利用对应于上述假设平面的高度的单应矩阵来求出照相机B侧图像的对应点的坐标时，能够认为在这些坐标中，包含在照相机B的实际图像的范围内的坐标，与共同包含在照相机A、B的视场的点相对应。换而言之，可以认为上述对应点的坐标的集合表示能够计算出上述假设平面上的三维坐标的范围。
以下，将在该图像上的、能够进行三维计测的范围称为“可计测范围”。
此外，由于照相机的拍摄面为长方形形状，所以，即使没有如上述所述那样对于图像中的全部像素求出对应点，也能够对位于图像的各顶点的四个点求出对应点的坐标，并将连结这些对应点的矩形区域作为上述可计测范围。进而，对于照相机A的拍摄面，也同样地提取与照相机B的全部像素对应的区域，并将其作为可计测范围。
还有，当上述假设平面的高度以规定的范围变化时，对应于该高度变化的单应矩阵也变化，从而可计测范围也发生变化。这时，为了确实地计测位于高度变化的幅度内的点，有必要将包含与该高度范围中的各高度对应的所有可计测范围的范围、即所有可计测范围重合的范围限定为计测对象。
本发明是基于上述研究而提出的，是一种这样的发明，即，在利用由多台照相机所生成的图像来对上述各照相机的视场重合的范围执行三维计测处理的方法以及装置中，使用户能够简单地判别可计测范围(计测对象物的支承面上的范围、或者高度范围)。
此外，在该说明书中，计测对象物的“支承面”并不仅限于水平面，还包括面的方向朝向水平以外的方向的面。还有，对于“高度”，也能够换个说法为“从支承面的距离”。
首先，在本发明的第一三维计测方法中，执行以下步骤第一步骤，针对应计测的高度范围接受指定；第二步骤，针对至少一台照相机，利用各照相机之间的照相机坐标系的关系，提取出由该照相机生成的图像内的点中的、即使位于在上述第一步骤中被指定的高度的任意范围内也包含在所有照相机的视场内的点出现在图像上的范围。
在上述内容中，在第一步骤能够使用户对高度的上限值以及下限值指定任意的值。
在第二步骤，通过前面所说明过的方法，对每个来自各照相机的图像，能够求出涉及上述高度范围的上限值以及下限值的可计测范围，并将这些范围重合的部分作为位于上述高度范围内、且包含在所有照相机的视场内的点出现的范围(与上述高度范围对应的可计测范围)。
在本发明优选的一实施方式中，进一步执行第三步骤，该第三步骤将由上述第二步骤的处理对象的照相机生成的图像与在上述第二步骤中提取的范围一起显示。
在第三步骤，例如，能够显示在由上述第二步骤的处理对象的照相机生成的图像上再加上在第二步骤中提取的范围的轮廓线的图像。或者，也可以将上述范围内的图像以规定的色彩进行着色等，从而显示在范围内外的显示方式不同的图像。还有，也可以仅显示包含在上述范围内的图像。
根据上述的方法，可通过指定用户想要计测的高度范围，对至少一台照相机，显示表示该照相机的视场和可计测范围的关系的图像，因此用户能够轻易地判别能够计测所指定范围内的高度的范围，从而能够判断各照相机是否设定成适于计测目的的设定。
在本发明的优选的一实施方式中，上述第一步骤还针对计测对象物的支承面上的计测对象范围也接受指定，执行以下步骤第四步骤，针对上述第二步骤的处理对象的照相机，判别其图像上的上述计测对象范围是否包含在上述第二步骤中所提取的范围内；第五步骤，输出上述第四步骤的判别结果。
在第一步骤中，根据计测对象物的大小或者计测对象物可能会取的位置，能够指定任意的计测对象范围。如后所述，该指定最好是在来自任意一台照相机的图像的显示画面上进行，但是也不仅限于此。例如，在对象物的支承面上标出计测对象范围的轮廓线，并将其由在多台照相机中的至少一台来拍摄，然后从所生成的图像中提取上述轮廓线，从而能够判别计测对象范围。或者，通过代入计测对象范围的各顶点的具体三维坐标的方法，也能够指定计测对象范围。
在上述的实施方式中，若用户同时指定高度范围和计测对象范围，则通过第二步骤以与上述第一方法同样的原理可提取与高度范围对应的可计测范围。进而，在第四步骤中，判别上述所指定的计测对象范围是否包含在可计测范围内。
在第五步骤中，能够将该判别结果与来自照相机的图像一起显示。还有，在计测对象范围超出可计测范围的情况下，即使是在该计测对象范围内被指定的高度范围内的对象物，也有可能无法计测该高度，因此最好输出向用户报知范围指定不适当的信息，例如显示警告信息、或者发出警告音等。
在本发明的优选的一实施方式中，进一步执行第六步骤，该第六步骤显示来自上述第二步骤的处理对象的照相机的图像的同时，在其显示画面上与在上述第二步骤中提取的范围对应的区域中接受计测对象范围的指定。
在上述实施方式中，用户指定了要计测的高度范围之后，在来自任意一台照相机的图像的显示画面上进行指定计测对象范围的操作。根据上述第三步骤，可指定的范围作为计测对象范围而限定在能够确实地计测位于前面被指定的高度范围内的点的范围内，因此不会指定不可计测的范围，从而能够确保计测精度。
此外，例如，若对计测对象范围指定左上以及右下的各顶点，则在第六步骤中能够以向可计测范围的外侧光标不移动的方式限制光标的设定范围。此外，也可以仅显示可计测范围的图像，而仅限于在该被显示的范围内接受指定操作。
本发明的第二三维计测方法中，执行以下各步骤第七步骤，针对计测对象物的支承面上的计测对象范围接受指定；第八步骤，利用各照相机之间的照相机坐标系的关系，来求出属于上述计测对象范围的点中包含在所有照相机的视场内的点的高度范围；第九步骤，输出在上述第八步骤中求出的高度范围。
在上述第八步骤中，一边将上述假想平面的高度每次移动规定的单位，一边对每个高度提取与该高度对应的可计测范围，从而能够求出与可计测范围对应的高度，该可计测范围可包含在第七步骤被指定的计测范围。由此，能够从这些高度的集合求出高度范围。
根据第二方法，通过指定用户认为必要的计测对象范围，能够向用户报知属于该范围内的各种高度的点中包含在所有照相机的视场内的点、即可进行三维计测的点的高度范围。
上述第一、二的方法，在作为目的的计测之前，也可以为如下的目的而实施设定照相机以使该计测正确进行，或者确认是否处于这样的设定状态。还有，也可以为这样的目的而实施，即，在利用三维计测的检查中，当非不良品而作出不良判断时，确认是否正确执行了三维计测。
执行上述第一三维计测处理方法的装置具有输入装置，其输入应计测的高度范围；范围提取装置，其针对上述多台照相机中的至少一台，利用各照相机之间的照相机坐标系的关系，提取出由该照相机生成的图像内的点中的、即使位于由上述输入装置输入的高度的任意范围内也包含在所有照相机的视场内的点出现在图像上的范围。
上述输入装置可以由鼠标、控制台、键盘等构成。范围提取装置能够由存储有有关该装置的处理的程序的计算机来构成。
本发明的优选的一实施方式，还具有如下的各装置显示用图像生成装置，其生成显示用图像，该显示用图像是将由上述范围提取装置的处理对象的照相机生成的图像与由上述范围提取装置提取的范围一起显示的图像；图像输出装置，其输出上述显示用图像。
显示用图像生成装置可以由存储有有关该装置的处理的程序的计算机来构成。图像输出装置可以作为对于图像显示用显示装置的接口电路而构成。
本发明的优选的一实施方式，还具有第一范围指定接受装置，其显示来自上述多台照相机中的任意一台的图像的同时，在其显示画面上接受计测对象范围的指定操作；判别装置，其判别上述所指定的计测对象范围是否包含在由上述范围提取装置提取的范围内；输出装置，其输出上述判别装置的判别结果，上述范围提取装置通过上述范围接受装置来对作为范围指定的对象的照相机进行上述范围的提取。
输入装置是与第一装置同样的装置。其他的装置可以分别由存储有有关该装置的处理的程序的计算机来构成，但是，输出装置最好包含对于显示器或者外部设备的接口电路。
第一范围指定接受装置能够作为人机接口而构成，该人机接口，将来自规定的照相机的图像显示在显示装置上，并在该显示图像上重叠显示范围指定用光标等而接受指定操作。
上述范围提取装置基本上与前面的实施方式相同，但是，只要至少对作为上述范围指定的对象的照相机的图像执行提取处理即可。
输出装置可以作为在与上述指定范围时同样的图像的显示画面上显示上述范围指定是否适当的信息的装置而构成。此外，在此基础上，当范围指定不适当时，也可以以输出警告音的方式构成。
本发明的优选的一实施方式，具有第二范围指定接受装置，该第二范围指定接受装置显示来自上述范围提取装置的处理对象的照相机的图像，并在该图像上由上述范围提取装置提取的范围内接受计测范围的指定。
进而，用于执行第二三维计测方法的装置具有范围指定接受装置，其显示来自上述多台照相机中的任意一台的图像的同时，接受在其显示画面上的计测对象范围的指定操作；高度范围提取装置，其对应于所指定的上述计测对象范围，利用各照相机之间的照相机坐标系的关系，来求出在空间内属于该计测对象范围的点中包含在所有照相机的视场内的点的高度范围；输出装置，其输出由上述高度范围提取装置求出的高度范围。
第二装置的输出装置最好作为显示上述高度范围的装置而构成(例如，由生成显示用的信息而控制显示器的显示动作的计算机以及显示用接口来构成)。这时的显示并不仅限于单纯的数值显示，例如，也可以对计测对象物的支承面视为基准的高度范围进行图形显示。
进而，在上述第一、第二三维计测装置中，能够采用将作为上述计测对象区域的指定对象的照相机，相对计测对象物的支承面以垂直光轴的状态设置的结构。根据这样的结构，能够生成从正面拍摄到的计测对象物和其支承面的图像，因此，能够以与在实际支承面上指定范围同样的间隔来指定计测对象范围。
进而，可以在本发明的三维计测装置设置用于将计测处理结果输出到外部(也包括显示)的装置。还有，当将该装置以检查的目的使用时，可以设置将计测处理结果与规定的阈值进行比较的装置、基于该比较结果输出OK(合格的判定信号)或者NG(不良的判定信号)的装置等。
根据本发明，用户能够简单地确认是否能够确实地计测位于想要计测的范围内的各点，因此，即使是缺乏有关三维计测知识的用户，也能够简单地进行照相机的设定和调整。还有，在计测处理中，也能够向用户通知支承面上的可计测范围和可计测的高度范围，因此能够简单地把握是否设定有能够正确地执行作为目的的三维计测的条件。
图1是同设置例一起表示应用了本发明的检查装置的拍摄部的结构的立体图。
图2是检查装置的框图。
图3是表示拍摄了标定用工件时的显示画面的说明图。
图4是表示可计测范围的显示例。
图5是表示各图像之间的对应点的关系的说明图。
图6是表示可计测范围的提取方法的说明图。
图7是表示在显示可计测范围的同时进行照相机的设定的情况下的处理步骤的流程图。
图8是表示计测区域的指定例子的说明图。
图9是表示在设定适合于可计测范围的计测区域的情况下的处理步骤的流程图。
图10是表示在接受计测区域的指定而显示可计测的高度范围的情况下的处理步骤的流程图。
具体实施例方式
图1将应用了本发明的检查装置的拍摄部的结构，同其设置例一起表示。
该实施例的检查装置具有三维以及二维两方面的计测处理功能，由拍摄部1依次拍摄被搬送在工场的检查流水线L的检查对象物W(以下，称为“工件W”)，并进行对应于各种检查目的的计测处理合判别处理。
上述拍摄部1具有在规定大小的框体15内装入两台照相机C0、C1的结构，并且设置在上述检查流水线L的上方。一方的照相机C0以将其光轴朝向垂直方向的状态被设置。另一方的照相机C1以与上述照相机C0视场重合的方式、且以使光轴倾斜的状态被设置。通过这样的设定，在照相机C0中，生成表示从正面看到上述工件W的上表面的状态的图像(以下，将该照相机C0侧的图像称为“正视图像”)。并在另一方的照相机C1中，可生成处于向斜向倾斜状态的工件W的图像(以下，称为“斜视图像”)。
图2是表示上述检查装置的全体结构的框图。该检查装置除了上述拍摄部1以外，还由主体部2、显示器3、控制台4等构成。在主体部2分别设置有对于各照相机C0、C1的图像输入部10、11；照相机驱动部12；运算处理部20；输出部28等。
上述照相机驱动部12，接收来自未图示的工件检测用传感器的检测信号来同时驱动各照相机C0、C1。由各照相机C0、C1所生成的图像信号输入到各自的图像输入部10、11，而被进行数字转换。由此，分别在每台照相机上生成计测处理用数字图像(上述正视图像以及斜视图像)。
上述运算处理部20是由计算机构成的，其执行了利用每个上述照相机的图像的计测处理之后，从该处理结果判定上述工件W是否适当。输出部28是用于将上述计测处理和判定处理的结果输出到PLC等外部设备的输出用接口。
在运算处理部20中，除了用于存储图像A0、A1的图像存储器21之外，还设有图像处理部22、计测处理部23、判定部24、显示控制部25、参数计算部26、参数存储部27等。此外，在图像存储器21以及参数存储部27以外的各部是，通过专用程序来设定在上述计算机中的功能。图像存储器21和参数存储部27设定在上述计算机的存储器(RAM等)中。
此外，虽在图2中没有表示，但在运算处理部20还设有用于登录检查所需的信息(检查区域的设定条件和模型的图像等)的存储器等(以下，将该存储器称为“登录用存储器”)。对向该登录用存储器的登录处理、以及运算处理部20的各处理部执行的处理的设定或者变更，能够适当地根据控制台4的操作来进行。
图像处理部22对于上述工件W的检查对象部位，从上述正视图像提取计测对象的点之后，在斜视图像中检索与该点对应的点。计测处理部23通过利用由上述图像处理部22提取的各点的坐标的运算，来计算出与这些点对应的三维坐标。
判定部24将由上述计测处理部23求出的三维坐标与规定的基准位置坐标进行比较等，来判定工件W的合格与否。该判定结果被输出到输出部28以及显示控制部25中。
上述显示控制部25用于控制上述显示器3的显示动作，并能够在一个画面内并列显示在上述图像输入部10、11所生成的正视图像和斜视图像。进而，能够适当地接收图像处理部22、计测处理部23、判定部24的处理结果，并与上述图像一起进行显示。
在参数存储部27中保存用于三维计测的运算式所包含的各种系数。这些系数的值，根据由各照相机构成的照相机坐标系和表示在实际空间中的位置的空间坐标系的关系(各坐标的原点之间的距离、相对空间坐标系的立体坐标系的旋转错位量等)来变化(以下，将这些系数称为“参数”)。在检查之前，通过图像处理部22以及参数计算部26来计算出这些参数，并存储在上述参数存储部27中。另外，在该参数存储部27中还保存有构成后述运算式(1)的单应矩阵的参数。
此外，在计算上述参数的处理中，使用具有多个特征点的标定用工件。
进而，在本实施例的检查装置中，执行了上述标定之后，在画面上能够确认可执行三维计测的范围(可计测范围)是否适当。该处理是利用由被设定在上述参数存储部27中的参数组合而成的单应矩阵、和图像处理部22、计测处理部23以及显示处理部25的功能来进行的处理。
图3是表示由各照相机C0、C1来拍摄了上述标定用工件时的显示器3的画面。该实施例的画面在垂直方向分为3部分，在中央区域30显示来自各照相机C0、C1的图像，而在上下区域31、32显示各种信息和设定值的输入状态等。进而，图像的显示区域30沿左右被分割，分别在左侧显示来自照相机C0的正视图像A0，在右侧表示来自照相机C1的斜视图像A1。
在该实施例的标定用工件上，形成有在水平和垂直的各方向上分别等间隔地配置多条直线的图案(格子状图案)。另外，为了使标定用工件的定位变得轻易、且为了确定工件上的各特征点(格子状图案的交点)的位置关系，而使各方向的中央的直线比其他直线更粗。
在上述区域30的图像A0、A1之间，出现伴随照相机C0、C1之间的照相机坐标系的关系的视差。还有，在斜视图像A1上的各直线相对水平、垂直方向稍微倾斜。
在该实施例中，通过使用户指定要计测的高度范围(以下，称为“高度计测范围”)，来求出位于该高度计测范围内、且包含在照相机C0、C1双方的视场内的点出现在各照相机的图像上的范围(与上述高度计测范围对应的可计测范围)，并显示反映了该可计测范围的图像A0、A1。图4表示该显示例。此外，在该例子中的高度是将规定的高度位置设为0并以此为基准而表示的，且单位是mm。
在图4中，(a)是表示将高度计测范围设定在0～20mm时的显示例，(b)是表示将高度计测范围设定在-20～40mm时的显示例，(c)是表示将高度计测范围设定在9～10mm时的显示例。在任何一个例子中，与高度计测范围对应的在图像A0、A1上的可计测范围都由规定的色彩进行了着色(在图4中，通过对色彩部分用规定的图案进行全面涂敷来表示)。由此，用户根据可能会包含工件W的范围是否被着色，能够判别是否为能够正确地执行对于该工件W的三维计测的设定。
进而，在图4的例子的画面最下边的信息显示区域32中显示有现在被设定的高度计测范围、与用于变更该范围的操作有关的信息(上下箭头)等。通过在该状态下操作控制台的上下箭头键(未图示)，能够变更高度计测范围。由此，即使在所显示的可计测范围不适当的情况下，用户也能够通过变更高度计测范围来进行调整，以使可计测范围变为适当。
接着，对于求出上述可计测范围的方法进行说明。
图5表示位于空间内的任意高度位置的平面D上的一点P分别成像为在上述照相机C0、C1的拍摄面F0、F1上的点p0、p1的状态。另外，在图5中，X、Y、Z是表示三维空间的坐标轴，D与XY平面平行。此外，在拍摄面F0上设有由x0、y0轴构成的二维坐标系，而在拍摄面F1上设有由x1、y1轴构成的二维坐标系。通过来自这些拍摄面F0、F1上的各受光单元的信号来生成上述图像A0、A1。
在上述中，将拍摄面F0上的点P的成像位置(点p0)的坐标设为(xcam0，ycam0)，并将拍摄面F1上的点P的成像位置(点p1)的坐标设为(xcam1，ycam1)。在这里，假设上述平面D的高度Z从ZA变化到ZB(ZA＜ZB)，则能够将上述点p0、p1之间的关系由下面的式(1)、(2)来表示。此外，式(1)、(2)中的dH是可通过式(3)来求出。
公式1λxcam0ycam01=(HZA+Z·dH)xcam1ycam11---(1)]]>公式2λ′xcam1ycam11=(HZA-1+Z·dH-1)xcam0ycam01---(2)]]>公式3dH=1(ZB-ZA)(HZB-HZA)---(3)]]>在式(1)～(3)中，HZA是与上述高度ZA对应的单应矩阵，HZB是与高度ZB对应的单应矩阵。这些矩阵HZA、HZB的大小都是3×3。此外，λ、λ′是规定的常数。
上述的式(1)是能够在从图像A1的点p1的坐标求出图像A0上的对应点p0的坐标时使用。还有式(2)是能够在从图像A0上的点p0的坐标求出图像A1上的对应点p1的坐标时使用。通过将任意的高度代入到这些式子的Z中，从而对位于该高度的点，能够检测出图像A0、A1之间的对应点。
在该实施例中，以任意的范围接受高度计测范围的指定，并基于在“发明内容”中说明过的原理来提取与上述高度计测范围对应的可计测范围。
此外，提取该可计测范围时使用各图像A0、A1的四个顶点的坐标，而且，由于这些图像的尺寸相同，因此各图像的四个顶点的坐标相同。例如，若水平方向的像数为512、垂直方向的像数为484，则各顶点的坐标为(0，0)(511，0)(511，483)(0，483)。
图6具体表示上述可计测范围的提取方法。
在该例中，将高度计测范围的下限值设为ZL、将上限值设为ZU，并对于Z＝ZL以及Z＝ZU的情况，分别将上述图像的四个顶点的坐标设为(xcom1，ycam1)并执行式(1)，从而作为每个高度ZL、ZU的(xcom0，ycam0)而得到四个点，并将把这些作为顶点的区域5L、5U设定在上述图像A0上(即，连接假设Z＝ZL并执行式(1)而得到的四个点的区域为区域5L，连接假设Z＝ZU并执行式(1)而得到的四个点的区域为区域5U)。而且，将在图像A0的坐标范围内区域5L、5U重合的部分50作为与上述高度计测范围对应的可计测范围而进行提取。
简单地说明一下上述提取处理的根据。对任何图像A0、A1，位于高度ZL、ZU的点都可能会出现在图像上的任意位置，因此，当使用对应于各自高度的单应矩阵来将图像A1的全体范围变换为图像A0时，该变换后的区域5L对应于在位于高度ZL的点中包含在照相机C1的视场内的点。同样地，区域5U对应于在位于高度ZU的点中包含在照相机C1的视场内的点。因而，只要是在这些区域5L、5U中包含在图像A0的范围内的部分50(包含在照相机C0的视场内的部分)，则可进行三维坐标的计测，因此可称为可计测范围。
对图像A1，也基于同样的原理，对Z＝ZL、以及Z＝ZU的情况，分别将上述图像的四个顶点的坐标设为(xcom0，ycam0)并执行式(2)，而设定将作为(xcom1，ycam1)而得到的四个点作为顶点的区域6L、6U。然后，将在实际图像的坐标范围内上述区域6L、6U重合的部分60，作为与上述高度计测范围对应的可计测范围来进行提取。
图7是表示计测处理前的设定所涉及的一系列步骤。
将上述标定用工件设置在拍摄对象位置，并将各照相机C0、C1定位在其上方，再调整各照相机的放大率和照相机C1的光轴的倾斜等之后开始该顺序。
首先，在最初的ST1(ST是“步骤”的简写。以下也相同)中，通过各照相机C0、C1来拍摄上述标定用工件，并利用所生成的正视图像A1以及斜视图像A2来计算出三维计测所需的各种参数。
此外，为了求出在三维计测所需的所有参数，而需要一边改变标定用工件的高度一边进行多次拍摄，从而从各图像分别提取标定所需的多个特征点。通过正确求出这些参数，而三维计测变得可能，同时能够求出上述单应矩阵HZA、HZB。
上述的标定一结束，就在ST2中接受上述高度计测范围的输入。然后，在下一个ST3中，通过在上述图6所示的方法来提取各图像A0、A1中的可计测范围50、60。进而，如上述图4所示，基于该提取结果，对显示器3上的图像A0、A1的可计测范围50、60进行着色显示。
用户通过观察该显示画面来判断可计测范围是否适当。这时，若在可计测范围存在一些问题，则用户可以变更高度计测范围。由该指定范围的变更ST4变为“是”而返回到ST3，并重新提取与变更后的高度计测范围对应的可计测范围。另外，显示器3的显示也对应于可计测范围的重新提取而被更新。
另一方面，在想要调整可计测范围而不变更高度计测范围的情况下，用户变更照相机的设定条件。这时，ST5变为“是”而返回到ST1，从标定开始重新进行处理。
另一方面，只要可计测范围适当，则用户不需变更高度计测范围或照相机的设定条件，而执行登录操作。由此，ST4、ST5都变为“否”而进到ST6，并将由上述标定中求出的参数等登录到参数存储部27中。
根据上述实施例，用户通过指定高度计测范围，对该高度计测范围内的点，能够简单地确认能够计测什么程度的大小范围。特别是，由于正视图像A0表示从正上方观察到工件W和其支承面的状态，因此能够确认到与对于实际工件W和其支承面的可计测范围同样的关系。
因此，即使不具有关于三维计测的专业知识，也能够简单且适当地进行照相机的设定。还有，由于能够自由地指定高度计测范围，所以能够应对各种工件W，从而能够提供一种通用性高的检查装置。
此外，在上述实施例中，根据标定处理来显示可计测范围，但是该显示也能够在计测处理中进行。这时，由于用户能够一边确认工件W是否正确进入到画面上的可计测范围50、60内而一边执行计测，因此当检测出不良时，能够轻易地判断出它是真的不良、还是由于工件的位置或姿势的不正确而产生的不良。
下面的实施例适用于结束了标定之后，利用合格工件W来设定计测区域，并登录该设定条件(区域的位置或大小)的处理。
图8表示计测区域的设定例。在该例子中，也将照相机C0、C1同时驱动，并将所得到的正视图像A0以及斜视图像A1并列显示在上述区域30上。进而，通过在正视图像A0的显示画面上进行范围指定用的光标(未图示)的设定等，而接受计测区域7的指定。
若上述的计测区域7的设定条件被登录并开始了计测，则对每小时的工件W，基于上述所登录的条件来设定计测区域7，并执行将包含在该区域7内的点作为对象的计测处理。但是，在与图像A1侧的上述计测区域7对应的区域内不出现位于作为目的的高度范围的点的情况下，无法计测该点的三维坐标。
鉴于上述问题，在第二实施例中，在指定计测区域7之前接受高度计测范围的指定，并提取与该所指定的高度计测范围对应的可计测范围。而且，在上述计测区域7被指定为超出该可计测范围的范围时，不接受该指定而显示出错。
图9表示有关上述计测区域7的设定的一系列步骤。该步骤是结束上述标定之后进行的步骤，在最初的ST11中拍摄上述合格品工件W。在下一个ST12中，将在ST11所生成的正视图像A0以及斜视图像A1显示在显示器3上。
在下面的ST13中，接受对上述高度计测范围的指定。在ST14中提取对应于该指定的可计测范围。此外，在该实施例中，为了判断计测区域7对于正视图像A0是否适当而需要知道可计测范围，因此仅提取正视图像A0中的可计测范围也可以。
在ST15中，接受对计测区域7的指定。这时，若所指定的计测区域7包含在上述可计测范围内，则ST16变为“是”而进到ST20，并对计测区域7的设定条件进行登录。
另一方面，当计测区域7被指定为超出上述可计测范围的范围时，ST16变为“否”而进到ST17，并在上述信息显示用区域31上显示规定的出错信息。若根据该显示用户变更计测区域7，则ST18变为“是”而返回到ST16。由此，若被变更的计测区域7包含在可计测范围内，则进到ST20，并对上述被变更的计测区域7的设定条件进行登录。
另一方面，在用户不想变更计测区域7的情况下，对高度计测范围进行变更。在这种情况下，ST18变为“否”、ST19变为“是”，从而从上述ST14开始重新进行处理。
此外，在用户对计测范围7和高度计测范围均都不想变更时，需要取消该图9的处理且变更照相机的设定条件，并从标定开始重新进行处理。
根据上述处理，不会将计测区域7设定在不能计测位于所指定的高度计测范围内的点的范围内，所以能够进行稳定的计测。此外，在上述实施例中，当对计测区域7的指定不适当时进行出错显示，但是也可以将其代替而限制可指定计测区域7的范围。例如，可以不使光标移动到所提取的计测范围之外，或者可以将图像A0的显示限定在可计测范围内，并仅在该所显示的范围内指定计测区域7。
在下面的图10所示的实施例中，在正视图像A0上接受上述计测区域7的指定之后，在所指定的计测区域内计算出可计测的高度范围，并将该计算结果显示在显示器3上。以下，按照图10的流程进行说明。
在最初的ST31中，对标记f进行零复位。此外，该标记f是用于记忆设定有上述高度范围的下限值ZL的。
在下面的ST32中，将高度Z设定成规定的初始值Z0。在下一个ST33中，以与上述图8所示的方法同样的方法，在正视图像A0上接受对计测区域7的指定。指定一结束，就进到ST34，并从上述正视图像A0提取计测区域各顶点的坐标。
在ST35中，通过将上述四个顶点的坐标分别代入上述式(2)，而将各坐标变换为斜视图像A1侧的坐标。此外，对该ST35最初进行设定时，向式(2)的Z代入上述初始值Z0。
在ST36中，判别由上述ST35求出的顶点的坐标是否进入图像A1的坐标范围内。在这里，只要任意一点位于图像A1之外，则ST36变为“否”而进到ST43。由于在这个时刻上述标记f为0，因此ST43也变为“否”而进到ST40。
在下一个ST40中，将高度Z的当前值与预先确定的极限值ZOVER进行比较。当Z为初始值Z0时Z＜ZOVER，因此ST40变为“否”而进到ST41，并将上述Z更新为增加规定值d的值。此后，返回到ST35，并通过代入了更新后的Z的式(2)，来执行对上述计测区域7的顶点的变换处理。
反复进行上述的流程的结果，高度Z变为规定值时，若判断为在ST35求出的所有顶点包含在图像A1的范围内，则ST36变为“是”。接受该“是”的判定，而在下一个ST37中检查标记f，但是，由于在此阶段f＝0，所以进到ST38。
在ST38中，将高度Z的当前值设定为下限值ZL的同时，将上述标记f置为1。
此后，也一边使上述高度Z每次变高规定值d，一边执行ST35、36。将上述标记f置为1之后，若ST36的判定变为“是”，则下一个ST37变为“否”，因而进到ST39，并将高度Z的当前值设定为上述高度范围的上限值ZU。
此后也是，只要是由被更新的高度Z求出的图像A1侧的计测区域位于该图像A1的范围内，则以ST36、37、39的流程进行处理，从而上述高度范围的上限值ZU被更新。
此后，若图像A1侧的计测区域超出图像A1的范围，则ST36变为“否”、ST43变为“是”，而进到ST42。还有，即使上述计测区域位于图像A1的范围内，但是，若上述高度Z达到极限值ZOVER，则ST40变为“是”而进到ST42。
在ST42中，通过将此时刻的下限值ZL以及上限值ZU显示在显示器3上，而向用户报知可计测的高度范围。
在上述实施例中，用户通过指定计测范围7，而能够知道在该区域7内可计测的高度范围，因此能够轻易地判别是否能够进行根据目的的计测。此外，在该实施例中，当高度范围不符合目的时，通过重新进行对计测区域7的指定而能够进行应对，但是，若不想变更对计测区域7的设定时，有必要变更照相机的设定条件，并再次进行标定。
权利要求
1.一种三维计测方法，利用由多台照相机生成的图像，对上述各照相机的视场重合的范围执行三维计测处理，其特征在于，执行以下步骤第一步骤，针对应计测的高度范围接受指定；第二步骤，针对至少一台照相机，利用各照相机之间的照相机坐标系的关系，提取出由该照相机生成的图像内的点中的、即使位于在上述第一步骤中被指定的高度的任意范围内也包含在所有照相机的视场内的点出现在图像上的范围。
2.如权利要求1所记载的三维计测方法，其特征在于，执行第三步骤，该第三步骤将由上述第二步骤的处理对象的照相机生成的图像与在上述第二步骤中提取的范围一起显示。
3.如权利要求1所记载的三维计测方法，其特征在于，上述第一步骤还针对计测对象物的支承面上的计测对象范围也接受指定，执行以下步骤第四步骤，针对上述第二步骤的处理对象的照相机，判别其图像上的上述计测对象范围是否包含在上述第二步骤中所提取的范围内；第五步骤，输出上述第四步骤的判别结果。
4.如权利要求1所记载的三维计测方法，其特征在于，执行第六步骤，该第六步骤显示来自上述第二步骤的处理对象的照相机的图像的同时，在其显示画面上与在上述第二步骤中提取的范围对应的区域中接受计测对象范围的指定。
5.一种三维计测方法，利用由多台照相机生成的图像，对上述各照相机的视场重合的范围执行三维计测处理，其特征在于，执行以下步骤第七步骤，针对计测对象物的支承面上的计测对象范围接受指定；第八步骤，利用各照相机之间的照相机坐标系的关系，来求出属于上述计测对象范围的点中包含在所有照相机的视场内的点的高度范围；第九步骤，输出在上述第八步骤中求出的高度范围。
6.一种三维计测装置，是利用由多台照相机生成的图像对上述各照相机的视场重合的范围执行三维计测处理的装置，其特征在于，具有输入装置，其输入应计测的高度范围；范围提取装置，其针对上述多台照相机中的至少一台，利用各照相机之间的照相机坐标系的关系，提取出由该照相机生成的图像内的点中的、即使位于由上述输入装置输入的高度的任意范围内也包含在所有照相机的视场内的点出现在图像上的范围。
7.如权利要求6所记载的三维计测装置，其特征在于，还具有显示用图像生成装置，其生成显示用图像，该显示用图像是将由上述范围提取装置的处理对象的照相机生成的图像与由上述范围提取装置提取的范围一起显示的图像；图像输出装置，其输出上述显示用图像。
8.如权利要求6所记载的三维计测装置，其特征在于，还具有第一范围指定接受装置，其显示来自上述多台照相机中的任意一台的图像的同时，在其显示画面上接受计测对象范围的指定操作；判别装置，其判别上述所指定的计测对象范围是否包含在由上述范围提取装置提取的范围内；输出装置，其输出上述判别装置的判别结果，上述范围提取装置通过上述范围接受装置来对作为范围指定的对象的照相机进行上述范围的提取。
9.如权利要求6所记载的三维计测装置，其特征在于，具有第二范围指定接受装置，该第二范围指定接受装置显示来自上述范围提取装置的处理对象的照相机的图像，并在该图像上由上述范围提取装置提取的范围内接受计测范围的指定。
10.一种三维计测装置，是利用由多台照相机生成的图像对上述各照相机的视场重合的范围执行三维计测处理的装置，其特征在于，具有范围指定接受装置，其显示来自上述多台照相机中的任意一台的图像的同时，接受在其显示画面上的计测对象范围的指定操作；高度范围提取装置，其对应于所指定的上述计测对象范围，利用各照相机之间的照相机坐标系的关系，来求出在空间内属于该计测对象范围的点中包含在所有照相机的视场内的点的高度范围；输出装置，其输出由上述高度范围提取装置求出的高度范围。
全文摘要
本发明涉及一种三维计测方法以及三维计测装置。通过本发明，能够简单地实施将各照相机设定为对应于计测目的的状态、或者确认是否设定成这样的设定的处理。结束了用于三维计测的标定之后，接受对想要计测的高度范围的指定，并对每个来自各照相机的图像(A0、A1)，利用与上述所指定的范围对应的单应矩阵，来提取位于所指定的高度范围内的点中包含在双方的照相机的视场内的点出现的范围。进而，将提取过的范围作为可计测范围而着色显示在图像(A0、A1)上。
文档编号G01B11/03GK1880912SQ20061009286
公开日2006年12月20日 申请日期2006年6月16日 优先权日2005年6月17日
发明者藤枝紫朗, 池田泰之 申请人:欧姆龙株式会社