专利名称：三维测量方法
技术领域：
本发明涉及使用立体照相机的三维测量方法。
背景技术：
称为立体测量方法的使用两个照相机的方法可用于测量诸如产品的角部之类的特征点的三维坐标。在立体测量方法中，如后面给出的流程所示，通过使用4个步骤执行三维测量，以测量某产品的特征点的三维坐标步骤101 (校准)事先通过使用精确的校准表校正由照相机产生的图像畸变，并且，确定两个照相机的焦点位置和两个照相机的各传感器面的相对位置。、
步骤102 (图像捕获)通过使用两个照相机捕获图像，使得在图像中出现特征点。步骤103 (找到相应点)通过使用图案匹配等找到与各传感器面上的特征点对应的相应点的三维坐标。步骤104 (三角测量)通过用三角测量方法执行三维测量来从在步骤103中确定的两个相应点测量特征点的三维坐标。在步骤102的图像捕获处理中，两个照相机必须具有共同的视场。对于高精度测量使用具有窄的视角的窄角透镜，这对于高测量分辨率会是有利的。遗憾的是，共同视场较小，从而导致三维测量的范围较窄。即使在使用广角透镜时，为了提高精度，特写条件也提供小的共同视场和窄的三维测量范围。因此，在高测量精度和宽测量范围之间存在权衡。为了解决权衡，PTL I公开了用于通过模拟人眼球的移动来提供宽三维测量范围的方法。在PTL I中，PTL I的图3示出楔形棱镜被设置在透镜的前面并且楔形棱镜旋转以偏转光轴使得可改变各照相机单元的捕获位置的照相机。并且，两个楔形棱镜的组合允许独立地控制偏转角(Φ )的大小和偏转位置(Θ )。使用分别包含以上的机构的两个照相机单元，并且，视场被同步驱动，以扫描共同视场，由此确保宽的三维测量范围。如在PTL I中公开的那样，各照相机单元通过使用窄角透镜来捕获图像以提供足够的精度或者在特写模式中捕获图像，由此同时实现高测量精度和宽的测量范围。并且公开了这样一种方法，即，即使在经常出现振动的恶劣的捕获条件下，诸如在三维测量装置被安装于机器人臂等中的情况下，也允许独立地控制偏转角的大小和偏转位置以提供高精度三维测量。但是，在使用在PTL I中公开的装置的三维测量中，楔形棱镜旋转以改变照相机单元的捕获位置。因此，除了正常的两个照相机以外，可能还需要包含电动机、齿轮和棱镜的机构及其控制电路。并且，使用两个照相机单元的总共4个棱镜的同步驱动可能需要分别用于控制能够高性能同步化的电动机的驱动的4个电路，从而导致用于照相机控制的基板的尺寸的增加。并且，测量会需要用于驱动棱镜的定位时间，并且，会因此需要附加的测量时间。因此，如果在机器人臂等中安装在PTL I中公开的立体测量方法以及使用该方法的装置，那么除了两个照相机单元以外，还会需要上述的机构或控制电路，这会在重量和尺寸上妨碍具有立体照相机的机器人臂的小型化。引文列表专利文献PTL I :日本专利公开 No. 6-75149
发明内容
因此，本发明提供适于在不增加尺寸、重量和驱动测量时间的情况下被安装于机器人手中的三维测量方法，其中，可以在无需附加的特殊的机构或电路的情况下实现高的精度和宽的测量范围。本发明的一个方面提供一种用于根据立体测量方法通过使用至少两个照相机来 测量产品的特征点的三维坐标的三维测量方法，该三维测量方法包括以下的步骤通过使用第一照相机捕获特征点，并且通过使用第二照相机捕获与特征点连续的特征点组；计算包含第一照相机的传感器面上的相应点、第一照相机的焦点位置和第二照相机的焦点位置的面，该相应点与特征点对应，并且，计算作为计算的面与包含第二照相机的传感器面的面的交线的第一线；计算包含第二照相机的传感器面上的相应点组的第二线，相应点组与特征点组对应；通过确定第一线与第二线的交点来计算包含第二照相机的传感器面的面上的相应点，相应点与特征点对应；和计算延伸通过第一照相机的传感器面上的相应点和第一照相机的焦点位置的直线和延伸通过第二照相机的传感器面上的相应点组和第二照相机的焦点位置的直线，并计算计算的直线的交点作为特征点的三维坐标。根据本发明的方面的如上面那样配置的三维测量方法可提供更宽的测量范围。两个照相机可不必具有共同视场。因此,利用共同视场以外的照相机的视场不需要在现有技术中会需要的用于获得宽的测量范围的广角透镜，从而导致利用传感器的分辨率的高精度测量。并且，与在PTL I中公开的技术不同，不需要附加的机构或控制电路，从而导致照相机单元的紧致化和轻重量化设计。另外，不需要对机构进行驱动，从而导致高速的测量。
图I是示出根据本发明的第一实施例的三维测量方法的流程图。图2A是示出根据本发明的第一实施例的照相机设定的示图。图2B是示出根据本发明的第一实施例的照相机设定的示图。图3A是示出根据本发明的第一实施例的通过使用两个照相机捕获的图像的示图。图3B是示出根据本发明的第一实施例的通过使用两个照相机捕获的图像的示图。图4是示出根据本发明的第一实施例的照相机坐标的坐标轴的示图。图5是示出根据本发明的第一实施例的用于确定第一直线的方法的示图。图6A是示出根据本发明的第一实施例的用于确定第二直线的方法的示图。图6B是示出根据本发明的第一实施例的用于确定第二直线的方法的示图。图7是示出三角测量方法的原理的示图。
图8A是示出根据本发明的第一实施例的处理的另一例子的示图。图SB是示出根据本发明的第一实施例的处理的另一例子的示图。图9是示出根据本发明的第二实施例的照相机设定的示图。图IOA是示出根据本发明的第二实施例的通过使用两个照相机捕获的图像的示图。图IOB是示出根据本发明的第二实施例的通过使用两个照相机捕获的图像的示图。 图11是示出图像捕获中涉及的投影变换的示图。图12A是示出根据本发明的第二实施例的用于确定共同视场外面的相应点的方法的示图。图12B是示出根据本发明的第二实施例的用于确定共同视场外面的相应点的方法的示图。图13是示出根据本发明的第三实施例的照相机设定的示图。图14是示出根据本发明第三实施例的通过使用照相机捕获的没有出现要测量的特征点的图像的示图。图15是示出根据本发明的第四实施例的照相机设定的示图。图16是示出根据本发明第四实施例的通过使用照相机捕获的没有出现要测量的特征点的图像的示图。图17是示出根据本发明的第四实施例的用于确定共同视场外面的相应点的方法的示图。图18是示出确定两个直线的交点的精度的示图。图19是示出根据本发明的第五实施例的用于确定共同视场外面的相应点的方法的示图。图20是示出根据本发明的第六实施例的三维测量方法的流程图。图21A是示出根据本发明的第六实施例的用于确定区域的属性的方法的示图。图21B是示出根据本发明的第六实施例的用于确定区域的属性的方法的示图。图22是示出根据本发明的第六实施例的照相机设定的示图。图23A是示出根据本发明的第七实施例的通过使用三个照相机捕获的图像的示图。图23B是示出根据本发明的第七实施例的通过使用三个照相机捕获的图像的示图。图23C是示出根据本发明的第七实施例的通过使用三个照相机捕获的图像的示图。图24是示出根据本发明的第七实施例的三维测量方法的流程图。图25是示出根据本发明的第八实施例的三维测量方法的流程图。
具体实施例方式第一实施例参照附图描述本发明的实施例。
图I是示出根据本发明的三维测量方法的流程图。图2A是示出照相机和要被测量的测量目标的示图。图3A示出通过使用图2A所示的照相机I捕获的图像，图3B示出通过使用图2A所示的照相机2捕获的图像。这里，图2A所示的点X是要被测量的测量目标(产品)3上的点，并且，可以是诸如测量目标3的角部、端点或交点之类的代表三维物体的特征的点。以下，诸如点X之类的代表要被三维测量的目标的特征的点称为“特征点”。多个特征点被称为“特征点组”。点xa是通过使用照相机I捕获的图像上的点，并且，是与图2A所示的点X对应并且其图像形成于照相机I的传感器面上的点。以下，诸如点xa的与要被三维测量的目标的点对应的传感器面上的点称为“相应点”。多个相应点可被称为“相应点组”。图2B是示出用于实现图I的流程图的配置的框图。照相机I和2分别与图2A所示的照相机I和2对应，并且分别与图像获得电路12和13连接。通过中央处理单元(CPU) 15控制用于通过使用图像获得电路12和13获得图像的定时，并且，在存储器14中保存图像信息。经由存储器14通过使用CPU 15读取获得的图像信息。CPU 15通过使用读取的图像信息执行图I的流程图所示的处理，并且计算特征点的三维坐标。然后，计算结果通过使用外部接口 16经由存储器14被输出到外部装置。以下详细描述在步骤S2中测量的各种值，并且，关于特征点与特征点组的信息被存储于存储器14中。现在参照图I所示的流程图的各单个步骤描述根据本发明的三维测量方法。步骤SI和S2的处理为执行根据本发明的三维测量方法提供准备。(步骤SI)设置两个照相机图2A是示出关于测量目标3上的要被测量的特征点X和与特征点X连续的特征点组Yn设置两个照相机I和2的条件的示图。S卩，至少一个照相机(在图2A中，为照相机I)的视场包含特征点X，并且，另一照相机(在图2A中，为照相机2)的视场包含特征点组Yn。通过使用以以上的方式设置的照相机I和2捕获的图像分别如图3Α和图3Β所示。图3Α示出通过使用照相机I捕获的包含与特征点X对应的相应点xa的图像，图3B示出通过使用照相机2捕获的包含和与特征点X连续的特征点组Yn对应的相应点组yn的图像。术语“与特征点X连续的特征点组”意味着与特征点X连接的边缘上的点。从与该边缘上的点组对应的特征点组Yn延伸的线到达特征点X。可以选择特征点组Yn，使得由点组定义的几何形状包含特征点X。在本实施例中，测量目标3可以是箱状物体。由于测量目标3具有直线边缘，因此，对于与特征点X连续的特征点组Yn,利用如下特征特征点组Yn以及相应点组yn定义直线。即，利用特征点X位于由特征点组Yn定义的直线上的特征。工业大规模生产等的产品的形状被事先确定，并且，可以获知特征点X所位于的边缘。因此，可容易地关于通过使用照相机I捕获的特征点X选择通过使用照相机2捕获的特征点组Yn。除了边缘以外，可以使用诸如文字或图形图案之类的在与特征点X连接的产品表面上绘制的对象。(步骤S2)校准在步骤S2中，通过使用与现有的立体测量方法中的校准方法类似的方法执行校准。可通过使用打印了精确的二维位置已知的图案的校准图来对在已在空间中改变几次的不同的位置上捕获的图像执行校准。
在校准步骤中，测量各照相机的透镜畸变、传感器间距和焦距、光轴与各照相机的传感器面相交的点、两个照相机的光轴之间的相对倾斜和代表性点(一般为光轴与基准照相机的传感器面相交的点)的绝对坐标。在立体测量中，一般地，如图4所示，使用光轴与基准照相机的传感器面Si相交的点作为照相机坐标系的原点，绘制作为沿传感器的长边延伸的线的X轴、绘制作为沿传感器的短边延伸的线的I轴，并且，ζ轴与光轴一致。在在上述的校准步骤中获得的值中，可以使用照相机I和2的“焦距”和“光轴与传感器面相交的点”，以关于照相机坐标确定两个照相机的焦点Fl和F2的位置。另外，可以使用“光轴与传感器面相交的点”和“两个照相机的光轴之间的相对倾斜”，以关于照相机坐标确定代表照相机的传感器面Si和s2的方程。如果两个照相机之间的位置关系、聚焦条件和视角等被固定，那么可在步骤SI中的设置之前执行代表性点的绝对位置的测量以外的校准。(步骤S3)捕获在步骤S3中，通过使用在步骤SI中设定的条件通过使用两个照相机捕获特征点X来获得图像，使得照相机中的至少一个(在图2A中，为照相机I)的视场包含特征点X并且另一照相机(在图2A中，为照相机2)的视场包含与特征点X连续的特征点组Yn。(步骤S4)获得第一相应点xa的位置在步骤S4中，通过使用现有的方法从在步骤S3中捕获的图像中的、通过使用第一照相机捕获的出现特征点X的图像中，确定该照相机的传感器面Si上的与特征点X对应的相应点xa (以下，称为“第一相应点”)的位置。可通过使用例如事先准备与特征点对应的模板图像并且执行模板图像与捕获的图像之间的局部相关关系的计算以从具有最高的相关程度的位置确定相应点的模板匹配方法，确定与特征点X对应的第一相应点xa。作为替代方案，如图2A所示，当特征点为角部时，也可以使用确定代表图像上的边界的轮廓并且将其间的交点设为相应点的方法。(步骤S5)获得第一直线E的方程在步骤S5中，通过使用在步骤S2中确定的照相机的焦点Fl和F2的位置和在步骤S4中确定的与特征点X对应的第一相应点xa的位置，确定图5所示的包含传感器面s2的面S2上的直线E。首先，确定包含焦点Fl和F2和第一相应点xa的面e。如果两个照相机具有通常的视角(小于180度(角度)的视角)，那么点F1、F2和xa不在直线中对准。因此，可以使用三个点的位置来唯一地确定包含这三个点的面。该面与面e对应。根据照相机聚焦的原理，特征点X的图像分别通过焦点Fl和F2形成于传感器面si和s2上，因此,位于从焦点Fl与第一相应点xa之间的线段延伸的线上的特征点X也位于面e上。类似地，位于从特征点X与焦点F2之间的线段延伸的线上的与特征点X对应的第二相应点xb也位于面e上。 与特征点X对应的第二相应点xb是面e和S2之间的交线(在本实施例中，为直线)上的点。交线被设为直线E。从以上的计算给出面e的方程，并且，从步骤S2给出面S2的方程。因此，可以确定直线E的方程。
直线E包含于面S2中，并因此被视为面S2上的二维图形图案。包含两个点即焦点Fl和F2的面e被称为核面。核面不被唯一确定。但是，由于焦点Fl和F2在步骤S2中是已知的并且在随后的测量中被固定，因此，可通过事先确定核面的条件减少各测量时间上的步骤S5的计算量。(步骤S6)获得特征点组Yn的相应点yn的位置在步骤S6中，通过使用现有的方法从在步骤S3中捕获的图像中的通过使用照相机2捕获的出现直线上的特征点组Yn的图像来确定相应点组yn。与步骤S4同样,可通过使用现有方法确定相应点组yn。作为例子，可以使用模板匹配方法或确定代表图像上的边界的轮廓并且将轮廓上的点组设为相应点组yn的方法。(步骤S7)获得第二直线G的方程在步骤S7中，从在步骤S6中确定的传感器面s2上的相应点组yn(在图6A中，为 相应点yl y4)确定图6A所示的直线G。虽然在图5中在传感器面s2上出现镜像，但是，为了便于解释，在图6A中示出正常的图像。虽然特征点组Yn位于直线上，但是，相应点组yn由于测量误差不位于直线上，而位于曲线g上。因此，通过使用最小二乘法执行回归计算，以获得最小误差，以确定传感器面s2上的直线G。当在面S2上外推直线G时，特征点组Yn和特征点X位于直线上，因此，第二相应点xb位于直线G上。虽然如图I所示的那样依次描述了步骤S4、S5、S6和S7的处理，但是，可以并行执行步骤S4和S5的处理和步骤S6和S7的处理。可以更早地执行步骤S6和S7的处理。(步骤S8)获得第二相应点xb的位置从在步骤S5和S7中确定的直线E和G确定与特征点X对应的第二相应点xb。由于如图6B所示的那样在直线E和G两者中都包含与特征点X对应的第二相应点xb，因此，直线E和G之间的交点可被确定并且可被设定为与特征点X对应的第二相应点xb。以这种方式，相应点xb不位于传感器面s2上，并且不能被直接捕获。但是，可以确定相应点xb的位置。(步骤S9)获得特征点X的位置在步骤S9中，从在步骤S4和S8中确定的与特征点X对应的两个相应点xa和xb确定特征点X的位置。这里，可以使用将参照图7描述的公知的三角测量方法。在步骤S9之前，在步骤S2中确定焦点Fl和F2的位置，并且，在步骤S4和S8中确定与特征点X对应的两个相应点xa和xb。根据照相机拍摄的原理，三个点X、Fl和xa位于直线上，并且，三个点X、F2和xb也位于直线上。另外，如在步骤S5的处理中描述的那样，在使用具有正常的视角的照相机的测量中，三个点X、F1和F2不在直线上对准。出于这种原因，点X、xa和xb定义唯一的三角形。因此，可以唯一地确定特征点X的三维位置。特别地,从第一相应点xa到焦点Fl的空间矢量和从第二相应点xb到焦点F2的空间矢量可以被确定，并且，可被外推以确定交点。如上所述，根据图I所示的流程图，可通过使用立体测量方法测量共同视场外面的特征点的三维位置。如果要确定多个测量点，那么可重复步骤S4 S9的处理。在这种情况下，特征点可能不一定在通过使用同一侧的照相机捕获的图像中出现。即，可以执行图8A和图SB所示的特征点Xl和X2的三维位置的测量。图8A示出通过使用照相机I捕获的图像，图8B示出通过使用照相机2捕获的图像。在通过使用照相机I捕获的图像中出现与特征点Xl对应的相应点xl，并且，在通过使用照相机2捕获的图像中出现和与特征点Xl连续的特征点组Yln对应的相应点组yin。并且，在通过使用照相机2捕获的图像中出现与特征点X2对应的相应点x2，并且，在通过使用照相机I捕获的图像中出现和与特征点X2连续的特征点组Y2n对应的相应点组 y2n。即使在这种情况下，也可根据本实施例依次确定两个点Xl和X2的三维位置。如上所述，在根据本发明的三维测量方法中，与现有的立体测量方法不同，特征点X可不必位于两个照相机的共同视场中。因此，有利地，可以支持宽的视场覆盖范围。并且，如图22所示，不必使用广角透镜。因此，可以避免由于使用广角透镜导致的精度的降低。在用于测量共同视场外面的特征点的方法中，可以在共同视场部分中产生三维图像地图，并且，可从图形图案的连续性确定视场外面的特征点。在这种情况下，会需要大量的计算以计算三维图像。并且，在立体方法中，深度方向的分辨率与照相机之间的距离即基线长度成反比。这一般会导致比二维测量低的分辨率和测量精度。以上的方法会在精度上具有难度。根据本发明的方法不需要共同视场部分，并且提供步骤S4 S8的平面或二维主计算，由此允许实现更少的计算量和高的二维测量分辨率，从而有利地导致高于以上方法的高精度。第二实施例在第一实施例中，与要被测量的特征点连续的特征点组位于直线上。如果通过使用已知信息外推和与特征点X连续的特征点组Yn对应的图像上的任何其它线(诸如曲线)，那么可执行在第一实施例中描述的方法。例如，如图9所示，讨论圆筒4上的特征点XX的三维测量。照相机I被设置，使得在通过使用照相机I捕获的图像中出现特征点XX，并且，照相机2被设置，使得在通过使用照相机2捕获的图像中至少出现与特征点XX连续的圆弧上的特征点组YYn。分别在图IOA和图IOB中示出在设定的条件下通过使用照相机I和2捕获的图像。这里，xxa代表在通过使用照相机I捕获的图像中出现的与特征点XX对应的相应点，并且，yyn代表在通过使用照相机2捕获的图像中出现的和与特征点XX连续的特征点组YYn对应的相应点组。如图11所示，根据投影变换的原理，已知当沿斜方向观察时圆筒看起来为椭圆。即，根据特征点组YYn位于圆弧上的已知信息,与特征点组YYn对应的相应点组yyn位于椭圆上。
当包括圆的椭圆通过图像捕获被投影到二维面上时，得到的图形图案也具有椭圆形状。即，通过如直线的情况那样使用椭圆方程等的公式化，可以执行与直线类似的处理。用于通过使用Hough变换等高速和高精度椭圆拟合的方法是已知的，并且，如图12A所示，可从相应点组yyn确定包含照相机2的传感器面s2的面S2上的椭圆GG。并且，与第一实施例类似，可从通过使用照相机I捕获的图像上的与特征点XX对应的相应点xxa和两个焦点Fl和F2的位置确定直线EE。与特征点XX对应的面S2上的第二相应点xxb位于椭圆GG的圆弧上，并且也位于直线EE上。因此，交点与第二相应点xxb对应。图12A示出椭圆GG在一个点与直线EE相交的特殊情况。在实际中，如图12B所示，椭圆GG —般在两个点上与直线EE相交。在这种情况下，可通过事先给予关于特征点XX有关传感器面s2是接近还是远离观察者(在图12B所示的捕获图像中，为pi和p2)的远近 的信息很容易规定点xxb。如果椭圆GG和直线EE由于误差不相交，那么直线EE上最接近椭圆GG的圆弧的点可被确定并且可被设为第二相应点xxb。因此,与特征点X对应的两个相应点xxa和xxb被确定。因此,与第一实施例同样，可通过使用三角测量方法来测量共同视场外面的特征点XX的三维位置。由于图像捕获中涉及的从三维空间到二维空间的投影变换为非线性的，因此，除非获得距离信息，否则，一般难以关于一般的曲线确定变换之后的曲线。但是，直线和包括圆的椭圆等可被变换成图形图案属性不变的直线和椭圆等。因此，可以实现本实施例。并且，如果连接特征点组的线的规则性(例如，多项式上的点)事先是已知的，那么特征点组的拟合允许以与第一实施例类似的方式测量共同视场外面的特征点的三维位置。第三实施例图13示出第三实施例。示出通过使用安装于车辆6中的前照相机8和后照相机7测量壁5的端部En的三维位置的情况。在通过使用前照相机8捕获的图像中出现要被测量的特征点En，并且，在通过使用后照相机7捕获的图像中出现壁5上与特征点En连续的特征点组Wn。并且，在示出的例子中，在后照相机7和前照相机8之间不存在共同视场。通过使用后照相机7捕获的图像可以是图14所示的传感器面s7上的图像。与第一实施例同样，从通过使用前照相机8捕获的图像确定与要被测量的壁5的端点En (本实施例中的特征点)对应的相应点Ena (未示出)。进一步从点Ena和两个照相机7和8的焦点位置确定包含后照相机7的传感器面s7的面S7中的直线ES，并且，从传感器面s7上的和壁5上与特征点En连续的特征点组Wn对应的特征点组wn确定包含传感器面s7的面S7上的直线Tl。并且，可通过确定直线E8和W7之间的交点确定与特征点En对应的面S7上的相应点Enb。在图14中，相应点Enb看起来包含于后照相机7的视场中。但是，实际上不在通过使用后照相机7捕获的图像中出现相应点Enb。S卩，特征点En处于离后照相机7的光轴大于等于90度(角度)的大角度的方向上，并且，直线W7以90度(角度)的角度在某点上折返。因此，可以通过使用两个照相机7和8的焦点的位置和与要被测量的特征点对应的相应点Ena和Enb以与第一实施例类似的方式测量特征点En的三维位置。由于现有的三维测量需要共同视场，因此难以通过以上的配置执行三维测量。因此，例如，可在车辆侧设置具有与前后照相机共同的视场的附加的照相机。根据本实施例，可以在没有任何附加的照相机的情况下执行三维测量。本实施例不限于安装于车辆中的两个照相机。实施例可被应用于两个照相机不共享视场的任何情况。本实施例允许在不在两个照相机之间共享视场的情况下实现三维测量，由此有利地提供灵活的照相机配置。第四实施例图15是示出本发明的第四实施例的示图。在图15中，XXX代表要被测量的特征点，Pn代表与特征点XXX连续的特征点组，Qn代表与特征点XXX连续的第二特征点组。在设定条件下通过使用照相机2捕获的图像可以是图16所示的传感器面s2上的图像。
与第一实施例类似，从通过使用照相机I捕获的图像确定与特征点XXX对应的相应点XC (未示出)。进一步通过使用照相机I和2的焦点位置和相应点XC确定直线EEE。并且，通过使用传感器面s2上的和与特征点XXX连续的特征点组Pn对应的相应点pn确定直线P，并且，也通过使用和与特征点XXX连续的第二特征点组Qn对应的相应点qn确定直线Q。图17是示出图16所示的三条直线EEE、P和Q的交点周围的区域的示图。这里，XP和Θ P分别表示直线EEE与P的交点和由直线EEE与P限定的角度。并且，xq和0q分别表示直线EEE与Q的交点和由直线EEE与Q限定的角度。如果可以在没有图像畸变的情况下在理想条件下执行图像测量并且正确地确定直线EEE、P和Q，那么，理论上，直线EEE、P和Q在一个点相交。但是，如果出现测量误差，如图17所示，以上的三个直线不在一个点上相交。在这种情况下，具有由两个直线限定的更大的角度的交点可被设为较少受误差影响的与特征点XXX对应的相应点Xd (未示出)。现在参照图18描述原因。参照图18，LI、L2和L3代表直线，由直线LI和L2限定的角度和由直线LI和L3限定的角度分别由Θ I和Θ 2代表，这里，Θ 1> Θ 2。假定当确定两个交点时作为测量误差直线L2和L3的方向偏离相同的角度θ ε。如果误差由ε 和ε 2表不,那么，从图18可以看出，获得ε1〈ε2。即，确定两个直线的交点时的更大的相交角度可较少受误差影响。在本实施例中，获得θ ρ> Θ q。因此，点xp被设为与特征点XXX对应的相应点xd。因此，可确定两个焦点Fl和F2和与要被测量的特征点XXX对应的两个相应点xc和xd。因此，可通过以与第一实施例类似的方式使用三角测量方法，测量特征点XXX的三维位置。特别地，由于可以比第一实施例更精确地确定共同视场外面的相应点xd的位置，因此，可以有利地提高三维测量的精度。在以上的描述中，作为例子，使用两个特征点组以确定相应点xd。但是，在本实施例中，可以使用三个或更多个特征点组。另外，在第一实施例中，当直线E和G平行时，直线E和G不具有交点，因此，存在不限定相应点的奇异点。在本实施例中，多个特征点组被选择以不位于直线上。因此，由特征点组限定的直线不平行。因此，用作两个直线的交点的共同视场外面的相应点总是被限定，并且，有利地不存在奇异点。第五实施例
第五实施例在视场外面的相应点的确定上与第四实施例不同。参照图19来描述该不同。图19与示出第四实施例的图17对应，其中，相同的附图标记表示相同的要素。这里，与视场外面的特征点XXX对应的点Xd位于直线EEE上，并且，被选择为点XP和xq的重心。如果误差由随机变化导致，那么，由于平均效果，可以随机减少噪声的影响。因此，在本实施例中，与第四实施例同样，可以有利地实现比第一实施例高的测量精度。另外，与第四实施例类似，多个特征点组没有被选择以不位于直线上，并且，有利地不存在奇异点。与第四实施例的不同如下例如，当用于确定图19所示的直线P的相应点组的数量较少时，直线P的误差会较大。在这种情况下，使用本实施例会是更有利的。另外，即使当预测到直线P和Q的等同测量精度时，如果由直线P和EEE限定的角度和由直线Q和EEE限定的角度基本上相等，那么，由于大的随机误差平均效果，因此，使用本实施例也会是更有利的。第六实施例图20是示出第六实施例的流程图。步骤Sll S13的处理可与第一实施例中的步骤SI S3的处理对应，并且，可以实现相同或类似的优点，并且这里不描述它们。在步骤S14中，确定通过使用两个照相机捕获的图像是否总是包含要被测量的相应点。这里，符号N表示总是包含相应点的图像的数量。即，N= 2意味着两个图像均总是包含相应点，N = I意味着图像中的一个总是包含相应点。通过步骤Sll的设定，确保图像的数量N大于等于I。如果确定N = 2，那么在通过使用两个照相机捕获的图像中出现要测量的特征点。因此，执行一般立体测量方法即步骤S15 S17的处理。在步骤S15和S16中，以与根据第一实施例的步骤S4类似的方式直接从通过使用两个照相机捕获的图像中的每一个计算与要被测量的特征点对应的相应点。如果可以确定两个相应点，那么，在可以与根据第一实施例的步骤S9相同的步骤S17中，可以测量特征点的三维位置。如果确定N= I,那么执行可与根据第一实施例的步骤S4 S9的处理对应的步骤S24 S29的处理。处理的细节与第一实施例类似，并且，这里不描述它们。因此，如果确定总是在两个图像中出现要被测量的特征点，那么直接测量相应点，由此实现比第一实施例高速的测量。下面，描述用于确定与要被测量的特征点对应的相应点是否总是包含于各图像中的方法的例子。首先，在步骤Sll中，通过使用公知的边缘处理，确定在通过被设定为使得在图像中出现与特征点X连续的特征点组Yn的照相机获得的图像中出现的图形图案(与产品对应的图形图案)的轮廓。然后，如图21A和图21B所示，确定包含与特征点组Yn对应的相应点组yn的轮廓，并且，确定该轮廓是否限定闭合的区域。图21A所示的区域A是闭合区域，并且，图21B所示的区域A不是闭合区域。如果区域A不是闭合区域，那么，与特征点X对应的相应点未必位于画面上。因此， 确定N = I。如果区域A是闭合区域，那么确定区域A是否满足特征点X属于的图形图案的属性。术语“属性”指的是面积、亮度、形状(诸如η边形或椭圆)中的至少一个和其它适当的因素的组合。如果确定区域A满足特征点X属于的图形图案的属性，那么总是在图像中存在与特征点X对应的相应点。因此，确定N = 2。通过以上的过程，可以确定是否总是在图像中存在与特征点X对应的相应点。第七实施例图22是示出第七实施例的配置的示图。三个照相机17、18和19捕获单个作业的图像。点X是要测量三维位置的特征点，点组Yn是与特征点X连续的特征点组。在这种情况下，点组Yn限定直线。在图22所示的配置中，通过使用照相机17、18和19捕获的图像可分别如图23A、图23B和图23C所示。这里，点xal7是通过使用照相机17捕获的图像上的与特征点X对应的点。点ynl8和ynl9分别是通过使用照相机18和19捕获的图像上的与特征点组Yn对应的点。在这种情况下，点ynl8和ynl9处于直线上。图24是示出第七实施例的流程图。步骤S30 s34的处理与第一实施例中的步骤SI S5的处理对应，并且，可实现相同或类似的优点，并且这里不描述它们。在步骤S35中，对于照相机18和19执行参照第一实施例中的步骤S6描述的处理。作为结果，从各图像获得相应点组ynl8和ynl9。然后，在步骤S36中，确定通过使用相应的照相机捕获的图像上的各相应点组yn的线长。然后，在步骤S37中，选择最大的线长。在本实施例中，确定通过照相机18获得的图像上的直线。通过使用与第一实施例中的步骤S7类似的方法确定该直线的方程。在步骤S38中，可通过使用在步骤S34和S37中确定的两个直线的方程通过使用与第一实施例中的步骤S8类似的方法，确定与特征点X对应的包含照相机18的传感器面的面上的第二相应点的二维坐标。在步骤S39中，可从与特征点X对应的两个相应点与两个照相机之间的位置关系通过使用与第一实施例中的步骤S9类似的方法根据三角测量的原理确定特征点X的三维坐标。根据本实施例，关于捕获特征点X的第一照相机(照相机17)，可以自动选择其它照相机(照相机18和19)中的能够关于特征点组Yn获得最大量的信息的照相机作为第二照相机。因此，可望提高精度。另外，通过使用多个照相机，可以实现更宽的三维测量范围。在以上的描述中，作为例子，三个照相机被平行设置。但是，本发明不限于此。即，可通过使用配置于希望的位置上的比两个多的多个照相机实现类似的实施例。第八实施例并且，在第八实施例中，与第七实施例类似，可以使用图22所示的配置，并且，通过使用照相机捕获的图像可如图23A 23C所示。现在参照图22、图23A 23C和图25描述第八实施例。与第七实施例类似，照相机的数量和照相机的位置不限于这里描述的那些。图25是示出根据第八实施例的处理流程的流程图。步骤S40 S44的处理可与第一实施例中的步骤SI S5的处理对应，并且，步骤S45和S46的处理可与第七实施例中的步骤S35和S36的处理对应，并且，可以实现相同或类似的优点，并且，这里不描述它们。在步骤S47中，选择在步骤S46中确定的线长中的比规定的长度长的一个或更多个线长，并且，确定各图像面上的二维线方程。因此，可以排除来自由于直线的长度不足导致方程的可能性较低的照相机的数据。在步骤S48中，从在步骤S44中确定的线方程和在步骤S47中确定的线方程通过使用与第一实施例中的步骤S8类似的方法获得第二相应点的位置。由于存在在步骤S47中选择的多个线方程和相应的照相机，因此，可以确定多个第二相应点。在步骤S49中，从在步骤S43中确定的第一相应点和在步骤S48中确定的第二相应点以与第一实施例中的步骤S9类似的方法确定特征点X的三维测量位置的候选点。由于存在在步骤S48中确定的多个第二相应点，因此，可以获得多个候选点。在步骤S50中，通过从在步骤S49中确定的多个三维测量位置候选取得三维重心，确定特征点X的真实测量位置。不仅可通过平均各单个点的权重确定重心，而且可通过根据线长赋予权重确定它。即，可通过向在更可能的图像中获得的信息赋予高的权重实现更高的可靠性。例如，可根据线长赋予权重。在本实施例中，即使各照相机具有窄的视场，也可在找到特征点组Yn时获得大量的信息，并因此可以实现与具有宽的视场的照相机同等或类似的优点。可以提供更可靠的
三维测量。根据本发明的三维测量方法可以适用于要求高测量精度和宽视角并且对于照相机的重量具有严格的上限的照相机，诸如在工业机器人手中使用的手上照相机。虽然已参照示例性实施例说明了本发明，但应理解，本发明不限于公开的示例性实施例。以下的权利要求的范围应被赋予最宽的解释以包含所有的变更方式和等同的结构和功能。本申请要求在2009年11月12日提交的日本专利申请No. 2009-259025和在2010年10月26日提交的日本专利申请No. 2010-239980的益处，在此引入它们的全部内容作为参考。
权利要求
1.一种用于根据立体测量方法通过使用至少两个照相机来测量产品的特征点的三维坐标的三维测量方法，包括以下的步骤 通过使用第一照相机捕获特征点，并且通过使用第二照相机捕获与特征点连续的特征点组； 计算包含第一照相机的传感器面上的相应点、第一照相机的焦点位置和第二照相机的焦点位置的面，相应点与特征点对应，并且，计算作为计算的面与包含第二照相机的传感器面的面的交线的第一线； 计算包含第二照相机的传感器面上的相应点组的第二线，相应点组与特征点组对应； 通过确定第一线与第二线的交点计算包含第二照相机的传感器面的面上的相应点，该相应点与特征点对应；和 计算延伸通过第一照相机的传感器面上的相应点和第一照相机的焦点位置的直线以及延伸通过第二照相机的传感器面上的相应点组和第二照相机的焦点位置的直线，并计算所计算的直线的交点作为特征点的三维坐标。
2.根据权利要求I的三维测量方法，其中，多个特征点组与特征点连续， 在计算第二线的步骤中，对于第二照相机的传感器面上的多个相应点组中的每一个计算第二线，所述多个相应点组与所述多个特征点组对应，并且， 其中，在计算包含第二照相机的传感器面的面上的相应点的步骤中，从第一线与多条第二线的交点计算相应点。
3.根据权利要求2的三维测量方法，其中，第一线与第二线中的一条第二线的交点被设为第二照相机的传感器面上的相应点，第二线中的所述一条第二线是关于第一线限定的角度最大的第二线，该相应点与特征点对应。
4.根据权利要求2的三维测量方法，其中，在计算包含第二照相机的传感器面的面上的相应点的步骤中，第一线与所述多条第二线的交点的重心被计算为相应点。
5.根据权利要求I的三维测量方法，其中，第二线包含直线。
6.根据权利要求I的三维测量方法，其中，第二线包含曲线。
7.根据权利要求I的三维测量方法，还包括以下的步骤 确定与特征点对应的相应点是否包含于通过使用所述至少两个照相机捕获的图像中的每一个中。
8.根据权利要求7的三维测量方法，其中，在确定步骤中，计算作为通过使用所述至少两个照相机捕获的图像中的每一个中的图形图案的轮廓的轮廓，图形图案与产品对应，轮廓包含特征点组，并且，确定计算的轮廓是否限定闭合区域。
9.根据权利要求I的三维测量方法，其中，多个照相机捕获与特征点连续的特征点组，并且， 其中，能够获得第二线具有最长长度的图像的照相机被选择为第二照相机。
10.根据权利要求I的三维测量方法，还包括以下的步骤 基于通过多个第二照相机获得的第二线，计算特征点的多个三维坐标候选的加权重心作为特征点的真实三维坐标，所述多个第二照相机能够获得第二线具有比预定值大的长度的图像。
全文摘要
通过使用共同视场以外的视场来扩展可用于立体测量的视场。为此，计算包含与特征点(X)对应的第一照相机的传感器面上的相应点(xa)、第一照相机的焦点位置(F1)和第二照相机的焦点位置(F2)的面(面e)；计算作为面(面e)和包含第二照相机的传感器面的面的交线的第一线(直线E)；计算与特征点组对应的包含第二照相机的传感器面上的相应点组的第二线(直线G)；计算第一线与第二线的交点作为与特征点(X)对应的包含第二照相机的传感器面的面上的相应点(xb)；和基于相应点(xa,xb)计算特征点(X)的三维坐标。
文档编号G06T7/00GK102667854SQ201080051728
公开日2012年9月12日 申请日期2010年11月10日 优先权日2009年11月12日
发明者林祯 申请人:佳能株式会社