形状计测装置以及校准方法

专利名称：形状计测装置以及校准方法
形状计测装置以及校准方法 技术领域 本发明涉及对计测对象物的表面的三维形状进行计测的技术。
背景技术：
已知通过对利用照相机拍摄得到的图像进行解析来求出计测对象物表面的法线 (或者斜度)从而恢复(再现)其三维形状的技术。例如，在专利文献1中公开了从配置成多级的环形照明装置照射同心圆状的图案光(测光，pattern light)来计测焊锡表面的斜度的方法。另外，在专利文献2中公开了如下方法在医疗用的内窥镜中，将图案光照射到生体组织，根据其正反射方向计算法线，从而恢复生体组织表面的形状。另外，在专利文献3中公开了利用平行光照明和线传感器来计测回流后的焊锡表面的斜度的方法。除此之外，还有如下方法等为人们所知依次点亮多个光源来观测物体的阴影的变化，由此求出物体表面的法线(所谓的照度差立体法)；从不同角度照射红、蓝、绿三种颜色的光来观测物体表面的颜色，由此求出其法线方向(Structured-light法结构光法)。现有技术文献(专利文献)专利文献1 日本特开平8-14849号公报，专利文献2 日本特开2009-273655号公报，专利文献3 日本特开2009-168582号公报。发明要解决的课题如上所述，通过计算法线来计测形状的方法有各种各样的方式，其基本原理是将图像的特征量(颜色、亮度)和法线(或者光源的角度)建立对应关联，这一点是共同的。 若以镜面物体的计测装置为例进行说明，则如图17A所示，在某一计测点P观测到来自光源 L的入射光的特征(颜色、亮度)时，求出光源L的角度的1/2来作为在点P处的法线角度
θ O在这种装置中，通常，将照相机的视场中心作为基准位置来设定光源L的角度θ。 因此，严格地说，若计测点(像素位置)偏离视场中心，则法线的计算会发生误差。例如，如图17Β所示，尽管计测点P’的实际的法线角度θ，大于中心点P的法线角度θ，但都被计算为相等的角度。在此发生的误差(I θ ’-θ I)由视场中心点P与计测点P’之间的距离d 以及视场中心点P与光源L之间的距离1来决定，d越大，误差就越大，且1越大，误差就越小。过去，通过将装置设计成1相对于d非常大，实际使用时忽视了误差。然而，在基板外观检查(Α0Ι系统)等领域，为了实现检查装置的小型化以及提高检查节拍，需要实现宽视场化，因此无法使d与1之差充分大，不能忽视法线计算的误差大

发明内容
本发明是鉴于上述实情而做出的，其目的在于，提供一种用于尽可能减小因计测点的位置差异而导致的法线计算的误差，并且高精度地计算计测对象物的三维形状的技
4术。用于解决课题的手段为了实现上述目的，在本发明中，根据计测点(关注点)的位置而适宜地切换用于计算法线的数据(表或变换式等)，由此将计算误差减小到在实用上能够忽视的程度。具体地说，本发明的形状计测装置的特征在于，具有照明单元，其用于对配置在工作台上的计测对象物照射光，拍摄单元，其用于对上述计测对象物进行拍摄，特征量计算单元，其用于基于特定图像，对上述计测对象物的表面上的多个关注点计算出与颜色或亮度相关的特征量，上述特定图像是在上述照明单元照射光的状态下利用上述拍摄单元进行拍摄得到的图像，存储单元，其用于预先存储将特征量的值与特定信息建立了对应关联的数据，特定信息用于根据特征量的值来确定表面的法线的方向，形状计算单元，其用于通过参照存储在上述存储单元中的数据，基于由上述特征量计算单元计算出的特征量的值来计算上述多个关注点处的法线的方向，并基于该计算结果来计算出上述计测对象物的表面的三维形状；上述存储单元存储有针对在上述拍摄单元的视场内设定的多个基准位置中的每一个基准位置而制作的多个数据，上述形状计算单元根据关注点的位置来切换要参照的数据。若采用该结构，则由于根据关注点的位置而切换数据，因此不会受到关注点的位置的影响，能够充分减小法线计算误差。因此，与现有装置相比，能够高精度地求出计测对象物表面的三维形状。反过来说，能够在保持与过去相同精度的状态下实现装置的小型化和宽视场化。在此，作为“用于根据特征量的值来确定表面的法线的方向的信息”，例如包括法线的方向、斜度(倾斜度)、入射光(光源)的角度等。优选地，以分别包括上述基准位置的方式将上述拍摄单元的视场分割为多个子区域，并且对每一个子区域对应关联有数据，上述形状计算单元选择与关注点所属的子区域对应关联的数据来作为要参照的数据。若采用该结构，则能够简单地决定应参照的数据，因此能够实现处理的简单化及高速化。当然，数据的选择方法不仅限于此。虽然处理多少变得复杂，但是可以检测最接近关注点的基准位置并参照与该基准位置对应关联的数据，或者， 也可以选择接近关注点的多个基准位置，并利用它们的多个数据的内容(例如插入)来计算法线。在此，优选地，上述多个数据中的每一个数据是利用表面形状已知的示教用物体的图像来制作的，该示教用物体的图像是通过将该示教用物体配置在上述基准位置上并在从上述照明单元照射光的状态下利用上述拍摄单元进行拍摄得到的。通过如此利用装置本身的结构来制作数据，能够将照明单元或拍摄单元的个体差或组装误差等反映到数据中， 因此能够提高精度。优选地，上述照明单元是具有规定宽度的发光区域的面光源，从上述发光区域内的各位置照射的光的光谱分布互不相同。通过利用这样的照明单元，仅通过一次计测(照明及拍摄)就能够求出计测对象物的三维形状，能够缩短计测时间。优选地，上述照明单元是照射将多个照明图案重合而得的光的面光源，或者是依次照射上述多个照明图案的面光源，上述多个照明图案具有互不相同的发光强度分布，设定各照明图案的发光强度分布，使得以通过配置有上述计测对象物的点并且与上述工作台平行的规定的直线为中心轴，发光强度相对于围绕上述中心轴的角度而呈线性变化。通过利用这样的照明单元，即使是反射特性不均勻的物体或表面粗糙的物体，也能够高精度地进行计测。此外，也有因结构上或者设计上的理由等而难以实现严格的线性特性的情况。在这样的情况下，实质上实现线性特性即可。即，在本发明中，“发光强度线性变化”的概念包括“发光强度实质上线性变化”。此外，本发明也可以作为具有上述单元中的至少一部分的形状计测装置。另外，本发明也可以作为这样的形状计测装置的校准方法或者包括上述处理中的至少一部分的形状计测方法或用于实现该方法的程序。在可能的情况下可以互相组合上述各个单元及处理来构成本发明。例如，本发明的校准方法用于形状计测装置，该形状计测装置利用照明装置对计测对象物照射光，在照射光的状态下利用拍摄装置对上述计测对象物进行拍摄，并根据拍摄得到的图像的与颜色或亮度相关的特征量，计算上述计测对象物表面的三维形状，上述特征量是针对上述计测对象物的表面上的多个关注点取得的，该校准方法的特征在于，将表面的斜度已知的物体配置在拍摄位置的视场内，利用上述照明装置至少从多个不同方向对该物体照射不同发光强度分布的光，从拍摄得到的图像提取与上述物体的表面的斜度相关的特征量，存储特定数据来作为计测对象物的多个计测位置上的计测值的校准用数据， 其中，上述特定数据是将配置有上述物体的图像上的位置与所提取到的上述特征量建立对应关联的数据。在此，优选“表面的斜度已知的物体”是半球体。这是因为，通过一次拍摄能够得到全方向(360度)的法线信息，并且利用球体的方程式能够简单地计算出法线矢量。发明的效果若利用本发明，则能够尽可能减小计测点的位置差异所导致的法线计算误差，能够高精度地计算出计测对象物的三维形状。


图1是示意性地示出了形状计测装置的硬件结构的图。 图2是按照RGB示出了照明装置的发光区域的彩色图案的图。 图3A是说明照明装置的发光区域的RGB各色的变化的立体图。 图3B是说明照明装置的发光区域的RGB各色的变化的侧视图。 图4是说明测定对象物表面的法线方向和发光区域的对应的图。 图5是表示制表处理的流程的流程图。 图6A是示出了拍摄制表用图像时的状态的立体图。 图6B是示出了制表用图像的一例的图。 图7是表示形状计测处理的流程的流程图。 图8A是示出了法线图(map)的一例的图。 图8B是示出了恢复后的形状的一例的图。 图9是说明照明装置的彩色图案的效果的图。 图10是说明反射特性的图。 图11是用于说明入射光和反射光的图。 图12是用于说明镜面瓣(specular lobe)的抵消效果的图。 图13是示出了照明图案的变形例的图。
6
图14是示出了照明图案的变形例的图。图15是示出了具有平板形状的照明装置的形状计测装置的结构的图。图16是用于说明平板形状的照明装置的照明图案的图。图17是用于说明计测位置的差异所导致的计算误差的图。
具体实施例方式下面，参照附图对本发明的优选的实施方式进行说明。本实施方式的形状计测装置通过图像解析来对镜面物体进行三维计测。该装置可以应用于各种自动计测装置、自动检查装置、机器人视觉等中的物体识别中，例如能够很好地应用于基板外观检查装置(Α0Ι 系统)中的锡焊的优劣检查、金属加工物表面的凹凸检查等。〈计测装置的整体结构〉参照图1，对形状计测装置的整体结构进行说明。图1是示意性地示出了形状计测装置的硬件结构的图。形状计测装置大体上具有计测工作台5、检查头部H以及信息处理装置6。在检查头部H上安装有照明装置3和照相机(图像传感器)1，该照明装置3用于对配置在计测工作台5上的计测对象物4照射测定光，该照相机1从铅直上方拍摄计测对象物4。信息处理装置6具有CPU(中央运算处理装置)60、存储器61、存储装置62、检查头部控制部63、图像输入部64、照明装置控制部66、工作台控制部67、用户界面(用户I/F)68以及显示部69 等。检查头部控制部63发挥对检查头部H在Z方向(与计测工作台5垂直的方向)上的移动进行控制的功能，工作台控制部67发挥对计测工作台5在XY方向上的移动进行控制的功能。照明装置控制部66发挥对照明装置3的点亮和熄灭(根据需要包括照明图案的切换)进行控制的功能。图像输入部64发挥从照相机1读入数字图像的功能。用户界面 68是用于由用户操作的输入装置，例如指示器、触摸面板、键盘等相当于用户界面。显示部 69是对计测结果等进行画面显示的部分，例如由液晶显示器等构成。计测时，检查头部H和计测工作台5进行相对移动，使计测对象物4定位在规定的计测位置(在图1的例子中，照明装置3的中央(照相机1的光轴与计测工作台5的交点))。然后，在从照明装置3照射测定光的状态下拍摄图像。照相机1拍摄得到的图像经由图像输入部64而读入至信息处理装置6，用于后述的图像解析。下面，详细说明形状计测装置的结构和处理。(照明装置)照明装置3是如图1所示地具有穹面形状的面光源，该穹面形状的整个部分为发光区域。此外，在照明装置3的天顶部分设置有照相机1用的开口。这样的照明装置3例如能够由穹面形状的滤色器和从其外部照射白色光的光源构成。另外，例如也可以做成如下结构使多个LED芯片排列在穹面的内侧，经由扩散板来照射光。另外，也可以将液晶显示器或有机EL显示器等做成穹面形状来构成照明装置3。优选地，照明装置3的发光区域的形状为半球状的穹面形状，从而能够从计测对象物4的全方位照射光。由此，能够计测全部方向的法线。但是，只要是能够从与作为计测对象的法线方向相对应的位置照射光的形状即可，发光区域的形状可以是任意形状。例如， 如果表面的法线方向限定于大致铅直方向，则不需要从水平方向(从角度小的方向)照射光。照明装置3的发光区域的各位置的发光被设定为在全部位置发出不同光谱分布的光。例如，由红色光(R)、绿色光(G)、蓝色光⑶这三种颜色的光成分的合成来实现发光的情况下，如图2所示，使RGB各成分的发光强度在穹面上针对不同方向而发生变化。在此， 使变化方向彼此相差120度。通过这样的RGB成分的组合，使得在发光区域的各位置的RGB 各成分的组合各不相同。因此，能够设定为在全部位置发出不同光谱分布的光，若向计测对象物4入射的入射方向不同，则入射的光的光谱分布(RGB的强度比)不同。此外，发光颜色不仅可以利用上述三种颜色，也可以利用三种颜色以上的颜色成分(色彩通道colour channel)0此外，图3A、图;3B示出了图2中的一个成分光的强度变化(照明图案)。图3A是示出了一个成分光的等色(等发光强度)线的立体图。图3B是与图3A相对应的侧视图。这样，通过穹面(半球)的直径的平面而与穹面的交线为等色线。此外，在图2、图3中，RGB各成分的发光强度以阶梯状变化(图中，变化分成8个阶段)，但是这是为了容易地观察附图， 实际上各成分光的发光强度(亮度)是连续变化的。并且，该发光强度的变化被设定为相对于角度而呈线性变化。更具体地说，在将发光强度的最小值设为Lmin、将发光强度的最大值设为Lmax、将含有等色线的平面与水平面(计测工作台幻之间所成的角度设为θ时，将发光强度设定为，在该等色线上的发光强度L( θ )满足L( θ ) = Lmin+(Lmax-Lmin) X ( θ / η)的关系。若如图3Α所示定义“极”，则能够表现为该θ为经度，本实施方式的光源分布(照明图案)相对于经度而呈线性变化。或者，也能够表现为该照明图案被设定为以通过配置计测对象物的点0且与计测工作台5平行的直线作为中心轴，发光强度相对于围绕该中心轴的角度θ而呈线性变化。通过利用具有这样的光源分布(照明图案)的照明装置，能够仅根据一张图像来对计测对象物的表面形状(法线方向)进行计测。参照图4对此进行说明。假设计测对象物4的表面上的某一点处的法线方向为箭头N的方向，天顶角为θ，方位角为φ。此时，由照相机1拍摄的该点处的颜色为在照明装置3的区域R发光并入射到计测对象物4的光的反射光的颜色。这样，表面的法线方向(θ，φ)和光源的方向(照明装置3的发光区域上的位置)一对一地对应。并且，由于从不同方向入射的光具有不同的光谱分布(在发光区域上的全部位置发出不同的光谱分布的光)，因此通过研究拍摄图像的颜色(光谱分布)，能够针对天顶角以及方位角两者计算出该点处的法线方向。(表)这样，像素的颜色、亮度与该点处的法线方向、光源的角度，一对一地对应。因此， 在该形状计测装置中，预先制作将与像素的颜色、亮度相关的特征量的值与光源的角度建立对应的表，并将其登录到存储装置62中。在本实施方式中，由于照明装置3发出由红色光(R)、绿色光(G)以及蓝色光(B)这三种成分光组合而成的光，因此利用RGB各成分之比作为特征量。例如，针对RGB的各成分，能够在将最大亮度标准化为1的基础上将(R，G，B) 的组合作为特征量。另外，也可以将其他颜色与某一颜色(在此为G)之比作为特征量，例如，可以将R/(R+G)、B/(B+G)等作为特征量。然而，在利用这样的表来计算法线方向的情况下，如在图17B中说明的那样，因计测点的位置差而导致的误差可能成为问题。因此，在本实施方式的形状计测装置中，在照相机1的视场内设定多个基准位置，并对每个基准位置准备不同的表。然后，根据位置选择适当的表并计算出法线，从而尽可能地减小误差。下面，参照图5和图6，详细说明表制作处理。图5是示出了表制作处理的流程的流程图。另外，图6A是示出了拍摄表制作用图像时的状态的立体图(切除照明装置3的一部分来图示)，图6B是示出了表制作用图像的一例的图。此外，图5所示的处理是信息处理装置6的CPU60通过从存储装置62读出并执行程序来实现的。但是，这些功能块的一部分或全部也可以由ASIC(Application Specific Integrated Circuit 专用集成电路)或 PLD(Programmable Logic Device 可编程逻辑器件)等构成。如图6A所示，将照相机1的视场10虚拟分割为4X4的16个子区域，并将基准位置11设定在各子区域的中心。然后，在一个基准位置11配置表面形状已知的示教用物体 12(在此使用半球体)，并从照明装置3照射光，利用照相机1进行拍摄(步骤S10)。拍摄得到的图像经由图像输入部64而被读入到信息处理装置6中。通过改变示教用物体12的位置而重复进行该处理，能够得到与各基准位置(各子区域)对应的16张图像。图6B示出了将16张图像进行合并的图。此外，在接下来的步骤中由于根据图像来求出示教用物体 12的正确的位置和大小，因此在拍摄时不需要严格地对示教用物体12进行定位。接着，CPU60解析该图像，在求出显现在各子区域内的示教用物体12的中心坐标和直径之后，利用该中心坐标和直径，通过球面方程式计算出各像素的法线的角度(步骤 Sll)。接着，CPU60将各像素的法线的角度转换成光源的角度(步骤Si》。此时，可以通过简单地求出法线的天顶角的两倍的方法来求出光源角度，但是，优选地，进行几何学/光学的修正计算以求出从基准位置11观察时的光源角度。接着，CPU60对每个子区域求出各像素的特征量的值，制作将特征量的值与光源角度建立对应的表(步骤Si； )。将如此制作的16个表存储在存储装置62中(步骤S14)。此外，也能够利用由其他形状计测装置制作的表(通用表)，但是，优选利用该装置本身来制作表。这是因为，由此能够将照明装置3以及照相机1的个体差和组装误差等反映到表中，因此能够实现比利用通用表更高的精度。这样的表制作处理优选在装置出货 (出厂)时进行。进而，在照明装置3或照相机1随时间劣化的情况下，也可以定期地更新表(校准)。可以使用任意形状的物体作为示教用物体12。例如，可以使用多面体，也可以使形状已知的板以各种角度倾斜或旋转。但是，为了减少拍摄次数并且减轻表制作的劳力和时间，优选使用包括尽可能多的法线(斜度)成分的表面形状的物体。由于球体(在拍摄方向为一个方向的情况下，如本实施方式那样也可以是半球)通过一次拍摄能够得到全方向的法线信息，并且通过球体的方程式能够简单地计算出法线矢量，因此最适合用作为示教用物体12。此外，在本实施方式中设置了 4X4的16个子区域，但是区域的分割数、基准位置的排列并不限定于此，只要根据照相机1的视场宽度或所要求的精度等适宜地设计即可。 另外，也可以不在对全部子区域的图像进行拍摄后统一制作表，而是针对各子区域分别进行拍摄和表制作。(形状计测)接着，参照图7，对与形状计测相关的功能以及处理流程进行说明。图7是示出了形状计测处理的流程的流程图。这些处理也通过信息处理装置6的CPU60从存储装置62 读取并执行程序来实现，但是其一部分或全部也可以由ASIC (专用集成电路)或PLD (可编程逻辑器件)等来构成。当计测对象物被定位在规定的计测位置时，CPU60从照明装置3对计测对象物照射光，并利用照相机1进行拍摄(步骤S20)。拍摄得到的图像经由图像输入部64被读入。 接着，CPU60将图像分割为16个子区域(步骤S21)，并且分别对计测对象物部分的每个像素(关注点)计算上述的特征量的值(步骤S22)。CPU60在从存储装置62读入了与第一个子区域对应的表时，参照该表，将属于第一个子区域的各关注点的特征量的值转换成光源角度。如果第一个子区域的计算结束，则 CPU60读入与第二个子区域对应的表，求出属于第二个子区域的关注点的光源角度。这样， 按照子区域(即按照关注点的位置)适宜地切换所参照的表，从而针对全部关注点计算光源角度(步骤S23)。接着，CPU60根据各关注点的光源角度计算出法线方向(步骤S24)。根据半球状的计测对象物4的图像来计算出的法线图(normal map)的例子如图8A所示。此外，法线图是指，以单位矢量表示计测对象物表面的各点处的法线的图。最后，CPU60将在步骤S24中得到的各关注点的法线转换成斜度，并将它们连接在一起，从而恢复三维形状(步骤S2Q。在此，将该处理表现为“积分”。从图8A的法线图恢复的形状如图8B所示。通过该方法，能够高精度地恢复计测对象物的表面的三维形状。此外，在本实施方式中利用表来计算出法线，但是也可以不利用表，而例如利用根据特征量的值来计算法线方向的变换式(近似式)来计算法线。此时，只要针对每个子区域设定变换式的参数的值，并根据照相机所拍摄到的关注点的位置来切换变换式的参数的值即可。〈实施方式的优点〉若利用本实施方式的形状计测装置，则由于根据关注点的位置来切换表，因此不受注点位置影响没，而能够充分地减小法线计算误差。因此，与现有装置相比，能够高精度地求出计测对象物表面的三维形状。反过来说，能够在保持与过去相同的精度的状态下实现装置的小型化和宽视场化。另外，由于对每个子区域分别对应有表且根据关注点属于哪一个子区域来切换要参照的表，因此决定应参照的表的变得简单，能够实现处理的简单化及高速化。另外，作为形状计测的照明，利用从全部的入射角方向入射不同光谱分布的光的照明装置3，因此，能够仅根据一张图像，而在天顶角成分及方位角成分这两个方面求出计测对象物4的法线方向。由于仅进行一次图像拍摄，而且能够仅通过对存储有法线与特征量的对应关系的表进行研究从而计算出法线方向，因此能够简单地(高速地)对计测对象物4的表面形状进行计测。在对漫射物体(diffusing object)(反射特性具有“Lambertian”(朗伯)特性的物体)进行拍摄的情况下，其图像为来自各个方向的入射光混合而成的图像。在本实施方式中，将照明装置3的发光区域设定为使RGB三种成分的光如图2所示那样以均等的方向 (方向彼此相差120度)变化，并且使其变化程度相同。因此，如图9所示，对于任意天顶角来说，各个颜色的、来自该天顶角的全方位角方向的每一种颜色的光强度的总和均相等。即使对于全部天顶角进行积分，各颜色的光强度的总和也相等。因此，从漫射物体向位于铅直方向的照相机入射的光的RGB的成分光的强度全部相等，关于漫射物体来说，该拍摄图像相当于拍摄到白色的反射光来得到的图像。即，在拍摄对象由镜面物体(计测对象物体) 和漫射物体这两者构成的情况下，能够计测镜面物体的表面形状，并且对于漫射物体来说， 能够进行宛如照射白色光那样的拍摄。因此，例如，在进行焊锡检查时，对于焊锡以外的对象(基板、IC等)能够基于对象颜色来实施检查。另外，通过利用上述的照明装置3，对于反射特性不均勻的对象物也能够高精度地进行计测。以下，对此进行说明。如图10所示，入射到非完全镜面的物体的光的反射光，由在正反射的方向上尖锐狭窄的光(镜面波尖)和在偏离正反射方向的方向上模糊扩散的光 (镜面瓣)这两种光构成。镜面瓣是指，计测对象表面上的微小凹凸面(微面)所引起的镜面反射光的扩散。微面的方向越偏离，即表面越粗糙，则镜面瓣的扩散程度越大；反之，微面的方向的偏离越小，越接近完全镜面的状态。在此，用从正反射方向的偏离(角度)以及波尖相对于瓣的光强度之比来表示反射特性。在反射特性不均勻的物体中，镜面瓣的形状根据各表面位置的表面粗糙度而不同。在表面非常粗糙的情况下，反射光仅由镜面瓣构成。 镜面瓣与镜面波尖之比接近1，难以区别两者。由于这样的镜面瓣的扩散，拍摄图像的亮度值不仅由来自与物体的表面位置对应的发光区域(图4中的区域R)的光决定，还受来自其周围的光的影响。即，对于表面粗糙的物体，来自与正反射方向对应的发光区域的光和来自其周围的区域的光混合，从而能够观测到与完全镜面的情况不同的光谱特征。此时，如果能够以使得来自周围区域的光恰好被抵消从而能够保证与完全镜面的情况同样的光谱特征的方式进行照明，则即使是反射特性不均勻的物体或表面粗糙的物体，也能够与完全镜面的物体同样地进行计测。为了实现这样的计测，理论上如下所述设定照明装置3的光源分布(照明图案)即可。S卩，如图Il所示，在将从入射角(θ ，cpi)的方向入射到计测点ρ的光源的辐射亮度设为Li (P，θ , cpi)时，点P处的任意的法线矢量以及发光区域上的任意的点对称区域 Ω只要满足以下式即可。公式1 / / (ρ, θ” φ^ . f(p, θ” φ” ΘΓ, φΓ)8 ηθ θ Φ = IifLi (ρ，θ r, φΓ)在此，ρ是物体表面上的计测点，(θ ，φ )是光源的入射方向(Θ为天顶角成分， φ为方位角成分。以下相同)，(θη cpr)是光源光的反射方向(照相机的视线方向)，f是点P的反射特性，Ω是反射特性f中镜面瓣的预料立体角，kf是辐射亮度的衰减比率(取决于物体表面的反射特性)。在本实施方式的照明装置3中，设定为使RGB各成分光的发光强度相对于角度 (经度)而呈线性变化(参照图2、图3)。亮度相对于角度(经度)而呈线性变化的照明图案是上述式的近似解之一。另外，RGB各成分光的图案重合而得到的照明装置3的照明图案也是上述式的近似解。参照图12，从其他观点说明通过利用这样的照明图案来能够抵消镜面瓣的影响的原理。图12为了说明本实施方式的照明图案的效果而示出了能够得到接近理想的光的亮度变化方向的一维方向的图。在此，如图12所示，仅考虑来自角度a(正反射方向)、角度 a+α、角度a-α这三个点的光。假设来自角度a+a、a-α的位置的光的瓣系数均为ο，彼此相等。另外，假设照明装置3的发光强度与角度成正比，在角度a-α、a、a+a的各个位置， 发光强度分别为(a_a)L、aL、(a+a)L。于是，来自这三个点的反射光的合成为ο (a_ a ) L+aL+ σ (a+a)L = (1+2 σ )aL，可知能够抵消来自周围的光的漫射光的影响。此外，在此， 仅考虑a士 α这两个点，但是能够容易地得知来自周围的光的漫射光的影响全部被抵消。 这分别对于RGB各光均成立，因此，用RGB的各颜色的发光强度比所表示的特征量，与完全镜面反射的情况的值相等。因此，即使是反射特性不均勻的物体，也与完全镜面反射的情况同样地，能够根据一张拍摄图像高精度地取得计测对象物的表面形状。此外，上述说明是能够得到最理想的效果的方向进行的说明。在其他方向上，不存在如上所述的线性特性，严格地说无法抵消漫反射的影响，但是在实用上没有问题的范围内能够消除漫反射的影响。上述实施例是关于镜面物体的计测的实施例，但是本发明还能够适用于漫射物体的计测。作为漫射物体的法线计测，代表照度差立体的“明暗恢复法 (Shape from Shading) ”为人们所知。“明暗恢复法(Shape from Shading) ”是指，利用随着漫射物体的面的斜度(法线)偏离光源方向而其亮度变暗的性质，根据物体的面的亮度求出形状的方法。这些与上述镜面物体的实施例同样地，根据事前对形状已知的示教用物体(大多数为球)照射计测用照明来拍摄得到的图像，预先求出物体的法线与面的亮度的对应关系。与镜面物体同样地，若因示教用物体的位置和检查位置不同而导致与光源之间的位置关系变化，则亮度与法线的关系被破坏，会发生误差。示教用物体的位置与计测位置之间的距离越大，误差也越大，这一点也相同。因此，对于漫射面也同样地，通过本发明，基于多个视场内的基准位置，按照位置切换对应关系来进行计测，由此对于整个图像能够尽可能地减小法线的计算精度的劣化。〈照明装置的变形例〉在上述实施方式的说明中，利用将RGB三种颜色的发光强度在彼此相差120度的方向上随着角度而变化的图案重合而得到的照明装置，但是照明图案并不限定于此。例如， 如图13A所示，如三种颜色分别向下方向、右方向、左方向变化的图案那样，也可以利用将分别向不同的方向变化的图案组合而成的图案。另外，不需要使三种颜色都随着角度而变化，也可以采用如图13B所示那样一种颜色在整个面上以均勻的亮度发光而其他两种颜色向不同方向随着角度变化的图案。另外，在上述实施方式中，通过利用将不同色彩通道的照明图案重合而得到的照明装置，仅通过一次计测(照明及拍摄)就能够恢复对象物的三维形状。但也可以这样进行拍摄依次点亮两种以上的照明图案并分别进行拍摄，利用所得到的多张图像来恢复三维形状，虽然这样拍摄的计测时间变长，但利用该方法也能够得到同样的恢复结果。此外， 在一边切换照明图案一边进行拍摄的情况下，如图13C所示，还能够利用发光强度分布彼此不同的多个单色照明图案(此时，照相机也可以是单色照相机)。在上述实施方式中，采用了发光强度相对于经度方向的角度而呈线性变化的照明图案，但是照明图案并不限定于此。例如，也适合利用如图14所示那样发光强度相对于纬度方向而呈线性变化的图案。这样的照明图案也是上述式的近似解之一，能够大体上抵消镜面瓣的影响以检测出正反射光。另外，照明装置3的形状不限于穹面状(半球状)，也可以是如图15所示的平板形状。另外，也可以是将平板弯曲成弧状的形状。只要是形状恢复，则根据观测到的图像能够唯一地求出光源位置的照明即可。另外，如图16A的例子所示，也可以使随着向右方向移动而发光强度变强的红色光(R)图案、随着向左方向移动而发光强度变强的绿色光(G)图案以及随着向上方向移动而发光强度变强的蓝色光(B)图案重合。此时也同样地如图16B所示，在各图案中，通过使发光强度相对于角度θ而呈线性变化，能够大致抵消镜面瓣的影响。在此，θ是围绕通过点P(配置计测对象物的点)并且与计测工作台5平行的直线的角度。或者，也可以用特定平面与平行于计测工作台5的平面所成的角表示θ，所述特定平面是指通过照明装置3的发光区域上的等发光强度线(等色线)和点P的平面。〈其他变形例〉本发明不限定于上述实施方式的形状计测装置，只要是利用将图像的特征量(颜色、亮度)与法线(或者光源的角度)建立对应的表，就能够理想地应用于任意方式的形状计测装置。
权利要求
1.一种形状计测装置，其特征在于， 具有照明单元，其用于对配置在工作台上的计测对象物照射光， 拍摄单元，其用于对上述计测对象物进行拍摄，特征量计算单元，其用于基于特定图像，对上述计测对象物的表面上的多个关注点计算出与颜色或亮度相关的特征量，上述特定图像是在上述照明单元照射光的状态下利用上述拍摄单元进行拍摄而得到的图像，存储单元，其用于预先存储将特征量的值与特定信息建立了对应关联的数据，该特定信息用于根据特征量的值来确定表面的法线的方向，形状计算单元，其用于通过参照存储在上述存储单元中的数据，基于由上述特征量计算单元计算出的特征量的值来计算上述多个关注点处的法线的方向，并基于该计算结果来计算出上述计测对象物的表面的三维形状；上述存储单元存储有针对在上述拍摄单元的视场内设定的多个基准位置中的每一个基准位置而制作的多个数据，上述形状计算单元根据关注点的位置来切换要参照的数据。
2.根据权利要求1所述的形状计测装置，其特征在于，以分别包括上述基准位置的方式将上述拍摄单元的视场分割为多个子区域，并且对每一个子区域对应关联有数据，上述形状计算单元选择与关注点所属的子区域对应关联的数据来作为要参照的数据。
3.根据权利要求1所述的形状计测装置，其特征在于，上述多个数据中的每一个数据是利用表面形状已知的示教用物体的图像来制作的，该示教用物体的图像是通过将该示教用物体配置在上述基准位置上并在从上述照明单元照射光的状态下利用上述拍摄单元进行拍摄而得到的。
4.根据权利要求1至3中的任一项所述的形状计测装置，其特征在于，上述照明单元是具有规定宽度的发光区域的面光源，从上述发光区域内的各位置照射的光的光谱分布互不相同。
5.根据权利要求1至3中的任一项所述的形状计测装置，其特征在于，上述照明单元是照射将多个照明图案重合而得的光的面光源，或者是依次照射上述多个照明图案的面光源，上述多个照明图案具有互不相同的发光强度分布，设定各照明图案的发光强度分布，使得以通过配置有上述计测对象物的点并且与上述工作台平行的规定的直线为中心轴，发光强度相对于围绕上述中心轴的角度而呈线性变化。
6.一种校准方法，用于形状计测装置，该形状计测装置利用照明装置对计测对象物照射光，在照射光的状态下利用拍摄装置对上述计测对象物进行拍摄，并根据拍摄得到的图像的与颜色或亮度相关的特征量，计算上述计测对象物表面的三维形状，上述特征量是针对上述计测对象物的表面上的多个关注点取得的，该校准方法的特征在于，将表面的斜度已知的物体配置在拍摄位置的视场内，利用上述照明装置至少从多个不同方向对该物体照射不同发光强度分布的光，从拍摄得到的图像中提取与上述物体的表面的斜度相关的特征量，存储特定数据来作为计测对象物的多个计测位置上的计测值的校准用数据，其中，上述特定数据是将配置有上述物体的图像上的位置与所提取到的上述特征量建立对应关联的数据。
7.根据权利要求6所述的校准方法，其特征在于， 上述表面的斜度已知的物体是镜面体的半球。
8.根据权利要求6所述的校准方法，其特征在于， 上述拍摄装置从上述物体的上方进行拍摄。
9.根据权利要求6至8中的任一项所述的校准方法，其特征在于，上述照明装置是具有规定宽度的发光区域的面光源，从上述发光区域内的各位置对上述物体照射光谱分布互不相同的光。
10.根据权利要求6至8中任一项所述的校准方法，其特征在于，上述照明装置是具有特定发光区域的面光源，该特定发光区域能够使具有互不相同的发光强度分布的光的多个照明图案重合进行照射，或者依次照射上述多个照明图案， 对上述物体照射各照明图案的互不相同的发光强度分布的光， 上述发光强度分布的方式为以通过配置有上述物体的上述基准位置的平面上的规定的直线作为中心轴，发光强度相对于围绕上述中心轴的角度而呈线性变化。
全文摘要
提供一种形状计测装置及校准方法的技术，能够尽可能减小计测点的位置差异所导致的法线计算误差，高精度地计算出计测对象物的三维形状。形状计测装置基于利用照相机(1)拍摄得到的图像，针对计测对象物(4)的表面上的多个关注点计算出特征量，并参照预先存储在存储装置(62)中的数据，基于特征量的值来计算出法线方向，基于其计算结果恢复计测对象物(4)的表面的三维形状。在此，存储装置(62)存储有针对设定在照相机(1)的视场内的多个基准位置的每一个基准位置制作的多个数据，根据关注点的位置来切换要参照的数据。
文档编号G01B11/24GK102252630SQ20111011213
公开日2011年11月23日 申请日期2011年4月26日 优先权日2010年4月26日
发明者光本大辅, 大西康裕, 小岛岳史, 庄沱, 森泰元 申请人:欧姆龙株式会社