用于被检查对象的表面的检查的方法和装置制造方法

用于被检查对象的表面的检查的方法和装置制造方法
【专利摘要】本发明涉及一种用于检查被检查对象(2)的表面(3)的方法和装置，其中，通过至少一个照射单元(8)照射所述表面(3)，并且通过至少一个面型图像传感器(6)记录所述表面(3)，其中，记录的图像被进给至图像分析装置(11)，所述图像分析装置(11)被设计为在检测处理中检测作为缺陷区的表面异常，并且可选地在分割工艺中相对于彼此或者相对于图像背景定界所述缺陷区，以在区域分析处理中组合关联的缺陷区，和/或在特征提取中从缺陷面或者缺陷区域导出特性缺陷，其中，将所述面型图像传感器(6)三维地标定到选择的坐标系统(5)上，并且相对于所述面型图像传感器(6)移动具有所述表面(3)的所述被检查对象(2)。通过三维地标定到选择的坐标系统(5)的投影装置(8)，将图形(10)投影到所述表面(3)的区域上，通过面型图像传感器(6)记录所述区域，并且在选择的坐标系统中确定所述投影图形(10)在所述对象(2)的所述表面(3)上的限定的图形部分的位置。
【专利说明】用于被检查对象的表面的检查的方法和装置

【技术领域】
[0001]本发明涉及用于被检查对象的表面的检查方法和装置，其中表面被通过照射单元照射，并且至少被一个面型图像传感器所捕获。面型图像传感器特别为也被称为矩阵相机的面扫描传感器，其中，图像细节与面扫描相机的一个像素相关联，其中，捕获的照片的一个像素呈现作为获得的图像细节的特性的值。该值特别为强度值，其中，可以单色方式(例如，作为灰度值图像、红外图像或者单色图像)以及以多色方式(彩色图片)来捕获照片。通过与矩阵相机或者面型图像传感器的相应像素相关联的颜色传感器(例如，红、绿，蓝、红外和/或类似的波长选择颜色传感器)的强度值来限定颜色。根据本发明，面型图像传感器或者矩阵相机优选不是仅具有一个图像线的线扫描相机，即，在一行中彼此邻近的若干像素形成一个图像线。


【发明内容】

[0002]在提出的检查方法中，俘获的图像被发送至图像分析单元，所述分析单元被配置为以在检测中特别地通过图像评估程序将表面异常确定为缺陷区。为此，所述图像评估程序包括用于评估单个像素或者像素区，例如被分配到单个像素的颜色传感器的强度值，的合适算法。对于单色图像，颜色传感器为一个传感器，对于彩色图像，颜色传感器为若干传感器。按需要，在所述图像分析单元中，所述缺陷区也可被特别地通过图像细节评估程序而相对于彼此或者相对图像背景以分割(segmentat1n)的形式定界，在区域分析中属于一起的缺陷区被特别地通过图像评估程序而总结，和/或在特征提取中特别地通过图像评估程序而从缺陷区或者缺陷区域导出特性缺陷特征，其然后作为或被用于随后的缺陷分类。
[0003]通过本发明，面型图像传感器被三维地标定到选择的坐标系统上。“三维地标定”意味着布置，即，所述面型图像传感器的位置和取向以及例如相机型号的其成像性质，是已知的，以便通过利用在所述选择的坐标系统和/或在另一坐标系统中已知的合适的特征(所述特征被映射在获得的照片中)，能确定这些特征和/或所获得的被检查或者要被检查的对象的位置。例如，这些特征为在对象坐标系统中已知的对象的特性特征。这样的图像评估方法通常是已知的，并且从而不需要在这里详细描述。
[0004]当实施根据本发明所提出的方法时，相对于优选的静止面型图像传感器在所述选择的坐标系统中移动被检查或者要被检查的所述对象的表面。所选的坐标系统例如为环境的世界坐标系统。
[0005]本发明从而涉及用于对象的形态性质和反射性质的高分辨率、全面且非接触捕获的方法，连同用于在材料制造或者材料处理工业中针对中面积或大面积表面的检查的数据融合和数据分析的方法。这样的系统允许表面的反射性质的实时捕获，并且可以被用作用于表面质量检查以及用于工艺分析和工艺控制的表面检查系统。
[0006]用于中面积或者大面积表面的非接触式检查的已知系统被限制为所述表面的反射性质的感官捕获，并且出于此目的，使用图像传感器而利用表面的二维扫描，例如使用具有将待捕获的图像区映射到CCD元件上的成像光学部件(optics)的CCD元件。这些图像传感器也被称为相机。
[0007]在表面的二维图像的辅助下，测量反射特性，二维图像被具有单色或者多色(彩色的)照射的黑白或者彩色相机捕获并且，根据需要，使用合适的光滤波器。使用的相机可为面扫描或者线扫描相机以及恰当的照射单元。所述照射和视角以及所使用的照射波长(单色或者多色)被适应为适合相应的检查任务。使用的图像传感器供应单或多通道图像的连续数据流，其中，图像信息(特别地，用于一个或者不同波长的强度值)能够作为用于所述面扫描相机的每个像素或者每个像素区的单或者多通道信息。
[0008]为了定位、评估或者分类表面缺陷，捕获的图像(灰度图像或者彩色图像)经受自动图像分析，在此期间图像分析算法初始发现表面异常(检测)，相对于彼此及和所述背景定界缺陷区域(分割)并且，按要求，总结属于一起的缺陷区(区域分析)。为了将识别的表面异常分类并且评估到应用和特定表面缺陷种类中，从缺陷区域内的图像函数导出特性图像特征(特征提取)。然后，在分类处理中，每个发现的显现性(conspicuity)被分配有缺陷类别以及，取决于相应的应用，严重性的度。未被评估为表面缺陷的显现性，被分类为所谓的“伪缺陷”。
[0009]然而，要被检查的所述表面的二维图像的信息内容(用于表面检查的已知系统所获得的)是受限的。特定表面特性根本不适合于测量反射性质。同样地，强度或者颜色信息，甚至对于最佳的传感器结构和对于最佳的数据评估，也未供应用于有缺陷和无缺陷的表面结构之间的可靠分离的足够证据。例如，对于诸如坯(slab)表面的极度重结构化表面，由于通常不加鉴别的材料结构在颜色或者强度图像中显示为全体显现性，大量的伪缺陷被频繁独立于检查工艺本身而观察到，这些伪缺陷被探测为表面异常从而作为缺陷区域。
[0010]因此，用已知的检查工艺，当实际上这些不是表面缺陷而是公知材料结构时，显现性在材料表面到处显示。在另一方面，通过强度或者彩色图片，难于从这些伪缺陷区分诸如裂缝或者压痕的相关表面异常。对于下游分类处理，主要取决于检查任务，在实际缺陷和伪缺陷之间做区分可能是具有很大的不确定性的，会引起相当多的误报，这导致相当多的人工再处理。
[0011]因而，改善在表面的检查期间并且特别地对于重结构化的表面的缺陷识别的可靠性以降低检测的伪缺陷的数目，是本发明的要求。
[0012]根据本发明，通过具有权利要求1的特性和具有权利要求12的特性的装置满足所述要求。根据本发明，提供了，特别地，通过三维地标定到所选择的坐标系统上的投影单元，图形被投影到所述面型图像传感器捕获的所述图像的所述表面的区上，以及在所述对象的所述表面上的所述投影图形的限定的图形部分的位置被在所述选择的坐标系统中确定并且被转译(按要求)到另一坐标系统种，例如到对象坐标系统中。
[0013]将图形投影到所述表面的所述区上可以以受所述面型图像传感器的分辨率限制的所需的分辨率捕获所述表面的所述结构作为深度信息，并且同时，能与在每个像素中捕获的颜色或者的强度信息一起使用以用于缺陷区域的检测和分类。根据本发明，这导致在检测性能的显著改善，由于源于高分辨率二维强度和彩色图像连同结构图像的同时捕获、融合和分析，用于评估异常的附加信息(深度信息)是可获得的。根据本发明，可以用低于、等于或者高于所述强度或者颜色信息的分辨率生成所述结构信息。
[0014]根据本发明，“三维标定投影单元”，意味着通过所述图形在空间中的投影形成的面的形状为已知的，并且取决于图形的类型，这可以形成直(平面)或者弯曲的面。在作为图形的投影的线的情况下，面的形状因而是平面的面。用其它图形，弯曲面或者面形状由以相对彼此的限定的方式布置的若干面组成，例如对于投影的交叉图形或者如干间隔开的线(条纹图形)。
[0015]整体上，该限定的图形部分为所述投影图形的部分段，其中，可以对应于所需分辨率选择位置正被确定的图形部分的尺寸，用所述分辨率可以通过投影到表面上的图形确定的所述对象的所述表面的行进(run)应被了解。用于分辨率的限制和测量为所述面型图像传感器的像素尺寸，其中，图形部分可以在其纵向和/或横向扩展上对应于所述面型图像传感器的恰好一个像素或者若干组合的像素。
[0016]根据本发明，通过标定到所述选择的坐标系统上的运输单元，优选实现将所述表面移动经过面型图像传感器，所述运输单元允许所述表面相对于所述面型图像传感器和所述投影图形的限定的运动。所述运动的速度连同图像捕获速度的基准为所述所需的分辨率。
[0017]本发明的优选应用以反射布置实施，在该反射布置中所述面型图像传感器捕获在表面上反射的所述照射单元的所述光。
[0018]根据本发明的优选实施例，从所述图形部分的确定的位置确定所述表面的深度分布。通过三角剖分评估确定所述图形部分在所述表面上的各位置，所述三角剖分评估被已知是基于所述投影单元和相机被三维地标定到所述选择的坐标系统上这一事实。
[0019]从而，根据本发明，通过以深度信息补充所捕获的反射表面数据，实现表面检查系统的总性能的改善，其中，这是基于表示所述表面的反射性质的二维图像和表示作为深度边缘(表面形貌(topography))的所述表面三维几何形状的三维图像的同时捕获和分析。通过利用该附加的深度信息，改善检测可靠性、缺陷位置的准确度和分类并且通过关于所述缺陷形貌的信息补充所述缺陷描述，其中就针对整个表面的表面形貌而言，所述深度信息能作为整个表面的深度分布可得。
[0020]特别地在高度结构化的表面上，这允许误报率最小化，因为可以通过深度信息解释在评估所述表面的反射性质的所述二维图像中的特定图形，该深度信息反映了表面的垂直结构。整体来看，除了归因于表面缺陷和表面二者的三维可视化之外，可以改善显现性的说明。
[0021]根据上述方法的优选实施例，投影的图形可为线图形(确切地由一个线组成)或者条纹图形(至少由两个线组成)，其中，所述线图形和所述条纹图形都由被配置为条纹投影机的投影单元生成。
[0022]从而根据本发明，优选根据利用这样的条纹投影的光分段(light-sect1n)处理，捕获所述表面形貌。同时将要被检查的所述表面移动经过所述传感器，投影单元将从一个或多个线产生的所述图形映射到表面上。所述图形被映射到矩阵相机的所述光敏表面中(即，所述面型图像传感器的像素)，并且使用所产生的图像信息来导出所述表面的直线(linear)深度分布。这意味着逐分布地(profile by profile)捕获所述深度信息。
[0023]通过连续捕获和将单个的线分布串在一起，产生表面的区三维模型。优选将所述线捕获速度调整到相对于所述面型图像传感器的表面的进给速率，以便以恒定的横向分辨率测量深度。从而，源于遮光而发生的任何间隙是小的或者可以通过使用进一步的面型图像传感器(相机)而被避免。
[0024]由于这时的评估特别简单，可以优选将线配置成直线。线宽度对应于所需分辨率，并且优选进行相对于线方向横向地产生表面相对于投影线的运动。优选线宽度大于在所述矩阵相机中或者在所述运动的方向上的图像的分辨率，以便确保这些图形也作为在其中可以评估表面缺陷的面区域(areal reg1n)而出现。
[0025]本发明的特定优势从而在于(适用于中面积和/或大面积表面)投影单元和面型图像传感器的组合的所述选择，其中照射单元，即，用于捕获表面的所述反射性质的照射单元和用于捕获深度信息的用于图形的投影的照射单元(投影单元)，甚至可能是相同的，其中可以用一个且相同的面型图像传感器并优选用具有足够速度的一个且相同的图像确定所述深度信息和关于表面反射性质的信息。
[0026]取决于所使用用于生成光分段的照射，用于捕获所述反射性质的所述图像由相应被照射的部分组成。可跨若干像素而产生集成(integrat1n)，以便抑制干扰。结果是N+1-通道图像，其中N-通道包括关于所述表面的反射性质的所述信息，并且其中所述第N+1通道包括从而形成所述深度图像的所述深度信息。从而在所述彩色图像和所述深度图像之间产生精确的局部匹配，即，所述彩色图像的每个图像段(例如一个像素)，其包括关于所述表面的所述反射性质的所述信息，由此具有在传感器中已经直接分配到其的相关的深度信息。
[0027]根据本发明，现在可以与关于所述反射性质的所述信息一起使用所述深度信息，以便识别在所述材料表面上的缺陷，所述缺陷仅被由其诸如裂缝或者压痕的形貌或者拓扑(topology)而区分。这允许形貌的缺陷的可靠探测和分类。特别对于分类的目的，与常规检查系统相比，根据本发明因而明显更多信息是可用的，以便在表面缺陷和伪缺陷之间或者在污迹和形貌缺陷之间达成清晰的分离，并且根据所述表面缺陷的严重度度的程度而将所述表面缺陷分类。
[0028]根据本发明，所述图形可被投影为亮区，优选为具有暗中间空间的线。在这种情况下，从所述三维图像的所述图形部分的所述位置的确定和在所述表面的所述二维图像中的缺陷区域的所述检测可以以特别简单的方式相一致，即，发生在所述相同图像区中。原则上，所述图像区是分离的也当然是可能的，因为在不同于所述图形的所述投影图形的区中，用于照射所述表面的窗口是空白的。这可以通过条纹投影以特别简单的方式来实现，其中除条纹之外的所有光被取消。备选地，在分离的二维图像区中，所述光可不被取消，以便具有用于缺陷区域的所述探测的图像区，其优选地在相对于所述投影图形的所述纵向方向的横向方向上偏移。
[0029]根据本发明，在备选的发展中，所述图形可被投影为暗区，优选为具有亮中间空间的线。在这种情况下，用于表面缺陷的检测的所述图形部分和所述表面的所述二维图像的所述位置被分离地确定，或者可直接彼此相邻或者重叠(用于光暗场表面检查)，因为该暗区被联合使用作为暗场。在这种情况下，投影图形被配置为透明的且具有用于所述投影的变暗图形区，其中，甚至该暗区可以允许一些光透过，以致所述暗区也不位于在所述图像中实现的对比度(contrast)的边缘上，并且包括特定标记。这则可以被用于在反射布置中的表面缺陷的所述检测。
[0030]另外，可通过激光线投影生成所述图形，其中，所述激光投影机，由于所述激光光的足够快的运动，也可以被用于所述二维照射。同样，所述激光束被加宽用于照射，可能通过具有合适光学部件的分束器，以便除所述线投影之外还生成面照射。
[0031]在全部上述变化中，所述照射单元能够生成亮暗场照射。
[0032]根据本发明，若在所述捕获的图像中的所述投影图形和所述照射的表面在围绕投影图形的所述区中包括不同亮度，则是特别优选的，其中，所述投影图形和/或所述照射的表面不位于在由所述面型图像传感器可分辨的所述对比度的所述边缘(边界)上。针对反射可识别的表面缺陷，这允许所述获得的图像的区，即，所述投影图形的区和所述照射的区，按常规被同时评估。出于偏好，所述图形，甚至当被配置为线时，具有面形状，即，所述图形在其最短扩展方向上的所述扩展覆盖在所述运动方向上的所述面型图像传感器和/或所述图像的若干像素。这意味着所述投影线也具有面形状。根据本发明，优选沿着图形和照射的表面的对比度转变产生所述几何形状的评估(用于确定所述深度信息)，在这所述捕获的图像中是容易识别的。优选地，所述图形比所述照射的表面的其余部分更亮。可以通过相对于表面照射单元也是可移动的单独投影单元以特别简单的方式，实现所述亮图形的投影。原则上，使用组合的投影和照射单元也是可能的，例如通过使用恰当的滤波器。
[0033]按照根据本发明所提出的方法进一步发展，进行捕获所述投影图形和所述照射的表面，即，在所述面型图像传感器的相同图像中的被所述照射单元照射的所述对象的所述表面的所述区。以此方式，所述深度分布和表面缺陷的探测可以在相同图像中发生，从而避免用于确定在所述二维图像和所述三维图像之间的几何关系的任何支出，所述二维图像用于表面缺陷的探测并且所述三维图像用于确定图形分布的所述位置，即，确定所述表面的所述深度分布。建立此几何关系也被称为图像配准，由于用于将所述反射信息分配至所述深度信息的几何关系可以不再产生误差，当达到较高准确度时，特别地需要较少计算。通过在相同的照射和相机单元中集成所述强度传感器和所述深度传感器，能够构造低成本且节省空间的传感器，在许多地方特别是在狭窄的装配线中，这一事实开启了用于在要被检查的对象的制造中集成深度传感器的可能性。
[0034]根据本发明，可以进一步以这样的方式进行协调所述图像捕获和所述对象的所述运动:所述对象进给确切地为在所获得的两个连续图片之间的所述面型图像传感器的一个图像线，优选至少在所述投影图形的所述区中，或者在用于位置确定的所述图形的部分中，例如由若干线组成的用于条纹投影的标记的线或者另外的标记的图像区。以此方式，能够实现整个表面的完全的深度分布和用于定位不同表面区的表面的简单标引。一个图像线优选地包括一个像素或者若干邻近像素的高度，这取决于所述所需的分辨率。
[0035]对于图像配准，即，对于确定在用于评估所述反射性质的所述二维图像和用于产生所述深度分布的所述三维图像之间的所述几何关系，现在不发生任何支出，由于在所述面型图像传感器中的所述颜色和所述深度信息已经被像素-精确地彼此关联，其中，像素-精确意味着一个像素或者组合像素的区。其结果是，所述图像配准段在所述数据分析中不再呈现可能的误差源。特别地对于被以此方式而设计的方法，将选择的表面区和多通道图像信息相关联是有道理的，其一个通道包括位置依赖深度信息并且进一步的通道或者若干进一步的通道包括位置依赖颜色信息。从而在所述面型图像传感器中，N+1通道图像是已经可得的，其中，第一通道包含在像素(r，c)处的深度信息T (r，c)，并且其它通道K包含在像素(r，c)处的关于所述表面的位置依赖反射性质RK (r，c)的信息。
[0036]颜色信息，在此背景下，为所述总强度(例如，单色或者灰度图像的总强度)和/或与各单个颜色(彩色图像)关联的所述强度，其中，颜色被理解为从所述总波长谱的波长选择性选择，例如，这除了通常的颜色红、绿、蓝之外，可还包括红外。当使用RGB颜色相机(红、黄、蓝)时，所得到的图像将包括，例如，四通道R、R、G和B(深度、红、绿和蓝)。从而所述第一通道代表如通过本发明所限定的所述深度信息，并且所述其它通道分别代表所述彩色图片的所述谱的红、绿和蓝色部分。如果添加红外通道I，得到包括通道T(深度)、T(红)、G(绿)、B(蓝)和1(红外)的五通道图像。
[0037]根据本发明，所述选择的表面对应于，至少在标记的图像区中，恰好所述面型图像传感器的一个像素或者所述面型图像传感器的若干像素的组合。如上所述，如果所述多通道图像信息已经在所述面型图像传感器中与单个图像区相关联，则是特别有利的，例如，通过在所述面型图像传感器中提供的微处理器用于其控制。这导致在评估期间的协同作用，并且向上述方法和适用于实施此方法的所述装置增加实时能力。
[0038]由于通过用相同的照射和相机单元集成所述颜色和所述深度信息，从而解决了配准问题，不再发生计算成本，也没有任何与彩色图像信息和深度信息的随后的关联相联系的不准确。从一开始，协调的配准信息就是可用的，以致基于此信息的使用连同分析的链，协同作用导致表面的所述检查和表面检查结果的验证，其中利用了此附加的信息。
[0039]本发明进一步涉及根据权利要求11的用于被检查对象表面的检查的装置。根据本发明，此装置配备有用于照射所述表面的照射单元、用于将图形投影到所述表面上的投影单元、用于捕获所述照射的表面的图像和所述投影图形的面型图像传感器、用于作为缺陷异常的表面区的检测的图像分析单元和用于相对于所述面型图像传感器移动所述表面的运输单元，其中，所述照射单元、所述投影单元、所述面型图像传感器和/或所述运输单元被布置用于进行上述方法或其部分。为此，各单元包括微处理器和/或被与适用于运行程序的常规微处理器相连接，该程序是用于进行该方法或其部分。
[0040]本质上，本发明因此由合适的传感器部件和方法的组合组成，该部件用于以传感器进行广泛表面的几何形状和反射性质的同时综合拍摄，该方法用以融合并同时分析所述几何形状和所述反射数据，以便改善自动化支持且全自动化的表面检查系统的缺陷检测和缺陷定位性能。
[0041]在下面示例性实施例的描述和【专利附图】

【附图说明】中，公开了本发明的进一步的特征、优点和可能的应用。所描述和/或图示说明的所有特征，独立地或者以任何组合，形成本发明的主体，独立于其在权利要求中的总结和其参考。

【专利附图】

【附图说明】
[0042]图1示出根据本发明，用于进行所提出的方法的优选实施例的装置的三维示意图；
[0043]图2示出根据第一实施例的获得表面的照片；以及
[0044]图3示出根据本发明，依照所提出的方法的第二特别优选实施例的获得的表面的照片。

【具体实施方式】
[0045]图1示出根据本发明的用于表面3的检查的装置，即，被检查或者要被检查的对象2的至少一个表面3。对象2被布置在运输单元4上，该运输单元4被三维地标定在固定坐标系统5上，通过该运输单元4，具有表面3的对象2被移动或者可以被移动经过相机7的面型图像传感器6。在此过程期间，相机7精确地获取这样的区中的对象2的表面3的照片，在此区中表面3被组合的照射和投影装置8照射，如在图1中通过被示为虚线的照射区9所示。在此照射区9中，一旦已经通过相机7或者通过相机的面型图像传感器6拍摄表面3的照片，表面3的反射性质被评估。
[0046]在示出的实例中，在照射区9中可以看到线10，线10被组合的照射和投影装置8在此区中投影成图形。这意味着还以投影到表面3上的线10的形式获得条纹图形的照片，该表面3要被具有面型图像传感器6的阵相机7扫描，同时对象3被移动经过由相机7以及照射和投影装置8形成的扫描单元。快速获得照片，以在便在两个连续照片中，对象精确按照面型图像传感器6的一个照片行高度(row height)前进。照片行高度正好对应于面型图像传感器6的一个或者若干邻近像素的高度。
[0047]由于相机7以及照射和投影装置8被三维地标定在所标记的坐标系统5上，可以在三角剖分算法的辅助下，在所得到的图像中确定高度分布(profile)，并且在对应于照射区9的特定的图像区中的相同照片中，可以捕获二维图像，在该二维图像中表面异常被探测为缺陷区域。
[0048]在示出的实例中，在一个区中提供投影图形10和照射区9。取决于照射和投影装置8的配置和选择的投影图形，可以单独地和/或通过激光线投影交替地形成这些区。
[0049]在连接到相机的图像分析单元11中评估由面型图像传感器6供应的数据，在该图像分析单元中，由面型图像传感器6所产生的图像可作为用于选定的图像区的N通道图像信息，例如，一个像素或者若干组合的像素。从而对于每个图像区，在本发明的表示法(notat1n)中的深度信息和包括红外性质的各自的反射性质均可以作为多通道图像信息。
[0050]由面型图像传感器7供应的这些原始数据，即，在以可靠地定位和分类表面异常为目标的所谓的初步处理中的第一处理步骤中，表征和准备反射信息和深度信息。这特别地包括关于信号质量的参数的评价，用于图像恢复和图像改进的处理的应用，例如测量噪声的抑制或者对比度突显或者和任何俘获的透视图像的修正。
[0051]已知的表面检查系统仅存取彩色图像本身的信息，而本发明利用在颜色通道和深度通道之间的内涵(connotat1n)用于数据准备。例如，使用关于用于颜色通道的亮度校正的源自深度图像的局部表面倾斜的信息补偿由倾斜导致的强度变化。使用源自深度图的彩色图像的基准变化用于修正彩色图像，并且使用源自深度图的表面曲率用于构建用于彩色图像的重构的平滑滤波器(smoothing filter)。进而利用彩色图像本身用于产生关于表面异常的位置和取向的假设，以便平滑深度图。
[0052]图2示出由相机7的面型图像传感器6所获得的照片，其代表表面3的照射区9，SP，包括由若干平行线组成的图形10的投影的被照射的表面3。对于平面表面3，图形10的线在图像中也将是平行的。图形10的线的变形是其为表面3中的深度结构的指示，并且其也要根据本发明而评估。在图2中，图形10的线被形成为在表面3的照射区9中的暗窄区，这使得深度信息非常清楚。然而，在图像中位于图像的对比度区(contrast area)的暗边缘处并且其中几乎没有任何结构可识别的暗条纹的区中，几乎没有任何可通过反射而捕获的表面缺陷可以被识别。
[0053]这就是为什么提供在图3中所示的尤其优选的实施例，其中，在获得的照片中的投影图形10和被照射的表面3包括不同的亮度，其中，投影图形10和/或被照射的表面3不位于由面型图像传感器6可分辨的对比度的边缘处。这里图形10的线可以被识别为甚至比照射的表面更亮的条纹。此外，线被以面的形式示为宽条纹，在这个意义上，它们被面型图像传感器6呈现为若干像素。在此布置中，在面型图像传感器6的相同图像中的图形10的区中能识别可反射地识别的缺陷，这也被用于确定深度信息。深度信息的评估优选地沿着从被照射的表面3至图形10的线的对比度过渡进行。
[0054]根据本发明，在此布置中的图形10的条纹当然也可以比被照射的表面3更暗。
[0055]在称为检测的第二评估步骤中，根据本发明提出的系统利用深度信息连同反射信息以用于定位表面异常。使用新检测算法，其从用于该环境的颜色和深度信息导出表面特性的均匀组(在局部窗口中均匀)，例如缺陷深度、缺陷体积(volume)、曲率值。基于这些特性，通过二元决策方法做出决策，是否局部邻近信号图形被视为缺陷。决策方法是适应性的，即，其这样适应于信号特性:它链接所施加的决策规则例如与测量以用于表征信号质量。此外，使用检测算法用于通过标记形状定位表面异常，例如，点状或者线状异常，并且这些算法寻找在深度图像中的点或者线结构。为此使用表面曲率测量，该测量源自深度图像。
[0056]在被称为分割的进一步评估步骤中，使用深度信息连同反射信息用于分割表面异常。使用新分割方法用于三维配准的(registered)彩色图像，该方法是适应性的，即，其这样适应于信号特性:它链接所施加的决策规则例如与测量，以用于表征信号质量。
[0057]在被称为特征提取的进一步评估步骤中，根据本发明提出的方法，通过源自深度图像的表面的进一步特征，从彩色图像的分析(强度图像)补充所使用的特征空间。为此，对于组合的颜色和深度图像，初始地从彩色图像分析(强度图像)再次导出已知的所有特征，从而加倍总数。此外，从深度图像确定基于深度图像的特定性质的进一步特征，例如缺陷体积或者缺陷表面和缺陷高度之间的比率。另外，生成选择性链接彩色图像(强度图像)的信息与深度图像的信息的特征，例如，用图像亮度加权的缺陷的高度提升的变化。
[0058]表面缺陷的分类是基于上面解释的扩展的特征向量，其中可有300以及更多的缺陷的性质。由于这些特征的众多，使用选择性分类方法，其进行特征检测和/或特征空间的正交。
[0059]当定位缺陷时，本发明利用深度信息与准确度以用于改善精确度，这样，确定关于检查对象的边缘的表面异常的位置。通过集成深度信息和用于检测和定位材料边缘的方法，达到初始改善。而对于常规的表面检查，仅利用颜色信息，并且支持边缘识别作为在图像中材料边缘的表现的模型，可以使用弱的多的假设和较大可靠性地，更直接地从深度图像导出材料边缘。同样地，背景的性质对材料边缘的位置的确定几乎没有任何的影响。
[0060]特定表面缺陷的特征在于，它们由一组单个事件(events)组成。对于这样的缺陷，单个事件必须被团聚，以使用合适的方法形成主缺陷。这被在用于缺陷团聚的评估步骤中进行。本发明使用深度信息，以便总结具有相同深度分布和相同缺陷种类的邻近的异常，从而形成主缺陷。
[0061]除了在检查性能中通过上述特征达到的改善之外，根据本发明所提出的方法和装置还开拓了自动表面检查的应用的新领域，这直到现在对于常规的表面检查系统都是遥不可及的。根据本发明的这些新应用指的是，例如，测量平整度和厚度，测量三维材料结构，测量粗糙度和孔隙度，包括测量压花深度、压花特征的自动读取、测量压花深度的构图表面(例如金属片)的三维检查、三维焊缝检查，同时的表面和形式检查(例如，轨检查)和/或周期性出现的材料厚度波动的识别。
[0062]连同新获得的深度信息，也得到在工艺检验和工艺控制中用于对象的制造方法的这样的新可能性:例如，关于宽度和深度的选择性材料加工、取决于表面分布的选择性轧制压力控制和/或选择性修饰(varnish)和/或取决于表面粗糙度的填充物施加。
[0063]此外，本发明提供这样的可能性:以三维表示清楚地向人类观察者描绘了表面缺陷。只有通过接触或者所谓的手指试验而被检查人员注意到的缺陷，现在可以以三维表示而清楚地可视化。这简化了检查结果的评估。
[0064]参考符号:
[0065]I用于要被检查的对象的表面检查的装置
[0066]2要被检查的对象
[0067]3 表面
[0068]4运输单元
[0069]5坐标系统
[0070]6面型图像传感器
[0071]7 相机
[0072]8照射和投影装置
[0073]9照射的区
[0074]10图形、线
[0075]11图像分析单元
【权利要求】
1.一种用于检查被检查对象(2)的表面(3)的方法，其中，所述表面(3)被至少一个照射单元(8)照射并且被至少一个面型图像传感器(6)捕获，其中，捕获的图像被发送至图像分析单元(11),所述图像分析单元(11)被配置为在检测中将表面异常确定为缺陷区以及，若需要，将所述缺陷区相对于彼此或者相对于图像背景以分割的形式定界，以在区域分析中总结属于一起的缺陷区和/或在特征提取中从缺陷区或者缺陷区域导出特性缺陷，其中，将所述面型图像传感器(6)三维地标定到选择的坐标系统(5)上，并且相对于所述面型图像传感器(6)移动具有所述表面(3)的所述被检查对象(2),其特征在于，通过被三维地标定到所述选择的坐标系统(5)上的投影单元(8),将图形(10)投影到所述对象(2)的所述表面(3)的区上，通过所述面型图像传感器(6)捕获所述区，并且在于，在所述选择的坐标系统中，确定在所述对象(2)的所述表面(3)上的投影图形(10)的限定的图形部分的位置。
2.根据权利要求1所述的方法，其特征在于，从所述图形部分的所述位置确定所述表面⑶的深度分布。
3.根据权利要求1或2所述的方法，其特征在于，投影的所述图形(10)为线图形或者条纹图形。
4.根据上述权利要求中任一项的方法，其特征在于，所述图形(10)被投影为具有暗中间空间的亮区。
5.根据权利要求1至3中任一项的方法，其特征在于，所述图形(10)被投影为具有亮中间空间的暗区。
6.根据权利要求1至3中任一项的方法，其特征在于，用激光线投影生成所述图形(陳
7.根据上述权利要求中任一项的方法，其特征在于，在所述捕获的图像中的投影图形(10)和照射的表面(3)包括不同亮度，其中，所述投影图形(10)和/或所述照射的表面(3)不位于在由所述面型图像传感器(6)可分辨的对比度的边界上。
8.根据上述权利要求中任一项的方法，其特征在于，捕获所述投影图形(10)和捕获所述照射的表面(3)发生在所述面型图像传感器(6)的相同图像中。
9.根据上述权利要求中任一项的方法，其特征在于，捕获所述图像和移动所述对象(2)被以这样的方式协调，在两个连续捕获之间的对象进给确切地为所述面型图像传感器(6)的一个图像线。
10.根据上述权利要求中任一项的方法，其特征在于，选择的表面区具有与其关联的多通道图像信息，其中，一个通道包括位置依赖深度信息，并且一个进一步的通道或者若干进一步的通道包括位置依赖颜色信息。
11.根据权利要求所述的方法10，其特征在于，早在所述面型图像传感器￠)中，就发生所述多通道图像信息的关联。
12.一种用于检查被检查对象(2)的表面(3)的装置，其具有用于照射所述表面(3)的照射装置(8)、用于将图形(10)投影到所述表面(3)上的投影单元(8)、用于捕获照射的表面⑶和投影图形(10)的照片的面型图像传感器(6)、用于检测作为缺陷异常的表面区的图像分析单元(11)和用于相对于所述面型图像传感器(6)移动所述表面⑶的运输单元(4),其特征在于，所述照射装置(8)、所述投影单元(8)、所述面型图像传感器￠)、所述图像分析单元(11)和/或所述运输单元(4)被布置为用于实施根据权利要求1至11中一项所述的方法。
【文档编号】G01B11/30GK104508423SQ201380026084
【公开日】2015年4月8日 申请日期:2013年5月14日 优先权日:2012年5月16日
【发明者】M·陆森, J·埃尔克斯莱本 申请人:伊斯拉视像系统股份公司