使用基于模型的峰值选择的三维轮廓确定系统及方法与流程

本发明涉及使用一个或多个三维(3d，three-dimensional)视觉系统相机(也称为“位移传感器(displacementsensor)”或“轮廓仪(profilers)”)的视觉系统，更具体涉及在对象表面确定3d(高度)轮廓。

背景技术：

在制造和组装过程中，通常希望分析对象表面以确定特征和/或不规则性等性质。可以使用激光位移传感器(也称为激光束“轮廓仪”)形式的机器视觉系统(在此也称为“视觉系统”)确定对象表面的位移(或“轮廓”)。激光位移传感器使用平面帘幕或“扇形”的激光束捕获并确定扫描对象表面的(三维)轮廓。在传统的布置中，视觉系统相机组件定向成从平面外部观察光束的平面。由于光束平面和相机之间的基线(即，沿y轴的相对间距)使得成像线以成像点(沿图像x轴)的物理z轴高度的函数在图像y轴方向上变化，从而使得该布置捕获在对象表面上的投影线的轮廓(例如，沿物理x轴延伸)。该偏差表示使用位移传感器内的适当校准参数从各个图像点的x-y位置导出的在x-z平面中的表面轮廓。激光位移传感器可广泛用于使用者希望通过三角测量对扫描对象的表面细节进行测量和表征的检查和制造操作。典型的激光位移传感器使用可基于ccd或cmos设计的具有镜头组件和图像传感器(或“成像器”)的视觉系统相机。成像器在通过镜头/光学器件接收来自成像场景的聚焦光的图像平面上定义灰度或颜色感测像素的预定场。

在特定视觉系统实现中，将多个位移传感器(例如，激光轮廓仪)搭载在一起从而扩展视觉系统的整个视场(fov)(其中术语“视场”指的是测量范围)，由此，以足够的分辨率对对象的所期待的区域(例如，全宽)进行完全成像。

在由具有不同光学性质的材料制成和/或具有可引起内部反射的结构化表面的有用对象(objectofinterest)的表面上读取投影线具有挑战性。例如，表面可包括具有不同反射的不透明区域、反射区域、半透明/透明区域或其组合，还可能根据相对角度产生内部反射。前一种情况的挑战性在于无法选择单个曝光设置来适应所有材料，后一种情况的挑战性在于内部反射会使位移传感器对实际轮廓产生混淆。

技术实现要素：

为克服现有技术的缺陷，本发明提供一种以离散间隔的方式施加多个曝光水平从而分析表面，并从由此生成的峰值范围中选择正确的轮廓的系统和方法。通过与模型轮廓进行比较将峰值信息的云确定为最佳候选，以表示对象轮廓的精确代表。

在说明性实施例中，提供了一种用于确定对象表面的轮廓的系统和方法，包括在表面上投射照射线并在传感器组件以设定的曝光水平接收反射光的位移传感器。处理器用于改变设定为多个离散增量的所述曝光水平，并且为每个所述增量存储所述反射光的图像。确定过程对存储的图像进行组合,并相对于模型图像对准组合图像。基于与所述模型图像的接近度选择所述组合图像的点，以提供所述表面的候选轮廓。说明性地，所述曝光水平包括激光强度水平、增益、曝光时间及光圈。所述表面至少部分地限定反射性和半透明性中的至少一个。所述组合图像中的点沿x维度组成为列，并沿z维度按照强度进行加权。可以基于根据预设的统计技术布置的二维核对所述点进行加权。例如，所述二维核包括高斯核、序列或均匀核、三角核、双权核和epanechnikov核中的至少一个。基于与所述模型图像中的对应点的接近度，为候选轮廓选择每列中的点。所述模型图像基于对象表面的实际图像或(例如cad)合成生成的轮廓。说明性地，峰值点检测(选择)参数可以包括由所述传感器组件在所述表面上观察到的对比度阈值、强度阈值和所述照射线的宽度中的至少一个。

附图说明

下面，参考附图对本发明进行说明。

图1是显示根据说明性实施例的获取对象图像并在多个曝光水平处理图像数据的整体视觉系统布置的附图；

图2是对象表面的示例性图像，其显示在第一曝光水平的处于部分过度曝光状态的位移传感器的照射线；

图3是图2的对象表面的示例性图像，其显示不期待的内部反射为可见的第二曝光水平下的位移传感器的照射线；

图4是显示根据说明性实施例的图像获取过程和轮廓确定过程的流程图；

图5是显示图4的获取过程和确定过程的更详细的流程图；

图6是显示图2的对象表面的示例性图像，其显示根据高斯核对点进行加权，并将x轴作为水平轴，z轴作为垂直轴的合成图像的生成；以及

图7是显示图2的对象表面的示例性图像，其显示基于合成图像和对准的模型数据确定的轮廓线。

具体实施方式

参考图1，图1示出了根据说明性实施例的用于确定示例性的有用对象(objectofinterest)110的轮廓的整体视觉系统装置100。布置100是多种可实现实施例的示例。作为非限制性示例，位移传感器120在其上的适当位置测量对象的表面112。该示例中的位移传感器120包括照明源122，该照明源122用于投射在表面112上定义线的扇形124的可见或几乎可见的激光束(例如使用适当的光学组件)。任意3d坐标集116(例如笛卡尔坐标，x，y和z轴)具有沿x轴延伸的线。包括图像传感器127和光学器件129的相机组件128定向成在相对于扇形124的平面的锐角θ(以由虚线示出的中心线125表示)限定光轴oa。该角度θ使得线在2d传感器中以z高度的函数沿着y轴的偏移进行显示。对位移传感器120进行校准使得在其传输的图像数据130中沿y方向的变化表示特定z高度的特定变化。

可将图像数据130提供至可以与位移传感器的壳体集成的视觉系统过程(处理器)140，或者可以在例如具有用户界面(键盘152、鼠标154和显示器/触摸屏156)的图示的pc的计算设备150上完全或部分地实例化。该pc是包括定制处理器(例如，fpga)和其他通用计算设备(例如笔记本电脑、平板电脑、智能手机等)的各种处理设备的示例。处理器包括由适当的操作系统处理的多个功能模块或过程/处理器。例如，分别通过处理模块142和144提供对激光器122和传感器组件128的控制132(例如开/关/强度)。处理器140还包括各种用于识别图像中的特征并帮助将运行时图像数据与存储的模板或模型数据147对准的视觉系统工具146(例如边缘检测器、斑点分析器(blobanalyzers)、对比度工具等)。过程(处理器)140包括确定图像数据得到对准的最接近的轮廓候选的广义轮廓确定模块149。

可选地，根据块160，将候选轮廓提供给下游处理应用和/或设备。例如，轮廓信息可用于确定对象的缺陷、质量或类型。

参考图2，示出了具有投射的照射线220(例如，可见激光)的对象210的示例性图像200。注意，当前曝光水平使得对象210的左区域(箭头230)中的线220看起来比对象210的右区域(箭头240)得到更多曝光。因此，左区域230需要的曝光水平低于右区域240，以实现总体可接受的3d轮廓图像(即，具有清晰一致的线)。图像的其他部分可受益于曝光水平的进一步差异。通常，设置单一曝光水平来提供整体所期待的线反射是不切实际的。因此，当向相同对象210施加较低曝光水平时(如图2中所示)，如图3的图像300示出了相对均匀的轮廓线。然而，低曝光水平的图像300还显示出由箭头310表示的模糊斑点。这些斑点310现在在图像300中相对突出，并且由内部反射引起。在分析轮廓时，这些斑点310将使位移传感器处理器出现混乱而表现出第二(假)轮廓。

参考图4，图4示出了用于确定对象表面的高质量轮廓的总体上的大致过程400。在步骤410中，该过程设置初始曝光水平并获取图像。本文所定义的术语“曝光水平”是指实质上限定撞击图像传感器(图1中的127)的光(光子)的量的一个或多个可变(可控)特性/参数。作为非限制性示例，这些特性/参数可以包括(快门)曝光时间(例如，微秒)、增益、镜头光圈、激光线强度和线波长。如下所述，位移传感器的内部校准过程将线的y轴位移转换为z轴高度值。对于给定的曝光水平，在步骤420中，过程400检测z轴峰值和相关联的元数据(metadata)，并将该信息存储为图像数据。在判定步骤430中，过程400确定是否存在要提供的下一个曝光水平、强度和/或其他检测参数组合，如果是，则在位移传感器(或者外部发光器等)的硬件/软件中递增该下一水平，并重复步骤410和420。使用所有曝光水平、强度和/或检测参数组合来获取对象表面的图像，并存储峰值图像。接着，判定步骤430分支到步骤440，在步骤440中，利用所存储的数据点生成整体x-z图像。在步骤450中，将该图像与存储的模型轮廓进行比较，并且在步骤460中选择定义最佳轮廓候选的峰值。然后在步骤470中，过程400输出候选。通过链路将候选传输到处理系统，从而候选可以通过下游过程用于各种制造、检查和其他任务。

参考图5，示出了更详细的在不同的曝光水平下获取(例如)静态对象表面的图像(图4中的步骤410至430)的过程500，该过程产生“合成的”2d图像。在步骤510中，将所有轮廓图像中的所有列的所有强度峰值位置收集到大小为n的峰值集合p中，并且使用位移传感器的校准参数将p中的n个峰值变换为实际x-z空间中的大小为n的2d点p'的集合(步骤520)。参考图6中的合成图像600，图6示出了针对上述示例性对象表面210的p'中的所有点的2d图。请注意，图像显示为覆盖对于每个(水平)x位置的(垂直)z位置范围的点的“云”。在合成图像600内，水平轴为x轴，垂直轴为z轴，过程500(步骤530)对于集合p'中的每个点p累加具有加权值(利用集合p中的相应峰值的强度值的函数计算)的例如高斯核的二维核(2dkernel)。注意，除了高斯分布之外，还可以使用各种统计方法来产生加权的二维核(例如，互相关(cross-correlation)等)。还要注意，高斯核是各种内核类型的示例，内核类型还包括序列或均匀核(steporuniformkernel)、三角核(trianglekernel)、双权核(biweightkernel)、epanechnikov核和/或其他适当的统计方法。

接着在过程步骤540中使用适当的视觉系统对准工具将该加权的合成图像对准至模型轮廓数据。更具体地，该过程通过将2d合成图像相对于模型对准来重建对象表面的3d轮廓，该模型可以基于模型对象表面的得到训练(获取)的图像和/或可以使用(例如)cad系统合成来实现定义。在步骤550中，对于每列(x位置)，该过程在集合p'中选择在相同的x坐标上，在x上最接近对准模型的点p。然后，在步骤560中，该过程收集在步骤550中选择的所有p，并且所收集的集合是重建的3d轮廓。

通过过程400和500，可以描绘具有明确定义的峰值集合710的示例性图像700。这些真实峰值存储为表面的轮廓候选。在各种实施例中，过程生成多个可能的重建轮廓，并存储多于一个候选。然而，模型数据与获取的运行时图像数据的对准将倾向于避免多种可能的轮廓。由于缺陷会产生可能不与任何模型数据相匹配的区域，因此检查中(运行时)表面从模型的变化缺陷可能允许多个轮廓。

可以设想，用户界面可以包括各种功能，这些功能根据对象表面的性质指定要控制的参数类型(或参数组合)。例如，一些表面可以通过改变传感器增益更有效地进行成像，而另一些表面可以通过改变传感器曝光时间更有效地进行成像。

应该清楚的是，上述系统和方法给位移传感器提供了一种在生成轮廓时能够考虑不适应单个曝光水平的对象表面(例如，刻面、镜面和/或透明/半透明表面)的有效方法。该系统和方法允许在传感器和周围环境中控制各种参数环境，并能适应各种表面类型。

前文已详细描述了本发明的说明性的实施例。在不脱离本发明的思想和范围的情况下可进行各种修改和增加。为提供多种与新的实施例相关的结合特征，上述各种实施例中的每一个实施例的特征可适当地与其他实施例的特征相结合。此外，虽然前文描述了一些本发明的设备和方法的单独的实施例，但本文的描述仅仅是对本发明原理的应用的说明。例如，本文使用的各种方向性和定向性的术语(及其语法上的变形)，如“垂直”、“水平”、“上”、“下”、“底”、“顶”、“侧”、“前”、“后”、“左”、“右”等，只适用于相对情况，不作为关于固定坐标空间的绝对方位/定向，如重力作用方向。另外，关于给定的度量、值或特征使用术语“实质上”或者“大约”时，是指实现所期望结果的正常操作范围内的量，除此之外，包括由于系统允许公差(例如1-2％)的固有误差和错误的一些变化。还应注意，此处所使用的术语“过程(process)”和/或“处理器(process)”应广义地包括各种基于电子硬件和/或软件的功能和组件。此外，过程或处理器能够与其他过程和/或处理器组合或分为多个子过程或处理器。根据此处的实施例可对这种子过程和/或子处理器进行各种不同的组合。同样地，可明确设想到，本文的任何功能、过程和/或处理器能够利用电子硬件、软件或硬件和软件的结合实施，这些软件包括过程指令的非暂时计算机可读的媒介。因此，本说明仅仅起示例性作用，并不旨在限制本发明的范围。