用于测量表面的三维结构的方法和设备的制作方法
【专利摘要】本发明公开了一种方法，所述方法包括使用至少一个成像传感器来对表面进行成像，其中表面和成像传感器处于相对平移运动中。成像传感器包括透镜，所述透镜具有相对于表面坐标系的x-y平面以非零角度对准的焦平面。将表面的图像序列进行配准并且沿相机坐标系的z方向进行堆叠以形成体。确定体中的每个(x,y)位置的聚焦锐度值，其中(x,y)位置位于与相机坐标系的z方向垂直的平面中。利用聚焦锐度值，确定体中的每个(x,y)位置沿相机坐标系中的z方向的最大聚焦深度zm，并且可基于最大聚焦深度zm来确定表面上的每个点的三维位置。
【专利说明】用于测量表面的三维结构的方法和设备
[0001]相关申请的交叉引用
[0002]本申请要求2012年I月31日提交的美国临时申请N0.61/593，197的权益，该临时申请的公开内容全文以引用方式并入本文。
【技术领域】
[0003]本发明涉及用于确定表面的三维结构的方法和光学检测设备。在另一方面，本公开涉及材料检测系统，例如用于检测材料幅材移动的计算机化系统。
【背景技术】
[0004]当在生产线上制造产品时，已使用在线测量和检测系统来连续地监测产品质量。检测系统可提供实时反馈，以使操作员能够快速地识别有缺陷产品并且评价工艺变量变化的影响。还已使用基于成像的检测系统来监测通过制造工艺进行的已制造产品的质量。
[0005]检测系统使用诸如CCD或CMOS相机之类的传感器来捕获产品材料的选定部分的数字图像。检测系统中的处理器应用算法来快速地评价材料样本的捕获的数字图像，以确定样本或其选定区域是否适于无缺陷地出售给顾客。
[0006]在线检测系统可分析制造工艺中的幅材材料的移动表面的二维(2D)图像特征，并且可检测例如相对大级别的不均匀的因素，例如化妆点缺陷和条痕。诸如三角点传感器之类的其他技术可在生产线速度下实现微米级的表面结构的深度分辨率，但仅覆盖幅材表面上的单个点(因为它们为点传感器)，并且由此提供出有关表面特征的极其有限数量的可用三维(3D)信息。诸如激光线三角系统之类的其他技术可在生产线速度下实现幅材表面的全3D覆盖，但具有低空间分辨率，并且由此仅可用于监测大级别表面偏差，例如幅材卷曲和浮置。
[0007]诸如激光轮廓法、干涉测量法和3D显微镜法(基于对焦深度法(DFF))之类的3D检测技术已用于表面分析。DFF表面分析系统使用具有窄视野深度的相机和透镜来对物体进行成像。当物体保持静止时，相机和透镜在沿z轴(即，平行于透镜的光轴)的不同位置上的进行深度扫描，由此捕获每个位置处的图像。当相机通过多个z轴位置进行扫描时，物体表面上的点聚焦在不同的图像切片处，这取决于其在表面上方的高度。使用这种信息，可相对精确地估计物体表面的3D结构。
【发明内容】
[0008]在一个方面，本公开涉及一种方法，所述方法包括使用至少一个成像传感器来对表面进行成像，其中表面和成像传感器处于相对平移运动中，并且其中传感器包括具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面的透镜；配准表面的图像序列?’沿着相机坐标系中的z方向来堆叠配准的图像以形成体；确定体中的每个(x，y)位置的聚焦锐度值，其中(X，y)位置位于与相机坐标系中的z方向垂直的平面中；使用聚焦锐度值来确定体中的每个(X，y)位置沿相机坐标系中的z方向的最大聚焦深度Zm;以及基于最大聚焦深度Zm来确定表面上的每个点的三维位置。
[0009]在另一方面，本公开涉及一种方法，所述方法包括使用成像传感器来捕获表面的图像序列，其中表面和成像传感器处于相对平移运动中，并且其中成像传感器包括具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面的远心透镜；在序列中的每个图像中对准表面上的基准点以形成配准的图像序列；沿着相机坐标系中的z方向来堆叠配准的图像序列以形成体，其中配准的图像序列中的每个图像包括体中的层；计算体内的每个像素的聚焦锐度值，其中像素位于与相机坐标系中的z方向垂直的平面中；基于聚焦锐度值来计算体内的每个像素的最大聚焦深度值zm;基于最大聚焦深度\来确定表面上的每个点的三维位置；以及基于三维点位置来构造表面的三维模型。
[0010]在另一方面，本公开涉及一种设备，所述设备包括具有远心透镜的成像传感器，其中透镜具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面，其中表面和成像传感器处于相对平移运动中，并且其中传感器对表面进行成像以形成其图像序列；处理器，所述处理器:在序列中的每个图像中对准表面上的基准点以形成配准的图像序列；沿着相机坐标系中的z方向来堆叠配准的图像序列以形成体，其中配准的图像序列中的每个图像包括体中的层；计算体内的每个像素的聚焦锐度值，其中像素位于与相机坐标系中的Z方向垂直的平面中；基于聚焦锐度值来计算体内的每个像素的最大聚焦深度值Zm ;基于最大聚焦深度Zm来确定表面上的每个点的三维位置；以及基于三维位置来构造表面的三维模型。
[0011]在另一方面，本公开涉及一种方法，所述方法包括相对于移动的幅材材料以非零视角定位静止成像传感器，其中成像传感器包括远心透镜以对移动幅材的表面进行成像并且形成其图像序列；处理所述图像序列以:配准图像；沿着相机坐标系中的Z方向来堆叠配准的图像以形成体；确定体中的每个(x，y)位置的聚焦锐度值，其中(x，y)位置位于与相机坐标系中的z方向垂直的平面中；确定体中的每个(X，y)位置沿相机坐标系中的z方向的最大聚焦深度Zm ；以及基于最大聚焦深度Zm来确定移动幅材的表面上的每个点的三维位置。
[0012]在另一方面，本公开涉及一种用于实时检测幅材材料的移动表面并且计算表面的三维模型的方法，所述方法包括使用静止传感器来捕获表面的图像序列，其中成像传感器包括相机和具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面的远心透镜；在序列中的每个图像中对准表面上的基准点以形成配准的图像序列；沿着相机坐标系中的z方向来堆叠配准的图像序列以形成体，其中配准的图像序列中的每个图像包括体中的层；计算体内的每个像素的聚焦锐度值，其中像素位于与相机坐标系中的Z方向垂直的平面中；基于聚焦锐度值来计算体内的每个像素的最大聚焦深度值Zm ;基于最大聚焦深度\来确定表面上的每个点的三维位置；以及基于三维位置来构造表面的三维模型。
[0013]在另一方面，本公开涉及一种用于实时检测幅材材料的在线计算机化检测系统，所述系统包括静止成像传感器，所述静止成像传感器包括相机和远心透镜，其中透镜具有相对于移动表面的平面以非零视角对准的焦平面，并且其中传感器对表面进行成像以形成其图像序列；处理器，所述处理器:在序列中的每个图像中对准表面上的基准点以形成配准的图像序列；沿着相机坐标系中的z方向来堆叠配准的图像序列以形成体，其中配准的图像序列中的每个图像包括体中的层；计算体内的每个像素的聚焦锐度值，其中像素位于与相机坐标系中的Z方向垂直的平面中；基于聚焦锐度值来计算体内的每个像素的最大聚焦深度值Zm ;基于最大聚焦深度Zm来确定表面上的每个点的三维位置；以及基于三维位置来构造表面的三维模型。
[0014]在另一方面，本发明涉及一种非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括软件指令，所述软件指令用于使计算机处理器:使用在线计算机化检测系统来接收幅材材料的移动表面的图像序列，其中使用包括相机和远心透镜的静止成像传感器来捕获图像序列，所述远心透镜具有相对于表面坐标系的x-y平面以非零视角对准的焦平面；在序列中的每个图像中对准表面上的基准点以形成配准的图像序列；沿着相机坐标系中的z方向来堆叠配准的图像序列以形成体，其中配准的图像序列中的每个图像包括体中的层；计算体内的每个像素的聚焦锐度值，其中像素位于与相机坐标系中的Z方向垂直的平面中；基于聚焦锐度值来计算体内的每个像素的最大聚焦深度值Zm ;基于最大聚焦深度Zm来确定表面上的每个点的三维位置；以及基于三维位置来构造表面的三维模型。
[0015]在另一方面，本公开涉及一种方法，所述方法包括相对于表面来平移成像传感器，其中所述传感器包括具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面的透镜；使用成像传感器来对表面进行成像以采集图像序列；对表面上的点的三维位置进行估计以提供代表表面的一组三维点；以及处理所述一组三维点以在选定的坐标系中产生表面的范围图。
[0016]在另一方面，本公开涉及一种方法，所述方法包括:(a)使用至少一个成像传感器来对表面进行成像以采集图像序列，其中表面和成像传感器处于相对平移运动中，并且其中传感器包括透镜，所述透镜具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面；(b)确定图像序列中的最后图像中的每个像素的聚焦锐度值；(c)计算表面坐标系中的I坐标，焦平面与I轴在I坐标处相交；(d)基于最后图像中的表面的表观移位来确定表面上的过渡点，其中过渡点在最后图像中已离开透镜的视野，但在最后图像之前的序列中的图像中处于透镜的视野中；(e)确定表面上的所有过渡点在相机坐标系中的三维位置；(f)对于由成像传感器采集的每个新图像重复步骤(a)至(f);以及(g)累积来自序列中的图像的过渡点在相机坐标系中的三维位置以形成代表平移表面的点云。
[0017]在另一实施例中，本公开涉及一种设备，所述设备包括具有透镜的成像传感器，所述透镜包括具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面，其中表面和成像传感器处于相对平移运动中，并且其中传感器对表面进行成像以形成其图像序列；处理器，所述处理器包括:(a)确定图像序列中的最后图像中的每个像素的聚焦锐度值；(b)计算表面坐标系中的y坐标，焦平面与y轴在y坐标处相交；(C)基于最后图像中的表面的表观移位来确定表面上的过渡点，其中过渡点在最后图像中已离开透镜的视野，但在最后图像之前的序列中的图像中处于透镜的视野中；(d)确定表面上的所有过渡点在相机坐标系中的三维位置；(e)对于由成像传感器采集的每个新图像重复步骤(a)至⑷；以及(f)累积来自序列中的图像的过渡点在相机坐标系中的三维位置以形成代表平移表面的点云。
[0018]在另一方面，本公开涉及一种用于实时检测幅材材料的在线计算机化检测系统，所述系统包括静止成像传感器，所述静止成像传感器包括相机和远心透镜，其中透镜具有相对于移动表面的x-y平面以非零视角对准的焦平面，并且其中传感器对表面进行成像以形成其图像序列；处理器，所述处理器包括:(a)确定图像序列中的最后图像中的每个像素的聚焦锐度值；(b)计算表面坐标系中的y坐标，焦平面与y轴在y坐标处相交；(C)基于最后图像中的表面的表观移位来确定表面上的过渡点，其中过渡点在最后图像中已离开透镜的视野，但在最后图像之前的序列中的图像中处于透镜的视野中；(d)确定表面上的所有过渡点在相机坐标系中的三维位置；(e)对于由成像传感器采集的每个新图像重复步骤(a)至(d);以及(f)累积来自序列中的图像的过渡点在相机坐标系中的三维位置以形成代表平移表面的点云。
[0019]在另一个方面，本公开涉及一种包括软件指令的非瞬时性计算机可读介质，所述软件指令用于使计算机处理器:(a)使用在线计算机化检测系统来接收幅材材料的移动表面的图像序列，其中使用包括相机和远心透镜的静止成像传感器来捕获图像序列，所述远心透镜具有相对于表面坐标系的x-y平面以非零视角对准的焦平面；(b)确定图像序列中的最后图像中的每个像素的聚焦锐度值；(c)计算表面坐标系中的y坐标，焦平面与y轴在y坐标处相交；(d)基于最后图像中的表面的表观移位来确定表面上的过渡点，其中过渡点在最后图像中已离开透镜的视野，但在最后图像之前的序列中的图像中处于透镜的视野中；(e)确定表面上的所有过渡点在相机坐标系中的三维位置；(f)对于由成像传感器采集的每个新图像重复步骤(a)至(e);以及(g)累积来自序列中的图像的过渡点在相机坐标系中的三维位置以形成代表平移表面的点云。
[0020]本发明的一个或多个实施例的细节在附图和以下【具体实施方式】中说明。通过【具体实施方式】和附图以及权利要求书，本发明的其他特征、目标和优点将显而易见。
【专利附图】
【附图说明】
[0021]图1为光学检测设备的示意图。
[0022]图2为示出使用图1的设备来确定表面的结构的方法的流程图。
[0023]图3为示出使用图1的设备来确定表面的结构的另一个方法的流程图。
[0024]图4为示出用于处理从图3获得的点云以产生表面的图的方法的流程图。
[0025]图5为示例性幅材制造厂中的检测系统的示例性实施例的示意性框图。
[0026]图6为通过实例I中的光学检测设备获得的三个图像的照片。
[0027]图7A-7C为通过实例I中的光学检测设备确定的样本的表面的三个不同视图。
[0028]图8A-C分别为如实例3所述的使用图1的设备分别在22.3。,38.1。和46.5。的视角Θ下形成的表面重建图。
[0029]图9A-C分别为如实例3所述的使用图1的设备分别在22.3。,38.1。和46.5。的视角Θ下形成的表面重建图。
【具体实施方式】
[0030]现有的表面检测系统还不能提供有关表面的3D表面结构的可用在线信息，这是因为其受到分辨率、速度、或视野方面的限制。本公开涉及包括静止传感器的在线检测系统，并且与DFF系统不同，不需要传感器的成像透镜的焦平面的平移。相反，描述于本公开中的系统利用表面的平移运动来使表面上的点自动地穿过各个焦平面以快速地提供表面的3D模型，并且由此可用于在线检测应用，其中当在生产线上处理幅材材料时对其进行连续地监测。
[0031]图1为用于对材料12的表面14进行成像的传感器系统10的示意图。相对于至少一个成像传感器系统18来平移表面14。使用成像传感器系统18 (其在图1中为静止的)来对表面14进行成像，但在其他实施例中，传感器系统18可处于运动状态而表面14保持静止。为了进一步阐明下面的论述，假设成像传感器系统18和表面14的相对运动还在彼此之间的相对运动中产生两个坐标系。例如，如图1所示，成像传感器系统18可相对于相机坐标系来进行描述，其中z方向z。与CCD或CMOS相机22的透镜20的光轴对准。再次参见图1，表面14可相对于表面坐标系来进行描述,其中轴Zs为高出表面的高度。
[0032]在图1所示的实施例中，表面14在沿方向73的箭头A的方向上以已知的速度移向成像传感器系统18，并且包括具有三维(3D)结构的多个特征16(沿着％方向延伸)。然而，在其他实施例中，表面14可以已知的速度移动远离成像传感器系统18。表面14相对于成像传感器系统18的平移方向、或者成像传感器18相对于表面14的数量和/或位置可根据需要进行改变，以使得成像传感器系统18可获得表面14的区域或特征16的特定部分的较完整视图。成像传感器系统18包括透镜系统20和包括在例如CCD或CMOS相机22中的传感器。至少一个任选的光源32可用于照亮表面14。
[0033]透镜20具有相对于表面14的表面坐标系的x-y平面以非零角度Θ对准的焦平面24。透镜焦平面和表面坐标系的x-y平面之间的视角Θ可根据有待通过系统10分析的表面14和特征16的特性来进行选择。在一些实施例中，Θ为小于90°的锐角，假设出如图1所示的布置方式，其中平移表面14朝成像传感器系统18移动。在其中表面14朝成像传感器系统18移动的其他实施例中，视角Θ为约20°至约60°，并且约40°的角度已被发现为可用的。在一些实施例中，当对表面14进行成像时，可周期性或不断地改变视角Θ，以提供特征16的较均匀和/或较完整的视图。
[0034]透镜系统20可根据设备10的预期应用而包括多种透镜，但远心透镜已被发现为尤其可用的。在本专利申请中，术语远心透镜是指接近正交投影的任何透镜或透镜系统。远心透镜提供不随着距透镜的距离而变化的放大倍数。距远心透镜过近或过远的物体可为失焦的，但所得的模糊图像将与正确聚焦的图像具有同样的尺寸。
[0035]传感器系统10包括可在内部、外部、或远离成像传感器系统18的处理器30。处理器30分析移动表面14的一系列图像，所述图像是通过成像传感器系统18获得的。
[0036]处理器30首先配准由成像传感器系统18获得的序列中的一系列图像。这种图像配准被计算以使对应于表面14上的同一物理点的一系列图像中的点对准。如果系统10所使用的透镜20为远心的，则由成像传感器系统18收集的图像的放大倍数不随着距透镜的距离而变化。因此，由成像传感器系统18获得的图像可通过使一个图像相对于另一个图像平移来进行配准，并且不需要缩放或其他几何变形。尽管非远心透镜20可用于成像传感器系统18中，但此类透镜可使得图像配准较困难和较复杂，并且需要处理器30的更多处理能力。
[0037]为使图像与序列中的另一个图像配准而必须平移该图像的量取决于图像之间的表面14的平移。如果表面14的平移速度为已知的，则由成像传感器系统18获得的表面14样本从一个图像到下一个图像的运动也为已知的，并且处理器30仅需确定图像应在表面14的每单位运动上平移的数量和方向。由处理器30作出的这种确定取决于例如成像传感器系统18的特性、透镜20的焦点、焦平面24相对于表面坐标系的x-y平面的视角Θ和相机22的旋转(如果有的话)。
[0038]假设两个参数Dx和Dy，其给出图像在物理表面14的每单位运动上沿X方向和y方向的平移。量Dj^P Dy的单位为像素/毫米。如果两个图像Itl(x，y)和It2(x，y)分别在时间h和t2获得，并且处理器30提供有样本表面14从h到t2移动的距离d，则这些图像应通过根据下述公式平移It2 U，y)来进行配准:
[0039]I,., (,I；, y) = 11、(；?； — dDx.y — d D υ)。
[0040]还可通过校准程序来离线地估计缩放系数Dx和Dy。当特征性的关键点平移穿过由成像传感器系统18获得的图像序列时，处理器30自动地选择和跟踪图像序列中的特征性的关键点。然后处理器使用此信息来计算特征点在表面14的物理样本的每单位平移上的预期位移(以像素为单位)。处理器可使用标准化的模板匹配算法来执行跟踪。
[0041]一旦表面14的所有图像已得到对准，处理器30随后就沿着垂直于透镜20的焦平面的方向z。来将配准的图像序列堆叠在一起以形成体。此体中的每个层为序列中的图像，所述图像如在配准中所计算的在沿X方向和y方向偏移。由于在采集序列中的每个图像时已知表面14的相对位置，则体中的每个层代表表面14沿焦平面24的快照，因为焦平面此时在特定位移位置处以角度Θ切过样本14(参见图1)。
[0042]一旦图像序列已得到对准，处理器30随后就计算体中的每个(X，y)位置处的聚焦锐度，其中(x，y)位置的平面垂直于体中的z。方向。体中不包括图像数据的位置被忽略不计，因为它们可被视为具有零锐度。处理器30使用锐度尺度来确定聚焦锐度。若干合适的锐度尺度在 Nayar 和 Nakagawa 的 Shape from Focus, IEEE Transact1ns on PatternRecognit1n and Machine Intelligence, vol.16, n0.8, pages 824-831 (1994)( “来自聚焦的形状”，《IEEE模式识别和机器智能汇刊》，第16卷，第8期，第824-831页(1994年))中有所描述。
[0043]例如,可应用改进的拉普拉斯(Laplacian)锐度尺度来计算序列中的所有图像的每个像素处的量
12II 12I
[0044]Ψλ// = ^ + hj-j
[0045]可使用有限差分来计算偏导数。此尺度内在的客观事实为其可被视为边缘检测器---显而易见的是，锐聚焦区域将具有比失焦区域更清晰的边缘。在计算此尺度之后，可使用中值滤波器来聚集局部地围绕图像序列中的每个像素的结果。
[0046]—旦处理器30已计算出序列中的所有图像的聚焦锐度值，处理器30就计算聚焦锐度体，这类似于与先前步骤中通过沿z。方向堆叠配准图像形成的体。为了形成聚焦锐度体，处理器将配准图像体中的每个(x，y)像素值替换成此像素的对应聚焦锐度测量值。此配准叠堆中的每个层(对应于平面Xc;_y。中的x-y平面)现在为“聚焦锐度”图像，其中各个层如前所述进行配准，使得对应于表面14上的相同物理位置的图像位置得以对准。由此，如果选定体中的一个位置(X，y)，由于在z。方向上移动穿过不同层来观察聚焦锐度值，则聚焦锐度当在此位置进行成像的点聚焦时(即，当其与相机22的焦平面24相交时)达到最大值，并且锐度值将随着沿z。轴的任一方向远离该层而降低。
[0047]聚焦锐度体中的每个层(对应于X-y平面)对应于在焦平面24的位置穿过表面14的一个切片，使得当样本14沿着方向A移动时，收集到位于沿其表面的不同位置处的穿过表面14的各个切片。由此，由于聚焦锐度体中的每个图像对应于在不同相对位置穿过表面14的物理切片，则理想的是，使点(x，y)实现最锐聚焦的切片确定相应点在样本上的三维(3D)位置。然而，在实施过程中，聚焦锐度体包括离散切片组，所述离散切片可并非沿着表面14密集或均匀间隔开。因此最有可能的是，最大聚焦的实际(理论)深度(聚焦锐度最大化的深度)将出现在切片之间。
[0048]处理器30随后通过使用穿过该点的最锐聚焦近似计算切片在聚焦锐度体中的理论位置来估计
[0049]表面14上的每个点的3D位置。
[0050]在一个实施例中，处理器通过对穿过聚焦锐度体中的切片深度z。的每个位置(X, Y)处的测得聚焦锐度值进行高斯(Gaussian)曲线拟合来近似计算最锐聚焦的这种理论位置。用于聚焦锐度值的模型作为切片深度z。的函数给定如下:
[0051]/(.,.,(,)(■-) = (----)
[0052]其中Zm为体中的位置(x，y)的最大聚焦的理论深度，并且σ为至少部分地源自成像透镜的视野深度的高斯函数标准差(参见图1中透镜20)。可通过将简单的最小二乘法价值函数最小化来实现这种曲线拟合。
[0053]在另一个实施例中，如果高斯算法对于特定应用而言具有过度消耗的计算量或者为耗时的，则可使用较快速地执行而不显著牺牲计算精度的近似算法。可对每个位置U，y)处的锐度分布样本进行二次函数拟合，但其中仅使用具有最大锐度值的位置附近的样本。因此，对于表面上的每个点而言，首先发现具有最高锐度值的深度，并且在此深度的任一侧选择一些样本。使用可以封闭形式求解的标准最小二乘法公式来对这些样本进行二次函数拟合。在极少情况下，如果数据中存在噪声，则二次函数中的抛物线可开口向上在这种情况下，丢弃拟合的结果，并且作为替代仅使用最大锐度样本的深度。否则，将深度当作二次函数的理论最大值的位置，所述位置通常可位于离散样本中的两者之间。
[0054]一旦针对体中的每个位置(x，y)近似计算出最大聚焦的理论深度zm，处理器30就估计样本的表面上的每个点的3D位置。然后使用标准的三角形网格算法来将这种点云转换成表面14的表面模型。
[0055]图2为示出操作图1的设备以表征材料12的表面14的样本区域中的表面的批处理方法200的流程图。在步骤202中，使用传感器来对平移表面进行成像，所述传感器包括具有相对于表面的平面以非零角度对准的焦平面的透镜。在步骤204中，处理器配准表面的图像序列，同时在步骤206中，沿着z。方向来堆叠配准的图像以形成体。在步骤208中，处理器确定体中的每个(x，y)位置的聚焦锐度值，其中(x，y)位置位于与z。方向垂直的平面中。在步骤210中，处理器使用聚焦锐度值来确定体中的每个(x，y)位置沿z。方向的最大聚焦深度zm。在步骤212中，处理器基于最大聚焦深度Zm来确定表面上的每个点的三维位置。在任选的步骤214中，处理器可基于三维位置来形成表面的三维模型。
[0056]在图2所述的整个工序中，处理器30工作在批处理模式下，这意味着所有的图像在由成像传感器系统18采集之后一起来进行处理。然而，在其他实施例中，由成像传感器系统18获得的图像数据可在这些数据变为可用时进行增量处理。如在下面的图3中进一步所示，增量处理方法采用以两个阶段进行的算法。首先，执行在线处理阶段，当表面14平移和连续地采集新图像时，处理器30估计表面14上的点在进行成像时的3D位置。来自此在线处理的结果为代表样本材料12的表面14的一组3D点(S卩，点云)。然后，执行离线处理阶段，(在已采集所有图像并且估计3D位置之后)，对这种点云进行后处理(图4)以在适当的坐标系中产生平滑范围图。
[0057]参见图3中的方法500，当表面14相对于成像传感器系统18平移时，由成像传感器系统18采集图像序列。每当在序列中采集新图像时，在步骤502中处理器30就使用适当的算法(例如，在上述的批处理方法中详细描述的改进的拉普拉斯锐度尺度)来近似计算新采集图像中的每个像素的聚焦锐度。随后在步骤504中，处理器30计算表面坐标系中的I坐标，焦平面24与y轴在I坐标处相交。在步骤506中，基于序列中的最后图像的表面的表观位移，处理器找到表面14上的过渡点，所述过渡点刚已离开透镜20的视野，但在序列中的前一图像的视野中。随后在步骤508中，处理器估计所有此类过渡点的3D位置。每当在序列中接收新图像时，处理器就重复估计过渡点的3D位置，然后累积这些3D位置以形成表征表面14的点云。
[0058]尽管图3中的步骤是按顺序来描述的，但为了增加效率，也可作为多线程系统来实现增量处理方法。例如，步骤502可在一个线程中来执行，而步骤504-508在另一个线程中来进行。在步骤510中，按照图4所述的方式来进一步地处理点云以形成表面14的范围图。
[0059]参见图4中的方法550，在步骤552中，处理器30通过平行于相机20的成像平面24对矩形网格上的点云中的点进行重取样来形成第一范围图。在步骤554中，处理器任选地检测并且抑制第一范围图中的异常值。在步骤556中，处理器执行任选的附加去噪步骤以除去重建表面的图中的噪声。在步骤558中，旋转重建的表面并且将其提供在表面坐标系上,其中X-Y平面xs_ys与表面14的运动平面对准,且表面坐标系中的zs轴垂直于表面14。在步骤560中，处理器在表面坐标系中的网格上进行插值和重取样以形成第二范围图。在此第二范围图中，对于表面上的每个(x，y)位置而言，X轴(Xs)垂直于方向A(图1)并且Y轴(ys)平行于方向A，Z坐标(Zs)给定特征16在表面14上的表面高度。
[0060]例如，本文所述的表面分析方法和设备尤其适于但不限于检测和表征样本材料12 (其包括零件，例如特征16(图1))的幅材状卷的结构化表面14。一般来讲，幅材卷可包括制造的幅材材料，所述幅材材料可为在一个方向上(大体垂直于图1中的方向A的横维方向)具有固定尺寸并且在正交方向上(大体平行于图1中的方向A的顺维方向)具有预定的或不确定的长度的任何片状材料。例子包括但不限于具有纹理化的、不透明的表面的材料，例如，金属、纸材、织造材料、非织造材料、玻璃、磨料、柔性电路、或它们的组合。在一些实施例中，图1的设备可用于一个或多个检测系统中以检测和表征制造过程中的幅材材料。为了生产准备转换成用于组装到产品中的各片材的成品幅材卷，可在多条生产线上加工非成品幅材卷，这些生产线可在一个幅材制造厂内，也可在多个制造厂内。对于每个加工过程，幅材卷用作原料卷，幅材从原料卷送入制造工艺中。在每个加工过程之后，可将幅材转换成片材或零件，或者再次收集到幅材卷内并且移向不同的生产线或运送到不同的制造厂，随后在此处进行展开、处理、并且再次收集成卷。重复这种过程直至最终生产出成品片材、零件或幅材卷。对于许多应用而言，用于片材、零件或幅材卷中的每一个的幅材材料可具有多个涂层，所述涂层是在一个或多个幅材制造厂的一条或多条生产线处涂覆的。就第一制备工艺而言，涂层通常涂覆至基础幅材材料的暴露表面，或者就后续制备工艺而言，涂层通常涂覆至先前涂覆的涂层。涂层的例子包括粘合剂、硬涂层、低粘附力背面涂层、金属化涂层、中密度涂层、导电或不导电涂层，或者它们的组合。
[0061]在图5所示的检测系统300的示例性实施例中，幅材312的样本区域定位在两个支撑辊323、325之间。检测系统300包括基准标记控制器301，所述基准标记控制器301控制基准标记阅读器302从样本区域312收集卷和位置信息。此外，基准标记控制器301可接收来自一个或多个高精度编码器的位置信号，所述一个或多个高精度编码器与幅材312的选定样本区域和/或支承辊323、325接合。基于这些位置信号，基准标记控制器301确定每一个检测到的基准标记的位置信息。基准标记控制器301将卷和位置信息传输到分析计算机329以便与有关幅材312的表面314上的特征尺寸的检测数据相关联。
[0062]系统300还包括一个或多个静止传感器系统318A-318N，所述一个或多个静止传感器系统318A-318N各自包括任选的光源332和具有相对于移动幅材312的表面314以锐角对准的焦平面的远心透镜320。在幅材被加工时，传感器系统318靠近连续移动幅材312的表面314定位，并且扫描幅材312的表面314以获取数字图像数据。
[0063]图像数据捕获计算机327从传感器系统318中的每一个来收集图像数据，并且将图像数据传输到分析计算机329。分析计算机329处理来自图像捕获计算机327的图像数据流，并且使用上文所述的批处理或增量图像处理算法中的一个或多个来分析数字图像。分析计算机329可将结果显示在适当的用户界面上和/或可将结果存储在数据库331中。
[0064]图5中所示的检测系统300可用于幅材制造厂内以测量幅材表面314的3D特征并且识别可能有缺陷的材料。一旦表面的3D结构得到估计，检测系统300就可提供多种类型的可用信息，例如，幅材表面314上的特征的位置、形状、高度、保真度等等。检测系统300还可提供输出数据，所述输出数据在制造幅材时实时地指示这些表面特征中的任何一个的缺陷的严重性。例如，计算机化检测系统可向幅材制造厂内的用户(例如，生产工程师)提供有关幅材表面314中所存在的结构化缺陷、异常、或不合规格材料(在下文中通称为缺陷)及其严重性的实时反馈，从而允许用户通过调整生产条件对于出现在特定材料批次或一系列批次中的缺陷来作出快速地响应以解决问题，由此不会明显地延迟生产或生产大量的不可用材料。计算机化检测系统300可应用算法来计算严重级别，方法是最终指定缺陷的等级标签(如，“好”或“坏”)，或以连续比例或更精确采样的比例生成给定样本不均匀度严重性的量度。
[0065]分析计算机329可存储缺陷等级或有关幅材314的样本区域的表面特征的其他信息，所述信息包括数据库331内的幅材314的卷识别信息和每个测得特征的可能位置信息。例如，分析计算机329可利用由基准标记控制器301生成的位置数据，来确定包括缺陷的每个测得区域在生产线坐标系内的空间位置或图像区域。即，基于来自基准标记控制器301的位置数据，分析计算机329确定每个非均匀性区域在当前生产线所用的坐标系内的xs、ys和可能的zs位置或范围。例如，可定义坐标系，使得X维度(Xs)表示幅材312的横向距离，y维度(ys)表示幅材的纵向距离，并且z维度(Zs)表示幅材的高度，所述高度取决于涂层的数量、材料或此前涂覆到幅材的其他层。此外，可以限定x、y、z坐标系在生产线内物理位置处的原点，其通常与幅材312的初始进料位置相关。
[0066]数据库331可以许多不同形式中的任一种形式实现，包括数据存储文件或在一个或多个数据库服务器上实现的一个或多个数据库管理系统(DBMS)。数据库管理系统可以是例如关系(RDBMS)、分层(HDBMS)、多维(MDBMS)、面向对象(ODBMS或OODBMS)或对象关系(ORDBMS)数据库管理系统。作为一个例子，数据库331可以被实现为关系数据库，该数据库可在华盛顿雷德蒙微软公司(Microsoft Corporat1n, Redmond, WA)的商业名称为SQL的服务器下找到。
[0067]一旦该过程结束，分析计算机329就可将收集在数据库331中的数据通过网络339传输至转换控制系统340。例如，分析计算机329可将卷信息以及结构尺寸和/或异常信息以及每个结构的相应子图像发送到转换控制系统340，用于后续的离线详细分析。例如，结构尺寸信息可通过数据库331与转换控制系统340之间的数据库同步方式发送。
[0068]在一些实施例中，转换控制系统340，而非分析计算机329，可确定每一个异常可在产品中引起缺陷的那些产品。一旦将成品幅材卷的数据收集在数据库331中，就可将所述数据发送至转换站点和/或使用所述数据标记幅材卷上的异常，标记方式为以可移除或可擦洗标记直接在幅材表面上进行标记或者在覆盖片材上进行标记，所述覆盖片材可在幅材上进行异常标注之前或期间被施加至幅材。
[0069]分析计算机329的组件可以至少部分地实现为由分析计算机329的一个或多个处理器执行的软件指令，所述处理器包括一个或多个硬件微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或任何其它等同的集成或离散逻辑电路、以及此类组件的任何组合。可以将软件指令保存在非瞬时性计算机可读介质中，例如随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、硬盘、CD-ROM、软盘、盒式磁带、磁性介质、光学介质、或其它计算机可读存储介质。
[0070]虽然出于示例性目的显示为设置在制造厂内部，但分析计算机329可以在制造厂外部，如在中央位置或在转换站点处。例如，分析计算机329可以在转换控制系统340内部运行。又如，所述组件在单个计算平台上执行并且可以集成到同一个软件系统中。
[0071]现在参考以下非限制性例子描述本公开的主题。
[0072]SM
[0073]实例I
[0074]根据图1中的示意图来构造设备。将包括远心透镜的CXD相机对准可移动塔板上的样本磨料。远心透镜的焦平面相对于样本材料的表面坐标系中的x-y平面取向成约40°的视角(图1中的Θ )。将样本材料在塔板上以约300 μ m的增量水平地平移，并且在每个增量处利用相机来捕获图像。图6示出了当样本材料经由一系列300μπι增量进行移动时由相机拍摄的样本材料的表面的三个图像。
[0075]与分析计算机相关联的处理器分析由相机采集的样本表面的图像。处理器配准图像序列，沿着ζ。方向堆叠配准的图像以形成体，并且使用上文所述的改进的拉普拉斯聚焦锐度尺度来确定体中的每个(x，y)位置的聚焦锐度值。使用聚焦锐度值，处理器计算体中的每个(X，y)位置沿z。方向的最大聚焦深度Zm，并且基于最大聚焦深度Zm来确定样本的表面上的每个点的三维位置。计算机基于三维位置来形成图6的表面的三维模型，所述三维模型以三个不同的视角示于图7A-7C中。
[0076]图7A-7C所示的图像中的重建表面为实际的和精确的，并且可从此表面计算出多个感兴趣量，例如就诸如磨料之类的幅材材料而言的特征锐度、尺寸和取向。然而，图7C示出在重建表面中存在若干间隙或小孔。这些小孔为样本成像方式的结果。如图1中示意性所示，样本上的高特征的背侧表面的部分(在这种情况下，磨料上的磨粒)可因相对较低的视角而永远不能被相机观察到。可通过同时使用两个相机从不同角度观察样本来潜在地减轻这种数据缺失。
[0077]实例2
[0078]通过描述于本公开中的增量方法来扫描若干磨料样本。另外通过采用共焦传感器的离线激光轮廓曲线仪来扫描样本。然后由来自不同方法的数据集来重建每个样本的两个表面轮廓，并且通过如方式来比较结果:使用描述于Chen和Med1ni的Object Modelingby Registrat1n of Multiple Range Images, Proceedings of the IEEE Internat1nalConference on Robotics and Automat1n, 1991 ( “通过多范围图像的配准的物体建模”，《IEEE机器人和自动化国际会议论文集》，1991年)中的迭代最近点(ICP)匹配算法配准两个重建结果。然后比较样本上的每个位置(x，y)的表面高度估计值zs。使用具有放大倍数2的透镜，样本I显示12 μ m的中间范围残值，而样本2显示具有9 μ m的中间范围残值。甚至在使用不精确配准的情况下，来自上文所述的增量处理技术的扫描也能相对紧密地匹配由离线激光轮廓曲线仪捕捉的扫描。
[0079]实例3
[0080]在此实例中，通过重建8个不同样本(具有不同类型)来评价相机入射角Θ (图1)对重建的相机3D表面的影响，其中每个样本来自三个不同的视角:Θ =22:3° ;38:1° ；以及46:5° (样本的表面正在移向相机,如图1所不)。两个不同表面在由这些不同视角22:3°、38:1°和46:5°的3D重建的实例分别示于图8A-8C和图9A-9C中。基于这些结果、以及其他样本(未在图8-9中示出)的重建，可作出一些定性观察。
[0081]首先，在估计的表面中，使用较小视角重建的表面显示具有较大的洞。这在高峰值后面为尤其明显的，如图9A所示。这是能够预期到的，因为当Θ较小时这些峰值后面的多个表面对相机不可见。结果在于整体表面重建不如较高视角情况下完整。
[0082]第二，还可观察到，尽管较大视角(例如，在图SC和9C中)产生较完整的重建，但它们也导致表面估计中的较高噪声水平。这在表面上的陡峭竖直边缘上更明显。这最可能是由于，因为视角更接自顶向下，在陡峭竖直边缘上具有较少的目标像素，由此可增加对噪声的敏感度。
[0083]基于这些观察结果、以及此实验的全部结果的主观视觉检测，看起中等视角(38:1° )产生此实例中所评价的全部构型的最有利结果。以此方式重建的序列看起来在完整性和低噪声水平之间取得平衡。
[0084]已经描述了本发明的各种实施例。这些和其他实施例均在所附权利要求书的范围内。
【权利要求】
1.一种方法，包括: 使用至少一个成像传感器来对表面进行成像，其中所述表面和所述成像传感器处于相对平移运动中，并且其中所述传感器包括透镜，所述透镜具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面； 配准所述表面的图像序列； 沿着相机坐标系中的z方向来堆叠所述配准的图像以形成体； 确定所述体中的每个(x，y)位置的聚焦锐度值，其中所述(x，y)位置位于与所述相机坐标系中的z方向垂直的平面中； 利用所述聚焦锐度值来确定所述体中的每个(X，y)位置沿所述相机坐标系中的z方向的最大聚焦深度Znl ；以及 基于所述最大聚焦深度Zm来确定所述表面上的每个点的三维位置。
2.根据权利要求1所述的方法，其中通过对准在所述表面上的基准点来配准图像。
3.根据权利要求1所述的方法，还包括基于所述三维位置来形成所述表面的三维模型。
4.根据权利要求1所述的方法，其中所述透镜包括远心透镜。
5.根据权利要求1所述的方法，其中当所述表面朝静止成像传感器移动时，所述视角小于90°。
6.根据权利要求1所述的方法，其中通过在每个(x，y)位置处应用改进的拉普拉斯锐度尺度来确定所述聚焦锐度值。
7.根据权利要求1所述的方法，其中通过沿所述z方向进行高斯曲线拟合以估计所述最大聚焦深度Zm来确定所述表面上的每个点的深度。
8.根据权利要求1所述的方法，其中通过对所述体中的每个位置(x，y)处的所述聚焦锐度值进行二次函数拟合来确定所述表面上的每个点的深度。
9.根据权利要求3所述的方法，包括对三维点位置应用三角网格算法以形成所述表面的模型。
10.根据权利要求1所述的方法，其中所述成像传感器包括CXD或CMOS相机。
11.一种方法，包括: 使用成像传感器来捕获表面的图像序列，其中所述表面和所述成像传感器处于相对平移运动中，并且其中所述成像传感器包括远心透镜，所述远心透镜具有相对于表面坐标系中的X-y平面以非零视角对准的焦平面； 在所述序列中的每个图像中对准所述表面上的基准点以形成配准的图像序列； 沿着相机坐标系中的z方向来堆叠所述配准的图像序列以形成体，其中所述配准的图像序列中的每个图像包括所述体中的层； 计算所述体内的每个像素的聚焦锐度值，其中所述像素位于与所述相机坐标系中的z方向垂直的平面中； 基于所述聚焦锐度值来计算所述体内的每个像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm来确定所述表面上的每个点的三维位置；以及任选地 基于三维点位置来构造所述表面的三维模型。
12.根据权利要求11所述的方法，其中通过在每个(x，y)位置处应用改进的拉普拉斯锐度尺度来确定所述聚焦锐度值。
13.根据权利要求11所述的方法，其中通过沿所述z方向进行高斯曲线拟合以估计所述聚焦锐度值Zm来确定所述表面上的每个点的深度。
14.根据权利要求11所述的方法，其中通过对所述体中的每个位置(x，y)处的所述聚焦锐度值进行二次函数拟合来确定所述表面上的每个点的深度。
15.根据权利要求11所述的方法，包括对所述三维点位置应用三角网格算法以形成所述表面的模型。
16.—种设备,包括: 具有远心透镜的成像传感器，其中所述透镜具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面，其中所述表面和所述成像传感器处于相对平移运动中，并且其中所述传感器对所述表面进行成像以形成其图像序列； 处理器，所述处理器: 在所述序列中的每个图像中对准所述表面上的基准点以形成配准的图像序列； 沿着相机坐标系中的z方向来堆叠所述配准的图像序列以形成体，其中所述配准的图像序列中的每个图像包括所述体中的层； 计算所述体内的每个像素的聚焦锐度值，其中所述像素位于与所述相机坐标系中的所述z方向垂直的平面中； 基于所述聚焦锐度值来计算所述体内的每个像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm来确定所述表面上的每个点的三维位置；以及 基于所述三维位置来构造所述表面的三维模型。
17.根据权利要求16所述的设备，其中所述表面为幅材材料。
18.根据权利要求16所述的设备，还包括光源以照亮所述表面。
19.根据权利要求16所述的设备，其中所述传感器包括CCD或CMOS相机。
20.根据权利要求19所述的设备，其中所述处理器在所述相机内部。
21.根据权利要求19所述的设备，其中所述处理器远离所述相机。
22.—种方法,包括: 相对于移动的幅材材料以非零视角定位静止成像传感器，其中所述成像传感器包括远心透镜以对移动幅材的表面进行成像并且形成其图像序列； 处理所述图像序列以: 配准所述图像； 沿着相机坐标系中的z方向来堆叠所述配准的图像以形成体； 确定所述体中的每个(x，y)位置的聚焦锐度值，其中所述(x，y)位置位于与所述相机坐标系中的z方向垂直的平面中； 确定所述体中的每个(X，y)位置沿所述相机坐标系中的z方向的最大聚焦深度Zm;以及 基于所述最大聚焦深度Zm来确定所述移动幅材的表面上的每个点的三维位置。
23.根据权利要求22所述的方法，其中所述成像传感器包括CCD或CMOS相机。
24.根据权利要求22所述的方法，其中所述处理器在CCD相机外部。
25.根据权利要求22所述的方法，还包括基于所述三维位置来形成所述移动幅材的所述表面的三维模型。
26.根据权利要求22所述的方法，其中通过在每个(x，y)位置处应用改进的拉普拉斯锐度尺度来确定所述聚焦锐度值。
27.根据权利要求22所述的方法，其中通过沿所述z方向进行高斯曲线拟合以估计所述最大聚焦深度Zm来确定所述表面上的每个点的深度。
28.根据权利要求22所述的方法，其中通过对所述体中的每个位置(x，y)处的所述聚焦锐度值进行二次函数拟合来确定所述表面上的每个点的深度。
29.根据权利要求22所述的方法，包括对三维点位置应用三角网格算法以形成所述表面的模型。
30.一种用于实时检测幅材材料的移动表面并且计算所述表面的三维模型的方法，所述方法包括: 使用静止传感器来捕获所述表面的图像序列，其中所述成像传感器包括相机和远心透镜，所述远心透镜具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面； 在所述序列中的每个图像中对准所述表面上的基准点以形成配准的图像序列； 沿着相机坐标系中的z方向来堆叠所述配准的图像序列以形成体，其中所述配准的图像序列中的每个图像包括所述体中的层； 计算所述体内的每个像素的聚焦锐度值，其中所述像素位于与所述相机坐标系中的所述Z方向垂直的平面中； 基于所述聚焦锐度值来计算所述体内的每个像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm来确定所述表面上的每个点的三维位置；以及 基于所述三维位置来构造所述表面的三维模型。
31.根据权利要求30所述的方法，其中通过在每个(x，y)位置处应用改进的拉普拉斯锐度尺度来确定所述聚焦锐度值。
32.根据权利要求30所述的方法，其中通过沿所述z方向进行高斯曲线拟合以估计所述最大聚焦深度Zm来确定所述表面上的每个点的深度。
33.根据权利要求30所述的方法，其中通过对所述体中的每个位置(x，y)处的所述聚焦锐度值进行二次函数拟合来确定所述表面上的每个点的深度。
34.根据权利要求30所述的方法，包括对三维点位置应用三角网格算法以形成所述表面的模型。
35.一种用于实时检测幅材材料的在线计算机化检测系统，所述系统包括: 静止成像传感器，所述静止成像传感器包括相机和远心透镜，其中所述透镜具有相对于移动表面的平面以非零视角对准的焦平面，并且其中所述传感器对所述表面进行成像以形成其图像序列； 处理器，所述处理器: 在所述序列中的每个图像中对准所述表面上的基准点以形成配准的图像序列； 沿着相机坐标系中的z方向来堆叠所述配准的图像序列以形成体，其中所述配准的图像序列中的每个图像包括所述体中的层； 计算所述体内的每个像素的聚焦锐度值，其中所述像素位于与所述相机坐标系中的所述Z方向垂直的平面中； 基于所述聚焦锐度值来计算所述体内的每个像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm来确定所述表面上的每个点的三维位置；以及 基于所述三维位置来构造所述表面的三维模型。
36.一种非瞬时性计算机可读介质，包括软件指令，所述软件指令用于使计算机处理器: 使用在线计算机化检测系统来接收幅材材料的移动表面的图像序列，其中使用包括相机和远心透镜的静止成像传感器来捕获图像序列，所述远心透镜具有相对于表面坐标系的χ-y平面以非零视角对准的焦平面； 在所述序列中的每个图像中对准所述表面上的基准点以形成配准的图像序列； 沿着相机坐标系中的z方向来堆叠所述配准的图像序列以形成体，其中所述配准的图像序列中的每个图像包括所述体中的层； 计算所述体内的每个像素的聚焦锐度值，其中所述像素位于与所述相机坐标系中的所述Z方向垂直的平面中； 基于所述聚焦锐度值来计算所述体内的每个像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm来确定所述表面上的每个点的三维位置；以及 基于所述三维位置来构造所述表面的三维模型。
37.一种方法,包括: 相对于表面平移成像传感器，其中所述传感器包括透镜，所述透镜具有相对于表面坐标系的χ-y平面以非零视角对准的焦平面； 使用所述成像传感器来对所述表面进行成像以采集图像序列； 对所述表面上的点的三维位置进行估计以提供代表所述表面的一组三维点；以及 处理所述一组三维点以在选定的坐标系中产生所述表面的范围图。
38.一种方法,包括: (a)使用至少一个成像传感器来对表面进行成像以采集图像序列，其中所述表面和所述成像传感器处于相对平移运动中，并且其中所述传感器包括透镜，所述透镜具有相对于表面坐标系中的χ-y平面以非零视角对准的焦平面； (b)确定所述图像序列中的最后图像中的每个像素的聚焦锐度值； (C)计算所述表面坐标系中的y坐标，所述焦平面与y轴在所述y坐标处相交； (d)基于所述最后图像中的所述表面的表观移位来确定所述表面上的过渡点，其中所述过渡点在所述最后图像中已离开所述透镜的视野，但在所述最后图像之前的所述序列中的图像中处于所述透镜的视野中； (e)确定所述表面上的所有过渡点在相机坐标系中的三维位置； (f)对于由所述成像传感器采集的每个新图像重复步骤(a)至(f);以及 (g)累积来自所述序列中的图像的过渡点在所述相机坐标系中的三维位置以形成代表平移表面的点云。
39.根据权利要求38所述的方法，其中通过应用改进的拉普拉斯锐度尺度来确定所述聚焦锐度值。
40.根据权利要求38所述的方法，其中通过沿所述相机坐标系中的所述z方向进行高斯曲线拟合以估计所述最大聚焦深度Zm来确定所述表面上的每个过渡点的三维位置。
41.根据权利要求38所述的方法，其中通过对每个像素的所述聚焦锐度值进行二次函数拟合来确定所述表面上的每个过渡点的三维位置。
42.根据权利要求38所述的方法，还包括通过在所述相机坐标系中的矩形网格上对点云中的点进行重取样来形成所述平移表面的第一范围图。
43.根据权利要求42所述的方法，还包括从所述第一范围图中除去噪声。
44.根据权利要求38所述的方法，还包括将所述第一范围图旋转到所述表面坐标系。
45.根据权利要求44所述的方法，还包括通过在所述表面坐标系中的网格上对第一范围图进行重取样来形成第二范围图。
46.根据权利要求38所述的方法，其中当所述表面朝静止成像传感器移动时，所述视角为约38°。
47.根据权利要求38所述的方法，其中所述透镜为远心透镜。
48.一种设备，包括: 包括透镜的成像传感器，其中所述透镜具有相对于表面坐标系的x-y平面以非零视角对准的焦平面，其中所述表面和所述成像传感器处于相对平移运动中，并且其中所述传感器对所述表面进行成像以形成其图像序列； 处理器，所述处理器: (a)确定所述图像序列中的最后图像中的每个像素的聚焦锐度值； (b)计算所述表面坐标系中的y坐标，所述焦平面与y轴在所述y坐标处相交； (c)基于所述最后图像中的所述表面的表观移位来确定所述表面上的过渡点，其中所述过渡点在所述最后图像中已离开所述透镜的视野，但在所述最后图像之前的所述序列中的图像中处于所述透镜的视野中； (d)确定所述表面上的所有过渡点在相机坐标系中的三维位置； (e)对于由所述成像传感器采集的每个新图像重复步骤(a)至(d);以及 (f)累积来自所述序列中的图像的过渡点在所述相机坐标系中的三维位置以形成代表平移表面的点云。
49.根据权利要求48所述的设备，其中所述表面为幅材材料。
50.根据权利要求48所述的设备，其中所述透镜为远心透镜。
51.一种用于实时检测幅材材料的移动表面并且计算所述表面的三维模型的方法，所述方法包括: (a)使用静止传感器来捕获所述表面的图像序列，其中所述成像传感器包括相机和远心透镜，所述远心透镜具有相对于表面坐标系中的x-y平面以非零视角对准的焦平面； (b)确定所述图像序列中的最后图像中的每个像素的聚焦锐度值； (C)计算所述表面坐标系中的y坐标，所述焦平面与y轴在所述y坐标处相交； (d)基于所述最后图像中的所述表面的表观移位来确定所述表面上的过渡点，其中所述过渡点在所述最后图像中已离开所述透镜的视野，但在所述最后图像之前的所述序列中的图像中处于所述透镜的视野中； (e)确定所述表面上的所有过渡点在相机坐标系中的三维位置； (f)对于由所述成像传感器采集的每个新图像重复步骤(a)至(f);以及 (g)累积来自所述序列中的图像的过渡点在所述相机坐标系中的三维位置以形成代表平移表面的点云。
52.根据权利要求51所述的方法，其中通过应用改进的拉普拉斯锐度尺度来确定所述聚焦锐度值。
53.根据权利要求51所述的方法，其中通过沿所述相机坐标系中的所述z方向进行高斯曲线拟合以估计最大聚焦深度Zm来确定所述表面上的每个过渡点的三维位置。
54.根据权利要求51所述的方法，其中通过对每个像素的所述聚焦锐度值进行二次函数拟合来确定所述表面上的每个过渡点的三维位置。
55.根据权利要求51所述的方法，还包括通过在所述相机坐标系中的矩形网格上对点云中的点进行重取样来形成所述平移表面的第一范围图。
56.根据权利要求55所述的方法，还包括从所述第一范围图中除去噪声。
57.根据权利要求51所述的方法，还包括将所述第一范围图旋转到表面坐标系。
58.根据权利要求57所述的方法，还包括通过在所述表面坐标系中的网格上对第一范围图进行重取样来形成第二范围图。
59.根据权利要求51所述的方法，其中当所述表面朝静止成像传感器移动时，所述视角为约38°。
60.一种用于实时检测幅材材料的在线计算机化检测系统，所述系统包括: 静止成像传感器，所述静止成像传感器包括相机和远心透镜，其中所述透镜具有相对于移动表面的χ-y平面以非零视角对准的焦平面，并且其中所述传感器对所述表面进行成像以形成其图像序列； 处理器，所述处理器: (a)确定所述图像序列中的最后图像中的每个像素的聚焦锐度值； (b)计算所述表面坐标系中的y坐标，所述焦平面与y轴在所述y坐标处相交； (c)基于所述最后图像中的所述表面的表观移位来确定所述表面上的过渡点，其中所述过渡点在所述最后图像中已离开所述透镜的视野，但在所述最后图像之前的所述序列中的图像中处于所述透镜的视野中； (d)确定所述表面上的所有过渡点在相机坐标系中的三维位置； (e)对于由所述成像传感器采集的每个新图像重复步骤(a)至(d);以及 (f)累积来自所述序列中的图像的过渡点在所述相机坐标系中的三维位置以形成代表平移表面的点云。
61.一种非瞬时性计算机可读介质，包括软件指令，所述软件指令用于使计算机处理器: (a)使用在线计算机化检测系统来接收幅材材料的移动表面的图像序列，其中使用包括相机和远心透镜的静止成像传感器来捕获所述图像序列，所述远心透镜具有相对于表面坐标系的x-y平面以非零视角对准的焦平面； (b)确定所述图像序列中的最后图像中的每个像素的聚焦锐度值； (C)计算所述表面坐标系中的y坐标，所述焦平面与y轴在所述y坐标处相交； (d)基于所述最后图像中的所述表面的表观移位来确定所述表面上的过渡点，其中所述过渡点在所述最后图像中已离开所述透镜的视野，但在所述最后图像之前的所述序列中的图像中处于所述透镜的视野中； (e)确定所述表面上的所有过渡点在相机坐标系中的三维位置； (f)对于由所述成像传感器采集的每个新图像重复步骤(a)至(e);以及 (g)累积来自所述序列中的图像的过渡点在所述相机坐标系中的三维位置以形成代表平移表面的点云。
【文档编号】G01N21/86GK104254768SQ201380007293
【公开日】2014年12月31日 申请日期:2013年1月30日 优先权日:2012年1月31日
【发明者】埃文·J·瑞博尼克, 乔轶, 杰克·W·莱, 大卫·L·霍费尔特 申请人:3M创新有限公司