使用结构化照明的3d扫描器的制造方法
【专利摘要】将一系列结构化照明图案投射到对象上。每个相继的结构化照明图案具有诸如亮区和暗区之间的边缘的强度特征的第一子集和第二子集。所述第一子集的强度特征与来自所述系列中的先前结构化照明图案的第一子集或第二子集的强度特征在空间上一致。检测在所述图像中能看见所述结构化照明图案的第一子集和第二子集的强度特征的图像位置。基于在利用所述系列中的先前结构化照明图案获得的图像中的具有关联强度特征的所检测的最近的图像位置的关联强度特征，将能看见所述第一子集的强度特征的图像位置与所述第一子集的强度特征相关联。将处于与所述第一子集的强度特征相关联的图像位置对儿之间的、能看见所述第二子集的强度特征的图像位置与处于和所述位置对儿相关联的强度特征之间的、所述第二子集的强度特征相关联。所述系列的最终结构化照明图案中的关联强度特征用于识别所述最终结构化照明图案的强度特征，以确定3D表面位置信息。
【专利说明】使用结构化照明的3D扫描器
【技术领域】
[0001]本发明涉及一种用于使用结构化照明确定3D信息的方法和系统。
【背景技术】
[0002]结构化照明是一种熟知的用于从场景提取3D信息的技术。3D信息的提取基于向场景上投射已知的照明图案，并利用场景的照相机捕获所产生的图像。该技术利用照相机和投射照明图案的投影器之间的距离(经常被称作基线)以视差(在采用立体照相机时)为基础工作的。作为这种视差的结果，能够确定对象的深度(从照相机来看)。与立体照相机类似，这样的系统能够估计深度，但是在我们投射照明结构(图案)时，该系统也对均匀的对象起作用，而立体照相机则不能。因此，结构化照明系统提供比立体视觉系统可靠得多的深度估值。
[0003]3D信息提取的一个关键步骤是确定投影器将照明图案的特征投射到了对象上的何处。有时将其称为解码。在Gumholdt等人的题为《Image-based motion compensationfor structured light scanning of dynamic surfaces》的文章中(IJISTA (2008 年)第434-441页)中描述了一种解码技术。在这种技术中，相继使用多个不同的结构化照明图案，从而使用像素强度的时间依赖性识别来自投影器的在该像素处与对象相交的平面。在这一技术的最简单的形式下，这一技术假定对象不发生移动。如果不能排除对象移动，那么使用根据运动矢量的运动补偿将对象点映射到一系列图像的相同像素上。Gumholdt提到对来自结构化照明图案的条纹运动的检测能够用于确定所需的运动矢量，但是GumhoIdt更倾向于一种更鲁棒的技术，其中，专用的参考照明图案用于获得能够被相关以确定运动矢量的图像。然而，这些技术仍然不是完全地鲁棒。
【发明内容】
[0004]出其他以外，本发明的目的是提供一种用于从利用结构化照明获得的场景的2D图像确定3D表面位置信息的更加鲁棒的方法和系统。
[0005]提供了根据权利要求1所述的确定3D表面位置信息的方法。本文使用了具有强度特征的一系列结构化照明图案，所述强度特征例如是互不相同的强度的区域之间的边缘。
[0006]来自所述系列的结构化照明图案中的不同图案用于在不同的时间点上照射对象，并且所产生的对象的图像用于检测在所述图像中能看见所述强度特征的位置。对所述强度特征的第一子集和第二子集进行区分，以确定哪个所检测的位置对应于所述结构化照明图案中的哪个强度特征。在强度特征为边缘的范例中，例如，第一集合的特征可以是强度沿通过所述图像路径升高到高强度区域的强度水平的边缘，且第二子集的特征可以是沿强度从高强度区域下降的路径的边缘。
[0007]在所述一系列结构化照明图案中，每个相继图像的强度特征的第一子集与所述系列中的先前结构化照明图案的(来自第一子集和第二子集的)特征在空间上一致。与先前结构化照明图案相比，第二子集的强度特征是增加的特征，该增加的特征处于第一子集的强度特征之间的和/或超过了先前结构化照明图案的最外面的强度特征。因而，所述系列中的结构化照明图案的强度特征的位置依次排布得更加致密。
[0008]基于利用所述系列中的先前结构化照明图案获得的检测的强度特征的识别，利用第一子集的强度特征的检测的位置识别第一子集的强度特征。利用处于位置对的强度特征的检测的位置之间的检测的位置，识别位于所述第一子集的强度特征的所述位置对之间的第二子集的强度特征。通过这种方式，将错误识别的风险最小化。
[0009]可以在第一子集的强度特征的相关联的图像位置之前或者之后确定针对利用当前结构化照明图案获得的图像的第一子集的强度特征的相关联的图像位置。在一个实施例中，首先针对利用先前结构化照明图案获得的图像，根据基于第一子集的图像强度特征的相关联的图像位置选择的图像位置范围，确定第二子集的相关联的位置。在这一实施例中，接下来，针对利用当前结构化照明图案获得的图像，根据基于第二子集的图像强度特征的相关联的图像位置选择的图像位置范围，确定第一子集的相关联的位置。通过这种方式，第二强度特征提供了一种形式的运动补偿，其降低了识别错误的风险。在另一实施例中，首先针对利用先前结构化照明图案获得的图像，基于第一子集的图像强度特征的相关联的图像位置，确定第一子集的相关联的位置。例如，可以选择与利用之前的结构化照明图案获得的图像的相关联的位置最接近的图像位置。在这一实施例中，接下来，针对利用当前结构化照明图案获得的图像，根据基于第一子集的图像强度特征的相关联的图像位置选择的图像位置范围，可以确定第二子集的相关联的位置。
[0010]在实施例中，在对应于结构化照明图案在所述系列中的序列的时间序列中，也就是说按照它们在所述系列中出现的序列的时间，或者与该序列相反地，利用所述结构化照明图案照射所述对象。通过这种方式，将用于识别第一子集的强度特征的捕获图像之间的运动最小化。
[0011 ] 在实施例中，利用所述系列中的结构化照明图案中的至少一个进行照射包括利用互补照明图案对儿的相继照射，即其中，所述对儿中的一幅图案在另一幅图案为白色的位置为黑色，反之亦然。在这一实施例中，可以当利用该互补照明图案照射对象时捕获图像对儿，且所产生的用于位置检测的图像可以是所述对儿的图像之间的差值图像。
[0012]在实施例中，从沿图像线的强度轮廓检测所述图像中能看见强度特征的位置。可以针对多条图像线重复这一操作。通过这种方式，能够利用最少的计算检测到强度轮廓的位置。在实施例中，第一子集和第二子集的强度特征是处于沿图像线的强度变化的相对方向上的强度边缘。通过这种方式，很容易检测到强度特征是属于第一子集还是第二子集。
[0013]在实施例中，多个先前结构化照明图案可以用于识别第一子集的强度特征的检测位置。因此，如果没有发现利用紧挨着的先前结构化照明图案获得的适当的位置，那么可以使用来自另一远离的先前结构化照明图案的位置。通过这种方式，所述方法更加鲁棒地解决了特征在某些图像中的不可见性。
[0014]利用结构化照明图案的强度特征的位置识别用于确定对象上的点的能看见强度特征的3D位置。可以使用利用最终结构化照明图案获得的特征的图像位置计算3D位置，从而直接完成这一操作，或者可以使用另一结构化照明图案的强度特征计算3D位置，从而间接完成这一操作。在后一种情况下，可以借助最终结构化照明图案中的所识别的强度特征的位置的致密集合来识别所述另一照明图案的强度特征，以计算3D位置。[0015]可以在可编程处理系统对计算机程序的控制下执行所述方法的步骤。根据一个方面，提供了一种具有这样的程序的诸如磁盘或半导体存储器的计算机程序产品。
[0016]根据一个方面提供了根据权利要求11所述的3D对象扫描器。
【专利附图】
【附图说明】
[0017]使用下述附图，根据对示范性实施例的描述，这些和其他目的，以及有利方面将变得显而易见。
[0018]图1不出了一种用于确定3D表面位置信息的系统。
[0019]图2示出了 3D表面位置确定的流程图。
[0020]图3图示了沿图像线的图像信号值。
【具体实施方式】
[0021]图1不出了一种用于确定3D表面位置信息的系统,其包括光源10、照相机12以及率禹合至光源10和照相机12的处理系统14。光源10和照相机12两者从不同的位置指向对象16。
[0022]在操作中，光源10将一系列照明图案P(n) (n=0，l，...)投射到对象16上，并且当对象16受到相应的图案照射时，照相机12捕获对象16的图像IM(η)。在下文中，照明图案Ρ(η)将以利用横断来自光源10的光线的平面获得的其截面中的强度为特征(如在文中使用的，“横断”用于非平行于，例如垂直于)。所述照明图案的三维结构是根据这一截面以及光源10的性质得出的。例如，在发散光源的情况下，所述照明图案包括处于从源点出发的连续方向上的光线的集合。所述截面内的每一点对应于这些方向之一，并且所述截面内的强度对应于对应方向上的光线的强度。在平行射束光的情况下，所述截面内的强度对应于平行光线的强度，所述平行光线中的每者穿过所述截面内的对应点。
[0023]将描述实施例，其中，照明图案具有带有亮区和暗区的截面。在这种情况下，将由亮区和暗区之间的边缘表征照明图案。
[0024]图2示出了在处理系统14的控制下操作3D表面位置确定的实施例的流程图。在第一步骤21中，处理系统14选择当前照明图案。最初，处理系统14选择具有仅带有在亮区和暗区之间的一条直边缘的截面的当前照明图案Ρ(η)(开始η=0)。在第二步骤22中，处理系统14控制光源10，从而将所述当前照明图案投射到对象16上。在实施例中，可以使用具有互补图像对儿的相继照明。
[0025]在第三步骤23中，处理系统14从照相机12捕获对象16的图像頂(η)(开始η=0)，所述图像是在对象16受到当前照明图案照射的同时获得的。任选地，图像IM(i)可以是差值图像IMl (n)-MO (η)，其像素值是在利用当前照明图案P (η)照射对象16的同时获得的图像頂I和不利用这样的照明或利用这样的照明图案的互补P’ (η)(例如，使得照明图案Ρ(η)、Ρ’ (η)的截面中的强度之和是不依赖位置的)捕获的图像的像素值之间的差。在这一实施例中，处理系统14被配置为控制光源10，以关闭照明或者切换至互补图案，并在有和没有照明图案Ρ(η)的情况下或者在利用照明图案Ρ(η)及其互补P’ (η)的情况下相继捕获图像頂I (η)和頂0(η)。任选地，可以通过将强度值图像或者差值图像二元化，例如，通过将强度值与阈值进行比较获得图像頂(η)。如果在利用图案的照明之后跟随着利用互补图案的照明，则边缘位置对应于差值图像中的符号变化。在第四步骤24中，处理系统14沿横断沿边缘的方向排布的多条平行图像线扫描所捕获的图像IM(η)，从而沿所述线搜索图像强度以获得对应于所述边缘的阶跃或者符号变化，并确定该阶跃或者符号变化的位置X (i)(索引i表示沿所述图像线的跃迁:理想地，对于初始图像頂(O)而言，只有一条图像线边缘，并且i=0)。
[0026]在第五步骤25和第六步骤26中，处理系统14将图像线边缘与当前照明图案P (η)的截面内的照明图案边缘相关联。在第七步骤27中，处理系统14测试是否已经针对预定数量的照明图案执行了先前步骤。如果没有，那么处理系统14利用新的照明图案从第一步骤21进行重复。
[0027]因此，处理系统14执行从第一步骤21到第七步骤-27的相继循环，每次循环利用不同的照明图案Ρ(η)作为当前照明图案。每次相继循环中的照明图案P (η)具有与前一循环中的照明图案P(n-l)中的边缘处于相同位置的相互平行的照明图案边缘的第一子集，此外还具有处于所述第一子集中的每两个相继的照明图案边缘之间的平行于这两个相继的照明图案边缘的照明图案边缘的第二子集。任选地，所述第二子集可以含有超过所述第一子集的最外侧照明图案边缘的照明图案边缘。
[0028]图3依照在利用相继的照明图案获得的相继图像中沿相同图像线的理想化图像强度图示了照明图案，如当对象16保持固定时处理系统14可能在第四步骤24中遇到的。
[0029]沿所述图像线的第一图像强度轮廓31对应于初始照明图案，其具有一个图像线边缘31a。相继循环中的所述图像线的相继强度轮廓32、33 (仅示出了两个)具有相继增多的图像线边源32a-c、33a-g等。能够在第二强度轮廓32中区分出所述图像线边缘的第一子集和第二子集:第一子集具有一个图像线边缘32b，其所处位置与第一强度轮廓31的图像线边缘31a的位置相同，第二子集具有处于第一子集中的图像线边缘31a的分别两侧上的两个图像线边缘32a、c。类似地，能够在第三强度轮廓33中区分出图像线边缘的两个子集:第一子集具有对应于第二强度轮廓32的图像线边缘32a、b、c的图像线边缘33b、d、f，第二子集具有处于第一子集的图像线边缘33b、d、f之间的图像线边缘33c、e以及处于第一子集中的图像线边缘32a、c的分别两侧上的图像线边缘33a、g。应当注意，第一子集中的所有图像线边缘都具有相同的第一极性(低强度到高强度)，第二子集中的所有图像线边缘都具有与第一极性相反的相同的第二极性(高强度到低强度)。
[0030]在第五步骤25和第六步骤26中，处理系统14将来自图像頂(η)的图像线边缘与当前照明图案POO的截面中的照明图案边缘相关联。可以通过结合照明图案边缘的标记L(i)记录所检测的图像线边缘位置X(i)(索引i表示沿图像线的跃迁)来表示所述关联。然而，可以通过任何方便的方式，将图像线边缘或者其他图像特征与照明图案的特征相关联，例如，通过使用具有对应于沿所述线的相应像素位置中的每个的条目的表格将位置值X(i)存储到具有针对照明图案的不同特征的条目的表格中，以及使用具有对应于每个相应边缘位置的条目的表格将特征的标记L(i)存储到针对像素位置X=X (i)的条目中，以及将特征的标记L(i)存储到针对边缘位置X(i)的条目中，存储对儿(X(i)，L(i))的集合，存储位置和标记中的每个，等等。所述标记可以是预定特征序列中的照明特征的索引，或可以是到具有关于特征的信息的数据块的指针，等等。
[0031]在第五步骤25中，处理系统14确定针对具有第一极性的图像线边缘(边缘的第一子集)的关联照明图案边缘L(i)。对于初始照明图案，可以跳过第五步骤25。在第六步骤26中，处理系统14确定针对具有第二极性(边缘的第二子集)的图像线边缘的关联照明图案边缘L(i)。
[0032]在第五步骤25中，处理系统14使用来自利用先前照明图案？(11-1)、？(11-2)...获得的一幅或多幅获得的一幅或多幅图像頂(n-1)、IM(n-2)...的图像线的关联照明图案边缘L(i)确定来自利用当前照明图案P(n)获得的图像IM(η)的图像线的关联照明图案边缘。
[0033]如果能够假定照明图案Ρ(η)中的所有照明图案边缘都对应于沿图像线的位置x(i)上的图像线边缘且反之亦然，那么处理系统14可以通过针对来自利用先前照明图案P(n-l)获得的图像IM(n-l)的每个图像线边缘确定利用当前照明图案P(n)获得的当前图像IM(n)中的第一极性的最近图像线边缘的位置x(i)来执行第五步骤25。在另一实施例中，针对先前结构化照明图案确定的第一极性的边缘的估计运动可以用于在搜索最近的边缘之前调整图像位置。可以根据来自一系列先前结构化照明图案的对应边缘的图像位置估计所述运动(使用关联边缘和/或其周围的一个或多个边缘)。处理系统14可以复制来自图像IM(n-l)的图像线边缘的关联照明图案边缘L(i’)，以使其与位置x(i)相关联。类似地，如果能够使用这一假设，那么处理系统14在第六步骤26中针对在位置x(i)处的第二极性的每个图像线边缘确定在位置x(1-l)、x(i+l)处的第一极性的相邻图像线边缘的关联照明图案边缘L(1-l)、L(i+l)。之后，处理系统14选择当前照明图案P(n)中的跃迁的照明图案边缘L(i)，L(i)处于与相邻位置x(1-l)、x(i+l)处的第一极性的图像线边缘相关联的照明图案边缘L(1-l)、L(i+l)之间，并且处理系统14将选定的照明图案边缘L(i)与第二极性的图像线边缘的位置x(i)相关联。
[0034]对于某种类型的对象，并在一些照明条件下，使用这种类型的假设可能导致提高的错误概率。在实施例中，可以通过利用以下认识降低这样的错误的概率:在已经借助来自利用先前照明图案P(n-l)获得的图像頂(η-l)的图像线边缘与照明图案边缘相关联的第一极性的每对儿图像线边缘之间，只能出现一个正确的第二极性的图像线边缘。处理系统14可以被配置为，如果在一个对儿之间出现了多个第二极性的图像线边缘，那么选择第二极性的一个边缘。因此，与将所有的图像线边缘与照明图案边缘关联相比，降低了“错误”关联的概率。
[0035]处理系统14可以被配置为使用多个标准中的任意来选择处于第一类型的图像线边缘之间的第二类型的一个边缘。在所述图像是在图像线边缘的位置上具有符号变化的差值图像(例如，是通过对在照射期间利用图案和该图案的互补获得的图像值取差值获得的)的实施例中，能够通过选择累积信号函数的局部极值(如果第二类型的边缘是下降边缘那么取极大值，且如果其为上升边缘那么取极小值)来选择所述图像线边缘位置
[0036]F(X)=Sum S (i)
[0037]其中，S(i)是当前图像线中并处于沿该线以i索引的位置上的图像頂(η)的值，并且求和是在一直到该线上的位置X的索引值范围上进行的。信号S(X)可以是多位信号(例如，8位信号)。函数F是检测评分值的函数的范例，所述评分值可以用于选择处于与第二类型的照明图案边缘相关联的图像位置之间的一个检测的第二类型的图像线边缘。
[0038]可以使用其他具有实际上地类似作用的标准代替这种累积信号函数。累积信号函数的使用有效地消除了基于图像线边缘的位置检测，在所述图像线边缘上，信号的符号从初始值发生变化，但是在短暂间隔后跟随着一个返回边缘，反之所述返回边缘之后跟随着一个较长间隔，在所述较长间隔内沿所述图像线的信号具有初始值(更一般而言，如果处于初始值上的线部分较长，那么消除这样的图像线边缘+返回图像线边缘)。如果在第二类型的正确边缘附近存在很多这样的对儿，那么仍然可能出现小的位置错误，但是这样的小的位置错误未必会影响最终结果。当然，如果不使用差值图像，那么可以应用类似的技术，例如，通过使用图像信号与图像信号在与照明图案边缘相关联的第一极性的图像线边缘对儿之间的平均值之间的累积差(如果使用差值图像，也可以使用这种方案)。可以根据向处于与照明图案边缘相关联的第一极性的图像线边缘对儿之间的信号段施加滤波操作的结果，并确定位置。可以使用其他检测评分作为替代标准。例如，可以基于作为检测评分的边缘幅度(例如，通过选择具有最大幅度的边缘)或者根据依赖于到已经与在相邻图像线中的照明图案边缘相关联的第二类型的最近边缘位置X(i)的距离的评分(例如，通过选择当前图像线中最接近该边缘位置的边缘)来选择第二类型的所述一个边缘。可以使用这样的标准的组合，例如，通过根据不同标准(累积信号值、幅度、距离等)向位置分配评分，针对每个边缘根据所述不同标准组合评分，并选择具有最佳的组合评分的边缘。
[0039]在实施例中，处理系统14可以通过由多幅图像頂(η-1)、頂(n-2)...确定最近的边缘而执行第五步骤25。在这一实施例中，第五步骤25包括将先前图像頂(η-1)、IM(n-2)...中与照明图案边缘L=L(i’)相关联的位置x(i’)更新至利用当前照明图案P (η)获得的图像IM (η)中与相同的照明图案边缘L=L(i)相关联的位置x(i)。
[0040]此外，在这一实施例中，第五步骤25包括根据利用任何先前照明图案P(n-l)、P(n-2)获得的图像IM(n-l)、IM(n-2)为第一极性的每个图像线边缘位置x(i)确定最近的更新图像线边缘位置x(i’)，并复制该最近图像线边缘的关联照明图案边缘L (i)。可以使用对这一程序的各种细化。例如，处理系统14可以被配置为，只有在距离较新的图像IM(η’’)(η’〈η’’)的预定距离d内没有可用的位置x(i’)，即只有在较新图像IM(η’’)中没有满足Ix⑴-x(i’)|〈d的位置x(i’)的情况下才借助来自较早的图像頂(η’)的位置以为当前图像IM(η) (η’〈η)复制相关联的照明图案边缘。
[0041 ] 作为另一范例，可以基于图像值与阈值的比较向沿相继的图像IM (O)、IM(I)...中的图像线的像素位置分配二元值(I或O)。通过这种方式，在没有对象运动的情况下，来自N幅不同图像Μ(0)、Μ(1)、...、頂(N-1)的针对相同位置的二元值形成N位代码，该代码能够用作在该位置处能看见的照明图案部分的索引。能够通过移动由沿所述线的二元值形成的信号中的边缘的位置将运动计算在内，所述移动每次都根据利用相同的关联照明图案边缘针对该边缘已经找到的位置进行的。
[0042]尽管已经描述了在确定第二极性的边缘位置的第六步骤26之前执行确定第一极性的边缘位置的第五步骤25的实施例，但是应注意，可以反转这一顺序。在这种情况下，针对先前结构化照明图案确定的第一极性的边缘的图像位置可以用于设置范围，在该范围中确定第二极性的边缘的图像位置的搜索。在另一实施例中，针对第一极性的边缘估计的运动可以用于在设置所述范围之前调整图像位置，所述第一极性的边缘是针对先前结构化照明图案确定的。可以根据来自一系列先前结构化照明图案的对应边缘的图像位置估计所述运动。接下来，针对当前结构化照明图案确定的第二极性的边缘的图像位置可以用于设置范围，在该范围中确定第一极性的边缘的图像位置的搜索。在这一实施例中，可以在第五步骤25中使用与第六步骤26中类似的累计加和算法，用于计算所述累计加和的起始位置是根据第二极性的边缘的选定位置的位置确定的。这可以提高对抗运动影响的鲁棒性。
[0043]处理系统14可以被配置为增强更新期间的单调性，例如，对于每幅图像保持条件x(0)〈x(l)〈x(2)〈...。例如，处理系统14可以被配置为，如果更新一个较低位置x(i’ -1)将使该较低位置移动经过位置X (i’)，那么也更新较早图像IM (η’)中的边缘的位置x(i’)，对于所述位置，在较新的图像中没有找到对应的位置。例如，可以将位置x(i’)位移与位置x(i’-l)相同的量，或者移动距离位置x(i’-1)的预定偏移。
[0044]当处理系统14在第七步骤27中确定已经针对预定数量的照明图案执行了先前的步骤时，处理系统14继续到第八步骤28。在第八步骤28中，处理系统14使用位置x(i)和关于对应于具有与所述位置相关联的关联照明图案边缘L(i)的边缘的3D表面的信息，确定在照明图案中的边缘能看见的对象点的3D坐标。处理系统14可以使用这样的事实，SP位置x(i)和检测到所述位置的图像线定义了像素位置，所述像素位置转而定义了可以在该像素上被成像的点的3D线。此外，处理系统14可以使用这样的事实，S卩，照明图案边缘对应于由来自光源10的穿过截面中的边缘的光线形成的3D表面。处理系统14可以通过求解这一 3D线和这一 3S表面的交叉处的点，求解对象点的3D坐标或者对象点到照相机的距离。
[0045]在备选实施例中，第八步骤28可以包括处理系统14控制光源以利用另一照明图案P’照射对象，并基于照明图案P(Π)的截面内的边缘与另一照明图案中的特征之间的空间关系使用借助图像頂(η)获得的关联照明图案边缘L(i)识别所述另一照明图案中的特征。
[0046]在实施例中，处理系统14被配置为通过确定像素位置之间的图像强度的插值或者图像强度的推导量与预定水平相交的位置，来以亚像素准确度确定图像线边缘位置X(i)中的至少一个。因此，可以使更为可靠的边缘识别成为可能，并且能够以高准确度确定3D位置。
[0047]针对图像頂(η)的多条图像线，可以针对所述图像线中的不同图像线独立地执行该过程。在实施例中，如果没有检测到边缘，相邻线中的边缘的关联照明图案边缘可以用于将照明图案边缘与图像线上的位置相关联。在另一实施例中可以使用二维图像算子检测边缘，所述二维图像算子例如来自相邻图像线中的对应像素的像素值的总和。
[0048]如所描述的，使用一系列照明图案，其中，每个相继的照明图案Ρ(η+1)具有具体而言是边缘(空间上改变光强)的第一强度特征，所述第一强度特征处于与先前照明图案P (η)中的强度特征(边缘)的位置以及第一照明图案边缘之间的第二强度特征的位置相等的那些位置处。
[0049]在实施例中，可以采用在不同时间点上获得的图像重复第八步骤28。因此，可以将使用先前步骤的一次边缘识别应用于多个时间点上的3D位置确定。在实施例中，可以应用位置跟踪来补偿由于应用了第八步骤28的不同图像之间的对象运动而产生的边缘运动。在实施例中，一系列结构化照明图案的部分可以在这样的重复的第八步骤28之前或者之后被投射到对象上，并用于其识别对应于第一极性和第二极性的边缘的图像位置，如之前所描述。在另一实施例中，只针对选定的第八步骤28的重复执行完成所述操作，例如当测试表明现有的边缘识别可能遗漏或者不可靠时，例如当检测到针对不同线中的相同边缘确定的图像位置的差异超过了阈值、时间上的运动超过了阈值、或者没有找到边缘时。
[0050]在这一实施例中，可以按照时间顺序投射来自所述系列的相继的先前结构化照明图案，即，具有相继减少的边缘的图案。当在这种情况下使用来自所述系列的结构化照明图案获得了图像时，先前确定的、优选经运动补偿的、该图案中的图像位置用于设置针对第一极性和/或第二极性的边缘的搜索范围。如果搜索为所有的边缘产生了新的图像位置，那么这些新的图像位置用于以借助图2的流程图描述的方式针对接下来的结构化照明图案的边缘确定图像位置，而不是应用于来自所述系列的新投射的结构化照明图案。只有在并未针对所有边缘确定图像位置的情况下，下个先前结构化照明图案才被投射，并用于搜索图像位置等。通过这种方式，来自所述系列的结构化照明图案的最高频部分可以用于补偿运动跟踪期间的准确度损失。尽管已经将仅使用结构化照明图案的部分进行重新照射以例如校正由于运动带来的识别损失的这种选择描述为与第八步骤28的重复执行一起使用，但应当认识到，这种选择也可以在第一次执行第八步骤28之前应用，例如，通过响应于检测到不可靠的结果或者第五步骤25和第六步骤26中遗失的边缘，利用具有更少边缘的结构化照明图案中的一个或多个进行重新照射并重新识别图像中的检测的边缘。
[0051]尽管已经在附图和前面的描述中详细说明并描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的；本发明不限于公开的实施例。
[0052]尽管描述了使用照明图案中的边缘的实施例，但是应当认识到可以使用其他可定位的特征。例如，可以使用在截面中具有预定宽度的线或子波的照明图案，所述线的中间位置用于替代边缘位置。然而，这可能使得更难以基于边缘极性区分第一子集和第二子集。
[0053]尽管照明图案中的每个特征优选具有在与下一照明图案中的相同位置处的配对部分，但是应当认识到并非总有这种需要。因此，特征(例如，最外侧特征)可以用于指导针对有限数量的后续照明图案的关联照明图案特征的选择，而不必一直用到最后的照明图案。
[0054]尽管已经大体上针对光/图像强度特征描述了该过程，但应当认识到可以使用彩色成分的强度或者彩色成分的组合。光源10可以被配置为利用一个彩色分量的光照图案，或者利用白光图案，或者利用不同彩色成分中的多个不同图案照射对象。
[0055]尽管已经描述了在第一子集的每个特征对儿之间添加第二子集的特征(边缘)的实施例，但应当认识到第二子集可以包括更少的特征。因此，照明图案P(n)可以不含有处于在先前照明图案P (η-1)中已经存在的相继特征对儿之间的额外特征。这具有这样的效应:更少的新特征能够是关联照明图案特征，并且必须在不同图像区域中的第一集合和第二集合中的特征的极性之间进行区分。在另一实施例中，可以在第一子集的特征对儿之间添加第二子集的一个以上的特征。这具有这样的效应:更多新特征能够是关联照明图案特征，但是必须在具有相同极性的第一特征和第二特征之间进行区分。
[0056]尽管已经描述了使用具有相继增多的特征的照明图案的实施例，但应当认识到，或者，可以按照相反的顺序使用所述照明图案。在这种情况下，处理系统14可以存储针对不同图像的检测的图像线特征位置，并从具有最少的特征的图像开始向后执行照明图案特征关联步骤。
[0057]在另一实施例中，可以按照任何时间顺序使用照明图案P (η)。但是，照明图案的使用具有时间上增加或者减少的数量的特征。
[0058]尽管已经描述了具有最少的特征的照明图案具有一个特征的实施例，但应当认识至IJ，或者，具有最少的特征的照明图案可以具有一个以上的特征。只要所述特征具有充分的空间间隔以允许图像线特征的初始识别(例如，通过从图像线的开始对特征进行计数)，就能够利用这样的照明图案作为起点执行该过程。
[0059]尽管已经描述了照明图案基本上为二元(通断)的实施例，但应当认识到，或者，可以使用具有作为位置的函数的更加渐进的强度变化的照明图案。
[0060]尽管已经描述了照明图案具有处于射线的平面内的特征的实施例，但应当认识至IJ，或者，可以使用处于曲面内的特征，即使对象16是平的，其也可以与对象16具有弯曲的相交。考虑到对表面的3D形状的描述，处理系统14能够通过求解来自照射机的光线与所述表面的3D形状的相交而确定3D位置。不需要使具有照明图案中的特征的各表面彼此平行，而是优选使它们在照相机视角定义的范围内彼此不相交。
[0061]通过研究附图、说明书和权利要求书，本领域的技术人员在实践请求保护的本发明时能够理解和实现对所公开实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，量词“一”或“一个”不排除多个。单个处理器或其他单元可以完成权利要求中记载的若干项目的功能。在互不相同的从属权利要求中记载特定措施并不指示不能有利地使用这些措施的组合。计算机程序可以存储和/或分布在适当的介质上，所述介质例如是与其他硬件一起供应或作为其他硬件一部分供应的光学存储介质或固态介质，但计算机程序也可以以其他形式分布，例如经由因特网或者其他有线或无线的远程通信系统。权利要求中的任何附图标记不得被解释为对范围的限制。
【权利要求】
1.一种根据利用结构化照明获得的对象的2D图像确定3D表面位置信息的方法，所述方法包括: -提供一系列结构化照明图案，所述系列中的每个相继的结构化照明图案包括强度特征的第一子集和第二子集，第一集合的每个强度特征与来自所述系列中的先前结构化照明图案的第一子集或第二子集的强度特征中的相应一个在空间上一致； -每次至少在一个不同的时间点利用所述系列的所述结构化照明图案中的不同结构化照明图案照射所述对象； -每当利用所述照明图案中的相应一个照射场景时捕获所述场景的2D图像； -检测在所述图像中能看见所述结构化照明图案的所述第一子集和所述第二子集的强度特征的图像位置； -针对每个相继的结构化照明图案， -基于在利用所述系列中的先前结构化照明图案获得的图像中的具有关联强度特征的检测的图像位置的关联强度特征，将所述第一子集的强度特征与能看见所述第一子集的强度特征的图像位置相关联，并且 -在与所述第一子集的相互邻近的强度特征相关联的图像位置对儿之间的相应位置范围内，将所述第二子集的强度特征与能看见所述第二子集的强度特征的图像位置相关联，所述关联基于所述相互邻近的强度特征的关联； -使用所述系列的最终结构化照明图案中的强度特征和图像位置之间的关联来识别所述最终结构化照明图案的强度特征，以确定3D表面位置信息。
2.根据权利要求1所述的方法，其中，按照对应于所述结构化照明图案在所述系列中的序列的时间序列，利用所述结构化照明图案照射所述对象。
3.根据权利要求1所述的方法，其中，所述强度特征是所述结构化照明图案中互不相同的光强度的区域之间的边缘。
4.根据权利要求3所述的方法，其中，所述第一子集和所述第二子集的强度特征是在沿图像线的强度变化的相反方向上的边缘。
5.根据权利要求1所述的方法，其中，所述方法包括:如果在所述对儿中的一个的所述图像位置之间检测到所述第二子集的多个强度特征，那么在所述对儿中的所述一个的所述图像位置之间选择能看见所述第二子集的强度特征的一个图像位置，并将选定的图像位置与处于与所述位置对儿的所述一个相关联的强度特征之间的所述第二子集的强度特征相关联。
6.根据权利要求1所述的方法，包括: -向相应的图像位置分配用于检测所述第二子集的强度特征的特征检测评分值， -基于处于所述对儿的所述图像位置之间的图像位置范围的所分配的检测评分值，针对所述图像位置对儿中的每个选择一个中间图像位置，并且 -将选定的图像位置与处于与所述位置对儿相关联的强度特征之间的所述第二子集的强度特征相关联。
7.根据权利要求1所述的方法，包括根据所述系列的下个先前结构化照明图案的所检测的最近的强度特征的关联强度特征，将所述第一子集的强度特征的所检测的图像位置相关联，并且，如果在下个先前结构化照明图案中没有找到这样的所检测的最近的强度特征，那么就从所述系列中的另一先前结构化照明进行寻找。
8.根据权利要求5所述的方法，包括根据利用所述系列的处于所述相继的照明图案之前的最前面的结构化照明图案针对这些位置发现的所述位置，更新所述系列的所述先前结构化照明图案的强度特征的所述位置，以确定最近的强度特征。
9.根据权利要求1所述的方法，包括: -首先将在利用所述系列中的先前结构化照明图案获得的所述图像中与所述第一子集的强度特征相关联的所述图像位置对儿之间的、能看见所述第二子集的强度特征的图像位置与处于与利用所述系列中的当前结构化照明图案获得的所述图像中的所述位置对儿相关联的强度特征之间的所述第二子集的强度特征相关联； -在利用所述系列的所述当前结构化照明图案获得的所述图像中，定义处于与所述第二子集的相继强度特征相关联的图像位置之间的搜索范围； -随后在所述搜索范围中搜索能看见所述第一子集的强度特征的图像位置，并且将该图像位置与在利用所述系列中的所述当前结构化照明图案获得的所述图像中的关联强度特征相关联。
10.根据权利要求1所述的方法，包括: -当已经丢失了图像位置与所述第一子集和/或所述第二子集的强度特征之间的关联时，附加地利用仅来自所述系列的一部分的一个或多个结构化照明图案重复对所述对象的照射， -每当利用所述部分的照明图案中的相应一个照射所述场景时捕获所述场景的一幅或多幅另外的2D图像； -在所述一幅或多幅另外的图像中重新将强度特征与能看见所述第一子集的强度特征的图像位置相关联。
11.根据权利要求1所述的方法，包括使用所述系列的所述最终结构化照明图案中的所识别的强度特征的所检测的位置，确定对象位置的3D表面位置信息，在所述对象位置处所述最终结构化照明图案的强度特征与所述对象相交。
12.根据权利要求1所述的方法，包括: -利用与所述最终结构化照明图案具有预定空间关系的另一结构化照明图案照射所述对象； -在相比于利用所述系列的最初照明图案照射所述对象的时间更接近于利用所述最终照明图案照射所述对象的时间的时间处，利用所述另一结构化照明图案照射所述对象的同时捕获另一图像； -使用利用所述最终照明图案的强度特征获得的位置的关联强度特征和所述预定空间关系识别所述另一图像中的所检测的强度特征； -使用利用所述另一结构化照明图案获得的所识别的强度特征的所检测的位置确定对象位置的3D表面位置信息，在所述对象位置处所述另一结构化照明图案的强度特征与所述对象相交。
13.根据权利要求1所述的方法，其中，根据沿图像线的图像强度变化检测所述图像位置。
14.一种计算机程序产品，包括用于可编程计算机系统的指令的程序，所述指令当由所述可编程计算机系统执行时，将令所述可编程计算机系统执行根据前述权利要求中任一项所述的捕获、检测和关联步骤。
15.一种用于使用一系列结构化照明图案确定3D位置信息的3D对象扫描器，所述系列中的每个相继的结构化照明图案包括强度特征的第一子集和第二子集，第一集合的每个强度特征与来自所述系列中的先前结构化照明图案的第一子集或第二子集的强度特征中的相应一个在空间上一致，所述3D对象扫描器包括被配置为投射结构化光照的光源、照相机以及耦合至所述光源和所述照相机的处理系统，所述处理系统被配置为 -每次在不同的时间点利用所述照明图案中的相应一个照射场景时捕获所述场景的2D图像； -检测在所述图像中能看见所述对象与所述结构化照明图案的第一强度特征和第二强度特征的相交的图像位置； -针对每个相继的结构化照明图案， -基于在利用所述系列中的先前结构化照明图案获得的图像中的具有关联强度特征的检测的图像位置的关联强度特征，将所述第一子集的强度特征与能看见所述第一子集的强度特征的图像位置相关联，并且 -在与所述第一子集的相互邻近的强度特征相关联的图像位置对儿之间的相应位置范围内，将所述第二子集的强度特征与能看见所述第二子集的强度特征的图像位置相关联，所述关联基于所述相互邻近的强度特征的关联； -使用所述系列的最终结构化照明图案中的强度特征的标记来识别所述最终结构化照明图案的强度特征，以确定3D表面`位置信息。
【文档编号】G06T7/00GK103562676SQ201280025159
【公开日】2014年2月5日 申请日期:2012年5月11日 优先权日:2011年5月24日
【发明者】D·N·兹纳缅斯基, R·弗卢特尔斯, K·C·范布雷 申请人:皇家飞利浦有限公司