光学地形成像的制作方法

光学地形成像的制作方法
【专利摘要】公开了一种对具有感兴趣的特征的对象的预定义部分进行研究的方法和设备。所述感兴趣的特征定义包括所述对象的对象类别。光源从不同的照明方向直接地对对象进行照明。光源保持在相对于对象而言稳定的配置中。对于每个照明方向，借助保持在相对于光源而言稳定的配置中的相机，根据从对象散射的光生成图像。将从针对对象类别的机器学习中得到的方法应用于对所生成图像进行过滤，针对与感兴趣的特征相一致地特性来对所生成的图像进行过滤。根据过滤图像确定表面梯度，并且对所述表面梯度积分以生成对象的表面的地形。
【专利说明】光学地形成像
[0001]相关申请交叉引用
[0002]本申请是申请号为61/473，860、题为 “OPTICAL TOPOGRAPHIC IMAGING”、在 2011年4月11日提交的美国临时专利申请的非临时性申请，并且要求所述临时申请的权益，在此通过引用来整体并入所述临时申请的全部公开。
【技术领域】
[0003]本申请总地涉及光学成像。更具体地，本申请涉及光学地形成像。
【背景技术】
[0004]存在多种应用，其中需要对对象进行研究以分析其地形特征。一种具体示例是指纹成像，其中在识别应用中普遍使用凸处的地形图案，以便或者提供根据指纹识别人的机制或者基于人的指纹来验证人所声称的身份。
[0005]目前使用的大多数指纹采集方法依据在手指表面上或非常接近于手指表面的皮肤的测量特性。具体地，光学指纹读取器通常依赖于在传感器板和置于其上的皮肤组织之间存在还是不存在折射率的差别。当指纹的空气填充的凹处在板的特定位置之上时，由于空气-板的折射率差别在板中发生全内反射(TIR)。替换地，如果具有合适折射率的皮肤与板有光学接触，那么在该位置处的TIR被破坏，允许光穿过板-皮肤接触面。在手指触摸板的整个区域上TIR的差别图形成用于常规光学指纹读取的基础。存在多种光学装置，用于检测在亮场和暗场光学装置二者中光学接触面的这种变化。通常，使用单个准单色光束以进行该基于TIR的测量。
[0006]也存在不依赖于该基于TIR的测量的其他的光学指纹传感器。在大多数情况下，这样的传感器依赖准单色光的某种排列以照明指尖的前面、侧面或后面，这引起光通过皮肤漫射。根据整个凸处和凹处的皮肤-板边界的光传输的差别形成指纹图像。在光传输中的差别是由于菲涅耳反射特性的变化所引起的，所述变化由在凹处中存在或不存在任何中间空气间隙而产生。
[0007]使用成像以分析地形特征的另一个示例是在机器可读符号的部署中，所述机器可读符号直接被合并到被标记为供应链监控系统的部件的部件上。使用符号以便通过用唯一的具有地形特征的符号来对部件进行标记从而改进供应链管理，所述地形特征通过诸如激光蚀刻、化学蚀刻、点式打标、浇铸、机械加工和其他操作来形成。对唯一的符号进行成像以及由此进行读取的能力对于监控部件和材料通过供应链的转移是至关重要的。这样的符号在此称作“加工条形码”，但是这样的术语并不打算对形成符号的方式进行限制。

【发明内容】

[0008]本发明的实施例提供对对象的预定义部分进行研究的方法，所述对象具有对包括所述对象的对象类别进行定义的感兴趣的特征。多个光源中的每一个从不同照明方向直接照明对象。多个光源被保持在相对于对象而言稳定的配置中。对于每个照明方向，利用保持在相对于多个光源而言稳定的布置中的相机，根据从对象散射的光生成图像。将从针对对象类别的机器学习中得到的方法应用于对所生成的图像进行过滤以得到与感兴趣的特征一致的特性。根据过滤图像确定对象的表面梯度(surface gradient)。对表面梯度积分(integrate)以生成对象的预定义部分的表面的地形。
[0009]在一些实施例中，也可以根据所生成的图像确定对象的漫反射系数(albedo)。
[0010]当对象的预定义部分近似平面时，对所生成图像进行过滤可以包括将带通滤波器应用于所生成的图像。当感兴趣的特征包括方向时，对所生成的图像进行过滤可以包括将方向滤波器应用于所生成的图像。当感兴趣的特征包括色彩特性时，对所生成的图像进行过滤可以包括将色彩滤波器(chromatic filter)应用于所生成的图像。
[0011]确定表面梯度的过程可以包括将解卷积应用于所生成的图像，以计算(accountfor)由对象的大组件所引起的各向异性的光散射。在一些实例中，将不同的处理应用于所生成图像中的每一个。具体地，可以通过应用作为由多个光源相对于对象的位置所定义的几何形状的函数所生成的周期性因数，来提取表面梯度。在一些实例中，可以借助机器学习过程来确定这些周期性因数。
[0012]可以通过地形图像来定义对象的表面的地形，可以针对特定的效果对所述地形图像实施变换。例如，变换可以改变地形图像的对比度，可以减少在地形图像内的由镜面光所引起的伪影(artifacts)，或者可以将地形图像二值化。此外，可以借助机器学习过程来确定这些变换。
[0013]例如，当每个光源生成处于基本上相同波长的光时，光源基本上可以是单色源。光源可以以基本上相同的仰角围绕对象分布，并且在相对于对象的方位上基本上均匀地分布。在一些实例中，对象的部分与板光学接触，所述板对于由光源生成的光而言基本上是透明的。
[0014]在其他实施例中，光源提供处于多种波长的光，使得对表面梯度的确定包括在所述多种波长中的每一种上确定表面梯度。这可能在其中至少一些光源包括多色光源的实施例中发生。当在多种波长中的每一种上根据所生成的图像确定对象的表面的漫反射系数，以便可以比较多种波长的确定的漫反射系数，以确定对象作为生物测量样本的真实性时，这样的实施例也是有用的。
[0015]可以顺序地激活光源以直接照明对象。在其他实施例中，通过以借助变换来确定对各个光源的响应的模式同时激活至少一些光源。可以通过局部地修改至少一个生成的图像以排除对象研究的阴影部分从而对阴影效果进行处理。
[0016]对象可以包括多种对象中的任意一种，所述对象的示例包括生物测量样本和加工条形码。
[0017]本发明的这些方法也可以实施在用于对对象进行研究的设备中。这些设备包括多个光源、相机和计算单元，所述计算单元与多个光源并且与相机进行通信。布置光源以从不同的照明方向照明对象，并且布置相机以接收从对象散射的光源。计算单元具有实现如上描述的方法的指令。
【专利附图】

【附图说明】
[0018]通过参考说明书的剩余部分和附图，可以实现对本发明的特性和优点的进一步理解，其中，在一些附图中使用类似的参考标记以指代类似的组件。
[0019]图1A图示根据本发明的实施例的光学地形成像设备的一般配置；
[0020]图1B是可以用于管理图1A的光学地形成像设备的功能的计算机系统的示意性表示；
[0021]图2提供图示诸如表面形状和针对不同照明角度在物体的图像上的反射之类的地形特征的效果的一系列图像；
[0022]图3A和3B提供加工条形码的示例；
[0023]图4是总结本发明的方法的流程图，以及
[0024]图5提供诸如可以使用在本发明的实施例中的神经结构的图示。
具体实施例
[0025]本发明的实施例总地针对使用光学地形成像以对对象进行成像的方法和设备。这些方法和设备具有多种应用，所述应用除了别的以外包括指纹和加工条形码成像。尽管下文的描述有时为了描述而具体提到指纹和/或加工条形码成像，但是这并不意味着限制。更一般地，本发明的方法和设备可以用于任何具有感兴趣的地形特征的对象。例如，手的(诸如手掌之类的)其他部分或者其他身体部分可以通过在此描述的方法和设备来成像。可以进行对多种制造的商品的测量，诸如对铸造或加工部分的表面光洁度的测量。来自子弹或其他这样的物体的划痕和其他取证细节也可以使用在此所描述的方法和设备来采集。
[0026]特别注意到，短语“光学地形成像”也不意味着限制。事实上，在此公开的技术和方法不仅允许提取地形学特征，也允许提取除了别的以外包括诸如是漫反射系数和色度之类的反射特征的对象的成像部分的其他特征。在一些实例中仅仅使用地形信息，但是在其他情况下使用地形和其他信息的组合。下文中详细讨论这些应用中的一些。
[0027]在图1A中提供可以用于实现光学地形成像的设备的结构图示。该附图是高度示意性的，意于图示在不同照明角度所拍摄的多个图像的直接采集。在实际实现方式中，在图中示出的不同组件可以封装到单个单元中；附图示出这样的封装的内部组件。
[0028]设备100包括多个光源104，每个光源可以使用例如光发射设备(LED)或激光二极管(LD)实现为基本上单色光源。可选地，可以使用具有合适光学滤波器元件的窄带源或宽带源来生成基本上单色的光。来自源104的光指向板112，所述板至少在源的波长上是透明的，以便可以对对象120进行照明。使用可以包括数字相机的相机108来对照明对象进行成像。提供计算单元124，其与相机108和光源104进行通信，并且所述计算单元124被配置以运行设备100和分析所采集的数据。“直接”采集图像是指，每个由相机108所采集的图像不局限于对象120与板112光学接触的区域，而是额外包括对象120的其他区域。事实上，在一些实施例中，可以省略板112，板112的存在主要用于引导对象120的定位以便成像。
[0029]通常，布置光源104以提供不同角度的照明，并且在一些实施例中可以围绕在基本上与板112平行的平面中的圆而圆周地布置光源104。在一些实例中，围绕圆均匀地(即以方位均匀分布地)布置源104，但是在其他实施例中布置可以是不均匀的。当围绕整个圆来布置源104时，这些源可以提供对对象120的360 °探测，但是在其他实施例中，诸如当光源120的位置定义半圆时，仅仅覆盖圆的部分。[0030]通常期望在这样的情况下部署设备100，其中相机108和对象120基本上相对于彼此静止并且在成像期间以固定的顺序使光源照明。可以将相同的成像原理应用于其他情况，其中可以数学地计算在对象120和相机108之间的相对运动。因为排列具有对照明装置和照明顺序、成像装置以及样本平面进行限定的固定的几何形状，所以可以使用包括分析事先获取的光学地形成像数据的多种技术来对特定的设备100进行校准。这样的校准随后可以有利地应用于未来的利用该特定设备所进行的测量。下文中将进一步对此进行描述，并且涉及成像技术利用机器学习算法的能力。具体地，因为通常使用设备100以对具有相似的地形特性(诸如指纹)的已知和有限的样本类别进行成像，所以事先采集的数据集可以用于得到成像的规则、系数、特征、关系和其他方面。可以使用机器学习算法对这些各种定量进行分析并且改善，以提高对所研究的不同对象的分析。考虑任意对象的一般情况的其他成像技术，诸如配置以确定不一定共享相似光学特性的对象的几何形状和漫反射系数，在机器学习的潜力中是更有局限性的。
[0031]光源104与板112的相对布置提供对象120的近场照明。这可能引起照明强度和照明角度在由板112所定义的对象平面上变化。如果需要，可以通过平场处理(flat-fielding)来校正照明强度变化，并且相信可以通过对称系统设计来部分地补偿照明角度的变化。
[0032]在一些实例中，当对象120与板112名义上接触时可以对对象120进行成像。在其中对象120包括手指或手掌等的生物测量实施例中尤其如此。在其中存在这种接触的实施例中，对象可以有利地认为是近似平面的，使得过滤能够应用在原始图像空间中而不是应用在积分空间(integrated space)中。此外，因为在对象_板边界处与对象-空气边界相比的折射差别，所以到达对象120的照明角度通常在光学接触点改变。
[0033]图1B提供计算单元124的示意性图示，图1B概括性地图示如何可以以分离的或更为集成的方式实现各个元件。计算单元124可以与其他元件一起封装来形成设备100自身的部分，或者可以单独地提供。示出其包括通过总线175电耦接的硬件元件。硬件元件包括处理器152、输入设备154、输出设备156、存储设备158、计算机可读存储介质读取器160a、通信系统164、诸如DSP或专用处理器之类的处理加速单元166、以及存储器168。计算机可读存储介质读取器160a进一步连接至计算机可读存储介质160b,组合广泛地表示远程的、本地的、固定的和/或可移除的存储设备以及用于暂时地和/或更永久地包含计算机可读信息的储存介质。通信系统164可以包括有线的、无线的、调制解调器的和/或其他类型的接口连接，并且允许数据与外部设备进行交换。
[0034]计算单元124也包括软件元件,所述软件元件被示出为当前位于工作存储器170之内，包括操作系统174和其他代码172，诸如设计以便实现本发明方法的程序。对于本领域技术人员而言显而易见的是，根据特定的需求可以使用大量的变形。例如，也可以使用定制硬件，和/或特定的元件可以在硬件中、软件中(包括诸如applet之类的可移植软件)或者在二者中实现。此外，可以采用与诸如网络输入/输出设备之类的其他计算设备之间的连接。
[0035]为了图示在不同照明角度照明对象120的效果，图2示出测试对象的八张图像。对象对应于具有三维形状的生物测量指纹，对于三维形状的反射差别已经加入以遵守由方块图案所图不的表面。附图中的不同图片对应于对于45°仰角和45°方位角的不同方位照明方向所产生的图像。随着照明角度变化，表面形状和反射引起在图像中的不同效果，使得可以提取不同种类的信息。尽管当对各种对象进行成像时看到相同的一般效果，但是各个对象可以具有不同等级的光学复杂度。对于生物测量对象的突出光学效果包括漫反射面反射、子面散射或体积散射、镜面反射和多色漫反射系数。
[0036]尽管典型的生物测量对象是光学复杂的，其他测试对象可以是光学上相对简单的。一种示例是加工条形码，其示例在图3A和3B中提供以用于描述。图3A示出使用点式打标过程产生的以便通过在金属基体中的小凹坑来显现条形码的加工条形码的示例。图3B示出另一个示例，其中使用点焊来产生加工条形码。该具体的示例是令人感兴趣的，因为从点焊所生成的元件有时不好地形成，但是本发明的方法和系统任然可以准确地对加工条形码进行成像和解释。
[0037]在图4的流程中提供本发明的方法的概述。尽管图中以特定的顺序列出了特定的步骤，但是这并不意味着限制，而是为了图示一个示例性实施例。在其他实施例中，可以忽略具体标出的步骤中的一些，也可以进行没有明确列出的额外步骤，和/或可以以不同于示出的顺序来进行步骤。在示例性实施例中的步骤排序有时有利地利用上文中指出的设备结构100的物理几何方面以简化处理。
[0038]在方框404处通过使用在不同照明方向上的多个光源120来照明对象104，方法开始。不同源的照明通常期望是顺序的，特别地在其中每个光源104基本上是处于相同波长的单色的实施例中。在方框408中，在每个照明方向上采集原始图像，形成原始图像数据集，从所述原始图像数据集中提取关于对象120的信息。
[0039]在方框412，可以对原始图像数据应用对数变换，由此将原始强度数据转变为伪吸光率。不同的实施例可以使用任何对数底以用于变换，包括常用对数和自然对数二者。这样的对数变换到伪吸光率有利地将一些乘法光学效果转变为加法光学效果。例如，作为反射强度与入射强度的无量纲的比率所定义的漫反射系数，在原始数据空间中相乘地组合，但是在对数数据空间中相加地组合。
[0040]在块416中，应用特征选择滤波器，所述特征选择滤波器的一个示例包括带通滤波器。当对象120是近似平面时使用带通滤波器是有利的，就像上文中所指出的那样，当对象120与板112名义上接触并且能够用于通过保留高频信息而减少低频信息来锐化图像时就是这种情况。可应用的带通滤波器的示例包括拉普拉斯滤波器、拉普拉斯-高斯滤波器、高斯差分滤波器及其他。在其他情况下，感兴趣的特征可以包括中间空间频率(mid-rangespatial frequencies)或者低空间频率。例如,感兴趣的特征可以已知具有特定的方向、方向的范围或者方向的集合。在这样的情况下，可以应用诸如Gabor滤波器滤波器、双树复数小波滤波器和其他此类滤波器之类的方向选择性滤波器。在其他示例中，感兴趣的特征可以已知具有特定的色彩特性，在这种情况下光谱选择性滤波器可以应用于图像上。可以应用其他种类的线性或非线性特征选择性过滤，来替代或者连同任何上面提到的过滤进行使用。有时可以将特征选择性滤波器的应用延迟至在图4示出的过程中晚些时候。例如，梯度函数或法向量可以应用过滤以加强平面性。
[0041]在块420，也可以应用其他滤波器。在一些实施例中，根据每种不同的照明情况来有利地应用不同的处理，其中一个示例是散射校正。例如在生物测量应用的情况下，可以通过识别从皮肤反射的一部分光来自于体积子面散射来实现散射校正。在硅区域中的波长处，这样的散射是各向异性的，其中散射偏好沿入射照明线的前向方向。该散射各向异性使得原始图像包括根据照明角度而变化的特性模糊。该效果可以通过将诸如具有合适的核的解卷积之类的合适的滤波器应用于原始图像来得到减轻。每个原始图像由此可以借助对于照明情况而言合适的核来进行处理。
[0042]在方框424中从过滤图像中提取分量图像。提取的方法依赖于待提取的特定分量。例如，可以作为对数强度的平均值(mean)使用不变的提取因数来提取漫反射系数。
[0043]对于近似平面的对象120可以通过使用根据系统几何结构定义的周期性因数来提取对地形信息进行定义的表面梯度。例如，在其中光源104以不变仰角并且在整个360°角度范围的方位角上均匀分布的实施例中，用于X方向表面梯度Sx的提取因数可以是正弦的，并且用于y方向表面梯度Sy的提取因数可以在积分上是相同的。提取因数的(例如顺时针的或逆时钟的)指向和相位匹配于设备100的配置。根据系统几何结构的其他提取因数的定义对于本领域技术人员而言将是明显的，并且在一些实施例中可以包括非正弦因数。
[0044]在一些实施例中，对用于生成表面梯度\和Sy的提取因数进行选择以降低对DC光的敏感性。这不仅降低了在设备100周围的DC环境光对提取因数的影响，而且降低了漫反射系数对表面梯度提取因数的影响。在其他实施例中，所述因数对其他非同步照明变化也具有降低的敏感度，这提高了针对在采样期间波动的环境光的辨别力。例如当设备100部署在由荧光光所照明的环境中时，这可能成为问题。
[0045]存在可以选择提取因数以满足这些不同的标准的多种方式。在一些实施例中，由人定义提取因数以适应在要部署设备100的环境中最常期望的光条件。在其他实施例中，更具体地通过具有被配置以适合广泛定义的光环境类别的不同设备而定制设备100:例如，设备的一种配置可以作为适合室外白天使用而销售，具有为了适应明亮的阳光和某些程度的云遮盖的出现所优化的提取因数；另一种配置可以作为适合办公室环境而销售，具有针对荧光光条件所优化的提取因数；以及另一种配置可以作为适合昏暗光使用而销售，具有基本上正弦的提取因数。在其他实例中，通过使人检查部署环境、可能进行环境的光测试、以及获得合适的提取因数，可以针对特定环境来非常具体地定义提取因数。
[0046]在其他实施例中，如下文所描述的机器学习技术可以用于使得设备根据部署在环境中时所采集的具体数据开发针对部署环境定制的提取因数。
[0047]在图4的方框428中，通过对表面梯度Sx和Sy积分，来对所提取的地形分量积分(integrate)以生成地形图像。积分通常数字地进行，使用多种公知积分方法，诸如Frankot-Chellapa方法和使用shapelets的方法等。
[0048]一旦生成地形图像，在方框432中可以应用其他变换，尤其以进一步修改得到的地形图像并且更适合后续处理地渲染它。在具体的实施例中，修改图像以改变对比度，减少由镜面光产生的伪影和使图像二值化等。类似于地形提取因数的机器改善，可以利用应用于在部署设备100时所采集的数据的机器学习技术来开发这样的变换，从而可以将这些变换应用于当前和未来的数据。
[0049]存在多种可以在不同实施例中实现的机器学习。例如，图5提供可以在计算单元124的编码中实施的神经网络的概念性图示。典型的神经网络包括多个节点，每个节点具有与之相关联的权值。为了描述的目的，简化图5的示例。网络包括具有多个输入节点Ij的输入层和具有多个输出节点Ok的输出层，其间具有至少一层。在图5的简化的示例中，存在四个输入节点I1-14和三个输出节点O1-O315输入节点Ij的活动(activity)表示馈入到网络中的原始信息，而输出节点Ok的行为表示由网络所得到的解释。中间层用作加权层以对来自输入节点L的不同输入指定相对权重。
[0050]例如，在确定用于表面梯度的合适的提取因数时，输入层的节点可以对应于对提取因数的形状进行定义的参数，而输出层的节点可以对应于对计算的表面梯度的或地形重建自身的鲁棒性进行定义的参数。当系统接收到反馈时，神经网络可以重新组织自身，由此改变提取因数的形状以便得到改进了的地形重建。
[0051]在方框432处，可以作为附加变换应用来应用相同的技术。在应用变换以改变地形图像的对比度时，输入层的节点可以对应于对对比度变换的特性进行定义的参数，而输出层的节点定义所得到的对比度的适应性。在减少由于镜面光所引起的伪影时，输入层的节点可以相似地对应于对伪影减少变换的特性进行定义的参数，而输出层的节点对在所得到的图像中的伪影的出现的测量进行定义。经典的神经网络包括Kohonen网络、前馈网络和反向传播网络，其中每一个使用在训练过程期间调整权重和组织各自神经网络的不同方法。神经网络的该基本结构可以应用于可以在不同实施例中使用的进一步变换中的任何一种。
[0052]图5的神经网络是较广类别的机器训练技术的一个示例，其中任意一种技术可以可替换地应用在具体实施例中。例如，专家系统可以可替换地用作机器学习的一种形式，诸如包括随机优化的技术，在所述随机优化中通过使用诸如最速下降或模拟退火之类的方法根据输出图像来改变(诸如可以定义提取因数的)曲线的形状。在一些实施例中，通过根据基因算法改变形状来使用进化方法。
[0053]在另一实施例中，主分量分析用作机器学习技术的实现的部分。这样的主分量分析可以直接应用于所采集的数据或者可以优选地在对数变换之后应用于数据上。使用主分量分析的对本领域技术人员公知的技术，从对数变换数据中提取主要因数。在一个实施例中，主要因数的数量恰好是具有零平均值并且通常对DC光的影响不敏感的两个因数。这样的因数的示例包括正弦波，但是也可以在其他的实施例中使用其他因数。
[0054]发明人注意到，在这样的实例中可以实现改进了的图像，其中照明具有关于成像轴的双重镜像对称，即其中对于在(仰角，方位)坐标的每个光源104而言，在镜像坐标(仰角，方位+180° )处存在另一个光源104。对于该基于对称的改进的可能原因在于对象120和成像的非理想方面，包括诸如镜面改变、折射率改变和体积散射等的方面。
[0055]在生物测量的感测的情况中的进一步考虑在于，各种欺骗样本易于使很多生物测量传感器、尤其是指纹生物测量传感器无效。在指纹读取器的情况下，例如，使用多种方法，其中授权用户的指纹图案嵌入到诸如纸、明胶、环氧树脂或乳胶等的某种非生命材料中。由此，即使指纹读取器可靠地确定了匹配指纹图案的存在或不存在，但是在具有确保从真正的活体手指中获取匹配图案的机制的情况下，仍然可能危及系统的整体安全性。
[0056]在本发明的实施例中可以通过估计维数和/或纹理以确保与诸如手指之类的真正样本的一致性，来完成欺骗检测。例如，在一个实施例中，光学地形成像系统包括多个在不同照明波长上工作的单色光学地形成像子系统，由此提供了色彩信息。相机108随后可以包括色彩成像器并且可以作为多色光提供照明，计算单元124被配置为不同的单色光学地形成像子系统以分析多种波长。在具体的实现方式中，光源104提供白光，计算单元124被配置为在红、绿和蓝上的三种不同的单色光学地形成像子系统以分析所接收到的图像。
[0057]借助该配置，真正的样本特征在于，可能在针对在体积散射中依赖于波长的变化进行校正之后在不同波长上具有不变的对象地形，但是漫反射系数通常将是不同的。在不同照明波长上的漫反射系数的差别会相应地指示与真正样本之间的一致性。注意到，这也是这样的功能，其可以借助机器学习通过为设备100呈现真正的和欺骗的具有不同特性的样本来得到提高，从而根据上文中讨论的机器学习原理可以改善对于在真正的和欺骗的样本之间进行辨别的一致性要求。
[0058]可以在各种可选的实施例中实现对上文中所描述的光学地形成像的多种变形。一个示例包括使用多路照明。如上文中所描述的，在一些实施例中在测量过程期间可以独立地并且顺序地激活光源104。在可替换的实施例中，由设备100所包括的光源104中的多个或者甚至所有的光源104可以响应于各个随后得到的源地基本上同时以某种模式照明。这样的实施例允许实现各种变换，诸如Hadamard变换、Haar变换等。使用同时多源激活的实施例可以对在测量过程期间高的环境光水平和对对象运动的增加的鲁棒性包括更大的容忍性。
[0059]当对于一种或多种照明情况而言对象120的一部分位于阴影中时，其他实施例可以包括阴影校正。这样的阴影可以导致非线性响应，所述非线性响应会在估计分量图像时产生伪影。通过识别位于相对于给定光源的阴影中的这些区域，用于估计分量图像的因数可以被区域地校正以排除阴影源。这可以通过示例来描述。考虑这样的实施例，其中设备100具有六个源104。相应地可能存在七组因数，用于生成表面梯度Sx和\。可以分析每个图像，以便如果存在的话则确定在对象的所有像素上哪个源最可能在阴影中，从而对于每个识别的区域随后使用具体因数。
[0060]可替换地，诸如阴影和子面散射这样的“非理想”现象可以包括在机器学习过程中。具体地，其中对显示相似光学现象的(尽管显示明显不同的地形和/或其他特性的)单类对象进行测量的情况良好适于在此所描述的机器学习方法。在一些情况下，可以通过具有可以作为“黄金标准”起作用的参考测量来进一步辅助机器学习，所述“黄金标准”可以用作机器学习算法的目标或目的。作为示例，用于训练的一组指纹的实际地形特征可以通过诸如LIDAR、共焦扫描、超声和多种其他这类测量之类的其他测量方法来建立。在一些情况下，可以制作在训练集内手指的精确铸件，并且随后可以根据铸件而不是直接在手指上测量地形。可替换地，可以使用其他的生成手指图像的方法以提供参考图像，所述方法已知本质上根据手指几何结构并且相对地不受其他光学特性的影响。
[0061]在其中通过其他技术来对训练数据进行参考测量的情况下，中间对齐步骤可以是有用的，以将参考数据与OTI数据对齐。例如，在指纹的示例中，每个OTI测量过程将呈现(横向的和旋转的)特定的位置以及塑性变形，所述塑性变形通常与在相同手指上进行的参考测量是不同的。在这样的情况下，可能有利的是，将参考测量与OTI测量对齐。这样的对齐可以手动地、半自动地活着完全自动地通过各种现有技术中公知的方法来进行。
[0062]在一些情况下，对象和OTI系统的显著特性可以被模拟。这样做的好处基于这样的事实，即，用于模拟对象(以及照明和成像系统)的实际参考值是必要已知的并且不要求二次测量或对齐参考和测量数据。这样的模拟应当是物理上准确地以便直接可应用于物理测量系统。在一些情况下，发明人已经发现商业可用的3D渲染软件包以提供良好途径执行对于真实系统具有需要的保真度的模拟。
[0063]发明人已经发现，在此所描述的发明的一些方面协同地组合以对于显现一些特定光学现象的对象实现多功能的和有效的成像。这些方面包括:成像系统几何结构相对于对象位置的稳定性，对可以用在定义一类对象中的多个对象的特性进行识别的能力，以及在那些情况下机器学习的应用。具体地，成像的对象显现如下光学现象中的一些:漫反射(Lambertian反射)；镜面反射；作为空间位置的函数的反射差分；子面散射，其中光透过对象的表面并且在经过对象进入到成像系统之前与在表面之下的材料相互作用；内反射，其中在由成像系统获取之前照明光经受两次或更多次不同的相互作用(例如，光从对象的一部分反射到对象的第二部分，然后进入成像系统)；以及阴影，其中对象的地形特征阻碍照明光到达对象的其他部分。
[0064]此外，当通过具有下述特性中的一个或多个的系统来对对象进行成像时发生另外的分析复杂性:借助近场光源来照明对象，这导致在视场中变化的照明角度和/或照明强度；和/或通过诸如玻璃或塑料之类的透明的或半透明的介质(“板”)来对感兴趣的对象进行成像，并且根据对象地形，对象不同地与板接触或者与板不接触。当只有对象的部分与板接触时，在对象的表面上的折射通常将在对象与板接触的点和那些不与板接触的点之间发生变化。
[0065]本发明的实施例有利地提供了方法和设备，它们可以解决这样的情形，其中出现大量的光学现象和成像条件并且以复杂的方式相互作用。这与其他的当仅仅出现非常有限数量的这些现象时才能提取反射和/或地形信息的技术形成对比。例如，诸如光学立体和立体成像之类的方法可以有效用于对漫反射对象进行成像，并且有时可以适应一定程度的镜面反射。根据阴影恢复形状(shape-from-shading)是能够从阴影中推断对象几何结构的方法，而根据镜面反射恢复形状(shape-from-specular)是能够根据镜面反射准确估计对象几何结构的方法。本发明的方法和设备尤其可以适用于其中具有下述情况的测量类别:关于对象感兴趣的地形特征与宏观几何结构相比是小的(例如，对象是“2.5维”的或者基本上是平的，具有相对于整个尺寸而言的小特征)；意图对单个类别的对象进行地形测量，所述对象基本上呈现相似的光学特性，尽管对象自身可以是不同的(例如指纹);和/或光学系统的几何结构和其与感兴趣对象的关系是已知的并且在进行的测量期间基本上是固定的。
[0066]借助组合这些方面，根据成像获得的信息更为可靠、更加可重复并且包括更大的信息内容。
[0067]已描述了几个实施例，本领域技术人员会认识到，可以使用各种变形、可替换构造和等价形式，而不脱离本发明的精神。因此，上面的描述不应当理解为限制本发明的范围，本发明的范围定义在下面的权利要求中。
【权利要求】
1.一种研究对象的预定义部分的方法，所述对象具有感兴趣的特征并且属于各个对象具有基本上相似的光学性质的对象类别，所述方法包括: 激活多个光源中的每一个以直接照明所述对象，其中，所述多个光源中的每一个从不同照明方向提供照明，并且其中，所述多个光源相对于所述对象保持在稳定的配置中； 对于每个照明方向，根据从所述对象散射的光借助相对于所述多个光源保持在稳定的配置中的相机来生成图像；以及 应用从针对所述对象类别的机器学习中得到的方法，以便: 针对与所述感兴趣的特征相一致的特性，对所生成的图像进行过滤； 根据所过滤的图像，确定所述对象的表面梯度；以及 对所述表面梯度积分，以生成所述对象的预定义部分的表面的地形。
2.根据权利要求1所述的方法，还包括根据所生成的图像确定所述对象的表面的漫反射系数。
3.根据权利要求1所述的方法，其中: 所述对象的预定义部分是近似平面的；以及 对所生成的图像的过滤包括将带通滤波器应用于所生成的图像。
4.根据权利要求1所述的方法，其中: 所述感兴趣的特征包括方向；以及 对所生成的图像的过滤包括将方向滤波器应用于所生成的图像。
5.根据权利要求1所述的方法，其中: 所述感兴趣的特征包括色彩特性；以及 对所生成的图像的过滤包括将色彩滤波器应用于所生成的图像。
6.根据权利要求1所述的方法，其中，对表面梯度的确定包括将解卷积应用于所生成的图像，以计算由所述对象的大组件所引起的各向异性的光散射。
7.根据权利要求1所述的方法，其中，对表面梯度的确定包括通过应用作为由所述多个光源相对于所述对象的位置所定义的几何形状的函数所生成的周期性因数，来提取所述表面梯度。
8.根据权利要求1所述的方法，其中，通过地形图像来定义所述对象的表面的地形，所述方法还包括对所述地形图像应用变换。
9.根据权利要求8所述的方法，其中，所述变换改变所述地形图像的对比度。
10.根据权利要求8所述的方法，其中，所述变换减少在所述地形图像中由于镜面光所引起的伪影。
11.根据权利要求8所述的方法，其中，所述变换将所述地形图像二值化。
12.根据权利要求1所述的方法，其中，所述光源基本上是单色光源。
13.根据权利要求12所述的方法，其中，所述光源中的每一个生成处于基本上相同波长的光。
14.根据权利要求1所述的方法，其中，所述光源以基本上相同的仰角围绕所述对象分布，并且在相对于所述对象的方位上基本上均匀地分布。
15.根据权利要求1所述的方法，其中，所述对象的部分与对于由所述光源生成的光而言基本上透明的板光学地接触。
16.根据权利要求1所述的方法，其中: 所述光源提供处于多种波长的光；以及 对所述对象的表面梯度的确定包括在所述多种波长中的每一个上确定所述对象的表面梯度。
17.根据权利要求16所述的方法，其中，所述光源中的至少一些包括多色光源。
18.根据权利要求16所述的方法，还包括: 根据所生成的图像在所述多种波长的每一个上确定所述对象的表面的漫反射系数；以及 比较在所述多种波长上所确定的漫反射系数，以作为生物测量的样本确定对象的真实性。
19.根据权利要求1所述的方法，其中，所述对象包括生物测量的样本。
20.根据权利要求1所述的方法，其中，所述对象包括加工条形码。
21.根据权利要求1所述的方法，其中，用所述多个光源直接对所述对象进行照明包括顺序地激活所述光源。
22.根据权利要求1所述的方法，其中，所述多个光源中的每一个的激活包括以借助变换来确定对各个光源的响应 的模式同时激活所述多个光源中的至少一些。
23.根据权利要求1所述的方法，其中，根据所生成的图像确定所述对象的表面梯度包括局部地修改所生成的图像中的至少一个以排除所述对象的阴影部分。
24.一种用于研究对象的预定义部分的设备，所述对象具有感兴趣的特征并且属于各个对象具有相似的光学性质的对象类别，所述设备包括: 多个光源，其被布置以从不同的照明方向提供所述对象的照明，其中，所述多个光源保持在相对于所述对象而言稳定的配置中； 相机，其被布置以接收从所述对象散射的光，其中，所述相机保持在相对于所述多个光源而言稳定的配置中；以及 计算单元，其与所述多个光源通信并且与所述相机通信，所述计算单元包括: 用于激活所述光源以直接对所述对象进行照明的指令； 用于与所述光源的激活相一致地运行相机以对于所述照明方向中的每一个生成所述对象的图像的指令；以及 用于应用从针对所述对象类别的机器学习中得到的方法的指令，以便: 针对与所述感兴趣的特征相一致的特性，对所生成的图像进行过滤； 根据所生成的图像，确定所述对象的表面梯度； 对所述表面梯度积分，以生成所述对象的预定义部分的表面的地形。
25.根据权利要求24所述的设备，其中，所述计算单元还具有用于根据所生成的图像确定所述对象的表面的漫反射系数的指令。
26.根据权利要求24所述的设备，其中: 所述对象的预定义部分是近似平面的；并且 用于对所生成的图像进行过滤的所述指令包括用于将带通滤波器应用于所生成图像的指令。
27.根据权利要求24所述的设备，其中:所述感兴趣的特征包括方位；并且 用于对所生成图像进行过滤的所述指令包括用于将方位滤波器应用于所生成图像的指令。
28.根据权利要求24所述的设备，其中: 所述感兴趣的特征包括色彩特性；并且 用于对所生成图像进行过滤的所述指令包括用于将色彩滤波器应用于所生成图像的指令。
29.根据权利要求24所述的设备，其中，用于确定所述表面梯度的所述指令包括将解卷积应用于所生成的图像以计算由所述对象的大组件所引起的各向异性的光散射的指令。
30.根据权利要求24所述的设备，其中，用于确定所述表面梯度的所述指令包括通过应用作为由所述多个光源相对于所述对象的位置所定义的几何形状的函数所生成的周期性因数来提取所述表面梯度的指令。
31.根据权利要求24所述的设备，其中: 所述对象的表面的地形通过地形图像来定义；并且 所述计算单元还具有用于对所述地形图像应用变换的指令。
32.根据权利要求31所述的设备，其中，所述变换改变所述地形图像的对比度。
33.根据权利要求31所述的设备，其中，所述变换减少在所述地形图像中由镜面光所引起的伪影。
34.根据权利要求31所述的设备，其中，所述变换将所述地形图像二值化。
35.根据权利要求24所述的设备，其中，所述光源基本上是单色光源。
36.根据权利要求35所述的设备，其中，所述光源中的每一个生成处于基本上相同波长的光。
37.根据权利要求24所述的设备，其中，所述光源以基本上相同的仰角围绕所述对象分布，并且在相对于所述对象的方位上基本上均匀地分布。
38.根据权利要求24所述的设备，还包括板，所述板对于由所述光源生成的光而言基本上是透明的并且被布置为与所述对象的部分光学地接触。
39.根据权利要求24所述的设备，其中: 所述光源提供处于多种波长的光；并且 用于确定所述对象的表面梯度的所述指令包括用于在所述多种波长中的每一个上确定所述对象的表面梯度的指令。
40.根据权利要求39所述的设备，其中，所述光源的至少一些包括多色光源。
41.根据权利要求39所述的设备，其中，所述计算单元还具有: 用于根据所生成的图像在所述多种波长中的每一个上确定所述对象的表面的漫反射系数的指令；以及 用于比较在所述多种波长上所确定的漫反射系数以作为生物测量的样本确定所述对象的真实性的指令。
42.根据权利要求24所述的设备，其中，所述对象包括生物测量的样本。
43.根据权利要求24所述的设备，其中，所述对象包括加工条形码。
44.根据权利要求24所述的设备，其中，用于激活所述光源的所述指令包括用于顺序地激活所述光源的指令。
45.根据权利要求24所述的设备，其中，用于激活所述光源的所述指令包括用于以借助变换来确定对各个光源的响应模式同时激活所述多个光源中的至少一些的指令。
46.根据权利要求24所述的设备，其中，用于根据所生成的图像确定所述对象的表面梯度的所述指令包括用于局部·地修改至少一个生成的图像以排除对象的阴影部分的指令。
【文档编号】H04N7/18GK103597820SQ201280028752
【公开日】2014年2月19日 申请日期:2012年4月11日 优先权日:2011年4月11日
【发明者】H.A.米勒, R.E.马丁, R.K.罗 申请人:鲁米迪格姆股份有限公司