专利名称：使用非线性光度立体视觉方法获取工具印痕的三维表面形态图像的制作方法
技术领域：
本发明涉及使用非线性光度立体视觉(photometric stereo)方法获取的高度镜面反射物体的表面形态图像的领域。
背景技术：
弹道比较测试依赖于形成在弹道证据(ballistic piece of evidence (BPOE))(诸如子弹或弹壳)的表面上的条痕(striation)和印记(impression)。这些条痕具有代表枪械的独特标志的独特特征。通过比较两个BPOE的条痕或印记特征，有可能推断出它们是否从相同的枪械中发射。当获取物体上某一区域的三维表面形态图像(即，立体映射(map)Z (x，y))时，其中 Z是在位置(X，y)处的表面的局部高度，使用包括传感器(或照相机)和光源的光学系统。照亮研究中的物体并且获取被照亮表面的表面形态图像。在弹道学领域，研究中的物体常常是非平面的并且很可能是镜面反射的。这意味着从相对于局部表面法线N的角度Θ入射的大部分光将被反射在指向-Θ方向的小圆锥中。因此，如果将光源沿着传感器的光轴放置，因为对于用于表面形态捕捉的许多光学方法事实是这样，仅入射光中的极微小的部分被反射回传感器中用于显示重要斜面的表面形态的部分，导致局部无效的测量。存在一种测量物体的表面形态的完全不同的方法。根据该方法，称为光度立体视觉，获取表面的一组发光度(或高能亮度)图像，其中该组中每个图像具有不同的照明条件。如果假设表面的反射率恒定且光源的照明强度相同，并且如果表面是纯散射性的(或朗伯型的(Lambertian)),贝U三个光源足以恢复表面法线场N(x, y)。表面的表面形态Z (x, y)通过法线场的积分获得。但是，表面的发光度图像受到噪声影响，并且由于颜色和/或反照率的局部变化，表面反射率可能不是恒定的。通常的解决方案是使用更多数量的光源，以便过定义(overdefine)线性方程系统。然后通过误差最小化过程(诸如卡方(chi square)误差最小化方案)获得表面法线场N(x，y)。如果光源的数量足够大，人们甚至可以不测量光源的强度，或者甚至光源位置，并且通过拟合过程、主成分分析或者对于本领域技术人员已知的其它方法获得这个信息。很少表面是真正散射性的，并且如果表面是平滑的或者有光泽的，则应用上述过程导致在表面形态的精确度方面获得非常差的结果。但是，当观察方向远离对于特定光源的镜面反射方向时，在一定程度上可能仍然保持表面上的光反射的朗伯(Lambert)模型。再次，当面对这种有光泽的或者平滑的材料时，通常的解决方案是通过使用不止三个光源来过定义问题，并且对于所形成图像组的每个像素确定是否任何光源都产生朝向由非朗伯型贡献支配的照相机的反射。如果发现这种条件，则在所考虑的像素的表面法线N的计算中忽略这个光源的贡献。
但是，当考虑弹道证据(BPOE)时，这些方法都不适用，因为表面是金属的，这导致光反射的散射贡献，若有的话，那是比镜面反射贡献更小的量级。因此，存在改进通常用于金属表面的捕获以及特别用于BPOE的光度立体视觉的需要。
发明内容
这里描述了一种用于应对通常金属表面、特别是弹道证据的镜面反射性质的方法和三维图像获取系统，通过确定和求解包括散射项和镜面反射项的多组非线性方程式来确定表面法向向量场N(x, y),并且利用N(x, y)来确定三维表面形态Z (x, y),从而使用光度立体视觉。根据第一宽泛方面，提供了 一种用于确定物体的镜面表面的三维表面形态Z (X，y)的方法，该方法包括从多个局部轴线方向相继地照射物体的表面；使用具有与物体表面的总平面大体上垂直的传感轴线的传感器在物体表面的每个相继的照射处获取物体表面的至少一个图像，从而产生具有相同视场(FOV)的一组发光度图像；利用发光度图像来提供并求解包括散射项(diffusive term)和镜面反射项(specular term)的多组非线性方程式，从而确定表面法向向量场N (X，y);以及利用表面法向向量场N (X，y)来确定三维表面形态 Z (X，y)。根据第二宽泛方面，提供了一种用于确定物体的镜面表面的三维表面形态Z (x，y)的系统，该系统包括用于获取二维发光度图像的传感器，该传感器具有大体上垂直于物体的总平面的传感轴线；设置在多个局部轴线方向处的一组K个有效光源；以及计算机可读介质，程序代码存储在计算机可读介质上并且可由处理器执行，用于使K个有效光源从多个局部轴线方向相继地照射物体的表面；使传感器在物体表面的每个相继的照射处获取物体表面的至少一个图像，从而产生具有相同视场(FOV)的一组发光度图像；利用发光度图像来提供并求解包括散射项和镜面反射项的多组非线性方程式，从而确定表面法向向量场N(x, y);以及利用表面法向向量场N(x, y)来确定三维表面形态Z (x, y)。根据另一个宽泛的方面，提供了一种计算机可读介质，该计算机可读介质上已经被编码光控制模块的程序代码，该光控制模块的程序代码可由一处理器执行，以使K个有效光源从多个局部轴线方向相继地照射物体的表面；传感器控制模块的程序代码，该传感器控制模块的程序代码可由一处理器执行，以使传感器在物体表面的每个相继的照射处获取物体表面的至少一个图像，从而产生具有相同视场(FOV)的一组发光度图像；以及表面形态生成模块的程序代码，该表面形态生成模块的程序代码可由一处理器执行，以利用发光度图像来提供和求解包括散射项和镜面反射项的多组非线性方程式，从而确定表面法向向量场N(x, y),并且利用表面法向向量场N(x, y)来确定三维表面形态Z(x, y)。在本说明书中，词语“三维表面形态”用来指起伏表面Z (X，y)，其中Z是在垂直于传感轴线的平面中在相对于传感轴线的位置(x，y)处的表面的局部高度。术语“二维发光度图像”应该理解为由光学照相机捕获的发光度(或者高能亮度)的映射R(x，y)。它与在照相机的方向上由表面发出的光强度的映射成正比。以常用的语言，这被称为摄影图像。贯穿本文，可以理解发光度图像是单通道的或者是单色的。因此，不会记录颜色信息并且图像的位深度(bit cbpth)指单通道的位深度。或者通过组合来自于不同颜色通道的信息或者通过仅仅考虑一个这种通道，也可以使用从彩色照相机获得的单色图像。还可以理解，照相机具有线性辐射响应，或者相反，照相机的辐射响应是已知的，使得捕获的图像可被线性化。术语“有效光源”应该理解为包括物理光源的总数以及当应用物理光源和/或观察中的物体的连续旋转时所使用的光源的有效总数两者。
本发明的进一步的特征和优点通过下文中的结合附图的详细描述将变得显而易见，附图中图1示出了用于利用非线性光度立体视觉方法获取三维表面形态的系统的示例性实施例；图2是示出用于获取三维表面形态的非线性光度立体视觉方法的示例性实施例的流程图；图3是示出用于获取具有多个灰度级的图像的方法的示例性实施例的流程图；图4是示出用于计算有效蔽光框(mask)的方法的示例性实施例的流程图；图5是示出用于计算组合图像和组合有效蔽光框的方法的示例性实施例的流程图；图6是示出在非线性光度立体视觉方法中用于计算的各种向量的示意图；图7是示出多步反射的示意图；图8是用于图1的计算机系统的示例性实施例的框图；以及图9是示出用于多标高水平的一组光源的示例性实施例的示意图。应注意到在所有附图中，相同的特征用相同的标号识别。
具体实施例方式显示出工具印痕特征的一些物体不是平的。例如，用过的弹壳在底火(primer)的中心部分(对于中心发火的弹径)或者在弹壳头部的外部区域(对于边缘发火的弹径)中表现出大且深的凹陷。这个凹陷通常具有比对于弹道识别有用的条痕或者印记的通常深度更深的量级。许多中心发火弹径的用过的弹壳还表现出在普通的底火平面上方伸展的区域。这些区域被称为回流并且在它们的外部边界上常常表现出剪切标记的枪械特征条痕。而且，由于子弹是大体上圆柱形的物体，它们的表面法线的局部值在垂直于圆柱轴线的方向上连续变化。即使将图像传感器放置在研究中的物体的上方，它的光轴(或者传感轴线)大体上垂直于物体的总平面，并且具有同轴的光源，也可能发生相关的弹道印痕落在远非垂直于光轴的局部表面区域上。如果研究中的物体的材料是高度镜面反射的(也就是说，其如同镜子反射大部分的进入光，具有相等的入射角和反射角)，如同通常对于金属以及特别地对于弹道证据(BPOE)那样，照耀这些局部陡峭的区域的非常少的入射光将被反射回传感器，导致无效的表面形态测量。图1示出用于利用非线性光度立体视觉方法获取三维表面形态的系统的示例性实施例。该系统通常包括传感器102和一组K个局部光源106。如所示，图像捕获装置102和发光装置106是分离的，但其中一个光源的轴线可以与传感轴线共线。在这个结构中，图像捕获装置102放置在研究中的物体108的上方，其光轴(或者传感轴线)104大体上垂直于物体108的总平面。在本实例中，使用具有对应于传感器102的光轴104的Z轴的坐标系统。X和Y轴是定义了垂直于Z轴的平面的一对相互正交的轴。物体表面上的位置和捕获图像上的位置同样地表示为(x，y)并且应该不区分地描述物理点和在图像上的映射点。在不影响这个方法的普遍性的情况下，可以使用其它的坐标系统。物体被从多个局部轴线方向106照亮。而且，那些局部光源106—次照亮一个，并且对于该组中的每个光源106，至少一个发光度图像被光学传感器102捕获。具有处理器114以及应用程序112和存储器116的计算机系统110操作性地连接到传感器102和光源106，用于控制和处理操作。应用程序112包括可由处理器114执行的程序代码，如在下文中更详细地描述的。图2是示出用于确定物体的一区域的三维表面形态Z(x，y)的示例性的方法的流程图。该方法的第一步骤是利用参考平面的校准步骤202，这将在下文中更详细地解释。校准涉及确定光源的相对强度和它们在照相机的视场上方的各个强度图形。一旦完成校准，则参考平面被物体替代204。一组K个光源被相继地点亮206，其中对于该组中的每个光源，至少一个发光度图像被照相机捕获208。一旦获取了该组的所有图像，则通过求解来计算表面法线场N (X，y)，对于FOV的每个像素，过定义方程式组210 Ii=A* 散射项(N，Li) +B* 镜面反射项(N，Li, C)；其产生NPX (每行像素数)*NPY (每列像素数)组独立的非线性方程式，其中i从I到LLi是从表面指向第i个光源的单位向量，以及C是从表面指向照相机的单位向量。然后在视场上对表面法线场N (X，y)积分，以计算表面形态Z (X，y)212。系数A和B是未知的，并且将是方程的解的结果的一部分，N的三个分量也一样。在一个实施例中，步骤208被顺序地执行，以实现更高位深度的图像，如图3的流程图中所示。首先定义一组M个照相机积分时间(integration time)(或者照相机快门速度)302。这些积分时间应该足够不同，以产生明显不同的捕获图像。取决于由照相机捕获的图像的位深度和所得到图像的目标位深度，积分时间的数量M可以低至2以及高至10，但是更大的M也是可能的。照相机被顺序地设定到每个积分时间304，并且对于每个积分时间，捕获和存储一个图像306。对于每个捕获和存储的图像，计算和存储有效蔽光框308。如果像素的强度在照相机的线性捕获范围之夕卜，则表明像素是无效的。一旦捕获了 M个图像并且计算出M个蔽光框，则计算所得到的图像310,被称为组合或者合成或者高动态范围((high dynamic range) HDR)图像。图4示出用于为每个通过给定的积分时间捕获的发光度图像计算有效蔽光框308的示例性方法。首先定义一对强度阈值402，一个阈值用于高像素强度TH，一个阈值用于低像素强度TL。对于每个图像伴随的有效蔽光框的像素有效值如下计算404 :如果图像中对应的像素强度值大于TH或者小于TL，则将蔽光框的像素值设定为0，否则设定为I。用于TL的典型值通常非常低并且说明在照相机捕获的图像中的可能的最低值和/或照相机的预期的暗电流噪声水平。TL的值也可以稍高，以避免散粒噪声支配的信号。用于TH的典型值取决于由照相机捕获的图像中的单个通道的原始位深度。对于8位图像的情况，图像中的最大灰度级是255。使用TH值来保存像素强度和积分时间之间的线性条件。因此它被设定为小于255的值，以避免像素饱和，并且要足够高，以保持合理的动态范围。图5示出了用于计算组合图像和它的伴随的组合图像有效蔽光框310的实施例。对于每个像素位置x，y，我们首先获得对于FOV中的每个像素(x，y)的一组M个适当的线性化像素强度Ii (χ, y) 502以及M个有效蔽光框值Maski (x, y) 504。用以下方程式计算组合图像强度的临时值506
权利要求
1.一种用于确定物体的镜面反射表面的三维表面形态z(x，y)的方法，所述方法包括 从多个局部轴线位置相继地照射所述物体的表面；利用传感器在所述物体的表面的每个相继的照射处获取所述物体的表面的至少一个图像，从而产生具有相同视场(FOV)的一组发光度图像，所述传感器具有大体上垂直于所述物体的表面的总平面的传感轴线；利用所述发光度图像来提供并求解包括散射项和镜面反射项的多组非线性方程式，以确定表面法向向量场N (x，y);以及利用所述表面法向向量场N(x, y)确定所述三维表面形态Z(x, y)。
2.根据权利要求1所述的方法，还包括在相继地照射所述物体的表面之前，校准参考平面并且用所述物体替换所述参考平面。
3.根据权利要求2所述的方法，其中，校准所述参考平面包括在所述传感器的焦距处在所述传感器的视场中设置参考表面；从所述多个局部轴线方向相继地照射所述参考表面；在每个相继的照射处获取至少一个校准发光度图像；对于所述校准发光度图像，计算一组特征值Ci (X，y)；确定最大特征值；通过所述最大值正规化所述一组特征值，以获得一组正规化特征Mi ;以及从被除以所述正规化特征Mi的所述校准图像的倒数获得一组校准映射；其中对于源 i，校准图像通过用第i个校准映射乘以捕获图像而获得。
4.根据权利要求1至4中任一项所述的方法，还包括利用所述表面法向向量场N(x，y) 来观察具有渲染引擎的所述物体。
5.根据权利要求1至4中任一项所述的方法，其中，相继地照射所述物体的表面包括利用Q个物理光源和所述物体的或者所述物理光源的围绕所述传感器的所述传感轴线的一系列P个旋转来获得所述K个局部轴线方向，K>Q。
6.根据权利要求1至5中任一项所述的方法，其中，获取至少一个图像包括定义一组M个不同的照相机积分时间；用所定义的积分时间中的每一个获取一个图像，从而获取M个图像；对于每一个图像计算有效蔽光框；以及利用用所述积分时间中的每一个获取的所述一个图像和对应的有效蔽光框，计算具有比所获取的图像更高的位深度的组合图像，以及计算组合有效蔽光框。
7.根据权利要求6所述的方法，其中，对于每一个图像计算所述有效蔽光框包括设定高强度阈值TH和设定低强度阈值TL ；以及对于所述一个图像中的每个像素设定mask (X，y)值为TH和TL的函数。
8.根据权利要求6至7中任一项所述的方法，其中，计算所述组合图像和所述组合有效蔽光框包括从所述M个图像获得一组M个像素强度Ii (x，y)；从对于每个图像的有效蔽光框获得M个有效蔽光框值Maski (X，y)；计算对于组合图像强度的临时值；以及计算合成高位深度图像和伴随的合成有效蔽光框。
9.根据权利要求1至8中任一项所述的方法，其中，利用所述发光度图像来求解所述一组非线性方程式包括对于所述发光度图像的每个像素求解一组方程式，所述一组方程式链接第i个图像的捕获或校准发光度Ii与所述散射项和所述镜面反射项之和，其取决于局部表面法线、发光方向和/或观察方向。
10.根据权利要求1至9中任一项所述的方法，还包括从所述一组发光度图像中去除偏离所述物体的镜面反射表面的多步反射的效果。
11.一种用于确定物体的镜面反射表面的三维表面形态Z(X，y)的系统，所述系统包括传感器，用于获取二维发光度图像，所述传感器具有大体上垂直于所述物体的总平面的传感轴线；一组K个有效光源，设置在多个局部轴线方向处；以及计算机可读介质，具有存储于其上的程序代码，所述程序代码能够由处理器执行，用于使所述K个有效光源从所述多个局部轴线方向相继地照射所述物体的表面；使所述传感器在所述物体的表面的每个相继的照射处获取所述物体的表面的至少一个图像，从而产生具有相同视场(FOV)的一组发光度图像；利用所述发光度图像来提供并求解包括散射项和镜面反射项的多组非线性方程式，以确定表面法向向量场N (X，y);以及利用所述表面法向向量场N (X，y)确定所述三维表面形态 Z (X，y)。
12.根据权利要求11所述的系统，其中，所述计算机可读介质还包括能够由处理器执行的用于校准参考平面的程序代码。
13.根据权利要求12所述的系统，其中，所述用于校准参考平面的程序代码包括以下程序代码，用于使所述K个有效光源从所述多个局部轴线方向相继地照射参考平面；使所述传感器在每个相继的照射处获取至少一个校准发光度图像；对于所述校准发光度图像计算一组特征值Ci (X，y)；确定最大特征值；通过所述最大值正规化所述一组特征值，以获得一组正规化特征Mi ;以及从被除以所述正规化特征Mi的所述校准图像的倒数获得一组校准映射；其中对于源 i，校准图像通过用第i个校准映射乘以捕获图像而获得。
14.根据权利要求11至13中任一项所述的系统，其中，所述K个有效光源包括能够旋转到对应于所述多个局部轴线方向的位置的Q个物理光源。
15.根据权利要求11至13中任一项所述的系统，还包括用于旋转所述物体到多个局部轴线方向的支架，以与用于所述K个有效光源的多个局部轴线方向对应。
16.根据权利要求11至15中任一项所述的系统，其中，所述K个有效光源以具有不同倾斜角的多个子集提供。
17.根据权利要求11至16中任一项所述的系统，其中，利用所述发光度图像来求解所述一组非线性方程式的所述程序代码包括对所述发光度图像的每个像素求解一组方程式的程序代码，所述一组方程式链接第i个图像的捕获或校准发光度Ii与所述散射项和所述镜面反射项之和，其取决于局部表面法线、发光方向和/或观察方向。
18.根据权利要求11至17中任一项所述的系统，其中，利用所述发光度图像来提供和求解多组非线性方程式的程序代码还包括用以去除所述物体的镜面反射表面上的多步反射的效果的程序代码。
19.一种计算机可读介质，所述计算机可读介质上已编码有光控制模块的程序代码，所述光控制模块的程序代码能够由一处理器执行，以使K个有效光源从多个局部轴线方向相继地照射物体的表面；传感器控制模块的程序代码，所述传感器控制模块的程序代码能够由一处理器执行， 以使传感器在所述物体的表面的每个相继的照射处获取所述物体的表面的至少一个图像， 从而产生具有相同视场(FOV)的一组发光度图像；以及表面形态生成模块的程序代码，所述表面形态生成模块的程序代码能够由一处理器执行，以使用所述发光度图像来提供和求解包括散射项和镜面反射项的多组非线性方程式， 以确定表面法向向量场N(x，y)，并且利用所述表面法向向量场N (X，y)确定所述三维表面形态 Z(x, y)。
20.根据权利要求19所述的计算机可读介质，其中，所述表面形态生成模块的程序代码还包括用以去除所述物体的镜面反射表面上的多步反射效果的程序代码。
全文摘要
本发明描述了一种针对通常金属表面、以及尤其是弹道证据的镜面反射性质的方法和三维图像获取系统，通过确定和求解包括散射项和镜面反射项的多组非线性方程式来确定表面法向向量场N(x,y)，并且利用N(x,y)来确定三维表面形态Z(x,y)，从而使用光度立体视觉。
文档编号G01B11/245GK103003663SQ201180029780
公开日2013年3月27日 申请日期2011年6月2日 优先权日2010年6月16日
发明者谢尔格·莱韦斯克 申请人:司法技术Wai公司