专利名称：从3d范围图像进行基于绘制的界标定位的制作方法
从3D范围图像进行基于绘制的界标定位
背景技术：
生物识别正在成为用于访问控制和监控安全区域(诸如机场)的流行方法。在这样的设置中，有时将人(或者人的某部分)的图像与之前捕获的“注册”图像相比较是必要的。一些用于生物识别的技术需要自动地定位特定界标(landmark)并估计这些界标的方向。生物学方面许多过去的工作已经考虑到传统图像，即电磁光谱的可见部分中的集成光。然而，随着3D捕获设备可用性的增加以及成本的降低，重点越来越多地放在从所产生的3D范围(即深度)图像进行生物识别上。
图I是图解现有技术界标定位方法的流程图；图2是图解另一个现有技术界标定位方法的流程图；图3是图解根据示例实施例使用绘制从3D范围图像进行界标定位的方法的流程图；图4A是根据示例实施例的具有各种3D面部界标的主体的被绘制的可视图像的示意图；图4B是根据示例实施例的具有至少一个3D面部界标的主体的被绘制的可视图像的不意图；图5是计算机系统的框图，该计算机系统执行用于处理根据示例实施例的关于界标定位以及绘制的方法和流程的程序。
具体实施例方式在以下描述中，参考形成本文一部分的附图，并且其中通过图解示出可以实现的特定实施例。在一个实施例中，在此描述的功能或算法可以在软件中，或者在软件和人类实现的流程的组合中实现。软件可以由存储在诸如存储器或者其它类型存储装置的计算机可读介质上的计算机可执行指令构成。进一步，这些功能对应于模块，它们是软件、硬件、固件或者它们的任意组合。多个功能可以在所期望的一个或多个模块中执行，并且所描述的实施例仅仅是示例。软件可以在数字信号处理器、ASIC、微处理器或者运行在计算机系统(诸如个人计算机、服务器或者其它计算机系统)上的其他类型处理器上执行。每张人脸具有大量的可区分界标，包括但不限于鼻子、眼眶、颧骨、下巴等等，它们中的每一个都有特定的特征，诸如宽度、形状等。当在侧面像中观看时，如在J. Zhou等，Histograms of Categorized Shapes for 3D Ear Detection,2010IEEE, http://utopia,csis. pace, edu/cs615/btas2010/BTAS/papers/Paper% 20157. pdf,(以下称为“Zhou”)中描述，诸如在Zhou的第Π A部分(包括表I以及图3)中描述的，耳朵提供了高度可区分界标，Zhou通过引用合并在本文中，就像在此充分陈述了那样。
在此，实施例描述了计算机实现的方法，包括获取包含一个或多个3D界标的三维(3D)范围图像；将3D范围图像绘制(render)到包含与一个或多个3D界标相关的亮度模式的被绘制的可视图像中；并且在被绘制的可视图像中定位一个或多个3D界标中的至少一个以产生包含与至少一个3D界标相关的至少一个定位的亮度模式的被绘制的可视图像。在生物识别应用中所述各种方法以及相关系统和装置是有用的。可视图像提供关于由场景中对象反射的光量的信息，而三维(3D)图像是进一步提供照相机与场景中对象之间距离相关的信息的图像。而2. 图像具有二维(水平和垂直)和在特定位置处的提供距离信息的像素值，与3D图像不同，它不包括关于该位置表面的方向的信息，使得照相机光轴和对象表面法线之间的距离和角度都是已知的。尽管2. 5D成像在人脸识别技术中已经被使用，但根据定义，它包含更少的信息。由于3D范围图像包含大量数据，因此其很难在3D范围图像中找到特定的界标，即
界标定位。例如，图I示出用于定位界标(例如，耳朵)的现有技术方法100，该方法包括获取102传统可视图像(例如人头部一侧的RGB可视图像)，并行地获取1043D范围图像或者扫描(用于匹配)。3D范围图像具有与距离对应的像素值，即更亮的值意味着更短的距离，或反之亦然。通过对可视图像执行界标定位106以确定可视图像102中想要的界标的位置来继续该方法。由于两个图像(已获取的3D范围图像以及已定位的可视图像)通常没有正确地对齐，因此必须在两个图像之间执行随后的图像配准步骤(即映射)108以产生配准的可视图像。原始获取的3D范围图像104以及来自配准步骤108的配准的可视图像的界标剪裁110紧随图像配准108。结果提供3D图像中界标的位置，该位置输出112给用户，即3D界标位置被映射到3D图像。当3D图像和可视图像之间的配准步骤108例如因为可视传感器和3D范围传感器之间的光学对齐较差而不精确时，该方案是存在问题的。由于该方法需要采用特定的耳朵位置或者来自可视图像的界标并且确定它与3D图像(例如，整个耳朵)的哪个部分对应或者相匹配，因此也很难使配准一致。其它方法已经试图通过不使用所获取的图像或者初始地不获取图像来忽略整个可视图像。(参见，例如Zhou)。图2示出另一个现有技术方法，其包括获取202 3D范围图像并执行界标定位204。界标剪裁206紧随定位。结果是在3D图像中的界标的位置，该位置被输出212给用户。然而，由于3D范围图像的特性与可视图像的特性不同，一般地在此不应用为可视图像(诸如RGB可视图像)所开发的现有技术。此外，由于该方法实质上要求用于每个特定特征(诸如耳朵)的定制检测器，因而其不经常被使用。在这里所描述的实施例中，界标定位的还原方法从3D范围图像中产生合成的或绘制的可视图像，该可视图像与它所来源的3D范围图像内在地对齐。结果，不用配准将从绘制的可视图像中找到的界标位置映射到3D图像。图3是图解用于输出3D界标的实施例的流程图300，其由获取302包含一个或多个3D界标的3D范围图像开始。接下来是3D范围图像的绘制304以产生包含与该一个或多个3D界标相关的亮度模式的被绘制的可视图像。(如在此所使用的，“被绘制的可视图像”是在特定照明和皮肤反射模型下同一区域的可视图像的估计)。随后对被绘制的可视图像执行306界标定位以产生定位的3D界标。该方法能够可选地包括界标剪裁308以产生被剪裁的定位的3D界标。与定位的3D界标(或被剪裁的定位的3D界标)相关的亮度模式能够被提供310给显示器，和/或定位的3D界标(或者被剪裁的定位的3D界标)能够被提供311给处理器用于进一步处理。与常规方法相比，在此所描述的新颖方法消除对图像配准(如图I所示)以及3D范围图像的界标定位(如图2所示)的需要。取而代之的是，通过以类似于计算机图形学的方式来绘制图像中的主体，产生被绘制(即合成)的可视图像。该方法能够进一步包括获得312参考3D范围图像，并且在随后的处理步骤中为一般或者生物识别的目的，将该参考3D范围图像与定位的3D界标(或者被剪裁的定位的3D界标)相比较314。
能够从能提供人脸几何和对称的现有知识的任何来源中获得参考3D范围图像，诸如为存储来自包含特定个体的界标的注册图像的各种特征(诸如面部特征)的各种界标而特别创建的数据库，等等。任何合适类型的装置都能够用来获取3D范围图像，诸如任何类型的编码光方法(Coded Light Approach, CLA)装置。其它装置可能包括但不限于LIDAR，激光扫描仪，立体照相机，散焦测距(depth from defocus)。如一般所知，典型的3D范围图像包含伪影和缺失点，主要在投射光不能到达的区域上和/或在高折射率或低反射率表面上。如上面所提到的，3D范围图像具有与距离对应的像素值，例如更亮的值意味着更短距离，或反之亦然。如果被正确地校准，用于获得3D范围图像的传感器能够提供物理距离单位的像素值。在一个实施例中，3D范围图像中的数据由到该图像中每个像素位置的公制距离(metric distance)指定或者获取。这在使用特定类型的系统，诸如光检测和测距(LIDAR)系统(即光学遥感技术)是有用的，该系统测量散射光特性以找到距离目标的范围和/或其他信息。最普遍的，使用激光脉冲确定到对象或者表面的距离。Zhou讨论了将分类形状的直方图用于耳朵的3D对象识别。在替代的实施例中，提供3D范围图像作为图像中每个像素位置处的表面方向而提供，例如当所述3D范围图像被获取为来自阴影系统的形状时。在提供公制距离的实施例中，可通过局部差分将该数据转换为表面方向。3D范围图像的绘制包括通过计算机程序，从一个或多个3D模型(即场景文件)产生二维(2D)合成图像。场景文件包含在严格定义的语言或数据结构中的对象作为虚拟场景的描述，例如x-y-z坐标(几何)，半透明，视点，纹理，反射率信息等等。换句话说，如果知道光在特定表面以及该表面的局部形状上反射的形式，就能够产生关于在任意照明模式下该表面看起来是什么样的图像。在大多数实施例中，假定存在均匀和漫射的照明而没有粗糙阴影(例如，摄影棚照明)。还可以考虑阴影和强反射(bright reflection)。还考虑表面反射入射光的方式，以对不同表面使用不同的阴影模型。在场景文件中包含的数据随后被传给绘制程序处理并且输出到数字图像或者光栅图形图像文件。在一个实施例中，使用商业上可获得的，能够在来自Persistence of VisionRaytrancer Pty有限公司的计算机(例如，Persistence of Vision Raytracer (POV-Ray))等等上产生虚拟3D场景视图的光线追踪包执行绘制。绘制还可以用其它诸如扫描线或者z-buffer绘制技术执行。在一个实施例中，光线投射也被用作隐藏表面移除方法，以主要模仿与光传播关联的实际物理效果。3D范围图像和3D范围图像中的主体的双向反射分布函数(bidirectionalreflectance distribution function, BRDF) 一起,被用来绘制与合成光源有关的主体外形。(BRDF是定义在不透明的表面上光怎样反射的四维函数)。在一个实施例中，人类皮肤的BRDF被用来绘制与合成光源(诸如漫射光源)有关的人的外形。由于界标定位技术被应用到被绘制的RGB图像，因此估计的位置与3D范围图像中的位置精确地对应。在一个实施例中，不管人种而使用参考皮肤色调。尽管对于一般识别目的(例如识别特定群体中的成员)有用，由于一般的皮肤模型可能与给定个体的皮肤特性匹配不好，这些被绘制的图像不打算被用于特定人的明确生物识别。在一个实施例中，参考皮肤色调主要用于匹配人种，例如黑人，白人，亚洲人等等。在这样的实施例中，可以执行明确的生物识别。其它主体不同地反射入射光(例如，树，建筑物，动物，等等)，并且可能需要不同的阴影模型。在一个实施例中，使用定制的应用，其能够硬编码人类皮肤BRDF和/或参考照明。通过约束BRDF和/或照明，定制的应用可以在比商业上可获得的光线追踪包更少的时间内绘制图像。如果给定绘制的输出，则能够应用传统的用于界标定位的RGB技术，例如使用模·板匹配或局部特征分类。如果给定必需界标的估计位置，这些位置能够映射回到可以从中执行生物识别的3D范围图像。在一个实施例中，系统进一步包括比较装置以通过将一个或多个3D界标与参考图像中的一个或多个3D界标比较来执行生物识别。在此描述的新颖方法具有商业和执法应用的广泛适用性，包括但不限于安全和访问控制，公共场所监视，面部照片匹配等等。在一个实施例中，被绘制的可视图像是被绘制的RGB可视图像。在一个实施例中，被绘制的可视图像是被绘制的黑白(B&W)图像或者被绘制的灰度图像。图4A是具有各种界标的主体人脸的简化示意图400，这些界标具有各种特性，包括但不限于眼睛402之间的间隔，鼻子404的宽度，颧骨406的形状以及下巴特征408。图4B是具有眼眶界标414的主体人眼的简化示意图412.绘制步骤的使用和配置的省略以及尝试3D图像界标定位，在这里所描述的各种实施例中提供了提高的简单性和准确性。相比之下，由于必须通过采用距离信息的衍生物来建立每个像素的表面方向，因此2. 5D图像无法提供合适的绘制。如果存在任何噪声，其会因采用所述衍生物而放大。图4示出计算机系统的框图，该计算机系统执行用于运行上述诊断系统算法的程序。一般计算设备以计算机410形式，可以包括处理单元402，存储器404，可移除存储器412以及不可移除存储器414。存储器404包括易失性存储器406和非易失性存储器408。计算机410可以包括，或者具有对计算环境的访问，该计算环境包括各种计算机可读介质，例如易失性存储器406和非易失性存储器408，可移除存储器412和不可移除存储器414。计算机存储器包括随机访问存储器(RAM)，只读存储器(R0M)，可擦除可编程只读存储器(EPROM) &电可擦除可编程只读存储器(EEPROM)，闪存或者其它存储器技术，光盘只读存储器(CD R0M)，数字多功能光盘(DVD)或者其它光盘存储器，磁盒，磁带，磁盘存储器或者其它磁存储装置，或者任何其它能够存储计算机可读指令的介质。计算机410可以包括或者具有对计算环境的访问，该计算环境包括输入416，输出418以及通信连接420。计算机可以运行在网络化环境中，该环境使用通信连接以连接到一个或多个远程计算机。远程计算机可以包括个人计算机(PC)，服务器，路由器，网络PC，对等设备或者其它普通网络节点等等。通信连接可以包括局域网(LAN)，广域网(WAN)或者其它网络。存储在计算机可读介质上的计算机可读指令可由计算机410的处理单元402执行。硬盘，⑶-ROM和RAM是包括计算机可读介质的物品的一些示例。尽管在以上已经详细描述了一些实施例，但其它修改是可能的。例如，附图中所描述的逻辑流程不需要按所示的特定顺序或者依次的顺序来达到想要的结果。可以提供其它 步骤，或者可以从所描述的流程中删除步骤，并且可以添加其它组件到所描述的系统，或从所描述的系统中删除组件。其它实施例将落入所附权利要求的范围内。遵循37C. F. R. § I. 72(b)而被提供的摘要被提交，可以理解其不被用来解释或限定权利要求的范围或含义。
权利要求
1.一种计算机实现的方法，包括 获取(302)包含一个或多个3D界标的三维(3D)范围图像(400)； 绘制(304)所述3D范围图像到包含与所述一个或多个3D界标相关的亮度模式的被绘制的可视图像中；并且 在所述被绘制的可视图像中定位(306)所述一个或多个3D界标的至少一个，以提供至少一个定位的3D界标。
2.权利要求I的方法，进一步包括剪裁(308)所述至少一个定位的界标，以产生至少一个被剪裁的定位的3D界标。
3.权利要求2的方法，进一步包括将至少一个被剪裁的定位的3D界标与参考图像中的至少一个3D界标进行比较(314)，以提供一般识别或者生物识别。
4.权利要求I的方法，其中所述被绘制的可视图像是被绘制的可视RGB图像。
5.权利要求I的方法，其中所述一个或多个3D界标包括脸部界标(402，404，406，408，414)。
6.权利要求I的方法，其中所述3D范围图像具有主体，并且绘制步骤包括使用所述3D范围图像和所述主体的双向反射分布函数(BRDF)，来绘制与合成光源相关的主体的外形。
7.一种计算机可读装置，具有指令以使计算机系统实现一种方法，该方法包括 绘制包含一个或多个3D界标的3D范围图像到包含与所述一个或多个3D界标相关的亮度模式的被绘制的可视图像中； 定位所述一个或多个3D界标中的至少一个，以提供至少一个定位的3D界标。
8.一种系统,包括 三维(3D)范围图像获取装置，与包含一个或多个3D界标的3D范围图像关联； 绘制装置，配置为绘制所述3D范围图像到包含与所述一个或多个3D界标相关的亮度模式的被绘制的可视图像中；以及 与所述绘制装置通信的界标定位装置，所述界标定位装置被配置为在所述被绘制的可视图像中定位所述一个或多个3D界标中的至少一个，以提供至少一个定位的3D界标。
9.权利要求8的系统，进一步包括 与所述界标定位装置通信的剪裁装置，用于剪裁所述至少一个定位的3D界标，以产生至少一个3D界标；以及 与所述3D范围图像获取装置通信的显示器，用于输出所述至少一个定位的亮度模式。
10.权利要求9的系统，进一步包括与所述剪裁装置通信的比较装置，用于将所述被绘制的可视图像中的所述至少一个已剪裁的定位的亮度模式与参考可视图像中的至少一个3D界标进行比较，其中能够执行一般识别或者生物识别。
全文摘要
提供一种计算机实现的方法，包括获取包含一个或多个3D界标的三维(3D)范围图像；绘制该3D范围图像到包含与所述一个或多个3D界标相关的亮度模式的被绘制的可视图像中；并且在所述被绘制的可视图像中定位所述一个或多个3D界标中的至少一个，以提供至少一个定位的3D界标。这样的方法以及相关系统和装置在生物识别应用中是有用的。
文档编号G06T15/30GK102708586SQ20121006384
公开日2012年10月3日 申请日期2012年1月28日 优先权日2011年1月28日
发明者S·麦克罗斯基 申请人:霍尼韦尔国际公司