用于3D扫描的系统和方法与流程

本发明涉及用于执行对对象的3d扫描的系统。本发明还涉及用于执行对对象的3d扫描的方法。

背景技术：

结构化光扫描是3d扫描行业中用于获得面部和物体的3d图像的常用方法。如图1中示意性示出的，这种方法利用光投影器(可以使用不同类型的光)，其将光(通常以平行条纹的图案)投影到面部、身体或物体上，并且一个或多个相机检测反射图案的几何变形。图2总体上示出了如何将投影的图案重建为3d模型。

结构化光扫描在尺寸方面是有利的：该技术允许结构化光扫描系统被包含在诸如智能电话或其他小形状因子的小型外壳内。然而，因此，当用于面部扫描时，所使用的常规结构化光扫描方法和系统倾向于产生不准确的结果，例如在扫描用户的面部以安装用于使用在诸如“cpap”的应用中的“定制”面罩时将采用。

技术实现要素：

因此，本发明的目的是提供一种克服常规3d图像捕获系统和方法的缺点的系统和方法。作为本发明的一个方面，提供了一种使用检测设备和提供结构化光源的投影设备来捕获对象的3d图像的方法。所述方法包括：利用检测设备捕获对象的图像；分析图像；基于对图像的分析修改以下各项中的一项或多项：投影设备的输出或照射对象的环境照明源的强度；并且使用经修改的以下各项中的一项或多项利用所述检测设备和所述投影设备来捕获所述对象的3d图像：所述投影设备的所述输出或照射所述对象的所述环境照明源的强度。

修改投影设备的输出可以包括改变投影设备的输出的波长或强度中的一项或多项。

修改照射对象的环境照明源的强度可以包括增加环境照明源的强度。

修改照射对象的环境照明源的强度可以包括降低环境照明源的强度。

基于对图像的分析来修改投影设备的输出和对象的环境照明源的强度中的一项或多项可以包括通过改变投影设备的输出的波长和强度中的一项或多项来修改投影设备的输出。

所述方法还可以包括在分析图像之后并且在捕获3d图像之前向对象提供指令，以用于要由对象采取以改进扫描质量的动作。

作为本发明的另一方面，提供了一种用于捕获对象的3d图像的系统。所述系统包括：检测设备，其被构造为捕获对象和周围环境的图像；投影设备，其被构造为提供结构化光源；以及处理单元，其与检测设备和投影设备通信。处理单元被编程为：分析由检测设备捕获的对象的图像；并且基于对图像的分析修改以下各项中的一项或多项：投影设备的输出或照射对象的环境照明源的强度；并且使用经修改的以下各项中的一项或多项利用所述检测设备和所述投影设备来捕获所述对象的3d图像：所述投影设备的所述输出或照射所述对象的所述环境照明源的强度。

处理单元可以被编程为通过改变投影设备的输出的波长或强度中的一项或多项来修改投影设备的输出。

处理单元可以被编程为通过增加环境照明源的强度来修改照射对象的环境照明源的强度。

处理单元可以被编程为通过减小环境照明源的强度来修改照射对象的环境照明源的强度。

所述系统还可以包括输出设备，并且所述处理单元还可以被编程为在分析图像之后并且在捕获3d图像之前经由所述输出设备向所述对象提供指令，以用于要由对象采取以改进扫描质量的动作。

检测设备可以包括rgb相机。

本发明的这些和其他目的、特征和特性，以及结构的相关元件的操作方法和功能和部件的组合以及制造经济性将在参考附图考虑以下具体实施方式和所附权利要求后变得显而易见，所有这些形成本说明书的一部分，其中，相似附图标记指代各附图中的对应部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，而不旨在作为本发明的限制的定义。

附图说明

图1是示出结构化光3d扫描的基本原理的示意性表示；

图2是示出如何将投影图案重建为3d模型的示意性表示；

图3是示出人体皮肤的层和每层中的发色团含量的示意性表示；

图4是示出针对不同皮肤肤色的皮肤反射光谱的比较的图形；

图5示出在低光和较高光条件下其皮肤中具有高黑色素含量的个体的照片，以及在这种光条件下获得的对应3d扫描；

图6示出在高光和较低光条件下其皮肤中具有低黑色素含量的个体的照片，以及在这种光条件下获得的对应3d扫描；

图7是根据本发明的示例实施例的用于获得对象的3d扫描的系统的示意图；

图8示出了由本发明的示例实施例执行的图像的示例分析；并且

图9是根据本发明的示例实施例的方法的示意图。

具体实施方式

根据需要，本文公开了本发明的详细实施例；然而，应理解，所公开的实施例仅仅是本发明的示例，其可以以各种形式实施。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅仅解释为权利要求的基础并且解释为教导本领域技术人员以实际上任何适当详细结构来不同地采用本发明的代表性基础。

如在本文中所使用的，单数形式的“一”、“一个”和“所述”包括多个指代，除非在上下文中清楚地另有指定。如在本文中所使用的，两个或更多部分或部件被“耦合”的表述应意指所述部分被直接或间接地(即，通过一个或多个中间部分或部件)结合在一起或一起操作，只要发生链接。如在本文所使用的，“直接耦合”意指两个元件直接彼此接触。如在本文所使用的，“固定地耦合”或“固定”意指两个部件被耦合从而作为一体移动，同时维持相对于彼此的恒定取向。

如在本文中所使用的，词语“单式”意指将部件创建为单件或单元。即，包括单独创建并之后耦合在一起作为单元的片段的部件不是“单式”部件或体。如在本文中所使用的，两个或更多个部分或部件彼此“接合”的表述应当意指所述部分直接地或通过一个或多个中间部分或部件而对彼此施力。如本文所使用的，术语“数量”应该意指1或大于1(即，多个)的整数。

本文中所使用的方向性用语，例如而非限制性的，顶部、底部、左、右、上、下、前、后以及它们的衍生词，涉及附图中示出的元件的取向，而非限制权利要求，除非其中明确记载。

本发明的实施例总体上涉及这样的系统和方法：其通过使用已经存在于大多数扫描器中的rgb相机通过自动检测面部的皮肤色调或物体的颜色，并改变对象上的支持(或环境)光，和/或基于来自rgb相机的输入改变所投影结的构化光的波长/强度，来增加结构化光扫描的准确性。

如背景技术中所讨论的，结构化光扫描在尺寸方面是有利的，该技术允许结构化光扫描系统被包含在诸如智能电话或其他小形状因子的小型外壳内。然而，在面部扫描期间，结构化光扫描方法的准确性由人体皮肤的反射和吸收折中。在我们的实验中，很明显需要根据被扫描的对象的皮肤肤色来改变照明条件。这是因为人皮肤包括不同的层(即表皮、真皮、皮下组织)，诸如图3中总体图示的，每层包含不同量的具有独特的光散射和吸收性质的组分(发色团)。人皮肤的主要发色团是黑色素和血红蛋白。深色皮肤对象中黑色素的量较高，而浅色皮肤对象中黑色素的量较少。皮肤中这些不同量的发色团，尤其是黑色素，导致光从不同类型的皮肤以不同的强度反射。图4示出了从450-1800nm的光的波长处不同皮肤类型的皮肤反射率。从该绘图可以看出，较浅色皮肤(i/ii型)从大约450nm-1150nm反射更多的光，而其在1200nm左右以及1350nm以上反射稍微更少的光。

然而，如果增加结构化光的强度，或者如果添加支持光，则可以获得改进的扫描。图5的扫描a示出了对于在其皮肤中具有较高黑色素含量的个体而言，太少的环境光能够如何影响扫描质量，如图5的对应的照片b所示。由于皮肤中的大黑色素含量，个体的较黑的皮肤具有相对较小反射率。这种降低的反射率使扫描器很难“看到”整个面部，尤其是在低环境光中，因此通常导致碎片化的、不完整的扫描。当添加更多的环境光来照射个体时，诸如图5的照片d所示，面部扫描质量显著改进，诸如图5的扫描c所示。

与图5的示例相反，具有较低黑色素含量的个体表现为需要较少的环境光。图6图示了环境光的变化能够如何影响其皮肤中具有较低黑色素含量的某人的扫描质量。太多的环境光，诸如图6的照片b所示，导致了扫描中的孔洞和不良的表面分辨率，诸如图6的扫描a所示。较少的环境光，诸如图6的照片d所示，导致更好得多的扫描质量，如图6的扫描c所示。因此，可以证明不同的皮肤色调能够导致不同的扫描质量。在前面的示例中，改变环境光对扫描质量具有显著效应。在这些情况下，检测皮肤色调并相应改变支持光的系统可以已经以自动方式改进扫描质量。

图7是根据本发明的示例实施例的用于获得对象的3d图像的系统10的示意图。系统10可以用于执行根据本发明的3d扫描方法，如下文所述。系统10包括检测设备20，其在本发明的示例实施例中采取rgb相机的形式，其检测被扫描的对象的皮肤色调或颜色(例如但不限于，面部、身体的部分、物体等)。类似于用于执行结构化光扫描的常规设备，系统10还包括投影设备30，其提供在扫描过程中使用的结构化光源。如将在下面进一步讨论的，可以选择性地修改由投影设备30投影的光的波长和/或强度，以便针对特定环境中的特定对象优化扫描。

继续参考图7，系统10还包括处理单元40，处理单元40与检测设备20和投影设备30通信，从而控制其操作并从其接收信号。处理单元40包括：处理器部分(未编号)，其可以是例如微处理器、微控制器或一些其他合适的处理设备；以及存储器部分(未编号)，其可以在处理部分内部或操作地耦合到处理部分，并且提供针对由该处理部分可执行以控制系统10的操作的数据和软件的存储介质。存储器部分可以是各种类型的内部和/或外部存储介质中的一种或多种中的任何，例如作为但不限于，ram、rom、eprom、eeprom、flash等，其提供用于数据存储的存储寄存器(即机器可读介质)，例如采取计算机的内部存储区的形式，并且可以是易失性存储器或非易失性存储器。

处理单元40编程有分类器，所述分类器可以使用已知技术使用给定的一组训练图像来训练，以自动检测由检测单元20捕获的帧中的面部。一旦分类器足够鲁棒地被训练以检测到面部，滑动窗口协议就用于分析从屏幕的左上到右下的像素。当跨步层读取屏幕中的像素时，对像素强度进行平均以找到环境照明以及面部检测器内个体的皮肤颜色。该布置可以用作反馈回路以通过读取对象的皮肤强度和激光投影器的强度来调节环境的照明。在图8中图示了这种布置的示例表示。

系统10还可包括：与处理单元40通信的输入设备50，其用于向处理单元40输入信息；输出设备60，其用于将来自处理单元40的输出提供给用户；或组合输入/输出设备，其用于向处理单元40提供输入或从处理单元40输出。系统10还可以包括由处理单元40可控制的多个环境照明源70。例如，环境照明70可以包括其中正在对对象进行扫描的房间内的智能照明，其可以通过处理单元40进行自动控制(即增加/减少)。作为另一示例，环境照明70可以包括设备10中容纳的或与设备10不同的多个光源，其与房间中的照明设备分开但可通过处理单元40控制。

因此已经描述了根据本发明的示例实施例的示例3d扫描设备10的基本部件，现在将结合图8描述根据本发明的示例实施例的用于获得对象的3d扫描的示例方法100。方法100开始于110，其中，经由检测设备20捕获对象的图像。接下来，在120处，图像被处理单元40分析。在这种分析期间，确定被扫描的对象的皮肤色调(例如，亮或暗)。还确定照射对象的环境照明。接下来，如130所示，根据预定参数调节投影设备30的输出(例如，波长、强度)和/或环境照明70(例如，强度)之一或两者，以便基于皮肤色调和照射对象的原始照明优化扫描。任选地，可以经由输出设备60将指令提供给对象以改进扫描质量。例如，这样的指令可以指导对象相对于检测设备20调节其位置(例如，移动更靠近、更更远、转动等)。作为另示例，这样的指令可以指导对象引起环境照明变化(例如，变亮、变暗)。最终，使用检测设备和投影设备捕获对象的3d扫描，如140所示。

尽管已经基于当前被认为是最实用和优选的实施例出于说明目的详细描述了本发明，但是应该理解，这样的细节仅出于该目的并且本发明不限于所公开的实施例，而是相反，旨在覆盖落在所附权利要求的精神和范围内的修改和等价布置。例如，应理解，本发明预期，在可能的范围内，任何实施例的一个或多个特征可以与任何其他实施例的一个或多个特征组合。

在权利要求中，括号内的任何附图标记不应被解释为对权利要求的限制。词语“包括”或“包含”不排除权利要求中列出的元件或步骤之外的元件或步骤的存在。在列举了若干模块的设备权利要求中，这些模块中的若干个可以由同一项硬件来实现。元件前面的词语“一”或“一个”不排除多个这样的元件的存在。在列举了若干模块的任何设备权利要求中，这些模块中的若干个可以由同一项硬件来实现。在互不相同的从属权利要求中记载了某些元件的仅有事实并不指示不能组合使用这些元件。