用于调节结构化光成像的光图案的方法和系统与流程

本发明总体涉及结构化光，并且更具体地，涉及调节结构化光系统中的光图案。

背景技术：

在阐述背景技术之前，阐述在下文中将要使用的一些术语的定义会是有帮助的。

如在本文中使用的术语“结构化光”被定义为将像素的已知图案(例如，网格或水平条)投影到场景上的过程。当撞击表面并分析变形时投影的图案化光变形使得视觉系统能够计算场景中对象的深度和表面信息。为了提供如何能够实现结构化光的更多细节，仅通过举例说明的方式，通过引证将WIPO出版编号WO2013088442的全部内容结合到本文中。

如在本文中使用的术语“空间编码”被定义为投影到场景上的固定图案并通过传感器的照相机成像。固定图案以这样的方式设计成使得沿核线通过考虑局部相邻的图案能够唯一地识别每个区域的图案。该方法在投影的图案的功率使用和采集时间方面是有效的，但需要几个像素专用于每个标记并由此导致低空间分辨率。主要的缺点是固定图案缺乏通过使用不同的图案而响应于不同的场景条件的灵活性。图1A示出了根据现有技术的用虚线表示的固定光图案100A。可以使用配置为导致相长干涉和相消干涉的组合的移相器的掩膜实现固定图案。

如在本文中使用的术语“时间编码”被定义为通过图案的序列照亮场景。图案序列以这样的方式设计成使得通过唯一的时间序列对特定核线中的每个图案位置进行编码。该方法可以是准确的并具有灵活性，但不是功率有效的并需要长的采集时间。图1B示出了根据现有技术的时间光图案100B，分别示出了时间戳t₁、t₂、t₃、以及t₄中的每一个的唯一垂直线111、112、113、以及114。

虽然高度期望动态地改变图案的能力，但是随之而来的功率无效率使得其在很多应用中非常没有吸引力。为了允许动态图案，通常使用图像源。这样的图像源利用形成调制的光源以产生图案的亮区和暗区的图像逐步扫描场景或者对其同时照亮。考虑到光源的最大输出，其调制减少“接通”时间并由此降低总输出功率。

以作为使用扫描镜系统所投影的光源的连续波(CW)激光二极管为例。这样的激光二极管可以发射一定量的最大光功率。当对光进行调制以产生期望图案时，通过调制减小平均强度并且因此减少亮度损失结果。这种权衡对于图像投影方法的任意标准使用都是正确的。

技术实现要素：

本发明的一些实施方式克服固定图案化光的上述缺点(即缺乏灵活性)以及时间编码能量效率低和场景的采集时间较长的缺点。

本发明的实施方式提供了一种用于调节结构化光成像设备的光图案的系统。系统可以包括：发送器，被配置为利用基于预定标准调节的图案化光照亮场景；接收器，被配置为接收调节的图案化光的反射；以及计算机处理器，被配置为控制图案化光的调节，并进一步分析接收的反射，以得到对象在场景中的深度图，其中，发送器可以包括：光源，被配置为产生光束；第一反射器，可近似沿笛卡尔x-y-z坐标系中的x-y平面上的-45°线倾斜；以及第二反射器，可沿所述坐标系中的z轴倾斜，其中，反射器沿它们相应的轴往复倾斜以使光束转向用于创建调节的图案化光。

本发明的实施方式的这些、附加的和/或其他方面和/或优势在随后的详细说明中阐述；其可能从详细说明中推断；和/或可通过本发明的实施方式的实践来习得。

附图说明

为了更好地理解本发明的实施方式并显示其如何实现，现在将仅通过实例的方式来参照附图，在附图中，相同的标号自始至终指代对应的元件或部分。

在附图中：

图1A和图1B是示出了根据现有技术的几个已知结构化光技术的示意图；

图2是示出根据本发明的实施方式的系统的示意性框图；

图3是示出了根据本发明的实施方式的可调节图案的一方面的示意图；

图4是示出了根据本发明的实施方式的可调节图案的另一方面的示意图；

图5是示出了根据本发明的实施方式的可调节图案的又一方面的示意图；

图6是示出了根据本发明的实施方式的可调节图案的又一方面的示意图；以及

图7A-图7C是示出了根据本发明的实施方式的系统的一方面的示意图。

图8是示出了根据本发明的实施方式的一方面的示图；

图9是示出了根据本发明的实施方式的方法的高级流程图；以及

图10是根据本发明的实施方式的由系统生成的真实生活的光图案。

具体实施方式

现在具体参考详细附图，应强调，所示出的细节为举例说明并且只是为了本技术的优选实施方式的说明性讨论的目的，并且将其示出为了提供被认为是本技术的原理和概念方面最为有用且最易于理解的描述。在这方面，并不试图比对本技术作基本理解所需更详细地示出本技术的结构细节，且结合附图的说明使本领域的技术人员清楚在实际中可以如何实施本发明的几个形式。

在详细说明本技术的至少一种实施方式之前，应理解，本发明不限于将其应用于以下描述中所阐述的或在附图中示出的部件的构造和布置的细节。本技术可应用于其他实施方式或者以各种方式实践或者执行。同样，应理解，本文中采用的用语和术语是为了描述的目的且不应认为是限制性的。

除非明确地说明，否则从下面的讨论中很明显，应理解贯穿说明书，利用诸如“处理”、“计算”、“存储”、“确定”等术语的讨论是指计算机或计算系统或类似电子计算设备的动作和/或处理，这些系统或设备操纵表示为计算系统的寄存器和/或存储器中的物理(例如，电子)量的数据，和/或将这样的数据转换为类似地表示为计算系统的存储器、寄存器或其他这样的信息存储介质、传输或显示设备中的物理量的其他数据。本发明的实施方式可以包括用于执行本文中的操作的装置。这样的装置可以被特别构造以用于期望目的，或者可包括由存储在计算机中的计算机程序选择性地激活或重新配置的控制器、计算机或处理器。这样的计算机程序可以存储在计算机可读存储介质(例如，非易失性计算机可读存储介质)中，诸如但不限于，任何类型的盘，包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁或光卡、或者适合于存储电子指令并能够耦接至计算机系统总线的任何其他类型的介质。将理解的是，可以使用各种程序语言以实现如本文中描述的本发明的教导。

本发明的实施方式可以包括产品，诸如，计算机或处理器可读介质，或者计算机或处理存储介质，例如，存储器、磁盘驱动、或USB闪存；编码，包括或存储指令，例如，当由处理器或控制器执行时执行本文中公开的方法的计算机可执行指令。处理器可以包括任何标准数据处理器，诸如，微处理器、多处理器、加速板、或任何其他串行或并行高性能数据处理器。本发明的实施方式可以被包括为计算系统的部分，诸如，包括标准组件(诸如，操作系统、处理器、存储器、磁盘驱动以及输入输出设备)的个人计算机或工作站。本发明的实施方式可以与任意设备上的任何操作系统兼容或集成，包括但不限于OSX操作系统或操作系统。可替换的计算机配置是可能的，并且可以在各种合适的计算系统上实现本发明的系统和方法，包括但不限于，手持式、可安装或移动的计算系统。

图2是示出根据本发明的实施方式的系统200的示意性框图。系统200可以通过硬件和软件的组合实现并且被配置为生成并分析可调节的光图案，其中，可调节的图案可用于对结构化光进行空间编码。系统200可以包括发送器210、接收器220以及计算机处理器230。

发送器210(在X轴指向右、y轴指向上、且z轴指向页面内的x-y-z卡笛儿坐标系中示出)可以包括配置为生成指向第一反射器214(例如，反射镜)的光束(例如，激光)的光源212，第一反射器可倾斜并可控制(例如，由计算机处理器230)使得第一反射器214在周期扫描移动(例如，在正弦运动中，往复扫描预定角度的区)中可以围绕近似沿x-y-z卡笛儿坐标系中的x-y平面上的-45°线(例如，水平的，用H表示)的第一轴倾斜，该周期扫描移动导致往返扫描移动中的光束折叠。相似地，发送器210可以进一步包括第二反射器216(例如，反射镜)，在光被第一反射器214折叠之后，第二反射器可以沿光的光路定位。第二反射器216还可以以这样的方式倾斜并可控制(例如，由计算机处理器230)使得第二反射器216可以在第二轴上倾斜，第二轴是在周期扫描移动(例如，在正弦运动中，往复扫描预定角度的区)中在相同的x-y-z卡笛儿坐标系中的z轴(例如，垂直的，用V表示)，其中，第二反射器216的倾斜轴和第一反射器214的倾斜轴基本上垂直(例如，相对于与上述倾斜轴中的每一个交叉的垂直线，在+10°与-10°之间)。因此，到达第二反射器216的光束再次折叠(例如，就像其离开左光源212一样，折叠到基本上平行于光束的原始方向的方向上)。因此，两个反射器的同步倾斜在场景中创建了可调节光图案，如在下文中将详细描述的，对于场景中的一个或多个区，光图案的边界可以调节并进行限制。

此外，根据本发明的实施方式，第一反射器214的扫描速度和第二反射器216的扫描速度在它们之间呈现恒定比例(例如，水平扫描反射器的扫描速度与垂直扫描反射器的扫描速度之间的比例是有理数)。因此，由发送器210生成并投影到场景10上的图案化光提供复调和曲线，诸如，闭合利萨茹曲线。

根据本发明的一些实施方式，选择两个扫描速度(例如，水平和垂直)之间的比例以在场景10上生成基本线锯图案，如以下更详细地说明的，该图案可以随时间控制以针对在场景中可以随时间改变的各种因素来调节图案。

根据本发明的一些实施方式，第一反射器214和第二反射器216可以实现为具有所选择的尺寸以允许所需的束畸变的微电子机械系统(MEMS)中的反射镜。镜像驱动可以是静电或磁性或压电或者类似物。

根据本发明的一些实施方式，光源212可以是具有近似830nm的波长的准直单模激光器。可以通过单透镜(折射透镜或衍射透镜)实现光的准直。

接收器220可以包括光学器件222和传感器224，通过光学器件222收集来自场景10的光图案的反射，并且传感器224可能为互补金属氧化物衬底(CMOS)矩阵探测器的形式。传感器224可被配置为检测足以感测到场景10中的动态变化的刷新速率中的反射。另外，速率应当足够以使能够全面观察要沿其曲线花时间绘制的发送的图案。

计算机处理器230可以执行可被配置为控制发送器210的部件的计算机可读代码(例如，计算机程序或软件)，并进一步分析如接收器220接收和检测的来自场景10中的图案化光的反射。具体地，计算机处理器230可被配置为采用在结构化光的领域中已知的空间编码技术。为此目的，生成例如闭合利萨茹曲线的整个扫描归因于至少一个帧，并且传感器224的集成由此选择。对于由发送器210生成的任何给定(已知)图案，计算机处理器230可以调节其分析以最佳实现空间编码，就好像图案是静态的图案(例如，同时发送以覆盖指定区)一样。

有利地，对于结构化光成像系统，由如以上说明的发送器210生成的图案能够基于场景和/或场景中的对象(诸如，场景)两者的动态特性定制图案，对象包括位于距发送器较远的对象(例如，远场情景)或者可替换地位于距发送器较近的对象(例如，近场情景)。此外，假设图案是闭合利萨茹曲线，无论图案如何，如需要，本发明的实施方式能够使用光源212的极限强度。这可以呈现与扫描生成的光图案相比重要的优点，扫描生成的光图案在各种时隙处需要关闭光源。下面详细说明了几个实施例，实施例示出了用于调节由发送器210发送的光图案以及它们的相应优点和使用方法的非限制性实施方式。

图3是示出了根据本发明的实施方式的可调节图案的一方面的示意图。光图案300可以表现出有区别的线锯图案(例如，闭合利萨茹曲线)，其中，恒定强度的光线310往复移动(可能以200Hz的刷新速率)。如以上说明的，垂直扫描速度与水平扫描速度之间的比例优选为有理数使得在每个扫描周期中，图案300保持相同。这是必备条件使得可以实现空间编码。如以下将说明的，比例本身随着时间改变，但始终优选反映有理数。在反射器(例如，垂直与水平)改变它们的扫描移动的方向的点(诸如，线锯点312A-312F)处，以及还在图案300的最上面和最下面的线处，线310可以呈现为更粗，但总体线310表现出近似恒定强度而无需关闭光源212。应注意，由于水平镜的速度，强度多少会沿线变化。为了生成足够密集的光图案(例如，相对于覆盖的面积，在线锯图案处的线之间的距离足够密集)，可能需要近似1:10以上的水平轴与垂直轴之间的比例。应注意，上述比例规定线的数量，因此，1:10将仅给出10条线但通常实际应用需要更多的线(例如，100条以上的线)。沿立体轴(是沿其从两个视点形成立体图像的轴)需要更高的扫描速度，立体轴通常是使用线图案光的结构化光应用中的垂直轴，其中，待追踪的对象(诸如用户的头或手的手掌)垂直取向。应注意，从图案的反射提取的深度图可以用于根据本申请的某些实施方式识别由用户的手或任何其他身体部分做出的姿势和手势。

图4是示出了根据本发明的实施方式的可调节图案的另一方面的示意图。光图案400示出了其中光图案集中在关注区域420(ROI)的尺寸调节，关注区域是限定发射器对图案400的潜在覆盖的面积410的子集。可以通过调节一个或多个反射器中的每一个的扫描的跨度来实现图案400的尺寸调节，使得反射器各自覆盖较小的区。限制反射器的扫描跨度可影响垂直扫描与水平扫描之间的比例，并且因此应注意满足闭合利萨茹曲线要求。照亮ROI 420通过将更多的光放在期望的关注区域上，对于改善信号噪声比(SNR)和信号背景比会是有用的。每当指定对象(诸如，手的手掌430)需要更高的照明强度或者当场景中的其他对象完全不应照亮时，ROI照明同样是有用的。

图5是示出了根据本发明的某些实施方式的可调节图案的又一方面的示意图。光图案509示出了将原始(最大)面积510调节成两个(或更多)ROI，区域520(指向手的手掌)和指向用户的头的区域530。如与以上图4中示出的调节相反，通过关闭除ROI 520和530以外的任何像素处的照明光束来执行此处的尺寸调节。与图4中示出的调节图案相比较，这导致一些能量无效。然而，根据结构化光应用的类型，有时可能需要使用多个ROI，诸如，当在单个扫描周期对不同的对象同时进行照明时。

类似地，代替关闭照明源，可以调节照明源的强度以克服场景反射中的强的变化。以这种方式，为了避免感测动态范围的饱和和增加，将利用更低的强度图案投影更多的反射场景部分。

图6是示出了根据本发明的实施方式的可调节图案的又一方面的示意图。除了从共同的基线进行不同的垂直位移之外，光图案610、620以及630是类似的。根据一些实施方式，将可以随时间调节光图案并对于每个帧(可能周期性地)呈现不同的图案。在此，例如，光图案610、620以及630中的每一个对应于帧A、帧B、以及帧C等的序列。随时间进行调节对于从多次曝光中获得更高的分辨率会是有利的。这种情况的实例是以线之间的距离的百分数将图案向上移动，从而得到更大的垂直线分辨率。实现多次曝光需要缓慢变化的场景，以能够实现多次曝光。如在对由发送器生成的图案做出的所有其他调节中，接收器提供有与应用至图案的调节有关的数据，因此，分析、每个调节图案仍然与如本领域中已知的空间编码相似。

图7A-图7C是示出了根据本发明的某些实施方式的系统的一方面的示意图。图7B绘制了具有根据本发明的实施方式的位于墙壁中的一个附近的系统200的房间730B的俯视图。如示出的，从系统200发送图案化光并且图案化光中的一些(尤其来自系统200的左侧和右侧的光)撞击房间730B的墙壁740B。由于房间730B的上述几何形状，如果所使用的光图案(如图7A中所示并标记为700的)在线710B的右边和线710A的左边的区域处表现出具有较低的强度线720A的可变强度级，那么将会是有利的。在其他实施方式中，对于房间的每个几何形状，线强度可以逐渐降低并被调整适应。图7C示出了具有墙壁740C的椭圆形房间730C，在墙壁740C中可能需要完全不同的图案(图案线可能具有更均匀的强度)。本发明的实施方式将会确定房间的几何形状并因此调节光图案，以提高结构化光系统的有效性。

图8示出了本发明的又一方面。图案800表现出沿其线810的一个或多个凹口820(应注意并未示出所有的凹口)，其中，对于每个水平线，凹口设置在不同的位置。这个特征可以用于基于凹口的位置通过使在接收器处的指定线之间能够区分开而对线进行索引。凹口可以是光沿指定区段的任意遗漏。

图9是示出了根据本发明的某些实施方式的方法的高级流程图。方法900包括获得图案调节参数910。这些可以是用户定义的或自动定义的，并且是基于应用定制的。然后可以利用调节的图案照亮场景920并且检测到调节的图案的反射930，其中，在某些实施方式中，在每个图案的单次曝光中对整个调节图案执行检测。预期进行额外的曝光。最后，分析反射以用于以与其他结构化光方法相似的方法生成深度图940。

图10是根据本发明的某些实施方式的由系统生成的真实生活的光图案。如在图案1000中可以看出，以与水平扫描近似1:100的比例的往复正弦运动生成线图案的近似。

有利地，本发明的实施方式用作空间与时间结构化光技术之间的有效桥梁。实施方式呈现允许快速提取3D数据的瞬时固定图案，但其可以修改图案以使其动态地适应于改变的场景条件和要求。动态变化可以设计成逐渐增强有关当前场景的信息或者优化关于功率、信噪比、以及应付后台方面的数据采集。

有利地，本发明的实施方式呈现一种有效的方法以产生允许最大限度地利用可用光源的图案，而不需要不必要的无效“关闭”时间。

因此，根据本发明的某些实施方式的方法通过使用完全基于光“打开”的图案而克服了时间结构化光技术的主要缺点并克服了空间结构化光技术的主要缺点，该缺点是图案的刚性不能适应于变化的条件。

在以上描述中，实施方式是本发明的实例或实施方式。“一个实施方式”、“一种实施方式”、“某些实施方式”或“一些实施方式”的各种出现不必全都指相同的实施方式。

尽管可以在单个实施方式的上下文中描述本发明的各种特征，但特征还可以单独或以任何合适的组合来提供。相反地，尽管为了清楚起见，本文可在分离的实施方式的上下文中描述本发明，但本发明也可在单个实施方式中实施。

在本说明书中对“一些实施方式”、“一种实施方式”、“一个实施方式”、“某些实施方式”或“其他实施方式”的引用意味着结合实施方式所描述的具体特征、结构或特性包含在本发明的至少一些实施方式中，但不必包含在所有的实施方式中。

应当理解的是本文中所用的用语及术语不解释为限制性的并仅用于说明的目的。

参考所附说明书、附图和实施例可以更好得理解本发明的教导的原理和使用。

应当理解，本文中阐述的细节不解释为对本发明的应用的限制。

此外，应当理解，可以各种方式执行或实践本发明，并且可以在除了以上描述中概述的实施方式以外的实施方式中实现本发明。

应当理解，术语“包含(including)”、“包括(comprising)”、“组成(consisting)”及其语法上的变形不排除一个或多个部件、特征、步骤、或整体或其组合的添加，并且术语解释为指定部件、特征、步骤、或整体。

如果说明书或权利要求涉及“附加”元件，则不排除存在一个以上的附加元件。

应当理解，在权利要求或说明书涉及“一(a)”或“一个(an)”元件的情况下，这样的引用不解释为仅存在一个元件。

应当理解，在说明书声明“可以”、“可能”、“能够”、“可”包括部件、特征、结构、或特性的情况下，不需要包括具体部件、特征、结构、或特性。

在适用的情况下，尽管状态图、流程图或其两者都可以用于描述实施方式，但本发明不应当认为限于那些示图或相应的描述。例如，流程不需要通过每个示出的方框或状态、或以如示出和描述的完全相同的顺序来流动。

可以通过手动、自动或其组合执行或完成所选择的步骤或任务来实现本发明的方法。

在权利要求和说明书中呈现的描述、实施例、方法和材料不解释为限制性的而仅仅是说明性的。

除非另有定义，否则本文中使用的技术和科学术语的含义通常理解为本发明所属领域的普通技术人员通常理解的含义。

可以用与本文中描述那些等同或类似的方法和材料在测试或实践中实现本发明。

尽管相对于有限数量的实施方式描述了本发明，但这些实施方式不应理解为对本发明的范围的限制，而应当作为一些优选实施方式的示例。其他可行的变化、修改和应用也落于本发明的范围内。因此，本发明的范围不应被至此所描述的内容所限定，而应受所附权利要求及其法律等同物的限定。