使用图案化光提供深度图的方法和系统与流程

本发明总体涉及结构光，并且更具体地，涉及改善经由结构光投影获得的深度图数据。

背景技术：

在阐述本发明的背景之前，阐述将在下文中使用的某些术语的定义可能是有帮助的。

本文所用的术语“结构光”定义为将已知图案的像素投影到场景的处理。当打击表面时这些变形的方式允许视觉系统计算场景中物体的深度和表面信息。不可见的结构光使用不会干扰投影图案会对其造成困惑的其他计算机视觉任务的结构光。

这里使用的术语‘深度图’被定义为包含与从观察点的场景对象的表面的距离有关的信息的图像。深度图可以是以利用z轴数据连接所有点的网格的形式。

这里使用的术语“图像分割”或“分割”定义为将数字图像分成多个段(像素集)的处理。分割的目的是简化图像的表示和/或将图像的表示变为更有意义和更容易分析的事物。图像分割通常用于定位图像中的对象和边界(线、曲线等)，也称为“边缘”。

通过结构光分析生成对象的深度图的挑战之一是沿着结合该对象的分割处理确定的对象的边缘得出完整的z轴数据。在基于条纹或线图案的结构光分析中，由于条纹之间的间隙，特别是对象边缘与这些间隙中的一些对准的情况，该挑战会加剧。

技术实现要素：

根据本发明的一些实施方式，本文提供了一种估计沿着通过结构光分析得出的深度图的边缘的缺失的z轴数据的方法。该方法基于使用与对象和子对象的几何特征相关联的数据，以估计缺失的z轴数据。例如，当对象是手部(对象)，并且丢失的数据是沿着指尖边缘的点的z轴数据时，指头(子对象)具有圆柱形性质的事实可以是有益的。在一些实施方式中，一旦几何特征被识别，则使用相应的模板来重建缺失的z轴数据。

在一些实施方式中，基于原始图案化光(确切的顺序并不重要)获得并分割深度图。一旦检测到对象的边缘，通常基于2d图像和降低图案化光的强度，执行边缘附近的深度图的部分的分析。该分析结果确定与边缘附近对应的对象的部分的几何特征。确定的几何特征映射到对曲线拟合函数造成约束的许多预定模板中的一个，曲线拟合函数接收相邻点的现有z轴值以便估计沿边缘定位的所需点的z轴值。

在一些实施方式中，沿着边缘附加的z轴值用于补充深度图的网格。

本发明的实施方式的这些附加的和/或其他方面和/或优势在随后的详细说明中阐述；其可能从详细说明中推断；和/或可通过本发明的实施方式的实践来习得。

附图说明

为了更好地理解本发明的实施方式并且示出如何实施本发明，现在将仅作为示例参考附图，其中相同的标号始终指示相应的元件或部分。

在附图中：

图1是示出根据本发明的实施方式的由水平条纹光图案照亮的对象的图；

图2是示出了根据本发明的实施方式的若干方面的网格图；

图3是示出了根据本发明的一些实施方式的方面的截面图；

图4是示出了根据本发明的一些实施方式的系统的框图；

图5是示出了根据本发明的一些实施方式的方面的截面图；

图6是示出了根据本发明的实施方式的系统的若干方面的框图；并且

图7是示出了根据本发明的实施方式的方面的网格图；

图8是示出了根据本发明的实施方式的方面的曲线图；

图9是示出了根据本发明的实施方式的另一方面的曲线图；

图10是示出根据本发明的实施方式的非限制性示例性方法的步骤的高级流程图；以及

图11a-11c是示出根据本发明的实施方式的方面的示例性颜色深度图。

具体实施方式

现在具体参考详细附图，应强调的是，所示的特例是示例性方式的，并且仅为了本技术的优选实施方式的说明性讨论的目的，并且为了提供被确信为本技术的原理和概念性方面的最实用和易于理解的说明而呈现。鉴于此，没有试图以比基本理解本技术更详细的方式显示本发明的结构细节，且参照附图的说明使本领域的技术人员清楚在实际中可以如何实施本发明的多个形式。

在详细说明本技术的至少一个实施方式之前，应理解，本发明不限于将其应用于以下描述中所阐述的或在附图中示出的部件的构造和布置的细节。本技术可适用于其他实施方式或者以各种方式实践或者实施。同样，应理解，本文中采用的措词和术语是为了描述的目的且不应被认为是限制。

图1是示出根据本发明的实施方式的由水平条纹(或者线)光图案照亮的对象的图。手部10由诸如11、12、13和14的条纹覆盖，对条纹的反射进行测量和分析以产生深度图。可以看出，由于条纹之间的间隙，诸如15和16的一些指尖未被光图案覆盖，至少没有在指尖边缘附近的任何地方覆盖。

根据示例性实施方式，传感器(这里未示出)可以以一定的y轴距离定位，例如在将条纹图案投影在手部和背景(例如，手部所在的桌子表面、墙壁等)上的发射器附近。选择传感器的位置，以便在照相机、光投影仪和从用户的手部和背景反射回的光之间产生三角测量效果。

三角测量效果导致沿着条纹的点处的图案的不连续性，与利用光图案投影的对象具有显着的深度偏移。不连续部分将条纹分割(即，划分)成两个或多个条段，例如位于手部上的部分、位于手部左侧的部分和位于手部右侧的部分。

这种深度偏移产生的条段可以位于用户的手部的手掌或手指的轮廓上，其位于照相机和用户的身体之间。也就是说，用户的手指或手掌将条纹分割成两个或多个条段。一旦检测到这种条段，便于沿着条段至条段的端部。

因此，该设备可以分析二维视频数据，以产生条段的集群。例如，设备可以通过手部的手指在光图案中识别由条纹分割所产生的一个或多个条段的集群，例如从手部的中指反射的四个部分的集群。因此，设备通过跟踪通过手指对条纹进行分段而产生的条段的集群或通过跟踪至少一个集群的部分来跟踪手指的移动。

通过由数字分割(即划分)条纹而产生的条段的群集包括在x轴上具有重叠的条段。可选地，群集中的条段还具有类似的长度(从指头厚度得出)或在y轴坐标中相对邻近。

在x轴上，对于在x-y平面上直线定位的手指，这些部分可以完全重叠，或者对于对角定位的手指，局部重叠。可选地，设备进一步识别手指的深度移动，例如通过检测跟踪的群集中的部分的数量的变化。例如，如果用户伸展用户的中指，则手指与发光器和照相机的平面(x-y平面)之间的角度会发生变化。因此，群集的部分的数目从四个减少至三个。

可选地，设备进一步在光图案中识别通过手部的手掌对条纹进行分割而产生的一个或多个条段的一个或多个群集。

通过手掌对条纹进行分割而产生的条段的群集包括在x轴上与用户手部的指头的条段群集重叠的上条段。上条段在x轴上与四个指头群集重叠，但不超过四个指头群集的底部段的最小和最大x值。

通过手掌对条纹进行分割而产生的条段的群集进一步包括在段的正下方，与条段显著重叠的几条条段。通过手掌对条纹进行分割而产生的条段的群集进一步包括延伸到用户的拇指的条段群集的底部的较长条段。应理解的是，手指和手掌群集的方向可能因特定的手部位置和旋转而不同。

图2示出了通过图1所示的手部的结构光分析得到的网格20形式的深度图。可以看出，由于在诸如拇指和中指的某些指头的指尖的边缘附近缺失光图案，这些部分中的z轴数据不准确或不完整。因此，由具有不正确的z轴数据的点生成的网格将不能很好地表示对象的对应部分。例如，放大插图21中示出的一个不良效果是由于对象的边缘的数据不足引起的锥形指尖。放大插图22中示出的另一不良效果是由指尖边缘附近缺失z轴数据引起的“切口”指尖。放大插图23中所示的又一个不良效果是得出不准确的z轴数据并且网格基于其上的变形指尖(通常出现在拇指上)。

图3示出了沿着图2中示出的网格的中指并且具体地沿着截面a-a'的深度数据的横截面。如所示，得出覆盖有光图案的部分的深度数据30。然而，除了点33朝向a'之外，不能直接得出数据，因为其周围没有光图案。范围36示出了边缘点35a-35c的z值可以与之相关联的自由度。若干实例是35a-35c，每个具有相关联的相应估计网格37a-37d，一些显然是不准确的。

图4是示出根据本发明的可以从图案是垂直条纹的结构光分析得出的深度的图。在此，图示了不同的不良效果。手部在这里被用作图案化光的垂直线覆盖。由于诸如线41a、41b及其他的相邻线未与对应的相邻指头的边界对准的事实，数据的深度分析可能忽略了至少在42a中示出的其部分中的指头之间的间隙，并且指头之间的边缘可能错误地彼此连接形成“鸭”形手部。在图5中的b至b'的横截面中示出了可能看起来像指头之间的过多皮肤42a、42b、42c的这种不良效果，其中横截面50中示出的所有三个指头具有相同z轴值的共同平面，其中，真正的指头线50a实际上是分离的。

图6是示出了根据本发明的实施方式的系统的若干方面的框图。系统600可包括图案照明器620，其被配置为例如用线图案来照亮对象10。捕获设备630被配置为接收由计算机处理器610分析以产生深度图的反射。

生成的深度图沿着其图案外(off-pattern)边缘和其它图案外部分的一些显示出不准确或不完整的z轴数据。为了解决这个问题，计算机处理器210被配置为确定由于邻近对象的边缘而缺失z轴值或z轴值不正确的深度图部分。然后，计算机处理器基于相邻部分是网格的邻近具有深度图的z数据缺失或不正确的点的部分，继续检测与所确定的深度图部分相关联的对象的几何特征。几何特征与对象表面的结构有关。

在一些实施方式中，计算机处理器610被配置为基于检测到的几何特征来选择模板功能640，并且基于对应的深度图部分的局部几何特征对所选择的模板应用约束。这产生了基于几何特征(例如指头的圆柱形状)的类型并且还基于从深度图的具有有效z轴数据的部分局部得出的特定数据调整的拟合函数。

图7是示出了根据本发明的实施方式的方面的网格图700。沿着向量v(x,y)移动，边缘点730-735可以检测为光强度降低到低于预定阈值，如图8所示，图8示出了作为沿着向量v(x，y)前进的函数的从图案外对象部分反射的光强度。

一旦处理器610检测到x-y平面边缘730-735，计算机处理器然后基于所选择的模板及其对应的约束和检测到的边缘来应用曲线拟合函数。这在图9的曲线图中示出，其中，点724-727取自深度图，并且已基于现有数据和曲线拟合函数外推(extrapolate)了点730-728的值。

最后，在估计边缘点731-735的所有z轴数据之后，可以基于得出的边缘的z轴数据来完成深度图。

图10是示出根据本发明的实施方式的非限制性示例性方法1000的步骤的流程图。方法1000可包括：获取基于包括例如条纹(也可以使用其他图案)的图案的结构光分析生成的对象的深度图1010；考虑到对象的边缘，确定深度图的z轴值不准确或不完整的部分1020；基于深度图的线的边缘来检测与所确定的部分相关联的对象的几何特征1030；基于所检测的几何特征选择模板功能1040；基于对应部分的局部几何特征对所选择的模板应用约束1050；基于从对象的图案外区域反射的强度来检测对应部分的x-y平面边缘点1060；基于所选择的具有其对应的约束的模板和检测的边缘点执行曲线拟合，以得出边缘点的x轴值1070；通过外推该部分的点，将边缘点z轴值应用于拟合的曲线，以估计边缘点与原始深度图之间的额外点的z轴值1080；并且基于边缘点和边缘与原始深度图之间的额外点的得出的z轴值来完成原始深度图1090。

图11a-11c是示出根据本发明的实施方式的方面的示例性颜色深度图。这里示出了一些上面讨论的不良效果，例如切断指头和隐藏拇指。

在上述说明中，实施方式是本发明的实例或者实现。“一个实施方式”、“实施方式”或“一些实施方式”的各种外观不一定都指代相同的实施方式。

尽管可以在单个实施方式的上下文中描述本发明的各种特征，但是也可以单独地或以任何合适的组合提供特征。相反地，尽管为了清楚起见在本文中可以在单独的实施方式的上下文中描述本发明，但是本发明也可以在单个实施方式中实现。

说明书中对“一些实施方式”、“实施方式”、“一个实施方式”或“其他实施方式”的引用意味着结合实施方式描述的特定特征、结构或特性包括在本发明的至少一些实施方式(但不必是本发明的所有实施方式)中。

应当理解，本文采用的措辞和术语不应解释为限制性的并且仅用于描述的目的。

参考所附说明、图形和实例可以更好地理解本发明的教导的原理和用途。

应当理解，本文阐述的细节不解释为对本发明的申请的限制。

此外，应当理解，本发明可以以各种方式实施或实践，并且本发明可以在除了上述描述中所概述的实施方式之外的实施方式中实现。

应当理解，术语“包括”、“包含”、“由...组成”和其语法变体不排除添加一个或多个组件、特征、步骤或整体或其组合，并且术语将是被解释为指定组件、特征、步骤或整数。

如果说明书或权利要求涉及“附加”元件，则不排除存在多于一个附加元件。

应当理解，如果权利要求或说明书是指“一个(a)”或“一个(an)”元件，则这样的引用不应被解释为仅存在该元件中的一个。

应当理解，在说明书中声明“可以(may)”、“可能(might)”、“可以(can)”或“可以(could)”包括组件、特征、结构或特性的情况下，不需要包括特定组件、特征、结构或特性。

在适用的情况下，尽管可以使用状态图、流程图或二者来描述实施方式，但是本发明不限于这些图或对应的描述。例如，流程不需要通过每个所示的方框或状态，或者以与图示和描述完全相同的顺序。

本发明的方法可以通过手动、自动或其选择的步骤或任务的执行或完成来实现。

权利要求和说明书中呈现的描述、实例、方法和材料不应解释为限制性的，而是仅为说明性的。

除非另有定义，本文所用技术和科学术语的含义通常如本发明所属领域的普通技术人员理解的。

本发明可以在与本文所述的方法和材料相当或类似的方法和材料的测试或实践中实现。

尽管针对有限数量的实施方式描述了本发明，但这些实施方式不应理解为对本发明的范围的限制，而是作为一些优选实施方式的范例。其他可行的变化、变形和应用也存在于本发明范围内。因此，本发明的范围不应被至此所描述的内容所限定，而是受所附权利要求和它们的法律等同物来限定。