产生场景的深度图的方法和装置的制造方法
【技术领域】
[0001]本发明一般涉及3D计算机图形。具体地，本发明涉及产生场景的深度图的方法和
>J-U ρ?α装直。
【背景技术】
[0002]在3D计算机图形中，深度图是包含深度信息的图像，深度信息与场景中的对象的表面离开视点的距离有关。深度图通常是2D图像，其具有对应于距离的像素值，例如更明亮的值意味着更短的距离，或者反过来。
[0003]深度图中包含的深度信息可以具有若干用途。例如，能够用于模拟诸如雾或烟这样的场景内的均匀致密的半透明介质的效果。
[0004]微软(Microsoft)的Kinect系统提出使用结构光(structured light)来建立场景的深度图。结构光方法表示把已知的像素图案(往往是网格或水平条)投射到场景上的过程。光图案在撞击到场景的若干表面时变形的方式允许视觉系统计算场景中的点/对象的深度信息。
[0005]具体地，在Kinect系统的结构光方法中，存在将特别设计的2D图案投射在场景上的光源。通常，IR(Infrared Ray,红外线)点投影用于Kinect系统。该投影可以仅仅为点的伪随机布局，使场景的每个区域都被唯一点的布局图案照亮。图1是示出照射到场景上的IR点投影的图案的示例图。被照射的场景将被图像传感器捕获。在将上述IR点投影用作光源的情况下，图像传感器可以是IR捕获传感器(例如IR摄像机)。即使在变化来自于场景区域中的深度改变的情况下，每个唯一图案也都将通过IR捕获传感器的图像被唯一地识别。然后，通过三角测量原理根据被投射且捕获的图案之间的移位测量出深度信息。在Kinect系统的IR点投影的示例中，带有参与者的场景被不可见的IR光轰击。该辐射的一部分将被所有受影响的表面反射。(涉及IR摄像机的)被反射的IR辐射的量取决于对象的距离。对于更远的对象，被反射的红外辐射的量将更小。相反，对于近处的对象，被反射的红外辐射的量将很重要。因此，IR摄像机将基于强度测量到对象的距离。
[0006]结构光方法现在被广泛地使用，特别在电影领域中。
[0007]在产生场景的深度图的常规的结构光方法中，场景被密度均匀的结构光照射。例如，场景的背景和前景中的对象以具有相同密度的图案投射。然后测量出的变形允许如上所述的深度图的计算。
[0008]然而，在常规的结构光方法中，密度均匀的结构光图案被投射到场景上。这意味着其密度可能与给定场景的点/对象的数量相关联的光的同一图案将用于该场景的全部的点/对象，而与对象到视点的距离无关。这样的结构光方法的问题之一是最远的对象的精度损失。应当认识到，在均匀密度投影的情况下，最远的对象的清晰度已经比最近的对象的清晰度差。
【发明内容】
[0009]考虑到常规技术中的以上问题，本发明提供了产生场景的深度图的方法和装置，其使用密度不均匀的结构光图案投射到所述场景上。所述光图案的密度动态地适配于通过深度分割划分的所述场景的至少一个区域，随着所述至少一个区域的深度值而变化。本发明能够提供关于所期望的深度精度的可控制的图案投影，并且允许在产生场景的深度图的期间进行更加详细的分析。
[0010]根据本发明的一方面，提供了产生场景的深度图的方法。所述方法包括以下步骤:将密度均匀的结构光图案投射到所述场景上，以获得第一深度图；基于所述第一深度图中的深度信息，将所述场景分割为至少一个区域；以及，通过使所述光图案的密度适配于所述场景的所述至少一个区域，将密度不均匀的结构光图案投射到所述场景上，以获得所述场景的第二深度图。
[0011]根据本发明的一方面，提供了产生场景的深度图的装置。所述装置包括:图案投射器，用于向场景投射结构光图案；图像传感器，用于捕获在所投射的结构光图案的照射下的所述场景的图像；深度信息单元，用于通过测量所投射的结构光图案与由所述图像传感器捕获的光图案之间的变形来获得所述场景的深度信息，以产生所述场景的深度图；以及控制单元，用于使所投射的结构光图案的密度适配于所述场景的相应区域，随着所述区域的平均深度值而变化。
[0012]应当理解，在本发明的以下详细说明中将发现关于本发明的更多方面和优点。
【附图说明】
[0013]放入附图，以便与用于解释实施例的原理的描述一起，提供关于本发明的实施例的更进一步的理解。本发明并不限于所述实施例。
[0014]在附图中:
[0015]图1是示出照射到场景上的IR点投影的图案的示例图；
[0016]图2是示出根据本发明的实施例的产生场景的深度图的方法的流程图；
[0017]图3是示出密度均匀的结构光图案的示例图；
[0018]图4是示出通过矩形包围盒的深度分割的输出的示例图；
[0019]图5是示出具有自适应密度的光图案的示例图；
[0020]图6(a)、图6(b)和图6(c)是示出产生特定场景的深度图的过程的示例图；以及
[0021]图7是根据本发明的实施例的产生场景的深度图的装置的框图。
【具体实施方式】
[0022]现在将结合附图详细地描述本发明的实施例。在以下说明中，为了简明，可能省略对公知功能和配置的一些详细说明。
[0023]图2是示出根据本发明的实施例的产生场景的深度图的方法的流程图。
[0024]在步骤201，将密度均匀的结构光图案投射到场景上，以获得第一深度图。
[0025]在这个步骤中，图案投射器可以用于向场景投射结构光图案。任何适当的光源都能够用于图案投射器，包括但是不限于上述IR投射器。在这种情况下，应当认识到从图案投射器入射的光是IR。如上所述，所投射的图案可以是点的布局。图3是示出在步骤201中可以使用的密度均匀的结构光图案的示例图。但是应当认识到，图案能够包括其他预定的形状。
[0026]能够通过图像获取单元测量所投射的结构光在撞击到场景的反射表面时的变形。图像获取单元可以是图像传感器，例如摄像机。在这种情况下，使用IR捕获传感器。场景的深度信息能够通过测量所投射的结构光图案与由图像获取单元捕获的图案之间的变形/移位来计算。根据计算出的深度信息能够产生第一深度图。应当认识到，能够使用根据所捕获的变形来计算深度信息的已知的三角测量算法。在这方面将不给出进一步的细节。
[0027]在步骤202，基于第一深度图中的深度信息，将场景分割为至少一个区域。
[0028]深度信息可以是场景的点的深度值。在这种情况下，可以通过根据由第一深度图提供的场景的点的深度值将场景的点分组为多个群集(cluster)来执行步骤202(在下文中，可以称其为深度分割)。可以将具有相同或相似深度值的点的集合分组到一个群集中。
[0029]场景的点之间的欧几里德距离(Euclidian distance)能够用于以上目的，即，将具有相同或相似深度值的场景的点分组为群集。欧几里德距离的标准用于建立群集，其通过具有最近距离(di+/_A)的点来建立。该过程可以是近邻约束的，以得到均匀的群集。应当认识到，欧几里德距离以外的其他标准也能够用于场景的点的群集。
[0030]可以根据场景的复杂度来确定要分割的区域的数量。可以由用户设置与场景的复杂度有关的参数。场景的复杂度可以与场景中对象的数量和尺寸以及这些对象之间的距离差异有关。例如，在不同距离处具有大量对象的场景被视为是复杂的，并且具有小对象的场景也被视为是复杂的。可以将更复杂的场景分割为更多数量的区域。
[0031]例如，应当认识到，基于深度值的场景的基本分割的结果是场景的背景区域和前景区域。
[0032]图4是示出通过矩形包围盒的深度分割的结果的示例的示例图。如图4所示，根据在第一深度图中提供的深度信息，可以将场景分割为三个区域，其被指示为前景平面、背景平面和中间平面。可以通过根据由第一深度图提供的场景的点的深度值对这些点进行群集来进行分割。具有相同或相似深度值的点被分组到一个群集中，即，前景平面、背景平面和中间平面的区域之一。在图4中，场景被分割为由矩形包围盒限定的区域。矩形包围形状是一种简单的用于深度分割的包围盒。但是本领域的技术人员应当认识到，也可以使用其他形状。
[0033]为了管理边界区域，可以扩大得到的前景区域以具有安全余量，使得能够避免振荡。
[0034]例如，矩形包围盒可以围绕被分割的斑点(blob)建立，或者可以对被分割的深度图像进行形态侵蚀。
[0035]在步骤203，通过使光图案的密度适配于场景的至少一个区域，将密度不均匀的结构光图案投射到场景上，以获得场景的第二深度图。
[0036]应当认识到，深度图的准确度取决于光图案的密度。致密的图案将比稀疏的图案提供更高的准确度。
[0037]根据本发明的实施例，所投射的光图案的密度能够根据场景的相应分割区域的深度值局部地适配于场景的相应分割区域。用于适配的以上深度值可以是区域中的全部或部分点的平均值。
[0038]图5是示出关于图4所示的分割区域的具有自适应密度的光图案的示例图。如图5所示，所投射的光图案的密度根据第一深度图的分割区域(在该情况下，前景平面、背景平面和中间平面)的平均深度值适配于这些区域。
[0039]应当认识到，具有更小平均深度值的场景的区域中的对象要求比具有更大平均深度值的场景的区域中的对象更好的准确度。此外，场景的背景区域将具有最大的平均深度值，而场景的前景区域将具有最小的平均深度值。所以，根据本发明的实施例，可以对在背景区域之上的具有更小平均深度值的任何一个或全部分割区域(那些区域被视为更接近于视点)提高所投射光图案的密度。在更具体的实施例中，可以仅仅对具有最小平均深度值的分割区域之一(该区域被视为是最接近于视点的一个)提高所投射光图案的密度。
[0040]如图5所示，因为前景平面和中间平面具有更小的平均深度值(即，更接近于视点)，所以分别对这两个区域提高所投射的光图案的密度。对于背景平面，所投射光图案的密度可以