专利名称：用于获得高精度深度图的设备和方法
技术领域：
本发明涉及一种用于获得高精度深度图的设备和方法，更具体地讲，涉及一种通过使用相机和深度传感器对来获得具有更少缺陷的高精度深度图的设备和方法。
背景技术：
随着图像处理技术的发展，捕捉对象的3D结构对用户来说已经成为非常有吸引力和有用的功能。以前的方法使用激光距离扫描器来扫描场景中的每个点。虽然这种方法精度非常高，但是在应用上存在很多限制。例如，激光对于广泛使用来说不是很安全，激光装置昂贵，并且因为捕捉速度较低，所以不能捕捉动态场景。近年来，发明了新的“飞行时间”(TOF)深度传感器。TOF深度传感器包括光发射器、CMOS光接收器和计数器，所述计数器计算光发射和光接收之间的持续时间。因此，TOF 深度传感器能够同时捕捉图像中每个像素的深度，并且能够实现超过20fps的速度，从而使实时工作成为可能。然而，TOF深度传感器仍然存在多种限制。例如，TOF深度传感器的分辨率仍然非常低(对于SW4000类型为176 X 144)，有效距离局限在5米，并且估计的深度在不同的纹理 (texture)上存在偏差。第6，323，942号美国专利申请和第06，057，909美国专利申请给出了两种TOF相机设计。在其中一个专利申请中，每个像素具有计算光发射和光接收之间的时间的计数器。 将该时间与光速相乘来获得像素的距离。在另一专利申请中，每个像素具有电荷存储器和电子快门，当发射光脉冲时快门打开。因此，基于接收到的光量，处理器可计算距离。这两个专利申请仍然具有许多缺陷。首先，由于技术限制，深度图的分辨率不会很高。例如，Swiss Ranger 4000类型的分辨率为176 X 144。其次，估计的深度在不同种类的纹理上存在偏差。第三，有效距离局限在5米，比这个距离远的对象仅能将非常微弱的光反射到传感器。为了解决第一个问题，Qingxiong Yang等人发表的论文“Spatial-D印th Super Resolution for Range Images”提出了上采样方法以提高深度图的分辨率。该方法基于如下假设，即，接近的位置和颜色的两个像素应该具有相似的深度。因此，将双边滤波器应用于获取高分辨率深度图。为了解决第二个问题，Jiejie Zhu等人发表的论文“Fusion of Time-of-Flight Depth and Stereo for High Accuracy Depth Maps”提出了深度传感器校准方法，该方法能够测量由于对象颜色的系统偏差，并补偿该偏差。该方法还涉及包括两个彩色相机和一个深度传感器的硬件配置，并将立体匹配和深度传感器集成以获得更好的深度图。尽管Yang等人提出的方法能够从通过深度传感器获得的低分辨率深度图产生高分辨率深度图，然而其精度没有提高，并且对于深度超出有效距离的背景区域不发生作用。 另一方面，尽管Zhu等人提出的方法将立体和深度传感器集成以减少偏差，并获得高精度深度图，然而该方法仅能处理一个深度传感器，并且仅集成每张深度图或图像的一个帧，而时间信息被忽略。因此，需要开发一种能够获得具有更少缺陷的高精度深度图的设备和方法。
发明内容
在下面的描述中将部分地阐明本发明另外的方面和/或优点，通过描述，其会变得更加清楚，或者通过实施本发明可以了解。根据本发明的一方面，提供一种用于获得高精度深度图的设备，所述设备包括数据获取装置，包括至少两个相机-深度传感器对，用于获得图像和深度图；注册模块，将深度传感器捕捉的深度图转换为图像上的一组深度种子；融合模块，用于将深度种子与立体匹配信息和/或时间信息结合以获取最终的高质量深度图。根据本发明的另一方面，提供一种包括所述用于获得高精度深度图的设备的电子
直ο根据本发明的另一方面，提供一种用于获得高精度深度图的方法，所述方法包括以下步骤(A)通过至少两个相机-深度传感器对获得图像和深度图；(B)将深度传感器捕捉的深度图转换为图像上的一组深度种子；(C)将深度种子与立体匹配信息和/或时间信息结合以获取最终的高质量深度图。
通过下面结合附图对实施例进行的描述，本发明的这些和/或其他方面和优点将会变得清楚和更易于理解，其中图1示出根据本发明实施例的具有两个相机-深度传感器对的用于获得高精度深度图的设备的典型硬件配置；图2示出根据本发明实施例的用于获得高精度深度图的设备捕捉的图像和深度的采样；图3示出根据本发明实施例的用于获得高精度深度图的设备的示意性框图；图4示出根据本发明实施例的用于获得高精度深度图的设备的融合模块的操作的示意图；图5示出示出根据本发明实施例的用于获得高精度深度图的方法的示意流程图；图6示出对如图2所示的输入数据使用不同信息进行重构的结果；图7是示出深度传感器结果和融合结果的性能的图表。
具体实施例方式现在对本发明实施例进行详细的描述，其示例表示在附图中，其中，相同的标号始终表示相同的部件。下面通过参照附图对实施例进行描述以解释本发明。根据本发明的用于获得高精度深度图的设备和方法可以应用于任何电子装置上， 例如，移动电话、数码相机、个人数字助理(PDA)等。图1示出根据本发明实施例的具有两个相机-深度传感器对的用于获得高精度深度图的设备的典型硬件配置。该设备可包括两个或更多个相机-深度传感器对。在每个相机-深度传感器对中，相机(Cl、C2)和深度传感器(Dl、D2)彼此成对安装，它们的基线(baseline)非常短。不同的相机-深度传感器对设置为彼此相对远，并且它们的视角被修正为面向需要捕捉的场景。具体地讲，可以将相机之间的距离设置为相机与深度传感器之间的距离的10倍以上。例如，当相机Cl与深度传感器Dl之间的距离为5cm时，相机Cl和 C2之间的距离可以为50cm。通过离线校准步骤来估计相机和深度传感器的位置和方向。图 2示出根据本发明实施例的用于获得高精度深度图的设备捕捉的图像和深度的采样。具体地讲，在计算场景的深度之前，需要知道相机和深度传感器的参数。这些参数可以在离线校准步骤中被校准。离线校准操作对于本领域技术人员来说是公知的，这里省略其详细描述。假设相机和深度传感器是理想的针孔模型，则每个相机或深度传感器的参数包括内部参数K——包括χ方向禾Π y方向上的焦距(fx，fy)以及主点(cx，cy)。
权利要求
1.一种用于获得高精度深度图的设备，所述设备包括数据获取装置，包括至少两个相机-深度传感器对，用于获得图像和深度图；注册模块，将深度传感器捕捉的深度图转换为图像上的一组深度种子；融合模块，用于将深度种子与立体匹配信息和/或时间信息结合以获取最终的高质量深度图。
2.根据权利要求1所述的设备，其中，注册模块将深度图中的像素反投影到世界空间中的3D点，然后将所述3D点投影到图像，从而获得深度种子。
3.根据权利要求2所述的设备，其中，根据以下等式(1)将深度图中的像素反投影到世界空间中的3D点
4.根据权利要求2所述的设备，其中，根据以下等式(2)将所述3D点投影到图像
5.根据权利要求3或4所述的设备，其中，通过离线校准步骤来估计相机和深度传感器的参数。
6.根据权利要求1所述的设备，其中，融合模块通过以如下能量函数为优化目标而获得最终的高质量深度图E — ai Edepth+c2 · · Ecoior+c3 · · EtemporaI+C4 · a4 · Esmooth+c5 · a5 · Evisibility，其中，ai、a2、a3、a4和a5表示各能量项的权重，其中，c2、c3、c4和C5表示系数，c2、c3、c4和C5取值O或1，但不同时为0，
7.根据权利要求6所述的设备，其中，融合模块通过使用图切分方法来优化所述能量函数。
8.一种包括根据权利要求1所述的用于获得高精度深度图的设备的电子装置。
9.一种用于获得高精度深度图的方法，所述方法包括以下步骤(A)通过至少两个相机-深度传感器对获得图像和深度图；(B)将深度传感器捕捉的深度图转换为图像上的一组深度种子；(C)将深度种子与立体匹配信息和/或时间信息结合以获取最终的高质量深度图。
10.根据权利要求9所述的方法，其中，步骤(B)包括将深度图中的像素反投影到世界空间中的3D点，然后将所述3D点投影到图像，从而获得深度种子。
11.根据权利要求10所述的方法，其中，根据以下等式(1)将深度图中的像素反投影到世界空间中的3D点
12.根据权利要求10所述的方法，其中，根据以下等式(2)将所述3D点投影到图像
13.根据权利要求11或12所述的方法，其中，通过离线校准步骤来估计相机和深度传感器的参数。
14.根据权利要求9所述的方法，其中，在步骤(C)中通过以如下能量函数为优化目标而获得最终的高质量深度图E — ai Edepth+c2 · · Ecoior+c3 · · EtemporaI+C4 · a4 · Esmooth+c5 · a5 · Evisibility， 其中，ai、a2、a3、a4和a5表示各能量项的权重，其中，c2、c3、c4和C5表示系数，c2、c3、c4和C5取值O或1，但不同时为0，其中乂
15.根据权利要求14所述的方法，其中，在步骤(C)中通过使用图切分方法优化所述能量函数。I2 否则
全文摘要
一种用于获得高精度深度图的设备和方法。所述设备包括数据获取装置，包括至少两个相机-深度传感器对，用于获得图像和深度图；注册模块，将深度传感器捕捉的深度图转换为图像上的一组深度种子；融合模块，用于将深度种子与立体匹配信息和/或时间信息结合以获取最终的高质量深度图。在所述设备和方法中，可以获得具有很高分辨率的最精确的深度数据。
文档编号H04N13/00GK102387374SQ20101026858
公开日2012年3月21日 申请日期2010年8月30日 优先权日2010年8月30日
发明者梅星, 王海涛, 郑用柱, 金智元, 金智渊, 马赓宇 申请人:三星电子株式会社, 北京三星通信技术研究有限公司