确定捕捉到的图像的深度数据的制作方法
【专利说明】确定捕捉到的图像的深度数据
[0001] 背景
[0002] 用于生成场景的三维图像的系统依靠深度重构技术来确定场景内的对象的三维 形状。一些现有系统利用基于单镜头结构光的深度相机来确定捕捉到的图像的深度数据。 此类单镜头结构光系统使用深度相机来发出包括随机光点的图案，并且然后捕捉包括所发 出的图案的图像。然后可通过建立参考图像与捕捉到的包括该图案的图像之间的对应关系 来确定深度数据。然而，以此方式确定的深度数据经常遭受孔洞和严重噪声。具体而言，光 点的位置由像素块标识。此类像素块可能在被投影到场景内的对象的边界上时变形。这可 能使得难以标识图像之间的对应关系。此外，所标识的图像之间的对应关系在突然的深度 变化的情况下可能具有有限的准确性。结果，所确定的深度数据可能包括随机误差。
[0003] 依靠将一系列相移正弦图案投影到场景上的相移系统通常提供比上述单镜头结 构光系统更高质量的深度数据。此类相移系统能够在具有一组捕捉到的图像的情况下在每 一相机像素处重构深度数据。由此，深度数据可具有更高的空间分辨率。另外，深度数据可 以从正弦相位差中计算。结果，噪声可被抑制，并且深度数据可以更准确。然而，由于正弦 图案是灰度的，因此此类系统依靠使用投影仪来重构深度数据。
[0004] 概述
[0005] 下面呈现了本发明实施例的简化概述，以便提供此处所描述的某些方面的基本概 念。此
【发明内容】
不是所要求保护的主题的详尽的概述。既不是要指出所要求保护的主题的 关键性元素，也不是要详细描述本发明实施例的范围。唯一的目的是以简化形式呈现所要 求保护的主题的某些概念，作为稍后呈现的比较详细的描述的前奏。
[0006] -实施例提供了一种用于从密度调制二元图中获取深度的方法。该方法包括使用 IR相机和包括衍射光栅的多个IR激光器来捕捉场景的多个图像。每一图像都包括携带相 位信息的密度调制二元图。该方法还包括对图像执行基于像素的相位匹配以便基于密度调 制二元图所携带的相位信息来确定场景的深度数据。
[0007] 另一实施例提供了一种用于从密度调制二元图中获取深度的系统。该系统包括多 个IR激光器。每一 IR激光器都被配置成经由衍射光栅来将携带相位信息的密度调制二元 图发射到场景上。该系统还包括IR相机，该IR相机被配置成捕捉对应于每一 IR激光器所 发射的密度调制二元图的图像。该系统还包括处理器和系统存储器，该系统存储器包括在 由该处理器执行时被配置成执行以下操作的代码：分析图像以便基于密度调制二元图所携 带的相位信息来确定场景的深度数据。
[0008] 另外，另一实施例提供了一种或多种用于存储计算机可读指令的计算机可读存储 介质。这些计算机可读指令在由一个或多个处理设备执行时提供了一种用于从密度调制二 元图中获取深度的系统。这些计算机可读指令包括被配置成获取场景的图像的代码。图像 使用IR相机和包括衍射光栅的多个IR激光器来递归地捕捉。每一图像都包括携带相位信 息的密度调制二元图。这些计算机可读指令还包括被配置成基于每一密度调制二元图的局 部唯一性来纠正图像中的相位模糊的代码。这些计算机可读指令还包括被配置成对图像执 行基于像素的相位匹配以便基于密度调制二元图所携带的相位信息来重构场景的深度数 据的代码。
[0009] 下面的描述和附图详细地阐述了所要求保护的主题的某些说明性方面。然而，这 些方面只是表示可以使用本发明实施例的原理的各种方式中的一些方式，并且所要求保护 的主题旨在包括所有这些方面和等效内容。通过与附图一起阅读下面的本发明实施例的详 细描述，所要求保护的主题的其他优点和新颖的特点将变得显而易见。
[0010] 附图简述
[0011] 图1是根据本文描述的各实施例的可用于使用密度调制二元图来确定捕捉到的 图像的深度数据的计算系统的框图；
[0012] 图2是根据本文描述的各实施例的可用于捕捉图像的成像设备的示意图；
[0013] 图3是示出可根据本文描述的各实施例来使用的密度调制二元图的示意图；
[0014] 图4是示出根据本文描述的实施例的用于控制三个IR激光器发出密度调制二元 图的时序电路的图不；
[0015] 图5A是示出捕捉到的具有所发射的图案的图像的示意图；
[0016] 图5B是示出包括图5A中的通过块匹配技术的捕捉到的图像的经重构的深度数据 的图像的不意图；
[0017] 图5C是示出从图5A的捕捉到的图像生成的能量图的示意图；
[0018] 图f5D是示出包括图5A的图像的深度数据的图像的示意图，该深度数据可根据本 文描述的各实施例来从三个能量图中重构；
[0019] 图6是用于从密度调制二元图中获取深度的方法的流程图；以及
[0020] 图7是存储被适配成使用密度调制二元图来确定捕捉到的图像的深度数据的代 码的计算机可读存储介质的框图。
[0021] 详细描述
[0022] 如上所述，经常利用诸如单镜头结构光系统等结构光系统和相移系统来重构捕捉 到的图像的深度数据。基于三角测量的单镜头结构光系统类似于无源立体系统，不同之处 在于单镜头结构光系统依靠使用投影仪来重构捕捉到的图像的深度数据。此外，许多结构 光系统依靠生成多个图案，并且无法在投影图案时检测场景的运动。
[0023] 相移系统发射一系列相移正弦图案。增加图案中的条纹的数量可提高测量准确 性。然而，当通过相移系统发射图案集合时，场景被假设为是静态的。该假设在许多实际场 景中并非有效。此外，由于正弦图案是灰度的，因此相移系统还依靠使用投影仪来重构深度 数据。
[0024] 因此，本文描述的各实施例允许使用红外（IR)相机和包括衍射光栅的多个IR激 光器来确定捕捉到的图像的深度数据。具体而言，使用IR激光器来将密度调制二元图发射 到场景上，并且基于对应于特定相位信息的密度调制二元图中的光点的密度来重构场景的 深度数据。
[0025] 根据本文描述的各实施例，密度调制二元图被设计成在不损害从单个捕捉到的图 像中重构深度数据的能力的情况下携带足够的相位信息。然而，因为所携带的相位信息不 是严格正弦的，所以从相位信息中重构的深度数据可能包含系统性误差。因此，根据本文描 述的各实施例，使用基于像素的相位匹配技术来减少深度数据中的误差。
[0026] 作为正文前的图文，一些附图是在一个或多个结构组件（不同地称为功能、模块、 特征、元件等等）的上下文中来描述概念的。附图中所示的各个组件能够以任何方式是喜 爱你，诸如经由软件、硬件（例如，分立逻辑组件）、固件或其任意组合。在一些实施例中，各 个组件可反映对应的组件在实际实现中的使用。在其他实施例中，附图中所示的任何单个 组件可由多个实际组件来实现。对附图中的任何两个或更多个单独组件的描绘可以反映由 单个实际组件所执行的不同功能。以下讨论的图1提供了关于可用于实现附图中所示的各 功能的一个系统的细节。
[0027] 其他附图以流程图形式描述了概念。以此形式，某些操作被描述为构成以某一顺 序执行的不同的框。这些实现是示例性而非限制性的。此处描述的某些框可被分组在一 起并在单个操作中执行，某些框可被分成多个组件框，并且某些框可以按与此处所示出的 不同的次序来执行（包括以并行方式执行这