可伸缩体积3d重构的制作方法
【专利说明】可伸缩体积3D重构
[0001] 背景
[0002] 环境中各表面的三维重构被用于许多任务，诸如机器人技术、工程原型设计、沉浸 式游戏、增强现实、以及其他。例如，移动捕捉设备可以在它在环境中移动时捕捉图像和数 据；捕捉到的信息可被用来自动计算该环境（如起居室或办公室）的体积模型。在其他示 例中，捕捉设备可以是静态的，而一个或多个物体相对于它来移动。用于计算环境和/或物 体的体积3D重构的现有系统通常在它们能够重构的现实世界体的大小方面受到限制。例 如，由于存储器和处理能力约束，并且对于许多应用而言，希望实时操作。
[0003] 以下描述的各实施例不限于解决已知的用于计算环境和/或物体的体积3D重构 的系统的缺点中的任意或全部缺点的实现。
[0004] 概述
[0005] 下面呈现了本公开的简要概述，以便向读者提供基本理解。本概述不是本公开的 穷尽概览，并且不标识关键/重要元素或描绘本说明书的范围。其唯一的目的是以简化形 式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
[0006] 描述了可伸缩体重构，由此来自移动环境捕捉设备的数据被用来形成现实世界环 境的3D模型。在各示例中，分层结构被用来存储3D模型，其中该结构包括根层节点、多个 内部层节点以及多个叶节点，节点中的每一个具有表示现实世界环境的一部分的相关联的 体素网格，体素网格在叶节点处比在根节点处具有更精细的分辨率。在各示例中，并行处理 被用来使捕捉到的数据能够被集成到3D模型中和/或使各图像能够根据3D模型来渲染。 在一示例中，元数据被计算并存储在分层结构中并被用来使得能够进行分层结构的空间跳 过和/或修剪。
[0007] 在一些示例中，现实世界环境的3D模型被存储为规则网格或使用分层结构来存 储，且3D模型的数据在至少一个并行处理单元和一个或多个主计算设备之间被流传输。
[0008] 在一些示例中，多个并行处理单元被使用，每一个具有存储3D模型的至少一部分 的存储器。例如，每一并行处理单元使用映射到现实世界环境中的不同物理尺寸的相同量 的存储器。
[0009] 由于通过结合附图参考以下详细描述使得许多附带特征能够被更好地理解，因此 可更容易地领会这些附带特征。
[0010] 附图简述
[0011] 根据附图阅读以下详细描述，将更好地理解本说明书，在附图中：
[0012] 图1是用于与移动环境捕捉设备一起使用的3D环境建模系统的示意图；
[0013] 图2是在图1的3D环境建模系统处的方法的流程图；
[0014] 图3是用于存储使用图1的3D环境建模系统生成的3D模型的分层数据结构的示 意图；
[0015] 图4是图3的分层数据结构的一部分的示意图；
[0016] 图5是形成分层数据结构（诸如图3的分层数据结构）的方法的流程图；
[0017] 图6是用来形成图4的分层数据结构的并行处理单元处的存储器的示意图；
[0018] 图7是将深度图集成到图3的分层数据结构的方法的流程图；
[0019] 图8是概括并修剪分层数据结构（诸如图3的分层数据结构）的方法的流程图；
[0020] 图9是渲染的方法的流程图；
[0021] 图10是将深度图集成到密集3D环境模型的方法的流程图；
[0022] 图11是活动区和工作集的示意图；
[0023] 图12是流传输的方法的流程图；
[0024] 图13是图12的方法中向外流传输部分的更详细的流程图；
[0025] 图14是世界空间中的分层体以及用来表示世界空间体的多个并行计算设备的示 意图；
[0026] 图15是将深度图集成到分层体的方法的流程图；
[0027] 图16是针对分层体实现的流传输的方法的流程图；
[0028] 图17是将深度图集成到分层体的另一方法的流程图；
[0029] 图18示出可在其中实现3D环境重构的实施例的示例性的基于计算的设备。
[0030] 在各个附图中使用相同的附图标记来指代相同的部件。
[0031] 详细描述
[0032] 下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构 建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作 本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
[0033] 虽然在本文中将本发明示例描述并例示为在具有一个或多个图形处理单元的计 算设备中实现，但是所描述的系统是作为示例而非限制来提供的。本领域技术人员将会明 白，本发明示例适合在具有并行计算能力的各种不同类型的计算设备中的应用。
[0034] 图1是用于与移动环境捕捉设备100 -起使用的3D环境建模系统100的示意图。 使用捕捉到的图像和数据108, 3D环境建模系统110能够构建其环境中的3D表面的详细模 型116。例如，该模型可以存储足够信息，使得它可被用来描绘跑车的外表面（显示出曲线、 压痕、浮雕件、后视镜、把手）以及跑车引擎的详细表面（在发动机罩打开时）、其仪表板以 及内部。在另一示例中，各表面可以是地板、墙、书架、楼梯、灯具、家具、以及书店内的其他 物体。在另一示例中，各表面可以是店面、灯柱、树叶、以及街道上的其他物体。细节水平可 以使得键盘的各个键可被区分开，其中键盘在被捕捉的环境中。更细的细节水平也是可能 的。该模型捕捉各表面如何被定位在现实世界中，使得可能使用该模型来例如在环境中导 航，或以考虑现实环境的方式将虚拟现实物体投影到环境中。该模型可被导入其他系统，如 游戏或计算机辅助设计系统，以使该模型能被使用。例如，用以生成计算机游戏中的实体， 如跑车，或用以促进跑车设计的原型设计。
[0035] 在图1所示的示例中，用户在诸如以下各项中的任一者的环境中移动的同时操作 手持的移动环境捕捉设备100 :跑车占据的空间、书店、以及街道。这些只是示例；移动环境 捕捉设备100可以由人或自动化系统来在其中其捕捉设备将有效地操作的任何环境中操 作。图像以及可任选地其他捕捉到的数据108从移动环境捕捉设备100传输到3D环境建 模系统110。例如，通过有线或无线连接。在其他示例中，捕捉设备100和3D环境建模系统 是集成在一起的。3D环境建模系统110是使用一个或多个并行处理计算单元和至少一个主 机计算设备来用计算机实现的。它包括用于生成环境和/或物体的3D模型116的3D环境 生成系统112。它包括用于跟踪移动环境捕捉设备100的位置和定向（称为姿态）的实时 跟踪器114。在一些示例中，它包括用于在一个或多个并行处理计算单元和主机计算设备 之间流传输3D模型116的至少一部分的流传输引擎118。在一些示例中，它包括用于允许 增加"观看距离"的分层系统120 卩，使得能够表示距移动环境捕捉设备的更大深度范围。 这在具有更大范围的深度相机可用的情况下是有用的。
[0036] 如上所述，3D环境建模系统110所生成的3D模型116可被导出到游戏系统124。 即，3D模型116和其他数据（诸如来自实时跟踪器114的相机姿态、捕捉到的图像和数据 108以及其他数据）可被输入到下游系统122以用于正在进行的处理。下游系统122的示 例包括但不限于：游戏系统124、增强现实系统126、文化遗产档案库128、机器人系统130。 文化遗产档案库可以存储物体和/或环境的3D模型以供记录保存和研究。
[0037] 移动环境捕捉设备100包括被安排成捕捉场景的深度图像序列的深度相机。每个 深度图像（或深度图帧）包括二维图像，在该二维图像中每一图像元素（如像素或像素群） 包括诸如从相机到所捕捉的场景中的造成了该图像元素的物体的长度或距离之类的深度 值。该深度值可以是以指定测量单位（诸如米或厘米）提供的绝对值，或者可以是相对深 度值。在每一捕捉到的深度图像中，存在大约300000个或更多个图像元素，每一图像元素 具有深度值。深度相机的帧速率足够高，使得深度图像能够被用于工作机器人技术、计算机 游戏、或其他应用。例如，帧速率范围可以是每秒20到100帧。
[0038] 深度信息可以使用任何合适的技术来获得，包括但不限于飞行时间、结构化光、以 及立体图像。移动环境捕捉设备100还可包括被安排成以可由深度相机查明深度信息的方 式来照亮该场景的发射器。
[0039] 移动环境捕捉设备100还包括一个或多个处理器、存储器、以及通信基础设施。它 可以在外壳中提供，该外壳的形状和大小制定成由用户手持或由用户佩戴。在其他示例中， 移动环境捕捉设备的大小和形状被制定成被合并或安装在运载工具、玩具、或其他可移动 装置上。移动环境捕捉设备100可具有显示设备。例如，为显示根据3D模型渲染的图像以 便使用户能够知晓环境的哪些区域尚待访问以捕捉用于3D模型的数据。
[0040] 图2是图1的3D环境建模系统处的用于将来自由移动环境捕捉设备捕捉到的深 度图流的深度图集成到各环境表面的密集3D模型的方法的流程图。以此方式，各环境表面 的密集3D模型随着从不同相机视点接收到更多深度图而逐渐被构建。术语"集成"在此被 用来指将来自当前深度图的数据融合或聚集到密集3D模型。
[0041] 移动环境捕捉设备使用实时跟踪器114计算204移动捕捉设备的当前姿态。例 如，当前姿态可以使用迭代最近点过程来计算，迭代最近点过程取当前深度图和根据环境 的当前3D模型208植染的对应深度图作为输入。这一类型的方法的示例在Newcombe等人 在2011年1月31日提交并在2012年8月2日公开的题为"Real-TimeCameraTracking UsingDepthMaps(使用深度图的实时相机跟踪）"的美国专利公开20120196679中详细 描述。使用其中来自移动深度相机的深度观测值与环境的3D模型的表面对准以找出促进 该对准的移动深度相机的经更新位置和定向的过程来计算当前姿态也是可能的。这一类型 的方法的示例在Sharp等人的在2013年1月24日提交的题为"Cameraposeestimation fo