具有功率有效深度传感器使用的实时三维重建的制作方法
【专利说明】具有功率有效深度传感器使用的实时H维重建
[000。 相关申请秦的香叉参考
[0002] 本申请案主张2014年1月22日申请的名为"具有功率有效深度传感器使用的 实时S维重建巧ea]_-Time3DReconstructionwithPowerEfficientDepthSensor 化age)"的美国申请案第14/161，140号的权利和优先权。美国申请案第14/161，140号 又主张2013年1月30日申请的名为"具有功率有效深度传感器使用的实时=维重建 (Real-Time3DReconstructionwithPowerEfficientDepthSensorUsage)"的美国临 时申请案第61/758, 699号和2013年2月26日申请的名为"具有功率有效深度传感器使用 的实时S维重建巧ea]_-Time3DReconstructionwithPowerEfficientDepthSensor 化age)"的美国临时申请案第61/769, 465号的权利和优先权W上所识别的所有美国专利 申请案被W引用的方式全部并入本文中。
技术领域
[0003] 本发明大体上设及用于移动装置中的功率效率的设备和方法。
【背景技术】
[0004] 在计算机视觉和计算机图形中，3D重建为确定实际物件的形状和/或外观的过 程。3D重建可基于从各种类型的传感器获得的物件的数据和/或图像。例如，可使用摄像 机W测量由物件的表面反射或从物件的表面发射的福射或光，且接着可自由摄像机捕捉的 物件的图像且自由其它传感器提供的信息推断物件的3D结构或模型。一般来说，术语3D 模型在本文中用W指3D环境的表示。
[0005] 通常，在3D重建中，在分批模式中离线处理数字图像集合连同其它感测信息W获 得3D模型，所述3D模型可采取物件的3D网格的形式。然而，因为3D重建传统上在计算方 面昂贵，所W常常离线执行3D重建且通常在很长时间W后才可得到3D重建的结果。因此， 使用3D重建的实务实时应用到今受到限制。
[0006] 新近实时或近实时3D重建已归因于包含W下各者的因素的组合而取得推进；增 加处理能力的可用性、先进算法，W及新形式的输入数据。随着由计算装置（包含移动装 置）快速地处理经捕捉图片，用户现在可近实时获得关于3D重建的回馈。然而，用于3D重 建的许多技术功耗大，且引起相对高功率使用。例如，在移动装置中，增加功率消耗可耗尽 电源或电池，由此限制3D重建的实务适用性。
[0007] 因此，需要用W促进计算装置和移动装置上的功率有效实时3D重建的设备、系统 和方法。
【发明内容】
[000引根据一些方面，揭示一种用于移动装置上的功率有效实时=维重建的方法。在一 些实施例中，移动台（M巧可包括至少一个摄像机和深度传感器，且所述方法可包括：用至 少一个摄像机来捕捉第一图像，其中所述第一图像包括用于正由所述MS模型化的环境的 至少一部分的色彩信息；和获得用于所述第一图像的摄像机姿势信息。在一些实施例中，所 述方法可进一步包括：部分地基于所述第一经捕捉图像和用于所述第一图像的所述摄像机 姿势信息而确定是否扩展所述环境的第一S维（3D)模型；和当不扩展所述第一 3D模型时 停用所述深度传感器。
[0009] 在另一方面中，一种MS可包括；摄像机，其可捕捉包括色彩信息的第一图像；深度 传感器，其禪合到所述摄像机；和处理器，其禪合到所述深度传感器和所述摄像机。在一些 实施例中，所述处理器可经配置W;获得用于所述第一图像的摄像机姿势信息；部分地基 于所述第一图像和用于所述第一图像的所述摄像机姿势信息而确定是否扩展正由所述MS 模型化的环境的第一=维（3D)模型；和在不扩展所述第一 3D模型的情况下停用所述深度 传感器。
[0010] 在再一方面中，所揭示实施例设及一种设备，其包括：成像装置，所述成像装置用 W捕捉包括色彩信息的第一图像；深度感测装置，其禪合到所述成像装置；和处理装置，其 禪合到所述深度感测装置和所述成像装置。在一些实施例中，所述处理装置可进一步包括： 用于获得用于所述第一图像的成像装置姿势信息的装置；用于部分地基于所述第一图像和 用于所述第一图像的所述成像装置姿势信息而确定是否扩展正由所述设备模型化的一环 境的第一=维（3D)模型的装置；和用于在不扩展所述第一 3D模型的情况下停用所述深度 感测装置的装置。
[0011] 所揭示实施例也设及非暂时性计算机可读媒体，其包括指令，所述指令在由处理 器执行时执行在包括至少一个摄像机和深度传感器的MS上的方法中的步骤。在一些实施 例中，所述方法可包括；用至少一个摄像机来捕捉第一图像，其中所述第一图像包括用于正 由所述MS模型化的环境的至少一部分的色彩信息；和获得用于所述第一图像的摄像机姿 势信息。在一些实施例中，所述方法可进一步包括；部分地基于所述第一经捕捉图像和用于 所述第一图像的所述摄像机姿势信息而确定是否扩展所述环境的第一=维（3D)模型；和 当不扩展所述第一 3D模型时停用所述深度传感器。
[0012] 在另一方面中，一种在包括至少一个摄像机和一深度传感器的移动台（M巧上的 方法可包括；用至少一个摄像机来捕捉第一图像，所述第一图像包括用于正由所述MS模型 化的环境的至少一部分的色彩信息；获得用于所述第一图像的摄像机姿势信息；部分地基 于所述第一经捕捉图像和用于所述第一图像的所述摄像机姿势信息而确定是否更新所述 环境的第一=维（3D)模型；和当不更新所述第一 3D模型时停用所述深度传感器。另外，停 用所述深度传感器可包括W下各者中的至少一者；关断供应到所述深度传感器的电力，或 停用与深度图像的计算相关的功能性。所述方法可进一步包括；当更新所述第一 3D模型时 启用所述深度传感器。在启用所述深度传感器后，即可通过W下各者而更新所述第一 3D模 型；用所述至少一个摄像机来捕捉第二图像；通过用至少部分地由所述深度传感器提供的 深度信息来扩增所述第二图像而获得深度图（depthmap);和用所述深度信息来更新所述 第一 3D模型中的体积数据集。在一些实施例中，所述体积数据集可由3D截断带正负号距 离函数（TDS巧表示。所述体积数据集可通过W下操作而更新；基于所述摄像机姿势而将所 述3DTDSF中的样本投影到所述深度图中；确定从样本位点到由所述体积数据集定义的表 面的经测量相对距离；将所述经测量相对距离映射到所述TDSF;和组合所述经映射TDSF值 与用于所述样本的经存储TDSF值。
[001引在另一方面中，一种MS可包括；摄像机，其可捕捉包括色彩信息的第一图像；深度 传感器，其禪合到所述摄像机；和处理器，其禪合到所述深度传感器和所述摄像机。在一些 实施例中，处理装置可经配置W;获得用于所述第一图像的摄像机姿势信息；部分地基于 所述第一图像和用于所述第一图像的所述摄像机姿势信息而确定是否更新环境的第一= 维（3D)模型；和当不更新所述第一 3D模型时停用所述深度传感器。
[0014] 在再一方面中，所揭示实施例设及一种设备，其包括：成像装置，所述成像装置用 W捕捉包括色彩信息的第一图像；深度感测装置，其禪合到所述成像装置；和处理装置，其 禪合到所述深度感测装置和所述成像装置。在一些实施例中，所述处理装置可进一步包括： 用于获得用于所述第一图像的摄像机姿势信息的装置；用于部分地基于所述第一图像和 用于所述第一图像的所述摄像机姿势信息而确定是否更新环境的第一=维（3D)模型的装 置；和用于当不更新所述第一 3D模型时停用所述深度传感器的装置。
[0015] 所揭示实施例也设及非暂时性计算机可读媒体，其包括指令，所述指令在由处理 器执行时执行在包括至少一个摄像机和深度传感器的MS上的方法中的步骤。在一些实施 例中，所述方法可包括；用至少一个摄像机来捕捉第一图像，所述第一图像包括用于正由所 述MS模型化的环境的至少一部分的色彩信息；获得用于所述第一图像的摄像机姿势信息； 部分地基于所述第一经捕捉图像和用于所述第一图像的所述摄像机姿势信息而确定是否 更新所述环境的第一=维（3D)模型；和当不更新所述第一 3D模型时停用所述深度传感器。
[0016] 所揭示实施例也设及由处理器使用计算机可读媒体或计算机可读存储器而建立、 存储、存取或修改的软件、固件和程序指令。可在处理器和各种移动装置上执行所描述方 法。
[0017] 下文关于W下诸图来进一步解释该些和其它实施例。应理解，从W下详细描述，其 它方面对于所属领域的技术人员来说将变得易于显而易见，在详细描述中作为图解而展示 和描述各种方面。应将图式和详细描述视为本质上具说明性而非限制性。
【附图说明】
[0018] 将参看图式而仅作为实例来描述本发明的实施例。
[0019] 图1展示能够进行功率有效3D重建的示范性移动装置的框图。
[0020] 图2A和2B展示依据所揭示实施例的用于功率有效3D重建的示范性方法的流程 图。
[0021] 图2C展示依据所揭示实施例的用W使用体积重建技术来扩展重建的例程或方法 275的流程图。
[0022] 图2D展示依据所揭示实施例的描绘用于将来自摄像机帖的深度数据融合到体积 数据集中的示范性方法的流程图。
[0023] 图3展示依据所揭示实施例的用于3D重建的示范性方法400的流程图。
【具体实施方式】
[0024] 下文结合附加图式所阐明的详细描述希望作为本发明的各种方面的描述，且并不 希望表示可实践本发明的仅有方面。本发明所描述的每一方面仅仅作为本发明的实例或图 解而提供，且未必应被认作比其它方面优选或有利。所述详细描述包含出于提供对本发明 的透彻理解的目的的特定细节。然而，对于所属领域的技术人员来说将显而易见，可在无该 些特定细节的情况下实践本发明。在一些例子中，W框图形式来展示众所周知结构和装置 W便避免混淆本发明的概念。可仅仅出于方便和清晰起见而使用缩写和其它描述性术语， 且其并不希望限制本发明的范围。
[0025] 图1展示能够W依据所揭示实施例的方式来执行实时或近实时3D重建的示范性 移动台（M巧100的框图。如本文所使用，移动装置或移动台（M巧100可采取W下各者的形 式；蜂窝式电话、移动电话或其它无线通信装置、个人通信系统（PC巧装置、个人导航装置 (PND)、个人信息管理器（PIM)或个人数字助理（PDA)、膝上型计算机、平板计算机、笔记型 计算机和/或手持型计算机。术语移动装置或移动台在本文中被可互换地使用。在一些实 施例中，MS100可能够接收无线通信和/或导航信号。术语"移动装置"与"移动台"在本 文中被可互换地使用。
[0026] 另外，术语"移动台"也希望包含（例如）通过近程无线、红外线、有线连接或其它 连接而与个人导航装置（PND)通信的装置，和/或在所述装置处或在所述PND处发生位置 相关处理。又，"移动台"希望包含能够与服务器通信而不管在装置处、在服务器处或在与 网络相关联的另一装置处是否发生无线信号接收、辅助数据接收和/或相关处理的所有装 置，包含各种无线通信装置。W上各者的任何可操作组合也被视为"移动台"。
[0027] 术语"移动台"也希望包含可未经配置成连接到网络或W其它方式（W无线方式 抑或经由有线连接）而与另一装置通信的游戏装置或其它装置。例如，"移动台"可省略通 信元件和/或网络连接功能性。例如，本文所描述的实施例可实施于未经配置成连接W用 于与另一装置进行有线或无线网络连接的单机