使用多设备的环境的多维数据捕捉的制作方法
【技术领域】
[0001]本公开一般地涉及环境或对象的数据捕捉领域，并且特别是真实三维(3D)深度视频。
【背景技术】
[0002]在无数的情况下使用对象或环境的数据捕捉，并且其可以使得处理器能够使用、作用于或操纵所捕捉的数据来创建对象和/或环境的图像。例如，照相机可以捕捉场景的静止二维(2D)图像，并且摄像机可以捕捉视频数据(即，随时间推移的2D数据)以用于稍后编辑和显示。另外，可以使用聚焦在对象周围的多视图立体2D图像来模拟对象的3D图像。可以用来模拟3D图像的数据捕捉的另一示例涉及到光检测与测距(LiDAR)(也称为激光检测与测距(LADAR))传感器，其一般地被用于对地形或建筑物进行绘图。LiDAR将来自光源的光指引到将光反射回到接收机的表面处。LiDAR系统然后将基于光的往返时间(称为“飞行时间”(TOF)数据)来计算从光源到表面的距离。这样，可以用LiDAR系统来捕捉关于环境中的对象的距离或深度的数据。LiDAR通过跨环境扇出或用脉冲发射其射束并测量用于将光反射回到LiDAR系统中的接收机的每个对象的飞行时间来收集数千个数据点。LiDAR仅能确定将光反射回到接收机的对象的深度，而不能检测关于颜色的图像数据。LiDAR及其它类型的TOF照相机处于在本文称为“深度照相机”的照相机类别中。深度照相机的其它示例包括可以确定深度信息的任何设备，诸如立体照相机、结构光扫描仪或发射电磁(EM)辐射并捕捉被反射回来的辐射的飞行时间的其它设备。
[0003]用于捕捉成像数据的现有技术具有限制或缺点。例如，包括胶片、数字摄影以及全景2D摄影(即柱面或立方体交互式全景)的2D文档介质的当前手段在当被用户或观看者访问时传达整体的真实生活体验或事件方面具有限制。2D图像可能具有优良的分辨率和颜色，但不具有与图像相关联的深度信息。
[0004]可以以各种方式来创建模拟3D图像。通常，使用两个间隔开的透镜来记录图像，其从略有不同的角度记录场景，并且这些图像被提供给人，使得诸如通过使用具有滤色器或不同偏振的眼镜来不同地向每只眼睛呈现该信息。如2D图像的情况一样，颜色和分辨率可以是极佳的，并且这些立体图像的3D效果可以是引人注目的，然而，此类系统仍缺少收集场景的深度信息的能力。
[0005]可将由深度照相机捕捉的信息与2D照相机的图像数据组合以提供模拟3D且包含深度信息的图像。例如，可将LiDAR图像与来自重叠2D图像的数据组合以用深度数据来模拟3D图像一一亦即，该图像数据包含图像中的对象距离的信息，并且具有计算图像中的对象的尺寸和相对间距的能力。
[0006]无论是立体照相机还是与2D照相机组合的深度照相机，当前3D成像系统都使用单个照相机，其在给定时间记录单个视点(POV)以收集表示单个静态时刻的数据。使用单个照相机可以导致所收集3D数据中的间隙。例如，从单个角度捕捉具有树的场景的单个照相机不能捕捉在树后面的东西。用于在用单个照相机来捕捉场景时减少数据间隙的当前方法要求记录单个照相机视点并将照相机重新定位多次的冗长过程。一旦通过用单个照相机进行的重新定位和捕捉的多个会话来捕捉场景，则必须有广泛的辅助后处理以对多次扫描进行配准并组织所捕捉的数据。除要求大量的时间(由于例如所使用的算法和大量的数据)之外，此类后处理一般地要求广泛的用户输入和用户的技术知识。
[0007]除组织用这些3D照相机捕捉的数据所要求的广泛后处理之外，可能要求附加后处理以便再现数据，包括通过数字模型配置的数字图形内插、矢量化和/或图像模型构建。
[0008]构建数据云以表示其中深度照相机移动的环境要求照相机具有用以跟踪其移动和位置或与远程部件通信以便跟踪照相机的移动的部件。这在其中必须映射环境使得机器人能够对其环境进行导航的移动机器人技术中是常见的问题。同样地，在使用数据来创建沉浸式环境的情况下，照相机必须跟踪其位置，并且将该信息标记成图像数据。这种技术一般地称为同时定位与地图创建(SLAM ) ο
【附图说明】
[0009]参考以下各图来描述本发明的非限制性且非排他性实施例，其中，除非另外指明，遍及各视图中相同的附图标记指示相同部分。应认识到的是以下各图可能不按比例描绘。
[0010]图1是根据本发明的实施例的系统的框图以及场景。
[0011]图2是根据本发明的一个实施例的数据捕捉设备的等距视图。
[0012]图3是根据本发明的一个实施例的具有多个深度照相机的平台的平面图。
[0013]图4a_4e图示出根据本发明的一个实施例的使用LiDAR的深度照相机的示例性图。
[0014]图5是根据本发明的一个实施例的组合深度照相机和图像照相机的示例性图。
[0015]图6是根据本发明的一个实施例的系统图。
[0016]图7是根据本发明的一个实施例的收集环境和环境中的对象的深度和图像数据的方法的流程图。
[0017]图8是根据本发明的一个实施例的计算机系统的示例性形式中的机器的框图。
[0018]随后是某些细节和实施方式的描述，包括图的描述，其可描述下述某些或所有实施例以及讨论本文提出的发明概念的其它潜在实施例或实施方式。下面提供本发明的实施例的概述，后面是参考附图的更详细描述。
【具体实施方式】
[0019]在本文描述了与对象和/或环境的数据捕捉有关的装置、系统以及方法的实施例。在本发明的一个实施例中，用户可以容易地、快速地且用系统的最少技术知识来捕捉真实3D深度视频数据，其中，将3D深度视频数据理解为带时间索引3D深度数据或四维(4D)带时间索引空间数据。捕捉3D深度视频数据使得能够实现沉浸式且动态的3D数字环境，其中，用户可以随着3D环境随时间改变对其进行探索。还可以将能够捕捉3D深度视频数据的数据捕捉设备称为真实3D深度摄像机。
[0020]3D深度视频数据的捕捉和可视化可以使得能够实现倒退虚拟时间旅行、虚拟现实或增强现实的概念，使得用户可以实时地(例如，用于电话会议或其它实时交互)或通过所存储的数据来体验所捕捉事件、环境或其它体验并与之相交互。根据一个实施例，用来捕捉环境的3D深度摄像机系统创建原始文件，其可在不要求后处理建模和/或再现的情况下显示。用户可以出于重建或分析的目的而捕捉事件，包括但不限于:体育赛事、音乐会、讨论会、聚会、教育性演示、历史事件、考古或文化遗产地、徒步旅行行踪、机械或物理故障、被监视地点或任何其它环境或事件。例如，如果用户捕捉到其中在房间的不同部分中同时地发生多个演讲的会议，则可以以数字方式显示该会议，使得用户可以在3D环境的一个部分中体验到一个演讲，并且通过虚拟地过渡到房间的另一侧以体验另一演讲来自由地探索3D环境。第二示例将是音乐表演的示例，其中，用户可以从在所捕捉场景范围内的观众的方位、在舞台上的方位或者从一个或多个音乐家他们自己的视点出发体验该事件。
[0021]在以下描述中，阐述了许多特定细节以便提供实施例的透彻理解。然而，相关领域的技术人员将认识到可以在没有该特定细节中的一个或多个的情况下或用其它方法、部件、材料等来实施本文所述的技术。在其它情况下，并未示出或详细地描述众所周知的结构、材料或操作以避免模糊某些方面。
[0022]遍及本说明书对“一个实施例”或“实施例”的参考意指在本发明的至少一个实施例中包括结合该实施例所述的特定特征、结构或特性。因此，短语“在一个实施例中”或“在实施例中”在遍及本说明书的不同位置上的出现不一定全部指的是同一实施例。此外，可在一个或多个实施例中以任何适当方式将特定特征、结构或特性进行组合。
[0023]图1是根据本发明的实施例的系统的框图和正被捕捉的场景。如图1中所示，系统100包括多个便携式数据捕捉设备102a-102n，其在没有预定布置的情况下就位并能够在数据捕捉期间移动。其它实施例可以包括单个便携式数据捕捉设备。所述多个数据捕捉设备102a-102n中的一个或多个能够捕捉3D运动。捕捉3D深度视频数据涉及到快速地捕捉环境和环境内的对象的一系列3D测量结果和图像。例如，在所示实施例中，所述多个数据捕捉设备102a-102n在时间t = 1、t = 2、…以及t = η捕捉用于3D环境场景104的一系列3D深度数据和颜色图像数据帧。
[0024]场景104可以包括具有固定和/或移动的对象的环境。例如，场景106a_106n包括移动的人。能够捕捉3D数据的现有技术仅在其在静态时刻存在时才及时捕捉场景。例如，如果用户尝试用现有技术来捕捉场景106a-106n，则仅能捕捉场景中的静止元素(例如，可以捕捉树的远景或站着不动的人)，并且在数据捕捉时存在的任何移动对象将导致数据误差、伪影或“重影(ghost)”图像和不完整的数据“裂片”。系统100可以将场景106a-106n捕捉为3D深度视频数据，其包括作为3D帧收集的一系列带时间索引数据。此类收集的3D深度视频数据的数字可视化可以使得能够实现随时间推移的真正沉浸式3D体验，使得用户可以随着3D环境随时间改变而体验和探索3D环境。
[0025]根据一个实施例，所述多个数据捕捉设备102a_102n使得能够在没有数据间隙或有最少量的数据间隙的情况下实现带时间索引3D帧的准确捕捉。部分地由于所述多个数据捕捉设备102a-102n而可以在没有数据间隙的情况下捕捉3D运动，其可以被定位成围绕场景104，并且其可以同时地从多个视角捕捉3D数据。如下面更详细描述，多个数据捕捉设备102a-102n能够共同地捕捉真实3D空间数据和颜色图像，其快到足以捕捉场景104的3D运动和相应颜色。
[0026]在一个此类实施例中，多个数据捕捉设备102a_102n具有地理空间数据感测能力，其使得能够实现改善的且实时的数据处理(即，实时3D点云生成)。地理空间数据是与数据捕捉设备的定向、方位和/或位置相关联的数据。在一个实施例中，多个数据捕捉设备102a-102n能够相互地和/或与外部计算设备110通信，也使得能够实现改善的且实时的数据处理。在一个实施例中，所述多个数据捕捉设备的在捕捉数据的同时进行通信的能力促进实时数据辨别和压缩，并且因此使得能够实现更加高效且合作的数据捕捉。
[0027]为了在给定时间捕捉3D数据，多个数据捕捉设备102a_102n可以利用使得能够实现深度感测的任何3D捕捉技术。例如，所述多个数据捕捉设备可以实现以下各项中的一个或多个:LiDAR/LADRA、结构光、闪光(Flash) LiDAR、多视图立体数字影像、全景多立体数字影像、摄影测量或在各种深度和分辨率的域捕捉3D数据的任何其它手段。用户可以以便携式或固定布置来操作多个数据捕捉设备102a-102n。例如，用户可以通过例如使用三脚架或者将捕捉设备临时地或永久地附着于表面(例如，墙壁、天花板、树、或者可以向其附加设备的任何其它表面)来将多个数据捕捉设备102a-102n中的一个或多个布置成是固定的。在一个实施例中，多个数据捕捉设备102a-102n可以是便携式的。例如，用户可以通过在多个数据捕捉设备102a-102n中的一个或多个正在捕捉数据的同时移动设备来捕捉数据。数据的移动捕捉可