用于确定增强现实环境中的平面的范围的系统和方法
【专利说明】
【背景技术】
[0001]本发明的方面涉及增强现实(AR)。更具体来说，本公开的方面涉及构建支撑和遮挡图谱以确定AR环境中的平面的范围。
[0002]增强现实提供了现实世界环境的经过计算机产生的虚拟物体增强的视图。在一些情况下，AR涉及将虚拟物体叠加在物理环境上。
[0003]RGB深度(RGBD)相机提供了一种创建描述场景的三维(3D)几何形状的点云的方法。RGBD相机捕捉的多个深度图像可以对准和组合以创建桌面或更大房间环境的扩展3D模型。
[0004]然而，许多应用程序要求不止对场景表面的取样表示。例如，一些应用程序可能需要将点云分段成对应于单个物体(例如物理桌子)的子集。对于移动装置上的增强现实应用程序而言，桌面可能是场景的一个重要部分，因为它限定了用户通常在其中进行交互的区域。为了与限定的区域正确交互，可能需要与限定的区域相关联的边界。当前方法可能无法确定边界是所述表面的真正边界，还是仅仅是所记录的数据的边界。
[0005]当前方法仅仅注意提取对应于例如桌面的单个物体的点。当前方法可能能够找到边界，但是并不在物体的物理边界与重建的边界之间作出决定。这个区别对于应用程序是重要的，例如游戏需要知道一个表面可能在重建的边界处增长，但是不在所述表面的物理边界处增长。
[0006]因此，需要准确地确定增强现实环境内的物体的表面的真正边界。
【发明内容】
[0007]某些实施例描述一种用于构建AR环境内的平面物体的表示的系统和方法。
[0008]在一些实施例中，一种用于构建平面物体的表示的技术包含获得从观察位置捕捉的物理场景的深度图像，所述深度图像包括多个深度值并且对应于所述物理场景中的多个点，每一深度值指示从所述观察位置到所述物理场景中的所述多个点中的一个的距离。所述方法进一步包含识别所述平面物体据估计沿其定位的平面表面。所述方法还包含构建支撑图谱，所述支撑图谱指示所述平面表面的被所述平面物体和靠在所述平面物体顶上的物体的可能表面占据的部分。所述方法另外包含构建遮挡图谱，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分。所述方法还包含使用所述遮挡图谱和所述支撑图谱构建所述平面物体的至少一个边界的表示。
[0009]在一些实施例中，所述平面物体是物理场景中的桌面。
[0010]在一些实施例中，构建遮挡图谱的步骤包含将平面表面分割成多个单元，并且，对于每一单元，对具有足够大可以从所述观察位置延伸并且在所述平面表面处穿越所述单元的深度值的多个点进行计数。
[0011]在一些实施例中，构建支撑图谱的步骤包含将平面表面分割成多个单元，并且，对于每一单元，对具有从所述观察位置延伸到所述单元或所述单元上方的空间的垂直柱内的一个位置的深度值的多个点进行计数。
[0012]在一些实施例中，所述方法进一步包含基于遮挡图谱和平面物体的至少一个边界构建遮挡梯度图谱。所述方法另外包含基于支撑图谱和平面物体的至少一个边界构建支撑梯度图谱。所述方法还包含基于遮挡梯度图谱和支撑梯度图谱对与平面物体的边界相关联的片段进行分类。
[0013]在一些实施例中，对与平面物体的边界相关联的片段进行分类的步骤包含:将线段投影到支撑图谱中，将线段投影到遮挡图谱中，以及确定投影的线段是否与平面物体的真正边缘重合。
[0014]在一些实施例中，使用RGB深度相机获得深度图像。
[0015]在一些实施例中，一种用于构建平面物体的表示的装置包含存储器、相机和一或多个处理器。所述相机经配置以获得从观察位置捕捉的物理场景的深度图像，所述深度图像包括多个深度值并且对应于所述物理场景中的多个点，每一深度值指示从所述观察位置到所述物理场景中的所述多个点中的一个的距离。所述一或多个处理器经配置以:识别所述平面物体据估计沿其定位的平面表面;构建支撑图谱，所述支撑图谱指示所述平面表面的被所述平面物体和靠在所述平面物体顶上的物体的可能表面占据的部分；构建遮挡图谱，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分；以及使用所述遮挡图谱和所述支撑图谱构建所述平面物体的至少一个边界的表示。
[0016]在一些实施例中，一或多个非暂时性计算机可读媒体存储用于构建平面物体的表示的计算机可执行指令，所述计算机可执行指令当经执行时使包含于装置中的一或多个计算装置:识别所述平面物体据估计沿其定位的平面表面;构建支撑图谱，所述支撑图谱指示所述平面表面的被所述平面物体和靠在所述平面物体顶上的物体的可能表面占据的部分；构建遮挡图谱，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分；以及使用所述遮挡图谱和所述支撑图谱构建所述平面物体的至少一个边界的表示。
[0017]在一些实施例中，一种用于构建平面物体的表示的设备包含用于获得从观察位置捕捉的物理场景的深度图像的装置，所述深度图像包括多个深度值并且对应于所述物理场景中的多个点，每一深度值指示从所述观察位置到所述物理场景中的所述多个点中的一个的距离。所述设备还包含用于识别所述平面物体据估计沿其定位的平面表面的装置。所述设备另外包含用于构建支撑图谱的装置，所述支撑图谱指示所述平面表面的被所述平面物体和靠在所述平面物体顶上的物体的可能表面占据的部分。所述设备进一步包含用于构建遮挡图谱的装置，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分。所述设备还包含用于使用所述遮挡图谱和所述支撑图谱构建所述平面物体的至少一个边界的表示的装置。
【附图说明】
[0018]通过实例来说明本发明的各方面。在附图中，相同参考数字指示类似元件，且:
[0019]图1说明可并入有一或多个实施例的系统的简化图；
[0020]图2A说明移动装置或某个其它装置的经配置以构建平面物体的表示的组件的实施例；
[0021]图2B说明作为移动装置的一部分的计算机可读存储媒体的简化图；
[0022]图3A是物理场景的实例说明，RGBD相机可以使用3D点从所述物理场景中捕捉一或多个图像和/或其它数据；
[0023]图3B是图3A的物理场景的说明，其进一步说明了支撑表面的表示；
[0024]图4A说明根据一些实施例的支撑图谱；
[0025]图4B说明根据一些实施例的遮挡图谱；
[0026]图5A是渲染为热图的支撑图谱的实例；
[0027]图5B是渲染为热图的遮挡图谱的实例；
[0028]图6说明根据一些实施例通过改进步骤计算的凸包与凹面轮廓之间的差异；
[0029]图7说明根据一些实施例给边界多边形线段分类的方法；
[0030]图8说明用于构建平面物体的表示的方法的实施例；以及
[0031]图9说明可在其中实施一或多个实施例的计算系统的实例。
【具体实施方式】
[0032]现将相对于形成其一部分的附图来描述若干说明性实施例。虽然下文描述可在其中实施本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
[0033]图1说明可并入有一或多个实施例的系统10的简化图。
[0034]本发明的实施例可以描述用于确定AR环境内的平面的范围(例如，物体的物理边界)的技术。在一些情况下，所述技术可以使用两个信息源。首先，所述技术可以寻找通过经由RGBD相机获得的3D点测量值得到支撑的物体的可能表面区域(例如桌子的表面区域)。其次，所述技术可以消除可能遮挡其它3D点测量值的可能表面区域(例如桌子的表面区域)。组合这两个信息源可以容许估计表面的真正范围和确定表面的真正物理边界。
[0035]可以从在空间中对准的多个RGBD图像创建点云。点云是坐标系中的数据点的集合，并且意在代表物体的外表面。在一些情况下，RGBD的位置和定向在共同参考系内可能是已知的。随后，可以通过将各个RGBD图像的所有深度图变换成共同参考系来创建3D点云。通过知道相机在共同参考系中的位置及定向，系统可以具有用于AR环境内的每一3D点的3D可见性信息。
[0036]现在参看图1，说明的是AR系统10JR系统10包含装置(例如具有AR功能的移动装置12)和物体14。在此特定实例中，物体14可以是桌子。移动装置12可为具有输入感觉单元的任何计算装置，例如相机及显示器。此处，移动装置12是智能电话，但本文中描述的功能性不限于智能电话。举例来说，移动装置12可以是数码相机、摄录像机、平板计算机、个人数字助理、视频游戏控制台、头戴式显示器(HMD)或其它可穿戴显示器、投影仪装置、RGBD相机、深度相机或其它装置。此外，作为移动装置12的替代，可使用例如个人计算机(例如，桌上型计算机)的装置或其它非手持式装置或通常不被标记为移动装置的装置。移动装置12包含用于捕捉现实世界即物理环境中的物理物体的图像的相机。观察位置可以是从一个特定视点(例如RGB、深度相机、声纳、激光扫描)或从多个视点(例如能够感测深度的立体相机)。另外，移动装置12可包含多个相机，例如独立的RGB相机和独立的深度相机。
[0037]如本文中所使用，点云是三维空间中的对应于物理物体的至少一部分的由移动装置12的相机在视野18中可见的点的集合。可以例如基于来自移动装置12的相机(描述如下)的图像数据，通过由移动装置12的处理器执行的一或多种技术来确定点云。移动装置12经配置以通过如下方式来增强现实:捕捉物理环境的图像，这里是捕捉物体14(例如桌子)的图像，并且在透明或半透明显示器上显示用一或多个虚拟物体补充的额外图像，这里三维角色