用于表示物理场景的方法和设备的制造方法
【技术领域】
[0001]本发明大体涉及扩增现实环境，且更确切地说涉及现实世界周围环境的基于机器的辨识。
【背景技术】
[0002]在扩增现实(AR)环境中，用户可检视人工或虚拟图形与用户的自然周围环境的集成。在AR的一些较早实施方案中，用户可经由(例如)扩增现实护目镜参看任意显示在用户的自然周围环境当中或内的图形。举例来说，随机蝴蝶的图形可沿着AR护目镜的视线飞行，同时用户继续检视他的或她的自然周围环境，而不管所述蝴蝶与用户正自然地查看的任何事物是否具有任何关联性。在AR的较复杂实施方案中，用户可能够将AR特征或图形直接应用到用户的自然周围环境的对象或结构。举例来说，用户可能想要引导蝴蝶的图形在墙壁或台子上着陆，这首先需要AR环境辨识事实上所述墙壁或台子实际上存在于用户的视野中何处。
[0003]在其它情况下，机器人或其它自动机器可在尝试在自然周围环境中定向其自身时应用AR领域中的类似概念和技术。举例来说，机器人可需要理解墙壁和台子存在于周围环境中何处，使得机器人并不会跑到墙壁或台子中。在其它情况下，机器人可通过(例如)识别台子上的杯子且拿起所述杯子而与自然周围环境交互。执行此任务可首先需要机器人成功地识别杯子，且在一些情况下需要成功地识别上面放置杯子的台子。然而，实时实现自然周围环境的基于机器的辨识已证明是难以解决的问题，因为(例如)现有技术不能足够快速或足够高效节能以用于实时目的。因此，在此项技术中需要在实时设定中自然周围环境的基于机器的辨识的改进的方法。
【发明内容】
[0004]本发明大体涉及扩增现实环境，且更确切地说涉及现实世界周围环境的基于机器的辨识。
[0005]描述用于通过获得关于物理场景的信息构建物理场景的数字表示的系统、方法和装置。基于所述信息，可识别物理场景内的平面表面的初始部分。在某些方面中，来自物理场景的物理对象可选定和经重建为三维(3D)经重建对象。所述平面表面可表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。
[0006]在某些方面中，还可基于所述至少一个所俘获图像识别平面表面的额外部分。基于确定与额外部分相关联的至少一个视觉特性同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉特性之间的相似度而将额外部分中的每一者识别为平面表面的一部分。
[0007]用于构建物理场景的数字表示的实例方法可包含:获得关于物理场景的信息；识别物理场景内的平面表面;选择放置在平面表面上方的物理场景内的物理对象;检测与物理对象相关联的特性;使用与物理对象相关联的特性产生三维(3D)经重建对象；以及将平面表面表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。
[0008]在所述方法的某些方面中，识别用于选择的物理对象可包含:识别平面表面中的一或多个区，其中所述一或多个区对应于平面表面上的物理对象的位置，其中所获得的信息包括物理对象的一或多个特征点，其中每一特征点指示物理对象的外表面上的点相对于平面表面的位置；以及基于一或多个凸面区的位置和所述一或多个特征点识别物理对象的一或多个外表面。
[0009]在所述方法的某些方面中，将平面表面表示为AR平面可包含分析包括所述物理对象的物理场景的至少两个图像，以及基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个区。所创建的AR平面可包含多个单元，所述多个单元的每一单元表示物理场景中的不含物理对象的区。
[0010]在某些方面中，分析物理场景的所述至少两个图像可包含:使用相机俘获第一位置处的物理场景的第一图像，其中所述第一图像包含物理对象;确定相机已从所述第一位置向第二位置移动的距离;使用所述相机俘获第二位置处的物理场景的第二图像，其中所述第二图像包含物理对象；以及使用所述第一图像和所述第二图像确定所述物理对象的深度信息。
[0011 ]在所述方法的某些方面中，产生3D重建对象可包含:获得物理对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示物理对象的外表面上的点相对于平面表面的位置;使用与平面表面相关联的信息和所述一或多个特征点估计物理对象的不可见的部分的形状；以及基于所述估计构建所述3D重建对象。在某些情况下，所述估计包括将所述信息和所述一或多个特征点变换为平面表面的前平行视角。在一些情况下，所述估计包括样条表示、反射对称对象表示、平面表示或弯曲表示中的至少一者。
[0012]在本发明的某些方面中，构建物理对象的数字表示可包含基于平面表面的被物理对象遮挡的部分的形状在垂直于平面表面的方向上挤压对象。
[0013]在所述方法的某些方面中，将平面表面表示为AR平面可包含:识别物理场景内的平面表面的初始部分;识别平面表面的额外部分，其中所述额外部分中的每一者基于确定与额外部分相关联的至少一个视觉或几何性质同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉或几何性质之间的相似度而识别为平面表面的一部分。
[0014]在某些实施方案中，识别平面表面的额外部分可包含:建立平面表面在其内驻留的平面区的模型；将所述平面区分割为多个单元；以及将每一单元评估为平面表面的潜在额外部分。评估每一单元可包含以下反复步骤:针对识别为平面表面的额外部分的每一单元，识别尚未识别为平面表面的一部分的相邻单元；以及针对每一经识别的相邻单元，将所述相邻单元评估为平面表面的潜在部分。
[0015]用于构建物理场景的数字表示的实例装置可包含存储器、用于获得关于物理场景的信息的相机，和耦合到存储器的处理器。所述处理器可经配置用于:识别物理场景内的平面表面;选择放置在平面表面上方的物理场景内的物理对象;检测与物理对象相关联的特性;使用与物理对象相关联的特性产生三维(3D)经重建对象；以及将平面表面表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。
[0016]在所述装置的某些方面中，识别用于选择的物理对象可包含:识别平面表面中的一或多个区，其中所述一或多个区对应于平面表面上的物理对象的位置，其中所获得的信息包括物理对象的一或多个特征点，其中每一特征点指示物理对象的外表面上的点相对于平面表面的位置；以及基于一或多个凸面区的位置和所述一或多个特征点识别物理对象的一或多个外表面。
[0017]在所述装置的某些方面中，将平面表面表示为AR平面可包含分析包括所述物理对象的物理场景的至少两个图像，以及基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个区。所创建的AR平面可包含多个单元，所述多个单元的每一单元表示物理场景中的不含物理对象的区。
[0018]在某些方面中，分析物理场景的所述至少两个图像可包含:使用相机俘获第一位置处的物理场景的第一图像，其中所述第一图像包含物理对象;确定相机已从所述第一位置向第二位置移动的距离;使用所述相机俘获第二位置处的物理场景的第二图像，其中所述第二图像包含物理对象；以及使用所述第一图像和所述第二图像确定所述物理对象的深度信息。
[0019]在所述装置的某些方面中，产生3D重建对象可包含:获得物理对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示物理对象的外表面上的点相对于平面表面的位置;使用与平面表面相关联的信息和所述一或多个特征点估计物理对象的不可见的部分的形状；以及基于所述估计构建所述3D重建对象。在某些情况下，所述估计包括将所述信息和所述一或多个特征点变换为平面表面的前平行视角。在一些情况下，所述估计包括样条表示、反射对称对象表示、平面表示或弯曲表示中的至少一者。
[0020]在本发明的某些方面中，构建物理对象的数字表示可包含基于平面表面的被物理对象遮挡的部分的形状在垂直于平面表面的方向上挤压对象。
[0021 ]在所述装置的某些方面中，将平面表面表示为AR平面可包含:识别物理场景内的平面表面的初始部分;识别平面表面的额外部分，其中所述额外部分中的每一者基于确定与额外部分相关联的至少一个视觉或几何性质同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉或几何性质之间的相似度而识别为平面表面的一部分。
[0022]在某些实施方案中，识别平面表面的额外部分可包含:建立平面表面在其内驻留的平面区的模型；将所述平面区分割为多个单元；以及将每一单元评估为平面表面的潜在额外部分。评估每一单元可包含以下反复步骤:针对识别为平面表面的额外部分的每一单元，识别尚未识别为平面表面的一部分的相邻单元；以及针对每一经识别的相邻单元，将所述相邻单元评估为平面表面的潜在部分。
[0023]一种实例非暂时性计算机可读存储媒体，其中所述非暂时性计算机可读存储媒体包括可由处理器执行的指令，所述指令包括用于以下操作的指令:识别物理场景内的平面表面;选择放置在平面表面上方的物理场景内的物理对象;检测与物理对象相关联的特性；使用与物理对象相关联的特性产生三维(3D)经重建对象；以及将平面表面表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。
[0024]在非暂时性计算机可读存储媒体的某些方面中，产生3D重建对象可包含用于以下操作的指令:获得物理对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示物理对象的外表面上的点相对于平面表面的位置;使用与平面表面相关联的信息和所述一或多个特征点估计物理对象的不可见的部分的形状；以及基于所述估计构建所述3D重建对象。在某些情况下，所述估计包括将所述信息和所述一或多个特征点变换为平面表面的前平行视角。在一些情况下，所述估计包括样条表示、反射对称对象表示、平面表示或弯曲表示中的至少一者。
[0025]在非暂时性计算机可读存储媒体的某些实例中，AR平面可包含多个单元，所述多个单元的每一单元表示物理场景中的不含物理对象的区。在某些方面中，将平面表面表示为AR平面包括所述处理器进一步包含分析包括所述物理对象的物理场景的至少两个图像，以及基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个区。
[0026]用于构建物理场景的数字表示的实例设备可包含:用于获得关于物理场景的信息的装置；用于识别物理场景内的平面表面的装置；用于选择放置在平面表面上方的物理场景内的物理对象的装置;用于检测与物理对象相关联的特性的装置；用于使用与物理对象相关联的特性产生三维(3D)经重建对象的装置；以及用于将平面表面表示为扩增现实(AR)环境中的扩增现实平面的装置，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。
[0027]在实例设备的某些方面中，产生3D重建对象可包含:用于获得物理对象的一或多个特征点的装置，其中所述一或多个特征点的每一特征点指示物理对象的外表面上的点相对于平面表面的位置;用于使用与平面表面相关联的信息和所述一或多个特征点估计物理对象的不可见的部分的形状的装置；以及用于基于所述估计构建所述3D重建对象的装置。在某些情况下，所述估计包括用于将所述信息和所述一或多个特征点变换到平面表面的前平行视角的装置。在一些情况下，所述估计包括样条表示、反射对称对象表示、平面表示或弯曲表不中的至少一者。
[0028]在实例设备的某些实例中，AR平面可包含多个单元，所述多个单元的每一单元表示物理场景中的不含物理对象的区。在某些方面中，将平面表面表示为AR平面可包含用于分析包括所述物理对象的物理场景的至少两个图像的装置，以及用于基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个区的装置。
[0029]前文已经相当广泛地概述了实例的特征和技术优点，以便使以下【具体实施方式】可以得到更好理解。将在下文描述额外的特征及优点。所揭示的概念和具体实例可以容易地用作用于修改或设计用于执行本发明的相同目的的其它结构的基础。此类等效构造不脱离所附权利要求书的精神和范围。当结合附图考虑时，关于本发明的组织和操作方法的被认为是本文中所揭示的概念的特性的特征与相关联的优点一起将从以下描述得到更好理解。图式中的每一者都仅出于说明和描述的目的提供且并不提供为对权利要求书的限制的界定。
【附图说明】
[0030]可通过参考以下各图来实现对各种实施例的性质及优点的理解。在附图中，类似组件或特征可以具有相同参考标记。此外，可通过在参考标签之后跟着划线及在类似组件之间进行区分的第二标记来区分为相同类型的各种组件。如果说明书中只使用第一参考标记，那么描述适用于具有相同的第一参考标记的类似组件中的任一者，与第二参考标记无关。
[0031]图1说明根据本发明的某些实施例用于在扩增现实(AR)系统中使用计算装置的实例设定。
[0032]图2说明根据本发明的某些实施例的实例物理场景。
[0033]图3说明表示图2中说明的物理场景的一部分的实例平面表面。
[0034]图4说明根据本发明的某些方面可由计算装置执行用于产生物理场景的数字表示的实例操作的流程图。
[0035]图5A和5B说明根据本发明的某些方面