将增强现实体验映射到各种环境的制作方法
【专利说明】将増强现实体验映射到各种环境
[0001] 背景
[0002] 增强现实（AR)可被定义为其对象由一种或多种类型的数字（例如，计算机生成 的）内容来补充的给定环境的场景。该数字内容与场景中存在的各对象复合，从而使得在 感知该AR的用户看来该数字内容和这些对象共存在该同一空间中。换言之，该数字内容叠 加在场景上，从而使得该场景的现实被该数字内容人工地增强。由此，AR丰富并补充给定 现实，而不是完全替换该给定现实。AR通常被用于各种各样的应用中。示例性AR应用包括 军事AR应用、医疗AR应用、工业设计AR应用、制造AR应用、体育赛事AR应用、游戏和其他 类型的娱乐AR应用、教育AR应用、旅行AR应用和导航AR应用。
[0003] 概述
[0004] 提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些概念 选择。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助 确定所要求保护的主题的范围。
[0005] 本文中描述的增强现实（AR)体验映射技术实施例一般涉及将AR体验映射到各种 环境。在一个示例性实施例中，描述环境的场景的三维（3D)数据模型被输入。对AR体验 的描述也被输入，其中该AR体验描述包括要被映射到场景中的数字内容集合以及定义数 字内容在其被映射到场景中时的属性的约束集合。3D数据模型随后被分析以检测该场景中 的可供属性（affordance)，其中该分析生成检测到的可供属性的列表。检测到的可供属性 的列表和约束集合随后被用来求解数字内容集合到场景的基本上满足约束集合的映射。
[0006] 在本文中描述的AR体验映射技术的另一示例性实施例中，AR体验被映射到变化 的环境。接收根据时间来描述环境的场景的3D数据模型。还接收对AR体验的描述，其中 该描述包括要被映射到场景中的数字内容集合以及定义数字内容在其被映射到场景中时 的属性的约束集合。3D数据模型随后被分析以检测在该场景中的可供属性，其中该分析生 成检测到的可供属性的原始列表。检测到的可供属性的原始列表和约束集合随后被用来求 解数字内容集合到场景的基本上满足约束集合的映射。无论何时场景中发生改变时，3D数 据模型都被重新分析以检测在经改变的场景中的可供属性，其中该重新分析生成检测到可 供属性的经修正的列表。该检测到的可供属性的经修正的列表和约束集合随后被用来求解 数字内容集合到经改变的场景的基本上满足约束集合的映射。
[0007] 附图简述
[0008] 参考以下描述、所附权利要求书以及附图，将更好地理解此处所描述的增强现实 (AR)体验映射技术实施例的具体特征、方面和优点，附图中：
[0009] 图IA是以简化形式示出对象的最小3D边界框以及该对象的相应非最小3D边界 框的示例性实施例的透明透视图的示图。图IB是示出在图IA中例示的最小和非最小3D 边界框实施例的透明正视图的示图。
[0010] 图2是以简化形式示出虚拟篮球框的最小三维（3D)边界框及其上的垂直绑定面 的示例性实施例的示图。
[0011] 图3是以简化形式示出虚拟灯的最小3D边界框及其上的水平绑定面的示例性实 施例的示图。
[0012] 图4是以简化形式示出用于将AR体验映射到各种环境的过程的示例性实施例的 流程图。
[0013] 图5是以简化形式示出用于将AR体验映射到变化的环境的过程的示例性实施例 的流程图。
[0014] 图6是以简化形式示出允许用户将对给定AR体验中的虚拟对象而言有可能的自 由度进行可视化的AR体验测试技术的一个实施例的示图。
[0015] 图7是示出其上可实现如本文所述的AR体验映射技术的各实施例和元素的通用 计算机系统的简化示例的示图。
[0016] 详细描述
[0017] 在以下对增强现实（AR)体验映射技术实施例（此后简称为映射技术实施例）的 描述中，对附图进行了参考，附图形成了实施例的一部分且在其中作为说明示出了可在其 中实践该映射技术的具体实施例。可以理解，可以使用其它实施例并且可以做出结构上的 改变而不背离映射技术实施例的范围。
[0018] 还应注意，出于清楚的目的，在描述此处所描述的映射技术实施例中将依靠具体 的术语，但并不意味着这些实施例被限制于所选择的具体术语。此外，应当理解的是，每个 具体术语包括以宽泛地类似方式工作以实现类似目的的所有其技术等同物。此处提及"一 个实施例"、或"另一实施"、或"示例性实施例"、或"替代实施例"、或"一个实施方式"、或"另 一实施方式"、或"示例性实施方式"、或"替代实施方式"意味着结合实施例或实施方式描述 的特定特征、特定结构或特定特性可被包括在映射技术的至少一个实施例中。在本说明书 中各个地方出现短语"在一个实施例中"、"在另一实施例中"、"在示例性实施例中"、"在替 代实施例中"、"在一个实施方式中"、在"另一实施方式中"、在"示例性实施方式中"、在"替 代实施方式中"不一定全都指同一实施例或实施方式，也不是与其他实施例/实施方式互斥 的单独或替换实施例/实施方式。此外，表示映射技术的一个或多个实施例或实施方式的 过程流的顺序并不固有地指示任何特定顺序，也不暗示对映射技术的任何限制。
[0019] 术语"AR体验"在本文中用于指代在用户感知AR时该用户的体验。术语"AR设计 者"在本文中用于指代为一个或多个AR应用设计给定AR体验的一个或多个人。术语"虚拟 对象"在本文中用于指代现实世界环境或合成世界环境中不存在的计算机生成的对象。术 语"虚拟音频源"在本文中用于指代现实世界环境或合成世界环境中不存在的计算机生成 的音频。
[0020] 术语"传感器"在本文中用于指代可用于生成表示给定现实世界环境的实况场景 (此后被简称为场景）的数据流的各种场景感测设备中的任何一者。一般来说并如此后 更详细描述的，本文中描述的各映射技术实施例可使用一个或多个传感器来捕捉场景，其 中这些传感器是按规定的布置配置的。在本文中描述的映射技术的示例性实施例中，每一 传感器都可以是任何类型的视频捕捉设备，其示例在此后更详细地描述。每一传感器还可 以是静止的（例如，该传感器具有不随时间改变的固定位置以及固定旋转方向）或移动的 (例如，该传感器的随时间改变的位置和/或旋转方向）。每一视频捕捉设备都生成视频数 据流，该视频数据流包括场景的从视频捕捉设备的特定几何角度来看的图像流。各映射技 术实施例还可使用用于捕捉场景的不同类型的视频捕捉设备的组合。
[0021] 1.0 增强现实（AR)
[0022] 如此后所描述的，AR可被定义为其对象由一种或多种类型的数字内容来补充的给 定环境的场景。在本文中描述的映射技术的示例性实施例中，该数字内容包括一个或多个 虚拟对象，该虚拟对象可以是基于视频的虚拟对象、或基于图形的虚拟对象、或基于视频的 虚拟对象和基于图形的虚拟对象的组合。将领会，映射技术的替换实施例也是可能的，其中 该数字内容还可包括文本、或一个或多个虚拟音频源、或其组合等等。由于配备有摄像机和 运动传感器的移动计算设备的增长以及前述AR丰富并补充给定现实而非完全替换该给定 现实的事实，AR应用变得越来越受欢迎。这样的移动计算设备的示例包括但不限于智能电 话和平板计算机。
[0023] 将领会，现实世界提供各种各样的环境，包括但不限于各种类型的室内设置（诸 如小房间、走廊、和大厅等等）和各种类型的室外风景。将进一步领会，这样的现实世界环 境可随时间改变，其中给定环境中的改变可包括但不限于，环境中存在的对象数目的改变、 或环境中存在的对象类型的改变、或环境中存在的对象中的一者或多者的位置的改变、或 环境中存在的对象中的一者或多者的空间方向的改变或其任何组合。由于常规传感器和计 算技术在近几年内的显著进步，现在可在线构建并存储此各种类型的现实世界环境的动态 结构。这样的常规技术进步的示例包括但不限于以下。常规的图像捕捉和图像处理技术的 进步允许使用各种类型的移动传感器（诸如移动摄像机和/或深度相机等等）来随给定现 实环境改变以实况方式捕捉和映射该环境。常规的对象识别和捕捉到几何结构分析技术的 进步允许理解捕捉到的现实世界环境的一些语义。还将领会，可生成各种各样的合成世界 (例如，人工）环境，该环境也可随时间改变。
[0024] 2. 0将AR体验映射到各种环境
[0025] -般来说并如此后更详细描述的，本文中描述的各映射技术实施例涉及通过使用 混合离散-连续方法来求解非凸约束优化函数来将给定AR体验映射到各种环境。换言之， 各映射技术实施例可将给定AR体验映射到各种现实世界环境或各种合成世界环境的场 景。
[0026] 出于包括但不限于以下的各种原因，本文中描述的各映射技术实施例是有利的。 如将从后面的更详细描述中领会的，这些映射技术实施例可以按增强用户对给定现实的当 前感知的方式来更改该给定现实。这些映射技术实施例还允许AR设计者设计出可被映射 到各种各样的不同环境的AR体验，其中在AR设计者正在设计该AR体验时，这些环境对于 AR设计者而言可能是未知的。这些映射技术实施例还允许AR设计者设计出以下AR体验： 该AR体验可包括虚拟对象和该AR体验将被映射到的各种环境中存在的对象之间的各种各 样的复杂交互。这些映射技术实施例还可使AR体验适配前述存在于现实世界和合成世界 两者中的各种各样的环境，并感测这些环境的改变，同时使该AR体验的性质保持完整。作 为示例而非限制，这些映射技术实施例可允许被投影在给定房间的墙上的AR游戏自适应 地在其他房间中重新布置其虚拟机对象，同时仍保持相同的游戏功能，该其他房间可具有 不同的尺寸、不同的几何结构或不同的外表。
[0027] 本文中描述的映射技术实施例还可与任何类型的AR体验（诸如将被投影到不同 的房间几何结构上的视频游戏、或对移动机器人将在各种各样的场景和这些场景内的房间 中执行的一个或多个活动的描述、或许多其他类型的AR体验）一起操作。这些映射技术实 施例还是稳健的、可在任何类型的环境中操作，并且可对给定环境中可能存在的任何类型 的对象操作。换言之，这些映射技术实施例在各种各样的AR情景和相关环境中都是有效 的。这些映射技术实施例还可为任何类型的环境提供复杂的AR体验。
[0028] 本文中描述的各映射技术实施例还可确保被映射到环境的场景中的数字内容与 该环境一致。作为示例而非限制，这些映射技术实施例可确保被映射到场景中的每一个 虚拟对象均停留在该场景中的自由空间体内，而不与该场景中存在的对象（诸如，地板、或 墙、或家具等等）相交。这些映射技术实施例还可确保从用户的视野来看这些虚拟对象不 被场景中存在的任何对象遮挡。这些映射技术实施例还可确保被映射在场景中的虚拟对象 彼此一致。作为示例而非限制，这些映射技术实施例可确保虚拟对象的布置在物理上是看 似真实的（例如，这些映射技术实施例可确保这些虚拟对象在3D空间中不会彼此相交）。 可任选地，这些映射技术实施例还确保虚拟对象的布置对于感知该增强场景的用户而言是 美观的（例如，在其中虚拟椅子和虚拟桌子被添加到该场景的情形中，这些映射技术实施 例可确保虚拟椅子与虚拟桌子是等距的）。
[0029] 本文中描述的各映射技术实施例还可确保给定AR体验自动地适配该AR体验将被 映射到的环境的场景的任何改变。这样的改变的示例可包括但不限于场景中的房间的结构 在该AR体验期间的改变（例如，房间中的现实人可在房间内到处移动，或者房间中的现实 对象（诸如椅子）可被移动）、或AR应用的功能的改变（例如，场景中的一个或多个新现实 对象的外观、或与AR应用并行运行的