虚拟现实和跨设备体验的制作方法

虚拟现实和跨设备体验
1.本技术是申请日为2017年10月16日、申请号为201780066303.5的发明专利申请“虚拟现实和跨设备体验”的分案申请。


背景技术：

2.诸如头戴式虚拟现实设备之类的虚拟现实设备可以在各种现实和/或虚拟世界环境和环境中使用。增强现实设备是这种类型的虚拟现实设备：其可以支持现实世界环境的直接或间接视图以及数字地投影在现实世界场景上的增强现实对象。增强现实设备还可以作为场景感知设备进行操作，该场景感知设备具有被定义为增强现实设备支持的增强现实环境(即，虚拟环境)的现实世界环境的理解。增强现实设备可以支持增强现实对象的呈现，增强现实对象是为与增强现实设备相关联的用户呈现的虚拟化实体(例如，全息内容或混合现实内容)。可以基于由增强现实设备捕获的现实世界环境来渲染增强现实对象。
附图说明
3.下面参考附图详细描述本发明，其中：
4.图1是根据本发明实施例的示例操作环境的图示；
5.图2是根据本发明实施例的示例系统的图示；
6.图3a示出了根据本发明实施例的示例界面；
7.图3b示出了根据本发明实施例的示例界面；
8.图4示出了根据本发明实施例的示例界面；
9.图5示出了根据本发明实施例的用户查看3d空间；
10.图6示出了根据本发明实施例的用户查看环境快照；
11.图7示出了根据本发明实施例的与环境快照相关联地呈现的界面；
12.图8a示出了根据本发明实施例的用户查看3d空间；
13.图8b示出了根据本发明实施例的用户查看3d空间；
14.图9a示出了根据本发明实施例的文件系统；
15.图9b示出了根据本发明实施例的用户查看3d空间；
16.图10a示出了根据本发明实施例的网页；
17.图10b示出了根据本发明实施例的虚拟对象查看器；
18.图10c示出了根据本发明实施例的用户查看3d空间；
19.图10d示出了根据本发明实施例的用户查看环境快照；
20.图11示出了根据本发明实施例的方法的流程图；
21.图12示出了根据本发明实施例的方法的流程图；
22.图13示出了根据本发明实施例的方法的流程图；
23.图14是根据本发明实施例的示例头戴式显示设备的框图；以及
24.图15是适用于实现本发明实施例的示例计算环境的框图。
具体实施方式
25.本文中具体描述了本发明的主题以满足法定要求。然而，描述本身并不旨在限制本专利的范围。相反，发明人已经预期所要求保护的主题还可以以其他方式体现，包括不同步骤或与本文档中描述的步骤类似的步骤组合，结合其他现有或未来技术。此外，尽管这里可以使用术语“步骤”和/或“块”来表示所采用的方法的不同元素，但是这些术语不应被解释为暗示本文公开的各个步骤之中或之间的任何特定顺序，除非且除了当明确描述了各个步骤的顺序时。
26.在本公开的一些方面，可以在环境快照中捕获3d空间。3d空间可以是现实世界环境、虚拟环境或混合现实环境。环境快照可以包括具有元数据的2.5d图像或图片(例如，元数据嵌入在其中)，其包括描述3d空间的3d信息，诸如深度信息、虚拟和/或现实对象位置和/或其他对象属性，等等。
27.在一些情况下，使用诸如增强现实设备之类的虚拟现实设备来捕获环境快照。合适的设备的示例包括头戴式显示设备或手持或移动设备。这些设备中的每一个可以配备有能够捕获3d空间的一个或多个传感器。这可以包括，例如，一个或多个深度传感器，其可以包括在一个或多个深度感测相机(例如，rgb-d相机)中。虚拟现实设备可以至少基于3d信息确定和捕获各种元数据中的任何一个，并且将元数据与快照相关联，例如通过将元数据嵌入快照中。
28.在一些情况下，用户可能正在查看虚拟现实设备上的3d空间，并且设备可以基于用户在3d空间中已经查看或正在查看的内容来拍摄快照(例如，从用户的视角)。作为一种选择，用户可以选择性地拍摄环境的照片或快照(例如，通过按下屏幕上的按钮)，从而生成具有元数据的快照。诸如3d信息之类的元数据不需要基于单个设备姿势(例如，在拍摄快照时)，而是可以包括从各种设备姿势捕获的3d信息，包括不同的角度、位置、视角和距离。然而，由2.5d图像或照片捕获的视角(例如，位图)可以基于与拍摄快照时相对应的设备姿势和/或在拍摄快照时设备上的显示。在一些情况下，视角、设备姿势和/或其他位置信息包括在元数据中。
29.在进一步的方面，本公开提供了查看和增强3d空间的2.5d快照。例如，可以使用与用于捕获环境快照的设备不同的设备来查看和/或增强快照。在某些情况下，该设备不是虚拟现实设备。例如，该设备可能没有配备深度传感器和/或头戴式显示器。示例包括笔记本计算机、台式机、手机和平板计算机。在查看环境快照时，所显示的视图可以基于元数据，诸如在快照中捕获的视角信息和/或3d信息。在一些情况下，查看器可以限制对快照中捕获的所显示的视角的改变。例如，可以基于捕获的视角来固定或限制所显示的视角。在某些情况下，可以将视差应用于显示器以修改视图。
30.在查看环境快照时，用户可以修改快照，例如通过向快照添加内容，从快照移除内容，和/或改变快照内的内容。该内容可以包括3d对象、2d图像、贴花、绘图、音频、视频、文本、动画、颜色和/或其他内容。在各种实现方式中，可以基于快照的元数据将至少一些内容放置在环境快照中(例如，由用户)。例如，基于3d信息，可以将内容置于环境快照中。此信息可用于将内容转换为环境快照。例如，3d信息可用于确定内容的大小、内容的旋转和/或内容的角度。因此，元数据可以定义内容的内容放置参数。作为另一示例，可以使用深度信息将内容(例如，现实或虚拟对象)放置在原始快照中捕获的内容后面或稍后添加到快照中的
内容后面。
31.因此，在一些实现方式中，使用深度信息，用户可以使用图形界面来在快照中捕获的墙壁上绘制，其可以跟踪墙壁的角度和距离。作为另一示例，用户可以将内容放置在其他内容后面，例如在快照中描绘的台面上，其具有基于快照中的距离信息而缩放的尺寸。由用户对环境快照所做的任何改变都可以保存在快照的元数据中。
32.在进一步的方面，本公开提供了将环境快照(例如上述2.5d快照)转换为混合现实或虚拟现实环境。例如，系统可以将对环境快照做出的改变传播到对应于快照的3d环境或空间中。作为示例，系统可以在对应于环境快照的3d空间中进行修改。因此，如果用户将对象放置在桌上，则系统可以从环境快照(例如，元数据)识别对3d空间的这种改变，并将改变结合到3d空间中。作为示例，查看3d空间的用户(例如使用虚拟现实设备)可以看到对环境空间所做的改变被反映在3d空间中。
33.在进一步的方面，本公开提供了个人空间或与一个或多个特定用户相关联的空间。例如，系统的每个用户可以与一个或多个空间相关联。例如，空间可以对应于上述3d空间和/或对3d空间拍摄的2d环境快照。在各种实现方式中，其他用户可以访问与另一用户相关联的个人空间。例如，个人空间的所有者可以与用户共享个人空间，或者可以以其他方式提供对一个或多个用户的访问。访问个人空间可以包括查看个人空间和/或修改个人空间(例如，可以存在不同的访问权限，这对于不同的访问用户可以是不同的)。
34.在个人空间包括环境快照的情况下，访问用户可以查看和/或修改环境快照，如上所述。另外或替代地，访问用户可以查看和/或修改相对应的3d空间。在一些情况下，用户访问的空间可以基于用户用于访问的设备的硬件能力。例如，除了环境快照之外或代替环境快照，还可以允许具有虚拟现实设备的用户访问3d空间或者给予访问3d空间的选项，而可以允许具有非虚拟现实设备的用户仅访问环境快照或仅能够访问环境快照。由访问用户对个人空间的修改可以是空间的该所有者或多个所有者可见的(例如，异步地)。例如，如上所述，应将2.5d快照转换为3d空间。
35.本公开的其他方面涉及基于与用户设备相对于3d空间的位置和/或取向相对应的触发标准或条件来触发一个或多个虚拟对象。触发虚拟对象可以包括显示虚拟对象，动画化虚拟对象，移动，旋转和/或以其他方式改变3d空间中的虚拟对象的定位，修改颜色、纹理和/或其他对象属性或特性(例如，视觉属性)。可以为对象预定义这些触发动作，并且可以将不同的触发动作集与同一虚拟对象的不同触发标准相关联。
36.作为示例，虚拟对象的触发标准可以基于用户和/或用户设备相对于虚拟对象的接近度(例如，基于地理位置)。例如，在混合现实环境中，可以在包括虚拟对象的3d虚拟空间中确定用户和/或用户设备的现实世界位置(例如，使用设备传感器)。应当意识到，在虚拟环境中，用户和/或设备位置可能不对应于现实世界坐标。在一些情况下，触发标准可以对应于持有用户设备的用户。例如，为了确定满足标准，系统可以确定(推断)用户正持有设备。
37.在一些情况下，触发动作包括捕获用户对虚拟对象的反应和/或对应于虚拟对象的一个或多个触发动作。例如，可以利用用户正用于查看3d空间的用户设备上的诸如相机(例如，前置相机)的相机来捕获用户反应。例如，基于满足触发标准，用户设备可以自动激活相机并捕获用户的照片和/或视频。
38.为了说明上述内容，假设虚拟对象在用户设备上的桌子上显示为礼物，当用户接近礼物时，用户输入与对象的接近度，该接近度是用于激活用户设备的前置相机上的记录的触发标准。随着用户越来越近，触发标准被满足，导致礼物明显地抖动。随着用户更为接近，触发动作可以使得礼物可以动画化并打开显示其内容。完成此触发操作可以使得设备自动停用相机。
39.在一些情况下，系统将用户反应的照片和/或视频传送给另一个用户(例如，作为触发动作的一部分)。例如，触发动作(例如，基于接近度)可以使得通知被发送给一个或多个其他用户。该通知可以包括到反应流的链接，其可以是由反应捕获器218实时捕获的。作为另一个示例，可以保存捕获的用户反应以供稍后由其他用户查看。在这种情况下，可以将照片或视频文件发送给其他用户，或者可以向其他用户提供下载链接。
40.在一些方面，用户的用户反应是否与另一用户共享可以服从于用户的共享偏好。这些共享偏好可以由用户在捕获用户反应之前建立。另外，或者替代地，在捕获之后，系统可以提示用户是否共享用户反应和/或要与其分享用户反应的一个用户或多个用户。
41.在一些实现方式中，具有触发标准和触发动作的虚拟对象可以由另一个用户提供给3d空间。例如，该用户可以是查看和/或修改与3d空间相对应的个人空间的用户，例如上面已经描述的。例如，用户可以将虚拟对象添加到个人空间。在一些情况下，触发条件和/或动作由用户通过图形界面设置或配置。但是，至少一些参数可以预先配置。例如，用户可以从目录中选择虚拟对象，在目录中每个虚拟对象具有一个或多个相关联的触发动作和触发标准。用户可以通过用户界面调整例如接近度设置、范围和/或距离。
42.在进一步的方面，可以基于触发标准自动向用户通知用户反应。该通知可以基于用户与3d空间相关联。在一些情况下，通知基于用户已经将与触发条件相对应的虚拟对象提供给3d空间。例如，基于用户使用虚拟对象修改环境快照，系统可以将该用户与触发动作相关联，从而导致向用户提供通知。
43.另外或替代地，触发标准可以基于对应于虚拟对象的3d空间中的位置在用户设备上和/或对用户上是否可见。例如，可以基于虚拟对象进入用户设备上的视图来触发触发动作。该系统可以例如基于设备的设备姿势进行该确定。作为另一示例，触发标准可以基于对应于虚拟对象的位置在用户设备上和/或对用户不可见或者变得不可见。
44.从前面的描述中，应当意识到，本公开内容捕获了各种概念，这些概念在任何合适的布置中是可分离或可组合的。
45.现在转到图1，提供了示出其中可以采用本公开的一些实现方式的操作环境的示例的框图。应该理解的是，这里描述的该布置和其他布置仅作为示例阐述。除了所示的那些之外或代替所示的那些，可以使用其他布置和元件(例如，机器、接口、功能、顺序和功能分组等)，并且为了清楚起见，可以完全省略一些元件。此外，本文描述的许多元件是功能实体，其可以实现为离散或分布式组件或者与其他组件一起实现，并且可以以任何合适的组合和位置实现。这里描述的由一个或多个实体执行的各种功能可以由硬件、固件和/或软件执行。例如，一些功能可以由执行存储在存储器中的指令的处理器执行。
46.在未示出的其他组件中，操作环境100包括多个用户设备，诸如用户设备102a和102b到102n，网络104和服务器108。
47.应该理解，图1中所示的操作环境100是一个合适的操作环境的示例。图1中所示的
每个组件可以通过任何类型的计算设备来实现，例如结合例如图15描述的计算设备1500中的一个或多个。这些组件可以经由网络104彼此通信，网络104可以是有线的，无线的或两者。网络104可以包括多个网络或多个网络中的一个网络，但是以简单的形式示出，以免模糊本公开的各方面。举例来说，网络104可以包括一个或多个广域网(wan)、一个或多个局域网(lan)、一个或多个公共网络(例如因特网)和/或一个或多个专用网络。在网络104包括无线电信网络的情况下，诸如基站、通信塔或甚至接入点(以及其他组件)的组件可以提供无线连接。网络环境在办公室、企业范围的计算机网络、内联网和因特网中很常见。因此，没有详细描述网络104。
48.应当理解，在本公开的范围内，可以在操作环境100内采用任何数量的用户设备、服务器和其他公开的组件。每个可以包括在分布式环境中协作的单个设备或多个设备。
49.用户设备102a到102n包括能够由用户操作的任何类型的计算设备。例如，在一些实现方式中，用户设备102a到102n可以是关于本文的图14和/或图15描述的计算设备的类型。作为示例而非限制，用户设备可以实现为虚拟现实设备、混合现实设备、增强现实设备、个人计算机(pc)、膝上型计算机、移动设备、智能电话、平板计算机、智能手表、可穿戴计算机、个人数字助理(pda)、mp3播放器、全球定位系统(gps)或设备、视频播放器、手持通信设备、游戏设备或系统、娱乐系统、车辆计算机系统、嵌入式系统控制器、遥控器、器具、消费者电子设备、工作站、3d扫描设备、这些描绘设备的任何组合或任何其他合适的设备。
50.用户设备可以包括一个或多个处理器，以及一个或多个计算机可读介质。计算机可读介质可包括可由一个或多个处理器执行的计算机可读指令。指令可以由一个或多个应用程序实现，例如图1中所示的应用程序110a。为简单起见，应用程序110a被称为单个应用程序，但在实践中其功能可以通过一个或多个应用程序来体现。如上所述，其他用户设备可以包括类似应用程序110a的一个或多个应用程序，例如应用程序110b和110n。
51.应用程序通常可以是能够在执行本公开中描述的功能时促进用户设备与服务器108之间的信息交换的任何应用程序。在一些实现方式中，应用程序包括web应用程序，其可以在web浏览器中运行，并且可以至少部分地在操作环境100的服务器端上托管。另外或者替代地，应用程序可以包括专用应用程序，例如具有图像处理功能的应用程序。在某些情况下，应用程序被集成到操作系统中(例如，作为一个或多个服务)。因此，本文预期“应用程序”被广义地解释。
52.服务器108还包括一个或多个处理器，以及一个或多个计算机可读介质。计算机可读介质包括可由一个或多个处理器执行的计算机可读指令。
53.可以利用服务器108和/或用户设备102a到102n的指令的任何组合来实现图2的系统206的一个或多个组件，其在下面进一步详细描述。
54.参见图2，是根据本公开的实施例的系统的框图。系统206包括环境捕获器212、环境快照渲染器214、设备跟踪器216、反应捕获器218、触发检测器220、事件通知器240、用户交互管理器242、元数据生成器222、虚拟现实渲染器224。
55.如上所述，系统206的前述组件可以例如在图1的操作环境100中实现。具体地，这些组件可以集成到用户设备102a和102b到102n以及服务器108的任何合适组合中。对于基于云的实现方式，服务器108上的指令可以实现系统206的一个或多个组件或其部分，并且应用程序110a、应用程序110b或应用程序110n可以被用户利用以与服务器108上实现的功
能接合。在一些情况下，可以不需要服务器108。在这些情况下，系统206可以至少部分地由对应于应用程序110a，110b和/或110n的指令实现。
56.因此，应当意识到，系统206可以经由布置在分布式环境中的多个设备来提供，这些设备共同提供本文描述的功能。另外，未示出的其他组件可以包括在分布式环境中。另外或替代地，系统206可以至少部分地集成到用户设备中，例如用户设备102a。此外，系统206可以至少部分地实现为云计算服务。
57.应进一步意识到，对于由本公开捕获的每个实施例，系统206可能不需要图2中所示的每个组件。
58.存储设备230可以包括计算机可读介质，并且被配置为存储在此描述的实施例中使用的计算机指令(例如，软件程序指令、例程或服务)、数据和/或模型。在一些实现方式中，存储设备230存储经由系统206的各种组件接收的信息或数据，并根据需要向各种组件提供对该信息或数据的访问。在实现方式中，存储设备230包括数据存储库(或计算机数据存储器)。尽管被描绘为单个组件，但是存储设备230可以实现为一个或多个数据存储库，并且可以至少部分地在云中。此外，存储设备230中的信息可以以任何合适的方式分布在一个或多个数据存储库上以便存储(可以在外部托管)。
59.在所示的实现方式中，存储设备230包括至少3d环境232、环境快照234、捕获属性236、环境元数据238和环境内容244，其在下面进一步详细描述。
60.环境界面225可选地向环境捕获器212提供用户界面，环境捕获器212在一些实施方式中经由一个或多个设备(例如图1中的用户设备102a至102n中的一个或多个)从一个或多个传感器收集传感器数据。环境捕获器212可以分析传感器数据并将传感器数据转换到3d环境或3d空间中，其可以对应于3d环境232中的一个，其示例已在上面描述。3d空间可以包括用于3d对象和/或几何形状的扫描的几何特征和扫描的属性特征(例如，纹理、颜色、声音、移动、动画等)。
61.环境界面225可以采用虚拟现实渲染器224来渲染对应于3d空间的虚拟现实环境，或者使用增强现实渲染器226来渲染对应于3d空间的增强现实或混合现实环境。这些渲染器中的一个或多个可以合并到应用程序中，例如应用程序110a，110b和110n中的一个或多个。另外或者替代地，应用程序中的一个或多个可以采用环境快照渲染器214，环境界面225可以采用环境快照渲染器214来渲染环境快照，例如2.5d环境快照，如上所述。应当意识到，每个应用程序可以根据需要使用一个到所有渲染器类型来执行本公开的各方面。这可以取决于用户设备上可用的硬件特征，如上所述。
62.环境界面225还可以采用元数据生成器222来生成来自3d空间(例如，3d环境232)的元数据，诸如使用环境捕获器212捕获的3d空间，或者预先存在的3d空间，其不一定对应走向现实世界。上面已经描述了元数据的示例。如上所述，元数据生成器222可以进一步将元数据嵌入环境快照中或以其他方式使环境快照与元数据相关联。
63.在一些情况下，元数据包括与环境快照相对应的位置和/或场所。例如，元数据生成器222可以从来自用户设备(例如捕获环境快照的用户设备)的gps接收器数据确定位置元数据。该位置可以对应于或包括gps坐标。因此，在各种实现方式中，位置或场所对应于在拍摄环境快照时用户设备所处的位置或场所。
64.设备跟踪器216被配置为跟踪用户设备(例如用户设备102a)的位置，并且可以集
成到应用程序110a中。在一些情况下，设备跟踪器216根据需要向系统206的各种组件中的任何一个提供位置数据。例如，设备跟踪器216可以向元数据生成器222提供位置信息以生成位置元数据。另外或替代地，环境界面225可以使用设备跟踪来跟踪用户和/或设备位置，从而诸如呈现虚拟或增强现实体验和/或捕获3d空间。为此，设备跟踪器216可以包括各种设备和位置跟踪技术中的任何一种。
65.在一些实现方式中，设备跟踪器216可以跟踪和监视用户设备的设备姿势，其可以是实时的。设备跟踪器216可以实时计算相机轨迹和场景的稀疏3d重建。在一些实现方式中，设备跟踪器216使用基于光学的跟踪和/或基于惯性测量单元(imu)的设备跟踪以及图像处理来跟踪捕获设备的位置。跟踪可以包括例如六个自由度(6dof)设备跟踪。例如，这可以使用同时定位和映射(slam)来实现。slam通常包括构建和/或更新未知环境的地图，同时同步地跟踪环境内的代理(例如，捕获设备)的位置。一种合适的方法使用利用捕获设备的单目、立体和/或rgb-d相机的orb-slam。应当意识到，不需要在所有实施例中采用这种粒度的设备跟踪，例如在查看和/或修改环境快照的实施例中。在这些情况下，可以使用与用户设备相关联的ip地址、gps接收器来确定位置，或者可以不需要位置。
66.设备姿势可以包括用户设备在3d空间中的取向，用户设备在3d空间中的位置，设备沿着一个或多个轴相对于3d空间的一个或多个角度，和/或3d空间中设备的高度。可以将该信息的任何组合合并到环境快照的元数据中，诸如确定设备用于快照的视角(例如，拍摄快照时的设备姿势)。
67.用户交互管理器242被配置为管理用户之间的交互。用户交互可以使用相对应的用户帐户来管理一个或多个用户。用户交互管理器242被配置为实施与个人空间、环境快照和/或3d空间相关联的许可和/或用户凭证。在一些实现方式中，用户交互管理器242至少部分地实现在社交网络、聊天应用程序、视频会议、消息传递应用程序、博客、web应用程序和/或新闻源中，其可以对应于应用程序110a、110b或110n中的一个或多个和/或其他应用程序，例如基于云的应用程序。
68.在一些情况下，用户交互管理器242负责管理对用户的消息或通知，诸如本文描述的各种消息或通知中的任何消息或通知。为此，用户交互管理器242可以使用事件通知器240。事件通知器240通常负责向用户提供通知或消息。例如，事件通知器240可以向用户和/或与用户相关联的账户(例如电子邮件地址)发送消息和/或消息通知。如上所述，这可以包括关于使用反应捕获器218捕获的用户反应的通知。作为另一示例，通知可以是关于对空间(例如，环境快照和/或3d空间)的修改的针对3d空间或个人空间的所有者或创建者。
69.触发检测器220被配置为确定已经或尚未满足哪个触发标准，以便检测是否应该执行一个或多个触发动作。系统206的各种组件中的任何组件可以利用触发检测器220以响应于触发检测器220确定已经满足相应的触发标准来执行一个或多个触发动作。因此应当意识到，触发检测器220可以利用来自设备跟踪器216的位置信息以便检测设备接近度。此外，可以使用虚拟现实渲染器224、增强现实渲染器226和事件通知器240的任何组合来执行触发动作。
70.在用户设备上查看和/或修改环境快照的实现方式中，该交互可以由环境界面225使用环境快照渲染器214来完成。环境快照渲染器214可以基于如上所述的例如深度信息的其对应的元数据来渲染环境快照。如上所述，这可以包括确定内容的放置，诸如环境快照中
的环境内容244，以及修改元数据和/或环境快照以捕获对快照进行的改变。
71.参见图3a，图3a示出了用户界面300，例如社交网络界面，其可以由用户交互管理器242管理。在本示例中，已经为用户渲染的个人空间屏幕。如图所示，用户界面300包括用户的三个个人空间，标记为“史考特的床”，“史考特的房间”和“史考特的架子”，每个个人空间都显示有相关联空间的对应表示(例如，缩略图)。用户界面300还包括其他用户的五个个人空间，特别是用户的朋友，其标记为“妈妈的办公室”，“爸爸的车库”，“爸爸的沙发”，“凯特的厨房”和“凯特的地方”，每个都显示具有相关联空间的相应表示。可以基于用户与其他用户是朋友和/或其他用户已经准许访问个人空间来显示朋友的个人空间。
72.假设用户访问并修改了与“妈妈的办公室”相对应的个人空间，该个人空间与另一个用户相关联。这可能导致事件通知器240使得向该用户提供通知。例如，图3b示出了用户界面300，其包括已经为其他用户渲染的个人空间屏幕。如图所示，与修改的个人空间相关联地提供通知“新”。用户可以访问个人空间以将修改的空间视为3d空间或环境快照。
73.图4示出了另一示例，其中可以在包括用户界面400的聊天应用程序中向用户提供通知。用户可以通过选择到个人空间的缩略图或其他链接来访问修改的个人空间，如图所示。
74.图5示出了根据本公开的一些实现方式的用户查看3d空间500，3d空间500可以是如上所述的个人空间。用户551正在用户设备502a上查看3d空间500，用户设备502a可以对应于图1的用户设备之一，例如，用户设备102a。在该示例中，用户设备502a是具有头戴式显示器的增强现实设备。在其他情况下，用户设备502a可以是基于平板计算机的增强现实设备。虽然没有具体示出，但是3d空间500可以对应于用户的现实世界环境，并且可以是包括现实和虚拟对象的混合现实空间，其中每个可以在3d空间中捕获。在一些情况下，用户可以使用用户输入设备506和/或一些其他输入装置来修改3d空间，诸如通过虚拟地在表面上绘图，将诸如虚拟对象的内容放置在现实对象上等。在一些情况下，用户可以基于对个人空间的选择来查看3d空间，例如已经参考图3a、3b和4所描述的。
75.如上所述，在一些实现方式中，用户可以通过在用户界面300中选择个人空间的对应表示来访问个人空间。例如，用户可以点击个人空间的缩略图。基于对个人空间的选择，用户交互管理器242可以启动环境界面225以及用于空间的适当渲染器，诸如虚拟现实渲染器224、增强现实渲染器226和环境快照渲染器214中的一个。这可以可选地基于上述标准，例如访问空间的设备类型和/或空间是否具有相关联的环境快照。还应当意识到，某些实施例可以仅支持这些渲染模式和体验的子集。选择添加空间或新空间可以启动环境界面225以及环境捕获器212。
76.图6示出了根据本公开的一些实现方式的用户查看空间500的环境快照600，其可以是2.5照片。用户653正在用户设备602a上查看环境快照600，用户设备602a可以对应于图1的用户设备之一，例如，用户设备102b。在该示例中，用户设备602b是平板设备，其可以支持或不支持用于增强现实体验的环境捕获。在一些情况下，用户可以基于对个人空间的选择来查看环境快照600，例如已经参考图3a、3b和4所描述的。例如，环境快照600可以对应于“妈妈的办公室”。
77.如图6所示，用户653使用环境界面225和环境快照渲染器214将环境对象放置在环境快照600中。这些包括两棵棕榈树、沙堡、条板箱和笑脸图。用户可以使用环境界面225在
墙壁上绘制笑脸，其中对绘图的放置使用元数据中的深度信息，如上所述。此外，剩余的对象可以是3d对象。用户可以将对象放置在环境快照600中，如图所示，以及旋转对象。如图所示，使用深度信息和/或3d元数据，环境快照600指引对象的放置使得它们看起来放置在桌子上，例如通过将对象平移到深度图的3d坐标系。如上所述，用户的视图可以包括一些视差，否则可能被固定或以其他方式受到限制。可以使用任何合适的输入模态(例如触摸屏、鼠标和键盘)来进行修改。当用户完成修改快照时，用户可以点击第二按钮以通知该空间的所有者。
78.图7示出了用户可能已经用于选择虚拟对象而放置到环境快照600中的用户界面。界面显示预定义对象的目录，其中一些可能已经使用环境捕获器212捕获。用户还可以搜索虚拟对象，如图所示。
79.图8a示出了用户查看3d空间800，3d空间800可以对应于由环境快照600修改的3d空间500。用户851正在用户设备802a上查看3d空间800，用户设备802a可以对应于诸如用户设备102a的图1的用户设备之一。用户设备802a可以是与图5的用户设备502a相同的设备或不同的设备。另外的用户851可以是与用户551相同的用户或不同的用户。在一些情况下，用户可以基于对个人空间的选择来查看3d空间，例如已经参考图3a，3b和4所描述的。
80.如图8a中所示，用户处于增强现实体验中，其中桌面和其他现实世界对象被实时呈现。此外，虚拟现实对象关于现实世界环境呈现，例如基于来自环境快照600的元数据。还如图8a所示，基于触发检测器220确定满足与条板箱虚拟对象相关联的触发标准，执行触发动作，该触发动作是条板箱的摇动动画。在这种情况下，触发标准基于接近度和/或基于位置，如上所述。上面已经描述了内容的其他示例，其可以在该场景中使用。作为示例，条板箱可以替代地是ai角色或宠物，其对用户和/或用户设备作出反应。可以选择性地在空间中对ai角色进行地理围栏。
81.如图8b所示，已经满足另一个触发标准，使得条板箱被转换成虚拟立体模型、场景或贺卡。这也可以是基于接近度的并且由用户移动得更接近增强现实空间中的虚拟对象的位置而触发。
82.图9a示出了用户在文件系统中选择3d虚拟对象文件的实现方式。基于选择而在文件系统中显示对象的预览，该预览是可以旋转的。用户可以使用文件系统选择性地将虚拟物品添加到增强现实空间，例如，通过选择虚拟对象的表示上的网格图标或另一链接。如图9b所示，选择已使虚拟对象被添加到图9b中正在查看的增强现实空间中，可选地，可以自动地切换到增强现实空间的视图，如图所示。
83.图10a示出了用户在网页中选择3d虚拟对象的实现方式。例如，选择可以对应于与虚拟对象相关联的横幅、广告和/或图标或链接。可以将虚拟对象与网页相关联地发送到用户设备。可选地，基于该选择，可以在3d查看器或预览窗口中呈现虚拟对象，如图10b所示。另外，基于该选择，用户可以在增强现实空间中查看虚拟对象，如图10c所示。作为示例，这可以通过选择图10b中的相机图标来实现。作为另一示例，基于选择，用户可以在环境快照中查看虚拟对象，如图10d所示。作为示例，这可以通过选择图10b中的照片图标来实现。如图10d所示，用户可以将内容定位在环境快照中，例如本文先前已经描述的。该功能的任何组合可以原生地和/或通过插件集成到web浏览器中。
84.从前面的内容可以理解，本公开的一些实现方式呈现增强现实内容，该增强现实
内容直到在用户接近它或者以其他方式满足某些触发条件后才向用户呈现自身。本公开的其他方面允许与2d照片或图像共享元数据(例如，3d元数据)以实现共享的混合现实空间。在进一步的方面，当用户与消息交互时，该交互可以对应于对环境快照的修改，用户的反应可以由反应捕获器218动态记录并且可以被提供以进行共享。此外，在一些方面，可以使用元数据将环境快照同步到3d空间。
85.在进一步的方面，可以使用用户设备的一个或多个相机的rdb和深度感测能力来拍摄环境快照，以将设备正在显示的内容映射到元数据中的附加数据，例如场景的比例、设备的位置等等。元数据中的深度信息可以按照每个照片的像素。
86.在进一步的方面，不支持混合现实的设备的单独设备可以与环境快照交互，就像它是自然空间一样。元数据可以传达哪个取向信息，例如哪个方向是向上或向下，以及不在典型照片中的其他信息，以引导内容的放置。
87.在一些方面，可以将修改带回到混合现实设备并且可以将其映射到那里。注意，原始3d空间不需要保留用于映射，但可以实时重新生成。
88.本公开还基于由空间的所有者确定的许可或共享来提供个人空间的不同视图。例如，个人空间是向公众开放的，公众可以看到增强现实的不同版本而不是所有者指定的用户的朋友。作为另一示例，每个用户或用户组可以与个人空间的对应版本相关联。
89.本公开的其他方面允许许多用户之间的数字地理藏宝、清道夫狩猎或寻宝。用户可以在增强现实体验期间隐藏现实世界中的数字内容。只有一个人可以在现实世界位置的增强现实中发现内容时声明该内容。在一些情况下，在被用户声明时，内容可以被其他内容替换。
90.应当意识到，本公开的实现方式允许在共享空间中的用户之间进行时移和/或实时交互。例如，用户551和用户653可以实时地与相同的个人空间交互。本公开的实现方式使得能够实现增强现实设备与非增强现实设备或以非增强现实模式运行的设备之间的这些类型的交互成为可能。在一些情况下，环境快照可以对应于视频帧，至少一些帧可以共享公共元数据。在实时交互中，即时消息传递、语音通信和其他交互机制可以集成到用户界面中。此外，如上所述，这些交互可以由可以维护朋友列表等的即时消息传递平台、视频聊天平台、社交网络平台等托管。
91.还应当意识到，在本文描述的用户交互中，每个用户可以处于虚拟现实或增强现实体验中。例如，可以在视频聊天环境中的用户之间共享增强现实内容项。
92.现在参考图11，提供了示出根据所公开实施例的方法1100的实施例的流程图。方法1100的每个框和本文描述的其他方法包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，各种功能可以由执行存储在存储器中的指令的处理器执行。该方法还可以体现为存储在计算机存储介质上的计算机可用指令。这些方法可以由独立应用程序、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件提供，仅举几个例子。
93.在框1110处，方法1100包括捕获在vr设备上呈现的vr环境的环境快照。例如，环境捕获器212可以捕获环境快照234中的一个，该环境快照234包括与使用虚拟现实渲染器224以及相应的深度信息在vr设备(例如，用户设备502a)上呈现的3d环境232之一相对应的vr环境的图像。vr环境。
94.在框1120处，方法1100包括在不同设备上呈现环境快照的图像。例如，环境快照渲
染器214可以在与vr设备不同的设备(例如，用户设备602b)上呈现环境快照的图像。
95.在框1130处，方法1100包括将对与呈现的图像相关联的内容的用户修改转换为环境快照。例如，环境界面225可以基于深度信息将由用户653对与呈现的图像相关联的内容进行的修改转换为环境快照。这可以包括例如在环境快照600中放置，移除和/或改变环境对象。
96.在框1140处，方法1100包括将环境快照转换到vr环境中。例如，环境界面225可以使用环境快照渲染器214将环境快照600转换为vr环境。
97.在框1150处，方法1100包括呈现包括转换后的用户修改的vr环境。例如，虚拟现实渲染器224可以在用户设备802a上呈现vr环境，如图8a所示，或在用户设备502a上呈现vr环境。
98.现在参考图12，提供了示出根据所公开实施例的方法1200的实施例的流程图。在框1210处，方法1200包括在第一图形用户界面(gui)中呈现vr环境。例如，3d空间500可以在第一图形用户界面中呈现，如图5所示。
99.在框1220处，方法1200包括保存所呈现的vr环境的图像和对应的深度信息。例如，可以与环境快照600中的3d空间500的对应深度信息相关联地保存3d空间500的图像。
100.在框1230处，方法1200包括在第二gui中呈现所保存的图像。例如，保存的图像可以在第二gui中呈现，如图6所示。
101.在框1240处，方法1200包括基于深度信息将对与当前图像相关联的内容的用户修改转换到vr环境中。例如，可以基于深度信息将对与呈现的图像相关联的内容的一个或多个用户修改转换到3d空间500中。
102.在框1250处，方法1200包括呈现包括转换后的用户修改的vr环境。例如，可以呈现包括转换后的用户修改的3d空间500，如图8a所示。
103.现在参考图13，提供了示出根据所公开实施例的方法1300的实施例的流程图。在框1310处，方法1300包括在第一gui中呈现环境快照。在框1320处，方法1300包括基于深度信息将对与环境快照的图像相关联的内容的用户修改转换到环境快照中。在框1330处，方法1300包括将包括用户修改的环境快照转换为vr环境。在框1340处，方法1300包括在第二gui中呈现包括转换后的用户修改的vr环境。
104.转到图14，根据本文描述的实施例描述了具有集成自由空间和表面输入机制1440的hmd设备1402。hmd设备1402包括透视透镜1411，其被放置在用户眼睛1414的前面，类似于眼镜镜片。可以设想，可以为每只眼睛1414提供一对透视透镜1411。透镜1411包括光学显示部件1428，例如分束器(例如，半镀银镜)。hmd设备1402包括增强现实发射器1430，其有助于投影或渲染增强现实图像。在未示出的其他组件中，hmd设备还包括处理器1442、存储器1444、接口1446、总线1448和附加hmd组件1450。增强现实发射器1430发射表示由光线1408示例的虚拟图像1420的光。来自现实世界场景1404的光(例如光线1406)到达透镜1411。可以使用附加光学器件来重新聚焦虚拟图像1420，使得它看起来起源于显示组件1428实际上所处的远离眼睛1414几英尺而不是一英寸的地方。存储器1444可以包含指令，指令由处理器1442执行，以使增强现实发射器1430能够执行所描述的功能。可以将一个或多个处理器视为控制电路。增强现实发射器使用总线1448和其他合适的通信路径与附加hmd组件1450通信。
105.表示虚拟图像1420的光线被显示组件1428朝向用户的眼睛反射，如光线1410所示，使得用户看到图像1412。在增强现实图像1412中，现实世界场景1404的一部分，例如，烹饪烤箱与例如食谱书图标的整个虚拟图像1420一起可见。因此，用户可以看到混合现实或增强现实图像1412，其中在该示例中食谱书图标悬挂在烹饪烤箱前面。
106.除了所示的那些之外或代替所示的那些，可以使用其他布置和元件(例如，机器、接口、功能、顺序和功能分组等)，并且可以完全省略一些元件。此外，本文描述的许多元件是功能实体，其可以实现为离散或分布式组件或者与其他组件一起实现，并且可以以任何合适的组合和位置实现。这里描述的由一个或多个实体执行的各种功能可以由硬件、固件和/或软件执行。例如，各种功能可以由执行存储在存储器中的指令的处理器执行。
107.已经描述了本发明的实施例，下面描述其中可以实现本发明的实施例的示例操作环境，以便提供本发明的各个方面的一般上下文。首先特别地参考图15，图15示出了用于实现本发明的实施例的示例操作环境，并且通常将其指定为计算设备1500。计算设备1500仅是合适的计算环境的一个示例，并且不旨在对于本发明的用途或功能范围提出任何限制。也不应将计算设备1500解释为对所示组件中的任何一个或组合有任何依赖性或要求。
108.可以在计算机代码或机器可用指令的一般上下文中描述本发明，包括由计算机或其他机器(诸如个人数据助理或其他手持设备)执行的计算机可执行指令，诸如程序模块。通常，包括例程、程序、对象、组件、数据结构等的程序模块指代执行特定任务或实现特定抽象数据类型的代码。本发明可以在各种系统配置中实施，包括手持设备、消费电子产品、通用计算机、更多专业计算设备等。本发明还可以在分布式计算环境中实施，其中任务由通过通信网络链接的远程处理设备执行。
109.参考图15，计算设备1500包括直接或间接耦合以下设备的总线1510：存储器1512，一个或多个处理器1514，一个或多个呈现组件1516，输入/输出端口1518，输入/输出组件1520，以及说明性电源1522。总线1510表示可以是一个或多个总线(例如地址总线、数据总线或其组合)。尽管为了清楚起见图15的各个框用线条示出，实际上，描绘各种部件并不是那么清楚，并且比喻地，线条将更准确地是灰色和模糊的。例如，可以将诸如显示设备的呈现组件视为i/o组件。此外，处理器有内存。我们认识到这是本领域的本质，并重申图15的图表仅说明可结合本发明的一个或多个实施例使用的示例计算设备。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”等类别之间没有区别，因为所有这些都在图15的范围内并且是指“计算设备”。
110.计算设备1500通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备1500访问的任何可用介质，并且包括易失性和非易失性介质，可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。
111.计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储技术、cd-rom、数字通用盘(dvd)或其他光盘存储器、磁带盒、磁带、磁盘存储或其他磁存储设备，或可用于存储所需信息并且可由计算设备1500访问的任何其他介质。计算机存储介质排除信号本身。
112.通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“已调制数据信
号”表示以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、rf、红外和其他无线介质的无线介质。上述任何组合也应包括在计算机可读介质的范围内。
113.存储器1512包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移除的，不可移除的或其组合。示例硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备1500包括从诸如存储器1512或i/o组件1520的各种实体读取数据的一个或多个处理器。呈现组件1516向用户或其他设备呈现数据指示。示例演示组件包括显示设备、扬声器、打印组件、振动组件等。
114.i/o端口1518允许计算设备1500在逻辑上耦合到包括i/o组件1520的其他设备，其中一些可以内置。示例性组件包括麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、打印机、无线设备等。
115.以上段落中描述的实施例可以与一个或多个具体描述的替代方案组合。特别地，要求保护的实施例可以包含在替代方案中对一个以上其他实施例的参考。要求保护的实施例可以指定所要求保护的主题的进一步限制。
116.本文中具体描述了本发明实施方案的主题以满足法定要求。然而，描述本身并不旨在限制本专利的范围。相反，发明人已经预期所要求保护的主题还可以以其他方式体现，结合其他现有或未来技术，包括与本文档中描述的步骤类似的不同步骤或步骤组合。此外，尽管这里可以使用术语“步骤”和/或“块”来表示所采用的方法的不同元素，但是这些术语不应被解释为暗示本文公开的各个步骤之中或之间的任何特定顺序，除非且除了当明确描述了各个步骤的顺序之外。
117.出于本公开的目的，词语“包括”具有与词语“包含”相同的广义含义，并且词语“访问”包括“接收”、“引用”或“检索”。另外，除非另有说明，否则诸如“一”和“一个”的词语包括复数以及单数。因此，例如，在存在一个或多个特征的情况下满足“特征”的约束。此外，术语“或”包括联合、分离和两者(a或b因此包括a或b，以及a和b)。
118.出于以上详细讨论的目的，参考作为增强现实设备的头戴式显示设备来描述本发明的实施例；然而，这里描述的头戴式显示设备仅仅是示例。组件可以被配置用于执行实施例的新颖方面，其中被配置为包括被编程为执行特定任务或使用代码实现特定抽象数据类型。此外，虽然本发明的实施例通常可以参考头戴式显示设备和这里描述的示意图，但是应该理解，所描述的技术可以扩展到其他实现上下文。
119.已经关于特定实施例描述了本发明的实施例，这些实施例在所有方面都旨在是说明性的而不是限制性的。在不脱离本发明的范围的情况下，替代实施例对于本发明所属领域的普通技术人员将变得显而易见。
120.从前述内容可以看出，本发明很好地适用于实现上文所述的所有目的和目标，以及其他显而易见且结构固有的优点。
121.在不脱离以下权利要求的范围的情况下，所描绘的各种组件的许多不同布置以及未示出的组件都是可能的。已经描述了本发明的实施例，其意图是说明性的而不是限制性的。在阅读之后并且因为阅读，替代实施例对于本公开的读者将变得显而易见。在不脱离以下权利要求的范围的情况下，可以完成实现上述内容的替代手段。某些特征和子组合是有用的，并且可以在不参考其他特征和子组合的情况下使用，并且预期在权利要求的范围内。