用于构成和执行场景的方法和系统与流程

用于构成和执行场景的方法和系统
1.相关申请的交叉引用
2.本技术要求于2021年9月21日提交的美国临时专利申请第63/246,631号的优先权，所述申请据此全文以引用方式并入。
技术领域
3.本公开一般涉及一种用于在扩展现实(xr)环境中构成场景并执行场景的图形用户界面。


背景技术：

4.在各种具体实施中，场景包括基于物理环境以xr环境呈现的虚拟内容。可能期望基于各种不同物理环境在各种不同xr环境中呈现场景。
附图说明
5.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
6.图1说明了具有调查物理环境的电子设备的物理环境。
7.图2a至图2w说明了显示用于构成场景的图形用户界面(gui)的图1的电子设备。
8.图3a至图3i说明了基于第一物理环境在第一xr环境中呈现场景的图1的电子设备。
9.图4a至图4f说明了基于第二物理环境在第二xr环境中呈现场景的图1的电子设备。
10.图5是根据一些具体实施的显示内容的方法的流程图表示。
11.图6是根据一些具体实施的将标签与对象相关联的方法的流程图表示。
12.图7是根据一些具体实施的执行场景的方法的流程图表示。
13.图8是根据一些具体实施的构成场景的方法的流程图表示。
14.图9是根据一些具体实施的电子设备的框图。
15.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。


技术实现要素：

16.本文所公开的各种具体实施包括用于显示内容的设备、系统和方法。在各种具体实施中，方法在包括显示器、一个或多个处理器和非暂态存储器的设备处执行。所述方法包括扫描第一物理环境以检测所述第一物理环境中的第一物理对象和所述第一物理环境中的第二物理对象，其中所述第一物理对象符合至少一个第一对象标准，并且所述第二物理
对象符合至少一个第二对象标准。所述方法包括与所述第一物理环境相关联地显示沿着从所述第一物理对象到所述第二物理对象的第一路径移动的虚拟对象。所述方法包括扫描第二物理环境以检测所述第二物理环境中的第三物理对象和所述第二物理环境中的第四物理对象，其中所述第三物理对象符合所述至少一个第一对象标准，并且所述第四物理对象符合所述至少一个第二对象标准。所述方法包括与所述第二物理环境相关联地显示沿着从所述第三物理对象到所述第四物理对象的第二路径移动的所述虚拟对象，其中所述第二路径不同于所述第一路径。
17.本文所公开的各种具体实施包括用于将标签与对象相关联的设备、系统和方法。在各种具体实施中，方法是在包括一个或多个处理器和非暂态存储器的设备处执行的。所述方法包括获得与多个标准相关联的标签。所述方法包括检测物理环境中的物理对象。所述方法包括确定所述物理对象满足所述多个标准的功能。所述方法包括响应于确定所述物理对象满足所述多个标准的所述功能而生成物理对象的特征向量，所述特征向量包括物理对象的对象标识符和标签。
18.本文所公开的各种具体实施包括用于执行场景的设备、系统和方法。在各种具体实施中，方法在包括显示器、一个或多个处理器和非暂态存储器的设备处执行。所述方法包括获得与一个或多个执行约束相关联的场景。所述方法包括扫描物理环境以确定所述物理环境是否符合所述一个或多个执行约束，其中所述一个或多个执行约束包括当所述物理环境包括具有特定属性的物理对象时符合的执行约束。所述方法包括响应于确定所述物理环境符合所述一个或多个执行约束而执行所述场景，其中执行所述场景包括与所述物理对象相关联地显示内容。
19.本文所公开的各种具体实施包括用于构成场景的设备、系统和方法。在各种具体实施中，方法在包括显示器、一个或多个处理器和非暂态存储器的设备处执行。所述方法包括显示场景的表示。所述方法包括接收将多个物理资产与场景相关联的用户输入。所述方法包括接收将多个虚拟资产与场景相关联的用户输入。所述方法包括接收将第一属性与所述多个虚拟资产中的第一虚拟资产相关联的用户输入，其中所述第一属性是所述第一虚拟资产与所述多个物理资产中的第一物理资产之间的空间关系。所述方法包括在所述场景的所述表示中显示与所述第一物理资产的表示处于所述空间关系的所述第一虚拟资产的表示。
20.根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；一个或多个程序被存储于非暂态存储器中并且被配置为由一个或多个处理器执行。一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
具体实施方式
21.物理环境是指人们在没有电子设备帮助的情况下能够感测和/或交互的物理地点。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理
树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。相反，扩展现实(xr)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，xr环境可包括增强现实(ar)内容、混合现实(mr)内容、虚拟现实(vr)内容等。在xr系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在xr系统中模拟的一个或多个虚拟对象的一个或多个特征。又如，xr系统可以检测呈现xr环境的电子设备(例如，移动电话、平板电脑、膝上型电脑、头戴装置等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节由电子设备呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，xr系统可响应于物理运动的表示(例如，声音命令)来调节xr环境中图形内容的特征。
22.有许多不同类型的电子系统使人能够感测和/或与各种xr环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(hud)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑、以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、oled、led、uled、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一些具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
23.在各种具体实施中，包括虚拟内容的场景基于具有不同物理特性的各种不同物理环境(诸如物理环境中存在的不同物理对象集)呈现在各种不同xr环境中。下面描述用于构成用于在各种不同xr环境中呈现的场景的图形用户界面(gui)。下文还描述用于在各种不同xr环境中呈现场景的方法和系统。
24.描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
25.图1说明了具有调查物理环境101的电子设备110的物理环境101。物理环境101包括挂在墙103上的图片102、地板106上的桌子105和桌子105上的球104。
26.电子设备110在显示器上显示包括物理环境111的表示和虚拟对象119的表示的xr环境121的图像。在各种具体实施中，基于用电子设备110的一个或多个相机捕获的物理环境101的图像来生成物理环境111的表示，所述相机具有朝向物理环境101的视场。合适的相机包括场景相机、事件相机、深度相机等。因此，物理环境111的表示包括挂在墙113的表示上的图片112的表示、地板116的表示上的桌子115的表示，以及桌子115的表示上的球114的
表示。
27.除了物理环境101的真实对象的表示之外，xr环境121的图像包括虚拟对象119的表示。虚拟对象119的视觉外观由电子设备110上的软件定义。电子设备110通过考虑设备110相对于桌子105的位置和取向来将虚拟对象119呈现为搁置在桌子115的表示的顶表面上。
28.图2a说明了显示用于构成场景的图形用户界面(gui)201的电子设备110。特别地，gui 201包括场景的表示。在各种具体实施中，电子设备110或不同电子设备的应用程序执行以在xr环境中呈现场景，诸如虚拟环境或与物理环境的表示相关联。
29.gui 201包括工具栏区域211、资产区域212和视图区域213。工具栏区域211包括用于将资产添加到场景的资产添加示能表示221、用于操纵所选资产的属性的属性示能表示222以及用于预览场景的预览示能表示229。
30.资产区域212包括与场景相关联的资产列表。与场景相关联的资产包括虚拟资产、物理资产和动作资产。在各种具体实施中，资产区域212包括资产类型选择示能表示231，所述资产类型选择示能表示用于选择在资产区域212中列出哪种类型的资产，例如虚拟资产列表、物理资产列表或动作资产列表。
31.视图区域213包括场景的表示。在各种具体实施中，场景的表示包括与场景相关联的虚拟资产的表示。在各种具体实施中，场景的表示包括与场景相关联的物理资产的表示。在各种具体实施中，场景的表示包括与场景相关联的动作资产的表示。
32.在各种具体实施中，与场景相关联的虚拟资产包括在执行场景时与物理环境相关联地显示的虚拟内容的描述。在各种具体实施中，虚拟资产包括一个或多个虚拟对象的描述。在各种具体实施中，虚拟资产包括虚拟目标实现器对象的描述。在各种具体实施中，虚拟目标实现器对象接收目标并确定用于实现那些目标的动作，其中动作中的每个动作与虚拟目标实现器对象的动画或动画启发法相关联，使得虚拟目标实现器对象被显示为执行动作。例如，在各种具体实施中，虚拟狗目标实现器对象的目标可以是在物理地板上抓起虚拟骨对象。为了实现目标，虚拟狗目标实现器对象确定一系列动作：从物理沙发跳下到物理地板上(与跳下动画相关联)跳跃、沿着物理地板行走到虚拟骨对象的位置(与行走动画相关联)，并且拾取虚拟骨对象(与拾取动画相关联)。
33.在各种具体实施中，与场景相关联的物理资产包括物理对象的描述，所述物理对象在物理环境中可能存在或可能不存在。特别地，在各种具体实施中，物理资产包括至少一个对象标准的描述，所述对象标准可以由物理环境中的物理对象符合。例如，在各种具体实施中，物理资产包括特定高度和特定宽度的水平平面的描述。在各种具体实施中，物理资产对应于第一物理环境中的物理桌子的顶部和第二物理环境中的物理书桌的顶部。
34.在各种具体实施中，与场景相关联的动作资产包括响应于触发器而执行的动作的描述。在各种具体实施中，动作包括虚拟对象的移动、播放音频、改变照明条件等。
35.在图2a中，资产类型选择示能表示231指示在资产区域212中列出虚拟资产。在图2a中，场景尚未与任何资产相关联。因此，资产区域212和视图区域213是空的。
36.图2a说明了针对资产添加示能表示221的用户输入299a。在各种具体实施中，用户输入299a由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299a在光标在资产添加示能表示221的位置处显示时由用
户点击鼠标按钮输入。
37.图2b说明了响应于检测到针对资产添加示能表示221的用户输入299a和用于选择虚拟教授目标实现器对象的额外用户输入的图2a的gui201。在各种具体实施中，额外用户输入包括从虚拟内容库中选择虚拟教授目标实现器对象。响应于检测到针对资产添加示能表示221的用户输入299a和选择虚拟教授目标实现器对象的额外用户输入，场景与作为虚拟资产的虚拟教授目标实现器对象相关联。因此，虚拟教授目标实现器对象232a的文本表示显示在资产区域212中，并且虚拟教授目标实现器对象242a的图形表示显示在视图区域213中。
38.虚拟教授目标实现器对象232a的文本表示与指示虚拟教授目标实现器对象的对象类型的图标相关联地显示，所述图标例如指示虚拟教授目标实现器对象是目标实现器对象或主动对象的图标。
39.图2b说明了针对资产添加示能表示221的用户输入299b。在各种具体实施中，用户输入299b由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299b在光标在资产添加示能表示221的位置处显示时由用户点击鼠标按钮输入。
40.图2c说明了响应于检测到针对资产添加示能表示221的用户输入299b和用于选择虚拟黑板对象的额外用户输入的图2c的gui 201。在各种具体实施中，额外用户输入包括从虚拟内容库中选择虚拟黑板对象。响应于检测到针对资产添加示能表示221的用户输入299b和选择黑板对象的额外用户输入，场景与作为虚拟资产的黑板对象相关联。因此，虚拟黑板对象232b的文本表示显示在资产区域212中，并且虚拟黑板对象242b的图形表示显示在视图区域213中。
41.虚拟黑板对象232b的文本表示与指示虚拟黑板对象的对象类型的图标相关联地显示，所述图标例如指示虚拟黑板对象是被动对象的图标。
42.图2c说明了针对资产添加示能表示221的用户输入299c。在各种具体实施中，用户输入299c由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299c在光标在资产添加示能表示221的位置处显示时由用户点击鼠标按钮输入。
43.图2d说明了响应于检测到针对资产添加示能表示221的用户输入299c、用于选择虚拟纸对象的额外用户输入以及用于将虚拟纸堆对象和虚拟马克杯对象与场景相关联的额外用户输入的图2c的gui 201。在各种具体实施中，用于选择虚拟纸对象的额外用户输入包括从虚拟内容库中选择黑板对象。在各种具体实施中，将虚拟纸堆对象和虚拟马克杯对象与场景相关联的额外用户输入包括选择资产添加示能表示221并从虚拟内容库中选择虚拟纸堆对象和虚拟马克杯对象。
44.响应于检测到用户输入299c和额外用户输入，将场景与作为虚拟资产的虚拟纸对象、虚拟纸堆对象和虚拟马克杯对象相关联。因此，虚拟纸对象232c的文本表示、虚拟纸堆对象232d的文本表示以及虚拟马克杯对象232e的文本表示显示在资产区域212中。此外，虚拟纸对象242c的图形表示、虚拟纸堆对象242d的图形表示以及虚拟马克杯对象242e的图形表示显示在视图区域213中。
45.图2d说明了针对资产类型选择示能表示231的用户输入299d，其选择物理资产列
表。在各种具体实施中，用户输入299d由用户在资产类型选择示能表示231的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299d在光标在资产类型选择示能表示231的位置处显示时由用户点击鼠标按钮输入。
46.图2e说明了响应于检测到针对资产类型选择示能表示231的用户输入299d的图2d的gui。与图2d相比，资产区域212显示与场景相关联的物理资产列表，而不是与场景相关联的虚拟资产列表。在图2e中，还没有物理资产与场景相关联，并且资产区域212是空白的。
47.图2e说明了针对资产添加示能表示221的用户输入299e。在各种具体实施中，用户输入299e由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299e在光标在资产添加示能表示221的位置处显示时由用户点击鼠标按钮输入。
48.图2f说明了响应于检测到针对资产添加示能表示221的用户输入299e和用于选择物理地板的额外用户输入的图2e的gui 201。在各种具体实施中，额外用户输入包括从可以存在于各种物理环境中的物理特性库中选择物理地板。在各种具体实施中，物理特性包括物理表面，诸如物理平面。在各种具体实施中，物理特性包括物理水平平面或物理竖直平面。在各种具体实施中，物理特性包括物理地板、物理墙或物理天花板。在各种具体实施中，物理特性包括物理对象，诸如椅子、垃圾桶、棒球等。在各种具体实施中，物理特性包括环境特性，诸如温度、湿度、环境照明条件、位置或当天时间。
49.响应于检测到针对资产添加示能表示221的用户输入299e和选择物理地板的额外用户输入，场景与作为物理资产的物理地板相关联。因此，物理地板233a的文本表示显示在资产区域212中，并且物理地板243a的图形表示显示在视图区域213中。
50.物理地板233a的文本表示与指示物理地板的对象类型的图标相关联地显示，所述图标例如指示物理地板是平面的图标。
51.图2f说明了针对资产添加示能表示221的用户输入299f。在各种具体实施中，用户输入299f由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299f在光标在资产添加示能表示221的位置处显示时由用户点击鼠标按钮输入。
52.图2g说明了响应于检测到针对资产添加示能表示221的用户输入299f和用于选择物理竖直平面的额外用户输入的图2f的gui 201。响应于检测到针对资产添加示能表示221的用户输入299f和选择物理竖直平面的额外用户输入，场景与作为物理资产的物理竖直平面相关联。因此，物理竖直平面233b的文本表示显示在资产区域212中，并且物理竖直平面243b的图形表示显示在视图区域213中。
53.图2g说明了针对资产添加示能表示221的用户输入299g。在各种具体实施中，用户输入299g由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299g在光标在资产添加示能表示221的位置处显示时由用户点击鼠标按钮输入。
54.图2h说明了响应于检测到针对资产添加示能表示221的用户输入299g和用于选择第一物理水平平面的额外用户输入的图2g的gui 201。响应于检测到针对资产添加能提示221的用户输入299g和选择第一物理水平平面的额外用户输入，场景与作为物理资产的第一物理水平平面相关联。因此，第一物理水平平面233c的文本表示显示在资产区域212中，
并且第一物理水平平面243c的图形表示显示在视图区域213中。
55.图2h说明了针对资产添加示能表示221的用户输入299h。在各种具体实施中，用户输入299h由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299h在光标在资产添加示能表示221的位置处显示时由用户点击鼠标按钮输入。
56.图2i说明了响应于检测到针对资产添加示能表示221的用户输入299h和用于选择第二物理水平平面的额外用户输入的图2h的gui 201。响应于检测到针对资产添加能提示221的用户输入299h和选择第二物理水平平面的额外用户输入，场景与作为物理资产的第二物理水平平面相关联。因此，第二物理水平平面233d的文本表示显示在资产区域212中，并且第二物理水平平面243d的图形表示显示在视图区域213中。
57.图2i说明了针对资产添加示能表示221的用户输入299i。在各种具体实施中，用户输入299i由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299i在光标在资产添加示能表示221的位置处显示时由用户点击鼠标按钮输入。
58.图2j说明了响应于检测到针对资产添加示能表示221的用户输入299i和用于选择物理垃圾桶的额外用户输入的图2j的gui 201。响应于检测到针对资产添加示能表示221的用户输入299i和选择物理垃圾桶的额外用户输入，场景与作为物理资产的物理垃圾桶相关联。因此，物理垃圾桶233e的文本表示显示在资产区域212中，并且物理垃圾桶243e的图形表示显示在视图区域213中。
59.物理垃圾桶233e的文本表示与指示物理垃圾桶的对象类型的图标相关联地显示，所述图标例如指示物理垃圾桶是三维对象的图标。
60.图2j说明了针对第二物理水平平面233d的文本表示的用户输入299j。在各种具体实施中，用户输入299j由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299j在光标在资产添加示能表示221的位置处显示时由用户点击鼠标按钮输入。
61.图2k说明了响应于检测到针对第二物理水平平面233d的文本表示的用户输入299j的图2k的gui 201。响应于检测到针对第二物理水平平面233d的文本表示的用户输入299j，第二物理水平平面233d的文本表示被不同地显示以指示已选择第二物理水平平面。在各种具体实施中，第二物理水平平面243d的图形表示也(或替代地)不同地显示以指示已选择第二物理水平平面。例如，在各种具体实施中，第二物理水平平面被突出显示或显示为周围发光。在各种具体实施中，针对第二物理水平平面243d的图形表示的用户输入选择第二物理水平平面。
62.图2k说明了针对属性示能表示222的用户输入299k。在各种具体实施中，用户输入299k由用户在属性示能表示222的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299k在光标在属性示能表示222的位置处显示时由用户点击鼠标按钮输入。
63.图2l说明了响应于检测到针对属性示能表示222的用户输入299k和用于选择第二物理水平平面的第一属性的额外用户输入的图2k的gui201。特别地，选择第一属性的额外用户输入包括将第二物理水平平面与其高度值高于0.5米的属性相关联的用户输入。响应
于检测到针对属性示能表示222的用户输入299k和选择第二物理水平平面的第一属性的额外用户输入，将第二物理水平平面与第一属性相关联。因此，第二物理水平平面233d的文本表示与第一属性的文本表示一起显示在资产区域212中，并且第二物理水平平面243d的图形表示显示在具有第一属性的视图区域213中。
64.图2l说明了针对属性示能表示222的用户输入299l。在各种具体实施中，用户输入299l由用户在属性示能表示222的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299l在光标在属性示能表示222的位置处显示时由用户点击鼠标按钮输入。
65.图2m说明了响应于检测到针对属性示能表示222的用户输入299l和用于选择第二物理水平平面的第二属性和第三属性的额外用户输入的图2l的gui 201。特别地，选择第二属性和第三属性的额外用户输入包括将第二物理水平平面与其宽度值高于1米并且其长度值高于0.5米的属性相关联的用户输入。响应于检测到针对属性示能表示222的用户输入299l和选择第二物理水平平面的第二属性和第三属性的额外用户输入，第二物理水平平面与第二属性和第三属性相关联。因此，第二物理水平平面233d的文本表示与第二属性和第三属性的文本表示一起显示在资产区域212中，并且第二物理水平平面243d的图形表示显示在具有第二属性和第三属性的视图区域213中。
66.图2m说明了针对第一物理水平平面233c的文本表示的用户输入299m。在各种具体实施中，用户输入299m由用户在第一物理水平平面233c的文本表示的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299m在光标在第一物理水平平面233c的文本表示的位置处显示时由用户点击鼠标按钮输入。
67.图2n说明了响应于检测到针对第一物理水平平面233c的文本表示的用户输入299m的图2m的gui 201。响应于检测到针对第一物理水平平面233c的文本表示的用户输入299m，第一物理水平平面233c的文本表示被不同地显示以指示已选择第一物理水平平面。在各种具体实施中，第一物理水平平面243c的图形表示也(或替代地)不同地显示以指示已选择第一物理水平平面。例如，在各种具体实施中，第一物理水平平面被突出显示或显示为周围发光。在各种具体实施中，针对第一物理水平平面243c的图形表示的用户输入选择第一物理水平平面。
68.图2n说明了针对属性示能表示222的用户输入299n。在各种具体实施中，用户输入299n由用户在属性示能表示222的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299n在光标在属性示能表示222的位置处显示时由用户点击鼠标按钮输入。
69.图2o说明了响应于检测到针对属性示能表示222的用户输入299n和用于选择第一物理水平平面的第一属性的额外用户输入的图2n的gui201。特别地，选择第一属性的额外用户输入包括将第一物理水平平面与其是教授可坐的属性相关联的用户输入。第一属性指示第一物理水平平面能够由虚拟教授目标实现器对象坐在上面。类似地，第一属性指示虚拟教授目标实现器对象能够(包括在各种具体实施中，被允许)坐在第一物理水平平面上面。在各种具体实施中，教授可坐的属性由gui 201的用户定义、由虚拟教授目标实现器对象的创建者定义，或者由gui 201的创建者定义。在各种具体实施中，教授可坐的属性被定义为各种标准的功能。例如，在各种具体实施中，标准包括特定范围内的高度值、长度值和
宽度值。在各种具体实施中，标准包括与具有特定对象类型集中的一个对象类型(例如，“椅子”、“凳子”、“沙发”等)的对象相关联。在各种具体实施中，标准包括在检测到水平平面之后由用户指定为教授可坐的。在各种具体实施中，各种标准的功能是对于将确定为教授可坐的水平平面，必须符合所有定义的标准。在各种具体实施中，各种标准的功能不需要符合所有定义的标准。例如，在各种具体实施中，如果水平平面(1)与“椅子”的对象类型相关联或(2)其高度值、长度值和宽度值在特定范围内，那么将所述水平平面确定为教授可坐的，并且用户在检测到具有特定范围内的高度值、长度值和宽度值的水平平面之后将水平平面指定为教授可坐的。因此，作为示例，电子设备将椅子的座位检测为水平平面，检测椅子并且将其分配为对象类型“椅子”，并且确定水平平面是教授可坐的。另外，作为另一示例，电子设备将平坦岩石的顶部检测为水平平面，检测岩石并且为其分配对象类型“岩石”(并且不为其分配对象类型“椅子”)，确定水平平面的高度、长度和宽度在特定范围内，请求用户将水平平面指定为教授可坐的，并且响应于来自用户的肯定响应而确定水平平面是教授可坐的。
70.响应于检测到针对属性示能表示222的用户输入299n和选择第一物理水平平面的第一属性的额外用户输入，第一物理水平平面与第一属性相关联。因此，第一物理水平平面233c的文本表示与第一属性的文本表示一起显示在资产区域212中。在各种具体实施中，第一物理水平平面243c的图形表示显示在具有第一属性的视图区域213中，例如，所述第一物理水平平面被显示为椅子或凳子而不是通用水平平面。
71.图2o说明了针对物理竖直平面233b的文本表示的用户输入299o。在各种具体实施中，用户输入299o由用户在物理竖直平面233b的文本表示的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299o在光标在物理竖直平面233b的文本表示的位置处显示时由用户点击鼠标按钮输入。
72.图2p说明了响应于检测到针对物理竖直平面233b的文本表示的用户输入299o的图2o的gui 201。响应于检测到针对物理竖直平面233b的文本表示的用户输入299o，物理竖直平面233b的文本表示被不同地显示以指示已选择物理竖直平面。在各种具体实施中，物理竖直平面243b的图形表示也(或替代地)不同地显示以指示已选择物理竖直平面。例如，在各种具体实施中，物理竖直平面被突出显示或显示为周围发光。在各种具体实施中，针对物理竖直平面243b的图形表示的用户输入选择物理竖直平面。
73.图2p说明了针对属性示能表示222的用户输入299p。在各种具体实施中，用户输入299p由用户在属性示能表示222的位置处轻敲触敏显示器上的手指或触控笔输入。在各种具体实施中，用户输入299p在光标在属性示能表示222的位置处显示时由用户点击鼠标按钮输入。
74.图2q说明了响应于检测到针对属性示能表示222的用户输入299p和用于选择物理竖直平面的第一属性的额外用户输入的图2p的gui 201。特别地，选择第一属性的额外用户输入包括将物理竖直平面与其是可显示黑板的属性相关联的用户输入。第一属性指示物理竖直平面能够已在虚拟黑板对象上显示。类似地，第一属性指示虚拟黑板对象能够(包括在各种具体实施中，被允许)被显示在物理竖直平面上。在各种具体实施中，可显示黑板的属性由gui 201的用户定义、由虚拟黑板对象的创建者定义，或者由gui 201的创建者定义。在各种具体实施中，可显示黑板的属性被定义为各种标准的功能。例如，在各种具体实施中，
标准包括特定范围内的高度值和宽度值。在各种具体实施中，标准包括与具有特定对象类型集中的一个对象类型(例如，“墙”)的对象相关联。在各种具体实施中，标准包括均匀的颜色。在各种具体实施中，标准包括在检测到竖直平面之后由用户指定为可显示黑板。在各种具体实施中，各种标准的功能是对于将确定为可显示黑板的竖直平面，必须符合所有定义的标准。在各种具体实施中，各种标准的功能不需要符合所有定义的标准。举例来说，在各种具体实施中，如果竖直平面(1)具有均匀颜色并且(2a)其与对象类型“墙”相关联或(2b)其高度值和宽度值大于特定阈值，则将所述竖直平面确定为可显示黑板。因此，作为示例，电子设备将墙检测为竖直平面，为竖直平面分配对象类型“墙”，确定竖直平面具有均匀颜色(例如，未覆盖有图片、海报或其他图案)，并且因此确定竖直平面是可显示黑板的。另外，作为另一示例，电子设备将折叠式白板的书写表面(或画架上的空白画布)检测为竖直平面，检测白板并且为其分配除了“墙”之外的对象类型(例如，“分区”或“竖直-其他”)，确定竖直平面的高度和宽度在特定范围内，确定竖直平面具有均匀颜色(例如，未覆盖有图片、海报或其他图案)，并且因此确定竖直平面是可显示黑板的。
75.响应于检测到针对属性示能表示222的用户输入299n和选择第一物理水平平面的第一属性的额外用户输入，第一物理水平平面与第一属性相关联。因此，第一物理水平平面233c的文本表示与第一属性的文本表示一起显示在资产区域212中。在各种具体实施中，第一物理水平平面243c的图形表示显示在具有第一属性的视图区域213中，例如，所述第一物理水平平面被显示为墙或分区而不是通用水平平面。
76.图2q说明了针对资产类型选择示能表示231的用户输入299q，其选择虚拟资产列表。在各种具体实施中，用户输入299q由用户在资产类型选择示能表示231的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299q在光标在资产类型选择示能表示231的位置处显示时由用户点击鼠标按钮输入。
77.图2r说明了响应于检测到针对资产类型选择示能表示231的用户输入299d的图2q的gui。与图2q相比，资产区域212显示与场景相关联的虚拟资产列表，而不是与场景相关联的物理资产列表。在图2r中，资产区域显示虚拟教授目标实现器对象232a的文本表示、虚拟黑板对象232b的文本表示、虚拟纸对象232c的文本表示、虚拟纸堆对象232d的文本表示以及虚拟马克杯对象232e的文本表示。
78.图2r说明了针对虚拟黑板对象232b的文本表示的用户输入299r。在各种具体实施中，用户输入299r由用户在虚拟黑板对象232b的文本表示的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299r在光标在虚拟黑板对象232b的文本表示的位置处显示时由用户点击鼠标按钮输入。
79.图2s说明了响应于检测到针对虚拟黑板对象232b的文本表示的用户输入299r的图2r的gui 201。响应于检测到针对虚拟黑板对象232b的文本表示的用户输入299r，虚拟黑板对象232b的文本表示被不同地显示以指示已选择虚拟黑板对象。在各种具体实施中，虚拟黑板对象242b的图形表示也(或替代地)不同地显示以指示已选择虚拟黑板对象。例如，在各种具体实施中，虚拟黑板对象242b的图形表示被突出显示或显示为周围发光。在各种具体实施中，针对虚拟黑板对象242b的图形表示的用户输入选择虚拟黑板对象。
80.图2s说明了针对属性示能表示222的用户输入299s。在各种具体实施中，用户输入299s由用户在属性示能表示222的位置处轻敲触敏显示器上的手指或触控笔输入。在各种
具体实施中，用户输入299s在光标在属性示能表示222的位置处显示时由用户点击鼠标按钮输入。
81.图2t说明了响应于检测到针对属性示能表示222的用户输入299s和用于选择虚拟黑板对象的第一属性的额外用户输入的图2s的gui 201。特别地，选择第一属性的额外用户输入包括将虚拟黑板对象与物理竖直平面“上”的属性相关联的用户输入。响应于检测到针对属性示能表示222的用户输入299s和选择虚拟黑板对象的第一属性的额外用户输入，虚拟黑板对象与第一属性相关联。因此，虚拟黑板对象232b的文本表示与第一属性的文本表示一起显示在资产区域212中，并且虚拟黑板对象242b的图形表示显示在具有第一属性的视图区域213中，例如，其在物理竖直平面243b的图形表示上。
82.图2t说明了针对虚拟教授目标实现器对象232a的文本表示的用户299t。在各种具体实施中，用户输入299t由用户在虚拟教授目标实现器对象232a的文本表示的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299t在光标显示在虚拟教授目标实现器对象232a的文本表示的位置处时由用户点击鼠标按钮输入。
83.图2u说明了响应于检测到针对虚拟教授目标实现器对象232a的文本表示的用户输入299t和将属性与各种虚拟对象相关联的额外用户输入的图2t的gui 201。
84.额外用户输入包括用以将虚拟教授目标实现器对象与虚拟教授目标实现器对象“在”物理地板“顶部上”的第一属性和虚拟教授目标实现器对象在虚拟黑板对象“附近”的第二属性相关联的用户输入。因此，虚拟教授目标实现器对象232a的文本表示与第一属性和第二属性的文本表示一起显示在资产区域212中。另外，虚拟教授目标实现器对象242a的图形表示显示在具有第一属性和第二属性的视图区域213中，例如，其位于物理地板243a的图形表示的顶部上和虚拟黑板对象242b的图形表示附近。
85.额外用户输入包括用以将虚拟纸对象、虚拟纸堆对象和虚拟马克杯对象中的每一者与虚拟对象“在”第二物理水平平面“顶部上”的第一属性相关联的用户输入。因此，虚拟纸对象232c的文本表示、虚拟纸堆对象232d的文本表示和虚拟马克杯对象232e的文本表示各自与第一属性的文本表示一起显示在资产区域212中。另外，虚拟纸对象242c的图形表示、虚拟纸堆对象242d的图形表示和虚拟马克杯对象242e的图形表示各自显示在具有第一属性的视图区域213中，例如，每个图形表示在第二物理水平平面243d的图形表示的顶部上。
86.图2u说明了针对资产类型选择示能表示231的用户输入299u，其选择动作资产列表。在各种具体实施中，用户输入299u由用户在资产类型选择示能表示231的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299u在光标显示在资产类型选择示能表示231的位置处时由用户点击鼠标按钮输入。
87.图2v说明了响应于检测到针对资产类型选择示能表示231的用户输入299u的图2u的gui。与图2u相比，资产区域212显示与场景相关联的动作资产列表，而不是与场景相关联的物理资产列表。在图2v中，还没有动作资产与场景相关联，并且资产区域212是空白的。
88.图2v说明了针对资产添加示能表示221的用户输入299v。在各种具体实施中，用户输入299v由用户在资产添加示能表示221的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299v在光标在资产添加示能表示221的位置处显示时由用户点击鼠标按钮输入。
89.图2w说明了响应于检测到针对资产添加示能表示221的用户输入299v和用于将许多动作资产添加到场景的额外用户输入的图2v的gui201。响应于检测到针对资产添加示能表示221的用户输入299v和将许多动作资产添加到场景的额外用户输入，场景与许多动作资产相关联，所述动作资产中的一些动作资产由资产区域212中的文本表示显示。
90.动作资产包括由第一动作资产234a的文本表示说明的第一动作资产。第一动作资产描述了在场景开始时开始的动作，并且包括虚拟教授目标实现器对象给出第一语音，所述第一语音可以包括虚拟教授目标实现器对象的音频和动画两者。
91.动作资产包括由第二动作资产234b的文本表示说明的第二动作资产。第二动作资产描述了当虚拟教授目标实现器对象结束第一语音时开始的动作，并且包括虚拟教授目标实现器对象从虚拟黑板对象附近移动到虚拟纸对象附近。
92.动作资产包括由第三动作资产234c的文本表示说明的第三动作资产。第三动作资产描述了当虚拟教授目标实现器对象在虚拟纸对象附近时开始的动作，并且包括虚拟教授目标实现器对象给出第二语音。
93.动作资产包括由第四动作资产234d的文本表示说明的第四动作资产。第四动作资产描述了当虚拟教授目标实现器对象结束第二语音时开始的动作，并且包括将虚拟纸对象从第二物理水平平面的顶部上移动到物理垃圾桶内部或物理地板的顶部上。这可以通过虚拟教授目标实现器对象拾取虚拟纸对象并且将其扔进物理垃圾桶或扔到物理地板上来实现。
94.动作资产包括由第五动作资产234e的文本表示说明的第五动作资产。第五动作资产描述了当虚拟纸对象在物理垃圾桶内部或物理地板顶部上时开始的动作，并且包括虚拟教授目标实现器对象坐在第一物理水平平面上，所述第一物理水平平面是教授可坐的。
95.图2w说明了针对预览示能表示229的用户输入299w。在各种具体实施中，用户输入299w由用户在预览示能表示229的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入299w在光标显示在预览示能表示229的位置处时由用户点击鼠标按钮输入。
96.图3a说明了响应于在第一物理环境中检测到针对预览示能表示229的用户输入299w的图2w的gui 201。响应于检测到针对预览示能表示229的用户输入299w，资产区域212和视图区域213被提供场景预览的预览区域301代替。
97.第一物理环境包括电视、桌子、废纸篓和木地板。因此，预览区域包括第一物理环境的表示，包括电视311的表示、桌子312的表示、废纸篓313的表示和木地板314的表示。
98.在提供场景预览时，电子设备110扫描第一物理环境以确定第一物理环境是否包括对应于具有物理资产的相关联属性的场景的物理资产的对象。在这样做时，电子设备110显示扫描通知331。
99.在第一物理环境中，电子设备110确定木地板对应于场景的物理地板，电视是可显示黑板的并且对应于物理竖直平面，桌子的顶部具有适当的大小和位置属性并且对应于第二物理水平平面，并且废纸篓对应于物理垃圾桶。
100.对于场景的物理资产中的每个物理资产，电子设备110确定是否需要物理资产来执行场景或可选地增强场景。在各种具体实施中，如果必须与物理资产相关联地显示虚拟资产，则需要物理资产。例如，需要物理地板，因为虚拟教授目标实现器对象显示在对应于
物理地板的物理对象的顶部上。类似地，需要物理竖直平面，因为虚拟黑板对象显示在对应于物理竖直平面的物理对象上。第一物理水平平面是所需的，因为在执行第五动作之后显示虚拟教授目标实现器对象坐在对应于第一物理水平平面的物理对象上。第二物理水平平面是所需的，因为虚拟纸对象、虚拟纸堆对象和虚拟马克杯对象被显示在对应于第二物理水平平面的物理对象的顶部上。相比之下，物理垃圾桶是可选的，因为虽然在执行第四动作之后虚拟纸对象可以被显示在对应于物理垃圾桶的物理对象内部，但如果在物理环境中不存在对应于物理垃圾桶的物理对象，则可改为在执行第四动作之后虚拟纸对象被显示在对应于物理地板的物理对象的顶部上。
101.因此，电子设备110确定第一物理环境中没有对象对应于第一物理水平平面，并且需要第一物理水平平面。
102.图3b说明了响应于确定第一物理环境中没有对象对应于第一物理水平平面并且需要第一物理水平平面的图3a的gui 201。响应于确定第一物理环境中没有对象对应于第一物理水平平面并且需要第一物理水平平面，预览区域301包括指示需要第一物理水平平面来执行场景的缺失所需对象通知332。在各种具体实施中，缺失所需对象通知332向用户提供关于缺失对象的属性的信息。举例来说，在图3b中，缺失所需对象通知332指示需要教授可坐的对象以执行场景。
103.缺失所需对象通知332包括重新扫描示能表示333a，所述重新扫描示能表示在被选择时使得电子设备110扫描第一物理环境以确定第一物理环境是否包括对应于具有物理资产的相关联属性的场景的物理资产的对象。缺失所需对象通知332包括退出示能表示333b，所述退出示能表示在被选择时使得电子设备110退出场景预览。
104.图3c说明了在用户已将凳子添加到第一物理环境之后的图3b的gui201。因此，包括第一物理环境的表示的预览区域301包括凳子315的表示。
105.图3c说明了针对重新扫描示能表示333a的用户输入399a。在各种具体实施中，用户输入399a由用户在重新扫描示能表示333a的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入399a在光标在重新扫描示能表示333a的位置处显示时由用户点击鼠标按钮输入。
106.图3d说明了响应于检测到针对重新扫描示能表示333a的用户输入399a的图3c的gui 201。响应于检测到针对重新扫描示能表示333a的用户输入399a，预览区域301包括扫描通知331，并且电子设备110扫描第一物理环境以确定第一物理环境是否包括对应于具有物理资产的相关联属性的场景的物理资产的对象。在扫描第一物理环境时，电子设备110确定凳子的顶部可以是教授可坐的，并且因此可以对应于所需的第一物理水平平面。
107.图3e说明了响应于确定凳子的顶部可以是教授可坐的图3d的gui201。响应于确定凳子的顶部可能是教授可坐的，预览区域301包括包围凳子315的表示的突出显示340和请求来自用户的凳子的顶部是教授可坐的确认的确认通知334。
108.确认通知334包括是(yes)示能表示335a，所述是示能表示在被选择时使得电子设备110将凳子的顶部与教授可坐属性相关联并且将凳子的顶部映射到第一物理水平平面。确认通知334包括否示能表示335b，所述否示能表示在被选择时使得电子设备110不将凳子的顶部与教授可坐属性相关联，无法找到对应于第一物理水平平面的对象，并显示缺失所需对象通知332。
109.图3e说明了针对是示能表示335a的用户输入399b。在各种具体实施中，用户输入399b由用户在是示能表示335a的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入399b在光标显示在是示能表示335a的位置处时由用户点击鼠标按钮输入。
110.图3f说明了响应于检测到针对是示能表示335a的用户输入399b的图3e的gui 201。响应于检测到针对是示能表示335a的用户输入399b，电子设备110将凳子的顶部与教授可坐属性相关联，确定凳子的顶部对应于第一物理水平平面，确定第一物理环境包括对应于场景的每个所需物理资产的对象，并执行场景。
111.在执行场景时，预览区域301包括显示在电视311的表示上方的虚拟黑板对象322的表示、在虚拟黑板对象322的表示附近的木地板314的表示上显示的虚拟教授目标实现器对象321的表示、桌子312的表示的顶部上的虚拟纸对象323的表示、桌子312的表示的顶部上的虚拟纸堆对象324的表示以及桌子312的表示的顶部上的虚拟马克杯对象325的表示。
112.此外，预览区域301包括第一动作资产的表示，其中虚拟教授目标实现器对象给出第一语音。
113.图3g说明了响应于虚拟教授目标实现器对象结束第一语音的图3f的gui 201。在图3g中，预览区域301包括其中虚拟教授目标实现器对象从虚拟黑板对象附近移动到虚拟纸对象附近的第二动作资产的表示，和其中虚拟教授目标实现器对象给出第二语音的第三动作资产的表示。因此，虚拟教授目标实现器对象321的表示在虚拟纸对象323的表示附近而不是虚拟黑板对象322的表示附近显示。
114.图3h说明了响应于虚拟教授目标实现器对象结束第二语音的图3g的gui 201。在图3h中，预览区域301包括第四动作资产的表示，其中如果物理环境包括对应于物理垃圾桶的对象，则虚拟纸对象从第二物理水平平面的顶部上移动到物理垃圾桶内部，或者如果物理环境不包括对应于物理垃圾桶的对象，则虚拟纸对象从第二物理水平平面的顶部上移动到物理地板上。因此，虚拟教授目标实现器对象321的表示显示为将虚拟纸对象323的表示扔进废纸篓313的表示。
115.图3i说明了响应于虚拟纸对象在物理垃圾桶内部的图3h的gui。在图3i中，预览区域301包括第五动作资产的表示，其中虚拟教授目标实现器对象坐在第一物理水平平面上。因此，虚拟教授目标实现器对象321的表示显示为坐在凳子315的表示上。
116.图4a说明了响应于在第二物理环境中检测到针对预览示能表示229的用户输入299w的图2w的gui 201。响应于检测到针对预览示能表示229的用户输入299w，资产区域212和视图区域213被提供场景预览的预览区域401代替。
117.第二物理环境包括墙、书桌、瓷砖地板和椅子。因此，预览区域401包括第二物理环境的表示，包括墙411的表示、书桌412的表示、瓷砖地板414的表示和椅子415的表示。
118.在提供场景预览时，电子设备110扫描第二物理环境以确定第二物理环境是否包括对应于具有物理资产的相关联属性的场景的物理资产的对象。在这样做时，电子设备110显示扫描通知331。
119.在第二物理环境中，电子设备110确定瓷砖地板对应于场景的物理地板，墙是可显示黑板的并且对应于物理竖直平面，书桌的顶部具有适当的大小和位置属性并且对应于第二物理水平平面，并且椅子的座位是教授可坐的并且对应于第一物理水平平面。
120.如上所述，对于场景的物理资产中的每个物理资产，电子设备110确定是否需要物理资产来执行场景或是可选的以增强场景。在各种具体实施中，如果必须与物理资产相关联地显示虚拟资产，则需要物理资产。例如，需要物理地板，因为虚拟教授目标实现器对象显示在物理地板的顶部上。类似地，需要物理竖直平面，因为虚拟黑板对象显示在物理竖直平面上。第一物理水平平面是所需的，因为在执行第五动作之后显示虚拟教授目标实现器对象坐在第一物理水平平面上。第二物理水平平面是所需的，因为虚拟纸对象、虚拟纸堆对象和虚拟马克杯对象被显示在第二物理水平平面的顶部上。相比之下，物理垃圾桶是可选的，因为虽然在执行第四动作之后虚拟纸对象可以被显示在对应于物理垃圾桶的物理对象内部，但如果在物理环境中不存在对应于物理垃圾桶的物理对象，则可改为在执行第四动作之后虚拟纸对象被显示在对应于物理地板的物理对象的顶部上。
121.因此，电子设备110确定第二物理环境中没有对象对应于物理垃圾桶，并且物理垃圾桶是可选的。
122.图4b说明了响应于确定第二物理环境中没有对象对应于物理垃圾桶并且物理垃圾桶是可选的图4a的gui 201。响应于确定第二物理环境中没有对象对应于物理垃圾桶并且物理垃圾桶是可选的，预览区域401包括缺失可选对象通知336，所述缺失可选对象通知指示不需要物理垃圾桶以执行场景，但是是可选的以增强场景。在各种具体实施中，缺失可选对象通知336向用户提供关于缺失对象的属性的信息。例如，在图3b中，缺失可选对象通知336指示垃圾桶将增强场景。
123.缺失可选对象通知336包括重新扫描示能表示337a，所述重新扫描示能表示在被选择时使得电子设备110扫描第二物理环境以确定第二物理环境是否包括对应于具有物理资产的相关联属性的场景的物理资产的对象。缺失可选对象通知336包括跳过示能表示337b，所述跳过示能表示在被选择时使得电子设备110执行场景。
124.图4b说明了针对跳过示能表示337b的用户输入499a。在各种具体实施中，用户输入499a由用户在跳过示能表示337b的位置处轻敲手指或触控笔对触敏显示器进行输入。在各种具体实施中，用户输入499a在光标在跳过示能表示337b的位置处显示时由用户点击鼠标按钮输入。
125.图4c说明了响应于检测到针对跳过示能表示337b的用户输入499a的图4b的gui 201。响应于检测到针对跳过示能表示337b的用户输入499a，电子设备110执行场景。
126.在执行场景时，预览区域401包括显示在墙411的表示上方的虚拟黑板对象322的表示、在虚拟黑板对象322的表示附近的瓷砖地板414的表示上显示的虚拟教授目标实现器对象321的表示、书桌412的表示的顶部上的虚拟纸对象323的表示、书桌412的表示的顶部上的虚拟纸堆对象324的表示以及书桌412的表示的顶部上的虚拟马克杯对象325的表示。
127.此外，预览区域401包括第一动作资产的表示，其中虚拟教授目标实现器对象给出第一语音。
128.图4d说明了响应于虚拟教授目标实现器对象结束第一语音的图4c的gui 201。在图4d中，预览区域401包括其中虚拟教授目标实现器对象从虚拟黑板对象附近移动到虚拟纸对象附近的第二动作资产的表示，和其中虚拟教授目标实现器对象给出第二语音的第三动作资产的表示。因此，虚拟教授目标实现器对象321的表示在虚拟纸对象323的表示附近而不是虚拟黑板对象322的表示附近显示。
129.图4e说明了响应于虚拟教授目标实现器对象结束第二语音的图4d的gui 201。在图4e中，预览区域401包括第四动作资产的表示，其中如果物理环境包括对应于物理垃圾桶的对象，则虚拟纸对象从第二物理水平平面的顶部上移动到物理垃圾桶内部，或者如果物理环境不包括对应于物理垃圾桶的对象，则虚拟纸对象从第二物理水平平面的顶部上移动到物理地板上。因此，虚拟教授目标实现器对象321的表示显示为将虚拟纸对象323的表示扔到瓷砖地板414的表示上。
130.图4f说明了响应于虚拟纸对象在物理地板的顶部上的图4e的gui。在图4f中，预览区域401包括第五动作资产的表示，其中虚拟教授目标实现器对象坐在第一物理水平平面上。因此，虚拟教授目标实现器对象321的表示显示为坐在椅子415的表示上。
131.图5是根据一些具体实施的显示内容的方法500的流程图表示。在各种具体实施中，方法500由具有显示器、一个或多个处理器和非暂态存储器的设备执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。
132.方法500在框510中开始，其中设备扫描第一物理环境以检测第一物理环境中的第一物理对象和第一物理环境中的第二物理对象，其中第一物理对象符合至少一个第一对象标准，并且第二物理对象符合至少一个第二对象标准。例如，在图3a中，电子设备110扫描第一物理环境并将电视的正面检测为符合物理竖直平面的对象标准的第一物理对象，并且将桌子的顶部检测为符合第二物理水平平面的对象标准的第二物理对象。在此示例中，至少一个第一对象标准包括电视的正面是竖直平面并且是可显示黑板的，并且至少一个第二对象标准包括桌子的顶部是水平平面、与地板相距至少半米、具有至少一米的宽度和至少半米的长度。
133.在各种具体实施中，检测物理环境中的物理对象(例如检测第一物理环境中的第一物理对象或检测第一物理环境中的第二物理对象)包括捕获物理环境的图像并检测物理环境的图像中的物理对象的表示。在各种具体实施中，捕获物理环境的图像由相机或其他图像传感器执行。在各种具体实施中，检测物理环境中的物理对象包括生成物理环境的三维模型，诸如点云，以及检测物理环境的三维模型中的物理对象的表示。在各种具体实施中，生成物理环境的三维模型包括使用深度传感器获得深度信息。
134.在各种具体实施中，至少一个第一对象标准包括关于第一物理对象的大小或形状的标准。例如，在图2q中，第二物理水平平面与宽度大于一米的属性相关联。在各种具体实施中，至少一个第一对象标准包括关于第一物理对象的对象类型的标准。例如，在图2q中，垃圾桶与具有对象类型“垃圾桶”的属性相关联。
135.在各种具体实施中，至少一个第一对象标准包括关于第一物理对象的可用性的标准。举例来说，在图2q中，第一物理水平平面与教授可坐属性相关联。在各种具体实施中，关于第一物理对象的可用性的标准是相对于内容的虚拟对象来定义的。举例来说，教授可坐属性是相对于虚拟教授目标实现器对象来定义的。在各种具体实施中，关于第一物理对象的可用性的标准是相对于第五物理对象来定义的。举例来说，在各种具体实施中，物理竖直平面可以与记号笔可书写的属性相关联，使得对应的对象不仅可以在其上显示黑板，而且也可以在其上用物理粉笔或物理干擦记号笔书写。在各种具体实施中，第五物理对象是设
备的用户。例如，在各种具体实施中，第一物理水平平面可以与用户可坐属性相关联，使得对应的对象不仅可以由虚拟教授目标实现器对象坐在上面，而且也可以由用户坐在上面。
136.方法500在框520中继续，其中设备与第一物理环境相关联地显示沿着从第一物理对象到第二物理对象的第一路径移动的虚拟对象。例如，在图3g中，虚拟教授目标实现器对象321的表示沿着从电视311的表示(其中显示虚拟黑板对象322的表示)到桌子312的表示(其中显示虚拟纸对象323的表示)的第一路径移动。
137.在各种具体实施中，显示器是不透明显示器，并且虚拟对象与第一物理环境相关联地显示为虚拟对象与物理环境的复合图像。因此，在各种具体实施中，与第一物理环境相关联地显示虚拟对象包括显示虚拟对象与第一物理环境的复合图像。在各种具体实施中，显示器是透明显示器，并且虚拟对象与物理环境相关联地显示为在第一物理环境的视图上的投影。因此，在各种具体实施中，与第一物理环境相关联地显示虚拟对象包括在第一物理环境的视图上投影虚拟对象。
138.在各种具体实施中，与物理环境相关联地显示虚拟对象包括在第一物理对象或第二物理对象的表示或视图上显示虚拟对象。例如，在图3f中，电子设备110在电视311的表示上显示虚拟教授目标实现器对象321的表示。在各种具体实施中，与第一物理环境相关联地显示虚拟对象包括在第一物理对象或第二物理对象的表示或视图附近显示虚拟对象。例如，在图3g中，电子设备110显示桌子312的表示附近的虚拟教授目标实现器对象321的表示，使得看起来虚拟教授目标实现器对象在桌子附近。
139.在各种具体实施中，与第一物理环境相关联地显示虚拟对象包括显示与第一物理对象或第二物理对象的表示或视图交互的虚拟对象。例如，在图3i中，电子设备110显示坐在凳子315的表示上的虚拟教授目标实现器对象321的表示。
140.方法在框530中继续，其中设备扫描第二物理环境以检测第二物理环境中的第三物理对象和第二物理环境中的第四物理对象，其中第三物理对象符合至少一个第一对象标准，并且第四物理对象符合至少一个第二对象标准。例如，在图4a中，电子设备110扫描第二物理环境并将墙检测为符合物理竖直平面的对象标准的第三物理对象，并且将书桌的顶部检测为符合第二物理水平平面的对象标准的第四物理对象。如上所述，在此示例中，至少一个第一对象标准包括墙是竖直平面并且是可显示黑板的，并且至少一个第二对象标准包括书桌的顶部是水平平面、与地板相距至少半米、具有至少一米的宽度和至少半米的长度。
141.方法500在框540中继续，其中与第二物理环境相关联地显示沿着从第三物理对象到第四物理对象的第二路径移动的虚拟对象，其中第二路径不同于第一路径。例如，在图4d中，虚拟教授目标实现器对象321的表示沿着从墙411的表示(其中显示虚拟黑板对象322的表示)到书桌412的表示(其中显示虚拟纸对象323的表示)的第二路径移动。
142.如上所述，第二路径不同于第一路径。例如，在图3g中，虚拟教授目标实现器对象321的表示从电视311的表示(其中显示虚拟黑板对象322的表示)到桌子312的表示(其中显示虚拟纸对象323的表示)移动较短距离。相比之下，在图4d中，虚拟教授目标实现器对象321的表示从墙411的表示(其中显示虚拟黑板对象322的表示)到书桌412的表示(其中显示虚拟纸对象323的表示)移动更长距离。因此，在各种具体实施中，第二路径的长度不同于第一路径的长度。第一路径和第二路径可以在其他各种测量中不同。例如，在各种具体实施中，第二路径的方差(如从直线测量)不同于第一路径的方差。
143.在各种具体实施中，第一路径穿过三维坐标系中的多个第一路径位置，并且第二路径穿过三维坐标系中的多个第二路径位置。例如，在图3g中，虚拟教授目标实现器对象321的表示仅显示在用户的前面，而在图4d中，虚拟教授目标实现器对象321的表示在更远处并且在左方被显示。在各种具体实施中，三维坐标系是相对于用户、相机视角或物理环境中的另一常见特征(例如房间的远右上角)来定义的。在各种具体实施中，三维坐标系被定义为例如使用gps的绝对(或全局)坐标系。
144.在各种具体实施中，方法包括确定第一路径或第二路径中的至少一者。在各种具体实施中，设备利用各种寻路算法来确定第一路径或第二路径中的至少一者。在各种具体实施中，确定第一路径或第二路径中的至少一者以避开另一对象，所述另一对象可以是物理环境中的虚拟对象或物理对象。在各种具体实施中，虚拟目标实现器例如基于虚拟目标实现器的能力确定第一路径或第二路径中的至少一者。举例来说，虚拟狗目标实现器对象可以使用楼梯从地板移动到床，而虚拟苍蝇目标实现器对象可以从地板飞行到床。
145.图6是根据一些具体实施的将标签与对象相关联的方法600的流程图表示。在各种具体实施中，方法600由具有一个或多个处理器和非暂态存储器的设备执行。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。
146.方法600在框610中开始，其中设备获得与多个标准相关联的标签。举例来说，在图2q中，电子设备110已经获得“可显示黑板”和“教授可坐”的标签，每个标签与多个标准相关联。
147.方法600在框620中继续，其中设备检测物理环境中的物理对象。例如，在图3a中，电子设备110检测到第一物理环境中的电视、桌子、废纸篓和木地板。作为另一示例，在图4a中，电子设备110检测到第二物理环境中的墙、书桌、瓷砖地板和椅子。
148.在各种具体实施中，标签指示物理对象能够支持功能。因此，在各种具体实施中，标签被称为“能力标签”并且标准被称为“能力标准”。例如，标签“可显示黑板”指示物理对象能够使得在所述物理对象上显示虚拟黑板对象。作为另一示例，标签“教授可坐”指示物理对象能够使得虚拟教授目标实现器坐在物理对象上。
149.在各种具体实施中，标签指示物理对象能够由虚拟对象使用以执行功能。例如，标签“可显示黑板”指示物理对象能够由待显示的虚拟黑板对象使用。作为另一示例，标签“教授可坐”指示物理对象能够由虚拟教授目标实现器对象坐下。因此，与将特定对象标识为具有特定对象类型(例如，“墙”)并且然后将功能分配给物理对象(例如，内容可以显示在标识为“墙”的物理对象上)相比，标签与物理对象的能力(例如，“可显示黑板”)相关联，并且仅当物理对象符合指示那些能力的多个标准的功能时才分配标签。
150.在各种具体实施中，方法600进一步包括显示执行功能的虚拟对象。举例来说，在图3i中，电子设备110显示在被确定为可显示黑板的电视311的表示上显示的虚拟黑板对象322的表示，并且显示坐在被确定为教授可坐的凳子315的表示上的虚拟教授目标实现器对象321的表示。
151.在各种具体实施中，标签指示物理对象能够由物理对象使用以执行功能。因此，在各种具体实施中，标签被称为“可用性标签”并且标准被称为“可用性标准”。举例来说，在各
种具体实施中，物理竖直平面可以与记号笔可书写的属性相关联，使得对应的对象不仅可以在其上显示黑板，而且也可以在其上用物理粉笔或物理干擦记号笔书写。作为另一示例，在各种具体实施中，第一物理水平平面可以与用户可坐属性相关联，使得对应的对象不仅可以由虚拟教授目标实现器对象坐在上面，而且也可以由用户坐在上面。因此，标签“记号笔可书写”指示物理对象能够由要书写的物理记号笔使用。作为另一示例，标签“用户可坐”指示物理对象能够由用户用来坐下。
152.在各种具体实施中，多个标准包括关于物理对象的大小或形状的标准。例如，在各种具体实施中，标签“可显示黑板”与物理对象的高度和宽度在特定范围内的标准相关联。作为另一示例，在各种具体实施中，标签“教授可坐”与物理对象的高度、长度和宽度在特定范围内的标准相关联。
153.在各种具体实施中，多个标准包括关于物理对象的颜色的标准。例如，在各种具体实施中，标签“可显示黑板”与物理对象是均匀颜色的标准相关联。
154.在各种具体实施中，多个标准包括关于物理对象的对象类型的标准。举例来说，在各种具体实施中，标签“可显示黑板”与物理对象是竖直平面的标准和/或物理对象具有对象类型“墙”的标准相关联。作为另一示例，在各种具体实施中，标签“可显示教授”与物理对象是水平平面的标准和/或物理对象具有特定对象类型集中的一个对象类型(例如，“椅子”、“凳子”、“沙发”等)的标准相关联。
155.在各种具体实施中，多个标准包括关于物理对象的用户指定的标准。举例来说，在各种具体实施中，标签“可显示黑板”与用户将物理对象指定为可显示黑板的标准相关联。作为另一示例，在各种具体实施中，标签“可显示教授”与用户将物理对象指定为可显示教授(如图3e中所进行)的标准相关联。
156.方法600在框630中继续，其中设备确定物理对象满足多个标准的功能。举例来说，在各种具体实施中，如果物理对象符合具有均匀颜色的第一标准，和其具有对象类型“墙”的第二标准或其高度值和宽度值大于特定阈值的第三标准，则所述物理对象与标签“可显示黑板”相关联。作为另一示例，如果物理对象符合其具有对象类型“椅子”的第一标准或者其符合其高度值、长度值和宽度值在特定范围内的第二标准，和在检测到具有特定范围内的高度值、长度值和宽度值的物理对象之后用户将水平平面指定为教授可坐的第三标准，则所述物理对象与标签“教授可坐”相关联。
157.在各种具体实施中，当物理对象满足多个标准中的一个或多个标准时，物理对象满足多个标准的功能。在各种具体实施中，当物理对象满足所有多个标准时，物理对象满足多个标准的功能。例如，在各种具体实施中，如果物理对象符合具有对象类型“墙”的第一标准和其具有均匀颜色的第二标准，则所述物理对象与标签“可显示黑板”相关联。
158.在各种具体实施中，当物理对象满足多个标准中的至少阈值数目个标准时，所述物理对象满足多个标准的功能。例如，在各种具体实施中，如果物理对象符合以下标准中的至少一个标准，则所述物理对象与标签“教授可坐”相关联：其具有对象类型“椅子”的第一标准、其具有对象类型“凳子”的第二标准或用户将其指定为教授可坐的第三标准。在各种具体实施中，如果物理对象符合三个或更多个标准中的至少两个标准，则所述物理对象与标签相关联。
159.在各种具体实施中，当物理对象满足多个标准的第一子集或多个标准的第二子集
时，所述物理对象满足多个标准的功能。在各种具体实施中，多个标准的第一子集和多个标准的第二子集不包括共同标准。举例来说，在各种具体实施中，如果物理对象符合标准的第一子集(包括其具有对象类型“椅子”的第一标准)，或者其符合标准的第二子集(包括其高度值、长度值和宽度值在特定范围内的第二标准，和在检测到具有特定范围内的高度值、长度值和宽度值的物理对象之后用户将水平平面指定为教授可坐的第三标准)，则所述物理对象与标签“教授可坐”相关联。在各种具体实施中，多个标准的第一子集和多个标准的第二子集包括一个或多个常见标准。举例来说，在各种具体实施中，如果物理对象符合标准的第一子集(包括其具有均匀颜色的第一标准和其具有对象类型“墙”的第二标准)，或其符合标准的第二子集(包括其具有均匀颜色的第一标准和其高度值和宽度值大于特定阈值的第三标准)，则所述物理对象与标签“可显示黑板”相关联。
160.方法600在框640中继续，其中设备响应于确定物理对象满足多个标准的功能而生成物理对象的特征向量，所述特征向量包括物理对象的对象标识符和标签。在各种具体实施中，对象标识符是分配的数字、字母或其他唯一标签。在各种具体实施中，生成物理对象的包括物理对象的对象标识符和标签的特征向量包括将标签添加到现有特征向量，在各种具体实施中，所述现有特征向量包括对象标识符。
161.在各种具体实施中，具有与标签相关联的物理对象可以用于确定是否执行需要与标签相关联的物理对象的场景。举例来说，在图3b中，电子设备110不执行场景，因为没有物理对象与标签“教授可坐”相关联。相比之下，在图3f中，电子设备110执行场景，因为凳子与标签“教授可坐”相关联。因此，在各种具体实施中，方法600进一步包括执行需要与标签相关联的物理对象的场景。
162.图7是根据一些具体实施的执行场景的方法700的流程图表示。在各种具体实施中，方法700由具有显示器、一个或多个处理器和非暂态存储器的设备执行。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法700由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。
163.方法700在框710中开始，其中设备获得与一个或多个执行约束相关联的场景。例如，在图3a中，电子设备110已经获得需要物理环境的场景，所述物理环境包括物理地板、物理竖直平面、第一物理水平平面和第二物理水平平面，其各自具有特定属性。
164.方法700在框720中继续，其中设备扫描物理环境以确定物理环境是否符合一个或多个执行约束。例如，在图3a中，电子设备110扫描第一物理环境以确定第一物理环境是否符合场景的执行约束。
165.在各种具体实施中，扫描物理环境以确定物理环境是否符合一个或多个执行约束包括检测物理环境中的物理对象。在各种具体实施中，检测物理环境中的物理对象包括捕获物理环境的图像并检测物理环境的图像中的物理对象的表示。在各种具体实施中，捕获物理环境的图像由相机或其他图像传感器执行。在各种具体实施中，检测物理环境中的物理对象包括生成物理环境的三维模型，诸如点云，以及检测物理环境的三维模型中的物理对象的表示。在各种具体实施中，生成物理环境的三维模型包括使用深度传感器获得深度信息。
166.在各种具体实施中，扫描物理环境以确定物理环境是否符合一个或多个执行约束
包括分析来自各种传感器的数据，所述传感器诸如温度计、环境光传感器、gps传感器或时钟。
167.在各种具体实施中，一个或多个执行约束包括当物理环境包括具有特定属性的物理对象时符合的执行约束。
168.在各种具体实施中，特定属性是关于物理对象的大小或形状。例如，在图3a中，场景需要物理环境，所述物理环境包括宽度大于一米的第二物理水平平面。在各种具体实施中，特定属性是关于物理对象的颜色。例如，在图3a中，场景需要物理环境，所述物理环境包括可显示黑板的物理竖直平面，在各种具体实施中，所述物理竖直平面需要物理竖直平面具有均匀颜色。
169.在各种具体实施中，特定属性是关于物理对象的对象类型。例如，在图3a中，场景需要包括作为水平平面的物理对象的物理环境。作为另一示例，在图3a中，场景需要包括物理地板的物理环境。作为另一示例，在图3a中，场景需要物理环境，所述物理环境包括可显示黑板的物理竖直平面，在各种具体实施中，所述物理竖直平面需要物理竖直平面具有对象类型“墙”。
170.在各种具体实施中，特定属性是关于支持功能的能力。例如，在图3a中，场景需要教授可坐并且能够支持虚拟教授目标实现器对象坐在物理对象上的功能的第一物理水平平面。在各种具体实施中，特定属性是关于由虚拟对象使用以执行功能的物理对象的能力。例如，在图3a中，场景需要教授可坐并且能够由虚拟教授目标实现器对象用来坐的第一物理水平平面。
171.在各种具体实施中，特定属性是关于由物理对象使用以执行功能的物理对象的能力。举例来说，在各种具体实施中，物理竖直平面可以与记号笔可书写的属性相关联，使得对应的对象不仅可以在其上显示黑板，而且也可以在其上用物理粉笔或物理干擦记号笔书写。在各种具体实施中，第三物理对象是设备的用户。例如，在各种具体实施中，第一物理水平平面可以与用户可坐属性相关联，使得对应的对象不仅可以由虚拟教授目标实现器对象坐在上面，而且也可以由用户坐在上面。
172.在各种具体实施中，一个或多个执行约束包括当物理环境具有特定环境特性时符合的执行约束。在各种具体实施中，特定环境特性包括温度、湿度、压力、环境照明条件、时间或位置。
173.方法700在框730中继续，其中设备响应于确定物理环境符合一个或多个执行约束而执行场景，其中执行场景包括与物理对象相关联地显示内容。
174.在各种具体实施中，显示器是不透明显示器，并且内容与物理对象相关联地显示为内容与物理对象的复合图像。因此，在各种具体实施中，与物理对象相关联地显示内容包括显示内容与物理对象的复合图像。在各种具体实施中，显示器是透明显示器，并且内容与物理对象相关联地显示为在物理对象的视图上的投影。因此，在各种具体实施中，与物理对象相关联地显示内容包括在物理对象的视图上投影内容。
175.在各种具体实施中，与物理对象相关联地显示内容包括在物理对象的表示或视图上显示虚拟对象。例如，在图3f中，电子设备110在电视311的表示上显示虚拟黑板对象322的表示。在各种具体实施中，与物理对象相关联地显示内容包括在物理对象的表示或视图附近显示虚拟对象。例如，在图3f中，电子设备110显示桌子312的表示附近的虚拟马克杯对
象325的表示，使得看起来虚拟马克杯对象325在桌子的顶部上。
176.在各种具体实施中，与物理对象相关联地显示内容包括显示与物理对象的表示或视图交互的虚拟对象。例如，在图3i中，电子设备110显示坐在凳子315的表示上的虚拟教授目标实现器对象321的表示。
177.在各种具体实施中，设备响应于确定物理环境不符合一个或多个执行约束而显示一个或多个执行约束的未符合执行约束的指示。在各种具体实施中，显示一个或多个执行约束的未符合执行约束的指示包括在不执行场景的情况下显示未符合执行约束的指示。例如，在图3b中，响应于确定没有凳子的第一物理环境不符合一个或多个执行约束，在不执行场景的情况下，电子设备110显示缺失所需对象通知336，所述缺失所需对象通知指示不符合包括教授可坐物理对象的执行约束。
178.在各种具体实施中，方法700进一步包括响应于确定物理环境不符合一个或多个执行约束而显示重新扫描示能表示，检测选择重新扫描示能表示的用户输入，并且响应于检测到用户输入，重新扫描物理环境以确定物理环境是否符合一个或多个执行约束。例如，在图3b中，电子设备110显示重新扫描示能表示333a；在图3c中，检测选择重新扫描示能表示333a的用户输入399a；并且，在图3d中，重新扫描第一物理环境。
179.在各种具体实施中，场景进一步与一个或多个执行指南相关联。在各种具体实施中，方法700包括扫描物理环境以确定物理环境是否符合一个或多个执行指南，并且响应于确定物理环境不符合一个或多个执行指南而显示一个或多个执行指南中的未符合执行指南的指示。
180.例如，在图4a中，场景与物理环境包括具有对象类型“垃圾桶”的物理对象的执行指南相关联。在图4a中，电子设备110扫描第二物理环境以确定第二物理环境不包括具有对象类型“垃圾桶”的物理对象，并且因此不符合执行指南。在图4b中，响应于确定第二物理环境不符合执行指南，电子设备110显示缺失可选对象通知336。
181.在各种具体实施中，方法700进一步包括响应于确定物理环境不符合一个或多个执行指南而显示重新扫描示能表示，检测选择重新扫描示能表示的用户输入，以及响应于检测到用户输入，重新扫描物理环境以确定物理环境是否符合一个或多个执行指南。例如，在图4b中，电子设备110显示重新扫描示能表示337a。
182.在各种具体实施中，方法700进一步包括响应于确定物理环境不符合一个或多个执行指南而显示跳过示能表示，检测选择跳过示能表示的用户输入，以及响应于检测到用户输入而执行场景。例如，在图4b中，电子设备110显示跳过示能表示337b；在图4b中，检测选择重新扫描示能表示333a的用户输入399a；并且，在图4c中，执行场景。
183.在各种具体实施中，设备确定可以执行多个场景中的哪个场景(如果有的话)，而不是确定是否执行场景。因此，在框710中，获得与一个或多个执行约束相关联的场景包括获得与一个或多个执行约束的相应集相关联的多个场景。此外，在框720中，扫描物理环境以确定物理环境是否符合一个或多个执行约束包括扫描物理环境以确定物理环境符合一个或多个执行约束的相应集中的哪个执行约束(如果有的话)。
184.在各种具体实施中，设备显示多个场景中的哪些场景可以与物理环境相关联地执行的指示(例如列表)，例如，多个场景中的哪些场景与物理环境符合的一个或多个执行约束的相应集相关联。在各种具体实施中，设备进一步显示多个场景中的哪些场景可能不与
物理环境相关联地执行的指示，例如，多个场景中的哪些场景与未符合执行约束相关联。在各种具体实施中，设备例如响应于可能未被执行的场景的选择而进一步显示场景可能不被执行的原因的指示，例如，防止场景被执行的未符合执行约束(或多个未符合执行约束)的指示。
185.图8是根据一些具体实施的构成场景的方法800的流程图表示。在各种具体实施中，方法800由具有显示器、一个或多个处理器和非暂态存储器的设备执行。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。
186.方法800在框810中开始，其中设备显示场景的表示。例如，在图2a至图2w中，设备在视图区域213中显示场景的表示。
187.方法800在框820中继续，其中设备接收将多个物理资产与场景相关联的用户输入。例如，在图2e至图2j中，电子设备110接收用户输入299e和与资产添加示能表示221和其他用户界面元素交互的其他输入，以将物理地板、物理竖直平面、第一物理水平平面、第二物理水平平面和物理垃圾桶与场景相关联。
188.在各种具体实施中，方法800包括设备在场景的表示中显示多个物理资产的相应多个表示。例如，在图2j中，电子设备110在视图区域213中显示物理地板243a的表示、物理竖直平面243b的表示、第一物理水平平面243c的表示、第二物理水平平面243d的表示以及物理垃圾桶243e的表示。
189.方法800在框830中继续，其中设备接收将多个虚拟资产与场景相关联的用户输入。例如，在图2a至图2d中，电子设备110接收用户输入299a和与资产添加示能表示221和其他用户界面元素交互的其他输入，以将虚拟教授目标实现器对象、虚拟黑板对象、虚拟纸对象、虚拟纸堆对象和虚拟马克杯对象与场景相关联。
190.在各种具体实施中，方法800包括设备在场景的表示中显示多个虚拟资产的相应多个表示。例如，在图2d中，电子设备110在视图区域213中显示虚拟教授目标实现器对象242a的图形表示、虚拟黑板对象242b的图形表示、虚拟纸对象242c的图形表示、虚拟纸堆对象242d的图形表示以及虚拟马克杯对象242e的图形表示。
191.在各种具体实施中，多个虚拟资产包括一个或多个不可见记号笔对象，其表示在场景的表示中显示，但是当执行场景时不显示。例如，参考图2a至图2w，在各种具体实施中，场景与具有位于物理地板的顶部上的属性的第一虚拟不可见记号笔对象的虚拟资产，以及具有位于地板的顶部上的第一属性和远离第一虚拟不可见记号笔对象的第二属性的第二虚拟不可见记号笔对象的虚拟资产相关联。此外，场景与在位于第一虚拟不可见记号笔对象的顶部上到第二虚拟不可见记号笔对象的顶部上之间反复移动的虚拟教授目标实现器对象的动作资产相关联。因此，在执行场景时，虚拟教授目标实现器对象321的表示看起来在房间中来回踱步。
192.方法800在框840中继续，其中设备接收将第一属性与多个虚拟资产中的第一虚拟资产相关联的用户输入，其中第一属性是第一虚拟资产与多个物理资产中的第一物理资产之间的空间关系。例如，在图2s中，电子设备110检测到与属性示能表示222交互的用户输入299s以及与其他用户界面元素交互的其他用户输入，以将第一属性与虚拟黑板对象相关
联，第一属性是虚拟黑板对象与虚拟黑板对象在物理竖直平面上的物理竖直平面之间的空间关系。
193.方法800在框850中继续，其中设备在场景的表示中显示与第一物理资产的表示处于空间关系的第一虚拟资产的表示。例如，在图2t中，电子设备110以物理竖直平面243b的图形表示上的空间关系显示虚拟黑板对象242b的图形表示。
194.在各种具体实施中，方法800包括接收将第二属性与多个物理资产中的第二物理资产相关联的用户输入。例如，在图2k至图2m中，电子设备110检测到用户输入299k和与属性示能表示222和其他用户界面元素交互的其他用户输入，以将属性与第二物理水平平面相关联。在各种具体实施中，方法800进一步包括在场景的表示中将第二物理资产的表示显示为具有(或表现出)第二属性。例如，在图2m中，电子设备110将第二物理水平平面的表示显示为具有至少半米的高度、至少一米的长度和半米的宽度。
195.在各种具体实施中，方法800进一步包括接收将第二属性与多个物理资产中的第二物理资产相关联的用户输入，其中用户输入包括与多个虚拟资产中的第二虚拟资产相关联的属性的选择。例如，在图2n中，电子设备110检测到与属性示能表示222交互的用户输入299n和与其他用户界面元素交互的其他用户输入，以通过选择与虚拟教授目标实现器对象相关联的教授可坐属性将教授可坐属性与第一物理水平平面相关联。
196.在各种具体实施中，与第二虚拟资产相关联的属性是由第二虚拟资产使用以执行功能的第二物理资产的能力。举例来说，教授可坐属性是将由虚拟教授目标实现器对象用来坐在上面的第一物理水平平面的能力。
197.在各种具体实施中，方法800进一步包括接收将多个动作资产与场景相关联的用户输入。例如，在图2v中，电子设备110检测到用户输入299v和与资产添加示能表示交互的其他用户输入以及与其他用户界面元素交互的其他用户输入，以将第一动作资产、第二动作资产、第三动作资产、第四动作资产和第五动作资产与场景相关联。
198.在各种具体实施中，动作资产描述响应于特定触发器而执行的动作。在各种具体实施中，触发器包括场景的开始执行。例如，在图2w中，通过开始执行场景来触发第一动作资产(由第一动作资产234a的文本表示表示)。在各种具体实施中，触发器包括特定空间关系的对象。例如，在图2w中，当虚拟教授目标实现器对象在虚拟纸对象附近时，第三动作资产(由第三动作资产234c的文本表示表示)触发。在各种具体实施中，触发器包括相对于虚拟对象或另一物理对象处于特定位置或空间关系的用户。
199.在各种具体实施中，动作包括对象之间的空间关系的变化。例如，在图2w中，第二动作资产(由第二动作资产234b的文本表示表示)指示虚拟教授目标实现器对象在虚拟黑板对象附近到在虚拟纸对象附近之间的变化。在各种具体实施中，动作包括结束场景并执行不同的场景。
200.在各种具体实施中，方法800进一步包括针对多个物理资产中的每个物理资产确定所述物理资产是执行场景必需的还是可选的。在各种具体实施中，如果虚拟资产必然与对应于物理资产的物理对象相关联地显示，则确定需要物理资产。例如，在图3a中，需要物理地板，因为虚拟教授目标实现器对象显示在对应于物理地板的物理对象的顶部上。类似地，需要物理竖直平面，因为虚拟黑板对象显示在对应于物理竖直平面的物理对象上。第一物理水平平面是所需的，因为在执行第五动作之后显示虚拟教授目标实现器对象坐在对应
于第一物理水平平面的物理对象上。第二物理水平平面是所需的，因为虚拟纸对象、虚拟纸堆对象和虚拟马克杯对象被显示在对应于第二物理水平平面的物理对象的顶部上。相比之下，物理垃圾桶是可选的，因为虽然在执行第四动作之后虚拟纸对象可以被显示在对应于物理垃圾桶的物理对象内部，但如果在物理环境中不存在对应于物理垃圾桶的物理对象，则可改为在执行第四动作之后虚拟纸对象被显示在对应于物理地板的物理对象的顶部上。
201.在各种具体实施中，设备在尝试执行场景之前确定多个物理资产中的每个物理资产是执行场景必需的还是可选的，并且与场景相关联地保存此信息。此类预处理可以减少执行场景的延迟。
202.在各种具体实施中，设备基于虚拟资产的初始属性(例如，需要第二物理水平平面，因为虚拟物理马克杯显示在对应于第二物理水平平面的物理对象的顶部上)和由动作资产改变的虚拟资产的属性(例如，需要第一物理水平平面，因为在执行第五动作之后显示虚拟教授目标实现器对象坐在对应于第一物理水平平面的物理对象上)来确定多个物理资产中的每个物理资产是所需的还是可选的。因此，在各种具体实施中，针对多个物理资产中的每个物理资产确定物理资产是执行场景必需的还是可选的是基于虚拟资产的初始属性和虚拟资产的如由动作资产改变的属性。
203.在各种具体实施中，设备另外基于由设备存储的启发法确定物理资产中的每个物理资产是所需的还是可选的。因此，在各种具体实施中，针对多个物理资产中的每个物理资产确定物理资产是执行场景必需的还是可选的是基于启发法。这些启发法允许设备创造性地符合执行约束。例如，相对于图2a至图2w的场景，在各种具体实施中，第一物理水平平面是所需的，因为在执行第五动作之后显示虚拟教授目标实现器对象坐在对应于第一物理水平平面的物理对象上。因此，场景与物理环境包括教授可坐物理对象的执行约束相关联。在各种具体实施中，设备包括启发法，所述启发法是如果物理环境不包括教授可坐物理对象，则设备生成虚拟椅子对象(并且在执行场景时，显示虚拟椅子对象的表示)，所述虚拟椅子对象在尝试执行场景时并且在执行场景时被解译为教授可坐物理对象。因此，在各种具体实施中，启发法包括用以生成被解译为物理对象的虚拟对象的启发法。
204.在各种具体实施中，设备包括启发法，所述启发法将第五动作资产从包括坐在第一物理水平平面(其是教授可坐的)上的虚拟教授目标实现器对象改变为包括坐在(1)第一物理水平平面(其是教授可坐的)或(2)物理地板上的虚拟教授目标实现器对象。因此，在各种具体实施中，启发法包括用以将动作资产修改为包括替代性动作的启发法。这渲染可选的而不是执行场景所需的第一物理水平平面。
205.如上所述，在各种具体实施中，设备基于虚拟资产的初始属性和虚拟资产的如由动作资产改变的属性来确定多个物理资产中的每个物理资产是所需的还是任选的。在各种具体实施中，动作资产例如由用户指定为必要的或非必要的，并且设备基于虚拟资产的初始属性和虚拟资产的如由指定为必要的动作资产改变的属性来确定多个物理资产中的每个物理资产是所需的还是任选的。因此，在各种具体实施中，针对多个物理资产中的每个物理资产确定物理资产是执行场景必需的还是可选的是基于虚拟资产的初始属性和虚拟资产的如由指定为必要的动作资产改变的属性。
206.举例来说，参考图2a至图2w，在各种具体实施中，场景包括第六动作资产，所述第六动作资产包括沮丧地踢物理垃圾桶的虚拟教授目标实现器对象。如果设备将基于虚拟资
产的初始属性和虚拟资产的如由动作资产改变的属性确定多个物理资产中的每个物理资产是所需的还是可选的，则这将渲染执行场景所需的物理垃圾桶。然而，如果设备将将基于虚拟资产的初始属性和虚拟资产的如由指定为非必要的动作资产(并且第六动作资产被指定为非必要的)改变的属性确定多个物理资产中的每个物理资产是所需的还是可选的，则物理垃圾桶仍是执行场景可选的。因此，在各种具体实施中，在执行场景时，设备可以基于物理环境和其中存在的物理对象选择性地渲染动作资产。
207.在各种具体实施中，方法800进一步包括接收用以提供场景预览的用户输入，并且响应于接收到用以提供场景预览的用户输入而通过与物理环境相关联地显示虚拟资产的表示来执行场景。例如，在图2w中，电子设备110接收与预览示能表示229交互的用户输入299w，并且在图3f至图3i和图4c至图4f中，通过与物理环境相关联地显示虚拟资产的表示来执行场景。
208.在各种具体实施中，执行场景包括扫描物理环境以确定物理环境是否包括对应于确定所需的每个物理资产的物理对象。例如，在图3a中，电子设备110扫描第一物理环境，并且在图4a中，电子设备110扫描第二物理环境。在各种具体实施中，执行场景进一步包括响应于确定物理环境包括对应于确定所需的每个物理资产的物理对象而与物理对象相关联地显示虚拟资产的表示。例如，在图3f中，电子设备110与第一物理环境的物理对象的表示相关联地显示虚拟资产的表示，并且在图4c中，电子设备110与第二物理环境的物理对象的表示相关联地显示虚拟资产的表示。
209.图9是根据一些具体实施的电子设备900的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备900包括一个或多个处理单元902(例如，微处理器、asic、fpga、gpu、cpu、处理核心等)、一个或多个输入/输出(i/o)设备和传感器906、一个或多个通信接口908(例如，usb、firewire、thunderbolt、ieee 802.3x、ieee 802.11x、ieee 802.16x、gsm、cdma、tdma、gps、ir、bluetooth、zigbee和/或类似类型的接口)、一个或多个编程(例如，i/o)接口910、一个或多个xr显示器912、一个或多个可选的面向内部和/或面向外部的图像传感器914、存储器920以及用于互连这些部件和各种其他部件的一条或多条通信总线904。
210.在一些具体实施中，该一条或多条通信总线904包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个i/o设备及传感器906包括惯性测量单元(imu)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
211.在一些具体实施中，一个或多个xr显示器912被配置为向用户呈现xr内容。在一些具体实施中，一个或多个显示器912对应于全息、数字光处理(dlp)、液晶显示器(lcd)、硅上液晶(lcos)、有机发光场效应晶体管(olet)、有机发光二极管(oled)、表面传导电子发射器显示器(sed)、场发射显示器(fed)、量子点发光二极管(qd-led)、微机电系统(mems)和/或类似显示器类型。在一些具体实施中，一个或多个xr显示器912对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备900包括单个xr显示器。在另一示例中，电子设备900对于用户的每只眼睛包括xr显示器。在一些具体实施中，一个或多个xr显示器912能够呈现ar、
mr和/或vr内容。
212.在各种具体实施中，一个或多个xr显示器912为视频透传显示器，其将物理环境的至少一部分显示为由场景相机所捕获的图像。在各种具体实施中，一个或多个xr显示器912为光学透传显示器，其至少部分为透明的并使由物理环境发射或反射的光通过。
213.在一些具体实施中，一个或多个图像传感器914被配置为获取对应于用户面部的至少一部分(包括用户的眼睛)的图像数据(并且可以被称为眼睛跟踪相机)。在一些具体实施中，一个或多个图像传感器914被配置为面向前方，以便获取对应于当不存在电子设备900时用户将看到的场景的图像数据(因而可以被称为场景相机)。一个或多个可选图像传感器914可包括一个或多个rgb相机(例如，具有互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器)、一个或多个红外(ir)相机、一个或多个基于事件的相机等。
214.存储器920包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备。在一些具体实施中，存储器920包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器920可选地包括与一个或多个处理单元902远程定位的一个或多个存储设备。存储器920包括非暂态计算机可读存储介质。在一些具体实施中，存储器920或者存储器920的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统930和xr呈现模块940。
215.操作系统930包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，xr呈现模块940被配置为经由一个或多个xr显示器912向用户呈现xr内容。为此，在各种具体实施中，xr呈现模块940包括数据获得单元942、场景构成单元944、xr呈现单元946和数据传输单元948。
216.在一些具体实施中，数据获得单元942被配置为获得数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。可以从一个或多个处理单元902或另一电子设备获得数据。为此，在各种具体实施中，数据获得单元942包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
217.在一些具体实施中，场景构成单元944被配置成提供用于构成用于与物理环境相关联地执行的场景的界面。为此，在各种具体实施中，场景构成单元944包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
218.在一些具体实施中，xr呈现单元946被配置为经由一个或多个xr显示器912呈现xr内容。例如，在各种具体实施中，xr呈现单元946被配置为与物理环境相关联地执行场景。为此，在各种具体实施中，xr呈现单元946包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
219.在一些具体实施中，数据传输单元948被配置为向一个或多个处理单元902、存储器920或另一电子设备传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输单元948包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
220.尽管数据获得单元942、场景构成单元944、xr呈现单元946和数据传输单元948被示为驻留在单个电子设备900上，但应当理解，在其他具体实施中，数据获得单元942、场景构成单元944、xr呈现单元946和数据传输单元948的任何组合可位于单独计算设备中。
221.此外，图9更多地用作可能存在于特定具体实施中的各种特征的功能描述，与本文所描述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图9中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
222.虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
223.还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
224.本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
225.如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。