利用映像的增强现实系统和方法与流程
本申请是申请日为2017年1月19日、pct国际申请号为pct/us2017/014180、中国国家阶段申请号为201780018133.3、发明名称为“利用映像的增强现实系统和方法”的申请的分案申请。
相关申请的交叉引用
本申请要求以下申请的优先权的权益：2016年2月11日提交的名称为“augmentedrealitysystemsandmethodsutilizingviewerreflections(利用观看者映像的增强现实系统和方法)”的美国临时申请no.62/294,147；2016年7月25日提交的名称为“augmentedrealitysystemsandmethodsutilizingreflections(利用映像的增强现实系统和方法)”的美国临时申请no.62/366,533；2016年12月29日提交的名称为“augmentedrealitysystemsandmethodsutilizingreflections(利用映像的增强现实系统和方法)”的美国临时申请no.62/440,336；2017年1月12日提交的名称为“利用映像的增强现实系统和方法”的美国临时申请no.62/445,630；2016年1月19日提交的名称为“augmentedrealitytelepresence(增强现实远端临场)”的美国临时申请no.62/280,519；2016年5月31日提交的名称为“mirrordetectionusingimage-basedcues(使用基于图像的线索的镜子检测)”的美国临时申请no.62/343,583；2016年3月30日提交的名称为“augmentedrealityworldmapsinthepresenceofreflectivesurfaces(存在反射表面情况下的增强现实世界地图)”的美国临时申请no.62/315,456；2016年5月31日提交的名称为“mirrordetectionusingsensor-basedcues(使用基于传感器的线索的镜子检测)”的美国临时申请no.62/343,636；2017年1月18日提交的名称为“augmentedrealitysystemsandmethodsutilizingreflections(利用映像的增强现实系统和方法)”的美国申请no.15/409,430。上述申请的公开内容通过引用全部并入本文中。
本申请还通过引用包含以下每个专利申请和公开的全部内容：2014年11月27日提交的美国申请no.14/555,585；2015年4月18日提交的美国申请no.14/690,401；2014年3月14日提交的美国申请no.14/212,961；2014年7月14日提交的美国申请no.14/331,218；以及2015年8月20日公布的美国申请公开no.2015/0235435。
本公开涉及增强现实成像和可视化系统。
背景技术：
所谓的“智能镜子”是这样的镜子：其在被激活之前看起来是普通的镜子。一旦被激活，该镜子便使用显示技术以图形方式将用户界面和其它可能的显示信息覆盖到镜子表面上。本文公开的系统和方法解决了与智能镜子技术相关的各种挑战。
技术实现要素：
在一些实施例中，提供了一种显示系统。所述显示系统包括可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述显示设备还包括一个或多个硬件处理器和包括计算机可执行指令的非暂时性计算机可读存储介质。当由所述一个或多个硬件处理器执行时，所述指令使所述一个或多个硬件处理器执行操作，所述操作包括：通过所述显示区域确定所述用户的映像(reflection)在所述用户的视野内；以及随后在所述显示区域中显示增强现实内容，所述增强现实内容增强所述映像。
在一些其它实施例中，提供了一种用于显示图像的方法。所述方法包括提供可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图。所述方法进一步包括通过所述显示区域确定所述用户的映像在所述用户的视野内；以及随后在所述显示区域中显示增强现实内容。所述增强现实内容增强所述映像。
在另外一些实施例中，提供了一种显示系统。所述显示系统包括可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述显示设备还包括一个或多个硬件处理器和包括计算机可执行指令的非暂时性计算机可读存储介质。当由所述一个或多个硬件处理器执行时，所述指令使所述一个或多个硬件处理器执行操作，所述操作包括：通过所述显示区域确定映像在所述用户的视野内。
在一些实施例中，提供了一种用于显示图像的方法。所述方法包括提供可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述方法进一步包括通过所述显示区域确定映像在所述用户的视野内。
在另外一些实施例中，一种显示系统包括可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述显示设备还包括：面向外的相机；一个或多个硬件处理器；以及包括计算机可执行指令的非暂时性计算机可读存储介质，当由所述一个或多个硬件处理器执行时，所述计算机可执行指令使所述一个或多个硬件处理器执行各种操作。所述操作包括使用所述面向外的相机被动地收集图像信息；确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。
在一些实施例中，提供了一种用于显示图像的方法。所述方法包括提供可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述显示设备还包括面向外的相机。所述方法进一步包括使用所述面向外的相机被动地收集图像信息；确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。
下面提供了其它示例性实施例。
下面是与利用映像的增强现实系统和方法相关的示例性实施例。
1.一种用于显示图像的方法，所述方法包括：提供可穿戴显示设备，所述可穿戴显示设备包括：显示区域，其包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；通过所述显示区域确定所述用户的映像在所述用户的视野内；以及随后在所述显示区域中显示增强现实内容，所述增强现实内容增强所述映像。
2.根据实施例1所述的方法，其中所述显示区域被配置为输出光以形成在多个深度平面上设定的多个图像，其中所述图像中的一个或多个包括所述增强现实内容。
3.根据实施例2所述的方法，其中所述显示设备包括波导的堆叠，所述波导中的至少一些包括所述光重定向特征，其中所述波导被配置为耦入(in-couple)来自光源的光并且耦出(out-couple)光以输出所述光来形成所述多个图像。
4.根据实施例3所述的方法，其中每个波导被配置为针对单个对应的深度平面输出图像。
5.根据实施例1所述的方法，其中所述可穿戴显示设备进一步包括相机，所述相机被配置为捕获所述用户的周围环境的图像。
6.根据实施例5所述的方法，其中确定所述用户的映像在所述用户的视野内包括：将由所述相机捕获的图像与所存储的图像信息进行比较以确定所捕获的图像与所存储的图像信息之间是否匹配。
7.根据实施例6所述的方法，其中所存储的图像信息包括所述用户的外观的独特特征。
8.根据实施例6所述的方法，其中所存储的图像信息包括所述可穿戴显示设备的独特特征。
9.根据实施例5所述的方法，其中确定所述用户的映像在所述用户的视野内进一步包括执行所述用户的虹膜识别。
10.根据实施例1所述的方法，进一步包括通过向所述用户提供光学或听觉信号中的一者或全部两者将所述用户吸引到反射表面。
11.根据实施例1所述的方法，其中确定所述用户的映像在所述用户的视野内包括检测指示反射表面的独特标识符。
12.根据实施例11所述的方法，其中所述独特标识符是所述反射表面上或邻近所述反射表面的视觉指示符，其中检测所述独特标识符包括利用所述相机捕获所述独特标识符的图像。
13.根据实施例11所述的方法，其中检测独特标识符包括检测广播电磁辐射的信标，其中所述可穿戴显示设备包括接收器，所述接收器被配置为接收所述电磁辐射，其中检测所述信标包括检测所述电磁辐射。
14.根据实施例1所述的方法，进一步包括，在随后显示增强现实内容之前：检测所述用户是静止的，其中直至确定所述用户是静止的才执行随后显示增强现实内容。
15.根据实施例1所述的方法，其中随后显示增强现实内容包括显示具有用户可选选项的虚拟菜单。
16.根据实施例15所述的方法，其中所述显示设备包括相机，所述相机被配置为检测用户的姿势或表情以选择所述用户可选选项。
17.根据实施例1所述的方法，其中所述显示设备包括相机，所述相机被配置为检测用户注视持续时间或瞳孔面积中的一者或全部两者，其中随后显示增强现实内容包括根据用户注视持续时间或瞳孔面积中的一者或全部两者而修改所述增强现实内容的类型和定时(timing)中的一者或全部两者。
18.根据实施例1所述的方法，其中所述显示设备包括相机，所述相机被配置为检测所述用户的情绪状态，其中随后显示增强现实内容包括基于所述用户的情绪状态显示增强现实内容。
19.根据实施例1所述的方法，进一步包括：确定所述用户的身份。
20.根据实施例19所述的方法，其中在确定所述用户的映像在所述用户的视野内之后执行确定所述用户的身份。
21.根据实施例19所述的方法，其中随后显示增强现实内容包括显示所述用户的独特信息。
22.根据实施例19所述的方法，进一步包括收集有关所述用户的活动的信息。
23.根据实施例1所述的方法，进一步包括将有关所述用户的活动的信息发送到与提供所述用户的映像的反射表面相关联的接收站。
24.根据实施例1所述的方法，进一步包括在随后显示增强现实内容之前确定所述用户的位置，其中随后显示增强现实内容包括：显示特定于所述用户的位置的增强现实内容。
25.根据实施例24所述的方法，其中显示增强现实内容包括显示来自所述用户所在的商店或商店的一部分的销售要约(salesoffer)。
26.根据实施例25所述的方法，进一步包括：确定所述用户的身份；访问所述用户的购买或浏览历史；以及根据所述购买或浏览历史生成销售要约。
27.根据实施例1所述的方法，其中所述增强现实内容包括覆盖所述用户的映像的衣服的图像。
28.根据实施例1所述的方法，其中所述增强现实内容包括覆盖所述用户的映像和修改所述用户的衣服的特性的图像。
29.根据实施例28所述的方法，其中所述特性包括颜色、纹理和图案中的一者或多者。
30.根据实施例1所述的方法，进一步包括将所述增强现实内容和所述用户的映像中的一者或全部两者分发给一个或多个其他用户。
31.根据实施例1所述的方法，进一步包括通过将所述增强现实内容上传到除所述用户之外的个人可访问的远程服务器来共享所述增强现实内容。
32.根据实施例1所述的方法，其中所述增强现实内容包括补充重复使用的产品的警报。
33.根据实施例32所述的方法，其中所述警报是美容警报，所述美容警报包括补充美容产品的提醒。
34.根据实施例1所述的方法，进一步包括：跨延长的时间间隔捕获所述用户的一个或多个图像；存储所述图像或从所述图像导出的数据；以及执行当前图像与所存储的图像或数据之间的比较，其中随后显示增强现实内容包括显示所述比较的结果。
35.根据实施例34所述的方法，其中显示所述比较的结果包括显示所述用户的一个或多个较早的图像。
36.根据实施例34所述的方法，其中显示所述比较的结果包括显示健康或美容产品或者健康或美容治疗的建议。
37.根据实施例36所述的方法，其中显示建议包括：显示所述健康或美容产品或者健康或美容治疗的选项；以及通过用所述用户的映像覆盖预期结果的图像来显示所述健康或美容产品或者健康或美容治疗的所述预期结果。
38.根据实施例34所述的方法，其中所述延长的时间间隔包括多个月或多年。
39.根据实施例34所述的方法，其中每天执行捕获一个或多个图像。
40.根据实施例34所述的方法，其中执行比较包括执行健康分析。
41.根据实施例40所述的方法，其中执行健康分析包括检测体形、皮肤苍白度、皮肤特征的变化。
42.根据实施例40所述的方法，其中执行健康分析包括实时地与医务人员交互。
43.根据实施例1所述的方法，其中所述增强现实内容包括执行任务的警报。
44.根据实施例43所述的方法，其中所述任务是重复的任务。
45.根据实施例43所述的方法，其中所述重复的任务包括用牙线清洁牙齿、服用药物和订购药物中的一者或多者。
46.根据实施例1所述的方法，其中所述增强现实内容包括所述用户的医学信息。
47.根据实施例46所述的方法，其中所述医学信息包括体重、身高和体重指数中的一者或多者。
48.根据实施例1所述的方法，进一步包括访问来自秤、温度计、血压计和心率监测器中的一者或多者的数据，其中随后显示增强现实内容包括显示所访问的数据或从所访问的数据导出的信息中的一者或全部两者。
49.根据实施例1所述的方法，进一步包括：从不同角度捕获所述用户的多个图像；检测当前图像与参考图像或参考数据之间的差异；其中随后显示增强现实内容包括显示检测差异的结果。
50.根据实施例1所述的方法，其中随后显示增强现实内容包括将医学成像覆盖到所述用户的映像上。
51.根据实施例1所述的方法，其中随后显示增强现实内容包括将运动图像覆盖到所述用户的映像上，所述运动图像包括人的线图或图像，其中所述人的线图或图像显示与特定运动相关的动作和身体姿势。
52.根据实施例1所述的方法，其中随后显示增强现实内容包括显示用于确定所述用户的映像的尺寸的虚拟标尺。
53.一种显示系统，包括：可穿戴显示设备，其包括：显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；硬件处理器；以及包括计算机可执行指令的非暂时性计算机可读存储介质，当由所述硬件处理器执行时，所述计算机可执行指令配置所述硬件处理器执行操作，所述操作包括：通过所述显示区域确定所述用户的映像在所述用户的视野内；以及随后在所述显示区域中显示增强现实内容，所述增强现实内容增强所述映像。
54.根据实施例53所述的系统，其中所述显示区域包括多组光重定向特征，所述多组光重定向特征被配置为在多个深度平面上输出多个图像，每组光定向特征被配置为输出光以在所述多个深度平面中的一个上形成图像。
55.根据实施例54所述的系统，其中所述显示设备包括波导的堆叠，所述波导中的至少一些包括所述光重定向特征，其中所述波导被配置为耦入来自光源的光并且耦出光以输出所述光来形成所述多个图像。
56.根据实施例55所述的系统，其中每个波导被配置为针对单个对应的深度平面输出图像。
57.根据实施例53所述的系统，其中所述可穿戴显示设备进一步包括相机，所述相机被配置为捕获所述用户的周围环境的图像。
58.根据实施例53所述的系统，其中确定所述用户的映像在所述用户的视野内包括：将由所述相机捕获的图像与所存储的图像信息进行比较，以确定所捕获的图像与所存储的图像信息之间是否匹配。
59.根据实施例58所述的系统，其中所存储的图像信息包括所述用户的外观的独特特征。
60.根据实施例59所述的系统，其中所存储的图像信息包括所述可穿戴显示设备的独特的光学可观察特征。
61.根据实施例58所述的系统，其中确定所述用户的映像在所述用户的视野内进一步包括执行所述用户的虹膜识别。
62.根据实施例53所述的系统，其中确定所述用户的映像在所述用户的视野内包括检测指示反射表面的独特标识符的存在。
63.根据实施例53所述的系统，其中所述操作进一步包括，在随后显示增强现实内容之前：检测所述用户是静止的，其中直至确定所述用户是静止的才执行随后显示增强现实内容。
64.根据实施例53所述的系统，其中随后显示增强现实内容包括显示具有用户可选选项的虚拟菜单。
65.根据实施例64所述的系统，其中所述显示设备包括相机，所述相机被配置为检测用户的姿势或表情以选择所述用户可选选项。
66.根据实施例64所述的系统，其中所述显示设备包括相机，所述相机被配置为检测用户注视持续时间或瞳孔面积中的一者或全部两者，其中随后显示增强现实内容包括根据用户注视持续时间或瞳孔面积中的一者或全部两者修改所述增强现实内容的类型和定时中的一者或全部两者。
67.根据实施例53所述的系统，其中所述显示设备包括相机，所述相机被配置为检测所述用户的情绪状态，其中随后显示增强现实内容包括基于所述用户的情绪状态显示增强现实内容。
68.根据实施例53所述的系统，其中所述操作进一步包括：确定所述用户的身份。
69.根据实施例68所述的系统，其中在确定所述用户的映像在所述用户的视野内之后执行确定所述用户的身份。
70.根据实施例68所述的系统，其中随后显示增强现实内容包括显示所述用户的独特信息。
71.根据实施例68所述的系统，其中所述操作进一步包括收集有关所述用户的活动的信息。
72.根据实施例53所述的系统，其中所述操作进一步包括将有关所述用户的活动的信息发送到与提供所述用户的映像的反射表面相关联的接收站。
73.根据实施例53所述的系统，其中所述操作进一步包括在随后显示增强现实内容之前确定所述用户的位置，其中随后显示增强现实内容包括：显示特定于所述用户的位置的增强现实内容。
74.根据实施例74所述的系统，其中显示增强现实内容包括显示来自所述用户所在的商店或商店的一部分的销售要约。
75.根据实施例74所述的系统，其中所述操作进一步包括：确定所述用户的身份；访问所述用户的购买或浏览历史；以及根据所述购买或浏览历史生成销售要约。
76.根据实施例53所述的系统，其中所述增强现实内容包括覆盖所述用户的映像的衣服的图像。
77.根据实施例53所述的系统，其中所述增强现实内容包括覆盖所述用户的映像和修改所述用户的衣服的特性的图像。
78.根据实施例77所述的系统，其中所述特性包括颜色、纹理和图案中的一者或多者。
79.根据实施例53所述的系统，其中所述操作进一步包括将所述增强现实内容和所述用户的映像中的一者或全部两者分发给一个或多个其他用户。
80.根据实施例53所述的系统，其中所述操作进一步包括通过将所述增强现实内容上传到除所述用户之外的个人可访问的远程服务器来共享所述增强现实内容。
81.根据实施例53所述的系统，其中所述增强现实内容包括补充重复使用的产品的警报。
82.根据实施例81所述的系统，其中所述警报是美容警报，所述美容警报包括补充美容产品的提醒。
83.根据实施例53所述的系统，其中所述操作进一步包括：跨延长的时间间隔捕获所述用户的一个或多个图像；存储所述图像或从所述图像导出的数据；以及执行当前图像与所存储的图像或数据之间的比较，其中随后显示增强现实内容包括显示所述比较的结果。
84.根据实施例83所述的系统，其中显示所述比较的结果包括显示所述用户的一个或多个较早的图像。
85.根据实施例83所述的系统，其中显示所述比较的结果包括显示健康或美容产品或者健康或美容治疗的建议。
86.根据实施例85所述的系统，其中显示建议包括：显示所述健康或美容产品或者健康或美容治疗的选项；以及通过用所述用户的映像覆盖预期结果的图像来显示所述健康或美容产品或者健康或美容治疗的所述预期结果。
87.根据实施例83所述的系统，其中所述延长的时间间隔包括多个月或多年。
88.根据实施例83所述的系统，其中每天执行捕获一个或多个图像。
89.根据实施例83所述的系统，其中执行比较包括执行健康分析。
90.根据实施例89所述的系统，其中执行健康分析包括检测体形、皮肤苍白度、皮肤特征的变化。
91.根据实施例90所述的方法，其中执行健康分析包括实时地与医务人员交互。
92.根据实施例53所述的系统，其中所述增强现实内容包括执行任务的警报。
93.根据实施例92所述的系统，其中所述任务是重复的任务。
94.根据实施例93所述的系统，其中所述重复的任务包括用牙线清洁牙齿、服用药物和订购药物中的一者或多者。
95.根据实施例53所述的系统，其中所述增强现实内容包括所述用户的医学信息。
96.根据实施例95所述的系统，其中所述医学信息包括体重、身高和体重指数中的一者或多者。
97.根据实施例96所述的系统，其中所述操作进一步包括访问来自秤、温度计、血压计和心率监测器中的一者或多者的数据，其中随后显示增强现实内容包括显示所访问的数据或从所访问的数据导出的信息中的一者或全部两者。
98.根据实施例53所述的系统，其中所述操作进一步包括：从不同角度捕获所述用户的多个图像；检测当前图像与参考图像或参考数据之间的差异；其中随后显示增强现实内容包括显示检测差异的结果。
99.根据实施例53所述的系统，其中随后显示增强现实内容包括将医学成像覆盖到所述用户的映像上。
100.根据实施例53所述的系统，其中随后显示增强现实内容包括将运动图像覆盖到所述用户的映像上，所述运动图像包括人的线图或图像，其中所述人的线图或图像显示与特定运动相关的动作和身体姿势。
101.根据实施例53所述的系统，其中随后显示增强现实内容包括显示用于确定所述用户的映像的尺寸的虚拟标尺。
102.一种显示系统，包括：可穿戴显示设备，其包括：显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；硬件处理器；以及包括计算机可执行指令的非暂时性计算机可读存储介质，当由所述硬件处理器执行时，所述计算机可执行指令配置所述硬件处理器执行操作，所述操作包括：通过所述显示区域确定映像在所述用户的视野内。
103.根据实施例102所述的显示系统，其中确定所述映像在所述用户的视野内包括：分析所述映像的图像，以及确定所述映像中的方向特征是否被反转。
104.根据实施例102所述的显示系统，其中所述用户在所述映像中，并且其中所述操作进一步包括：捕获所述用户的映像的图像；以及基于所捕获的所述用户的图像执行健康分析。
105.根据实施例104所述的显示系统，其中所述健康分析包括神经学测试。
106.根据实施例104所述的显示系统，其中所述健康分析包括以下一者或多者：颅神经测试、运动检查、可观察到的身体异常的检查、肌肉张力和体积的检查、肌肉的功能测试、个体肌肉群的力量测试、反射测试、协调测试和步态测试。
107.根据实施例102所述的显示系统，其中所述操作进一步包括与其它显示系统共享有关所述映像的信息。
108.根据实施例107所述的显示系统，其中所述操作进一步包括：从另一显示系统接收共享信息，以及显示与所述另一显示系统的用户所体验的视图相对应的增强现实内容。
109.根据实施例102所述的显示系统，其中所述显示系统被配置为确定由曲面镜提供的放大率。
110.根据实施例109所述的显示系统，其中所述显示系统被配置为在显示所述映像中的特征的图像的同时校正所述放大率。
111.根据实施例109所述的显示系统，其中所述显示系统被配置为在确定所述映像中的特征的尺寸的同时校正所述放大率。
112.一种用于显示图像的方法，所述方法包括：提供可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；通过所述显示区域确定映像在所述用户的视野内。
113.根据实施例111所述的方法，其中确定所述映像在所述用户的视野内包括分析所述映像的图像，并确定所述映像中的方向特征是否被反转。
114.根据实施例111所述的方法，其中所述用户在所述映像中，并且进一步包括：捕获所述用户的映像的图像；以及基于所捕获的所述用户的图像执行健康分析。
115.根据实施例113所述的方法，其中所述健康分析包括神经学测试。
116.根据实施例113所述的方法，其中执行所述健康分析包括执行以下一者或多者：颅神经测试、运动检查、可观察到的身体异常的检查、肌肉张力和体积的检查、肌肉的功能测试、个体肌肉群的力量测试、反射测试、协调测试和步态测试。
117.根据实施例113所述的方法，进一步包括与其它显示系统共享有关所述映像的信息。
118.根据实施例113所述的方法，进一步包括：从另一显示系统接收共享信息，以及显示与所述另一显示系统的用户所体验的视图相对应的增强现实内容。
119.根据实施例111所述的方法，进一步包括确定由曲面镜提供的放大率。
120.根据实施例118所述的方法，进一步包括在显示所述映像中的特征的图像的同时校正所述放大率。
121.根据实施例118所述的方法，进一步包括在校正所述放大率的同时确定所述映像中的特征的尺寸。
122.一种显示系统，包括：可穿戴显示设备，其包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；面向外的相机；硬件处理器；以及包括计算机可执行指令的非暂时性计算机可读存储介质，当由所述硬件处理器执行时，所述计算机可执行指令配置所述硬件处理器执行操作，所述操作包括：使用所述面向外的相机被动地收集图像信息；确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。
123.根据实施例120所述的显示系统，其中所述硬件处理器被配置为在所述用户穿戴着所述可穿戴显示设备的同时基本连续地被动地收集所述图像信息，并且间歇地确定所述图像信息包含与所述健康分析相关的数据。
124.根据实施例120所述的显示系统，其中所述硬件处理器被配置为在多个周的持续时间内重复地执行所述健康分析。
125.根据实施例120所述的显示系统，其中所述图像信息包括静止图像。
126.根据实施例120所述的显示系统，其中所述图像信息包括视频。
127.一种用于显示图像的方法，所述方法包括：提供可穿戴显示设备，所述可穿戴显示设备包括：显示区域，其包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；以及面向外的相机；使用所述面向外的相机被动地收集图像信息；确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。
128.根据实施例125所述的方法，其中在所述用户穿戴着所述可穿戴显示设备的同时基本连续地执行被动地收集所述图像信息，并且其中在所述用户穿戴着所述可穿戴显示设备的同时间歇地执行确定所述图像信息是否包含与健康分析相关的数据。
129.根据实施例125所述的方法，进一步包括在多个周的持续时间内重复以下操作：确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。
130.根据实施例125所述的方法，其中被动地收集图像信息包括收集静止图像。
131.根据实施例125所述的方法，其中被动地收集图像信息包括收集视频。
以下是涉及使用基于图像的线索的镜子检测的示例性实施例。
1.一种用于检测环境中的镜子的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为对用户周围的环境进行成像的面向外的成像系统：使用所述面向外的成像系统获得所述环境的图像，所述图像包括目标对象，其中所述目标对象可以包括至少部分地围绕所述镜子的框架；至少部分地基于对所述图像的分析来识别指示所述镜子的线索；至少部分地基于所识别的线索确认所述镜子的存在；以及至少部分地基于所确认的所述环境中的所述镜子的存在执行动作。
2.根据实施例1所述的方法，其中识别所述线索包括：识别所述图像中的第一多个关键点；访问所述环境的世界地图，其中所述世界地图包括有关所述环境中的实体对象的信息；识别所述世界地图中的第二多个关键点；以及将所述第一多个关键点与所述第二多个关键点进行比较，以确定所述第一多个关键点是否为所述第二多个关键点在所述镜子中的映像。
3.根据实施例2所述的方法，其中将所述第一多个关键点与所述第二多个关键点进行比较包括确定由所述第一多个关键点形成的第一几何形状与由所述第二多个关键点形成的第二几何形状之间的几何关系。
4.根据实施例2或实施例3所述的方法，其中所述第一多个关键点包括第一相邻关键点三元组，并且其中所述第二多个关键点包括第二相邻关键点三元组。
5.根据实施例4所述的方法，其中确定所述第一多个关键点是否为所述第二多个关键点在所述镜子中的映像包括：确定所述第一相邻关键点三元组之间的开放角和所述第二相邻关键点三元组之间的开放角。
6.根据实施例3至5中任一项所述的方法，其中确定由所述第一多个关键点形成的所述第一几何形状与由所述第二多个关键点形成的所述第二几何形状之间的几何关系包括分别轴向变换所述第一几何形状或所述第二几何形状。
7.根据实施例2至6中任一项所述的方法，其中所述线索包括以下一者或多者：所述第一多个关键点与所述第二多个关键点之间的匹配；或所述第一几何形状与所述第二几何形状之间的匹配。
8.根据实施例1至7中任一项所述的方法，其中识别所述线索包括在所述环境的图像中识别所述目标对象中的反射对象。
9.根据实施例8所述的方法，其中所述反射对象包括所述用户的头部的镜像、所述ard的镜像、所述环境中的实体对象的镜像、或所述环境中的文本的镜像。
10.根据实施例1至9中任一项所述的方法，其中识别所述线索包括：识别所述目标对象的边界；测量所述目标对象的边界处的第一深度；测量出现在所述目标对象的边界内的对象的第二深度；以及比较所述第一深度与所述第二深度以确定所述第一深度是否与所述第二深度匹配。
11.根据实施例10所述的方法，其中所述线索包括所述第一深度与所述第二深度之间的不匹配。
12.根据实施例1至11中任一项所述的方法，其中识别所述线索包括识别所述环境的图像中的所述目标对象的特征。
13.根据实施例12所述的方法，其中所述特征包括以下一者或多者：尺寸、位置、表面法线、框架、形状或与所述目标对象相关联的标签。
14.根据实施例13所述的方法，其中所述标签包括光学标签，所述光学标签包含指示所述镜子的存在的信息。
15.根据实施例1至14中任一项所述的方法，其中确认所述镜子的存在包括由所述ard向与所述目标对象相关联的标签发送信号，并从所述标签接收响应，其中所述响应包括指示所述镜子的存在的信息。
16.根据实施例1至14中任一项所述的方法，其中确认所述镜子的存在包括从与目标对象相关联的标签接收信号，其中所述信号包括指示所述镜子的存在的信息。
17.根据实施例15或16所述的方法，其中所述信号包括电磁信号或声信号。
18.根据实施例1至17中任一项所述的方法，其中执行动作包括：访问所述环境的世界地图；以及至少部分地基于所确认的所述镜子的存在更新所述环境的世界地图。
19.根据实施例1至18中任一项所述的方法，其中执行动作包括响应于对所述镜子的存在的确认，使用所述镜子进行远端临场会话。
20.根据实施例1至19中任一项所述的方法，其中所述目标对象包括以下一者或多者：门道、窗户或镜子。
21.一种用于检测环境中的反射表面的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为对用户周围的环境进行成像的面向外的成像系统：使用所述面向外的成像系统获得所述环境的图像，所述图像包括目标对象，其中所述目标对象可以包括反射表面；至少部分地基于对所述图像的分析来识别指示所述反射表面的线索；以及至少部分地基于所识别的线索确认所述反射表面的存在。
22.根据实施例21所述的方法，其中识别所述线索包括：识别由所述图像中的第一多个关键点形成的第一几何图形；访问所述环境的世界地图，其中所述世界地图包括有关所述环境中的实体对象的信息；识别由所述世界地图中的第二多个关键点形成的第二几何图形；以及计算所述第一几何图形与所述第二几何图形之间的几何关系，以确定所述第一几何图形是否为所述第二几何图形的反射图像。
23.根据实施例22所述的方法，其中所述第一多个关键点包括第一关键点三元组，并且其中所述第二多个关键点包括第二关键点三元组。
24.根据实施例23所述的方法，其中计算所述几何关系包括：确定所述第一关键点三元组之间的开放角和所述第二关键点三元组之间的开放角。
25.根据实施例22至24中任一项所述的方法，其中计算所述几何关系包括分别轴向变换所述第一几何形状或所述第二几何形状。
26.根据实施例22至25中任一项所述的方法，其中计算所述几何关系包括确定所述第一几何形状的第一尺寸与所述第二几何形状的第二尺寸之间的放大量。
27.根据实施例22至26中任一项所述的方法，其中所述线索包括所述第一几何形状与所述第二几何形状之间的匹配。
28.根据实施例21至27中任一项所述的方法，其中识别所述线索包括在所述环境的图像中识别所述目标对象中的反射对象。
29.根据实施例28所述的方法，其中所述反射对象包括所述用户的头部的镜像、所述ard的镜像、所述环境中的实体对象的镜像、或所述环境中的文本的镜像。
30.根据实施例21至29中任一项所述的方法，其中识别所述线索包括：识别所述目标对象的边界；测量所述目标对象的边界处的第一深度；测量出现在所述目标对象的边界内的对象的第二深度；以及比较所述第一深度与所述第二深度以确定所述第一深度是否与所述第二深度匹配。
31.根据实施例30所述的方法，其中所述线索包括所述第一深度与所述第二深度之间的不匹配。
32.根据实施例21至31中任一项所述的方法，其中识别所述线索包括识别所述环境的图像中的所述目标对象的特征。
33.根据实施例32所述的方法，其中所述特征包括以下一者或多者：尺寸、位置、表面法线、框架、形状或与所述目标对象相关联的标签。
34.根据实施例33所述的方法，其中所述标签包括光学标签，所述光学标签包含指示所述反射表面的存在的信息。
35.根据实施例21至34中任一项所述的方法，其中确认所述反射表面的存在包括由所述ard向与所述目标对象相关联的标签发送信号，并从所述标签接收响应，其中所述响应包括指示所述反射表面的存在的信息。
36.根据实施例21至34中任一项所述的方法，其中确认所述反射表面的存在包括从与目标对象相关联的标签接收信号，其中所述信号包括指示所述反射表面的存在的信息。
37.根据实施例35或36所述的方法，其中所述信号包括电磁信号或声信号。
38.根据实施例21至37中任一项所述的方法，其中执行动作包括：访问所述环境的世界地图；以及至少部分地基于所确认的所述反射表面的存在更新所述环境的世界地图。
39.根据实施例21至38中任一项所述的方法，其中执行动作包括响应于对所述反射表面的存在的确认，使用所述反射表面进行远端临场会话。
40.根据实施例21至39中任一项所述的方法，其中所述目标对象包括以下一者或多者：门道、窗户或镜子。
41.一种增强现实设备(ard)，包括计算机硬件和被配置为对用户周围的环境进行成像的面向外的成像系统，所述增强现实系统被编程为执行实施例1至40中的任一方法。
以下是涉及使用基于传感器的线索的镜子检测的示例性实施例。
1.一种用于检测环境中的镜子的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为对用户周围的环境进行成像的面向外的相机和被配置为确定所述环境中的实体对象的移动的惯性测量单元(imu)：检测所述实体对象在目标对象中的反射图像，其中所述目标对象可以是镜子；收集与所述反射图像相关联的第一移动数据；收集与所述实体对象相关联的第二移动数据；将所述第一移动数据与所述第二移动数据进行比较，以识别指示所述镜子的存在的线索；以及至少部分地基于所识别的线索确认所述镜子的存在。
2.根据实施例1所述的方法，其中所述实体对象包括所述用户的身体的至少一部分。
3.根据实施例2所述的方法，其中所述实体对象包括所述用户的头部或手。
4.根据实施例1至3中任一项所述的方法，其中收集所述第一移动数据和收集所述第二移动数据由所述面向外的相机执行。
5.根据实施例4所述的方法，其中所述第一移动数据包括指示所述反射图像在一时间段内的位置变化的图像，并且其中所述第二移动数据包括指示所述实体对象在所述时间段内的位置变化的图像。
6.根据实施例1至3中任一项所述的方法，其中收集所述第一移动数据由所述面向外的相机执行，并且收集所述第二移动数据由所述imu执行。
7.根据实施例6所述的方法，其中所述第一移动数据包括指示所述反射图像在一时间段内的位置变化的图像，并且其中所述第二移动数据包括所述实体对象在所述时间段内的位置变化。
8.根据实施例5或实施例7所述的方法，其中将所述第一移动数据与所述第二移动数据进行比较以识别所述线索包括：产生与所述反射图像相关联的第一轨迹，所述第一轨迹至少部分地基于所述第一移动数据；产生与所述反射图像相关联的第二轨迹，所述第二轨迹至少部分地基于所述第二移动数据；以及计算所述第一轨迹和所述第二轨迹的协方差。
9.根据实施例8所述的方法，其中所述线索包括确定所述协方差小于阈值。
10.根据实施例1至9中任一项所述的方法，其中确认所述镜子的存在包括由所述ard向与所述目标对象相关联的标签发送信号，并从所述标签接收响应，其中所述响应包括指示所述镜子的存在的信息。
11.根据实施例1至10中任一项所述的方法，其中确认所述镜子的存在包括从与目标对象相关联的标签接收信号，其中所述信号包括指示所述镜子的存在的信息。
12.根据实施例10或实施例11所述的方法，其中所述信号包括电磁信号或声信号。
13.一种用于检测环境中的反射表面的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为对用户周围的环境进行成像的面向外的相机和被配置为跟踪所述环境中的实体对象的移动的惯性测量单元(imu)：检测实体对象在目标对象中的反射图像，其中所述目标对象可以包括反射表面；收集与所述反射图像相关联的第一移动数据；收集与所述实体对象相关联的第二移动数据；将所述第一移动数据与所述第二移动数据进行比较，以识别指示所述反射表面的存在的线索。
14.根据实施例13所述的方法，其中所述实体对象包括所述用户的身体的至少一部分。
15.根据实施例14所述的方法，其中所述实体对象包括所述用户的头部或手。
16.根据实施例13至15中任一项所述的方法，其中收集所述第一移动数据和收集所述第二移动数据包括：由所述面向外的相机在一时间段内获得图像；识别在所述图像中所述反射图像的各个位置；基于所识别的所述反射图像的各个位置计算第一轨迹；识别在所述图像中所述实体对象的各个位置；以及基于所识别的所述实体对象的各个位置计算第二轨迹。
17.根据实施例13至15中任一项所述的方法，其中收集所述第一移动数据由所述面向外的相机执行，并且收集所述第二移动数据由所述imu执行。
18.根据实施例13至17中任一项所述的方法，其中识别所述线索包括：计算所述第一移动数据与所述第二移动数据之间的协方差；以及确定所述协方差是否小于阈值。
19.根据实施例18所述的方法，其中响应于确定所述协方差小于所述阈值而识别所述线索。
20.一种用于检测环境中的反射表面的增强现实(ar)系统，所述ar系统包括：被配置为对用户周围的环境进行成像的面向外的相机；被配置为测量一对象的移动的惯性测量单元；以及被配置为执行实施例1至19中的任一方法的硬件处理器。
21.一种用于检测环境中的反射表面的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为发送信号或接收来自所述ard外部的一对象的信号的多个传感器：识别目标对象，其中所述目标对象可包括反射表面；向所述目标对象附近的区域发送信号；从与所述目标对象相关联的一对象接收所述信号的反馈；以及分析所述反馈以确认所述目标对象包括反射表面。
22.根据实施例21所述的方法，其中所述信号包括电磁信号或声信号。
23.根据实施例22所述的方法，其中电磁信号包括光信号。
24.根据实施例23所述的方法，其中发送所述信号包括使光束朝着所述目标对象闪烁。
25.根据实施例21所述的方法，其中所述反馈包括被所述目标对象反射的所述信号的一部分。
26.根据实施例21至25中任一项所述的方法，其中所述目标对象包括镜子。
27.根据实施例21至26中任一项所述的方法，其中分析所述反馈包括：确定所述反馈的强度；以及如果所述反馈的强度超过阈值，则确认所述目标对象包括反射表面。
28.一种用于检测用户环境中的反射表面的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为发送信号或接收来自所述ard外部的目标对象的信号的多个传感器：接收指示反射表面在所述环境中的存在的信号；识别可能与所接收的信号相关联的所述目标对象；以及确认所述目标对象与所述反射表面相关联。
29.根据实施例28所述的方法，其中所述信号包括电磁信号或声信号。
30.根据实施例28或实施例29所述的方法，其中所述目标对象包括被配置为发射所述信号的射频识别标记(tag)。
31.根据实施例28所述的方法，其中确认所述目标对象与所述反射表面相关联包括：使用所述ard的成像系统获得所述环境的图像，所述图像包括所述目标对象；以及至少部分地基于对所述图像的分析来识别线索。
32.根据实施例31所述的方法，其中识别所述线索包括：识别所述图像中的第一多个关键点；访问所述环境的世界地图，其中所述世界地图包括有关所述环境中的实体对象的信息；识别所述世界地图中的第二多个关键点；将所述第一多个关键点与所述第二多个关键点进行比较，以确定所述第一多个关键点是否为所述第二多个关键点在所述反射表面中的映像。
33.根据实施例32所述的方法，其中将所述第一多个关键点与所述第二多个关键点进行比较包括确定由所述第一多个关键点形成的第一几何形状与由所述第二多个关键点形成的第二几何形状之间的几何关系。
34.根据实施例32或实施例33所述的方法，其中所述第一多个关键点包括第一相邻关键点三元组，并且其中所述第二多个关键点包括第二相邻关键点三元组。
35.根据实施例34所述的方法，其中确定所述第一多个关键点是否为所述第二多个关键点在所述镜子中的映像包括：确定所述第一相邻关键点三元组之间的开放角和所述第二相邻关键点三元组之间的开放角。
36.根据实施例33至35中任一项所述的方法，其中确定由所述第一多个关键点形成的所述第一几何形状与由所述第二多个关键点形成的所述第二几何形状之间的几何关系包括分别轴向变换所述第一几何形状或所述第二几何形状。
37.根据实施例32至36中任一项所述的方法，其中所述线索包括以下一者或多者：所述第一多个关键点与所述第二多个关键点之间的匹配；或所述第一几何形状与所述第二几何形状之间的匹配。
38.根据实施例31至37中任一项所述的方法，其中识别所述线索包括在所述环境的图像中识别所述目标对象中的反射对象。
39.根据实施例38所述的方法，其中所述反射对象包括所述用户的头部的镜像、所述ard的镜像、所述环境中的实体对象的镜像、或所述用户的所述环境中的文本的镜像。
40.根据实施例31至39中任一项所述的方法，其中识别所述线索包括：识别所述目标对象的边界；测量所述目标对象的边界处的第一深度；测量出现在所述目标对象的边界内的对象的第二深度；以及比较所述第一深度与所述第二深度以确定所述第一深度是否与所述第二深度匹配。
41.根据实施例40所述的方法，其中所述线索包括所述第一深度与所述第二深度之间的不匹配。
42.根据实施例31至41中任一项所述的方法，其中识别所述线索包括识别所述环境的图像中的所述目标对象的特征。
43.根据实施例42所述的方法，其中所述特征包括以下一者或多者：尺寸、位置、表面法线、框架、形状或与所述目标对象相关联的标签。
44.根据实施例43所述的方法，其中所述标签包括光学标签，所述光学标签包含指示所述镜子的存在的信息。
45.根据实施例28所述的方法，其中确认所述目标对象与所述反射表面相关联包括：检测实体对象在所述目标对象中的反射图像；收集与所述反射图像相关联的第一移动数据；收集与所述目标对象相关联的第二移动数据；将所述第一移动数据与所述第二移动数据进行比较，以识别指示所述反射表面的存在的线索。
46.根据实施例45所述的方法，其中所述实体对象包括所述用户的身体的至少一部分。
47.根据实施例46所述的方法，其中所述实体对象包括所述用户的头部或手。
48.根据实施例45至47中任一项所述的方法，其中收集所述第一移动数据和收集所述第二移动数据包括：由面向外的相机在一时间段内获得图像；识别在所述图像中所述反射图像的各个位置；基于所识别的所述反射图像的各个位置计算第一轨迹；识别在所述图像中所述实体对象的各个位置；以及基于所识别的所述实体对象的各个位置计算第二轨迹。
49.根据实施例45至47中任一项所述的方法，其中收集所述第一移动数据由所述ar系统的面向外的成像系统执行，并且收集所述第二移动数据由所述ar系统的惯性测量单元执行。
50.根据实施例45至49中任一项所述的方法，其中识别所述线索包括：计算所述第一移动数据与所述第二移动数据之间的协方差；以及确定所述协方差是否小于阈值。
51.根据实施例50所述的方法，其中响应于确定所述协方差小于所述阈值而识别所述线索。
52.一种增强现实系统，包括一个或多个传感器，并且被配置为执行实施例21至51中的任一方法。
以下是涉及在存在反射表面的情况下的增强现实世界地图的示例性实施例。
1.一种用于校正三维(3d)世界地图的方法，所述方法包括：在包括计算机硬件的增强现实(ar)系统的控制下，所述ar系统包括被配置为对用户周围的环境进行成像的面向外的相机，所述ar系统与存储所述3d世界地图的数据存储器通信：通过所述面向外的相机检测所述用户周围的环境中的反射表面的存在；确定与所述反射表面相关联的信息；从所述数据存储器访问与所述环境相关联的3d视觉地图；以及至少部分地基于与所述反射表面相关联的所确定的信息更新所述3d世界地图。
2.根据实施例1所述的方法，其中所述反射表面包括镜子的反射表面。
3.根据实施例1所述的方法，其中所述检测所述反射表面的存在包括以下一者或多者：通过所述面向外的相机检测所述用户在所述反射表面上的反射图像；检测与所述反射表面相关联的光学标签；确定所述反射表面与支撑所述反射表面的壁之间的深度不连续性；或接收与所述反射表面的存在相关联的信号。
4.根据实施例1至3中任一项所述的方法，其中确定与所述反射表面相关联的信息包括确定所述环境中的对象的反射图像的存在。
5.根据实施例1至3中任一项所述的方法，其中确定与所述反射表面相关联的信息包括确定以下一者或多者：所述镜子的大小、形状、位置或语义信息。
6.根据实施例1至5中任一项所述的方法，其中更新所述3d世界地图包括从所述3d视觉地图移除由所述环境中的对象的反射图像导致的伪影(artifact)。
7.根据实施例6所述的方法，其中所述伪影包括所述环境中的所述对象的反射图像。
8.一种用于生成三维(3d)世界地图的方法，所述方法包括：在包括计算机硬件的增强现实(ar)系统的控制下，所述ar系统包括被配置为对用户周围的环境进行成像的面向外的相机，所述ar系统与存储所述3d世界地图的数据存储器通信：通过所述面向外的相机检测所述用户周围的环境中的反射表面的存在；确定与所述反射表面相关联的信息；确定所述环境中的对象的反射图像的存在；以及至少部分地基于与所述反射表面相关联的所确定的信息生成3d世界地图，其中所述3d世界地图将对象的反射图像正确地识别为非实体对象。
9.根据实施例8所述的方法，其中生成所述3d世界地图包括不将所述对象的反射图像解释为所述环境中的实际对象。
10.根据实施例8或9所述的方法，其中生成所述3d世界地图包括在所述世界地图中包括所述对象的反射图像，并将所述对象的反射图像标记为反射图像。
11.根据实施例8至10中任一项所述的方法，其中生成所述3d世界地图包括排除所述世界地图中的所述对象的反射图像。
12.一种用于校正三维(3d)世界地图的增强现实(ar)系统，所述增强现实系统包括：被配置为获取用户周围的环境的图像的面向外的相机；存储所述3d世界地图和所述图像的数据存储器；以及与所述数据存储器通信的计算机硬件，所述计算机硬件被编程为：使用由所述面向外的相机获取的所述图像检测所述用户周围的所述环境中的反射表面的存在；确定与所述反射表面相关联的信息；从所述数据存储器访问与所述环境相关联的所述3d世界地图；以及至少部分地基于与所述反射表面相关联的所确定的信息更新所述3d世界地图。
13.根据实施例12所述的系统，其中所述反射表面包括镜子的反射表面。
14.根据实施例12或13所述的系统，其中为了检测所述反射表面的存在，所述计算机硬件被编程为执行以下一者或多者：通过所述面向外的相机检测所述用户在所述反射表面上的反射图像；检测与所述反射表面相关联的光学标签；确定所述反射表面与支撑所述反射表面的壁之间的深度不连续性；或接收与所述反射表面的存在相关联的信号。
15.根据实施例12至14中任一项所述的系统，其中为了确定与所述反射表面相关联的信息，所述计算机硬件被编程为确定所述环境中对象的反射图像的存在。
16.根据实施例12至15中任一项所述的系统，其中为了更新所述3d世界地图，所述计算机硬件被编程为从所述3d世界地图中移除由所述环境中的所述对象的反射图像导致的伪影。
17.根据实施例16所述的系统，其中所述伪影包括所述环境中的所述对象的反射图像。
18.根据实施例12至17中任一项所述的系统，其中为了确定与所述反射表面相关联的信息，所述计算机硬件被编程为确定以下一者或多者：所述反射表面的大小、形状、位置或语义信息。
19.一种用于生成三维(3d)世界地图的增强现实(ar)系统，所述增强现实系统包括：被配置为获取用户周围的环境的图像的面向外的相机；存储所述3d世界地图和所述图像的数据存储器；以及与所述数据存储器通信的计算机硬件，所述计算机硬件被编程为：使用由所述面向外的相机获取的所述图像检测所述用户周围的所述环境中的反射表面的存在；确定与所述反射表面相关联的信息；确定所述环境中的对象的反射图像的存在；以及至少部分地基于与所述反射表面相关联的所确定的信息生成3d世界地图，其中所述3d世界地图将对象的反射图像正确地识别为非实体对象。
20.根据实施例19所述的系统，其中为了生成所述3d世界地图，所述计算机硬件被编程为不将所述对象的反射图像解释为所述环境中的实际对象。
21.根据实施例19或20所述的系统，其中为了生成所述3d世界地图，所述计算机硬件被编程为排除所述世界地图中的所述对象的反射图像。
22.根据实施例19所述的系统，其中为了生成所述3d世界地图，所述计算机硬件被编程为包括所述世界地图中的所述对象的反射图像，并将所述对象的反射图像标记为反射图像。
23.一种用于处理三维(3d)世界地图的方法，所述方法包括：在包括计算机硬件的增强现实(ar)系统的控制下，所述ar系统包括被配置为对用户周围的环境进行成像的面向外的相机，所述ar系统与存储所述3d世界地图的数据存储器通信：通过所述面向外的相机对所述用户的环境进行成像；检测所述用户的所述环境中的反射表面的存在；以及至少部分地基于所述反射表面的存在而处理所述3d世界地图。
24.根据实施例23所述的方法，其中处理所述3d世界地图包括：识别由先前未检测到的所述反射表面的存在引起的所述3d世界地图中的伪影；以及从所述3d世界地图中移除所述伪影。
25.根据实施例23或实施例24所述的方法，其中处理所述3d世界地图包括更新所述世界地图，使得所述3d世界地图不包括由所述反射表面的存在导致的伪影。
26.一种ar系统，其被配置为执行实施例8至11或实施例23至25中的任一项的方法。
以下是涉及增强现实远端临场(telepresence)的示例性实施例。
1.一种用于在增强现实远端临场会话中共享图像的方法，所述方法包括：在远端临场会话期间，在与第一通话者相关联的第一增强现实设备和与第二通话者相关联的第二增强现实设备之间建立双向通信连接，所述第一增强现实设备包括被配置为对所述第一增强现实设备前面的区域进行成像的第一面向外的相机；通过所述第一面向外的相机检测所述第一增强现实设备前面的区域中是否存在镜子；通过所述第一面向外的相机检测所述第一通话者在所述镜子中的第一图像；经由所述通信连接向所述第二增强现实设备传送所述第一通话者的所述第一图像的一部分；以及在所述远端临场会话期间通过所述第二增强现实设备向所述第二通话者显示所述第一通话者的所述第一图像的所述一部分。
2.根据实施例1所述的方法，其中响应于检测到所述镜子的存在而执行建立所述双向通信连接。
3.根据实施例1或实施例2所述的方法，进一步包括：识别所述第一图像的一区域，所述区域包括遮挡所述第一用户的面部的所述第一增强现实设备的图像；取代所识别的区域中的所述第一用户的面部的未被遮挡部分的图像以提供未被遮挡的面部图像，其中传送所述第一图像的所述一部分包括传送所述未被遮挡的面部图像。
4.根据实施例3所述的方法，其中所述第一增强现实设备包括被配置为对所述第一用户的眼睛进行成像的眼睛跟踪相机，并且其中取代所述第一用户的面部的未被遮挡部分的图像包括在所识别的区域中插入所述第一用户的眼睛的图像。
5.根据实施例1至4中任一项所述的方法，进一步包括：经由所述通信连接从所述第二增强现实设备接收所述第二通话者的第二图像；以及在所述远端临场会话期间通过所述第一增强现实设备向所述第一通话者显示所述第二通话者的所述第二图像。
6.根据实施例5所述的方法，其中显示所述第二通话者的所述第二图像包括显示所述第二图像，使得其遮挡所述镜子中的所述第一通话者的所述第一图像。
7.根据实施例5或实施例6所述的方法，其中显示所述第二通话者的所述第二图像包括向所述第一通话者显示额外的虚拟内容。
8.根据实施例1至7中任一项所述的方法，其中显示所述第一通话者的第一图像的一部分包括向所述第二通话者显示额外的虚拟内容。
9.根据实施例7或实施例8所述的方法，其中所显示的额外的虚拟内容包括混合效果、羽化效果、发光效果或特殊特征效果。
10.根据实施例1至9中任一项所述的方法，其中所述第一增强现实设备、所述第二增强现实设备、或者所述第一增强现实设备和所述第二增强现实设备两者都包括头戴式显示器。
11.根据实施例1至10中任一项所述的方法，其中所述第一增强现实设备、所述第二增强现实设备、或者所述第一增强现实设备和所述第二增强现实设备两者都包括被配置为在多个深度平面处呈现图像的光场显示器。
12.一种用于在增强现实远端临场会话中共享图像的方法，所述方法包括：在与第一通话者相关联的第一增强现实设备和与第二通话者相关联的第二增强现实设备之间建立双向通信，所述第一增强现实设备包括被配置为对所述第一增强现实设备前面的区域进行成像的第一面向外的相机；检测所述第一增强现实设备前面的区域中是否存在反射表面；通过所述第一面向外的相机捕获从所述反射表面反射的所述第一通话者的第一图像；以及向所述第二增强现实设备发送所述第一通话者的所述第一图像的至少一部分。
13.根据实施例12所述的方法，进一步包括：通过所述第一增强现实设备接收所述第二通话者的第二图像；以及通过所述第一增强现实设备显示所述第二通话者的所述第二图像的至少一部分。
14.根据实施例13所述的方法，其中显示所述第二通话者的所述第二图像的至少一部分包括显示所述第二图像，使得其遮挡所述镜子中的所述第一通话者的所述第一图像。
15.根据实施例13所述的方法，进一步包括通过所述第一增强现实设备处理所述第二通话者的所述第二图像。
16.根据实施例12所述的方法，进一步包括通过所述第一增强现实设备处理所述第一通话者的所述第一图像。
17.根据实施例12所述的方法，其中将所述第一通话者的所述第一图像发送到所述第二增强现实设备包括：将所述第一通话者的所述第一图像发送到服务器计算机系统；通过所述服务器计算机系统处理所述第一通话者的所述第一图像；以及将所述第一通话者的所述第一图像发送到所述第二增强现实设备。
18.根据实施例12至17中任一项所述的方法，其中所述第一通话者的所述第一图像的处理包括以下至少一者：将虚拟内容应用于所述第一通话者的所述第一图像；裁剪所述第一通话者的所述第一图像的一部分；将背景应用于所述第一通话者的所述第一图像；调整所述第一通话者的所述第一图像的大小；识别所述第一通话者的所述第一图像的一区域，所述区域包括遮挡所述第一通话者的面部的所述第一增强现实设备的图像，并取代所识别的区域中的所述第一用户的面部的未被遮挡部分的图像以提供所述第一通话者的面部的未被遮挡的图像；或者识别未被所述第一增强现实设备捕获的所述第一通话者的身体的一区域获并将所识别的区域添加到所述第一通话者的所述第一图像。
19.根据实施例18所述的方法，其中所述虚拟内容包括混合效果、羽化效果、发光效果或特殊特征效果。
20.根据实施例18所述的方法，其中所述背景包含与游戏、电影、书籍、艺术、音乐、现有物理元素或虚拟对象相关联的元素。
21.根据实施例18至20中任一项所述的方法，其中所述背景是动画。
22.一种用于在第一通话者与第二通话者之间进行电话会议的增强现实系统，所述系统包括：与第一通话者相关联的第一增强现实设备，所述第一增强现实设备包括第一面向外的相机以及计算机处理器，所述第一面向外的相机被配置为对所述第一增强现实设备前面的区域进行成像，所述计算机处理器被配置为与网络通信并被编程为：在所述第一增强现实设备和与第二通话者相关联的第二增强现实设备之间建立双向通信；检测所述第一增强现实设备前面的区域中是否存在反射表面；通过所述第一面向外的相机检测从所述反射表面反射的所述第一通话者的第一图像；向所述第二增强现实设备发送所述第一通话者的所述第一图像的至少一部分；通过所述第一增强现实设备接收所述第二通话者的第二图像；以及通过所述第一增强现实设备显示所述第二通话者的所述第二图像的至少一部分。
23.根据实施例22所述的系统，其中所述计算机处理器被进一步编程为通过所述第一增强现实设备显示所述第二通话者的所述第二图像的至少一部分，使得其遮挡所述镜子中的所述第一通话者的所述第一图像。
24.根据实施例22所述的系统，其中所述计算机处理器被进一步编程为通过所述第一增强现实设备处理所述第二通话者的所述第二图像。
25.根据实施例22所述的系统，其中所述计算机处理器被进一步编程为通过所述第一增强现实设备处理所述第一通话者的所述第一图像。
26.根据实施例22所述的系统，其中将所述第一通话者的所述第一图像的至少一部分发送到所述第二增强现实设备包括：将所述第一通话者的所述第一图像发送到服务器计算机系统；通过所述服务器计算机系统处理所述第一通话者的所述第一图像；以及将所述第一通话者的所述第一图像发送到所述第二增强现实设备。
27.根据实施例24至26中任一项所述的系统，其中所述第一通话者的所述第一图像的处理包括以下至少一者：将虚拟内容应用于所述第一通话者的所述第一图像；裁剪第一通话者的所述第一张图像的一部分；将背景应用于所述第一通话者的所述第一图像；调整所述第一通话者的所述第一图像的大小；识别所述第一通话者的所述第一图像的一区域，所述区域包括遮挡所述第一通话者的面部的所述第一增强现实设备的图像，并取代所识别的区域中的所述第一用户的面部的未被遮挡部分的图像以提供所述第一通话者的面部的未被遮挡的图像；或者识别未被所述第一增强现实设备捕获的所述第一通话者的身体的一区域并将所识别的区域添加到所述第一通话者的所述第一图像。
28.根据实施例27所述的系统，其中所述虚拟内容包括混合效果、羽化效果、发光效果或特殊特征效果。
29.根据实施例27所述的系统，其中所述背景包含与游戏、电影、书籍、艺术、音乐、现有物理元素或虚拟对象相关联的元素。
30.根据实施例22至29中任一项所述的系统，其中所述背景是动画。
31.一种用于在第一通话者与第二通话者之间进行电话会议的增强现实系统，所述系统包括：与第一通话者相关联的第一增强现实设备和与第二通话者相关联的第二增强现实设备，所述第一增强现实设备包括第一面向外的相机以及计算机处理器，所述第一面向外的相机被配置为对所述第一增强现实设备前面的区域进行成像，所述计算机处理器被配置为与网络通信并被编程为：在所述第一增强现实设备与所述第二增强现实设备之间建立双向通信连接；通过所述第一面向外的相机检测所述第一增强现实设备前面的区域中是否存在镜子；通过所述第一面向外的相机检测所述第一通话者在所述镜子中的第一图像；经由所述通信连接向所述第二增强现实设备传送所述第一通话者的所述第一图像的一部分；以及在所述远端临场会话期间通过所述第二增强现实设备向所述第二通话者显示所述第一通话者的所述第一图像的所述一部分。
32.根据实施例31所述的系统，其中响应于检测到所述镜子的存在而执行建立所述双向通信连接。
33.根据实施例31或实施例32所述的系统，所述计算机处理器被进一步编程为：识别所述第一图像的一区域，所述区域包括遮挡所述第一用户的面部的所述第一增强现实设备的图像；取代所识别的区域中的所述第一用户的面部的未被遮挡部分的图像以提供未被遮挡的面部图像，其中传送所述第一图像的所述一部分包括传送所述未被遮挡的面部图像。
34.根据实施例33所述的系统，其中所述第一增强现实设备包括被配置为对所述第一用户的眼睛进行成像的眼睛跟踪相机，并且其中取代所述第一用户的面部的未被遮挡部分的图像包括在所识别的区域中插入所述第一用户的眼睛的图像。
35.根据实施例31至34中任一项所述的系统，所述计算机处理器被进一步编程为：经由所述通信连接从所述第二增强现实设备接收所述第二通话者的第二图像；在所述远端临场会话期间通过所述第一增强现实设备向所述第一通话者显示所述第二通话者的所述第二图像。
36.根据实施例35所述的系统，其中显示所述第二通话者的所述第二图像包括显示所述第二图像，使得其遮挡所述第一通话者在所述镜子中的所述第一图像。
37.根据实施例35或实施例36所述的系统，其中显示所述第二通话者的所述第二图像包括向所述第一通话者显示额外的虚拟内容。
38.根据实施例31至37中任一项所述的系统，其中显示所述第一通话者的所述第一图像的所述一部分包括向所述第二通话者显示额外的虚拟内容。
39.根据实施例37或实施例38所述的系统，其中所显示的额外的虚拟内容包括混合效果、羽化效果、发光效果或特殊特征效果。
40.根据实施例31至39中任一项所述的系统，其中所述第一增强现实设备、所述第二增强现实设备、或者所述第一增强现实设备和所述第二增强现实设备两者都包括头戴式显示器。
41.根据实施例31至40中任一项所述的方法，其中所述第一增强现实设备、所述第二增强现实设备、或者所述第一增强现实设备和所述第二增强现实设备两者都包括被配置为在多个深度平面处呈现图像的光场显示器。
42.一种用于进行电话会议的增强现实系统，所述系统包括：计算机系统，其被配置为同与第一用户相关联的第一增强现实设备和与第二用户相关联的第二增强现实设备进行通信，所述计算机系统包括：网络接口；非暂时性数据存储器；以及被配置为与所述网络接口和所述非暂时性数据存储器通信的硬件处理器，所述处理器被编程为：从所述第一增强现实设备接收第一消息，所述第一消息包括建立与所述第二增强现实设备的双向通信的请求；在所述第一增强现实设备与所述第二增强现实设备之间建立双向通信；从所述第一增强现实设备接收第二消息，所述第二消息包括由所述第一增强现实设备从所述第一增强现实设备前面的反射表面捕获的所述第一通话者的图像；将所述第二消息发送到所述第二增强现实设备；从所述第二增强现实设备接收第三消息，所述第三消息包括由所述第二增强现实设备从所述第二增强现实设备前面的反射表面捕获的所述第二通话者的图像；以及将所述第三消息发送到所述第一增强现实设备。
43.一种生成自拍照的方法，所述方法包括：在头戴式设备的控制下，所述头戴式设备包括被配置为对所述头戴式设备前面的区域进行成像的面向外的相机：检测所述头戴式设备的穿戴者的环境中是否存在反射表面；通过所述面向外的相机检测从所述反射表面反射的所述穿戴者的反射图像；通过所述面向外的相机获取包括所述穿戴者的反射图像的所述反射表面的一部分的图像；以及识别所述图像的一区域，所述区域包括至少部分地遮挡所述穿戴者的面部的所述头戴式设备的图像，并取代所识别的区域中的所述穿戴者的面部的未被遮挡部分的图像以提供所述穿戴者的面部的未被遮挡的图像。
44.根据实施例43所述的方法，进一步包括以下至少一者：将虚拟内容应用于所述穿戴者的未被遮挡的图像；裁剪所述穿戴者的未被遮挡的图像的一部分；将背景应用于所述穿戴者的未被遮挡的图像；调整所述穿戴者的未被遮挡的图像的大小；或者识别未被所述面向外的相机获取的图像捕获的所述穿戴者的身体的一区域，并将所识别的区域添加到所述穿戴者的未被遮挡的图像。
45.一种用于在第一增强现实设备与第二增强现实设备之间进行远端临场会话的增强现实系统，所述增强现实系统包括：与第一通话者相关联的第一增强现实设备的头戴式显示器，其中所述第一头戴式显示器被配置为在多个深度平面处呈现虚拟内容，所述显示器的至少一部分是透明的，使得所述透明部分透射来自所述第一通话者的环境的一部分的光；面向外的成像系统，其被配置为对所述头戴式显示器前面的区域进行成像；以及计算机处理器，其被编程为与网络通信并且：至少部分地基于由所述面向外的成像系统获取的图像检测所述第一增强现实设备附近是否存在反射表面；在所述第一增强现实设备和与第二通话者相关联的第二增强现实设备之间建立双向通信；通过所述面向外的成像系统检测由所述反射表面反射的第一通话者的第一图像；将所述第一通话者的所述第一图像的至少一部分发送到所述第二增强现实设备；通过所述第一增强现实设备接收所述第二通话者的第二图像；以及通过所述第一增强现实设备的所述头戴式显示器显示所述第二通话者的所述第二图像的至少一部分。
46.根据实施例45所述的增强现实系统，其中所述计算机处理器被编程为处理以下至少一者：所述第一通话者的所述第一图像或所述第二通话者的所述第二图像。
47.根据实施例46所述的增强现实系统，其中为了处理至少所述第一图像或所述第二图像，所述计算机处理器被编程为执行以下至少一者：将虚拟内容应用于所述第一图像或所述第二图像，其中所述虚拟内容包括以下至少一者：混合效果、羽化效果、发光效果或另一特殊特征效果；裁剪所述第一图像或所述第二图像的一部分；将背景应用于所述第一图像或所述第二图像；调整所述第一图像或所述第二图像的大小；识别所述第一图像的一区域，该区域包括遮挡所述第一通话者的面部的所述第一增强现实设备的图像，并取代所识别的区域中的所述第一通话者的面部的未被遮挡部分的图像以提供所述第一通话者的面部的未被遮挡的图像；识别所述第二图像的一区域，该区域包括遮挡所述第二通话者的面部的所述第二增强现实设备的图像，并取代所识别的区域中的所述第二通话者的面部的未被遮挡部分的图像以提供所述第二通话者的面部的未被遮挡的图像；识别未被所述第一增强现实设备捕获的所述第一通话者的身体的区域并将所识别的区域添加到所述第一通话者的所述第一图像；或者识别未被所述第二增强现实设备捕获的所述第二通话者的身体的区域并将所识别的区域添加到所述第二通话者的所述第二图像。
48.根据实施例45所述的增强现实系统，其中使用以下至少一者检测所述反射表面：面部识别、关键点识别、第一增强现实设备的一部分的识别、深度不连续性、镜子形状、或与所述反射表面相关联的光学标签的识别。
49.根据实施例45所述的增强现实系统，其中为了显示所述第二图像的至少一部分，所述计算机处理器被编程为：投射所述第二图像的所述一部分，使得所述第二图像的所述一部分遮挡由所述反射表面反射的所述第一通话者的所述第一图像。
50.根据实施例45所述的增强现实系统，其中所述第一增强现实设备包括被配置为跟踪所述第一通话者的眼睛移动的眼睛跟踪相机，并且所述计算机处理器被进一步编程为将所述第一通话者的所述眼睛移动发送到所述第二增强现实设备。
51.一种用于在第一增强现实设备与第二增强现实设备之间进行远端临场会话的方法，所述方法包括：从所述第一增强现实设备接收消息，所述消息包括建立与所述第二增强现实设备的双向通信的请求；在所述第一增强现实设备与所述第二增强现实设备之间建立双向通信；从所述第一增强现实设备接收第一图像，所述第一图像包括由所述第一增强现实设备从所述第一增强现实设备附近的反射表面捕获的所述第一通话者的反射图像；将所述第一图像发送到所述第二增强现实设备；从所述第二增强现实设备接收第二图像，所述第二图像包括由所述第二增强现实设备从所述第二增强现实设备附近的反射表面捕获的所述第二通话者的一部分；至少部分地基于所述第二图像生成所述第二通话者的图像；以及将所述第二通话者的图像发送到所述第一增强现实设备以在三维环境中显示。
52.根据实施例51所述的方法，其中所述第一增强现实设备或所述第二增强现实设备中的至少一者包括被配置为在多个深度平面处呈现图像的光场显示器。
53.根据实施例51所述的方法，其中所述第二通话者的图像包括多个补片(patch)，并且所述第二图像包括未被所述第二增强现实设备遮挡的所述第二通话者的面部的一部分。
54.根据实施例51所述的方法，进一步包括：接收被所述第二增强现实设备遮挡的所述第二通话者的眼睛区域的补片，并且其中生成所述第二通话者的图像包括基于未被所述第二增加现实设备遮挡的所述第二通话者的面部的所述一部分和被所述第二增强现实设备遮挡的所述眼睛区域的所述补片合成所述第二通话者的图像。
55.根据实施例51所述的方法，进一步包括：接收所述第二通话者的眼睛区域的移动；访问所述第二通话者的面部模型；以及基于所述眼睛区域的移动和所述面部模型更新所述第二通话者的图像。
56.根据实施例51所述的方法，其中至少部分地基于所述第二图像生成所述第二通话者的图像包括以下至少一者：裁剪所述第二图像的一部分，调整所述第二图像的大小，或将背景应用于所述第二图像。
57.根据实施例51所述的方法，其中生成所述第二通话者的图像包括：识别未被所述第一增强现实设备捕获的所述第二通话者的身体的一区域；检索包括所述第二通话者的身体的所述区域的第三图像；以及至少部分地基于从所述第二增强现实设备接收的所述第二图像和所述第三图像生成所述第二通话者的图像。
58.一种用于在第一增强现实设备与第二增强现实设备之间进行远端临场会话的增强现实系统，所述增强现实系统包括：计算机系统，其被配置为同与第一用户相关联的第一增强现实设备和与第二用户相关联的第二增强现实设备进行通信，所述计算机系统包括：网络接口；非暂时性数据存储器；以及计算机处理器，所述计算机处理器被编程为与所述网络接口和所述非暂时性数据存储器通信并且：从所述第一增强现实设备接收消息，所述消息包括建立与所述第二增强现实设备的双向通信的请求；在所述第一增强现实设备与所述第二增强现实设备之间建立双向通信；从所述第一增强现实设备接收第一图像，所述第一图像包括由所述第一增强现实设备从所述第一增强现实设备附近的反射表面捕获的所述第一通话者的反射图像；将所述第一图像发送到所述第二增强现实设备；从所述第二增强现实设备接收第二图像，所述第二图像包括由所述第二增强现实设备从所述第二增强现实设备附近的反射表面捕获的所述第二通话者的一部分；至少部分地基于所述第二图像生成所述第二通话者的图像；以及将所述第二通话者的图像发送到所述第一增强现实设备以在三维环境中显示。
59.根据实施例58所述的系统，其中所述第一增强现实设备或所述第二增强现实设备中的至少一者包括被配置为在多个深度平面处呈现图像的光场显示器。
60.根据实施例58所述的系统，其中所述第二通话者的图像包括多个补片，并且所述第二图像包括未被所述第二增强现实设备遮挡的所述第二通话者的面部的一部分。
61.根据实施例60所述的系统，所述计算机处理器被进一步编程为：接收被所述第二增强现实设备遮挡的所述第二通话者的眼睛区域的补片，并且其中为了生成所述第二通话者的图像，所述计算机处理器被编程为基于未被所述第二增加现实设备遮挡的所述第二通话者的面部的一部分和被所述第二增强现实设备遮挡的所述眼睛区域的所述补片合成所述第二通话者的图像。
62.根据实施例58所述的系统，所述计算机处理器被进一步编程为：接收所述第二通话者的眼睛区域的移动；访问所述第二通话者的面部模型；以及基于所述眼睛区域的移动和所述面部模型更新所述第二通话者的图像。
63.根据实施例58所述的系统，其中为了至少部分地基于所述第二图像生成所述第二通话者的图像，所述计算机处理器被编程为执行以下至少一者：裁剪所述第二图像的一部分，调整所述第二图像的大小，或将背景应用于所述第二图像。
64.根据实施例58所述的系统，其中为了生成所述第二通话者的图像，所述计算机处理器被编程为：识别未被所述第一增强现实设备捕获的所述第二通话者的身体的一区域；检索包括所述第二通话者的身体的所述区域的第三图像；以及至少部分地基于从所述第二增强现实设备接收的所述第二图像和所述第三图像生成所述第二通话者的图像。
附图说明
图1a示出了具有由用户观看的某些虚拟现实对象和某些实体对象的混合现实场景的图示。
图1b示例出可穿戴显示系统的示例。
图2示例出用于为用户模拟三维图像的传统显示系统。
图3示例出用于使用多个深度平面模拟三维图像的方法的各方面。
图4a至4c示例出曲率半径与焦点半径之间的关系。
图5示例出用于将图像信息输出给用户的波导堆叠的示例。
图6a示出了由波导输出的出射光束的示例。
图6b是示出显示系统的示意图，该显示系统包括：波导装置；光学耦合器子系统，其用于将光光学耦合到波导装置或从波导装置光学耦合光；以及控制子系统，其用于生成多焦点体显示、图像或光场。
图7是mr环境的示例的框图。
图8是呈现与所识别的对象有关的虚拟内容的方法的示例的过程流程图。
图9是可穿戴系统的另一示例的框图。
图10是用于确定可穿戴系统的用户输入的方法的示例的过程流程图。
图11是用于与虚拟用户界面交互的方法的示例的过程流程图。
图12示例出用于生成增强现实内容以增强用户的映像的视图的例程的流程图的示例。
图13示例出用户与ar显示系统的交互的示例。
图14示例出使用虚拟标尺来使用用户的映像确定用户的特征的尺寸的示例。
图15示意性地示例出描绘彼此交互的多个用户设备的整体系统视图。
图16示例出使用一个或多个线索检测镜子的存在的示例。
图17a示例出使用与用户相关联的线索的镜子检测的示例。
图17b示例出可用于定义用户的头部姿势的3d角坐标系的示例。
图18示例出使用与用户相关联的线索的镜子检测的另一示例。
图19示出了三个移动对象的轨迹的示例。
图20和21示例出使用线索的镜子检测的示例性方法的流程图。
图22a示例出包括由门连接的两个房间的三维(3d)环境的示例。
图22b示例出包括反射房间中的对象的镜子的单个房间的示例。
图23是用于由于环境中存在反射表面而生成和/或校正3d世界地图的示例性方法的流程图。
图24示例出进行远端临场会话的第一通话者和第二通话者的示例。
图25a是第一通话者所看到的第二通话者的图像的示例。
图25b示例出在远端临场会话期间修改第一通话者的图像的示例。
图26a、26b、27a和27b示例出远端临场会话中的额外用户体验。
图28是进行远端临场会话的示例的过程流程图。
提供附图是为了示例本文描述的示例性实施例，并不旨在限制本公开的范围。
具体实施方式
智能镜子具有各种缺陷，这些缺陷可能降低其效用和广泛的应用。例如，它们通常是大型固定设备，并且只能向位于设备前面的用户呈现二维内容。另外，由于智能镜子可以是第三方(例如，商店)的财产，因此，所显示内容的信息类型和个性化深度可能受到限制，第三方可能拥有的有关特定用户的信息是有限的。结果，视觉体验可能不真实，并且内容可能不丰富或个性化度不高，这可能削弱智能镜子的效用。
有利地，本文公开的各种实施例可以提供沉浸式真实视觉体验，并能够提供高度个性化内容。在一些实施例中，一种显示系统包括用于显示增强现实内容的可穿戴显示设备。该显示设备包括显示区域，该显示区域包括被配置为将光引导到用户的光重定向特征。显示区域至少部分透明，从而通过显示区域提供周围环境的视图。因此，显示区域允许用户在镜子或其它反射结构中看到其映像。在一些实施例中，该显示系统被配置为通过显示区域确定用户的映像在用户的视野内。在做出该确定之后，在显示区域中显示增强现实内容，使得增强现实内容增强用户的映像。应当理解，增强现实内容也可以被称为虚拟内容。
在一些实施例中，增强现实内容是虚拟菜单，该虚拟菜单允许用户选择产生进一步增强的现实内容的各种功能或应用。在一些其它实施例中，如本文所讨论的，根据预选标准(例如，位置、时间等)，可以在没有用户选择的情况下自动生成某些类型的内容。在一些实施例中，增强现实内容可以覆盖映像，从而允许全部或部分映像看起来被修改过。这可以通过对其外观进行的各种修改来提供用户的真实视图。在一些实施例中，增强现实内容可以包括可针对特定用户定制的各种通知。在另外的实施例中，显示系统包括可被配置为随时间捕获与用户相关的图像或其它信息的相机。可以有益地分析这些图像或信息以提供健康和/或美容诊断和监测。
在一些实施例中，即使用户不在映像中的情况下，显示系统也可以显示覆盖场景(其例如可以包括诸如人之类的对象)的映像的增强现实内容。在这样的实施例中，显示系统可以被配置为确定该场景是映像。一旦做出该确定，显示系统可以被配置为在显示区域中显示增强现实内容。在一些实施例中，增强现实内容可以包括通知或其它视觉内容，该视觉内容传达关于映像中的对象的信息和/或修改那些对象的外观。如本文所使用的，“对象”可以指周围环境中的任何视觉特征(例如，包括景观、人、或景观和人的部分)和/或由显示系统生成的任何视觉特征。应当理解，关于对象的信息可以本地存储在显示系统中。更优选地，该信息是从与其他用户共享的数据库中导出的。由于共享，不同的用户可以提供关于周围环境的不同数据，从而提供有关该周围环境的比利用本地存储的数据可得到的数据集更完整的数据集。在一些其它实施例中，显示系统可以被配置为通过评估在映像中看到的用户的各种参数来进行健康分析。在一些实施例中，显示系统可以被配置为被动地收集图像信息，并且可以使用来自该图像信息的所选数据进行所公开的各种健康分析。
在一些实施例中，显示系统可以被配置为呈现用户可以在远端临场会话期间与之交互的另一通话者的三维(3d)图像。可穿戴系统可以是可穿戴设备的一部分，所述可穿戴设备可以单独或组合地呈现虚拟现实(vr)、增强现实(ar)或混合现实(mr)环境以用于用户交互。
本文公开的各种实施例可以应用于单深度平面显示系统，这可实现本文公开的各种优点。然而，应当理解，用户可以将自己置于与镜子相距不同的距离处，并且一些增强现实内容可以代表三维对象。简单地在单个平面上提供内容可以导致内容的“剪纸”外观，其中内容不一定被放置在与用户的映像或映像的部分相同的深度平面中。这可能会降低内容的逼真性。用户也可能无法舒服地观看该内容，因为用户的眼睛可能需要在不同的调节状态之间切换以观看增强现实内容及其映像，而眼睛/大脑(brain)期望内容和映像、或者内容和映像的一部分位于匹配的深度平面上。
优选地，如本文所讨论的，显示增强现实内容的显示系统包括能够跨多个深度平面提供图像内容的显示设备。有利地，能够在多个深度平面上提供内容的显示器可以通过更好地匹配内容和用户的映像所在的深度平面来避免这里提到的缺点中的一个或多个。这样的系统可以提供高度逼真的沉浸式的内容，这可能对用户更具吸引力，因此，更有可能刺激用户在某些应用中行动。
现在将参考附图，其中相同的附图标记始终表示相同的特征。
可穿戴显示系统示例
图1a示出了混合现实(mr)场景的图示，该mr场景同时包括某些虚拟现实对象和用户观看的某些实体对象。在图1a中，示出了mr场景100，其中mr技术的用户看到以人、树、位于背景中的建筑物和混凝土平台120为特征的现实世界公园状设置110。除了这些项之外，mr技术的用户还感知他“看到”站在现实世界平台120上的机器人雕像130以及正飞过的卡通式化身角色140，该角色140看起来像大黄蜂的化身，即使这些元素在现实世界中不存在。
为了使3d显示产生真实的深度感，更具体地，模拟的表面深度感，期望显示器的视场中的每个点产生对应于其虚拟深度的调节响应，如本文进一步描述的。如果对一显示点的调节响应不对应于该点的虚拟深度(由会聚和立体视觉的双眼深度线索确定)，则人眼可能经历调节冲突，从而导致成像不稳定、有害的眼疲劳、头痛，以及在没有调节信息的情况下，表面深度的几乎完全缺乏。
vr、ar和mr体验可以由具有显示器的显示系统提供，在该显示器中，向观看者提供对应于多个深度平面的图像。对于每个深度平面，图像可以是不同的(例如，提供稍微不同的场景或对象呈现)，并且可以由观看者的眼睛分别聚焦，从而有助于基于使位于不同深度平面上的场景的不同图像特征聚焦所需的眼睛调节和/或基于观察到位于不同深度平面上的不同图像特征失焦而为用户提供深度线索。如本文其它地方所讨论的，这样的深度线索提供了可靠的深度感知。
图1b示出了可穿戴显示系统80的示例。显示系统80包括显示器62，以及支持该显示器62的功能的各种机械和电子模块和系统。显示器62可以耦接到框架64，该框架可由显示系统用户或观看者60穿戴，并且被配置为将显示器62定位在用户60的眼睛的前方。可穿戴显示系统80可以是诸如头部安装设备(hmd)或增强现实设备(ard)的可穿戴设备的一部分。可穿戴显示系统的一部分(例如显示器62)可以穿戴在用户的头上。
在一些实施例中，扬声器66被耦接到框架64并且被定位在用户60的耳道附近(在一些实施例中，另一扬声器(未示出)被定位在用户的另一耳道附近以提供立体/可塑形的声音控制)。在一些实施例中，显示系统还可以包括一个或多个麦克风67或其它检测声音的设备。在一些实施例中，麦克风被配置为允许用户向系统80提供输入或命令(例如，语音菜单命令的选择、自然语言问题等)和/或可以允许与其它人(例如，与类似显示系统的其它用户)进行音频通信。如本文进一步描述的，在一些实施例中，可穿戴显示系统80可以使用显示器62在远端临场会话中呈现另一用户的3d可视化，经由麦克风67接收用户的音频输入，并使用扬声器66播放与其他用户相关联的声音。
显示系统包括一个或多个相机65(一个或多个成像设备)，其可以被附接到框架64，或以其它方式附接到用户60。相机65可以被定位和定向以捕获用户60所在的周围环境的图像。相机65优选地被定向为面向前以在用户面向前时跟踪用户的视线。在一些实施例中，相机是固定不动的，并且系统假定用户的眼睛指向与相机相同的方向(例如，笔直向前)。在一些其它实施例中，相机65是可移动的，并且被配置为跟踪用户眼睛的移动，以匹配用户60的视线。在另外一些实施例中，相机65可以被配置为对不在用户60的视线内的周围环境部分进行成像。在某些实施例中，可穿戴显示系统80可包括面向外的成像系统502(如图5所示)，其观察用户周围环境中的世界。面向外的成像系统502可包括相机65。
可穿戴显示系统80还可以包括面向内的成像系统500(在图4中示出)，其可以跟踪用户的眼睛移动。面向内的成像系统可以跟踪一只眼睛的移动或跟踪两只眼睛的移动。面向内的成像系统500可以附接到框架64并且可以与处理模块70和/或72电连通，处理模块70和/或72可以处理由面向内的成像系统获取的图像信息以确定例如瞳孔直径、和/或眼睛的取向或用户60的眼睛姿势。
在一些实施例中，可以使用一个或多个面向内的相机(例如，相机500，图5)跟踪用户的眼睛，并且面向外的相机65被配置为移动，以使得相机65的视线匹配用户眼睛的视线。如本文所讨论的，相机65可用于感测、测量或收集关于用户60和/或环境的信息。应当理解，显示系统可以包括多个面向外的相机，这些相机可以指向多个方向(例如，用户的后方或用户的侧方)以检测环境中感兴趣的特征。在一些实施例中，显示系统80还可以包括距离传感器69，其被配置为测量对象与用户60的距离。在一些实施例中，距离传感器69可以发射和接收电磁辐射和/或声信号以确定对象与传感器69的距离。例如，在一些实施例中，距离传感器69可以是飞行时间相机，其包括光发射器和光检测器。飞行时间相机基于光信号从相机行进到对象并返回到相机上的感光器或与相机相关联的感光器所需的时间来检测到对象的距离。在一些其它实施例中，距离传感器69可包括两个间隔开的相机(例如，在框架64的不同侧上)，这两个间隔开的相机可被配置为使用视差效应确定距离。在一些实施例中，距离传感器可以被配置为绘制现实世界中的对象的地图和/或检测对象的形状或形态特征。
作为对用户的环境和用户进行成像的示例，可穿戴显示系统80可以使用面向外的成像系统502和/或面向内的成像系统500来获取用户姿势的图像。图像可以是静止图像、视频帧或视频、它们的组合等。姿势可用于确定用户的动作或合成用户的图像。由面向外的成像系统502和/或面向内的成像系统500获取的图像可以在远端临场会话中被传送给第二用户，以创建用户在第二用户环境中的存在的有形感觉。
继续参考图1b，显示器62例如通过有线引线或无线连接可操作地连接68到本地数据处理模块70，本地数据处理模块70可以以各种配置被安装，例如固定地附接到框架64，固定地附接到用户所戴的头盔或帽子，嵌入耳机中，或以其它方式可移除地附接到用户60(例如，采取背包式配置，采取束带耦接式配置)。本地处理和数据模块70可以包括一个或多个硬件处理器以及诸如非易失性存储器(例如，闪速存储器或硬盘驱动器)的数字存储器，这两者都可用于辅助处理、缓存和存储数据。数据包括a)从传感器(其例如可以可操作地耦接到框架64或以其它方式附接到用户60)捕获的数据，这些传感器例如为图像捕获设备(如相机)、麦克风、惯性测量单元、加速度计、指南针、gps单元、无线电设备和/或陀螺仪；和/或b)使用远程处理模块72和/或远程数据储存库74获取和/或处理的数据，该数据可能在被这样的处理或检索之后被传送到显示器62。本地处理和数据模块70可以通过通信链路76、78(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块72和远程数据储存库74，使得这些远程模块72、74可操作地彼此耦接，并且作为资源可用于本地处理和数据模块70。本地处理和数据模块70、远程处理模块72和远程数据储存库74分别可以包括网络接口以在通信链路上提供通信。通信链路76、78可以在参考图12描述的网络1290上。在一些实施例中，本地处理和数据模块70可以包括图像捕获设备、麦克风、惯性测量单元、加速度计、指南针、gps单元、无线电设备和/或陀螺仪中的一者或多者。在一些其它实施例中，这些传感器中的一者或多者可以附接到框架64，或者可以是通过有线或无线通信路径与本地处理和数据模块70通信的独立结构。
继续参考图1b，在一些实施例中，远程处理模块72可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器。在一些实施例中，远程数据储存库74可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一些实施例中，远程数据储存库74可以包括一个或多个远程服务器，这些服务器向本地处理和数据模块70和/或远程处理模块72提供信息，例如用于生成增强现实内容的信息。在一些实施例中，所有数据都被存储，所有计算都在本地处理和数据模块中被执行，允许从远程模块完全自主地使用。
在一些实施例中，远程数据储存库74可以被配置为存储用户环境的世界地图、用户的化身或用户的面部模型。本地处理模块70和/或远程处理模块72可识别用户环境中的镜子并检测用户的姿势(例如，头部姿势或身体姿势)。处理模块70和72可以与远程数据储存库74通信以基于存储在远程数据储存库中的用户信息和检测到的姿势而创建用户化身的动画或合成用户的图像。处理模块70和72还可以与显示器62通信并且在用户的环境中呈现另一用户或同一用户的可视化(诸如在用户的环境中将用户的图像覆盖在镜子上)。
可以通过向观看者的每只眼睛提供略微不同的图像呈现来实现将图像感知为“三维的”或“3d”。图2示出了用于模拟用户的三维图像的传统显示系统。向用户输出两个不同图像5、7，其中每个图像针对一只眼睛4、6。图像5、7沿着平行于观看者视线的光轴或z轴与眼睛4、6相隔距离10。图像5、7是平坦的，眼睛4、6可以通过假设单个调节状态而聚焦在图像上。这样的系统依赖于人类视觉系统来组合图像5、7以提供组合图像的深度感。
然而，应当理解，人类视觉系统更复杂，并且提供逼真的深度感知更具挑战性。例如，传统的“3d”显示系统的许多观看者发现这样的系统不舒服或者根本无法感知到深度感。不受理论的限制，据信对象的观看者可能由于聚散度和调节的组合而将对象感知为“三维的”。两只眼睛相对于彼此的聚散动作(即，眼球滚动动作以使瞳孔朝向彼此或远离彼此取向以使眼睛的视线会聚以固定在对象上)与眼睛晶状体的聚焦(或“调节”)密切相关。在正常情况下，根据被称为“调节-聚散度反射(accommodation-vergencereflex)”的关系，当注意力从一个对象转移到不同距离处的另一对象时，眼睛聚散度的变化将自动导致眼睛晶状体的焦点或眼睛调节发生匹配变化。同样，在正常情况下，调节的变化将引发聚散度发生匹配变化。如本文所述，许多立体或“3d”显示系统使用略微不同的呈现(以及因此略微不同的图像)向每只眼睛显示场景，使得人类视觉系统感知到三维透视。然而，这样的系统对于许多观看者来说是不舒服的，因为它们尤其是仅提供不同的场景呈现，但是眼睛在单个调节状态下观看所有图像信息并且对“调节-聚散度反射”产生反作用。在调节和聚散度之间提供更好匹配的显示系统可以形成更逼真、更舒适的三维图像模拟。
图3示出了使用多个深度平面模拟三维图像的方法的各方面。z轴上距眼睛4、6不同距离处的对象由眼睛4、6调节，以使这些对象对焦(infocus)。眼睛(4和6)呈现特定的调节状态，以使沿着z轴的不同距离处的对象进入焦点。因此，可以说特定的调节状态与深度平面14中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于该深度平面的调节状态时，特定深度平面中的对象或对象的部分对焦。在一些实施例中，可以通过为每只眼睛4、6提供图像的不同呈现来模拟三维图像，并且还可以通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚说明而示出为分离的，但应理解的，例如，随着沿着z轴的距离增加，眼睛4、6的视场可以重叠。尽管为了便于说明而示出为平坦的，但是应当理解，深度平面的轮廓可以在物理空间中弯曲，使得深度平面中的所有特征在眼睛处于特定调节状态时对焦。
对象与眼睛4或6之间的距离也可以改变来自该眼睛所看到的对象的光的发散量。图4a至4c示出了距离和光线发散之间的关系。对象与眼睛4之间的距离按照递减的次序由距离r1、r2和r3表示。如图4a至4c所示，随着到对象的距离减小，光线变得更加发散。随着距离的增加，光线变得更加准直。换句话说，可以说，由点(对象或对象的一部分)产生的光场具有球面波前曲率，其是该点距用户眼睛的距离的函数。随着对象与眼睛4之间的距离减小，曲率增大。因此，在不同的深度平面处，光线的发散度也不同，发散度随着深度平面与观看者眼睛4之间的距离的减小而增大。尽管为了在图4a至4c和本文中的其它图中清楚地说明而仅示出单只眼睛4，但是应当理解，关于眼睛4的讨论可以应用于观看者的双眼4和6。
不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。不同的呈现可以由观看者的眼睛单独聚焦，从而从而有助于基于使位于不同深度平面上的场景的不同图像特征进入焦点所需的眼睛调节和/或基于观察到在不同深度平面上的不同图像特征失焦，为用户提供深度线索。
图5示出了用于将图像信息输出给用户的波导堆叠的示例。显示系统1000包括波导堆叠或堆叠波导组件178，其可用于使用多个波导182、184、186、188、190向眼睛/大脑提供三维感知。在一些实施例中，显示系统1000是图1b的系统80，图5更详细地示意性地示出了该系统80的一些部分。例如，波导组件178可以被集成到图1b的显示器62中。
继续参考图5，波导组件178还可以包括位于波导之间的多个特征198、196、194、192。在一些实施例中，特征198、196、194、192可以是透镜。波导182、184、186、188、190和/或多个透镜198、196、194、192可以被配置为以各种水平的波前曲率或光线发散度向眼睛发送图像信息。每个波导级可以与特定深度平面相关联，并且可以被配置为输出对应于该深度平面的图像信息。图像注入装置200、202、204、206、208可以用作波导的光源，并且可用于将图像信息注入波导182、184、186、188、190，如本文所述，每个波导可以被配置为将入射光分配穿过每个相应的波导以朝着眼睛4输出。光从图像注入装置200、202、204、206、208的输出表面300、302、304、306、308出射，并被注入波导182、184、186、188、190的相应输入边382、384、386、388、390。在一些实施例中，可以将单个光束(例如准直光束)注入每个波导中，以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛4定向的克隆准直光束的整个视场。
在一些实施例中，图像注入装置200、202、204、206、208是分立的光调制装置(例如，lcd显示器和/或dlp投影仪)，每个光调制装置产生用于分别注入相应波导182、184、186、188、190的图像信息。在一些其它实施例中，图像注入装置200、202、204、206、208是单个多路复用光调制装置(例如，lcd显示器和/或dlp投影仪)的输出端，该多路复用光调制装置例如可以经由一个或多个光学导管(例如光纤光缆)将图像信息用管道传输到图像注入装置200、202、204、206、208中的每一者。
在一些实施例中，图像注入装置200、202、204、206、208可以是扫描光纤显示系统的输出端，其中图像注入装置200、202、204、206、208在波导182、184、186、188、190的相应输入边382、384、386、388、390的表面上方移动或扫描，以将图像信息注入到这些波导中。这种扫描光纤系统的示例在2014年11月27日提交的名称为“virtualandaugmentedrealitysystemsandmethods(虚拟和增强现实系统与方法)”的美国专利申请no.14/555,585中公开，该申请在此通过引用并入本文中。
控制器210控制堆叠波导组件178和图像注入装置200、202、204、206、208的操作。在一些实施例中，控制器210是本地数据处理模块70的一部分。控制器210包括编程(例如，非暂时性介质中的指令)，该编程根据例如本文公开的多种方案中的任何方案调节图像信息到波导182、184、186、188、190的定时和提供。在一些实施例中，控制器可以是单个整体装置，或通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器210可以是处理模块70或72(图1b)的一部分。在一些实施例中，显示系统80还可以包括面向观看者眼睛4的面向内的相机500。这样的相机可用于检测眼睛移动，包括眼睛4的视线方向，和/或通过捕获可用作显示系统命令的眼睛或面部姿势而允许用户60与显示系统80交互。应当理解，如本文所公开的，交互可以包括通过显示系统80触发各种动作。例如，如本文所公开的，检测到眼睛4的视线指向用户60的映像可以触发虚拟菜单的显示。
显示系统1000可以包括对世界144的一部分进行成像的面向外的成像系统502(例如，数字相机)。世界144的该部分可以被称为视场(fov)，成像系统502可以被称为fov相机，并且可以对应于相机65(图1a)。观看者可观看或成像的整个区域可被称为能视域(fieldofregard,for)。for可以包括围绕显示系统1000的立体角的4π弧度。在显示系统1000的一些实施例中，for可以包括显示系统1000的用户周围的基本所有立体角，因为用户可以移动他们的头部和眼睛观看用户周围的对象(用户的前面、后面、上面、下面或侧面)。通过面向外的成像系统502获得的图像可用于跟踪用户做出的姿势(例如，手部或手指的姿势)，检测用户前面的世界144中的对象等等。
可穿戴系统400还可以包括面向内的成像系统500(也被称为面向内的相机500)，其观察用户的动作，例如眼睛动作和面部动作。面向内的成像系统500可用于捕获眼睛4的图像以确定眼睛4的瞳孔的大小和/或取向。面向内的成像系统500可用于获得用来确定用户正在观看的方向(例如，眼睛姿势)或用于用户的生物识别(例如，经由虹膜识别)的图像。在一些实施例中，可以针对每只眼睛使用至少一个相机，以独立地分别确定每只眼睛的瞳孔大小和/或眼睛姿势，从而允许向每只眼睛呈现为该眼睛动态地定制的图像信息。在一些其它实施例中，仅单只眼睛4的瞳孔直径和/或取向(例如，针对每对眼睛仅使用单个相机)被确定并且假设对于用户的双眼是相似的。可以分析由面向内的成像系统500获得的图像以确定用户的眼睛姿势和/或情绪，显示系统1000可以使用用户的眼睛姿势和/或情绪来决定应该向用户呈现哪个音频或视觉内容。显示系统1000还可以使用诸如imu、加速度计、陀螺仪等传感器来确定头部姿势(例如，头部位置或头部取向)。
在一些实施例中，面向内的相机500还可以被配置为检测观看者眼睛的调节反应或调节状态，以向观看者显示内容而不需要观看者改变该调节反应。例如，该内容可以包括警报、菜单项或有利于观看者不管其眼睛聚焦的深度而清楚地看到的其它内容。在一些实施例中，显示系统80可以被配置为检测观看者眼睛中的晶状体的形状变化以确定观看者的眼睛的聚焦在什么上，反过来，显示系统80可以通过相应且适当的深度线索(例如，对于特定深度平面，利用适当的分辨率、细节、颜色饱和度、对比度等)在适当的深度平面上呈现所显示的图像。
继续参考图5，波导182、184、186、188、190可以被配置为通过全内反射(tir)在每个相应的波导内传播光。波导182、184、186、188、190可以各自是平面的或具有另一形状(例如，曲面的)，其具有顶部主表面和底部主表面以及在这些顶部主表面与底部主表面之间延伸的边。在所示例的配置中，波导182、184、186、188、190可各自包括光提取光学元件282、284、286、288、290，这些光提取光学元件被配置为通过将每一个相应波导内传播的光重定向到波导外而将光提取到波导外，以向眼睛4输出图像信息。所提取的光也可以被称为耦出光，并且光提取光学元件也可以被称为耦出光学元件。所提取的光束在波导中传播的光照射到光重定向元件的位置处被波导输出。光提取光学元件282、284、286、288、290例如可以是反射和/或衍射光学特征。尽管为了便于描述和描绘清楚而将其图示为设置在波导182、184、186、188、190的底部主表面处，但是在一些实施例中，光提取光学元件282、284、286、288、290可以设置在顶部和/或底部主表面处，和/或可以直接设置在波导182、184、186、188、190的体中。在一些实施例中，光提取光学元件282、284、286、288、290可以形成在被附接到透明基板的材料层中以形成波导182、184、186、188、190。在一些其它实施例中，波导182、184、186、188、190可以是单片材料，并且光提取光学元件282、284、286、288、290可以形成在该片材料的表面上和/或该片材料的内部中。
继续参考图5，如本文所讨论的，每个波导182、184、186、188、190被配置为输出光以形成对应于特定深度平面的图像。例如，最靠近眼睛的波导182可以被配置为将注入到这种波导182中的准直光传送到眼睛4。准直光可以代表光学无限远焦平面。下一个上行波导184可以被配置为将穿过第一透镜192(例如，负透镜)的准直光在其可以到达眼睛4之前发送出；这样的第一透镜192可以被配置为产生微凸的波前曲率，使得眼睛/大脑将来自下一个上行波导184的光解释为来自第一焦平面，该第一焦平面从光学无限远处更靠近向内朝向眼睛4。类似地，第三上行波导186使其输出光在到达眼睛4之前通过第一透镜192和第二透镜194。第一透镜192和第二透镜194的组合光焦度(opticalpower)可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导186的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导184的光更靠近向内朝向人。
其它波导层188、190和透镜196、198被类似地配置，其中堆叠中的最高波导190通过其与眼睛之间的所有透镜发送其输出，以获得代表与人最接近的焦平面的聚合焦度(aggregatefocalpower)。为了在观察/解释来自堆叠波导组件178的另一侧上的世界144的光时补偿透镜堆叠198、196、194、192，可以在堆叠的顶部设置补偿透镜层180以补偿下面的透镜堆叠198、196、194、192的聚合焦度。这种配置提供与可用的波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(即，不是动态的或电活性的)。在一些替代实施例中，它们中的一者或全部两者可以是使用电活性特征而动态的。
在一些实施例中，波导182、184、186、188、190中的两者或更多者可具有相同的相关深度平面。例如，多个波导182、184、186、188、190可以被配置为将图像集输出到相同的深度平面，或者波导182、184、186、188、190的多个子集可以被配置为将图像集输出到相同的多个深度平面，每个深度平面一个图像集。这可以提供形成平铺图像以在那些深度平面处提供扩展视场的优势。
继续参考图5，光提取光学元件282、284、286、288、290可以被配置为将光重定向到它们相应的波导之外并且针对与该波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同的光提取光学元件282、284、286、288、290的配置，这些光提取光学元件依赖于相关联的深度平面而输出具有不同发散量的光。在一些实施例中，如本文所讨论的，光提取光学元件282、284、286、288、290可以是体或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件282、284、286、288、290可以是体全息图、表面全息图和/或衍射光栅。光提取光学元件(例如衍射光栅)在2015年3月7日提交的美国专利申请no.14/641,376中描述，该申请的全部内容通过引用并入本文中。在一些实施例中，特征198、196、194、192可以不是透镜；相反，它们可以简单地是间隔物(例如，包层和/或用于形成气隙的结构)。
在一些实施例中，光提取光学元件282、284、286、288、290是形成衍射图案的衍射特征，或“衍射光学元件”(在本文中也被称为“doe”)。优选地，doe具有足够低的衍射效率，以使得光束的仅一部分光通过doe的每一个交点而偏转向眼睛4，而其余部分经由全内反射而继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且结果对于在波导内反弹的该特定准直光束是朝向眼睛4的相当均匀图案的出射发射。
在一些实施例中，一个或多个doe可以在它们活跃地衍射的“开”状态与它们不显著衍射的“关”状态之间可切换。例如，可切换的doe可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在这种情况下，图案不会明显地衍射入射光)，或者微滴可以被切换为与主体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。
显示系统1000可以包括用户输入设备504，用户可以通过该用户输入设备504向控制器210输入命令以与显示系统1000交互。例如，用户输入设备504可以包括触控板、触摸屏、操纵杆、多自由度(dof)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向板(d-pad)、棒(wand)、触觉(haptic)设备、图腾(例如，用作虚拟用户输入设备)等等。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按压或滑动以向显示系统1000提供输入(例如，向由显示系统1000提供的用户界面提供用户输入)。在使用显示系统1000期间，用户输入设备504可以由用户的手保持。用户输入设备504可以与显示系统1000进行有线或无线通信。
图6a示出了由波导输出的出射光束的示例。示出了一个波导，但是应当理解，波导组件178中的其它波导可以类似地起作用，其中波导组件178包括多个波导。光400在波导182的输入边382处被注入到波导182中，并通过tir在波导182内传播。在光400照射在doe282上的点处，一部分光作为出射光束402离开波导。出射光束402被示例为基本上平行，但是如本文所讨论的，依赖于与波导182相关联的深度平面，出射光束402也可以以一角度(例如，形成发散的出射光束)被重定向以传播到眼睛4。应该理解，基本上平行的出射光束可以指示具有光提取光学元件的波导，所述光提取光学元件将光耦出以形成看起来被设置在距眼睛4较大距离(例如，光学无穷远)处的深度平面上的图像。其它波导或者其它光提取光学元件组可以输出更加发散的出射光束图案，这将需要眼睛4调节到更近距离以将其聚焦在视网膜上并且将被大脑解释为来自比光学无穷远更接近眼睛4的距离的光。
再次参考图1b，本地处理和数据模块70和/或远程处理模块72可以被编程为执行如本文所述的生成增强现实内容的实施例，其中内容作为光400从波导182、184、186、188、190中的一者或多者中输出。例如，本地处理和数据模块70和/或远程处理模块72可以被编程为分析从相机65或其它传感器收集的数据以检测是否存在用户60的映像。然后，该检测可以触发增强现实内容的生成，该增强现实内容由显示器62使用波导182、184、186、188、190中的一者或多者来显示。本地处理和数据模块70和/或远程处理模块72可以被编程为基于各种标准来选择增强现实内容，这些标准包括但不限于用户60的位置、用户60的物理外观、时刻、星期几、日期、用户环境及其组合。在一些情况下，将至少一些增强现实内容生成卸载到远程处理模块(例如，在“云”中)可以提高计算的效率或速度。在一些实施例中，用于检测用户60是否存在和/或用于增强现实内容生成的各种参数(例如，生物标识符、增强现实内容的用户偏好等)可以被存储在数据模块70和/或72中。在一些实施例中，所生成的内容可以被存储在远程数据储存库74中。可以理解，本文提到的编程可以由模块70和/或72中的硬件处理器执行。用于提供增强现实内容的编程的一些细节在下文中介绍。
图6b是示出显示系统的示意图，该显示系统包括：波导装置；光学耦合器子系统，其用于将光光学耦合到波导装置或从波导装置光学耦合光；以及控制子系统，其用于生成多焦点体显示器、图像或光场。显示系统可包括：波导装置；光学耦合器子系统，其用于将光光学地耦合到波导装置或从波导装置光学耦合光；以及控制子系统。显示系统可用于生成多焦点体图像或光场。显示系统可以包括一个或多个主平面波导632a(图6b中仅示出一个)和与至少一些主波导632a中的每一个相关联的一个或多个doe632b。平面波导632b可以类似于参考图5讨论的波导182、184、186、188、190，并且doe632b可以类似于光学元件282、284、286、288、290。显示系统可以采用分布波导装置沿第一轴(图6b的视图中的垂直轴或y轴)中继光，并沿第一轴(例如，y轴)扩展光的有效出射光瞳。分布波导装置例如可以包括分布平面波导622b和与分布平面波导622b相关联的至少一个doe622a(由双点划线示出)。分布平面波导622b在至少某些方面可以与主平面波导632b类似或相同，具有与其不同的取向。同样地，至少一个doe622a在至少某些方面可以与doe632a类似或相同。例如，分布平面波导622b和/或doe622a可以分别由与主平面波导632b和/或doe632a相同的材料构成。图6b所示的光学显示系统600的实施例可以被集成到图1b所示的可穿戴显示系统80中。
中继和出射光瞳扩展的光从分布波导装置被光学耦合到一个或多个主平面波导632b中。主平面波导632b沿第二轴中继光，该第二轴优选地与第一轴正交(例如，图6b的视图中的水平轴或x轴)。值得注意的是，第二轴可以是与第一轴非正交的轴。主平面波导632b沿该第二轴(例如，x轴)扩展光的有效出射光瞳。例如，分布平面波导622b可以沿垂直轴或y轴中继和扩展光，并将该光传送到主平面波导632b，主平面波导632b沿水平轴或x轴中继和扩展光。
显示系统可以包括一个或多个彩色光源(例如，红色、绿色和蓝色激光)610，其可以被光学耦合到单模光纤640的近端中。可以穿过压电材料的中空管642来通过或接收光纤640的远端该。该远端作为非固定的柔性悬臂644从管642突出。压电管642可以与四个象限电极(未示出)相关联。例如，电极可以镀在管642的外侧、外表面或外周或外径上。芯电极(未示出)也位于管642的芯、中心、内周或内径中。
驱动电子器件650(例如经由导线660被电耦合)驱动相对的电极对，以独立地在两个轴上弯曲压电管642。光纤644的突出远端尖端具有机械共振模式。共振频率可取决于光纤644的直径、长度和材料特性。通过在光纤悬臂644的第一机械共振模式附近振动压电管642，使光纤悬臂644振动，并且光纤悬臂644可以扫过大的偏转。
通过在两个轴上激发共振，光纤悬臂644的尖端在遍及二维(2d)扫描的区域中被双轴扫描。通过与光纤悬臂644的扫描同步地调制一个或多个光源610的强度，从光纤悬臂644出射的光形成图像。在美国专利公开no.2014/0003762中提供了对这种设置的描述，其全部内容通过引用并入本文中。
光耦合器子系统的部件准直从扫描光纤悬臂644出射的光。准直光被镜面648反射到包含至少一个衍射光学元件(doe)622a的窄分布平面波导622b中。该准直光通过全内反射(tir)沿着分布平面波导622b垂直地(相对于图6b的视图)传播，并且在这样做时反复地与doe622a相交。doe622a优选地具有低衍射效率。这导致光的一部分(例如，10％)在与doe622a的每个交点处被衍射朝向较大的主平面波导632b的边，并且一部分光经由tir沿着分布平面波导622b的长度继续其原始轨迹。
在与doe622a的每个交叉点处，额外的光朝着主波导632b的入口被衍射。通过将入射光分成多个耦出组，光的出射光瞳在分布平面波导622b中通过doe4而被垂直地扩展。从分布平面波导622b耦出的该垂直扩展光进入主平面波导632b的边。
进入主波导632b的光经由tir沿着主波导632b水平(相对于图6b所示的视图)传播。当光经由tir沿着主波导632b的长度的至少一部分水平传播时，它在多个点处与doe632a相交。doe632a可以有利地被设计或配置为具有相轮廓(phaseprofile)(该相轮廓是线性衍射图案和径向对称衍射图案的总和)以产生光的偏转和聚焦。doe632a可以有利地具有低衍射效率(例如，10％)，使得只有一部分光束在doe632a的每个交点处朝着观看者的眼睛偏转，而其余的光继续经由tir传播通过主波导632b。
在传播光与doe632a之间的每个交点处，一部分光朝着主波导632b的相邻面衍射，从而允许光脱离tir，并从主波导632b的面出射。在一些实施例中，doe632a的径向对称衍射图案另外向衍射光赋予聚焦水平，既整形单个光束的光波前(例如，赋予曲率)，又以与所设计的聚焦水平匹配的角度将光束转向。
因此，这些不同的路径可以通过多个doe632a以不同的角度、聚焦水平和/或在出射光瞳处产生不同的填充图案来使光被耦合出主平面波导632b。出射光瞳处的不同填充图案可以有利地用于创建具有多个深度平面的光场显示。波导组件中的每一层或堆叠中的一组层(例如3层)可用于产生相应的颜色(例如，红色、蓝色、绿色)。因此，例如，可以采用第一组的三个相邻层在第一焦深处分别产生红光、蓝光和绿光。可以采用第二组的三个相邻层在第二焦深处分别产生红光、蓝光和绿光。可以采用多个组来产生具有各种焦深的全3d或4d彩色图像光场。
可穿戴显示系统的其它部件
在许多实施例中，可穿戴系统(例如，可穿戴显示系统80)可以包括附加到或替代上述可穿戴系统的部件的其它部件。可穿戴系统例如可以包括一个或多个触觉设备或部件。一个或多个触觉设备或一个或多个部件可以可操作地向用户提供触感。例如，一个或多个触觉设备或一个或多个部件可以在触摸虚拟内容(例如，虚拟对象、虚拟工具、其它虚拟构造)时提供压力和/或纹理的触感。触感可以重现虚拟对象所代表的实体对象的感觉，或者可以重现虚拟内容所代表的想象对象或角色(例如龙)的感觉。在一些实施例中，用户可以穿戴触觉设备或部件(例如，用户可穿戴的手套)。在一些实施例中，触觉设备或部件可以由用户保持。
可穿戴系统例如可以包括一个或多个实体对象，这些实体对象可由用户操纵以允许输入或与可穿戴系统交互。这些实体对象在此可以被称为图腾。一些图腾可以采用无生命对象的形式，例如，金属片或塑料片、墙壁、桌面。在某些实施例中，图腾实际上可能不具有任何实体输入结构(例如键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以仅提供实体表面，并且可穿戴系统可以呈现用户界面，以使用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像呈现为看起来位于图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板呈现为看起来在用作图腾的矩形薄铝板的表面上。该矩形板本身没有任何实体键或触控板或传感器。然而，由于经由虚拟键盘和/或虚拟触控板进行选择或输入，因此可穿戴系统可以借助该矩形板检测到用户操纵或交互或触摸。用户输入设备504(如图5所示)可以是图腾的实施例，其可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆开关、鼠标、键盘、多自由度控制器，或其它实体输入设备。用户可单独地使用图腾或与姿势组合地使用图腾来与可穿戴系统和/或其他用户交互。
可与本公开的可穿戴设备、hmd、ard和显示系统一起使用的触觉设备和图腾的示例在美国专利公开no.2015/0016777中描述，其全部内容通过引用并入本文中。
可穿戴显示系统、环境和接口示例
可穿戴显示系统可以采用各种与地图绘制相关的技术，以便在所呈现的光场中实现高景深。在绘制出虚拟世界时，了解现实世界中的所有特征和点以准确描绘与现实世界相关的虚拟对象是有利的。为此，可以通过包括传达有关现实世界的各种点和特征的信息的新图片，将从可穿戴系统的用户捕获的fov图像添加到世界模型。例如，可穿戴系统可以收集地图点(例如2d点或3d点)组并找到新的地图点(mappoint)以呈现世界模型的更准确版本。可以将第一用户的世界模型(例如，通过诸如云网络之类的网络)传送给第二用户，使得第二用户可以体验第一用户周围的世界。
图7是mr环境750的示例的框图。mr环境750可以被配置为接收来自各种用户系统720a、720b的输入(例如，来自用户的可穿戴系统的视觉输入702、诸如房间相机的固定输入704、来自各种传感器的传感器输入706、姿势、图腾、眼睛跟踪、来自用户输入设备504的用户输入等)。用户系统720a、720b可以包括一个或多个用户可穿戴系统(例如，图1b的可穿戴系统80；图5的可穿戴系统1000)和/或固定的房间系统(例如，房间相机等)。可穿戴系统可以使用各种传感器(例如，加速度计、陀螺仪、温度传感器、移动传感器、深度传感器、gps传感器、面向内的成像系统、面向外的成像系统等)来确定用户环境的位置和各种其它属性。可以用来自房间中的固定相机的信息来进一步补充该信息，该来自房间中的固定相机的信息可以从不同的视点提供图像和/或各种线索。由相机(诸如房间相机和/或面向外的成像系统的相机)获取的图像数据可以被缩减为地图点组。
一个或多个对象识别器708可以爬过所接收的数据(例如，点集合)并且在地图数据库712的帮助下识别和/或映射点、标记图像，将语义信息附加到对象。数据库712可以包括随时间收集的各种点及其对应的对象。各种设备和地图数据库可以通过网络(例如，lan、wan等)彼此连接以访问云。
基于该信息和地图数据库中的点集合，对象识别器708a至708n可以识别环境中的对象。例如，对象识别器可以识别面部、镜子、(人或hmd等的)反射图像、窗户、墙壁等。一个或多个对象识别器可以专用于具有某些特征的对象。例如，对象识别器708a可用于识别面部，而另一对象识别器可用于识别镜子。
可以使用各种计算机视觉技术来执行对象识别。例如，可穿戴系统可以分析由面向外的成像系统502(如图5所示)获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计、或图像恢复等。本文描述的一种或多种计算机视觉算法可用于执行这些任务。对象识别可以附加地或替代地通过本文描述的各种机器学习算法来执行。一旦经过训练，机器学习算法便可以由hmd存储。
可穿戴系统还可以用语义信息补充所识别的对象以向对象赋予生命。例如，如果对象识别器将一组点识别为门，则系统可以附加一些语义信息(例如，该门具有铰链并且具有围绕铰链的90度移动)。如果对象识别器将一组点识别为镜子，则系统可以附加这样的语义信息：该镜子具有可以反射房间中对象的图像的反射表面。随着时间的推移，地图数据库随着系统(其可以驻留在本地或可以通过无线网络访问)累积来自世界的更多数据而增长。一旦识别出对象，就可以将该信息发送到一个或多个可穿戴系统。例如，mr环境750可以包括有关在加利福尼亚发生的场景的信息。可以将环境750发送给纽约的一个或多个用户。基于从fov相机接收的数据和其它输入，对象识别器和其它软件组件可以映射从各种图像收集的点，识别对象等等，使得该场景可以被准确地“传递”给可位于世界的不同部分的第二用户。环境750还可以使用拓扑图来实现本地化目的。
图8是呈现与所识别的对象相关的虚拟内容的方法850的示例的过程流程图。方法850描述了如何将虚拟场景呈现给mr系统(例如，可穿戴系统)的用户。用户可能在地理上远离该场景。例如，用户可能在纽约，但可能想要观看当前正在加利福尼亚发生的场景，或者可能想要与居住在加利福尼亚的朋友一起散步。
在框852处，ar系统可以从用户和其他用户接收有关用户的环境的输入。这可以通过各种输入设备和在地图数据库中已有的知识来实现。在框852处，用户的fov相机、传感器、gps、眼睛跟踪等将信息传送到系统。系统可以在框854处基于该信息确定稀疏点。稀疏点可用于确定姿势数据(例如，头部姿势、眼睛姿势、身体姿势和/或手势)，这些数据可用于显示和理解用户周围环境中各种对象的取向和位置。在框856处，对象识别器708a、708n可以爬过这些收集的点并使用地图数据库识别一个或多个对象。然后，可以在框858处将该信息传送到用户的个人可穿戴系统，并且可以在框806处相应地向用户显示所期望的虚拟场景。例如，可以相对于在纽约的用户的各种对象和其它环境以适当的取向、位置等显示所期望的虚拟场景(例如，位于ca的用户)。
图9是可穿戴系统的另一示例的框图。在该示例中，可穿戴系统990包括地图，该地图可以包括世界的地图数据。该地图可以部分地驻留在可穿戴系统本地，可以部分地驻留在可通过有线或无线网络(例如，在云系统中)访问的网络存储位置。姿势处理910可以在可穿戴计算架构(例如，处理模块260或控制器460)上被执行，并利用来自地图的数据而确定可穿戴计算硬件或用户的位置和取向。可以根据当用户正在体验系统并在世界中操作时即时收集的数据来计算姿势数据。该数据可以包括图像、来自传感器(例如惯性测量设备、其通常包括加速度计和陀螺仪部件)的数据和与真实或虚拟环境中的对象相关的表面信息。
稀疏点表示可以是同时定位与地图构建(slam或v-slam，是指其中输入只是图像/视觉的配置)过程的输出。该系统可以被配置为不仅找出各种部件在该世界中的位置，而且还找出该世界是由什么构成的。姿势可以是实现许多目标的构建块，包括填充地图和使用地图中的数据。
在一个实施例中，稀疏点位置本身可能不完全足够，并且可能需要进一步的信息来产生多焦点ar、vr或mr体验。可以使用通常参考深度地图信息的密集表示来至少部分地填充该间隙。可以根据被称为立体的处理940来计算这样的信息，其中使用诸如三角测量或飞行时间感测之类的技术来确定深度信息。图像信息和有源模式(诸如使用有源投影仪创建的红外模式)可以用作立体处理940的输入。可以将大量深度地图信息融合在一起，并且可以用表面表示来概括其中的一些。例如，数学上可定义的表面是诸如游戏引擎之类的其它处理设备的有效(例如，相对于大点云)且可消化的输入。因此，立体处理(例如，深度地图)940的输出可以在融合处理930中组合。姿势也可以是向该融合处理930的输入，并且融合930的输出变为填充(populate)地图处理920的输入。子表面可以彼此连接(例如在地形图中)以形成更大的表面，并且地图变成点和表面的大混合体。
为了解决混合现实处理960中的各个方面，可以使用各种输入。例如，在图9所示的实施例中，可以输入游戏参数以确定系统的用户正在玩打怪兽游戏，其中一个或多个怪兽位于各个位置，怪兽在各种条件下死亡或逃跑(例如如果用户射杀怪兽)，墙壁或其它对象位于各个位置等等。世界地图可以包括有关这些对象在哪些位置彼此相关的信息，作为混合现实的另一有价值的输入。相对于世界的姿势也成为一种输入，并且几乎对任何交互系统起着关键作用。
来自用户的控制或输入是可穿戴系统990的另一输入。如本文所述，用户输入可包括视觉输入、手势、图腾、音频输入、感官输入等。为了四处移动或玩游戏，例如，用户可能需要指示可穿戴系统990关于他或她想要做什么。除了在空间中移动自己之外，存在可以利用的多种形式的用户控制。在一个实施例中，图腾、用户输入设备或诸如玩具枪之类的对象可由用户握持并由系统跟踪。该系统优选地被配置为知道用户正在握住商品并且理解用户与商品进行何种交互(例如，如果图腾或对象是枪，则系统可以被配置为了解位置和取向，以及用户是否正在点击触发器或其它可能配备有传感器的感测按钮或元件，例如imu，其可以有助于确定正在发生的事情，即使这样的活动不在任何相机的视场内)。
手势跟踪或识别也可以提供输入信息。可穿戴系统990可以被配置为跟踪和解释按钮按压的手势，用于向左或向右打手势、停止、抓取、保持等。例如，在一种配置中，用户可能想要在非游戏环境中翻阅电子邮件或日历，或与其他人或玩家“击拳”。可穿戴系统990可以被配置为利用最小量的手势，该手势可以是动态的，也可以不是动态的。例如，手势可以是简单的静态手势，如张开手表示停止，拇指向上表示好(ok)，拇指向下表示不好；或者左右或上下翻转手来做出方向命令。
眼睛跟踪是另一种输入(例如，跟踪用户正在看哪里以控制显示技术来在特定深度或范围进行呈现)。在一个实施例中，可以使用三角测量来确定眼睛的聚散度，然后使用为该特定人物开发的聚散度/调节模型，可以确定调节。
关于相机系统，图9所示的示例性可穿戴系统990可包括三对相机：相对宽的fov或被动slam相机对，其布置在用户面部的侧面，不同的相机对定位在用户前面以处理立体成像处理940且还捕获手势和在用户面部前面的图腾/对象跟踪。这三对相机中的相机可以是面向外的成像系统502(如图5所示)的一部分。可穿戴系统990可以包括眼睛跟踪相机(其可以是图5所示的面向内的成像系统500的一部分)，眼睛跟踪相机朝向用户的眼睛定位，以便对眼睛向量和其它信息进行三角测量。可穿戴系统990还可以包括一个或多个纹理化光投影仪(例如红外(ir)投影仪)以将纹理注入场景。
图10是用于确定可穿戴系统的用户输入的方法1050的示例的过程流程图。在该示例中，用户可以与图腾交互。用户可能有多个图腾。例如，用户可能已经指定了一个图腾用于社交媒体应用，另一图腾用于玩游戏，等等。在框1010处，可穿戴系统可以检测图腾的移动。图腾的移动可以通过用户的fov相机识别，或者可以通过传感器(例如，触觉手套、图像传感器、手部跟踪设备、眼睛跟踪相机、头部姿势传感器等)来检测。
在框1020处，至少部分地基于检测到的手势、眼睛姿势、头部姿势或通过图腾的输入，可穿戴系统检测图腾(或用户的眼睛或头部或手势)相对于参考框架(referenceframe)的位置、取向和/或移动。参考框架可以是一组地图点，可穿戴系统基于该组地图点将图腾(或用户)的移动转换为动作或命令。在框1030处，映射(map)用户与图腾的交互。在框1040处，基于相对于参考框架1020的用户交互的映射，系统确定用户输入。
例如，用户可以前后移动图腾或实体对象以表示翻动虚拟页面并移动到下一页或者从一个用户界面(ui)显示屏移动到另一ui屏。作为另一示例，用户可移动他们的头部或眼睛以观看用户的for中的不同真实或虚拟对象。如果用户注视特定真实或虚拟对象的时间长于阈值时间，则可以选择该真实或虚拟对象作为用户输入。在一些实施例中，可以跟踪用户眼睛的聚散度，并且可以使用调节/聚散度模型来确定用户眼睛的调节状态，其提供关于用户正在关注的深度平面的信息。在一些实施例中，可穿戴系统可以使用光线投射技术来确定哪些真实或虚拟对象沿着用户的头部姿势或眼睛姿势的方向。在各种实施例中，光线投射技术可包括投射具有实质上很小的横向宽度的薄铅笔射线或具有大横向宽度的射线(例如，圆锥或平截头体)。
用户界面可以由本文所述的显示系统(例如图1b中的显示器62)投射。它还可以使用各种其它技术显示，例如一个或多个投影仪。投影仪可以将图像投射到诸如画布或地球仪之类的实体对象上。可以使用系统外部的或作为系统一部分的一个或多个相机(例如，使用面向内的成像系统500或面向外的成像系统502)来跟踪与用户界面的交互。
图11是用于与虚拟用户界面交互的方法1100的示例的过程流程图。方法1100可以由本文描述的可穿戴系统执行。
在框1110处，可穿戴系统可识别特定ui。ui的类型可以由用户预先确定。可穿戴系统可以基于用户输入(例如，姿势、视觉数据、音频数据、传感数据、直接命令等)识别需要填充特定ui。在框1120处，可穿戴系统可以生成用于虚拟ui的数据。例如，可以生成与ui的界限(confine)、一般结构、形状等相关联的数据。另外，可穿戴系统可以确定用户的物理位置的地图坐标，使得可穿戴系统可以显示与用户的物理位置有关的ui。例如，如果ui以身体为中心，则可穿戴系统可以确定用户的身体位置(physicalstance)的坐标、头部姿势或眼睛姿势，使得可以在用户周围显示环形ui，或者可以在墙壁上或在用户前面显示平面ui。如果ui以手为中心，则可以确定用户的手的地图坐标。这些地图点可以借助通过fov相机接收的数据、传感输入或任何其它类型的收集数据取得。
在框1130处，可穿戴系统可以从云向显示器发送数据，或者数据可以从本地数据库发送到显示部件。在框1140处，基于发送的数据向用户显示ui。例如，光场显示器可以将虚拟ui投射到用户的一只或两只眼睛中。在框1150处，一旦创建了虚拟ui，可穿戴系统只需等待来自用户的命令以生成在虚拟ui上的更多虚拟内容。例如，ui可以是围绕用户身体的身体中心环。然后，可穿戴系统可以等待命令(手势、头部或眼睛动作、来自用户输入设备的输入等)，并且如果它被识别(框1160)，可以向用户显示与该命令相关联的虚拟内容(框1170)。
ar系统、ui和用户体验(ux)的其它示例在美国专利公开no.2015/0016777中描述，其全部内容通过引用并入本文中。
增强现实内容生成的示例
图12示出了用于生成增强现实内容以增强用户的映像的视图的例程的流程图的示例。优选地，该例程在显示系统中实现，例如具有可穿戴显示设备的系统80(图1b)，该可穿戴显示设备包括显示区域，该显示区域包括被配置为将光引导到用户的光重定向特征。显示区域可以是至少部分透明的，并且足够透明以通过显示区域提供周围环境的视图。在一些实施例中，包括本文描述的任何动作和功能的例程可以作为编程被存储在本地处理和数据模块70或远程处理模块72中的非暂时性存储器中。编程和例程可以由硬件处理器模块70和/或模块72(图1b)实现。
继续参考图12，在框700处，做出观看者的映像是否在观看者的视野内的确定。如果该确定是肯定的(即，确定映像在观看者的视野内)，则例程继续到框710。在框710处，显示增强现实内容。如本文所公开的，在一些实施例中，可以通过将用图像内容编码的光提供给可穿戴显示器来显示增强现实内容，该可穿戴显示器将光输出给用户以形成用户感知的图像。图像优选地占据小于整个显示区域，从而允许观看周围环境。结果，虚拟内容可以与用户的真实对象的视图混合在一起。在一些实施例中，虚拟内容可以阻挡用户对一个或多个真实对象的部分或全部的视图。如本文所公开的，这种阻挡允许系统修改那些对象被感知的外观。应当理解，增强现实内容可以包括用于观看和分析的实时信息和/或历史数据。
在一些实施例中，可以通过分析由显示系统的相机(用于对世界进行成像的前向相机和用于对用户的眼睛进行成像并且被配置为确定用户注视方向的面向内的相机二者)捕获的实时图像，并将图像定位在显示区域内以使得图像实时地阻挡和取代通过增强现实内容修改的用户的映像或周围环境的一部分映像，来实现图像与用户的映像的空间同步。用于构建图像的图像信息可以被存储在显示系统80中(例如，本地存储在本地处理和数据模块70(图1b)中)，和/或可以从第三方源被接收(例如，通过与零售或健康机构的无线或有线通信链接和/或通过下载到远程数据储存库74(图1b)的内容，其例如可以在检测到用户在特定实体机构中，或者正在查看特定在线网站时由显示系统建立)。应当理解，用户可以沿着相应的视线看到映像中的真实对象。优选地，显示系统被配置为定位图像，使得该图像在用户的视野中的位置与图像打算取代的真实对象的视线一致，以有效地阻止用户观看该真实对象。另外，图像可以被放置在与将在映像中所见的真实对象的深度平面匹配的深度平面上(例如，在与到用户的距离相对应的深度平面上，该距离等于光线从真实对象到镜子然后从镜子到用户所经过的距离)。
在一些实施例中，显示系统可以在用户与反射表面之间的深度平面上显示虚拟对象。应当理解，用户的视觉系统可以预期看到这种虚拟对象的正面视图(面向用户)和背面视图(面向反射表面)二者。为了增加所显示的虚拟对象的逼真性，可以显示虚拟对象的背面的映像。优选地，显示系统本地存储或访问虚拟对象的正面和背面的两个视图的图像信息。然后，该图像信息可以由显示系统显示为两个单独的图像：一个对应于虚拟对象的正面，一个对应于虚拟对象的背面。应当理解，显示系统可以被配置为将背面图像放置在与正面图像不同且比正面图像更远离用户的深度平面上。另外，显示系统可以被配置为提供虚拟对象的背面视图的镜像(例如，提供文本的镜像)，以更逼真地模仿实际映像。
作为虚拟对象的示例，虚拟菜单的背面的映像可以被显示为镜子中的映像；也就是，虚拟菜单的背面的图像可以被显示在覆盖镜子的位置，其中，如果虚拟对象是真实对象，则背面图像的位置对应于将存在映像的位置。应当理解，可以利用射线追踪来确定正面和背面图像的相对位置。还应当理解，随着虚拟对象移动，正面和背面图像的位置也可以移动。在一些实施例中，显示系统可以被配置为确定是否例如基于上下文选择性地显示背面图像。例如，可以显示表示三维对象(例如，这样的对象，所述对象打算要模仿或取代在世界中的对象和/或与世界交互的对象)的虚拟内容的正面和背面，而用于专门向显示系统提供输入和/或提供来自显示系统的信息的虚拟对象可不使背面图像显示为映像。在一些实施例中，虚拟菜单可不具有背面映像，以向用户发信号通知该菜单不是真实对象和/或以节省计算资源。
再次参考框700，确定用户的映像在用户的视野内可以由显示系统使用各种输入和标准自动完成。例如，利用用户的显示设备上的相机捕获周围环境的图像，并且将所存储的图像信息与所捕获的图像进行比较，以确定所捕获的图像与所存储的图像信息之间是否匹配。在一些实施例中，所存储的图像信息包括生物信息，例如用户外观的独特特征。这些独特特征可以包括但不限于用户的一个或多个独特物理属性的存在，或者用户的物理特征(例如，面部上的特征)之间的关系(例如，空间或大小关系)。在一些实施例中，执行框700包括运行面部识别子例程。
一些实施例中，所存储的图像信息包括可穿戴显示设备的独特特征。例如，显示设备的框架可以具有由显示设备的相机或其它传感器捕获的独特标识符(例如，条形码或独特的电磁发射)。将独特标识符与存储在显示系统中的一组可允许标识符进行比较，并且将肯定的匹配解释为指示存在映像。在一些实施例中，反射表面(例如，镜子)本身可以包括独特标识符。例如，反射表面可包括条形码或其它可见标识符。在一些实施例中，反射表面包括广播电磁信号的信标。显示设备具有接收该信号的接收器，该信号与所存储的一组可允许信号进行比较。如果进行匹配，则将信号的接收被解释为指示用户接近反射表面。在一些实施例中，信号可以是无线电信号，其可以使用蓝牙或射频识别(rfid)技术标准来实现。在一些其它实施例中，可以使用用户上的位置传感器和对包含已知反射表面的位置的数据库的访问来确定用户接近反射表面。用户位置与已知反射表面位置之间的匹配可以被解释为指示用户接近反射表面，并且可以通过分析由显示系统的相机捕获的图像来做出这样的确认：反射表面在用户视线内。将理解，在一些实施例中，除了可用于确定用户的映像在用户视野内之外，在一些实施例中，显示设备的框架或其它部件的独特几何形状可以由计算机视觉软件识别，并且被视为与显示系统交互的“图腾”。
在一些实施例中，显示系统可以被配置为通过分析由面向外的相机捕获的图像来检测映像的存在，以获得反射图像的各种标记(indicia)。这些各种标记可包括镜子对左右特征的反转。例如，显示系统(例如，显示系统的框架)在其表面上可以包括具有特定的从左到右取向的可见标志(marking)，这些标志是显示系统已知的。这种可见标志可以包括字母，诸如在显示系统框架左侧的字母“l”和/或在显示系统框架右侧的字母“r”。如本文所公开的，显示系统可以被配置为使用其面向外的相机主动地扫描周围环境并且识别由相机成像的对象(包括景观，诸如商店内部和/或人)。因此，显示系统可以被配置为识别由相机捕获的框架的图像，并且还确定字母“l”和/或“r”的取向被反转。这种反转可以被解释为指示相机已经对显示器或相机框架的映像进行成像。可用于指示映像的标志的其它选项包括具有不同于其从右到左的取向的从左到右取向的任何标志，包括符号、颜色(例如，具有特定顺序的颜色条带)等。
在一些实施例中，显示系统可以被配置为确定是否存在反转的用户面部/身体标志。优选地，所述标志具有特定的从左到右的取向。这种面部/身体标志的示例包括疤痕、胎记、雀斑团、用户头发分开的方向等。这样的标志可以被显示系统存储和访问，显示系统可以被配置为检测标志的反转图像。另外，显示系统还可以被配置为识别是否存在用户衣服上的标志/符号的反转图像。例如，显示系统可以被配置为识别用户的衣服并且检测用户衣服上的标志/符号(例如，词语)被反转。在一些实施例中，显示系统可以被配置为形成由面向外的相机捕获的图像的镜像版本，并将这些镜像版本与所存储的数据中表示的非镜像图像进行比较。如果存在匹配，则显示系统可以被配置为确定存在映像。在一些其它实施例中，显示系统可以被配置为形成被存储在其数据库中的对象的镜像(或电子数据等同物)，并将这些镜像与由面向外的相机捕获的对象进行比较。如果存在匹配，则显示系统可以确定存在映像。
在一些实施例中，可以使用移动来检测因反射表面引起的从左到右的反转。例如，显示系统可以包括加速度计和/或定位设备，并且可以被配置为在处理由面向外的相机捕获的图像以确定用户沿同一方向移动时确定用户正在沿着特定方向(例如，向左)移动。
在一些其它实施例中，显示系统可以被配置为发射电磁辐射和/或声波(或其它波长的声学波)，并且检测该电磁辐射和/或声波(或其它波长的声学波)的反射以确定反射表面的存在。应当理解，反射表面，特别是镜面反射器，可以提供比来自非反射表面的反射更少扩散的反射。在一些实施例中，可以分析来自接收反射的传感器(例如，面向外的相机或接收器)的数据，以确定接收到的反射所暗示的扩散量。低于预定阈值的扩散可以由显示系统解释为指示该反射是由镜面反射器提供的。如本文所述，这种检测反射的方法可以与一种或多种其它方法组合，以便提高反射检测的准确度。
在一些实施例中，显示系统可以被配置为即使在用户不在映像中的情况下也确定映像的存在。例如，显示系统可以被配置为检测已知符号(例如，字母和/或单词)的图像并确定符号被反转。如本文所公开的，显示系统还可以被配置为从用户处接收指示存在映像的输入。可以在映像中提供这样的输入，并且可以识别用户是否在映像中。在一些其它实施例中，显示系统可以使用注视检测来确定用户正在观看的对象，并且显示系统还可以被设置有真实或虚拟的选择器(或按钮)以使用户提供关于正被观看的对象是否为映像的一部分的输入。
应当理解，反射表面可以位于固定位置处。另外，如本文所述，显示系统可以被配置为将信息共享或传递给其他用户，并且该信息可以包括先前由其他用户确定为存在的反射表面的位置和取向。因此，在一些实施例中，可以跟踪用户的位置并且可以确定用户正面对的方向。基于该位置和视线信息，由于已经共享该信息的其他用户或其它显示系统较早识别到了反射表面，显示系统可以被配置为确定在该位置处是否存在该反射表面。
在一些实施例中，分析本文讨论的多个输入和/或标准，并且在一个或多个硬件处理器生成关于例程可以继续到框710的信号之前需要检测这些输入和/或标准。有利地，多个输入和/或标准的使用可以提高在框700处做出的确定的准确性。在一些实施例中，用于确定映像的存在的至少一个标准包括用户独有的特征(例如，用户面部上的生物特征)。这有利于使得后来显示的内容安全，因为仅当用户在现场提供独特的面部特征才能显示该内容。在将个人信息作为增强现实内容显示的应用中，需要这种安全性。
在存在面向内的相机500(图5)的一些实施例中，相机500可以用作虹膜扫描仪，用于虹膜识别用户60的一只或多只眼睛(图1b)。应当理解，虹膜包含独特的特征集，这些特征集随时间稳定并且对于每个个体是独特的。因此，可以使用可定义独特图案的特征集来识别个体，这通常具有比指纹更高的准确度。这些特征集可以由相机500捕获，例如，作为虹膜的捕获图像的一部分，并且本地处理和数据模块70可以分析图像以检测是否存在与用户的虹膜特征集匹配的独特特征集。如果发现存在用户的独特虹膜特征集，则本地处理和数据模块70提供指示匹配的信号，并且确定该用户正穿戴着显示系统80。
在一些其它实施例中，相机500可以用作用户60的一只或多只眼睛的视网膜扫描仪(图1b)。这种视网膜扫描可以包括红外光发射器(例如，作为相机500的一部分)，其被配置为将光引导到用户60的眼睛中。应当理解，用户视网膜中的血管图案是独特的，并且通常不随时间改变，并且血管反射不同于周围组织的红外光量。由这种差异光吸收形成的独特图案可以由相机500检测。如果发现视网膜图案与用户的视网膜图案匹配，则本地处理和数据模块70提供指示匹配的信号，并且确定该用户正穿戴着显示系统80。将理解，在一些实施例中，相机500可以既用作虹膜扫描仪也用作视网膜扫描仪。
再次参考图12，在一些实施例中，框700包括以下二者：1)获得存在用户的映像的肯定结果(例如，使用面部识别、系统80上或由系统80发出的标识符、接收到来自反射表面的信号等)；2)确定用户实际正穿戴着显示系统80。一旦在这些实施例中这两个条件都被满足，显示系统就可以从框700前进到后续的框。
在一些实施例中，检测用户是静止的可选步骤可以在框700的一部分处或在框700与710之间执行。显示系统可以被编程为在前进到框710之前执行关于用户是否静止的分析。例如，可以在显示系统中提供加速度计、惯性测量单元或gps单元，并且来自加速度计、惯性测量单元或gps单元的输入可以由一个或多个硬件处理器接收，该硬件处理器用如下指令被编程：在确定用户持续特定时间量(例如，2秒或更长，3秒或更长，4秒或更长，或5秒或更长)为静止的之前不前进到框710。
在一些其它实施例中，框700可以包括手动操作。用户可以通过向显示系统提供输入来做出存在映像的确定。例如，显示系统可以具有例如手动或虚拟开关，所述开关可以被激活以提供由显示系统可接收的、指示存在映像的信号，从而允许例程前进到框710。作为另一示例，可使用用户语音命令来向显示系统提供输入以警告系统存在映像。在另外的示例中，可以使用面向外的相机在用户的映像中检测用户的动作(例如采取姿势的形式)。显示系统可以被配置为将特定动作识别为特定类型的输入。例如，人指向在映像中他们的头部的姿势可以被显示系统识别为表示用户正在确认存在用户的映像的信号。附加地或替代地，指向一个人的头部的姿势可以被显示系统解释为这样的输入：该输入引导显示系统以对被指向的面部执行面部识别以确定用户的存在的输入。
在一些实施例中，在框700之前，显示系统和/或反射表面上或附近的信标可以被配置为主动地将用户吸引到反射表面。例如，显示系统对信标的检测可以使系统显示光学指示器(例如，箭头、指南针或地图)和/或听觉信号(例如，语音提示或警报)以将用户引导到反射表面。在一些其它实施例中，作为由显示系统提供的引导的补充或替代，反射表面可以包括或接近检测用户的存在的传感设备(例如，相机或接近传感器)，并提供将用户吸引到反射表面的信号。例如，该信号可以是光学信号(例如，闪光、闪光灯或引导标示)或声音警报。
在一些实施例中，显示系统可以具有或可以被连接到具有反射表面位置的数据库。用户可以具有跟踪其位置的位置传感器(例如，作为显示系统的一部分)，并且显示系统可以被配置为主动地将用户引导到反射表面。该引导可以由用户发起(例如，作为用户查找附近反射表面的请求的一部分)，或者可以基于系统中的预设标准而被自动生成。
显示系统和/或信标和/或传感设备还可以被配置为选择性地将特定用户吸引到特定反射表面。例如，将特定用户吸引到特定反射表面可以由在显示系统和/或信标和/或传感设备中编程的各种规则来控制。在一些实施例中，将用户主动吸引到反射表面可取决于用户性别、用户销售历史、用户收入等。例如，在百货商店中，编程规则可使得用户仅被引导到与用户性别相匹配的服装部中的反射表面。
将理解，在一些实施例中，可以获知用户的身份和关于用户的详细信息。例如，可以使用虹膜和/或视网膜识别来识别用户，然后可以将显示系统80配置为加载该用户的简况。简况可以包含各种标识符，包括各种人口统计标准，包括年龄和性别，以及用户与反射表面中看到的其他人的关系。这些标识符可用于更具体地设计将用户主动吸引到反射表面。例如，显示系统可以被配置为基于上述标识符中的一个或多个将用户引导到反射表面。
再次参考图12，一旦根据框700发现用户的映像在用户的视野中，则前进到框710，显示增强现实内容可以包括显示具有用户可选选项的虚拟菜单。该虚拟菜单可以通过将包含文本和/或符号的菜单的一个或多个图像覆盖到用户的反射表面视图或他们的周围环境视图上来形成，从而允许观看者与显示系统交互。例如，菜单可以包括允许用户选择要显示的其它增强现实内容的选项。在一些实施例中，这可以涉及选择已被编程到显示系统中的特定应用。这些应用可以包含生成用于各种目的(例如，时尚、购物、健康、美容、教育等)的内容的程序。菜单项的选择可以经由“虚拟触摸屏”、语音命令、眼睛跟踪、姿势或其它手段来进行。诸如面向内的相机500(图5)之类的外围设备可用于捕获姿势和跟踪眼睛。
在一些实施例中，可以利用面向外的相机65(图1b)来检测用户输入，所述用户输入由相机65在用户的映像中捕获。相机65可以被配置为捕获各种身体姿势和/或眼睛运动，并且显示系统可以被配置为将这些姿势和眼睛运动解释为输入。例如，特定的身体姿势、手势、头部姿势和/或面部表情可以被编程到系统中作为引起显示系统的特定动作的特定输入。作为示例，用户皱眉可以被编程为对应于是或否问题的“否”回答。类似地，可以将眼睛抽动或特定手势编程为向显示系统发信号通知另一输入。在一些实施例中，相机65和/或500可被用于眼睛跟踪以选择菜单项。
在一些实施例中，如本文所公开的，相机65和/或500可用于捕获用户的面部和/或身体的图像(包括视频)以确定用户的情绪状态，包括用户对增强现实内容的情绪反应。应当理解，由情绪状态的特定确定生成的增强现实内容可以是上下文敏感的。如上所述，在是或否问题的上下文中，检测到用户面部上的皱眉可以被解释为“否”输入信号。在一些其它情况下，例如当在锻炼例程、物理治疗或其中目标是继续活动的其它活动期间发生皱眉时，显示系统可被编程为检测活动(例如，基于位置、关于参与活动的用户输入等)，并提供基于活动提供正面强化的增强现实内容。例如，显示系统可以被配置为生成被设计为激励用户或增加用户信心的图像和/或音频。作为示例，正面强化可以包括显示增强现实内容，其显示用户与实现目标有多近(例如，剩余多少时间等)和/或用户已经相对于基线提高了多少其性能(例如，以图形方式显示其速度、力量等的测量值)。在一些其它上下文中，例如当系统检测到用户处于特定环境(例如，商业、工业、军事或临床环境)中或家用镜子前时，系统可被配置为向与该环境相关的用户提供激励线索。在一些实施例中，响应于皱眉，增强现实内容可以包括关于用户外观的正面强化。例如，显示系统可以提供指示用户装备的颜色和/或化妆品落入可以考虑补充的范围内的信号。应当理解，装备和/或化妆品可以包括由显示系统生成的增强现实内容。
继续参考图12，在一些实施例中，可以在生成增强现实内容的过程中利用相机500(图5)和/或相机65(图1b)进行的眼睛跟踪来修改所生成的内容。例如，用户的眼睛保持聚焦在一对象上的时间长度(“注视时间”)和/或用户瞳孔面积的变化可以被显示系统解释为对该对象感兴趣的程度的标志。长的时间长度和/或瞳孔面积的增大可以指示对该对象高度感兴趣。在零售环境中，这可以导致显示与该对象相同的类型的更多商品。例如，用户对某鞋持续超过编程的阈值持续时间的观看会导致提供可以被显示为覆盖用户的脚的映像的其它鞋的菜单选项。在一些实施例中，可以利用注视时间来改变向用户呈现作为增强现实内容显示的选项的速度。例如，如果显示系统检测到用户眼睛固定在特定菜单选项上的持续时间超过编程的阈值持续时间，则系统可以放慢或停止显示其它选择。
在一些实施例中，可以基于用户的识别，通过面部识别、生物识别数据或独特标识符的检测(例如，对独占地与用户相关联的设备使用诸如rfid或蓝牙之类的技术)来自动启动个性化菜单和/或所显示的内容类型。在一些实施例中，系统80可以被编程为通过分析用户的映像和/或检测独特标识符来识别用户。肯定的匹配导致显示个性化增强现实内容。自动启动的菜单的示例可以包括“自定义桌面”，其具有用户预选的内容应用和诸如日历、电子邮件、社交媒体、新闻馈送、天气、交通之类的定制内容。有利地，需要检测用户独特标识符的识别协议除了允许在为每个用户提供个性化体验的同时在多个用户之间共享单个显示系统之外，还可允许用户个性化内容的更高安全性。如本文所述，在一些实施例中，面向内的相机500可用于通过例如执行虹膜和/或视网膜识别来提供额外的安全层，以便在显示个人或个性化增强现实内容之前确认该用户确实是穿戴着显示系统80(图1b)的那个人。
应当理解，每次执行框710时，所显示的内容类型都可以是一致的，或者可以是动态的并且根据各种触发而变化。例如，每次执行框710时，可以最初显示用户的个性化菜单。在一些实施例中，所显示的增强现实内容的类型可以根据各种标准(例如，位置、时刻/星期几/日期、用户外观、外部环境线索、通过新闻付费接收的实时事件、社交媒体馈送等)而变化。可以对这些标准进行分级或为它们分配特定权重，以确定在满足多于一个标准的情况下要显示的内容类型。在一些实施例中，可以自动显示增强现实内容，例如不需要用户进行虚拟菜单选择。所显示的内容可以通过是否满足各种预选标准(例如，位置、时刻/星期几/日期、用户外观、外部环境线索、通过新闻付费接收的实时事件、社交媒体馈送等)来确定。应当理解，显示系统可以被编程为使得本文公开的增强内容的功能和类型中的任一者、全部或组合可以通过菜单选择而被访问，或者在没有用户输入的情况下自动启动。
如本文所讨论的，在一些实施例中，可以基于时刻、星期几和/或日期来确定所显示的内容类型，无论是由于选择菜单项而生成还是在通过框700之后自动生成的。例如，作为框700或710的一部分，显示系统可以被编程为确定日期和/或时刻。针对时刻的同结果可导致显示关于个人美容活动、牙线清洁牙齿、药物摄入、订购药物等的不同提醒。在某些情况下，可以提供重复动作的警报或提醒。例如，某些提醒可能与特定日期或星期几相关联；一旦实际日期或星期几与提醒的触发日期或星期几匹配，便可显示这些提醒。
在一些实施例中，增强现实内容可以是位置特定的和/或环境特定的。可以通过从用户处接收关于位置的输入来确定用户的位置。在一些实施例中，显示系统可以包括gps设备和/或加速度计/指南针设备，系统被编程为访问这些设备来确定位置。在一些实施例中，由相机捕获的图像可以被本地数据处理模块70或远程处理模块72(图1b)分析，以通过将图像与存储在显示系统中的特征(例如，标志、独特标识符、地标和/或结构)进行比较来确定用户的位置。在一些实施例中，系统被编程为通过接收无线标识符广播的特定位置(例如，商店、餐馆等)来确定位置。作为示例，位置的确定可以将反射表面识别为观看者浴室中的镜子或商业零售店(例如，百货商店)或另一设施(例如，商业、工业、军事或临床设施)中的镜子。所显示的信息可以针对每个位置定制。例如，如本文所公开的，个人美容信息或提醒可以在用户的浴室中提供，而商店广告可以在百货商店中提供。
在一些实施例中，作为取决于位置的附加或替代，增强现实内容可以取决于用户环境的特征或特性(例如，人、对象或环境条件)。例如，相机65(图1b)或与显示系统通信的其它相机可以对用户环境进行成像，并且显示系统可以被配置为识别该环境中的特征(人或对象)，或者其它传感器(例如，温度传感器)可用于获得关于环境的数据。随后可以基于环境特征或关于环境的数据的识别来选择增强现实内容。例如，可以使用面部识别软件来识别映像中的另一个人，并且显示系统可以生成识别该另一个人的增强现实内容。例如，可以利用这种识别来帮助痴呆患者识别护理人员或亲人。作为另一示例，相机和环境传感器可以识别温暖和阳光灿烂的日子，这可以触发其它增强现实内容，例如有关适合于这种天气的帽子或其它商品的销售的警报。
在一些实施例中，在一些环境中(例如，在实体商店中，或在查看线上虚拟商店时)，增强现实内容可以包括一般来自商店，或者来自用户所在的商店的特定部分或部门的销售要约或其它警报。在一些实施例中，确定用户处于零售环境中可以启动作为框710的一部分的子例程。例如，该子例程可以包括：
·确定用户的身份；
·访问用户的购买或浏览历史；以及
·基于购买或浏览历史生成销售要约。
应当理解，显示系统包括相机，该相机可以捕获用户在零售位置或虚拟商店中观看的商品并对其编目。因此，系统可以从该浏览历史中“学习”，分析商品的样式或共同特征或类别，然后显示信息，包括用户在该购物会话上可能感兴趣的商品的销售信息。在一些实施例中，当在购物会话的过程中收集额外的浏览和购买信息时，可以基于额外的信息来细化所显示的销售要约，这可以增加这些要约的相关性。在购物会话上浏览或购买的商品可以被存储在例如远程数据储存库74(图1b)中。可以在将来的购物游览中访问该信息以向用户提供相关内容。
在一些实施例中，可以在框710之前确定用户的身份。在一些实施例中，关于所识别的用户的信息例如可以由零售位置或另一设施(例如，商业、工业、军事或临床环境)中的接收站来收集。在一些实施例中，接收站可以被设置在反射表面上或附近(例如，作为在反射表面上或邻近反射表面的信标的一部分)，并且可以包括与存储器设备相关的处理。信息的收集例如可以包括用户的活动，其中包括交易历史，并且可以收集先前的行踪。在一些实施例中，该信息可用于提供个性化内容和/或可简单地被收集以供进一步使用和分析。例如，可以分析该信息，并且可以生成增强现实内容，以基于所收集的信息将用户引导到商店内的特定位置。
继续参考图12，在一些实施例中，框710可以包括显示增强现实内容，该增强现实内容包括可以由用户穿戴的服装、服装配饰、珠宝或其它物品的图像。图像可以覆盖在用户的映像上，从而模拟用户“试穿”一件或多件物品。应当理解，该“试穿”可以在零售环境中进行(例如，在实体店中的镜子前面)或者可以虚拟地进行(例如，当用户在线浏览商品时，他或者她可以选择一件商品来虚拟地“试穿”)。
在一些实施例中，增强现实内容可以包括这样的图像：所述图像覆盖用户的映像并且修改用户的衣服或用户穿戴的其它物品的视觉观察特性。例如，可以通过显示正当实体物品的映像的图像并用增强现实内容取代该映像来修改物品的颜色、纹理和图案中的一者或多者。在一些实施例中，显示系统可以被配置为改变用户周围的周围环境的外观。例如，显示系统可以被配置为改变周围环境的感知照明。低光条件可以通过阻挡光到达用户来实现，而强光条件可以通过增加到达用户的光来实现。这种表面照明条件的变化可用于例如分别确定晚礼服在低光下看起来怎么样或确定泳衣在强光下看起来怎么样。另外，显示系统可以被配置为改变周围环境本身的外观。例如，由显示系统提供的增强现实内容可以包括用户的映像周围的背景布景。作为示例，增强现实内容可以包括与舞厅环境相对应的布景，以允许用户看到晚礼服在该环境中看起来怎么样，或者增强现实内容可以包括海滩以允许用户看到泳衣在海滩环境中看起来怎么样。
在一些实施例中，增强现实内容可包括这样的图像：所述图像修改用户的身体的映像的视图。例如，增强现实内容可以覆盖用户的映像，以示出美容手术、减肥、牙齿增白、新发型、纹身、永久美容等的可能效果。
如本文所讨论的，在一些实施例中，显示系统可包括用于检测运动和/或身体位置变化的传感器。有关运动或身体位置变化的信息可用于增强增强现实内容。例如，在将虚拟连衣裙显示为覆盖用户的映像之后，附接到显示系统(因此附接到用户)的加速度计和陀螺仪可以检测用户的倾斜和旋转，并且应用该虚拟连衣裙的适当视图和/或虚拟连衣裙对运动的感知。类似地，可以通过运动或位置传感器或者通过指向反射表面的距离传感器来跟踪用户的更靠近或更远离反射表面的移动，以确定增强现实内容的适当缩放。在一些其它实施例中，可以通过分析由相机(例如，图1b的相机65)捕获的用户的映像来实现用户的运动和身体位置变化和/或增强现实内容的适当缩放。
如本文所讨论的，显示系统可以包括有线或无线通信通道，这些通道可以允许与远程服务器(例如，“基于云的”服务器)或与其它显示系统的通信。在一些实施例中，显示系统可以被配置为通过由这些通信通道提供的互连而在显示系统之间发送内容来共享内容。显示系统之间的连接可以是直接的系统到系统连接，或者可以通过包括一个或多个其它计算机系统的网络提供。例如，用户可能能够查看对其外观的修改，包括着装的改变，并且还能够将该信息发送给一个或多个其他用户。例如，发送的信息可以包括用户的实际映像的图像和覆盖在该映像上的任何增强现实内容。其他用户可以在其显示系统中将该信息作为增强现实内容观看。这些其它显示系统还可以被配置为发送和共享其用户的映像，包括具有覆盖的增强现实内容的映像的图像。用户可以处于同一物理位置，或者可以彼此远离，其中共享内容从而提供交互式的社群体验。在一些实施例中，显示设备上的麦克风67和扬声器66(图1b)允许用户彼此通信。
在一些实施例中，远程服务器可以由其他个人访问，无论这些个人是否为诸如显示系统80之类的显示系统的用户。在一些实施例中，远程服务器可以是远程数据储存库74的一部分。远程服务器可以是各种“社交媒体”服务或应用的一部分或可以被各种“社交媒体”服务或应用访问，这些服务或应用可以根据服务或应用设置的条款提供对用户内容的访问。例如，用户看到的增强现实内容可以由用户通过将内容上传到由第三方服务管理的服务器来共享，其中第三方服务提供对该内容的访问。
在一些实施例中，显示系统可以被配置为将一部分其数据(例如，用户的映像和/或为用户生成的增强现实内容)发送给一个或多个其他用户，以便那些用户可以体验共享数据(例如，通过观看用户的映像和/或增强现实内容)。因此，一个用户的虚拟世界的部分可以被传递给第二用户。例如，显示系统可以被配置为向第二用户提供与针对第一用户的覆盖相对应的增强现实内容。增强现实内容可以是服装，例如连衣裙。因此，显示系统可以被配置为，通过允许与一连衣裙相对应的增强现实内容是第一和第二用户的被覆盖的映像，或仅是在第一用户已将有关该连衣裙的信息传递给第二用户之后第二用户的映像，允许第一和第二用户都虚拟地试穿连衣裙。应当理解，该信息可以包括除一对象的图像数据之外的数据。例如，该信息可以包括关于该对象的注释或注解，以便例如第二用户可以从第一用户接收关于该对象的评论。这些评论可以被显示为例如图像、文本和/或声音形式的增强现实内容。用于在用户之间传递和识别内容的系统的示例可以在2015年8月20日公布的名称为“recognizingobjectsinapassableworldmodelinaugmentedorvirtualrealitysystems(在增强或虚拟现实系统中的可传递世界模型中识别对象)”的us2015/0235435中找到，其全部内容通过引用并入本文中。
在一些实施例中，可以将这样的图像和视频上传到远程服务器：所述图像和视频示出向观看者显示的增强现实内容和/或用户的内容视图以及其自身的映像。上传可以由系统80中的上传信号启动，该上传信号通过例如用户对虚拟菜单项的选择，通过使用语音命令和/或通过使用与语音命令或菜单选择分离的身体姿势或动作而生成。在生成上传信号之前或之后，可以向用户提供菜单选项，以仅上传一个或多个已捕获的增强现实内容的图像或视频，或者除了上传增强现实信息之外还上传一个或多个已捕获的用户的映像的图像或视频。例如，用户的映像可以由相机65捕获，增强现实内容可以是被提供给显示器62的内容。相机65可以将所捕获的图像或视频电子地传送到本地处理和数据模块70，然后将这些图像或视频发送到远程服务器。应当理解，在一些实施例中，增强现实内容可以被暂时存储在本地处理和数据模块70中并上传到远程服务器，或者可以简单地由本地处理和数据模块70从其它服务器路由到用于共享内容的远程服务器。
在一个示例中，可以利用虚拟按钮呈现示出服装商品的增强现实内容，该虚拟按钮允许用户共享他们“试穿”服装商品的图像(例如，用户的映像以及覆盖映像的服装商品的图像)。虚拟按钮的选择导致显示虚拟子菜单，该虚拟子菜单具有捕获图像或视频的选项。在一些其它实施例中，通过使用同时显示的多个内容共享虚拟按钮来避免子菜单，一个按钮用于选择要共享的图像，一个按钮用于选择要共享的视频。一旦做出选择，显示系统上的相机捕获用户映像的图像或视频，并使该图像或视频以及相关的增强现实内容由本地处理和数据模块70上传到可由其它人可访问的远程服务器。这些其它人然后可以在各种其它显示设备(例如电话、个人计算机、平板计算机等)上观看该图像或视频。
应当理解，邻近反射表面的接收站对用户信息的收集可以有效地允许具有接收站的不同反射表面经由用户的可穿戴显示系统80共享数据，即使不同的反射表面不联网或不以其它方式相互通信(例如，不同的反射表面位于商店内的不同部门中，或位于不同的商店中)。此外，在一些实施例中，信息不需要被永久地存储在特定用户的可穿戴显示系统80中。相反，在一些实施例中，信息的一部分或全部仅被传送到接收站，在那里可以对信息进行分析和修改以可能地生成增强现实内容。然后可以将修改后的内容传送回用户的可穿戴显示系统80，以便稍后传送到另一反射表面上的另一接收站。在一些实施例中，在每次传送信息时(无论是从用户的可穿戴显示系统80传送到接收站，还是从接收站传送到用户的可穿戴显示系统80)，信息都不会保留在传送信息的设备中。在一些其它实施例中，信息的全部或一部分由接收站和/或可穿戴显示系统80保留。
在一些实施例中，一些信息由接收站保留以增强接收站的相关反射表面与用户(例如其他用户)的后续交互。例如，该信息可以包括用于特定其他用户的增强现实内容。当另一用户接近反射表面并被接收站识别时，接收站还将该另一用户的身份与用户列表进行比较以接收先前用户留下的内容。一旦做出用户和内容的肯定匹配，则向该另一用户示出先前用户留给他们的内容。这样的内容可以包括例如在该接收站的相关反射表面附近穿戴特定商品的先前用户的图像。
在一些实施例中，由于显示系统包括一个或多个相机(例如，面向外和面向内的相机)，因此可以捕获并分析用户的图像以提供健康和/或美容筛查。可以基于健康和/或美容筛选的结果生成然后显示增强现实内容。应当理解，健康筛查可以是身体和/或心理健康筛查。在一些实施例中，相机可以包括可检测可见光谱之外的波长的光(例如，红外或紫外光)的传感器，并且还可以包括发射这种光谱之外的光的光源。所发射的光可以照亮用户并提供使用可见光谱光检测非表面的状况的基础。在一些其它实施例中，相机可以被声换能器和接收器取代或者可以包括声换能器和接收器，这些声换能器和接收器用于分别产生和接收声波(例如，超声波)以用于各种检测目的(例如，地图构建、深度感测和3d扫描，包括扫描用户身体内部)。
在一些实施例中，可以确定对美容产品的需求，并且可以显示建议产品或程序的警报。例如，对面部的视觉分析可以确定存在大量胡须。这种胡须的检测可能导致剃须和/或订购剃须膏的建议。
在一些实施例中，跨延长的时间间隔捕获用户的映像的一个或多个图像。例如，图像可以是在框700中捕获的用户的映像。可以存储图像，或者可以将从图像导出的数据(例如，面部特征、颜色等的测量结果)本地存储在例如本地处理和数据模块70中，或远程地存储在远程数据储存库74(图1b)中。本地处理和数据模块70或远程处理模块72可以被配置为执行用户的当前图像与所存储的图像或数据之间的比较。
捕获和存储图像的时间间隔可以是数天、数月、数年、或者可能是用户使用显示系统的整个时间跨度，其可以包括用户寿命的大部分。在一些实施例中，可以任意设置图像捕获的频率。优选地，图像捕获频率至少是每周一次，更优选地每天一次，以允许评估用户的各种状况和变化。
优选地，图像可以与随同图像同时获得的存储数据一起被存储或以其它方式链接到该存储数据。例如，给定的图像可以具有相关联的信息，例如关于环境光的读数(例如，环境光的强度、环境光中不同波长的光的比例等)、用户与镜子的距离、时刻等等。这样的数据可以有助于帮助提供在不同条件下在不同时间拍摄的图像之间的准确比较。例如，该数据可用于归一化所捕获的图像，以帮助滤除由环境条件(例如环境光的量或波长分布的差异)引起的异常。
在框710处(图12)，所显示的增强现实内容可包括比较的结果。结果可以包括如下的通知：在例如头发颜色、头发长度、肤色或色调、毛孔大小、皱纹的数量和程度、肌肉大小和张力等方面中发现变化。在其中显示系统包括用于检测非视觉参数的传感器或者显示系统可以访问其它参数(例如，用户体脂水平、体重指数等)的一些其它实施例中，所显示的增强现实内容可以包括这些其它参数随时间的比较结果。在确定存在显著变化时，显示系统可以被配置为提供解决所发现的任何状况的治疗或产品的建议。例如，系统可以确定上述参数之一已从先前捕获的基线水平偏离了一阈值量(例如，5％、10％或15％)。一旦确定已经超过变化阈值，系统便可以显示校正动作的建议(例如，化妆、安排理发等)。显示系统还可以被配置为检索和显示用户的旧图像，以向用户提供他们自己的当前版本和过去版本之间的视觉比较。附加地或替代地，系统可以被配置为将所建议的治疗或产品的预期效果显示为增强现实内容。例如，如本文所讨论的，可以显示示出新发型和/或头发颜色的图像并使该图像覆盖用户的映像。在一些实施例中，显示系统可以被配置为显示示出特定趋势的持续的预期结果的图像。例如，为了突出显示由于连续的增重引起的用户身体的变化，显示系统可以被配置为在用户的映像上覆盖图像，示出由于体重增加而导致的用户尺码增长。作为另一示例，示出用户皮肤上的皱纹或线条的图像可以覆盖用户的映像，以示例出由长期吸烟引起的皱纹。应当理解，示出这些趋势的结果的图像可以因为来自用户的指示显示图像的请求的输入而被显示，可以因为来自第三方(例如，临床医生)的输入而被显示，以及/或者可以在执行分析后作为程序的输出而被自动显示。
在一些实施例中，显示系统可以被配置为向用户提供时尚评论。例如，显示系统可以被配置为识别并警告用户其裤子上的门襟是打开的，衬衫未系扣(或者是缺少纽扣)，用户的衣服不搭等等。
在一些实施例中，可以通过执行旧图像或旧数据与最近捕获的图像或数据之间的比较来进行健康分析。例如，该比较可以检测体形、皮肤苍白度和皮肤特征(例如，变色)的变化。在一些实施例中，比较的结果可以是显示系统显示指示已在特定区域中检测到变化的警报，并且可选地，可能需要卫生保健专业人员的跟进(follow-up)。同样，可以进行精神健康分析。例如，可以分析用户的图像以获得特定情绪状态的指示，包括情绪状态随时间的变化和/或可能被视为不正常的情绪状态的延长持续时间。显示系统可以被配置为提供关于可能引起关注的情绪状态(例如，悲伤时间过长)的警报(提供给用户和/或诸如医生之类的医疗专业人员)。
在一些实施例中，可以基于仅对用户的映像进行成像并且在不修改图像的情况下基于该图像执行比较来进行比较。在一些其它实施例中，可以修改所捕获的用户的映像的图像以放大映像的特定特性。例如，可以通过图像处理而放大映像中的微小变化，以便检测用户的变化。例如，可以放大映像中的颜色，这可允许检测例如通过用户身体的可见部位的血液的脉动。在一些其它实施例中，显示系统可以被配置为增大或放大动作，以便检测用户身体的微小(例如，不自主的)动作。放大的图像可以呈现给用户以允许用户进行比较和/或可以呈现给第三方(例如临床医生)以用于诊断目的。在一些实施例中，可以对映像中除了用户之外的特征(例如，诸如其他人和/或对象之类的特征)执行图像修改和映像的特定特性的放大。
在一些实施例中，该比较可以检测用户身体的视觉对称性的变化，并且可以提供有关对称性缺乏的警报(向用户和/或诸如医生之类的医疗专业人员提供)。例如，当用户仅剃掉其一半脸的胡须或将唇膏涂抹在其半个嘴唇上时，对称性缺乏可以是明显的。应当理解，这种对称性缺乏可能是由特定身体状况造成的，例如半侧空间忽视(其中，诸如中风患者之类的患者只能认识到半个世界)。关于对称性缺乏的用户警报可伴随显示系统对用户的请求以确认该对称性缺乏是有意的还是无意的，以及/或者该警报可以仅包括提醒用户对其身体的一侧执行他们可能无意地未执行的各种动作。在一些实施例中，无意的对称性缺乏可能指示潜在的身体状况，可以因此建议进一步的医疗跟进，和/或直接向医疗专业人员提供警报。
在一些实施例中，健康分析可以利用从多个不同角度捕获的用户的图像。例如，用户可以位于多个反射表面的前面，这些反射表面以不同的角度与用户对齐。显示系统可以被配置为从这些不同反射表面中的每一个捕获用户的视图，以提供更完整的用户视图。
在一些实施例中，单个反射表面可用于提供不同的用户视图。例如，作为健康分析的一部分，显示系统可以捕获用户的一个视图(例如，用户前方的视图)，然后提示用户使他们自己定位在一个或多个其它方向(例如，通过转动)以捕获用户的其它视图(例如，用户的左侧和右侧)。可以使用显示系统上的多个相机捕获这些其它视图，当用户转动并且其映像进入不同相机的视线时，这些相机会捕获这些其它视图。在一些其它实施例中，这些其它视图可以由单个相机通过指示用户在其身体转动时将他们的头部转向反射表面来捕获。
在一些实施例中，距离传感器可被用于确定用户与镜子之间的距离。然后，显示系统可以使用该距离确定来要求用户进行自我定位以提供所期望的用户的映像的视图。例如，当用户与镜子保持一致的距离时，用户的映像的历史比较可能更准确。显示系统可以视情况向用户发信号通知移动靠近或远离镜子，以便提供该一致的距离。显示系统还可以被编程为实时地分析用户身体在映像中的取向，并且还可以提示用户将他们的身体取向定位在图像捕获所期望的位置。例如，显示系统可以被配置为向用户显示虚拟轮廓、光环或其它覆盖物的图像，从而示出正确的取向，然后用户可以移动他们的身体以适合或跟随该虚拟轮廓、光环或其它覆盖物。
应当理解，如上所述，各种身体位置分析和/或用户身体不同视图的捕获可以被应用于健康分析或用于生成增强现实内容的其它分析。例如，用户身体的不同视图和/或提示用户将其身体取向定位在特定位置可以通常作为向用户提供增强现实内容的一部分来应用。例如，在用户的映像上覆盖不同的衣服可以包括提示用户转动他们的身体，以从不同的角度提供衣服的视图。
结合健康分析，或者作为仅被用户选择显示的增强现实内容，在框710处显示的增强现实内容可以包括用户的医学信息。例如，该医学信息可以包括但不限于体重、身高和体重指数中的一者或多者。在一些实施例中，显示系统可以被配置为通过有线或无线通信通过从被配置为测量用户身体的各种特性的传感设备访问数据。例如，这些设备可以是以下一者或多者：秤、温度计、血压计、脉搏血氧计、血糖仪、二氧化碳图系统、心率监测器和神经监测器，并且这些设备的读数可以作为增强现实内容显示给用户。在一些实施例中，读数可以被存储在例如远程数据储存库74(图1b)中。
在一些实施例中，显示系统可被用于远程医疗诊断(例如，健康分析)和/或治疗。例如，上述各种读数中的一者或多者可以被发送给远程医疗人员，可选地与用户的映像的一个或多个图像(如相机65(图1b)所看到的)一起发送。医疗人员可以实时查看读数和/或图像，并且可以利用与用户的实时通信(听觉和/或视觉)来诊断身体状况和/或提供治疗。在一些实施例中，增强现实内容可以包括所建议的用户身体的动作、姿势和/或位置以解决各种状况(例如，用于解决打字造成的腕管综合征的手腕对齐，用于解决眩晕的头部动作等)。增强现实内容可以依次显示所建议的动作、姿势和/或位置，使得用户可以试图将其映像与所建议的动作、姿势和/或位置相匹配。例如，半透明动画可以覆盖用户的映像，以允许用户跟随特定的动作。下面在题目为“健康分析示例”的部分中讨论另外的健康分析的示例。
如本文所讨论的，在一些实施例中，远程诊断或治疗可以利用视网膜或虹膜扫描和检测，以便于安全的符合hipaa的事务。例如，可以进行视网膜或虹膜扫描，并且可以在开始远程诊断或治疗会话之前确认用户的身份，该会话可以使用加密通信来进行。
在一些实施例中，作为健康分析的一部分，或作为教育或新颖特征，显示系统可以被配置为显示包括医学影像的增强现实内容。例如，骨骼和/或器官的图像可以被覆盖在用户的映像上。
如本文所讨论的，面向外和/或面向内的相机65、500可用于捕获用户的图像以查找用户的情绪或精神状态的指示。例如，相机65、500可以被配置为捕获用户的图像，并且本地处理和数据模块70可以被配置为检测用户中的特定情绪的指示的存在。如本文所讨论的，在一些实施例中，这些情绪或精神状态的指示可用作输入以确定要显示的增强现实内容的类型。
在一些实施例中，显示系统80可以被配置为“读取”身体语言和/或面部动作和表情以提供精神健康分析。例如，显示系统可以被配置为检测面部表情和身体语言以检测用户中情绪的存在。作为示例，用户面部上皱眉的存在(例如，基于用户嘴唇和嘴巴的取向与用户嘴唇和嘴巴的常规取向的随时间确定的比较来确定)以及无精打采的姿势(例如，基于当前用户姿势相对于随时间的姿势的比较)的检测可以指示悲伤。作为另一示例，用户的注视反感(特别是先前未观察到注视反感的情况下)可以指示内疚感，或者可以指示另一不正常的行为问题(例如，羞怯、自闭症谱系障碍等)。显示系统80可以被配置为使用这些观察到的指示符作为显示某些类型的增强现实内容的触发器。例如，确定用户悲伤可以触发显示增强现实内容或建议的产品或服务的显示，以解决该情绪状态并支持用户的情绪健康。作为示例，增强现实内容可以包括视觉肯定和/或音频肯定，以向用户提供鼓励。如果用户没有响应于该肯定，则显示系统可以可选地被配置为向健康专业人员警告用户的状况，以提供进一步治疗的选项。
在一些实施例中，所显示的增强现实内容可以包括用于其中期望用户身体(包括他们的面部)的特定动作的活动的指令或训练。这些其它活动的示例包括运动、表演、发表演讲、治疗等。这些活动可以在反射表面前面被执行，以例如从观众成员的角度提供用户的视图。另外，显示系统可以被配置为实时地提供增强现实内容，并且增强现实内容可用于帮助用户摆出各种姿势，执行各种动作，进行单词发音，做出各种面部表情等。
在一些实施例中，所显示的增强现实内容包括指导性辅助。例如，人的线图或图像可以由显示系统生成并覆盖用户的映像，使得用户可能试图将自己与所述线或图像的对应部分对齐，所述线或图像的对应部分可以是静态的，也可以动态地变化以示出特定动作。在一些实施例中，指导性辅助用作训练、物理治疗或职业治疗计划的一部分。例如，可以随时间捕获、保存和比较处于特定位置或执行特定动作的用户的图像(例如，可以绘制用户的位置或动作的差异和/或通过向用户显示来示出该差异，并且可以保存和随时间跟踪比较以估计治疗进展)。作为另一示例，可以通过覆盖包括动画或其它动图的增强现实内容来执行发音治疗，所述动画或其它动图示出为了进行特定发声的正确嘴巴位置。有利地，这些各种类型的内容可以提供关于用户是否正确地采取姿势或执行动作的实时反馈。例如，许多运动利用参与者试图模仿的特定动作或姿势。诸如举重、瑜伽、武术、舞蹈之类的运动可能要求参与者的身体采取各种姿势或动作来提高效率和/或减少受伤的可能性。如上所述，显示系统可以被配置为显示示出这些各种姿势或动作的图像。
现在参考图13，示出了与ar显示系统80交互的用户60。用户60位于反射表面800(例如，诸如镜子之类的镜面反射器)的前面，该反射表面800提供用户的映像810。在一些实施例中，反射表面800包括信标或独特标识符820，其提供指示用户在反射表面800前面的信号。如本文所公开的，显示系统80被配置为检测用户的映像在用户60的视野内。一旦检测到映像，显示增强现实内容以增强用户的周围环境视图。例如，可以显示虚拟菜单项830a至830b。项830a至830b可以被显示为使其看起来设置在反射表面上，或者可以位于用户60的视野中的任何其它位置。如本文所述，用户可以与菜单交互并进行各种选择以显示更多内容。在一些其它实施例中，可以例如基于由显示设备80上的位置确定设备(例如，gps单元)确定的用户位置而自动生成内容。
如本文所述，增强现实内容可包括对用户60的外观的修改。例如，可以改变用户服装的特性。如图所示，条纹图案可以覆盖用户服装的映像。另外如本文所述，可以显示通知830c以例如向用户提供提醒或其它信息。在一些实施例中，如本文所述，显示设备80可以捕获映像810的图像以执行分析并生成要向观看者显示的信息，例如通知830c。应当理解，增强现实内容通常仅对用户60可见，因为它由显示系统80生成并且专门被引导到用户的眼睛。因此，所示例的内容将被理解为代表用户60所看到的内容，而不一定是第三方将看到的内容。另外，示例出了多种类型的内容(通知、菜单项和对用户外观的修改)。然而，在各种实施例中，可以同时显示本文公开的各种类型的内容中的仅一种或仅其组合。
在框710处(图12)，可以适当地显示各种类型的内容以供观看者观看它们。因为镜像对象可以与观看者直接看到的(而不是在映像中看到时)相反，所以显示系统可以被配置为显示对象的镜像版本。例如，当观看者直接观看该对象时，显示系统可以在一个取向上显示虚拟对象，然后当观看者在检测到的映像中观看该对象时(例如，当示出虚拟对象的正面和背面视图时)，反转该取向(以形成该对象的镜像)。然而，在一些实施例中，不进行这种反转；例如，显示系统可以被配置为显示单词，例如用于菜单项，而不反转单词，无论这些单词是否覆盖该映像。因此，在一些实施例中，当在映像中看时，作为场景的一部分的内容可以被反转，并且在不反转的情况下显示并非场景的一部分的通知或其它内容，使得内容具有相同的取向并且看起来相同，无论该内容是否覆盖并被显示为映像的一部分。
在一些实施例中，显示系统可以被配置为在框710处(图12)显示一图像，该图像取代和反转现实世界内容的映像。例如，显示系统可以被配置为识别字母的镜像(其由于被反转而导致用户无法读出)，并且在检测到这样的镜像字母时，显示系统可以被配置为显示其中这些字母被反转的图像(从而提供易于被用户读出的字母)。例如，显示系统可以包括或可以访问包含具有不同字体的字母和每个字母的反转镜像版本的数据库，其中正常字母与该字母的镜像版本之间具有一一对应关系。显示系统可以被配置为使用图像识别来检测由面向外的相机检测到的图像中的字母的镜像版本，并且在检测到这样的镜像字母时，显示系统可以被配置为将用于该镜像版本的字母的正常版本显示作为增强现实内容。该增强现实内容可以覆盖且有效地取代镜像字母。
现在参考图14，框710(图12)的所显示的增强现实内容可以包括用于确定用户环境中的对象的尺寸的虚拟标尺。图14示出了使用虚拟标尺900来借助映像810确定用户60的特征(例如，用户的身高)的尺寸的示例。应当理解，具有已知尺寸h1的虚拟标尺900可以被置于任选的深度平面上，该深度平面被设置在与用户60相距已知虚拟距离d1处。例如，虚拟标尺900可以是虚拟测量杆，其允许用户60通过视觉检查容易地确定h1。因此，量h1和d1是已知的。同样已知的是量d2，即，从用户60到反射表面800的距离。量d2可以使用距离传感器69来确定。因为d2是从用户60到镜子800的距离，而不是光线从用户60到反射表面800然后再返回到用户60所经过的距离，d2在一些实施例中可能需要乘以2。因此，在映像810中看到的用户60的特征的尺寸h2可以使用以下等式确定：
在所示例的图中，h2是用户60的身高。在一些其它实施例中，h2可以是其它特征的宽度或长度，所述其它特征包括用户身体的不同部位，例如其腰部的宽度、手臂或二头肌的宽度等等。
在其中可以直接测量从用户60到镜子800并且再次返回到用户60的整个距离(例如，其中距离传感器69是光学距离传感器，其发射和接收可以被镜子800反射的光)的一些实施例中，可以使用以下等式来确定h2：
在一些实施例中，虚拟标尺900可以包括例如针对高度的标记，这些标记基于映像810的距离而被校准，使得用户可以简单地通过视觉确定映像810在虚拟标尺900上的位置和/或标尺被映像810占据多少来确定h2。有利地，在一些实施例中，无论h2是使用上述等式还是使用另一方法被确定，虚拟标尺900都可以被显示在具有与映像810的深度平面类似的调节状态的深度平面上，使得虚拟标尺900和映像810都对焦(infocus)，从而便于用户视觉确定h2。
在一些实施例中，可以计算h2并将其显示给用户60。例如，可以将用户身体的测量结果显示为增强现实内容，例如以便作为运动养生法的一部分向用户60提供反馈。在另外的实施例中，可以不向用户60显示测量结果。在一些实施例中，可以存储测量结果以用于历史分析。
在一些实施例中，显示系统可以被配置为修改反射图像以解决反射表面中的失真。应当理解，离开反射曲面的对象的映像可能相对于实际对象产生失真。例如，在特定距离处(例如，超过镜子的焦距)，凹面镜将提供其中对象看起来被倒置并且比实际对象大的映像，而凸面镜可以提供其中对象小于实际对象的映像。显示系统可以被配置为校正由反射表面中的曲率引起的映像中的失真。
在一些实施例中，对由反射表面的曲率引起的失真的校正包括：
·确定镜子的曲率；
·确定镜子与用户之间的距离；
·对用户在镜子中的映像进行成像；
·修改成像的映像以反转由镜子引起的失真；以及
·向用户显示修改后的映像和/或基于所捕获的用户图像校正所采取的用户的光学测量结果。
在一些实施例中，确定凹面镜的曲率包括使用以下等式求解镜子的焦距：
应当理解，f是凹面镜的焦距，u是从对象(其在镜子的焦距的外侧)到镜子的距离，v是从对象的对焦图像到镜子的距离。在一些实施例中，u可以是可由显示系统访问或由用户提供的已知量。在一些其它实施例中，可以测量u。例如，用户可以站在对象旁边并利用作为显示系统一部分的距离传感器来测量用户与镜子之间的距离，该距离将被显示系统理解为大约等于对象与镜子之间的距离。在一些实施例中，显示系统可以提示用户移动到对象并向显示系统提供输入以触发到镜子的距离的检测。
为了确定量v，用户可以随着屏幕相对于镜子移动，以确定对象的图像被镜子清晰地聚焦到屏幕(例如，一张纸)上的位置。在一些实施例中，显示系统可以被配置为提示用户相对于镜子移动(例如，通过在框710(图12)处提供可听指令和/或通过提供视觉指令作为增强现实内容并且当对象的图像被清晰地聚焦到屏幕上时向显示系统发信号。在一些实施例中，一旦实现了对象的聚焦图像，显示系统便可以被配置为确定用户与镜子之间的距离。该距离可以被显示系统理解为量v。一旦知道v和u，显示系统便可以被配置为求解f。应当理解，凹面镜的曲率半径r等于2f。
如本文所公开的，在一些实施例中，可以使用显示系统的各种传感器(例如，声学距离传感器)来确定用户与镜子之间的距离(do)。另外，如本文所公开的，可以使用面向外的相机对映像进行成像。随后可以确定(例如，通过分析所捕获的用户的图像)映像中的用户或其它对象的表观尺寸(ho)。在一些其它实施例中，诸如附接到显示系统的框架64(图1b)的面向下的深度传感器之类的传感器可以被配置为测量从框架64到地面的距离，从而为m的确定提供参考距离hi。确定了r、do和ho之后，可以计算出曲面的真实对象高度(hi)和放大率(m)。例如，
在一些实施例中，通过确定量hi和ho直接计算m。如本文所讨论的，ho是在映像中对象的表观尺寸，并且可以使用映像的所捕获的图像的图像分析而被确定。hi是对象的真实大小，并且可以是已知值，例如，被存储在可由显示系统访问的数据库中的值和/或使用传感器测量的值。显示系统可以被配置为通过访问数据库来确定hi。随后可以将显示系统配置为使用等式
在一些实施例中，可以利用真实对象高度和放大率来缩放在镜子中反射的对象(例如，用户)的尺寸。应当理解，反射的对象的尺寸还将取决于用户与反射表面的距离。优选地，基于对象与镜子之间的距离来调节缩放真实对象高度和放大率。例如，用户与反射表面之间的较大距离将导致由显示系统在框710处(图12)呈现的所显示的图像的尺寸的减小。在其中显示系统可以执行图像分析以确定在映像中的特征的尺寸的一些实施例中，可以利用放大率的知识校正由于镜子引起的反射对象或用户的尺寸的失真(例如通过求解对象的真实高度)。
再次参考图12，应当理解，显示系统可以为映像生成增强现实内容，无论显示系统的用户是否在映像中。在框700处，做出关于映像是否在观看者的视野内的确定。在一些实施例中，关于是否存在映像的确定可以是关于用户的映像是否在用户的视野内的确定。如本文所公开的，在一些其它实施例中，关于映像是否在观看者的视野内的确定可以是关于是否存在映像的确定，即使观看者的映像不存在。例如，显示系统可以被配置为确定映像的标记的存在，例如在观看者视野中的对象中的符号或其它标志的从左到右取向的反转。在一些实施例中，不是检测由反射表面引起的用户特征的反转，而是显示系统可以被配置为检测对象或场景上的特征和/或场景中(而不是用户面部上的)的其它映像标记的反转。
继续参考图12，一旦确定映像存在于观看者的视野中，则例程可以前进到框710。在一些实施例中，框710可以包括向增强现实内容提供关于观看者的视野中的对象的信息。该信息可以包括对象对于观看者而言是未知的指示。
应当理解，显示系统可以被配置为连续地对周围环境进行成像并识别该环境中的对象。优选地，该成像和识别是自动执行的，无需用户介入。可以通过访问各种知识库(包括远程或本地数据储存库，例如数据库)来进行这些对象的识别。在一些实施例中，显示系统可以直接和/或通过共享公共数据储存库的中间计算机系统而被连接到其它显示系统。每个显示系统可以被配置为与其它显示系统共享信息，例如，通过将内容添加到公共数据储存库。结果，多个显示系统可以被配置为扩增在公共数据储存库中包含的信息，从而提供可能在其它方面可用的更完整的信息存储。例如，不同的显示系统可以从不同的角度观看一场景，从而提供并非对所有用户都可得到的对象的视图和知识。
应当理解，由显示系统进行的图像识别可以被配置为检测未镜像的对象。在一些实施例中，一旦找到映像，显示系统便可以被配置为反转反射图像，并使用反转图像执行对象识别。例如，显示系统可以被配置为处理所捕获的图像并数字地反转图像以获得与镜像的镜像对应的图像文件。应当理解，对象的图像文件可以包括该对象的多个视图(例如，图像文件可以是三维图像文件，其包含来自多个视角的关于该对象的视觉信息)。
由显示系统进行的图像识别可以包括面部识别，在面部识别中，基于人面部的映像中的特征来识别人。在一些实施例中，显示系统可以被配置为识别映像中的人并显示有关这些人的信息。显示系统可以显示关于反射的人相对于用户的状态的信息。例如，状态信息可以包括关于这个人是否是朋友、敌人、系统和/或用户已经确定为希望遇到的人、和/或显示系统和/或用户已经确定为要避开的人的指示。应当理解，人的图像识别可以包括识别除该人的面部特征之外的特征。例如，可以利用头发和/或身体特征来促进显示系统对人的识别。应当理解，图像识别可以补偿人或对象的取向，例如使得无论人是垂直站立还是水平站立都可以执行图像识别。
除了基于其映像来确定人的身份之外，显示系统还可以被配置为基于映像确定人的各种其它特征。例如，显示系统可以被配置为基于在映像中的人的外观和/或动作识别人的身体语言，从而来推断人的情绪、社交互动、对情境的反应等。
由显示系统进行的图像识别一般还可以包括对象识别。这些对象的示例包括鞋子、销售标志、烟、火和动物(例如，狗、臭鼬等)、以及用户的个人物品(例如，用户的帽子、钱包、膝上型电脑等)。
一旦显示系统识别出对象，显示系统可以被配置为前进到框710(图12)并提供增强现实内容，该内容警告用户关于所识别的对象的信息。例如，显示系统可以被配置为提醒用户其物品之一在桌子上，诸如鞋子之类的物品正在展示或销售中，存在烟或火灾等。如本文所讨论的，应当理解，警报可以采取各种形式，包括例如音频或视觉通知、以及发送给用户的振动。
在一些实施例中，可以基于用户期望的对象的标识来生成有关所识别的对象的警报。可以基于例如用户对对象的感兴趣程度的指示符的历史分析来确定对象的合意性。例如，显示系统可以具有到用户的互联网搜索历史的入口，并且可以被配置为访问搜索历史。所识别的对象与用户针对该对象的频繁互联网搜索之间的匹配(例如，确定用户搜索特定对象的次数已超过预定阈值)可以指示用户对该对象(例如，新鞋)中意。在一些实施例中，可以利用针对对象的注视时间来确定用户是否对该对象高度感兴趣。较长的注视时间被理解为对应于更高的兴趣度。在一些实施例中，当注视时间超过预定阈值水平时，显示系统可以被配置为提供警报，该警报指示用户可能非常想要该对象。应当理解，用户的其它身体或行为迹象也可用于确定对对象感兴趣。例如，响应于看到对象而指向该对象和/或眼睛或瞳孔放大可以被显示系统解释为感兴趣的迹象。在一些实施例中，在做出用户确实对对象感兴趣的确定之前，评估多个兴趣迹象并确定这些迹象为正面迹象。
用户可能会遇到映像中的对于显示系统而言未知的对象。例如，由显示系统进行的图像识别可能无法识别映像中的对象，其中面部识别无法识别映像中的个体。
继续参考图10，在框710处，显示系统可以被配置为显示增强现实内容，该增强现实内容覆盖未被系统识别的对象。在一些实施例中，可以光学地突出显示未被识别的对象。例如，可以用用户理解其与未被识别的对象相关联的指示符(例如，特定颜色)来覆盖未被识别的对象。在一些实施例中，还可以指示显示系统对对象的识别，或显示系统识别对象的置信度。作为示例，系统可以被配置为在已知物品上方和/或周围提供绿色突出显示，在部分已知物品上方和/或周围提供黄色突出显示，以及在未知物品上方和/或周围提供红色突出显示。在一些实施例中，未被识别的对象的指示符可包括文本、可听信号、闪烁框和/或触觉反馈。
应当理解，不能识别对象有时可能是由于对象被布置在使显示系统难以识别的取向上引起的。在一些实施例中，显示系统可以被配置为重新定向所捕获的对象图像，使得以一个或多个其它取向提供对象，并且显示系统可以被配置为利用这些取向的每一者针对图像执行其对象识别协议。例如，对象上的文本可能无法在上下颠倒的情况下被识别，但如果所捕获的对象图像被旋转180°，则可能变得可识别。
在一些实施例中，一旦用信号通知用户对象未被识别，则显示系统便可以被配置为允许用户辅助识别该未被识别的对象。例如，可以向用户呈现文本/语音消息、虚拟用户菜单等，其为用户提供识别未被识别的对象的机会。然后，用户可以通过例如文本/语音消息和/或虚拟用户菜单上的选择来提供对未被识别的对象的识别。显示系统可以被配置为更新其数据储存库以存储对象的识别。显示系统还可以被配置为更新在多个用户之间共享的数据储存库。
在一些实施例中，为了帮助用户识别对象，显示系统可以被配置为作为框710(图12)的一部分呈现增强现实内容，该内容其包括被显示为虚拟对象的对象，该虚拟对象可以被重新定向(由显示系统自动重新定向和/或基于用户提供的指令重新定向)，以便于用户识别该对象。例如，如上所述，通过使显示系统将对象呈现为旋转180°的虚拟对象，可以使对象上的上下颠倒的文本变得可理解。
在一些其它实施例中，显示系统可以被配置为基于“学习行为”和/或“网络辅助识别”来识别对象。例如，系统可以被配置为基于关于对象的特定上下文(例如对象在商店中的位置)的历史数据而做出关于对象身份的“猜测”。作为示例，显示系统可以识别出用户在糖果店中，但由于颜色、大小、形状等的变化而无法识别该商店中待售的对象。然而，由于商店的身份以及可能的其它标记(诸如该对象在一排已知为糖果的其它对象中的位置)，显示系统可以被配置为将待售的未知对象初步识别为糖果。在一些实施例中，显示系统可以被配置为提示用户关于对象的身份的确认。
在一些实施例中，可以进行网络辅助识别。例如，如果显示系统不能基于其本地数据库识别一对象，则该系统可以被配置为访问可以包括由其他用户提供的信息的网络，以试图识别该未被识别的对象。在一些实施例中，显示系统可以被配置为简单地访问网络作为在第一实例中识别对象的一部分，并且在试图通过访问网络识别对象之后将对象标记为未被识别的。
继续参考图10，在框710处，显示系统可以被配置为显示增强现实内容，该增强现实内容识别先前在用户的视野中被识别但不再位于该视野中的对象。例如，显示系统可以被配置为通知用户属于用户的一对象不再位于映像中(例如，由于用户离开反射表面)，一儿童不再位于映像中，和/或一陌生人或朋友不再位于映像中。该通知可以采取各种形式，包括诸如文本或闪烁框、可听信号和/或触觉反馈之类的增强现实内容。
应当理解，许多对象可以由显示系统识别，并且随后由于例如用户和/或对象的移动而从映像中掉出。在一些实施例中，显示系统可以被配置为自动识别或通过用户选择识别对象子集，该对象子集将导致向用户呈现一通知。显示系统还可以被配置为提供对象从映像中消失的通知，其中该通知基于“停留时间”而被提供。例如，显示系统可以被配置为监视用户观看特定对象所花费的时间量。如果停留时间超过预设阈值，则显示系统可以被配置为提供该对象从映像中消失的通知。
在一些实施例中，显示系统可以被配置为警告用户关于映像中的对象的定时出现和/或再次出现。例如，显示系统可以被配置为警告用户某人在映像中出现的持续时间超过预选的阈值持续时间。作为另一示例，显示系统可以被配置为警告用户同一个人在映像中再次出现的次数超过预选的阈值次数。显示系统还可以被配置为确定用户是否在偶遇一反射表面的用户的多个实例中观察到类似的映像。在这样的情况下中，显示系统可以被配置为由于类似的映像的再次出现，确定用户已迷路和/或确定用户之前已经去过相同位置。
多个可穿戴系统之间的通信示例
图15示意性地示出了描绘彼此交互的多个用户设备的整体系统视图。计算环境1200包括用户设备1230a、1230b、1230c。用户设备1230a、1230b和1230c可以通过网络1290彼此通信。用户设备1230a至1230c各自可以包括网络接口以经由网络1290与远程计算系统1220(其也可以包括网络接口1271)通信。网络1290可以是lan、wan、对等网络、无线电、蓝牙或任何其它网络。计算环境1200还可以包括一个或多个远程计算系统1220。远程计算系统1220可以包括聚集的并位于不同地理位置处的服务器计算机系统。用户设备1230a、1230b和1230c可以经由网络1290与远程计算系统1220通信。
远程计算系统1220可以包括远程数据储存库1280，其可以保持关于特定用户的物理和/或虚拟世界的信息。远程数据储存库可以是图1b所示的远程数据储存库74的实施例。远程计算系统1220还可以包括远程处理模块1270。远程处理模块1270可以是图1b所示的远程处理模块72的实施例。远程处理模块1270可以包括与用户设备(1230a、1230b、1230c)和远程数据储存库1280通信的一个或多个处理器。处理器可以处理从用户设备和其它源获得的信息。在一些实施例中，处理或存储的至少一部分可以由本地处理和数据模块70(如图1b所示)提供。远程计算系统1220可以使给定用户能够与另一用户共享关于特定用户自己的物理和/或虚拟世界的信息。
用户设备可以是，单独地或组合地，可穿戴设备(诸如hmd或ard)、计算机、移动设备、或任何其它设备。例如，用户设备1230b和1230c可以是可以被配置为呈现ar/vr/mr内容的图1b所示的可穿戴显示系统80(或图5所示的显示系统1000)的实施例。
用户设备中的一个或多个(例如，1230a至1230c)可以与图5所示的用户输入设备504一起使用。用户输入设备可以获得关于用户和用户环境的信息(例如，使用图5所示的面向外的成像系统502)。用户设备和/或远程计算系统1220可以使用从用户设备获得的信息来构建、更新和构造图像、点和其它信息的集合。例如，用户设备可以处理所获取的原始信息并将处理后的信息发送到远程计算系统1220以进行进一步的处理。用户设备还可以将原始信息发送到远程计算系统1220以进行处理。用户设备可以从远程计算系统1220接收处理后的信息，并在投射给用户之前提供最终处理。用户设备还可以处理所获得的信息并将处理后的信息传递给其它用户设备。用户设备可以在处理所获取的信息的同时与远程数据储存库1280通信。多个用户设备和/或多个服务器计算机系统可以参与所获取的图像的构建和/或处理。
关于物理世界的信息可以随着时间的推移而发展，并且可以基于由不同用户设备收集的信息。虚拟世界的模型也可以随着时间的推移而发展并且基于不同用户的输入。这些信息和模型有时在本文中被称为世界地图或世界模型。如参考图7和9所描述的，由用户设备获取的信息可用于构建世界地图1210。世界可以包括图9中描述的地图920。各种对象识别器(例如708a、708b、708c......708n)可用于识别对象和标记图像，以及将语义信息附加到对象。这些对象识别器可以包括图7所示的对象识别器708a和708n。
远程数据储存库1280可用于存储数据并且便于世界地图1210的构建。用户设备可以不断更新关于用户环境的信息并且接收关于世界地图1210的信息。世界地图1210可以由用户或其他人创建。如本文所讨论的，用户设备(例如，1230a、1230b、1230c)和远程计算系统1220可单独或组合地构建和/或更新世界地图1210。例如，用户设备可与远程处理通信模块1270和远程数据储存库1280通信。用户设备可以获取和/或处理关于用户和用户环境的信息。远程处理模块1270可以与远程数据储存库1280和用户设备(例如，1230a、1230b、1230c)通信，以处理关于用户和用户环境的信息。远程计算系统1220可以修改由用户设备(例如，1230a、1230b、1230c)获取的信息，例如，选择性地裁剪用户的图像，修改用户的背景，将语义信息附加到用户环境中的对象，以及将虚拟对象添加到用户的环境中。远程计算系统1220可以将处理后的信息发送到相同和/或不同的用户设备。
使用线索的镜子检测
hmd可以使用面向外的相机来对hmd的用户周围的环境进行成像。该环境可以包括镜子。
可穿戴系统可以使用一个或多个线索来检测是否存在镜子。例如，线索可以基于对环境的镜像中的关键点的识别，对镜像与实体对象之间的共同运动的分析，检测镜子边缘周围的深度不连续性，识别镜子中是否存在用户的头部，将可穿戴设备识别为镜子中的反射图像，识别镜子的特征(例如形状和位置)，或者从可穿戴设备提供主动查询(例如红外脉冲、射频(rf)询问信号或闪光灯)等。线索可以被单独使用或组合使用以确定用户环境中是否存在镜子。一旦被检测到，镜子可以在3d地图中被适当地解释为镜子而不是通向另一房间的开口。
尽管就镜子而论描述了示例，但是本公开不旨在限于镜子。本文描述的技术可用于任何类型的反射表面，例如窗户。例如，特别是在夜晚，因为房间外的环境是黑暗的，有光亮的房间中的窗户可能看起来基本上是反射性的。
用户环境的图像中的线索示例
图16示出了包括反射房间中的对象的镜子的单个房间的示例。图16中的房间5000具有各种实体对象5010(例如，植物5010a、桌子5010b，计算机监视器5010c和椅子5010d)。房间5000中的镜子5050可以反射房间5000中的环境光。结果，房间5000中可以存在实体对象5010的反射图像5011。例如，在图16中，反射图像5011可以包括反射的植物5011a、反射的桌子5011b和反射的监视器5011c。
穿戴着hmd的用户可以站在房间5000中的镜子5050附近。用户可以通过hmd感知镜子5050和与镜子相关联的反射图像5011。hmd可以使用面向外的成像系统502(例如，如图5所示)对用户环境进行成像。例如，hmd可以获得镜子5050、反射的实体对象5011、墙壁5040的图像，以及实体对象5010的图像。
然而，由于可穿戴系统可能不知道由hmd成像的对象是反射对象还是实体对象，可穿戴系统可以分析图像以识别指示镜子的存在的一个或多个线索。例如，如下面进一步描述的，线索可以基于关键点识别、共同运动测试、深度不连续性、用户头部的存在，可穿戴设备的显式识别、镜子的特征、来自可穿戴设备的主动查询(如红外脉冲或闪光灯等)。这些线索可以被单独使用或组合使用，以确定用户环境中镜子的存在。当用户在他的环境中四处移动时，这些线索也可用于跟踪镜子。
这些线索还可用于区分观察到的对象是镜子还是孔。孔可以是物理上可通过的，例如实体对象可以通过的敞开的门道。附加地或替代地，孔可以是在视觉上可通过的，例如窗户，用户可以通过窗户看到孔被附接到的结构部件(例如墙壁)之外。将对象分类为孔或反射镜面并不意味着相互排斥。在某些情况下，对象可能兼有镜子和孔的特征。例如，可以在窗户打开时，或者当窗户足够透明而允许用户透过窗户看时，窗户可以被分类为孔。当窗户外的环境黑暗时，如果窗户在夜晚具有足够的反射性(像镜子)，则窗户可以被分类为镜子。下面描述线索的进一步细节。
使用关键点识别的线索
可穿戴系统可以将图像的一部分的关键点(或计算机视觉中使用的任何其它类型的特征)与用户环境的地图进行比较，以确定图像是否包含环境中的对象的反射图像。如果两个地图中的关键点匹配，则可穿戴系统可以将该匹配视为指示镜子的存在的线索。在一些实施例中，关键点比较技术可以通过同步定位与地图构建技术(例如，slam、可视slam或类似算法)来实现。
参考图16，可穿戴系统可以将所获取的图像中的一个或多个关键点与房间5000的地图中的关键点进行比较，以确定所获取的图像是否包括镜子。例如，可穿戴系统可以使用房间5000中的植物5010a的叶尖作为关键点。hmd可以利用镜子5050和反射的植物5011a的叶尖获取图像。可穿戴系统可以将反射的植物5011的叶尖与房间5000的地图(其包括实际植物5010a的叶尖)进行比较，并确定两组关键点之间是否存在匹配。可穿戴系统可以基于关键点的位置和/或关键点之间的相对位置进行这种比较。
附加地或替代地，可穿戴系统可以将由hmd获取的图像中的关键点的几何形状与由地图中的关键点形成的几何形状进行比较。几何形状可以包括确定对象特征之间的几何关系，例如，特征之间的距离、特征之间形成的开放角等。例如，在图16中，可穿戴系统可以将所获取的图像中的反射的植物5011a的形状与房间5000中的植物5010a的形状(存储在世界地图中)进行比较。可穿戴系统可以确定反射的植物5011a的形状是否与实体植物5010a的形状匹配。可穿戴系统还可以将由所获取的图像中的关键点组形成的开放角与由地图中的另一关键点组形成的开放角进行比较。如果这两个关键点组中的开放角匹配，则可穿戴系统可以将其用作镜子存在的线索。可穿戴系统可以在具有3d功能的系统中实现这种几何比较。
在某些实施例中，三元组(triplet)相邻关键点可用于搜索环境中匹配的几何形状。例如，可穿戴系统可以确定由面向外的成像系统502获取的图像中的一组相邻关键点三元组。可穿戴系统可以计算相邻三元组之间的开放角并且将所计算的开放角与已知的环境地图中的开放角进行匹配。可穿戴系统可以使用shazam算法或其它类似算法来检测匹配。
一些关键点可以在反射下具有一种或多种特定行为，并且可穿戴系统可以使用这样的行为来识别镜子的存在。例如，一组关键点可以在镜子中反转定位(例如反转的文本)。可穿戴系统可以轴向变换图像中的一个或多个关键点的位置以确定匹配。可穿戴系统还可以轴向变换由关键点形成的几何图形(例如，由关键点形成的几何形状)。类似地，可穿戴系统可以轴向变换对象(例如，反射的植物5011a)的图像，并将变换的图像与房间5000中的已知对象(例如，实体植物5010a)的图像进行比较。可穿戴系统可以将变换后的图像与物理环境的图像进行比较，并确定这两个图像是否匹配。在一些实施例中，可穿戴系统可以轴向变换环境地图中的关键点、对象、由关键点形成的几何形状。可穿戴系统可以将这些变换后的图像与由hmd获取的图像进行比较，并确定是否存在匹配。
可穿戴系统可以设定匹配量的阈值。如果匹配量达到该阈值，则可穿戴系统可将图像识别为反射图像，并将镜子5050识别为具有反射表面。否则，图像被认为是实体对象的图像。可穿戴系统还可以设定不匹配量的阈值。如果不匹配量达到阈值，则可穿戴系统可以将与这些图像相关联的对象标记为实体对象；否则，这些图像被视为反射图像。
有时，当hmd的用户位于离镜子足够远的位置时，hmd可以在同一图像中观察到实体对象和镜像对象。例如，在图16中，如果用户站在植物5010a后面并面向镜子5050，则可穿戴系统可以获取既具有实体植物5010a也具有反射植物5011a的图像。本文描述的关键点识别技术和其它技术(诸如对象识别技术)也可以应用于消除同一图像中的实体对象和反射对象的歧义。
有利地，关键点识别技术可以与其它线索组合以检查几何区域是否可能是镜子。例如，可穿戴系统可识别镜子中的hmd1320a的图像(如图17a所示)。可穿戴系统可以识别hmd的反射图像1320b(如图17a所示)周围的区域，并应用一种或多种关键点识别技术来验证所识别的区域是否是镜子或者证明所识别的区域是否不是镜子。例如，可穿戴系统可以轴向变换反射图像1320b周围的所识别区域中的关键点，并计算一组相邻关键点三元组之间的开放角。可穿戴系统可以将所计算的开放角与环境地图中的开放角进行比较，并确定开放角是否匹配。
使用对象识别的线索
作为对关键点识别的补充或替代，可穿戴系统可以识别对象的反射图像。该反射图像可用作镜子检测的线索。hmd可以使用面向外的成像系统502或hmd外部的相机来获取用户环境中的对象的图像。可穿戴系统可以将已知的实体对象的图像与所获取的实体对象的图像进行比较，以确定所获取的图像是否包括反射图像。
例如，在图16中，可穿戴系统可以已经存储房间5000中的计算机监视器5010c的图像。可穿戴系统可以使用面向外的成像系统502获得计算机监视器的反射图像5011c，并且将反射图像5011c与计算机监视器的图像5010c进行比较。在一些实施例中，对象的反射图像可能不具有与实体对象的图像相同的特性。如图16所示，监视器的反射图像5011c包括监视器5010c的后侧，而由面向外的成像系统502捕获的监视器的图像可以包括监视器的前侧。监视器5010c的后侧可以包括监视器5010c的前侧不具有的特性。可穿戴系统可以使用该特性差异来确定图像是否包括反射图像。
可穿戴系统可以识别hmd本身以进行镜子检测。例如，关于图17a，穿戴着hmd1320a的用户1360a可以站在镜子1330的前面，并且hmd1320a可以检测镜子1330中的hmd的反射图像1320b。如果可穿戴系统确定反射图像1320b与hmd1320a的图像匹配，则可穿戴系统可将反射图像1320b周围的区域标记为镜子。
在某些实施例中，由于图像可以在反射下反转，因此可穿戴系统可以轴向变换所存储的图像或反射图像，并分析这两个图像是否用于同一对象。例如，hmd可以检测人的图像1360b和hmd的图像1320b。hmd可以确定图像1360b是用户1360a的反射图像，而图像1320b是hmd1320a的反射图像，因此图像1320b和1360b周围的区域是镜子。
使用镜子的特征的线索
可穿戴系统还可以使用对象的特征作为线索。例如，可穿戴系统可以使用对象识别器708a(例如，参考图7描述)来识别可以与作为镜子的对象相关联的特征(诸如对象的框架或形状，对象在竖直墙壁上的位置)。可穿戴系统还可以应用演绎推理以进一步将作为镜子的对象的特征与不是镜子的其它对象的特征区分开。
例如，在一些情况下，镜框(围绕镜子)的图像和照片框(围绕图片或绘画)的图像可能看起来相似。可穿戴系统可以假设框架是镜框并且使用演绎推理(例如寻找反射图像)来验证该假设(或证明该假设是假的)。或者，可穿戴系统可以假设框架是照片框并且使用演绎推理来验证该假设或证明该假设是假的(例如，没有识别出反射图像)。
在一些实施例中，可穿戴系统可以使用距离识别技术(例如，利用立体系统或深度相机)来分析对象是镜框还是照片框。这是可能的，因为照片框中的对象的图像(例如，照片或绘画)与照片框在同一平面内(例如，与照片框基本共面)，而镜子中的对象的图像(例如，用户或用户环境中的对象的反射图像)通常具有在镜子的平面后面的深度并且不与镜子共面。因此，通过确定出现在框架内的对象的深度，hmd系统可以区分框架是否与镜子相关联。
镜子的形状可以是线索。通常，镜子具有矩形或椭圆形形状，但是其它形状也是可能的。可穿戴系统可以检测用户环境中的矩形对象或椭圆形对象。可穿戴系统可以暂时将这样的对象指定为镜子并使用本文描述的其它线索来进一步验证该对象是否是镜子(或证明该对象是否不是镜子)。相反，可穿戴系统可以暂时将这样的对象指定为不是镜子的孔(例如，窗户或门道)，并使用本文所述的其它线索来进一步验证该对象是否为不是镜子的孔(或证明该对象是否并非不是镜子的孔)。
可穿戴系统还可以使用镜子的其它特征，例如尺寸、位置、表面法线等，以确定镜子的存在。例如，在许多情况下，镜子被悬挂在竖直墙壁上，并且不会完全从地板延伸到天花板。悬挂在竖直墙壁上的其它对象可能不是镜子，例如绘画、平板显示器等。竖直墙壁上矩形对象(其仅占据竖直墙壁的一部分)的检测可以向可穿戴系统指示该对象可能(或可能不)是镜子。此外，如果该对象的表面法线垂直于墙壁(或平行于墙壁的表面法线)，则该对象可能相对平坦地悬挂在墙壁上并且更可能是镜子或照片。在检测到可能的镜子对象之后，可穿戴系统可以使用本文描述的其它线索来确定该对象是否是镜子(或不是镜子)。
使用距离识别的线索示例
在一些实施例中，可穿戴系统能够测量深度。可以使用光学技术(例如，使用面向外的成像系统的立体成像)或使用主动电磁或声信号(诸如使用激光雷达系统或声学深度传感器)来测量深度。可穿戴系统可以识别可以是镜子的对象的边界。可穿戴系统可以在对象的边缘附近进行深度测量。由对象边缘(例如，镜子的框架)引起的深度测量不连续性的检测可以是对象为镜子的线索。
然而，在一些情况下(例如当立体地测量深度时)，当对象实际上是孔(例如，窗户或门道)时，可穿戴系统可以获得类似的深度不连续性信息。为了区分孔和镜子，可穿戴系统可以使用其它线索，例如面部识别、关键点识别或本文所述的其它技术，以进一步验证镜子的存在。
基于来自hmd的查询的线索示例
可穿戴系统可以通过从hmd发送查询来验证镜子的存在。查询可以包括一个或多个信号。信号可以是电磁信号(例如，光学信号)、声信号(例如，超声波)等。例如，hmd1360a(如图17所示)可以将光投射到一对象上(例如，红外光)。如果可穿戴系统检测到光闪回，则可穿戴系统可以将其用作确定对象具有反射表面的线索。在某些实施例中，可穿戴系统可以在确定表面是否为反射表面时为所接收的信号的强度设定阈值。例如，尽管用户房间中的多个对象(例如抛光的石桌面)可以反射光，但是镜子通常将比其它对象反射更多的光。因此，可穿戴系统可以将反射阈值设定得足够高，使得可穿戴系统可以降低错误地将对象识别为镜子的可能性。同样，镜子的声反射特征可以高于墙壁的声反射特征。
hmd还可以被动地从与镜子相关联的设备接收信号。例如，镜子可以具有附接到其上的一个或多个标签。例如，图18所示的标签5340可以被附接到镜子表面或框架或者被放置在镜子附近。标签可以是光学标签，其包括可以由光学传感器(例如，hmd的面向外的相机)读取的信息(例如，条形码、快速响应(qr)代码或带有图案的贴纸)。该信息可以包括识别信息(例如，对象是镜子的信息)或关于镜子的其它信息(例如，其大小等)。标签5340可以包括可以被询问(或者可以广播其存在)的射频识别(rfid)标签(有源的或无源的)，以确定关于对象的识别信息(例如，它是镜子的信息)。作为另一示例，标签5340可包括声发射器，其输出由hmd上的声传感器检测的声信号(例如，以超声频率)。声信号可以包括将对象识别为镜子的信息，类似于rf信息。
这些查询技术可以与其它线索结合使用。例如，可穿戴系统可以应用关键点识别技术并暂时将对象识别为镜子。然后，可穿戴系统可以向所识别的对象发送查询以验证该对象是否确实是镜子。这可能是有利的，因为来自hmd的查询可能使用大量能量，而将查询技术应用为最终验证(与来自hmd的经常(constant)查询相反)可以减少hmd所需的能量。
与用户相关联的线索示例
可以使用与用户相关联的线索来检测镜子。参考图17a，用户1360a站在房间1300中。用户正穿戴着hmd1320a。房间5300具有包括镜子1330的各种对象(例如对象1310a、1312a、1314)。镜子1330可以反射房间1300中的环境光。因此，hmd可以捕获用户的反射图像1360b、hmd的反射图像1320b，以及房间1300中的对象的反射图像(例如，1310b、1312b)。
使用面部识别的线索
可穿戴系统可以被配置为通过面向外的成像系统检测用户的面部。由面向外的成像系统获取的图像中的用户面部的存在可以是存在反射表面(诸如镜子)的线索。这是可能的，因为除非有反射表面提供用户面部的反射图像，否则用户通常将无法看到他自己的面部。
可穿戴系统可以通过将用户的反射图像与已知的用户面部图像进行比较来识别用户1360a(与房间1300中的另一人相对)的面部。可以使用各种技术获得用户面部的图像。例如，在用户穿戴着hmd1320a时，hmd1320a可以使用面向内的成像系统500(在图5中也被称为相机500)获得用户面部的图像。hmd1320a还可以通过朝向用户转动面向外的成像系统502并使用面向外的成像系统502对用户的面部进行成像来获得用户的面部图像。可穿戴系统可以通过其它渠道获得用户的图像，例如通过使用hmd1320a外部的相机拍摄用户1360a的照片。
当hmd1320a对房间1300进行成像时，面向外的成像系统502可以捕获用户面部在镜子中的反射图像。可穿戴系统可以将反射图像与已知的用户面部图像进行比较，并确定面部的这两个图像是否属于同一人。如果可穿戴系统确定用户的面部与反射的面部之间存在匹配，则可穿戴系统可以将用户面部的反射图像周围的区域标记为镜子。
在某些实施例中，可穿戴系统可以处理用户的已知图像或用户的反射图像以确定匹配。例如，当用户没有直接面对镜子时，可穿戴系统可以旋转用户面部的模型以将用户面部的侧面与所获取的用户面部图像进行比较。在另一示例中，可穿戴系统可以在用户面部的反射图像中“移除”hmd1320b，并且可选地在hmd遮挡的部分中进行补片。可穿戴系统可以将该处理后的图像与用户面部的未被遮挡的图像进行比较，以确定图像是否识别同一人。类似地，可穿戴系统可以将hmd的图像“添加”到已知的面部图像，并将该处理后的图像与所获取的用户图像进行比较。
可穿戴系统还可以使用其它技术来识别面部。例如，可穿戴系统可以识别人类面部的某些特征，例如鼻子、嘴巴、耳朵等。可穿戴系统可以使用任何面部识别算法来实现该技术。
基于用户指示的线索
可穿戴系统可以使用用户的关于对象是否是镜子的先前或当前指示作为镜子检测的线索。例如，当可穿戴系统使用本文描述的技术识别可能是镜子的对象时，可穿戴系统可以提供用户可选择元素(例如，菜单、按钮、切换按钮等)，从而允许用户输入这确实是一面镜子。如果用户肯定地响应，则可穿戴系统可以将对象指定为镜子。作为另一示例，可以训练可穿戴系统来识别镜子。例如，用户可以将一对象指示为镜子。基于该指示，可穿戴系统可以获取该对象的特性，诸如形状、大小、位置、光学特性等，并将这些特性与镜子进行关联。可穿戴系统稍后可以使用这些特性来检测镜子的存在。
基于用户的移动的线索
可穿戴系统还可以通过获取用户的移动数据来检测镜子的存在。移动可以包括：速度、加速度或位置变化(例如旋转、从一个位置到另一位置的移动等)。可穿戴系统可包括惯性测量单元(imu)，以确定用户或用户身体的一部分(例如，用户的头部)的位置或取向。imu可以包括以下一者或多者：加速度计、陀螺仪、磁力计等。可穿戴系统可以附加地或替代地使用面向外的成像系统502来确定用户的身体的一部分的用户姿势或移动(例如，用户的手部做手势)。参考图1b、5和9描述了其他细节以获得这样的移动数据。可穿戴系统可以使用移动数据与由面向外的成像系统获取的视觉数据之间的比较作为镜子的存在的线索。如果移动数据与视觉数据之间的比较表明用户的移动与hmd观察到的视觉数据一致，则可穿戴系统可以将与视觉数据相关联的图像的区域标记为镜子。
在某些实施例中，可穿戴系统可以检测头部姿势的变化。图17b示出了可用于定义用户的头部姿势的3d角坐标系的示例。例如，如图17b所示，用户的头部5940可以具有多个自由度。当头部5940朝向不同方向移动时，头部姿势将相对于自然静止方向5920改变。图17b中的坐标系示出可用于测量相对于头部的自然静止状态5920的头部姿势的三个角度自由度(例如，偏航、俯仰和翻滚)。如图17b所示，头部5940可以前后倾斜(例如俯仰)，左右转动(例如偏航)，以及左右倾斜(例如翻滚)。在一些其它实施例中，可以使用用于测量头部姿势的其它技术或角度表示，例如，任何其它类型的欧拉角系统。可以记录头部姿势的这些变化，并将其与在一定时间段内获得的用户头部的反射图像进行比较。如果可穿戴系统确定头部的移动数据与观察到的头部的视觉数据之间的差异，则可穿戴系统可以检测到镜子的存在。
有利地，该技术可以与诸如面部识别之类的其它线索组合。例如，可穿戴系统可以最初使用面部识别来识别可能是镜子的对象中的面部。为了进一步区分观察到的面部是用户的面部还是另一人的面部的反射图像，可穿戴系统可以观察面部的移动并将这些移动与用户的移动数据进行比较。如果这两个移动彼此相关，则可穿戴系统可以确定观察到的面部是用户面部的反射图像，从而检测到镜子的存在。
图18示出了使用与用户相关联的线索的镜子检测的另一示例。图18示出了在镜子5450前面的用户的手部5370。因为镜子5450可以反射环境光，所以用户可以看到他的手部的反射图像5371。用户可以沿着轨迹5380将他的手部从位置5360a移动到位置5360。相应地，用户的手部的镜像5361也可以从位置5361a移动到5361b。
可穿戴系统可以观察(例如，使用面向外的成像系统)用户的手部5370的位置变化和用户的手部的反射图像5371的位置变化。可穿戴系统可以使用手部5370的位置变化与反射图像5371的位置变化之间的比较作为镜子检测中的线索。例如，hmd可以使用面向外的成像系统502随时间获得多个图像(例如，作为多个静止帧或视频的帧)。图像可以包括用户的手部5370和用户的手部的反射图像5371。可穿戴系统可以将用户的手部5370的位置变化与用户的手部的反射图像5371的位置变化进行比较。例如，可穿戴系统可以计算用户的手部移动的轨迹和用户的手部的反射图像5371的另一轨迹。
可穿戴系统可以将用户手部移动的轨迹与反射图像移动的轨迹进行比较。如果可穿戴系统确定这两个轨迹彼此相关，则可穿戴系统可以确定用户的手部5370前面的对象是镜子。可穿戴系统还可以基于用户的手部的轨迹5380计算估计的手部的镜像的轨迹，并将估计的轨迹与观察到的反射的手部的轨迹进行比较。类似地，可穿戴系统可以基于手部的反射图像的轨迹估计手部的移动的轨迹。如果估计的轨迹与观察到的手部的轨迹相关，则可穿戴系统可以将手部前面的对象标记为镜子。
尽管这里的示例是参考观察用户的移动来描述的，但是这些示例并非旨在进行限制。可穿戴系统可以观察用户环境中的任何对象的移动以及可能是这些移动的映像的对象的移动。例如，可穿戴系统可以使用面向外的成像系统跟踪相对缓慢旋转的吊扇的移动并将其与反射的吊扇的移动进行比较。可穿戴系统还可以观察多于两个对象的移动。例如，可穿戴系统可以观察用户头部、用户头部的反射图像以及吊扇的反射图像的移动。基于观察到的移动，可穿戴系统可以确定用户的头部对应于用户头部的反射图像(而不是吊扇的反射图像)。
图19示出了三个移动对象的轨迹的示例。轴5474表示对象在3d空间的一个维度(x)中的位置，但这仅用于说明而非限制。轴5472表示时间。可穿戴系统可以监视对象(诸如用户的头部、用户的身体姿势、用户头部的镜像等)随时间的移动并确定这些对象的轨迹。例如，在图19中，第一对象沿着轨迹5430移动。第二对象沿着轨迹5440移动。可穿戴系统可以计算轨迹5430与轨迹5440的协方差。如果协方差足够小而满足特定阈值，可穿戴系统可以将第一对象视为第二对象的镜像，或者将第二对象视为第一对象的镜像。另一方面，如图19所示，轨迹5420与轨迹5430不相关(例如，相关性大于阈值)。因此，与轨迹5420相关联的对象不太可能是与轨迹5430相关联的对象的镜像。
可穿戴系统可以将两个对象的各种移动数据或视觉数据放入滤波器(例如，卡尔曼滤波器)中并确定不确定性的稳定性。不确定性可以通过两个对象的移动之间的协方差来表示。例如，可穿戴系统可以收集用户头部的数据(例如位置、速度、加速度等)，并使用该数据来生成用户头部的镜像的移动的估计。如果面向外的成像系统始终观察到用户环境中跟踪估计的镜像移动的对象，则可穿戴系统可以确定该对象可能是用户头部的镜像。另一方面，如果可穿戴系统观察到用户环境中不跟踪估计的镜像移动的另一对象，则可穿戴系统可以确定该对象不是用户头部的镜像。
使用线索组合进行镜子检测的示例
有时，一个线索可能无法得出对象是否是镜子的结论。因此，可穿戴系统可以使用线索组合来进一步检查对象是镜子的可能性。例如，镜子可以被附接到一个或多个结构部件(例如墙壁、门道、窗户或框架)。可穿戴系统可识别所观察的图像中的关键点组。关键点组可以包括结构部件上的关键点。例如，如果存在足够多的共面特征，则可穿戴系统可将该结构部件识别为墙壁(例如，竖直平面结构)。以下的描述将就墙壁作为结构部件的示例而论进行，但是这仅用于说明而不是限制。
可穿戴系统可以识别横向位于墙壁的尺寸内的关键点，但是从用户的角度来看，看起来位于比到墙壁的距离更大的距离处。该关键点组定义了可能是孔(例如，敞开的门道)或可能是镜子的一对象。所观察到的关键点可能取决于用户的视点。因为用户可以基于用户的姿势或物理位置观察不同的关键点组，所以可穿戴系统可以将一个或多个方向向量附加到关键点，使得世界地图中的关键点可以与用户的位置或其注视方向相关联。参考图16，如果用户站在镜子5050的前面，则用户可以在镜子5050中观察到桌子5010b的一部分。然而，如果用户移动而更靠近房间5000中的门并且看着镜子，则用户可以观察到桌子5010b的更大部分。
所识别的投射点组可以包括位于连接用户(在用户的当前物理位置)与看起来在墙壁的另一侧的对象的光线上的关键点。对象可能潜在地包括不小于投射点的凸壳的镜子，该凸壳可以定义对象的多边形边界。此外，镜子可以与位于墙壁上的关键点的内壳一样大。在一些实施例中，当可穿戴系统将方向向量附加到关键点时，可穿戴系统可以使用这些方向向量来确定镜子的边界。
然而，对出现在墙壁另一侧的关键点的观察不能得出关于对象是镜子(例如，关键点表示镜子前面的实体对象的反射图像)还是孔(例如，关键点表示通过门道在墙壁外的另一房间中的实体对象)的结论。因此，可穿戴系统可以暂时将该对象指定为镜子并使用其它线索(在此描述)来验证该对象是否确实是镜子(或证明该对象是否确实不是镜子)。相反地，可穿戴系统可以暂时将该对象指定为孔并使用其它线索来进一步确定该对象是否是镜子。在一些实施例中，可穿戴系统可以指定对象是否是镜子的概率。此概率可以基于线索的类型、先前的环境模型、用户的行为等来计算出。可穿戴系统可以使用机器学习技术(例如，朴素贝叶斯模型)以及本文描述的线索来确定对象是镜子(或孔)的可能性。
镜子检测的过程示例
图20和21示出了使用线索进行镜子检测的示例性方法的流程图。过程2000(如图20所示)和过程1900(如图21所示)可以由可穿戴系统(参见例如图1b中描述的可穿戴显示系统80)执行。
在图20中，在框2010处，可穿戴系统可以使用成像系统获得环境的图像。成像系统可包括面向外的成像系统502(如图5所示)。在框2020处，可穿戴系统可以分析由成像系统获取的图像，并在图像中识别可能具有反射表面的对象。可穿戴系统可以使用本文描述的一个或多个线索来识别这样的对象。例如，可穿戴系统可以识别用户的面部、反射下的对象的某些行为(例如反转的文本)、和/或图像中的某些关键点。如果可穿戴系统确定这些线索可能与镜子的存在相关联，则可穿戴系统可以暂时将这些线索周围的区域指定为反射表面。
作为框2010和2020的补充或替代，在框2030处，可穿戴系统可以接收指示与环境中反射表面的存在相关联的线索的信号。如参考图16所述，可穿戴系统可以向对象发送主动查询(诸如闪光、红外脉冲和/或电磁信号)，并基于所接收的反馈确定对象是否具有反射表面。可穿戴系统还可以从对象接收指示该对象是镜子的信号。例如，镜子可以与具有特定频率的rfid标签相关联。可穿戴系统可以能够从rfid拾取信号，从而识别与rfid相关联的对象可以是镜子。
在框2040处，可穿戴系统可进一步分析一个或多个线索以验证所识别的对象是否具有反射表面(或证明所识别的对象是否不具有反射表面)。例如，可穿戴系统可以基于所获取的图像、移动数据、来自hmd的查询等来确定反射表面的存在。在某些实施例中，如果可穿戴系统能够在框2020或框2030处确定反射表面，则框2040是可选的。
在框2050处，一旦识别出反射表面，可穿戴系统便可执行一个或多个动作。例如，可穿戴系统可以与数据存储器通信并获得与镜子相关联的信息。可穿戴系统可以在反射表面的顶部上显示虚拟词“镜子”。可穿戴系统还可以提供与镜子相关联的虚拟菜单。例如，用户可以通过选择虚拟菜单上的选项来启动与另一用户的远端临场会话。过程1900示出了通过分析由可穿戴系统观察到的移动数据来识别反射表面的存在的方法。在框1910处，可穿戴系统至少部分地基于用户身体的反射图像的移动来确定第一轨迹。例如，反射图像可以包括用户头部的反射图像。
在框1920处，可穿戴系统获得在反射图像中观察到的用户身体的部分上的移动数据。例如，可穿戴系统可以使用本文描述的各种传感器来获得用户头部的移动。
在框1930处，可穿戴系统可以分析用户身体的移动数据以确定第二轨迹。可穿戴系统可在框1940处比较第一轨迹和第二轨迹以确定这两个轨迹是否相关。在框1950处，如果可穿戴系统确定这两个轨迹彼此相关，则可穿戴系统可确定视觉数据和移动数据描述同一对象(例如，用户的身体)的移动。至少部分地基于该分析，可穿戴系统可以检测反射表面的存在。
在存在反射表面的情况下的世界地图
hmd可以使用面向外的相机对hmd的用户周围的环境进行成像。图像可以包括静止图像、来自视频的各个帧、或视频。hmd可以构建环境的三维(3d)地图(其可以是世界地图920的实施例)，使得hmd可以适当地将虚拟对象放置在环境中以供用户与之交互。例如，如果hmd的用户在房间中，则地图可以包括关于房间的大小和形状、门或窗的存在(包括它们的大小和形状)、房间中的实体对象的位置、大小和特性的信息。
一个或多个镜子在环境中的存在可以使hmd在环境的3d地图中生成伪影。例如，由于镜子反射来自环境中实体对象的环境光，因此由hmd相机拍摄的镜子的图像将示出实体对象的反射版本。如果hmd未识别到镜子的存在，则hmd可能试图将这些对象的反射版本解释为出现在房间的反射版本中的实际的实体对象。本质上，hmd可能会错误地将镜子解释为通向某房间的门或窗户(实际对象的反射版本)，该房间不存在并且填充有也不存在的对象(实际对象的反射版本)。hmd可能错误地更新3d地图以包括在物理世界中不存在的这种“反射房间”的存在和特性。在一些实施例中，环境可以包括共享公共墙壁的两个房间，其中镜子悬挂在两个房间中的第一房间的墙壁上。然而，由于可穿戴系统可能错误地将第一房间中的镜子解释为通向第二房间的门或窗户，因此可穿戴系统可以将镜子中的反射对象标记为好像它们是第二房间中的实体对象，这可能损坏第二房间的3d地图。因此，如果未被hmd识别出，环境中镜子的存在可能导致3d地图中的伪影(例如，反射的房间、看起来在反射的房间中的反射对象等)。
为了解决处理环境中的镜子的这一挑战，hmd可以使用镜子检测技术来检测环境中镜子的存在。一旦检测到，hmd便可以生成正确地解释镜子的3d地图(且不包括诸如反射的实体对象之类的伪影)，或者可以更新或校正现有的3d地图以移除由镜子的存在导致的伪影。例如，hmd可以包括对象识别器，该对象识别器被配置为识别由hmd获取的图像中镜子的存在。基于关于镜子的信息(例如，位置、大小、形状等)和关于环境的信息(例如，环境的大小和形状以及实体对象在环境中的放置)，hmd可以从现有世界地图中移除与镜子相关联的伪影或生成新的无伪影的世界地图。
世界地图的示例
图22a示出了包括由门连接的两个房间的三维(3d)环境的示例。图22a示出了由门道6550连接的两个房间6000a、6200。房间6000a可以包括多个实体对象6010a和6010b，例如椅子、植物、滚轮椅、桌子或监视器。房间6200还可以具有多个对象6210a和6210b，例如沙发、有猫的地毯、书架或照片。
hmd可以具有面向外的成像系统(参见例如图5所示的面向外的成像系统502)，其可以对用户的环境进行成像。房间6000a中的hmd的用户可以站在门道6550的前面。用户可以通过门道6550感知房间6200中的对象(例如，对象6210和对象6210a的以实线示出的部分)。hmd可以相应地更新用户环境的3d地图并将对象6210a和6210b与房间6200进行关联。
在一些实施例中，世界地图可包括一组或多组关键点。例如，在图22a中，房间6000a中的关键点可以包括植物的叶尖、监视器屏幕的拐角、桌子的顶角和底角等。这些关键点可以与密集表面表示组合以形成世界地图(例如，使用slam或v-slam技术)。在某些情况下，由hmd识别的关键点组可以基于穿戴着hmd的用户的姿势(例如身体、头部和/或眼睛姿势)而不同。例如，在图22a中，当用户站在房间6000a中的门道6550前面时，hmd可以对房间6200中的沙发的一部分进行成像。然而，如果用户站在房间6000a中的一侧并朝着房间6200中的书架观看，则由于沙发不在用户的视野中，hmd可能无法获取沙发的图像。类似地，参考图16，当用户站在镜子5050的前面时，用户可以观察到桌子的一部分的镜像。如果用户向左移向房间5000中的门，则用户可以在镜子中观察到桌子的更大部分。有利地，可穿戴系统可以将一个或多个方向向量附加到关键点，使得世界地图中的关键点可以与用户的位置和/或其注视方向相关联。
由镜子产生的伪影的示例
图22b示出了包括反射房间中的对象的镜子的单个房间的示例。图22b还以虚线示出房间的反射版本，其可以看起来是由未识别镜子的存在的增强现实设备生成的3d地图中的伪影。
图22b示出了具有镜子6555(而不是图22a所示的房间6000a中示出的门道6550)的一个房间6000b。房间6000b大体类似于图22a所示的房间6000a，并包括对象6010a和6010b。镜子6555可以反射房间6000b中的环境光。因此，可能存在房间6000b中的实际的实体对象6010a的反射图像6110a。例如，在图22b中，反射图像6110a可以包括实际存在于房间6000b中的植物、桌子的一部分、滚轮椅的一部分或监视器的图像。
穿戴着hmd的用户可以站在房间6000b中的镜子6555附近。用户可以通过hmd感知镜子6555和与镜子相关联的反射图像6110a。hmd的成像系统获得环境的图像，包括镜子6555的图像、反射图像6110a，以及实体对象6010a的图像。然而，因为hmd可能不知道由hmd成像的对象是反射图像还是实体对象，所以hmd可能将用户环境的3d世界地图更新为好像对象的反射图像是实体对象一样。因此，如图22b所示，hmd可能错误地将镜子6555记录为到房间6100(其实际上不存在)的门道，并且可能将反射图像6110a作为房间6100内的实体对象(同样地，其实际上不存在)进行关联。
在一些情况下，实际上可能存在位于支撑镜子6555的墙壁后面的实际物理空间(例如房间)。该物理空间可能先前已由hmd(或另一hmd)的用户绘制并且被包含在世界地图中。如果hmd未检测到镜子6555的存在，则hmd可能试图将世界地图修改为包括实际上仅仅是反射图像6110a的实体对象。因此，在房间中未检测到镜子的存在可能导致在世界地图中的与房间相邻的其它物理空间的伪影。随着时间的推移，足够的伪影可能被合并到世界地图中，使得世界地图不可用。
基本无伪影的世界地图的示例
如先前参考图16所述，可穿戴系统可使用一个或多个线索来检测镜子5050的存在。因此，图16中的房间5000的3d地图可以将用户环境中镜子的存在考虑进去。在图16中，房间5000b可以具有多个对象5010a、5010b、5010c、5010d。房间5000具有镜子5050，其反射房间5050中的环境光并且示出房间中的相应对象5010a、5010b、5010c的多个反射图像5011a、5011b、5011c。
在该示例中，可穿戴系统可以使用各种技术，例如面部识别、关键点识别、镜子中hmd的反射图像的识别、来自设备的主动查询，例如闪光和红外脉冲、声信号(例如，超声波)、镜子与支撑镜子的墙壁之间的深度不连续性、镜子的形状或镜子的特殊特征(例如光学标签(例如，条形码或快速响应(qr)代码)等)，来识别镜子5050的存在。可穿戴系统还可以被配置为识别房间5000中的对象的反射图像。一旦可穿戴系统确定一对象实际上是反射图像(例如，因为它是实体对象的镜像)，可穿戴系统便可以使用该反射图像来确定与镜子相关联的信息(例如，尺寸、形状、位置等)。可穿戴系统可以被配置为包括一个或多个对象识别器708(如图7和12所示)，其可以识别镜子5050并解析关于镜子505的信息。用于镜子检测的技术可以与本文描述的各种传感器组合使用，例如可以拍摄镜子的图像的面向外的相机502(如图5所示)。
可穿戴系统可以访问房间5000的世界地图并通过移除与镜子5050相关联的部分或全部伪影来校正现有的世界地图。例如，可穿戴系统可以移除由于镜子的存在而不正确地生成的房间5100(如图22b所示)。可穿戴系统还可以移除房间5000中的对象的反射图像5011a、5011b、5011c。在某些实施例中，可穿戴系统可以将一个或多个方向向量附加到伪影。结果，伪影可以与用户的位置和/或其注视方向相关联。一旦识别出镜子，可穿戴系统便可以使用这些方向向量来移除与用户的位置和/或其注视方向相关联的伪影，例如以找到并移除其视点指示它们经由可穿戴系统被观察到“通过镜子”的世界地图条目。
在一些实施例中，可穿戴系统可以选择不移除镜子中的反射图像5011a、5011b、5011c。可穿戴系统可以将这些图像5011a、5011b、5011c标记为反射图像。但是可穿戴系统将不会将反射图像5011a与镜子5050后面的物理空间中的实际对象进行关联。因此，可穿戴系统将不会基于反射图像5011a、5011b、5011c形成伪影。
可穿戴系统还可以生成新的没有伪影的世界地图。例如，穿戴着hmd的用户可以在用户四处走动时连续地对环境进行成像。当用户在镜子5050附近时，hmd可以使用一个或多个对象识别器2208检测到镜子的存在并获得与镜子相关联的信息。如参考图12所描述的，当生成房间5000的世界地图1210时，hmd可以向其它计算设备传达关于镜子的存在。可穿戴系统可以将镜子5050标记为反射表面并且不会将与镜子5050相关联的伪影添加到房间5000的世界地图。
在一些实施例中，可穿戴系统可以检测反射表面(例如，窗户)，该反射表面可以反射环境光并且允许用户透过反射表面观看。例如，可穿戴系统可以被配置为使用一个或多个对象识别器708来检测窗户的存在。可以使用各种镜子检测技术来检测窗户的存在。可穿戴系统还可以单独使用其它技术或结合使用其它技术与镜子检测技术来检测窗户。
当可穿戴系统识别出窗户时，可穿戴系统可以确定由于窗户的反射特性而产生的伪影。可穿戴系统可以使用本文描述的技术从现有的世界地图中移除伪影，同时在世界地图中保持窗户外的物理空间的图像。这可以降低由于可穿戴系统将反射图像误认为属于窗户外部空间的实体对象而损坏世界地图的可能性。类似地，如本文所述，可穿戴系统还可以生成没有伪影的世界地图。
在一些实施例中，可穿戴系统可以识别环境中反射表面的存在，并且在生成世界地图时，避免错误地将房间、对象等放置到世界地图中。一些实施例可以有利地防止或降低世界地图包括由反射表面的存在导致的伪影的可能性。
生成和校正世界地图的过程示例
图23是用于生成3d世界地图和/或由于环境中存在反射表面而校正3d世界地图的示例性方法7000的流程图。该方法可以由本文描述的可穿戴系统(例如，图1b和5中所示的可穿戴显示设备80和1000)执行。方法7000的实施例可以在参考图7描述的ar环境750的上下文中执行。方法7000还可以使用其它计算系统来执行，这些其它计算系统可以获得环境的图像并且识别出环境中反射表面的存在。如本文所述，反射表面可以是镜子、窗户或在反射表面的环境中反射对象的图像的其它反射表面。
在框7100处，可穿戴系统可以检测环境中反射表面(例如镜子)的存在。例如，面向外的成像系统502可以获得包括反射表面的环境的图像。所获得的图像可以包括由反射表面反射的对象的图像。可穿戴系统可以分析图像以确定反射表面的存在并识别对象的反射图像。例如，可穿戴系统可以使用对象识别器708a(例如，可执行软件模块)来识别可以与镜子相关联的特征(诸如镜子的框架和/或形状)。可穿戴系统还可以应用演绎推理以进一步区分镜子的特征与其它对象的特征。例如，在某些情况下，镜框的图像和照片框的图像可能看起来相似。可穿戴系统可以假设该框架是镜框并且使用演绎推理(诸如寻找反射图像)和其它数据来验证该假设(或证明该假设是假的)。或者，可穿戴系统可以假设该框架是照片框并使用演绎推理来验证该假设或证明该假设是假的。在一些实施例中，可穿戴系统可以使用距离识别技术(例如，立体系统或深度相机)来确定对象是镜框还是照片框。这是可能的，因为照片框中的对象的图像与照片框在同一平面内(例如，基本上与照片框共面)，而镜子中的对象的图像通常具有在镜面后面的深度并且与镜子不共面。
可穿戴系统还可以使用其它方法来识别所获得的图像中的镜子。可穿戴系统可以寻找图像中将揭示图像是映像的那些部分。例如，可穿戴系统可识别实体对象的反转图像(例如，反转文本)并推断出图像的该部分可包括反射表面。在一些其它情况下，可穿戴系统可以分析一个或多个线索以确定对象是镜子(例如，检测作为物理环境中的移动的映像的镜子中的移动)。
在框7200处，可穿戴系统可以确定与反射表面相关联的信息。与镜子相关联的信息可以包括镜子的物理特性，例如镜子的大小、位置或形状。该信息还可以包括关于镜子的虚拟信息，例如交互类型(例如，可交互与不可交互，请参见下面的描述)、语义信息(例如，镜子具有可以反射房间中的对象的图像的反射表面，它挂在竖直墙壁上，它具有框架等)等等。
例如，可穿戴系统可以具有发起与另一人(其可以穿戴可穿戴设备)的通话并且在远端临场会话中连接两者的能力，在远端临场会话中，可穿戴系统可以显示另一通话者的图像。可穿戴系统可以将反射表面(通常是镜子)的交互类型指定为可交互，其中可以在远端临场会话中使用镜子。远端临场会话可以在可穿戴设备识别出在用户环境中存在镜子时启动。在远端临场会话期间，可穿戴设备可以获取可穿戴设备的用户的反射图像，并在通话时将这样的图像发送给另一人，这产生了用户存在的有形感觉。此外，通过识别反射表面，可穿戴系统在远端临场会话期间将不会错误地在世界地图中生成伪影(例如，来自反射表面的映像)。
在框7300处，可穿戴系统可以确定环境中实体对象的一个或多个反射图像的存在。例如，可穿戴系统可以确定反射表面的边界内的所有图像都是反射图像而不是实际的实体对象。可穿戴系统还可以使用关键点识别或其它技术，并通过将反射表面中的图像与环境中的实体对象进行匹配来确定反射图像。例如，可穿戴系统可以将镜子内的图像识别为环境中另一对象的“镜像”，从而提供镜子内部的图像是映像而不是实际的实体对象的线索。一些关键点可以在反射下具有一个或多个特定行为。例如，一组关键点可以在镜子中反转地定位。可穿戴系统可以使用这样的行为来识别反射表面。
在一些实施例中，可穿戴系统可以访问环境的世界地图(在框7450中示出)并通过移除由反射表面的存在导致的伪影来校正世界地图(在框7460中示出)。
在一些其它实施例中，可穿戴系统可以生成没有伪影的世界地图(在框7410中示出)。可穿戴系统可以在可穿戴系统获得环境的图像时生成这样的世界地图。应该注意，过程7000不要求可穿戴系统既生成世界地图也校正世界地图。而是，可穿戴系统可以使用本文描述的技术来单独地或组合地生成、校正或更新世界地图。例如，可穿戴系统可以针对伪影校正先前生成的世界地图，同时还为没有伪影的世界地图生成新内容。
镜子作为远端临场会话的工具
在远程通讯中，可视图像经常伴随第一通话者与第二通话者之间的音频通信。在增强现实(ar)远端临场会话中，第二通话者的图像可以由第一通话者的可穿戴设备(例如，增强现实设备(ard)或头戴式设备(hmd))在第一通话者的环境的一部分上显示给第一通话者。同样地，第一通话者的图像可以由第二通话者的可穿戴设备在第二通话者的环境的一部分上显示给第二通话者。这在远端临场会话期间创建了第二通话者在第一通话者的环境中存在的有形感觉以及第一通话者在第二通话者的环境中存在的有形感觉。
可穿戴设备可以包含面向外的成像系统，其可以观察穿戴者前方的环境。可穿戴设备可以被穿戴在穿戴者的头部上，使得面向外的成像系统可以获得穿戴者前方的视野(fov)的图像。面向外的成像系统可以包括立体相机、深度感测相机、fov相机，或组合使用或替代使用的其它传感器和相机。
由于可穿戴设备有时不包括可以对穿戴者的整个面部或身体进行成像的相机，因此，在远端临场会话期间将穿戴者的图像传送给另一通话者可能是一个挑战。因此，本文描述的各种可穿戴系统利用穿戴者附近的镜子来获得穿戴者的图像。例如，当第二通话者位于第二通话者的环境中的镜子附近时，第二通话者的可穿戴设备的面向外的成像系统可以捕获镜子中第二通话者的图像。第二通话者的可穿戴设备可以处理第二通话者的图像并将其发送到第一通话者的可穿戴设备，而无需使用第二通话者的可穿戴设备外部的相机。同样，当第一通话者位于第一通话者的环境中的镜子前面时，第一通话者的可穿戴设备的面向外的成像系统可以捕获镜子中第一通话者的图像。第一通话者的可穿戴设备可以处理第一通话者的图像并将其发送到第二通话者的可穿戴设备，而无需使用第一通话者的可穿戴设备外部的相机。面向外的成像系统和镜子的组合提供了无需使用在穿戴者的环境中的外部相机、或由穿戴者保持的外部相机(例如，在自拍杆上)、或安装在可穿戴设备的延伸部分上的面向穿戴者的外部相机而获得穿戴者的图像的能力。
在远端临场会话期间，第一通话者和第二通话者可以穿戴着他们各自的设备站在他们各自的镜子前面。第一通话者通常会看到从第一通话者的镜子反射的第一通话者的图像，而第二通话者通常会看到从第二通话者的镜子反射的第二通话者的图像。有利地，在一些实施例中，本文描述的技术允许每个通话者在远端临场会话期间看到其他通话者的图像。例如，第二通话者的图像可以由第一通话者的可穿戴设备在第一通话者的环境中从第一通话者的镜像反射的环境光上显示。因此，不是看到第一通话者的反射图像，而是第一通话者看到由第一通话者的可穿戴设备投射的第二通话者的图像。同样，第二通话者将看到由第二通话者的可穿戴设备投射的第一通话者的图像，而不是看到第二通话者的反射图像。
从镜子反射的环境光也可以全部或部分地被遮挡。例如，可以通过任何技术(例如基于计算机视觉的分割、基于深度的分割或其它技术)选择性地裁剪任一或全部两个通话者的图像。在一些实施例中，第一通话者的图像可以被发送到第二通话者的可穿戴设备，而相对于第二通话者的镜子的背景可以被或可以不被改变、增强或阻挡。
可穿戴设备可以使用图像处理技术来从通话者的图像中移除通话者头部上hmd的存在。因此，例如，即使第一通话者在远端临场会话期间穿戴着hmd，第二通话者也可以看到其hmd不可见的第一通话者的图像。第一通话者的未被遮挡的面部的一部分的图像(例如，没有hmd的通话者面部)可用于取代被hmd遮挡的面部区域。可以通过任何已知的方法或技术来实现此覆盖的对齐和配准。可以通过hmd上的面向内的成像系统(例如，面向穿戴者的眼睛或面部区域的相机)来跟踪和确定穿戴者面部的被遮挡区域的移动。
远端临场会话的发起可以使穿戴者的可穿戴系统搜索镜子。例如，用户可以通过起动用户输入设备504(如图5所示)来发起远端临场会话。这可以触发hmd的面向外的相机502(如图5所示)在用户的环境中搜索镜子。可穿戴系统可以使用本文描述的各种线索检测镜子。
镜子的检测还可以触发远端临场会话(例如，通话者站在镜子前面以开始远端临场会话)。例如，当可穿戴系统在用户的环境中检测到镜子时，可穿戴系统可以提供弹出菜单，询问用户是否想要发起远端临场会话。
可以使用任何用于镜子检测的方法或系统。尽管就使用镜子而论描述了示例，但是本公开不旨在限于镜子。可穿戴设备的环境中的任何类型的反射表面(例如，窗户)都可用于获得通话者的图像。可穿戴设备可以基于任何环境中的环境反射来重建通话者的图像，除非环境被小心地创建以防止这种重建。下面描述在远端临场会话应用中使用可穿戴系统的系统和方法的其它示例和实施例。
远端临场会话的示例
如上所述，由于可穿戴设备(诸如hmd或ard)可能没有可以对可穿戴设备的穿戴者的整个面部或身体进行成像的相机，因此在远端临场会话期间将穿戴者的图像传送给另一通话者可能是一个挑战。因此，本文描述的各种可穿戴设备可以利用穿戴者附近的镜子或其它反射表面来获得穿戴者的图像。例如，当第二通话者位于第二通话者的环境中的镜子前面时，第二通话者的可穿戴设备的面向外的成像系统可以捕获镜子中第二通话者的图像。第二通话者的可穿戴设备可以处理第二通话者的图像并将其发送到第一通话者的可穿戴设备，而无需使用第二通话者的可穿戴设备外部的相机。同样，当第一通话者位于第一通话者的环境中的镜子前面时，第一通话者的可穿戴设备的面向外的成像系统可以捕获镜子中第一通话者的图像。第一通话者的可穿戴设备可以处理第一通话者的图像并将其发送到第二通话者的可穿戴设备，而无需使用第一通话者的可穿戴设备外部的相机。可穿戴设备的面向外的成像系统和镜子的组合提供了无需使用在穿戴者的环境中的外部相机、或由穿戴者保持的外部相机(例如，在自拍杆上)、或安装在可穿戴设备的延伸部分上的面向穿戴者的外部相机而获得穿戴者的图像的能力。
在远端临场会话期间，通话者可以使用各种用户设备1230(诸如可穿戴设备、网络相机、计算机、移动设备和其它设备)来获取关于用户和用户环境的信息。这些信息可用于创建该用户周围的世界地图1210。可以基于所获取的新信息不断更新世界地图1210。世界地图1200可以经由网络1290(如图15所示)被传送到远端临场会话中的其他用户并与其共享。
远端临场会话期间的第一通话者的示例
返回参考图17a，第一通话者可以在他的房间1300中进行远端临场会话。图17a中的示例房间1300包括诸如桌子1310a、植物1312b、窗户1314和镜子1330的实体对象。
第一通话者1360a可以在远端临场会话期间站在镜子1330的前面。第一通话者1360a可以在远端临场会话期间呼叫第二通话者(或更多通话者)。第一通话者1360a可以穿戴被配置为显示ar/vr/mr内容的hmd1320a。镜子1330示出第一通话者1360a的反射图像1360b，第一通话者头部上的hmd1320a的反射图像1320b、桌子1310a的一部分的反射图像1310b、以及植物1312a的反射图像1312b。
hmd1320a可以包括可穿戴系统的实施例，例如，图1b中的可穿戴显示系统80、图5中的显示系统100等。hmd1320a可以包含面向外的相机502(如图5所示)，其观察穿戴者1360a周围的环境。例如，面向外的相机502(如图5所示)可以观察房间1300中的镜子1330、穿戴者1360a的反射图像1360b、以及穿戴者的环境。
发起远端临场会话的技术示例
hmd1320a可以通过检测房间1300中镜子1330的存在来发起远端临场会话。在一些实施例中，特定镜子或反射表面可以被识别为触发与特定个人的远端临场会话。
远端临场会话的发起还可以触发hmd的面向外的相机搜索镜子。如果找到镜子，则hmd可以获得在镜子(如果存在)中穿戴者的图像1360b并且在远端临场会话期间将该图像(修改的或未修改的)传送给另一通话者。hmd1320a可以使用各种镜子检测技术，例如面部识别、关键点识别、镜子中hmd的识别(例如，识别hmd的反射图像1320b)、来自设备的主动查询(例如闪光和红外脉冲、声信号(例如，超声波))、深度不连续、镜子的形状或镜子的特殊特征(例如光学标签(例如条形码或快速响应(qr)代码))。hmd1320a还可以包括一个或多个面向内的相机(参见例如图5所示的成像系统500)，其可以跟踪穿戴者的眼睛移动，例如以确定第一通话者1360a是否朝向镜子1330看。
在一些实施例中，hmd1320a可以通过语音激活来发起远端临场会话。hmd1320a可以包括一个或多个声音传感器，例如麦克风，其可以在穿戴者的环境中获取穿戴者的语音和/或声音。可以使用各种语音激活技术，例如hmd1320a的穿戴者1360a的语音命令和语音识别。
hmd1320a还可以使用其它技术来发起远端临场会话。例如，当通话者1360a起动用户输入设备(请参见例如图5所示的用户输入设备504)时，hmd1320a可以发起远端临场会话，起动用户设备的动作例如为点击鼠标、轻敲触摸板、轻扫触摸屏、触摸电容式按钮或悬停在其上方、按下键盘或游戏控制器(例如，5向d-pad)或hmd1320a本身上的键、将操纵杆、魔杖或图腾指向对象(例如镜子)、按下遥控器上的按钮，或与用户输入设备的其它交互等。hmd1320a还可以观察通话者的身体姿势或手势，并通过与物理或虚拟用户界面的各种用户交互来建立远端临场会话。例如，通话者可以触摸虚拟用户界面上的一个或多个虚拟按钮以发起远端临场会话。类似地，hmd1320a可以通过观察通话者1360a与镜子的交互，例如，触摸镜子、在镜子处做手势(例如，挥手)、长时间注视镜子等等，来发起远端临场会话。通话者1360a可以单独地或组合地使用本文描述的各种技术来启动远端临场会话或加入远端临场会话。
远端临场会话期间的双向通信的示例
图24示出了进行远端临场会话的第一通话者1462a和第二通话者1464a的示例。在该示例中，第一通话者1462a是男性，第二通话者1464a是女性。在远端临场会话中，第一通话者1462a穿戴着hmd1412a并且站在他的房间1420中的镜子1432的前面。第一通话者1462a可以是图16所示的同一通话者1360a。镜子1432示出他的反射图像1462b和他的hmd的反射图像1412b。类似地，第二通话者1464a穿戴着hmd1414a并且站在她的房间1440中的镜子1434的前面。hmd1412a和1414a可以是图16中描述的hmd1320a的示例，或者可以包括分别在图1b和5中描述的可穿戴显示系统80、显示系统1000。镜子1434示出了她的反射图像1464b和她的hmd的反射图像1414b。镜子1432和1434可以具有任何形状或尺寸。
如参考图12所述，hmd1412a和hmd1414a可以彼此通信和/或与其它用户设备和计算机系统通信。例如，第一通话者的hmd1412a可以例如经由网络1290(如图12所示)与第二通话者的hmd1414a通信。可以基于由第一通话者的hmd1412a获得的信息来构建第一通话者1262a(和他的房间1420)的第一世界地图。第一世界地图可以被传送到第二通话者的hmd1414a(例如，经由网络1290)，从而在远端临场会话期间产生第一通话者的存在的有形感觉。同样地，可以基于由第二通话者的hmd1414a获得的信息来构建第二通话者1464a(和她的房间1440)的第二世界地图。第二世界地图可以被传送到第一通话者的hmd1412a，从而在远端临场会话期间产生第二通话者的存在的有形感觉。hmd1412a和1414a可以跟踪相应通话者的移动和相应通话者的视野中的镜子的位置，并且当各个通话者在他或她的环境中四处移动时更新相应的世界地图。
如参考图1b和12所述，第二通话者的hmd1414a、第一通话者的hmd1412a、远程计算系统1220可以单独或组合地处理第二通话者的图像以(通过第一通话者的hmd1412a)呈现给第一通话者1462a，或者可以处理第一通话者1462a的图像以(通过第二通话者的hmd1414a)呈现给第二通话者1464a。
尽管示例仅涉及两个通话者，但是本文描述的技术不应限于两个通话者。使用hmd(或其它远端临场设备)的多个通话者(例如，两个、三个、四个、五个、六个或更多个)可以参与远端临场会话。通话者可以使用他/她的hmd看到多个通话者的图像。在一些实施例中，通话者的镜子可以在通话者的环境中被虚拟地多次复制，以创建在远端临场会话中将其他通话者的图像放入其中的框架。
此外，尽管示例涉及站在房间中的通话者，但不要求通话者站在房间中。在远端临场会话期间，通话者可以站立、坐下或相对于镜子处于任何位置或进行任何移动。通话者也可以在除房间之外的物理环境中。在进行远端临场会话时，通话者可以处于不同的环境中或处于相同的环境中。并非所有通话者都需要在远端临场会话中穿戴其各自的hmd。例如，第二通话者1464a可以使用其它图像获取和显示设备，例如网络摄像头和计算机屏幕，而第一通话者1462a穿戴hmd1412a。
用户体验示例
图25a是第一通话者所看到的第二通话者的图像的示例。在该示例中，第一通话者1462a(图25a中未示出)穿戴着他的hmd1412a并且站在他的房间1420中的镜子1432附近。如图24所示，镜子1432示出了他的反射图像1462b及其hmd的反射图像1412b。
在图25a所示的远端临场会话期间，第一通话者的hmd1412a可以投射第二通话者的图像1564b(例如，该图像1564b是从第二通话者的hmd1414a接收的)以在第一通话者的镜子1432中覆盖第一通话者的反射图像1462a。因此，穿戴着hmd1412a的第一通话者1462a可以在他的镜子1432中看到第二通话者的图像1564b，而不是看到他自己的反射图像1462b。
参考图25b至27b进一步描述在远端临场会话期间由第一通话者看到的第二通话者图像的其它示例。这些图示出了在远端临场会话期间第一通话者的用户体验的非限制性示例，并且将在下面进一步描述。同样地，第二通话者可以在远端临场会话期间具有类似于图25a至27b所示的用户体验(但第二通话者的hmd向第二通话者显示第一通话者的图像)。诸如第一通话者的hmd1412a、第二通话者的hmd1414a的用户设备和计算机系统、远程计算系统(请参见例如图12中的远程计算机系统1220)可以单独或组合地使用任何方法来在第一通话者的反射图像1462b上配准和覆盖第二通话者的图像1564b。
处理通话者的图像的示例
在图25a中，第一通话者的hmd1412a(图25a中未示出)可以向第一通话者1462a投射第二通话者1564b和她的环境的未修改的镜像。在该示例中，第二通话者1464a所使用的镜子1434(图24中所示)是半身镜，而第一通话者1464a所使用的镜子1432是全身镜。第二通话者的hmd1414a可以捕获她的镜子1434中所示的她的反射图像1464b的一部分(如图24所示)。第一通话者的hmd1412a可以显示由第二通话者的hmd1414a捕获的第二通话者的图像和第二通话者的环境的一部分1564c。在该示例中，由于第一通话者的全身镜1432大于从第二通话者的hmd接收的图像1564b(因为第二通话者的镜子1434是半身镜)，因此第一通话者的hmd可能不呈现第二通话者的下半身的图像1564d(在第二通话者的镜子1434的反射区域之外)。
作为另一示例，第二通话者的hmd1414a可以捕获第二通话者1464a的反射图像1464b以及第二通话者的房间1440中的镜子1434。第二通话者的hmd1414a可以将所捕获的图像(包括反射图像1464b和镜子1434的图像)传送到第一通话者的hmd1412a。第一通话者的hmd1412a可以将第二通话者的图像连同第二通话者的镜子的图像一起投射在第一通话者的镜子1432上。在该示例中，第二通话者的图像和第二通话者的镜子可以被放大以覆盖第一通话者的镜子1432的区域(因为第一通话者的镜子1432大于第二通话者的镜子1434)。附加地或替代地，当将第二通话者的图像与她的镜子1434一起呈现时，第一通话者的hmd1412a可以遮挡镜子1432的一部分(诸如比第二通话者的镜子1434大出的部分)。
在一些其它实施例中，第一通话者的hmd1412a可以显示的第二通话者的处理后的图像。例如，由第一通话者的hmd1412显示的第二通话者的处理后的图像可以包括第二通话者的下半身1564d的部分和(可选地)其未被镜子捕获的背景。可以基于先前获得的关于第二通话者及其环境的信息来合成这种第二通话者的下半身1564d的图像。
因此，在各种实施例中，第一通话者的hmd1412a可以显示第二通话者的图像1564b而不显示她的下半身1564d或她的背景的图像，或者可以显示包括第二通话者的上半身1564c和下半身1564d(以及可选地她的背景)的图像。在第二通话者端，可以选择性地裁剪第一通话者的图像(其可以是从全身镜1432反射的全身图像)以便放入第二通话者的半身镜1434的较小区域内。因此，即使第一通话者的镜子捕获比第二通话者的镜子更多的区域，第二通话者的hmd1414a也只能显示第一通话者的图像的一部分。
尽管参考全身镜和半身镜描述了示例，但是示例不应被解释为仅限于全身和半身镜。镜子可以为任何尺寸或形状的。通话者(例如1462a和1464a)的镜子可以具有相同的尺寸或形状。通话者(例如，1462a和1464a)的镜子也可以具有不同的尺寸或形状。此外，在一些情况下，由于通话者与镜子之间的距离、面向外的成像系统的角度、用户的偏好等，hmd可能仅获取反射图像的一部分。本文描述的图像处理技术也可以应用于这些情况。
实际上，一些实施例能够从向其它通话者显示的图像中“移除”hmd。图25b是第一通话者看到的第二通话者图像的示例，其中第二通话者的图像未示出她正穿戴着hmd。如参考图25a所述，第一通话者的hmd1412a可以显示第二通话者的图像1564e。图像1564e可以在第一通话者的反射图像1462b上配准，并且产生第二通话者的存在的有形感觉。例如，第二通话者的图像1564e可以覆盖在第一通话者1462a的反射图像1462b上。在一些实施例中，即使第二通话者的图像在第一通话者的反射图像上配准，第一通话者1462a仍然可以看到他的环境中的实体对象的反射图像。例如，第一用户的房间可以具有实体植物。镜子1432可以显示实体植物的反射图像1512b。如图25b所示，第一通话者1462a可以在远端临场会话期间感知第二通话者的图像1564e以及他的镜子1432中的实体植物的反射图像1512b。
在一个实施例中，尽管第二通话者1464a在远端临场会话中穿戴着hmd1414a(如图24所示)，但是第二通话者的面部的被hmd1414a遮挡的区域可以由第二通话者的未被遮挡的图像1514c取代(如图25b中所示的插图所示例的)。
参考图1b和图5，第二通话者1464a可以使用第二通话者的hmd1414a的面向外的成像系统502、第二通话者的hmd1414a的面向内的成像系统500、或者其组合来获得通话者面部的穿戴hmd的区域的未被遮挡的图像1514c。例如，第二通话者1414a可以将面向外的成像系统502转向她自己，以获得第二通话者面部的未被遮挡的图像。作为另一示例，hmd1414a可以在通话者1464a穿戴hmd时获取第二通话者1464a的面部的图像。还可以使用其它方式，例如，检索先前存储的信息、使用hmd1414a外部的相机拍摄照片等，来获取第二通话者的未被遮挡的图像。
未被遮挡的图像可包括多个补片。补片可具有各种尺寸。补片可以在不同时间和/或通过不同的成像系统获得。例如，第二通话者1414a可以使用面向外的成像系统502在远端临场会话之前获得她的面部的图像补片，例如前额、眼睛区域、脸颊等，同时使用面向内的成像系统500跟踪在远端临场会话期间被hmd遮挡的区域的移动。面向内的成像系统500可以跟踪一只眼睛或全部两只眼睛的移动。
在远端临场会话期间，可以使用一个或多个补片来生成通话者的图像。一些补片可以实时生成。例如，hmd(例如，hmd1412a或1414a)可以使用先前获得的第二通话者的面部的图像补片来生成她的面部的图像。第二通话者的hmd1414a还可以获得第二通话者的一只眼睛或全部两只眼睛的移动的实时图像补片。这种移动的图像可用于取代被hmd1414a遮挡的眼睛区域1514c，使得第二通话者的眼睛区域1514c看起来更自然。hmd(例如，hmd1412a或1414a)还可以基于从面向内的成像系统500获得的数据来使被hmd遮挡的区域(例如，眼睛区域)的图像动态地变形。
作为发送要由第一通话者的hmd1412a显示的第二通话者的图像的补充或替代，hmd1412a或1414a还可以基于从各种传感器(例如，如参考图1b所述的相机、惯性测量单元(imu)、加速度计等等)获得的数据来创建第二通话者1464a的动画。由这些传感器获得的数据可用于使第二通话者1464a的现有图像补片动态地变形以创建第二通话者1464a的移动的动画。例如，第二通话者1464a的头部可以在远端临场会话期间向右转。第二通话者hmd1414a的面向内的成像系统500可以在这种姿势变化期间跟踪第二通话者1464a的眼睛移动。hmd1412a或1414a可以使用来自第二通话者hmd1414a的面向内的成像系统500的数据来修改第二通话者1464a的现有的且未被遮挡的眼睛图像以反射眼睛姿势的变化，并向第一通话者1462a提供第二通话者的动画图像以便由第一通话者的hmd1412a显示。可以使用各种方法来生成第二通话者1464a的动画。例如，可穿戴系统可以通过映射(map)到第二通话者面部的已知受控模型上来生成第二通话者1464a的面部动画。第二通话者的受控模型可以由可穿戴系统(例如，第二通话者的hmd1414a)自动生成。
第二通话者的hmd1414a的其它传感器也可用于获得关于第二通话者1464a的姿势变化的数据。这些数据可以单独使用或与来自面向内的成像系统500的数据组合地使用，以提供第二通话者1464a的未被遮挡的图像。
通话者的图像的背景示例
图26a和26b是第一通话者所看到的第二通话者图像的其它示例，其中第一通话者的环境中的镜子1432被遮挡而不呈现给第一通话者。如参考图24、25a和25b所述，穿戴着其hmd1412a的第一通话者1462a在镜子1432附近。镜子1432示出了他的反射图像1462b。hmd1412a可以遮挡从第一通话者的镜子1432或可选地从镜子1432的框架反射的光的一部分(自然光或人造光)。因此，hmd1412a可以显示第二通话者的图像1664b(在某些情况下，没有第二通话者的下半身1664c)，但不示出第一通话者的镜子1432。
在一些实施例中，可以将特殊效果应用于呈现给第一通话者的图像。这些效果可以包括混合效果、羽化效果、发光效果、烟、雾、火效果、花朵或其它特殊效果(例如，可以应用任何类型的图像)。如参考图25a所述，有时，由其各自的hmd获取的第一通话者1462a的图像和第二通话者1464a的图像的大小可能不同。本文描述的特殊效果可以应用于第一通话者、第二通话者或他们两者的图像。例如，第一通话者1462a的图像可以是全身图像，因为第一通话者的hmd1462a捕获第一通话者在他的全身镜1432中示出的反射图像1462b。然而，由于第二通话者的镜子1434可以是半身镜，因此hmd(1462a或1464a)可以在第一通话者的图像周围应用冒烟效果，使得第二通话者的hmd1414a可以仅显示第一通话者的上半身。类似地，由于第二通话者的反射图像1414b可以小于第一通话者1432，因此hmd(1462a或1464a)可以将火效果应用于第二通话者的下半身1664c的图像以填充投射给第一通话者1462a的镜子中的空白空间。
在各种实施例中，第一通话者的hmd1412a可以显示第二通话者的图像1664b和第二通话者的环境、单独的第二通话者的图像、或者覆盖在第一通话者的环境1420上的第二通话者的图像1664b。第一通话者1462a所看到的第二通话者的图像1664b相对于第一通话者的镜子1432的位置可以反映第二通话者的位置与第二通话者的镜子1432之间的实际相对位置。例如，第二通话者可以相对于第一通话者的镜子1432(虚拟地)定位，好像第一通话者的镜子1432是窗口或门户而第二通话者1464a站在该门户的另一侧。第二通话者的图像1664b与门户后侧之间的相对位置可以与第二通话者1464a与其自己的镜子1434之间的相对位置相同或成比例。
当向第一通话者1464a显示图像时，第一通话者的hmd1412a可以修改第一通话者的环境的图像的一部分。例如，hmd1412a可以相对于第一通话者的镜子1432选择性地改变、增强或阻挡第一通话者的环境的图像。例如，与图26b相比，图26a中的hmd1412a(未示出)可以在将第二通话者的图像1664b投射给第一通话者1462a时阻挡第一通话者的房间1420中的植物1612a。hmd可以通过选择性地使3d显示的一部分变暗来阻挡一对象。这种变暗可以通过参考图1b和图5描述的图像注入装置来执行。变暗可以在整个光学器件上(例如，在整个可堆叠波导组件178上)，或者选择性地在一对象和/或第一通话者的环境的一部分上。
如参考图25b所述，在图26b中，hmd1412a可以显示第二通话者的图像1664e，其中第二通话者的hmd的反射图像被从呈现给第一通话者的图像中移除。第二通话者的图像的被第二通话者的hmd1414a遮挡的区域可以用相同区域的未被遮挡的图像1514c取代。
通话者的图像的主题示例
在一些实施例中，hmd可以在远端临场会话期间向穿戴者呈现静态或动态变化的用户体验。图27a和27b是第一通话者所看到的第二通话者的图像的示例，其中背景1770可以由任一通话者的hmd添加到第二通话者的图像(1764b或1764e)。在该示例中，背景1770具有包括喷火龙的幻想主题。第一通话者的hmd1412a可以显示第二通话者的图像并且附加地显示背景1770。背景1770可以被添加到第二通话者的镜像1464b上，使得背景1770中的部分或全部出现在第二通话者的后面、周围或前面。背景1770还可以在第一通话者的环境之上配准。
背景可以包含与游戏、电影、书籍、艺术、音乐、现有物理元素或虚拟对象相关联的元素或角色。例如，第一通话者的hmd1412a可以显示背景，该背景全部或部分地包括第一通话者1412a的环境中的虚拟对象。背景1770可以是图片或动画，并且可以与主题(例如，如图27a、27b所示的幻想主题)相关联。主题可以涉及娱乐、教育、科学、技术、艺术、建筑、动物或植物、宗教、政治、自然等。主题可以是与第三方的品牌、广告或营销相关联的品牌主题(例如，主题可以包括
如参考图25a、25b和26a、26b所述，第二穿戴者的hmd的图像可以由穿戴者面部区域的未被遮挡的图像取代(请参见图27b中的第二通话者的图像1764e)。
使用hmd自拍的示例
用于处理通话者的图像的各种方法还可用于与可穿戴系统结合以生成通话者的自拍照。例如，穿戴着hmd1412a的第一通话者1462a可以使用hmd1412a的面向外的成像系统502来拍摄他自己的反射图像1462b。如参考图25b所述，可穿戴系统可以“移除”第一通话者的hmd的反射图像1412b并生成第一通话者1462a的未被遮挡的图像。可穿戴系统可以将背景(请参见例如图27a和27b所示)添加到第一通话者的图像中。可穿戴系统还可以从第一通话者的图像中移除第一通话者的环境的特征。例如，可穿戴系统可以使用任何已知的图像处理技术从第一通话者的图像中移除镜子1432。
远端临场会话的过程示例
图28是进行远端临场会话的示例的过程流程图。过程2800可以由参考图1b和4描述的可穿戴系统执行。例如，过程2800可以由第一通话者的hmd执行。
在框2810处，第一通话者的hmd与第二通话者的用户设备建立通信。第二通话者的用户设备可以是或可以不是hmd(请参见例如图12所示的用户设备1230a、1230b、1230c)。可以使用各种技术来发起通信，例如语音激活和从用户输入设备(请参见例如图5中的用户输入设备504)接收输入，所述输入指示通话者发起远端临场会话的意图。通信可以经由网络1290(如图12所示)。
如框2820所示，在第一通话者与第二通话者之间建立通信之后，第一通话者的hmd可以搜索第一通话者的环境中的镜子。如参考图16所述，可以使用各种镜子检测技术。例如，第一通话者的hmd的面向外的相机可以搜索第一通话者的环境中的镜子。hmd可以通过例如面部识别、关键点识别、镜子中hmd的识别、来自设备的主动查询(例如闪光和红外脉冲)、深度不连续性、镜子的形状、或镜子的特殊特征(例如光学标签(例如，条形码或快速响应(qr)代码)，来检测镜子。
在一些实施例中，第一通话者的hmd可以在建立第一通话者与第二通话者之间的通信之前搜索第一通话者的环境中的镜子。第一通话者的环境中的镜子的检测可以触发第一通话者的hmd建立与第二通话者的用户设备的通信。
第一通话者的hmd可以检测第一通话者和第一通话者的环境的反射图像，如框2830所示。如参考图24和25a所述，第一通话者的反射图像可以仅包含第一通话者身体的一部分。第一通话者的hmd可以在第二通话者看到第一通话者的图像之前处理第一通话者的图像。第一通话者的hmd可以与一个或多个远程计算机(请参见例如图12中的远程计算系统1220)通信以处理第一通话者的图像。如参考图12所述，第一通话者的图像可以由第一通话者的hmd、远程计算系统1220和/或其它用户设备(请参见例图12中的用户设备1230a、1230b、1230c)处理。
可以以各种方式处理由hmd获取的第一通话者的反射图像。例如，可以选择性地裁剪第一通话者的图像(其可以是从全身镜反射的全身图像)，以便放入第二通话者的半身镜的较小区域内。当第一通话者的镜子不是全身镜子时，图像可以被处理以包括第一通话者下半身部分和(可选地)包括未被镜子捕获的他的背景。在一些实施例中，可以从第一通话者的图像中“移除”第一通话者的hmd的图像。第一通话者的图像的被第一通话者的hmd遮挡的区域可以用相同区域的未被遮挡的图像取代。
除了第一通话者的图像之外，还可以以各种方式处理和修改第一通话者的图像的背景。例如，如图27a和27b所示，可以将背景添加到第一通话者的镜像中，使得部分或全部背景出现在第一通话者的后面、周围或前面。背景可以包含与游戏、电影、书籍、艺术或音乐、现有物理元素或虚拟对象相关联的元素或角色。背景可以是图片或动画，并且可以与主题(例如，图27a、27b所示的幻想主题)相关联。主题可以涉及娱乐、教育、科学、技术、艺术、建筑、动物或植物、宗教、政治、自然等。
在框2850处，第一通话者的hmd可以经由网络1290(如图12所示)将第一通话者的图像的一部分传送到第二通话者的用户设备。第一通话者的图像可以是由第一通话者的hmd捕获的处理后的图像或未经修改的反射图像。第一通话者的未经修改的反射图像可以首先被发送到一个或多个远程计算机系统(请参见例如图12中的远程计算系统1220)，以便在被发送到第二通话者的用户设备之前进行处理。
在第二通话者端，在接收到第一通话者的图像之后，第二通话者可以将所接收的图像显示给第二通话者，如可选框2860所示。第二通话者的用户设备还可以处理第一通话者的图像并将处理后的图像显示给第二通话者。
在框2870处，第一通话者的hmd可以接收第二通话者的图像。如本文所述，hmd可以处理第二通话者的图像和/或与第二通话者的图像相关联的背景。例如，背景(请参见例如图27a和27b中的幻想背景)可以在第一通话者的环境之上配准。在一些实施例中，第一通话者的环境中的镜子被遮挡而不呈现给第一通话者。hmd可以遮挡从第一通话者的镜子反射的或可选地从镜子的框架反射的光(自然光或人造光)的一部分。因此，hmd可以投射第二通话者的图像而不示出第一通话者的镜子。特殊效果可以应用于呈现给第一通话者的镜子的图像。这些效果可以包括混合效果、羽化效果、发光效果和其它特殊效果。
第一通话者的hmd可以显示第二通话者的图像，如框2880所示。在各种实施例中，第一通话者的hmd可以显示第二通话者的图像和第二通话者的环境，仅显示第二通话者的图像，或者覆盖在第一通话者的环境上的第二通话者的图像。第二通话者的图像可以是处理后的或未经处理的第二通话者的图像。
健康分析示例
应当理解，对用户的映像进行成像的能力促进了依赖于对用户的观察的各种健康分析。在一些实施例中，可以指示用户采取各种位置和/或执行各种动作，这些动作由面向外的相机捕获。在一些其它实施例中，另一个人可以帮助用户和/或以其它方式与用户交互，例如以应用刺激。在另外的实施例中，显示系统可以仅捕获用户的映像的图像，而不特别指示用户做出特定的动作。例如，一些健康分析可能仅涉及对在映像中看到的用户的姿势或步态进行评估。
例如，可以由临床医生和/或由显示系统分析由相机捕获的图像。在一些实施例中，临床医生可以远离用户并且图像可以电子地传输给临床医生。在一些实施例中，临床医生还可以是如本文所公开的增强现实显示系统的用户。可选地，由用户的显示系统获得的数据可以被传送到临床医生的显示系统，使得临床医生可以体验用户所体验的健康分析。
本文公开的许多分析涉及对用户的动作偏离标准或基准的程度的确定。在一些实施例中，可以将标准或基准作为增强现实内容显示给用户，并且对用户从用户可以看到的该标准或基准的偏离进行评估。在一些实施例中，标准或基准可以是用户先前捕获的例如示出特定动作的图像。在本文公开的所有健康分析和治疗中，可以执行向用户示出并覆盖映像的各种内容作为框710(图12)的一部分。
在一些实施例中，可以在框710(图12)处显示所捕获的用户图像以示出用户通常不可见的用户视图。例如，显示系统可以包括一个或多个面向外的相机，这些相机被定向以捕获用户头部的侧面和/或后面的视图；也就是说，一个或多个面向外的相机指向与用户面向的方向不同的方向。结果，相机可以被配置为对映像进行成像，该映像示出用户通常看不到的用户视图，例如用户的背面或侧面。显示系统可以被配置为将该图像显示给用户。例如，可以利用用户的背面的视图来帮助用户执行特定活动(例如，拉直用户头部后面的头发，拉紧具有沿着用户背面的拉链的连衣裙等)。作为另一示例，显示系统可以被配置为通过对用户的侧视图的映像进行成像并向用户显示该成像的侧视图映像来提供用户的侧视图。
在一些实施例中，在执行各种与体育相关的活动时，可以利用侧视图映像来监视用户的形态。例如，应当理解，形态/姿势在诸如举重之类的各种活动中很重要，其中如果不正确地进行活动，便可能发生伤害。例如，当进行蹲下时，用户的膝盖不应超出其脚趾。然而，用户可能难以确定其膝盖相对于其脚趾的位置，特别是在边举重物边使其头部保持朝前时。而且，即使在镜子前进行训练也是不够的，因为用户只能看到他们形态的正面视图。当观看用户正前方的镜子时，镜子将清楚地示出x和y方向上的对齐(分别为左右和上下)，而不是z方向上的对齐(相对于镜子前后)，而z轴是膝盖/脚趾对齐的相关轴。因此，在一些实施例中，显示系统可以包括指向侧面的面向外的相机，并且用户可以面向与镜子成90度的方向，使得镜子和相机具有用户的轮廓/侧视图。另外，显示系统可以被配置为在框710(图12)处显示所捕获的用户和/或基于用户的化身的侧视图，并且可以实时显示所捕获的侧视图以向用户提供实时对齐协助。在一些实施例中，可以显示和存储所捕获的视图以供用户或第三方以后查看。
如本文所公开的，应当理解，面向外的相机可以连续地捕获周围环境的图像(包括视频)，这些图像可以包括观看者的映像。另外如本文所公开的，图像可以被存储在数据储存库中。有利地，图像的存储可以允许对观看者的健康状况进行历史分析，并且可以提供回顾性地检测和/或确认健康状况的机会。例如，某些状况可能持续数月或数年不明显。数据储存库对图像的保留允许显示系统和/或临床医生在捕获这些图像后数天、数周、数月或数年进行各种观察性健康分析，并且可能仅在稍后健康状况便已提示希望进行特定的历史健康状况。例如，回顾过去的图像可以帮助确定仅在捕获这些图像之后的某个时间才变得明显的状况的发作和进展。这可以通过由显示系统提供的调节-聚散度匹配而被促进，从而允许长期穿戴该显示系统。因此，可以在用户进行他/她的常规工作时捕获大量图像，而无需专门为了进行健康分析而捕获这些图像。随后可以将该大量图像用于多种目的，包括如本文所述的回顾性健康分析。
现在，将在下面描述各种健康分析的示例。应当理解，如本文所述，这些分析中的任一者可以包括历史分析，在历史分析中比较在两个不同时间获得的数据。此外，对于这些分析中的任一者，可以存储测试结果以允许对这些测试结果进行历史比较。
神经系统检查，包括颅神经检查
在一些实施例中，显示系统可以被配置为进行健康分析以评估用户的颅神经。颅神经(cn)是周围神经系统(pns)的一部分，直接从大脑中显露。存在十二种不同的cn，每种cn都有不同的功能，但都在身体(主要是颈部和头部区域)与大脑之间传递信息。与用户身体的位置和/或动作相关的一些异常可以指示一种或多种颅神经或其它神经系统区域或脑区域的缺陷或损伤。在一些实施例中，显示系统可以被配置为检测各种颅神经中的损伤或异常。
a.cnvii-面部神经
cnvii涉及对面部肌肉的控制，可以基于在用户面部的映像中观察到的面部肌肉的动作异常来检测该颅神经的异常。在一些实施例中，显示系统可以被配置为对映像中的用户面部进行成像以检测不对称和/或偏差以及它们如何执行各种所要求的动作。例如，显示系统可以被配置为确定面部形状的不对称和/或凹沟(例如鼻唇沟)的深度的不对称的存在。而且，显示系统可以被配置为寻找自发面部表情和/或眨眼中的不对称。替代地或附加地，可以提示用户执行各种动作，包括抬双眉、皱眉、紧闭眼睛、露出上下牙齿、微笑、鼓起脸颊、皱额等等。
执行所要求的动作时的不对称和/或观察到的无力可能指示下面描述的各种状况。应当理解，可以基于用户无法执行特定动作和/或通过比较观察到的动作程度相对于基准动作程度的比较来检测面部无力。在一些实施例中，基准可以是用户执行特定动作的先前图像。为了向用户提供与基线的偏差水平的指示，可以在用户试图执行动作时在框710(图12)处提供该基准作为覆盖用户的映像的增强现实内容。在一些其它实施例中，基准可以是普通用户的响应。
偏离基准可以被解释为面部无力，其可以由对侧运动皮层或下行中枢神经系统通路中的上运动神经元、同侧面神经核(cnvii)中的下运动神经元或发出神经纤维、神经肌肉接头或面部肌肉的损伤引起。在某些情况下，面部无力可能表明贝尔氏麻痹和拉姆齐亨特综合征。
显示系统可以被配置为如下解释对所提示的用户动作的各种类型的反应。无法控制面部肌肉和/或面部麻痹可以被解释为由诸如贝尔氏麻痹或假性球麻痹之类的运动障碍；诸如血管性痴呆之类的记忆障碍；和/或诸如中风之类的伤害引起。变平、下垂或无表情的面部(包括整个面部或面部的一侧)的迹象可以被解释为由诸如贝尔氏麻痹或假性球麻痹之类的运动障碍；诸如中风之类的伤害引起。睑裂变宽/无法光闭合的迹象可以被解释为由诸如贝尔氏麻痹之类的运动障碍引起。咂嘴的迹象可以被解释为由诸如癫痫之类的神经系统障碍；或诸如肌肉张力障碍之类的运动障碍引起。面部运动困难的迹象可以被解释为由诸如格林-巴利综合征之类的神经系统障碍；诸如肯尼迪病之类的运动障碍；或诸如皮质基底变性之类的记忆障碍引起。
b.cnviii-前庭蜗神经
cnviii涉及前庭系统的功能，并且可以基于用户听力和/或平衡感的异常来检测cnviii的异常。听力测试的一个示例是韦伯测试，其中将音叉放置在中线的颅骨的顶点上，并且随后要求用户指出音调听起来更响亮的一侧。应当理解，音叉可以由第三方或用户放置在用户的颅骨上。用户可以通过选择虚拟菜单项，通过抬起他们的左手或右手(使得显示系统能够识别观看者的映像中抬起的手)，通过口头告知更响亮的那一侧来指出音调听起来更响亮的一侧。另外，显示系统可以被配置为监视用户的头部姿势以确定用户的哪一侧感知到更响亮的声音。例如，用户可能转离较响亮的一侧，并且显示系统可以被配置为将该转离解释为指示声音在该侧被感知为更响亮。
在一些实施例中，显示系统可以发出声音来代替音叉，例如，显示系统可以被配置为通过左右扬声器66(图2)发出相同级别的声音。在一些实施例中，显示系统可以被配置为将问题或指令引导给用户，并监视用户对指令的响应，以例如确定用户的哪一侧听到指令，而不是发出音调。
显示系统可以被配置为基于响应确定用户是否具有听力损失。假设显示系统知道哪个耳朵是正常的并且哪个耳朵受到听力问题的影响，如果用户指示在正常侧音调较响亮，则可以确定用户在受影响的耳朵中遭受感觉神经性听力损失。如果用户指示在受影响侧音调较响亮，则可以确定用户遭受传导性听力损失。
应当理解，听力损失可能由耳朵的声学和机械元件、耳蜗的神经元或听神经(cnviii)方面的病变引起。此外，听力损失的迹象可能由诸如临床孤立综合征或希尔德病之类的神经系统障碍；诸如胎儿酒精谱系障碍之类的发育障碍；或诸如脑肿瘤之类的伤害引起。
另外，还可以检测其它与听力相关状况。例如，听力测试可以确定用户患有听觉过敏症，这可能由诸如贝尔氏麻痹之类的运动障碍引起。在一些实施例中，听力测试可以确定用户患有过度活跃的听觉惊吓反应，其可能由诸如原发性侧索硬化症之类的运动障碍引起。
在一些实施例中，显示系统可以被配置为进行用户的前庭测试。这种测试的示例包括barany或hall-pike定位测试，它可用于区分眩晕的周围原因和中央原因。在这样的测试中，可以提示用户坐在床上或检查台上，并且当用户一只耳朵朝下并且头部伸出桌子边缘向后躺下时，第三方可以支撑用户的头部。在一些实施例中，该测试可以在没有第三方的帮助下进行。相反，用户可以位于镜子前面，并且显示系统可以投射增强现实内容，该增强现实内容示出用户如何自我定位。在任一种情况下，都要求用户保持睁开眼睛并报告任何眩晕感，而面内向的相机检查用户的眼睛是否有眼球震颤的迹象。
显示系统可以被配置为从用户接收关于他们是否正在经历眩晕和眼球震颤的输入。基于由用户提供的输入，显示系统可以被配置为得出各种结论。例如，在用户躺下之后，眼球震颤和眩晕发作之前几秒的延迟可以被显示系统解释为指示颅神经中的周围病变。眼球震颤可以是水平的或旋转的，并且不会改变方向。然后，用户的眼球震颤和眩晕症状在大约一分钟内消失，并且用户可以向显示系统提供输入以指示这些症状已经消退。
在用户躺下后眼球震颤和眩晕症状的立即发作可以被显示系统解释为指示颅神经中的中央病变。水平或旋转眼球震颤也可能存在中央病变。然而，中央病变也可表现出周围病变所看不见的症状。中央病变特有的这些症状包括垂直眼球震颤、改变方向的眼球震颤，或在没有眩晕的情况下明显的眼球震颤。
通常，显示系统可以被配置为得出以下结论：即，用户对前庭测试的响应中的异常与内耳的前庭器官、cnviii的前庭部分、脑干中的前庭核、小脑、或脑干中的通路中的病变相关联。
在一些实施例中，显示系统可以被配置为在用户在白天移动时对用户进行成像。例如，显示系统可以被配置为确定用户的映像是否表现出缺乏平衡的迹象(例如，由于用户没有直行，或者没有站直)。在一些实施例中，可以使用诸如加速度计或惯性测量单元(imu)之类的运动传感器跟踪身体的移动和取向来确定缺乏平衡。
在一些其它实施例中，显示系统可以被配置为显示用户与之交互的增强现实内容，以便检测其平衡损伤。例如，可以要求用户躲避由显示系统显示并通过多个深度平面朝向用户过来的虚拟对象。用户在这些躲避动作中缺乏稳定性可能是平衡受损的指示。
显示系统还可以被配置为得出以下结论：即，平衡困难可能由诸如共济失调或帕金森病之类的运动障碍引起。特别地，显示系统可以被配置为确定低活性旋转和热量诱导的前庭响应的迹象可能由诸如帕金森病之类的运动障碍引起。
在一些实施例中，显示系统可以被配置为提供增强现实内容以改善用户的平衡。例如，系统可以被配置为提供视觉刺激，例如为保持其平衡用户可以聚焦于的水平线。在一些其它实施例中，显示系统可以包括与用户直接物理接触的电极(例如，位于显示器的框架上)。电极可用于向耳朵中的神经提供电流性前庭刺激，以帮助用户保持其平衡。
c.cnxi-副神经
cnxi控制胸锁乳突肌或斜方肌，其涉及头部转动和肩部抬高。显示系统可以被配置为通过进行运动范围和强度测试来测试cnxi中的异常。例如，显示系统可以被配置为提示用户耸肩，在两个方向上转动其头部，以及从他们所躺的表面抬起头部，顶着他们手部的力向前弯曲。
显示系统可以将运动范围从较早建立的参考基线减小解释为胸锁乳突肌或斜方肌无力。在一些实施例中，系统可以被配置为显示预期的基线运动范围以帮助确定用户的无能力水平。反过来，显示系统可以被配置为将无力解释为由肌肉、神经肌肉接头和/或副脊神经(cnxi)中的下运动神经元中的病变引起。在一些实施例中，用户的运动范围可以对应于斜方肌的对侧无力，具有相对正常的胸锁乳突肌强度。这可以被显示系统解释为由皮质中或下行通路中的单侧上运动神经元病变引起。
对所要求的动作的各种其它用户响应可以包括以下内容。头部低垂或晃动可以被显示系统解释为由诸如癫痫之类的神经系统障碍引起。头部肌肉收缩也可以被解释为由诸如癫痫之类的神经系统障碍引起。头部的非自主扭转、转动、拉动可以被解释为由诸如颈部肌肉张力障碍之类的运动障碍引起。
如本文所公开的，在一些实施例中，显示系统可以被配置为通过显示增强现实内容来进行用户的物理或职业治疗，该增强现实内容向用户示出参与物理治疗的适当运动。
d.cnxii-舌下神经
cnxii控制舌头，并且可以基于舌头活动的异常来检测该颅神经的异常。例如，显示系统可以被配置为检测在映像中所见的舌头的萎缩或自发性收缩，同时它停留在嘴的底部上。应当理解，自发性收缩是舌头的自发颤抖运动，在不受理论限制的情况下，其可以由肌肉运动单元的放电(firing)引起。
显示系统可以被配置为要求用户将他们的舌头伸直并且对舌头的映像进行成像以确定舌头是向一侧弯曲还是向另一侧弯曲。显示系统还可以被配置为要求用户将他们的舌头从一侧移动到另一侧并且将其强有力地推向每个脸颊的内侧。在一些实施例中，测试可显示同侧上的无力和舌头朝向损伤侧的突出。
显示系统可以被配置为如下解释关于用户舌头的映像的各种观察。自发性收缩和萎缩可以被解释为下运动神经元病变的迹象。舌无力可以被解释为由舌肌、神经肌肉接头、舌下神经(cnxii)的下运动神经元、或起源于运动皮质的上运动神经元的病变引起。作为舌无力的一个示例，单侧舌无力可能导致舌头偏向无力侧。对侧舌无力可以被解释为运动皮层的病变。嘴和舌头的扭曲可以被解释为由诸如口腔下颌肌肉张力障碍之类的运动障碍引起。面部和舌头的微弱动作可以被解释为由诸如进行性球麻痹、假性球麻痹和肯尼迪病之类的运动障碍引起。舌头突出可能由诸如抽动秽语综合征之类的运动障碍引起。
运动检查
在一些实施例中，运动检查可用于检测运动系统中的缺陷，从而允许识别各种神经系统障碍。优选地，这些运动检查是观察性的；显示系统的面向外的相机可以被配置为对用户的映像进行成像以检测例如异常动作。在一些实施例中，显示系统可以被配置为识别异常动作，包括抽搐、震颤、非自主运动、异常的运动缺乏、姿势及其组合。当用户正在进行他们的日常活动时和/或当用户做出姿势或以其它方式向显示系统提供输入时，可以简单地在映像中观察到这些动作。应当理解，非自主运动可能导致无意中选择菜单项，或者可以在用户通知显示系统某个动作是非自主的时候被确定。另外，可以使用诸如加速度计或惯性测量单元(imu)之类的运动传感器，或者通过检测用户的头部姿势(例如，通过使用显示系统的面向外的相机识别用户的视角和/或视线的变化)，来检测非自主运动。
在一些实施例中，第一用户做出的异常动作可以由第二用户的显示系统在第二用户观察到的第一用户的映像中检测到。如本文所公开的，第一和第二用户的显示系统可以被配置为共享信息，并且该信息可以包括共享关于所观察到的另一用户的在映像中观察到的异常动作的数据。
显示系统可以被配置为得出结论：即，各种类型的异常动作可能由各种状况引起，如下所述。例如，非自主运动和震颤可能由基底神经节或小脑的病变引起。震颤可能由周围神经病变引起。用户手部的震颤或抖动可被显示系统解释为由诸如癫痫和/或多发性硬化症之类的神经系统障碍；诸如脑性麻痹、i/iii型脊髓性肌萎缩和/或帕金森病之类的运动障碍；和/或路易体痴呆、额颞痴呆、进行性核上性麻痹引起的记忆障碍引起。
在另一实例中，肌肉痉挛、运动抽搐或抽搐可被显示系统解释为由诸如巴洛式病、癫痫、多发性硬化和/或视神经脊髓炎之类的神经系统障碍；诸如肌肉张力障碍、亨廷顿病、运动神经元病、肌萎缩性侧索硬化症和/或抽动秽语综合征之类的运动障碍；和/或诸如克雅氏病和/或额颞痴呆之类的记忆障碍引起。
手足徐动症(引起非自主扭动运动的异常肌肉收缩)和肌肉张力障碍(引起反复或扭转运动的非自主肌肉收缩)可以被显示系统解释为由诸如线粒体视神经病变(遗传)之类的各种视神经病；诸如脑性麻痹和/或亨廷顿病之类的运动障碍；和/或诸如皮质基底变性之类的记忆障碍引起。
非自主运动/肌肉控制丧失可以被显示系统解释为由诸如癫痫之类的神经系统障碍；诸如脑性麻痹之类的运动障碍；诸如克雅氏病之类的记忆障碍；和/或诸如脑肿瘤之类的脑损伤引起。
舞蹈病(尤其影响肩部、臀部和面部的跳动性非自主运动)可被显示系统解释为由诸如亨廷顿病之类的运动障碍引起。
肌阵挛(突发的跳动性动作，其可能是由于肌肉群的痉挛性跳动收缩)可以被显示系统解释为由诸如克雅氏病和/或后部皮质萎缩之类的记忆障碍引起。
帕金森疾病或帕金森病的症状可以被显示系统解释为由诸如痴呆、皮质基底变性和/或路易体痴呆之类的记忆障碍引起。可以在映像中观察到的帕金森疾病或帕金森病症状的示例包括用户的震颤、缓慢移动、僵硬和姿势不稳定。
可观察到的身体异常
在一些实施例中，显示系统可以在用户的映像中检测各种可观察到的身体异常。这样的身体异常可以包括例如通过分析用户的所捕获的图像而可检测到的身体不对称性。
例如，可以通过在用户站立或坐着时对用户的映像进行成像来观察脊柱侧凸或脊柱的侧向弯曲。优选地，该映像是用户的背部。在一些实施例中，显示系统可以分析所捕获的用户图像以确定脊柱是否具有侧向弯曲。在一些实施例中，可以通过覆盖示出正常脊柱的取向的增强现实内容来进行弯曲存在的确认和/或弯曲度的确定。可以通过显示虚拟标尺来由用户测量与该正常取向的偏差。如果观察到脊柱侧凸，则显示系统可以被配置为将脊柱侧凸解释为由诸如i/iii型脊柱肌肉萎缩和/或先天性脊髓性肌萎缩伴关节挛缩之类的运动障碍引起。
在一些其它实施例中，还可以通过分析用户的身体的不对称性来确定脊柱的弯曲。应当理解，正常用户的脊柱沿着用户身体的中心线延伸，并且脊柱的弯曲会导致脊柱偏离中心线，预期会引起用户身体和/或姿势的不对称性。因此，在用户的映像的图像中捕获的用户身体和/或姿势的不对称性可以被显示系统解释为用户脊柱的弯曲。
在一些实施例中，显示系统可以被配置为帮助物理治疗以治疗用户的脊柱侧凸。例如，可以向用户显示物理治疗要遵循的动作的示例。在一些实施例中，显示系统可以被配置为显示增强现实内容，其示出覆盖在映像中看到的用户实际动作上的正常动作和/或增强现实内容可以同时包括正常动作和用户动作的记录图像以向用户提供视觉比较。如本文所公开的，可以使用一个或多个面向外的相机获得用户动作的这些图像。这些相机可以捕获直视前方的用户所看到的用户的映像。在一些实施例中，这些相机可以面向用户的侧面或后面的外面，以提供不仅用户通常看到的用户视图。这些视图对于使用用户视图提供比较或指导可能是有用的，这对于强调这些比较或指导可能特别有用。另外，显示系统可以被配置为显示“提示”(例如以文本和/或动画的形式)，以帮助用户执行指示的物理治疗运动。
作为另一示例，显示系统可以被配置为分析用户膝盖在这些膝盖的映像的图像中的对齐。应当理解，可以容易地观察用户的腿和脚的取向和对齐，并将其分类为内翻、外翻或正常。在一些实施例中，显示系统可以被配置为基于观察用户的脚和膝盖和臀部的对齐来进行该分类。其中这三个特征通常沿着直线从用户的臀部向下延伸的对齐可以由显示系统确定为正常的。其中膝盖落在该直线外的对齐可以由显示系统确定为内翻，并且其中膝盖在该直线内的对齐可以由显示系统确定为外翻。
在一些实施例中，显示系统可以被配置为监视用户的映像以检测各种自动动作的发生，例如当眨眼、微笑和用户行走时的摆臂。该监视可以是连续的(例如，在用户穿戴着显示设备的整个时间内，或者可以在预设的持续时间内)。在一些实施例中，显示系统可以被配置为监视自动动作的频率。在一些实施例中，显示系统可以将自动动作的缺乏解释为由诸如帕金森病之类的运动障碍引起。
在一些实施例中，显示系统可以被配置为监视用户的映像以确定用户的体重增加或下降的发生。体重增加或下降可以通过例如随时间监视用户的轮廓并且与先前成像的轮廓进行比较以识别轮廓的大小是增大还是减小(将分别被解释为用户体重的增加或下降)而被确定。还可以通过覆盖包括用户的先前图像或轮廓的增强现实内容来向用户示出轮廓大小的增大或减小。为了允许准确的比较，应当理解，可以基于用户到反射表面的距离以及在先前捕获的图像中用户到反射表面的距离来缩放图像或轮廓。例如，所存储的用户图像可以包括关于用户到反射表面的距离的数据，并且显示系统还可以被配置为在显示所存储的图像之前确定用户到当前反射表面的距离。可以缩放所存储的图像，使得其对应于用户到反射表面的当前距离。如本文所公开的，应理解，可以使用各种方法确定用户到反射表面的距离，这些方法包括对光学反射、声学反射的测量和/或对反射图像本身的分析。
在一些实施例中，显示系统可以被配置为将超过预定阈值量的体重增加(例如，超过预定量的用户轮廓的大小的增加)解释为由诸如额颞痴呆之类的记忆障碍，或诸如抑郁或压力之类的行为障碍引起。应当理解，可以通过存储用户的图像并且对不同时间拍摄的观看者的不同图像中的用户轮廓进行比较来执行用户体重的历史分析。被比较的图像可以在用户位于相对于反射表面的不同距离处拍摄。因此，图像可以被缩放以对应于共同距离，从而提供两个图像之间的准确比较。除了确定是否已经超过预定值(例如，关于用户各个部位的尺寸)之外，显示系统可以被配置为还使用所存储的历史数据确定随时间的变化速率。因此，可以做出关于改变是突然的还是渐进的确定并且使用该确定改进由显示系统做出的诊断。
在一些实施例中，显示系统可以显示虚拟食物以供用户虚拟消费，以便满足用户对食物的渴望。在一些实施例中，显示系统可以被配置为将超过预定阈值量的重量下降(例如，超过预定量的用户轮廓的大小的减小)解释为由诸如缺血性视神经病变之类的视神经病变；诸如运动神经元病之类的运动障碍；和/或诸如抑郁症、进食障碍、厌食症、神经性贪食症和/或压力之类的行为障碍引起。如本文所公开的，在一些实施例中，显示系统可以被配置为通过评估多条数据来证实特定结论。例如，可以基于对用户的映像的图像的分析而确定用户是否呈现出与压力相对应的身体语言，来证实由于体重下降引起的压力的存在。应当理解，过度的重量下降可能是不期望的，并且显示系统可以被配置为显示用户体重和/或用户图像的历史比较，以警告用户这种不期望的体重下降。例如，显示系统可以被配置为在重量下降量和/或重量下降速率超过预定阈值时显示这种比较。
在一些实施例中，显示系统可以被配置为监视用户的映像以确定异常面部特征的存在。例如，可以基于群体的平均值确定这些特征是异常的。例如，应当理解，多个显示系统可以被配置为监视其用户的映像并共享数据。另外，显示系统可以具有关于用户的人口统计信息，其可用于将用户放置在各种子群体中。给定由显示系统捕获的映像的数量和定义用户子群体的能力，显示系统可以被配置为提供各种面部特征的平均值。例如，平均值可以基于整个群体来确定，或者可以更专注于包括由各种人口统计参数(例如，年龄、性别、祖籍国等)定义的子群体。基于这些平均值，可以确定用户与各种标准的偏差。显示系统可以被配置为确定这些偏差的存在和程度，其中一些偏差可以被归类为异常面部特征。在一些实施例中，显示系统可以被配置为将异常面部特征解释为由诸如唐氏综合征或胎儿酒精谱系障碍之类的发育障碍引起。
在一些实施例中，显示系统可以被配置为分析用户的映像以用于各种皮肤病学相关分析。例如，显示系统可以被配置为在与用户的皮肤外观相关的各种参数中检测皮肤病学异常(例如，相对于群体标准的偏差)或改变(例如，随时间的用户变化)。这些参数可包括皮肤的颜色和纹理，以及皮肤上的特征(包括凸起的突起)的大小和形状。在一些实施例中，显示系统可包括一个或多个面向外的相机，其被配置为使用红外(ir)或可见光对映像进行成像。显示系统可以被配置为利用图案识别和图像处理或机器视觉/学习来扫描患者的皮肤并识别异常以供进一步研究。例如，使用可见光对皮肤进行成像的相机可以使用图案识别和图像处理来扫描皮肤的区域以获得已知的病理特征。同时，检测ir的面向外的相机(其可以是与可见光相机相同或不同的相机)可以“透视”皮肤的顶层以检测皮肤表面下的皮肤组织或皮肤层中的不同反射/折射特性。显示系统可以被配置为分析这些区域的图像以获得已知病理的参数。例如，可以使用超光谱差示反射计来区分具有独特特性(例如水含量)的感兴趣区域。作为另一示例，浮现前病变可以具有与典型组织不同的湿度特征，并且可以通过使用ir敏感相机对映像进行成像来区分。
肌肉张力和肌肉体积的检查
在一些实施例中，显示系统可以被配置为监视用户的映像以确定萎缩(肌肉萎缩)、肥大或自发性收缩(由肌肉运动单元的放电引起的自发颤抖运动)的存在。应当理解，可以使用用户图像的历史比较来确定肌肉萎缩或肥大。例如，可以将当前图像与早期图像进行比较，以确定例如肌肉大小和/或清晰度的变化。在一些实施例中，可以向用户显示用户肌肉的早期图像，以便可以使他们知道这些变化。
如本文所述，在一些实施例中，可以测量可观察的肌肉的大小。在一些实施例中，肌肉(例如，具有强肌肉张力的肌肉)可以通过皮肤可见，并且可以通过分析肌肉图像来分析。在一些其它实施例中，显示系统可以被配置为朝着反射表面投射电磁辐射或声波(例如，红外光或超声波)，使得反射表面将辐射或声波反射到用户身体。应当理解，一些辐射或声波可以被反射回到用户并且可以由显示系统检测，一些辐射或声波可以被吸收或散射。基于吸收的量(由显示系统检测到的被反射的辐射或声音的量确定)，可以区分不同的组织，因为不同的组织具有不同的衰减值和吸收值。因此，可以在类似于温度映射的过程中测量诸如肌肉之类的不同组织的存在和量。可以随时间分析从上述测量技术得出的表征用户肌肉的参数的变化，以检测肌肉张力和/或大小的变化。
应当理解，神经系统中的各种异常可以引起可基于对用户的观察而检测到的特定症状。例如，下运动神经元病变可能导致肌肉无力、萎缩、自发性收缩、反射减退(反射减弱)和张力减弱。作为另一示例，上运动神经元病变可能导致肌肉无力、反射亢进(反射增加)、张力增加，以及由于停用(disuse)导致的轻度萎缩。此外，急性上运动神经元病变可能导致弛缓性肌肉麻痹、张力降低、反射减弱。这种急性上运动神经元病变可能在数小时至数周的相对短的时间内引起肌肉张力增加和反射亢进。作为又一示例，皮质脊髓病变可能导致反射亢进和张力增加。此外，基底神经节功能障碍可能导致张力增加。应当理解，显示系统可以将这些症状中任一者的存在解释为指示上述异常之一存在于神经系统中。
显示系统可以被配置为针对各种肌肉状况的原因提供各种候选。肌肉状况和候选原因的示例如下。收缩/自发性收缩可以被显示系统解释为由诸如运动神经元病、肌萎缩性脊髓侧索硬化症、进行性球麻痹、进行性肌肉萎缩、i型脊髓性肌萎缩和/或肯尼迪病之类的运动障碍引起。在一些实施例中，用户动作程度或用户的稳定/先前动作位置的测量可以覆盖用户的映像以确定用户肌肉的异常或改变的程度。
在一些实施例中，肌肉僵硬可以被解释为由诸如癫痫之类的神经系统障碍；诸如痉挛性脑瘫、运动神经元病、原发性侧索硬化症和/或帕金森病之类的运动障碍；和诸如克雅氏病、路易体痴呆和/或进行性核上性麻痹之类的记忆障碍引起。肌肉强直(具有正常反射的僵硬肌肉)可以被解释为由诸如亨廷顿病和帕金森病之类的运动障碍；和/或诸如皮质基底变性、路易体痴呆和/或额颞痴呆之类的记忆障碍引起。张力减退/低肌肉张力可以被解释为由诸如共济失调、运动障碍和/或i型脊髓性肌萎缩症之类的运动障碍；和/或诸如脑积水之类的伤害引起。观察到的肌肉张力变化可以被解释为由诸如脑性麻痹之类的运动障碍引起。肌肉痉挛可以被解释为由诸如局灶性肌肉张力障碍、运动神经元病、肌萎缩性侧索硬化症和/或进行性肌肉萎缩之类的运动障碍引起。肌肉萎缩可以被解释为由诸如运动神经元病、肌萎缩性脊髓侧索硬化症、进行性肌肉萎缩症、脊髓性肌肉萎缩症和/或肯尼迪病之类的运动障碍；和/或诸如进食障碍、厌食症和/或神经性贪食症之类的行为障碍引起。应当理解，可以基于早期用户肌肉大小与后期用户肌肉大小的比较来确定肌肉萎缩。
肌肉的功能测试
在一些实施例中，可以在反射表面的前面执行用户肌肉的功能测试。可以指示用户(例如，通过显示系统)执行各种精细动作和/或保持各种位置。在一些实施例中，这些动作可以在游戏环境中执行，其中校正执行动作会使用户的游戏分数增加。例如，显示系统可以被配置为指示用户执行快速手或脚移动，例如，包括尽可能快地触摸虚拟按钮，并且还基于这些动作生成得分。显示系统可以被配置为对用户进行成像(例如，使用面向外的相机)以确定所指示的动作和位置是否被准确地执行或者确定用户偏离所指示的动作或位置的程度。
功能测试的示例包括漂移，其中指示用户举起双臂或双腿并闭上他们的眼睛，然后前后摇动他们的头“说不”。如果针对该测试观察到肯定结果(即，如果测试未正确执行)，则显示系统可以被配置为得出用户患有痉挛或无法保持位置的结论。
测试的另一示例是快速手或脚运动，其中指示用户进行快速手指轻敲、快速手旋前-旋后(在类似于拧入灯泡的运动中)、快速手轻敲，和/或快速脚轻敲地板或其它对象。这种测试可用于检测细微的肌肉无力，如由无法进行快速手指轻敲或手旋前-旋后所证实的。
显示系统可以被配置为如下解释用户对所指示的动作的执行。在没有无力的情况下的缓慢或笨拙的精细手指动作或脚趾轻敲可以被解释为由皮质脊髓通路的微妙异常或小脑或基底神经节的病变引起。无法遵循诸如“假装刷牙”之类的运动命令可以被解释为由失用症引起。运动功能/自主肌肉控制的丧失可以被解释为由诸如视神经脊髓炎之类的神经系统障碍；和/或诸如运动神经元病和/或原发性侧索硬化症之类的运动障碍引起。运动迟缓/缓慢动作可以被解释为由诸如希尔德病之类的神经系统障碍；诸如亨廷顿病、原发性侧索硬化症和/或帕金森病之类的运动障碍；和/或诸如路易体痴呆之类的记忆障碍引起。非自主的肌肉收缩(可能是“任务特定的”)可以被解释为由诸如局部手肌肉张力障碍之类的运动障碍引起。偏好身体的一侧(由用户身体一侧的肌肉更发达和/或执行所指示的任务时偏好使用一侧所证实的)可以被解释为由诸如脑性麻痹之类的运动障碍引起。在一些实施例中，可以通过显示鼓励用户身体的不被偏好的一侧参与的内容来治疗被检测到的用户身体的一侧的偏好。例如，患有半身空间忽视的用户可能仅使用他们身体的一侧，例如，仅刮他们脸的一半的胡须或跨过其身体以使用偏好的手臂。在一些实施例中，显示系统可以被配置为通过示出虚拟的被忽略的手执行任务，向用户示出使用被忽略的手更容易，从而鼓励用户使用该只被忽略的手。在一些实施例中，显示系统可以被配置为显示将用户引诱到被忽略侧的虚拟内容。
将对象从被忽视的区域转移到非被忽视的区域
应当理解，显示系统可以知道用户视野中被忽略的区域或侧面的位置。例如，这些区域的位置可以被存储在显示系统中和/或以其它方式可由显示系统访问。在一些实施例中，显示系统可以被配置为通过在用户的视野中移动这些对象的位置来寻址并引起对这些被忽略区域中的对象的注意。例如，当用户正观看映像时，显示系统的前向相机可以被配置为捕获映像的图像，并且显示系统可以被配置为确定所关注的对象是否在被忽略的区域中。如果对象在被忽略的区域中，则显示系统可以被配置为通过在不同的位置中(优选地在用户的视野的非被忽略的区域中)呈现该对象的图像来移动该对象的位置。因此，用户可以有利地感知对象并对其作出反应。在一些实施例中，可以移动由显示系统捕获的整个图像，使得期望的对象位于非被忽略的区域中。
一旦用户意识到在被忽略的移位区域中存在内容或视觉输入，显示系统便可以被配置为移除该移位。例如，显示系统可以被配置为提示用户指示他们是否感知到该对象并接收对该提示的响应，或者使用面向内的相机监视他们的注视以确定用户的注视是否匹配或指向移位区域中的对象。在一些实施例中，检测到来自用户的肯定响应可以使显示系统随时间以递增的量逐渐减小移位量。例如，显示系统可以被配置为在每次增量变化之后确定用户是否感知到该对象，并且在做出肯定结论之后，进行另一增量变化，直到移位被移除。
在一些实施例中，除了移位之外，显示系统可以被配置为用作“真镜子”，其中用户的虚拟映像被示出为不使该用户的特征反转，如同在普通镜子中发生的一样。例如，显示系统可以被配置为在向用户显示映像的图像之前对用户的映像进行成像并反转该映像。用户映像的反转图像将被用户视为非反转的图像或虚拟的真镜子映像。在一些实施例中，虚拟真镜子映像可以覆盖并取代实际映像。
个体肌肉群的力量测试
在一些实施例中，可以在反射表面的前面测试用户的个体肌肉群的力量。可以指示用户(例如，通过显示系统)执行被设计为专注于特定肌肉群的动作。显示系统可以被配置为对用户进行成像(例如，使用面向外的相机)以确定所指示的动作和位置是否被准确地执行或者确定用户从所指示的动作或位置偏离的程度。在一些实施例中，可以测量用户能够克服已知阻力(例如，重量)移动的距离作为力量的量度。替代地或附加地，可以改变阻力的大小(例如，重量的质量)以确定用户克服不同阻力移动的能力，从而测量用户的力量。
在一些实施例中，可以成对地连续测试肌肉群；也就是说，在测试特定肌肉群之后，可以测试该肌肉群的对侧对应物以增强对肌肉力量或功能的不对称性的检测。应当理解，肌肉力量可以按5分等级来评定，0表示没有收缩，5表示正常力量。在一些实施例中，显示系统可以被配置为记录任何观察到的肌肉无力是近端肌肉无力还是远端肌肉无力。可以理解，近端肌肉是离身体中线最近的肌肉，远端肌肉是身体四肢上的肌肉。在一些实施例中，近端无力与远端无力的比较可用于分别确定用户是患有肌肉疾病还是神经疾病。
肌肉力量测试的示例包括以下内容。上肢力量测试包括肘伸展测试，其利用并提供关于肱三头肌、桡神经和神经根c6、c7和c8的诊断信息。下肢力量测试包括膝伸展测试，其利用并提供关于四头肌、股神经和神经根l2、l3和l4的诊断信息。控制足部的肌肉的力量可以使用足外翻和/或内翻测试来确定，其中要求用户执行足外翻和/或内翻。应当理解，显示系统可以被配置为执行多个肌肉力量测试并基于这些测试的结果确定无力模式。无力模式可以帮助定位特定的皮质或白质区域、脊髓水平、神经根、周围神经或肌肉异常。
显示系统可以被配置为如下解释用户在肌肉测试中的表现。肌肉无力或疲劳可以被解释为由诸如急性播散性脑脊髓炎、临床孤立综合征、格林-巴利综合征、多发性硬化症、视神经脊髓炎、希尔德病，横贯性脊髓炎和/或周围神经病之类的神经系统障碍；诸如急性脱髓鞘性视神经炎和/或线粒体视神经病(遗传)之类的视神经病；诸如共济失调、运动神经元病、肌萎缩性侧索硬化症、原发性侧索硬化症、进行性肌肉萎缩症、脊髓性肌萎缩症和/或肯尼迪病之类的运动障碍；诸如额颞痴呆之类的记忆障碍；和/或诸如脑积水、中风和/或外伤性脑损伤之类的损伤引起。显示系统可将麻痹解释为由诸如巴洛式病、格林-巴利综合征、多发性硬化症和/或视神经脊髓炎之类的神经系统障碍；诸如血管性痴呆之类的记忆障碍；和/或诸如中风之类的伤害引起。
反射测试
在一些实施例中，可以利用对用户反射的测试来识别神经系统异常，例如受损神经元，并且基于用户身体各个部位的反射测试结果来识别和隔离用户大脑的受伤部分。下面描述各种反射测试。可以在反射表面的前面进行测试，并且可以通过所捕获用户的映像的图像来确定测试结果。
在一些实施例中，可以将从特定测试预期的正常反射动作投影为增强现实内容，使得用户或系统或第三方可以确定用户的反射是否与正常动作对齐并且还可以确定异常程度。可以定性和/或定量地(例如，通过用户所呈现的运动范围的定量测量)确定异常程度。例如，在基于已知常数(例如，用户的身高、用户的身体部位大小、用户与在其上捕获用户图像的反射表面的距离等)计算关于用户的动作的各种参数时，可以通过分析用户的图像来获得定量测量。在一些实施例中，可以将用户的动作与增强的正常动作进行比较并且在视觉历史比较中示出。在一些实施例中，可以对示出用户动作的增强现实内容进行颜色编码。例如，如果用户没有任何动作，则缺少动作的投射身体部位将是红色的，或者，如果用户的动作是正常的，则具有正常动作的投射身体部位将是绿色的。在一些实施例中，显示系统可以被配置为测量反射动作的时间和距离，以确定该动作的速度。例如，可以使用深度传感器确定用户距反射表面的距离，以通过允许关于如何缩放观察到的图像的数学确定来允许确定各种特征的尺寸。
a.深腱反射
第三方或用户可以将反射锤应用于用户的肢体以产生拉伸用户的肌肉和腱的冲动。优选地，用户的肢体处于放松和对称的位置，因为这些因素可能影响反射幅度。在一些实施例中，为了检测用户的左/右侧上的不对称性，对于在用户的一侧上测试的每个反射，可以对肌肉/腱的对侧对应物进行类似的反射测试。
显示系统可以被配置为得出以下结论：即，对反射测试的某些用户反应指示如下各种状况。例如，异常增加的反射(反射亢进)可以被显示系统解释为由上运动神经元病变引起。阵挛可以被显示系统解释为由诸如亨廷顿病之类的运动障碍引起。应当理解，显示系统可以被配置为通过检测肌肉和相应的腱被拉伸时发生的肌肉的重复振动收缩来诊断阵挛的存在。在某些情况下，阵挛也可以被显示系统解释为反射亢进。除了阵挛之外，显示系统可能观察到的其它反射亢进的迹象包括将反射传播到未被直接测试的其它肌肉，以及当用户或第三方轻敲膝盖的内侧时相反腿的交叉内收。
在一些实施例中，显示系统可以被配置为通过观察用户对施加在用户的腱上的力的反应来测试深腱反射。可以定期执行该测试以允许比较当前结果与过去结果，和/或可以将测试结果与预期平均的结果进行比较。深腱反射的减弱可以被解释为由肌肉、感觉神经元、下运动神经元和/或神经肌肉接头的异常；急性上运动神经元病变；和/或诸如关节疾病之类的机械因素引起。
在一些实施例中，深腱反射的缺乏可以被显示系统解释为由诸如视神经脊髓炎和/或i型脊髓性肌萎缩之类的神经系统障碍引起。在一些实施例中，夸张的深腱反射可以被显示系统解释为由诸如视神经脊髓炎之类的神经系统障碍引起。
b.足底反应
在一些实施例中，可以通过用一物体刮擦用户的脚底来测试用户的足底反应，其中该从足跟向前朝向小脚趾移动，然后慢慢地走弧线划向大脚趾。脚趾向下收缩是对该测试的预期正常反应。
各种异常反应可以由显示系统进行成像。巴宾斯基征是一种异常反应，其典型特征是大脚趾向上运动，其它脚趾向外扇动。在某些情况下，脚趾可能是“沉默的”(既不向上也不向下移动)。如果一侧(一只脚)的脚趾向下收缩，但在另一侧(另一只脚)为沉默的，则沉默侧被认为是异常的。这些反应对于成人来说始终被认为是异常的，但对于最大为约1岁龄的婴儿而言并不异常。在一些实施例中，这些异常反应，包括伸肌足底反应，可以被解释为由诸如亨廷顿病之类的运动障碍引起。
巴宾斯基征的存在可以被显示系统解释为指示沿着皮质脊髓束的任何地方存在上运动神经元病变。然而，应当理解，如果脚趾伸肌严重无力，则可能不会引发巴宾斯基征。在一些实施例中，巴宾斯基征的存在可以被显示系统解释为由诸如肌萎缩性侧索硬化症之类的运动障碍引起。
c.手指屈肌反射
在一些实施例中，手指屈肌反射的测试可以帮助确定在用户的上肢中反射亢进(过度活跃反射)的存在。可以通过用反射锤轻轻敲击手掌来测试手指屈肌。或者，可以通过测试霍夫曼征，通过使用户的中指松弛地保持并且向下轻弹该手指的指甲，这使得该手指稍微回弹到伸展状态，来确定在用户的上肢中是否存在加重的反射。如果观察到拇指在反应中弯曲并内收，则存在霍夫曼征。
霍夫曼征或者加重的手指屈肌反射可以被显示系统解释为指示存在影响手部的上运动神经元病变。
对于上述各种反射测试，在一些实施例中，反射的缺失可以被显示系统解释为由诸如格林-巴利综合征之类的神经系统障碍引起。此外，反射亢进的存在可以被显示系统解释为由诸如多发性硬化症之类的神经系统障碍引起。此外，痉挛(具有夸张的反射的僵硬肌肉)可以被显示系统解释为由诸如脑性麻痹、亨廷顿病和/或肌萎缩性侧索硬化症之类的运动障碍引起。
协调测试
在一些实施例中，可以利用对用户协调性的测试来识别神经系统异常。例如，可以使用协调测试来基于身体各个部位的协调测试结果来识别和隔离用户大脑的受伤部分。下面描述各种协调测试。与本文公开的其它测试一样，可以在反射表面的前面进行协调测试，并且可以通过捕获用户的映像的图像来确定测试的结果。
在一些实施例中，可以将从特定测试预期的正常协调动作投影为增强现实内容，使得用户或系统或第三方可以确定用户的动作是否与正常动作对齐并且还可以确定异常程度。可以定性和/或定量地(例如，通过用户所呈现的运动范围的定量测量)确定异常程度。例如，在基于已知常数(例如，用户的身高、用户的身体部位的大小、用户与在其上捕获用户图像的反射表面的距离等)计算关于用户的动作的各种参数时，可以通过分析用户的图像来获得定量测量。在一些实施例中，用户的动作可以与增强的正常动作进行比较并且在视觉历史比较中示出。在一些实施例中，可以对示出用户动作的增强现实内容进行颜色编码。例如，如果用户没有任何动作，则缺少动作的投射身体部位将是红色的，或者，如果用户的动作是正常的，则具有正常动作的投射身体部位将是绿色的。在一些实施例中，显示系统可以被配置为测量动作的时间和距离，以确定该动作的速度。例如，可以使用深度传感器确定用户距反射表面的距离，以通过允许关于如何缩放观察到的图像的数学确定来允许确定各种特征的尺寸。
在一些实施例中，可以执行附肢协调测试来确定用户是否患有小脑障碍，小脑障碍可能在使其它运动功能相对完整的情况下破坏协调或步态。
a.快速交替动作
在一些实施例中，可以指示用户执行快速交替动作。这种动作的一个示例包括用一只手的手掌和手背交替地擦拭另一只手的手掌。作为另一示例，显示系统可以被配置为显示增强现实内容，例如虚拟按钮，并且可以指示用户与该内容交互，例如轻击虚拟按钮。如果检测到快速重复的动作减缓，则显示系统可以被配置为将这样的结果解释为由诸如多发性硬化症之类的神经系统障碍引起。
b.精确手指轻敲
在一些实施例中，可以指示用户执行精确手指轻敲测试，其中由用户的手指进行手和脚的精细动作。这样的动作包括用用户的食指重复轻敲他们的拇指的一部分和/或与诸如一个或多个虚拟按钮之类的增强现实内容交互。
控制动作/做出精确动作的困难可以被显示系统解释为由诸如运动障碍性脑瘫和/或进行性肌肉萎缩之类的运动障碍引起。精细动作不协调/缺乏精细动作技能可被显示系统解释为由诸如运用障碍、肌萎缩性侧索硬化症和/或原发性侧索硬化症之类的运动障碍；诸如书写障碍和/或非语言学习障碍之类的学习障碍；诸如中毒(成瘾/酒精中毒)之类的行为障碍；和/或诸如胎儿酒精谱系障碍之类的发育障碍引起。
c.足跟-胫骨测试
在一些实施例中，可以指示用户执行足跟-胫骨测试，其中指示用户用一只脚的脚跟触及对侧膝盖，或诸如虚拟线之类的增强现实内容，然后沿着他们的胫骨前缘直线向下拖动脚跟，接着再向上拖动脚跟。
显示系统可以将执行足跟-胫骨测试的困难解释为由诸如多发性硬化症之类的神经系统紊乱引起。显示系统可以将大运动不协调/不能序列运动解释为由诸如运用障碍和/或肌萎缩性侧索硬化症之类的运动障碍；诸如后皮质萎缩之类的记忆障碍；和/或诸如中风和/或外伤性脑损伤之类的伤害引起。
应当理解，与本文公开的其它测试一样，可以在一段时间内定期执行足跟-胫骨测试，以允许执行测试结果的历史比较。协调性的变化可以被显示系统解释为由诸如唐氏综合征之类的发育障碍引起。
运动不能-强直综合征/运动缓慢启动可以被显示系统解释为由诸如亨廷顿病之类的运动障碍引起。应当理解，运动缓慢启动可以通过测量在用户的映像中看到的用户运动速度来确定。
d.手指-鼻子-手指测试
在一些实施例中，显示系统可以进行手指-鼻子-手指测试，其中要求用户尽可能快地交替地触摸他们的鼻子和临床医生的手指。优选地，临床医生的手指可以是向用户显示为增强现实内容的虚拟手指。
在一些实施例中，可以进行手指-鼻子-手指测试以确定用户是否患有共济失调。检测共济失调可包括在患者触及的极端处提供检查者的手指(其可以是真实的或虚拟的)，并且还偶尔将手指突然移动到不同的位置，同时指示用户触摸该手指。成功完成测试所需的动作的困难可以被显示系统解释为指示共济失调。
e.过冲测试
在一些实施例中，显示系统可以进行过冲测试(overshoottest)，其中指示用户将两臂从他们的膝盖突然升高到特定目标水平。应当理解，该特定目标水平可以由向用户显示为增强现实内容的虚拟标记指示。在一些实施例中，显示设备可以向用户显示交互式指令，以在进行过冲测试之前为用户选择适当的目标水平以抬起他们的手臂。
在一些其它实施例中，临床医生可以帮助进行测试。临床医生可用于提供与用户的物理接触。例如，临床医生可以向用户伸出的手臂施加压力然后突然释放它。在一些实施例中，临床医生可以在患者拇指的皱纹上绘制目标线，然后要求患者用食指尖重复触摸该目标线。
测试的可能结果是用户超过目标水平或目标线。显示系统可以被配置为将这种过冲解释为指示用户患有共济失调；这种过冲通常被理解为共济失调运动的一部分，并且可以在面向目标的运动的背景下被称为指点过位。
f.闭目直立测试
在一些实施例中，显示系统可以进行闭目直立(romberg)测试，其中指示用户将他们的脚站在一起并彼此接触，然后闭上他们的眼睛。应当理解，当用户的眼睛睁开时，用户可以使用三个感觉系统向小脑提供输入：即，视觉系统、本体感觉系统和前庭系统，从而维持躯干稳定性。如果前庭或本体感觉系统中存在轻微病变，则用户可以睁开眼睛进行补偿。然而，当用户的眼睛闭合时，来自视觉系统的输入被移除，用户的身体可能表现出不稳定性。更严重的本体感觉或前庭病变或中线小脑病变可能使用户即使睁开眼睛也不能保持其位置和稳定性。此外，神经系统其它部分(包括上或下运动神经元或基底神经节)的病变也可能导致用户位置的不稳定。在一些实施例中，显示系统可以被配置为在用户不稳定并且可能存在用户跌倒的风险的情况下提供警告(例如，可听警告)。可以通过对反射表面中的用户映像进行成像并确定用户的动作量来确定用户的稳定性。另外，imu和/或加速度计和/或头部姿势确定可用于检测用户的动作和/或取向以确认用户不稳定性的初步结论。
用户的不稳定性可以被显示系统解释为指示各种状况。例如，执行需要协调的任务时的异常动作，以及中到大幅度的无意识动作(具有叠加在正常平滑动作上并干扰正常平滑动作的不规则振荡性)可以被显示系统解释为指示共济失调。附肢共济失调影响四肢的动作，并且可以被显示系统解释为由小脑半球和相关通路的病变引起。躯干共济失调影响近端肌肉组织(特别是与步态稳定性相关的肌肉组织)，并且可以被显示系统解释为由小脑蚓部和相关通路的中线损伤引起。轮替运动障碍(异常交替运动)可以被显示系统解释为由诸如多发性硬化症之类的神经系统障碍；和/或诸如共济失调之类的运动障碍引起。共济失调本身可以被显示系统解释为由诸如多发性硬化症之类的神经系统障碍；诸如急性脱髓鞘视神经炎、线粒体视神经病变(遗传)之类的视神经病变；诸如脑性麻痹之类的运动障碍；和/或诸如克雅氏病之类的记忆障碍引起。辨距不良或不协调的症状可以被显示系统解释为由诸如多发性硬化症之类的神经系统障碍；诸如共济失调、共济失调脑性麻痹、运用障碍、亨廷顿病和/或运动神经元病之类的运动障碍；诸如额颞痴呆之类的记忆障碍；和/或诸如脑积水之类的伤害引起。笨拙可以被显示系统解释为由诸如运用障碍之类的运动障碍；诸如非语言学习障碍之类的学习障碍；和/或诸如胎儿酒精谱系障碍之类的发育障碍引起。
g.治疗
在一些实施例中，一旦检测到缺陷，显示系统便可以被配置为通过提供视觉目标来帮助用户对准他们的动作并改善他们的运动技能。例如，显示系统可以被配置为通过显示引导用户手指的动作的增强现实内容来训练精细运动技能，例如，弹奏真实或虚拟钢琴。在用户具有精细运动技能的困难的情况下，显示系统可以被配置为增加虚拟按钮的大小以便于用户使用那些按钮。在一些实施例中，显示系统可以被配置为在一表面上显示增强现实内容(例如，钢琴键)，同时对反射表面中的用户动作的映像进行成像。例如，显示系统可以被配置为允许钢琴家在虚拟键盘上练习，同时还捕获在映像中钢琴家的视图，因为观众成员将观看它们。
步态
在一些实施例中，可以利用对用户步态的测试来识别神经系统异常。例如，对大脑某些区域的损伤可能表现为步态不对称或不稳定。通过评估用户的姿势、平衡和步态，可以确定大脑的受损区域。
在一些实施例中，显示系统可以被配置为向用户显示交互指令以根据各种测试的需要在反射表面的前面移动，如下面进一步讨论的。显示系统还可以被配置为对观看者的映像进行成像以分析他们的步态。增强的正常步态可以覆盖用户的映像以帮助用户理解期望的运动和/或允许用户观察其步态的异常或变化的水平。在一些实施例中，可以要求用户走向虚拟对象，然后虚拟对象通过被显示在离用户越来越近的深度平面上而看起来越来越靠近用户。另外，在一些实施例中，可以使用其它传感器证实异常步态的结论。例如，imu和/或加速度计和/或头部姿势确定可用于确认异常步态。例如，应当理解，当人以正常步态行走时，他们的头部和身高以正弦波移动或“摆动”，并且可以用imu、加速度计和/或头部姿势传感器检测该摆动。异常波(例如，非正弦波)可以指示异常步态。因此，显示系统可以被配置为将异常波解释为对基于用户步态的图像的分析而确定的异常步态的初步结论的确认。
在一些实施例中，可以将特定测试中预期的正常步态投影为增强现实内容，使得用户或系统或第三方可以确定用户的步态是否与正常步态对齐并且还可以确定异常程度。可以定性和/或定量地(例如，通过由用户呈现的运动范围的定量测量)确定异常程度。例如，在基于已知常数(例如，用户的身高、用户的身体部位大小、用户与在其上捕获用户图像的反射表面的距离等)计算关于用户的动作的各种参数时，可以通过分析用户的图像来获得定量测量。在一些实施例中，用户的步态可以与增强的正常步态进行比较并且在视觉历史比较中示出。在一些实施例中，可以对示出用户步态的增强现实内容进行颜色编码。例如，如果用户没有任何动作或异常步态，则用户步态的投射图像可以是红色的，或者，如果用户的动作是正常的，则示出正常动作的投影图像将是绿色的。在一些实施例中，显示系统可以被配置为测量动作的时间和距离，以确定该动作的速度(例如，用户脚的速度)。例如，可以使用深度传感器确定用户距反射表面的距离，以通过允许关于如何缩放观察到的图像的数学确定来允许确定各种特征的尺寸。
a.踵趾步态
在一些实施例中，可以指示用户沿直线行走，同时在每一步让一只脚的脚跟触及另一只脚的脚趾。具有各种神经系统异常的用户可能难以完成此任务。例如，具有由小脑蚓部或相关通路的损伤引起的躯干性共济失调的用户可能发现这项任务具有挑战性，因为他们通常具有不稳定的宽底式步态。踵趾步态测试所要求的保持其双脚相互靠近可能会使这些用户变得不稳定。
显示系统可以被配置为如下解释在踵趾步态测试中的用户表现。共济失调(不稳定行走)可以被显示系统解释为由诸如急性播散性脑脊髓炎、格林-巴利综合征、多发性硬化和/或ii型脊髓性肌萎缩之类的神经系统障碍；和/或诸如皮质基底变性和/或血管性痴呆之类的记忆障碍引起。不良平衡/摔倒可以被显示系统解释为由诸如癫痫和/或多发性硬化引起之类的神经系统障碍；诸如共济失调脑性麻痹、运用障碍、原发性侧索硬化症和/或帕金森病之类的运动障碍；诸如皮质基底变性、路易体痴呆和/或进行性核上性麻痹之类的记忆障碍；诸如中毒(成瘾/酒精中毒)之类的行为障碍；和/或诸如中风之类的伤害引起。姿势不稳定可以被显示系统解释为由诸如共济失调、肌肉张力障碍和/或亨廷顿病之类的运动障碍引起。强直姿势可以被显示系统解释为由诸如克雅氏病之类的记忆障碍引起。异常姿势可以被显示系统解释为由诸如先天性脊髓性肌萎缩伴关节挛缩和/或帕金森病之类的运动障碍；和/或诸如路易体痴呆之类的记忆障碍引起。
b.强迫步态
在一些实施例中，可以指示用户用他们的脚跟、脚趾、或脚的内侧或外侧行走，用一条腿站立或跳跃，或者走上一段楼梯。可以利用这种强制步态测试来确定细微步态异常或不对称的存在。
显示系统可以被配置为如下解释在强制步态测试中的用户表现。当用户能够在躺下的情况下正常地执行步态所需的所有动作，但是不能在站立位置行走时，显示系统可以被配置为确定用户患有步态失用症。显示系统还可以被配置为将步态失用症的存在解释为指示用户中的额叶紊乱或正常压力性脑积水。另外，用户行走困难可以被显示系统解释为由诸如脑性麻痹和/或运动神经元疾病之类的运动障碍；诸如额颞痴呆和/或血管性痴呆之类的记忆障碍；诸如胎儿酒精谱系障碍之类的发育障碍；和/或诸如脑瘤之类的损伤引起。步态异常(例如用脚趾行走、蹲伏步态、剪刀样步态和/或拖曳步态)可以被显示系统解释为由诸如脑性麻痹、iii型脊髓性肌萎缩和/或帕金森病之类的运动障碍；诸如路易体痴呆和/或进行性核上性麻痹之类的记忆障碍；和/或诸如脑积水之类的损伤引起。步态的变化可以被显示系统解释为由诸如克雅氏病之类的记忆障碍；和/或诸如唐氏综合征之类的发育障碍引起。用户步态僵化可以被显示系统解释为由诸如帕金森病之类的运动障碍引起。
在一些实施例中，显示系统可以显示诸如闪烁光的视觉提示以帮助用户重新开始其步态。这种闪烁光可用于帮助进行测试和/或作为帮助用户行走的治疗辅助。
c.治疗
在一些实施例中，一旦确定用户具有异常步态，显示系统便可以被配置为提供用于帮助用户以更正常的步态移动的辅助。例如，显示系统可以被配置为以水平线的形式提供增强现实内容(例如，作为交互式游戏的一部分或作为助行器)和/或在用户前方显示焦点，以鼓励用户沿直线移动。在一些实施例中，显示系统可以被配置为显示与用户步子的期望位置相对应的虚拟目标(例如，虚拟圆圈)，以鼓励用户采取正常长度的步幅。可选地，显示系统可以被配置为仅在映像中显示虚拟目标，以阻止用户向下看他们的脚。在一些实施例中，可以使用显示系统的面向内的相机来确定用户的注视方向，并且显示系统可以被配置为当其检测到用户的注视为向下朝向他们的脚时停止显示内容或者改变内容。在一些实施例中，可以使用加速度计来确定用户头部的取向(包括用户头部所指向的方向)，并且显示系统可以被配置为当其检测到用户的头部指向下方时停止显示内容或者改变内容。应当理解，诸如帕金森病之类的一些状况可能导致用户迈步较短，提供步幅长度目标可以帮助这些用户以更正常的步态行走。
运动分析/模拟
在一些实施例中，显示系统可以被配置为进行运动分析和/或运动模拟。例如，如本文所公开的，显示系统可以被配置为监视和测量用户的步态和运动范围。另外，因为显示系统可以知道关于用户的身高和/或用户的各个部位的测量值，并且因为显示系统可以被配置为测量用户与反射表面之间的距离，所以可以基于对所捕获的用户图像的分析来确定关于用户的步态和/或运动范围的定量测量。
在一些实施例中，显示系统可以被配置为分析用户的映像中的身体位置并基于该位置推断身体的运动。例如，显示系统可以被配置为对在镜子前面挥动高尔夫球杆的用户进行成像。基于用户身体的位置，显示系统可以被配置为确定高尔夫球杆的预期路径，以提供对用户的挥杆效率和/或与高尔夫球杆期望路径的任何未对准的分析。
在一些实施例中，显示系统可以被配置为以交互式游戏的形式向用户提供治疗。例如，显示系统可以被配置为以交互式游戏内容的形式向从中风中恢复的用户提供增强现实内容。例如，该交互式游戏可以是拳击游戏以鼓励用户肢体的运动。有利地，通过创建交互式游戏，用户更可能成功地恢复运动范围，因为他们会更多地参与涉及游戏的治疗。例如，游戏可以包括让用户得分和/或与其他用户竞争的机会，这两者都可以鼓励更多地参与游戏。另外，显示系统可以被配置为显示目标和用户朝着这些目标的进展，以鼓励进一步参与游戏。例如，显示系统可以被配置为对用户的运动进行成像，从而跟踪他们的运动范围，并向用户提供他们与目标运动范围有多近的指示。
在一些实施例中，显示系统可以被配置为显示虚拟肢体，例如手臂。即使在用户的实际肢体可能未到达目标的情况下，虚拟肢体也可以被示出为到达期望目标。不受理论的限制，据信通过看到虚拟臂击中目标，在重新激活神经放电和增加运动范围方面可能出现更大的成功率。
在例如肢体可能受到肢体或相关结构的物理缺陷的限制的一些实施例中，显示系统可以配备有eeg传感器(例如，可以与用户接触的电极)。脑电波可以通过该eeg传感器而被检测到并且被显示系统解释为指示特定运动。因此，可以通过由eeg传感器检测到的脑电波来提供对虚拟肢体的控制。因此，即使在用户的实际肢体可能具有有限的运动的情况下，虚拟肢体也具有全范围的运动，这与用户大脑的期望相对应。
阅读障碍
患有阅读障碍的用户可能难以区分对象和该对象的镜像。不受理论的限制，据信这种困难可能是由于抑制或激活镜像神经元的问题引起的，这导致难以区分手性图像。
应当理解，神经元受到抑制或激活神经元的放电的神经递质的控制。“镜像神经元”耦合或放电以影响其它神经元并可能模仿这些其它神经元。镜像神经元的效果的一个示例是幻肢痛，其中视觉刺激与体细胞输入相链接，使得即使当视觉输入不存在时，镜像神经元仍然被链接，并且体验到疼痛。
镜像神经元还可以在区分手性对象中起作用。手性对象的示例包括人的左手和右手。镜像神经元允许个体理解这些手性对象是相同的对象，但只是彼此的镜像。例如，如果用户要看他/她自己的照片然后再看他/她自己在镜子中的映像，则这两个图像将是彼此的镜像。通常，用户的镜像神经元能够接受来自镜子和照片的视觉输入，并且破译他们两者都是用户，因为他们被了解到通过感知/动作耦合被链接在一起作为同一用户。然而，用户也能够区分这些图像并理解这些图像不完全相同。然而，患有阅读障碍的用户可能不能做出这种区分；也就是说，这些用户可以理解这些图像是同一对象的图像，但不能理解图像本身是不同的。
在一些实施例中，显示系统可以被配置为诊断和/或治疗阅读障碍。有利地，如本文所述，显示系统可以被配置为显示虚拟对象和该对象的反射图像。显示系统可以被配置为接着提示用户指示反射图像和真实图像是相同的还是不同的。指示图像相同的用户响应可以被显示系统解释为指示该用户具有阅读障碍。然后，显示系统可以被配置为向该用户和/或第三方(例如临床医生)提供该诊断结论。
在一些实施例中，显示系统可以被配置为治疗阅读障碍。例如，显示系统可以被配置为显示具有识别信息的对象的真实图像和镜像，以向用户教授这些图像之间的差异。在一些实施例中，虚拟内容的真实视图和反转视图二者都可以被示为三维对象，并且可以被旋转以向用户教授对象的不同视图之间的差异。
身体妄想症
身体妄想症是这样一种病症：其中，患者否认拥有其身体的一部分(其身体的“受累部(affectedpart)”)，例如肢体或其身体的一侧。对身体妄想症的一种治疗是镜疗法，其中患者在镜子中看他们自己。患者观察到受累部是他们身体的一部分，从而建立对受累部的拥有。
在一些实施例中，框710(图12)包括显示增强现实内容以强化对受累部的拥有。例如，显示系统可以被提供有受累部的知识，例如作为显示系统可访问的数据库的一部分，并且可以被配置为搜索数据库以确定用户是否具有受累部。在确定存在受累部后，显示系统可以被配置为分析所捕获的映像图像以确定该受累部的存在和位置，并随后突出显示或以其它方式识别该受累部。这种突出显示可以包括，例如，通过在受累部上覆盖带颜色的内容或者显示覆盖受累部映像的其它图像而改变受累部的颜色或其它可见特性。在一些实施例中，作为显示内容以突出受累部的补充或替代，可以指示用户使用受累部执行各种动作。例如，显示系统可以被配置为通过显示指令和/或通过提供可听指令(例如，经由扬声器66)来指示用户执行各种动作。
在一些实施例中，显示系统可以被配置为用作“真实镜子”，其中用户的虚拟映像不被反转，如在普通镜子中将发生的那样。例如，显示系统可以被配置为在向用户显示反转的图像之前对用户的映像进行成像并反转该映像。值得注意的是，用户的映像的反转图像将被用户视为非反转图像或虚拟真镜映像。在一些实施例中，虚拟真镜映像可以覆盖并取代实际映像。在一些其它实施例中，虚拟真镜映像被显示为邻近但不阻挡实际映像。因此，用户可以具有他们自己的两个视图，这可以提供进一步强化用户对受累部的拥有的优点。
应当理解，虽然有利地被应用于治疗身体妄想症，但是显示系统可以被配置为在其它环境(context)中显示虚拟真镜映像。实际上，作为反转用户的映像的补充或替代，显示系统可以被配置为通过旋转、翻转/镜像、裁剪、改变形状和/或改变反射特征的尺寸来修改在映像中用户的外观和/或其它对象的外观。
如上所述，许多测试可涉及向用户提供执行特定任务或动作的指令。在一些实施例中，这些指令中的任何指令可以作为增强现实内容由显示系统向用户显示和/或可听地被传送。有利地，除非测试试图确定用户对可听的或基于文本的指令的理解，否则给用户的指令可以包括对所需任务或动作的演示以便于正确地执行该测试。
应当理解，本文公开的测试中的许多测试利用用户的图像作为输入以执行分析。这些分析中的许多分析依赖于执行特定动作、采取特定位置、仅提供其身体的特定部分的视图等的用户的图像。还将理解，当用户开始一天的生活时，他们可以执行动作、采取一位置或提供他们的身体的视图，以允许在适当的图像可用时执行分析。有利地，显示系统可以被配置为从用户的映像中被动地收集图像信息，以便以不引人注意的方式执行各种分析而无需提示用户执行动作、采取某位置、提供其身体的期望视图、或参与其它对于测试特定的动作。该图像信息可以采用例如静止图像、视频或它们的组合的形式。此外，静止图像或视频还可以包括环境数据(例如，日期、温度、环境噪声、照明条件、与镜子的距离等)或包括到环境数据的链接，这对于为静止图像或视频提供上下文是有用的。
在一些实施例中，图像信息可以被连续地存储，且然后被分析。例如，可以连续地收集来自显示系统的面向外的相机的图像信息，并且可以在收集该图像信息之后执行是否已经捕获映像的确定。在一些其它实施例中，在收集图像信息之前执行是否存在映像的确定。然而，在任一种情况下，显示系统可以被配置为在收集图像信息时执行对该信息的分析，以确定所收集的图像是否提供与一个或多个分析(例如，本文公开的用户健康分析)相关的数据。如果确定图像中存在适当的数据，则显示系统可以被配置为然后执行相关联的分析。在一些其它实施例中，分析和/或确定是否存在适当数据可以在稍后的时间进行(例如，以预设间隔进行，例如在晚上或用户可以不使用显示系统的其它时间，和/或响应于来自用户的特定输入而执行一个或多个分析)。优选地，图像信息的收集在用户穿戴着显示系统期间是连续的，而对是否存在适当的数据的分析和/或确定是间歇地或偶尔地执行，例如根据预设的时间表和/或用户或其它方的输入执行。
有利地，这些分析可以随时间连续地进行，例如，可以在数小时、数天、数周、数月或甚至数年的跨度内多次进行特定分析。因此，在做出关于特定分析的结论之前，可以获得并分析大数据集。相对于仅在单个时间点获得的数据的单个分析，这样大的数据集可以提高根据分析得出的结论的可靠性和水平置信度。
此外，还可以通过对收集的图像的历史分析来获得长期趋势。因此，可以确定当前状况和关于这些当前状况的趋势，这可以提供用于确定更具体地针对特定用户定制的未来趋势的数据。例如，在达到特定的症状阈值之前，某些状况可能不会变得明显，并且传统上很难在发现状况之前分析用户的状态，因为与该状况相关的先前数据集通常不会由临床医生获得，因为之前不理解这些数据集的相关性。图像信息的被动地收集和存储有利地为显示系统提供了及时回溯以在较早时间点进行对用户的分析的能力。因此，可以确定对状况进展的更准确的理解。另外，不是根据一般人群的标准推断，而是可以确定针对一用户的状况的变化速度，从而提供用于更准确地预测状况进展的信息。
应当理解，本文公开的任何测试可以有利地使用被动地收集的图像信息。下面说明被动地收集的图像信息的使用的各种非限制性示例。
·显示系统可以被配置为分析用户面部的映像的图像以检测面部(包括面部表情和面部肌肉的自发运动)中的不对称性的存在。
·图像信息可包括诸如语音之类的环境噪声。在一些实施例中，显示系统可以被配置为识别指向用户的语音并确定用户是否根据该语音做出响应。未能响应可以被解释为指示cnviii中可能的异常。
·在图像信息包括在床上的用户的映像的图像且检测到眼球震颤的情况下，显示系统可以被配置为警告用户进行额外的前庭测试。
·显示系统可以配置为针对类似的任务跟踪用户的运动范围。例如，显示系统可以被配置为跟踪用户移动各种肌肉的能力，该能力由诸如以下动作的各种动作证明：耸肩、转动头部、在特定运动中做出各种动作等。从用户的历史标准的偏离可以被显示系统解释为指示控制各种运动所涉及的肌肉的神经出现异常。例如，许多运动利用快速交替动作，这些动作的减慢可以指示神经系统障碍，例如多发性硬化症。一旦检测到这些可能的异常，显示系统可以被配置为提示用户或另一实体进行额外的分析。
·如本文所公开的，可以分析其中用户伸出其舌头(例如，对笑话做出反应、舔冰淇淋蛋卷筒时等)的图像以查找cnxii异常。
·用户身体不同侧上的不均匀/不对称肌肉发育可以被显示系统解释为对用户身体的一侧的偏好。显示系统可以被配置为进一步将这种对一侧的偏好解释为指示运动或神经系统障碍，然后提示用户或另一实体进行额外的分析。
·如本文所公开的，一些映像的图像可以示出用户拇指的重复轻敲，这可以提供类似于作为协调测试的一部分执行的精确手指轻敲测试的数据。
·一些映像的图像可以示出用户手臂从其膝盖突然抬起，这可以提供类似于执行过冲测试的数据。
·可以分析示出行走中的用户的映像的图像以进行步态测试。
如本文所公开的，显示系统优选地提供适当的调节-聚散度匹配并且可以在多个深度平面上显示内容，这可以便于穿戴着显示系统时的长期舒适性。因此，即使在没有具体执行特定测试或分析的情况下，用户也可以长时间穿戴着显示系统。这种长期穿戴有利地允许显示系统连续地收集用户周围环境(包括用户的映像)的大量图像集。
在本文公开的许多分析中，在用户的较新图像与用户的较早图像之间进行比较。对于所有这样的分析，显示系统可以被配置为向用户显示较早的图像，以向用户提供比较的基础。这种较早的图像可以为用户提供理解用户随时间的变化量(状况的改善或恶化)的基础。在一些其它实施例中，对于这些分析中的任一者，显示系统的处理器可以被配置为基于较早的图像或数据以及较新的图像或数据简单地进行比较，而不向用户显示任何较早的图像。
在本文公开的分析中，显示系统可以被配置为通过对用户的映像进行成像(例如，使用面向外的相机)来收集关于用户的数据。例如，显示系统可以被配置为在用户响应于进行特定测试的指令而正在执行特定任务或动作时，对用户的映像进行成像。应当理解，对于本文公开的所有分析，显示系统可以被配置为做出关于分析结果的初步结论。该初步结论可以包括确定存在一个或多个可能的状况，并且可以提供用户具有一个或多个可能的状况的概率。初步结论和/或任何相关概率可以作为增强现实内容和/或可听通知提供给观看者。显示系统还可以被配置为提供用户跟进的建议和/或通过将信息转发给临床医生来自动发起跟进。在一些其它实施例中，显示系统被配置为不进行任何确定并且简单地将图像发送给临床医生和/或另一计算机系统以进行进一步的分析和结论确定。在另一些其它实施例中，显示系统可以被配置为既做出初步结论也将用户的图像发送给临床医生和/或其它计算机系统以进行进一步分析。
一些分析可能要求用户提供输入，例如关于他们是否感觉到刺激、体验到状况等的输入。对于本文公开的任何分析，输入可以采取用户动作(例如，举起一只手或两只手)、虚拟菜单项选择、说出的词或短语等的形式。
在上述各种实施例中，显示系统可以被配置为做出关于用户是否表现出某些身体症状(如在映像中所看到的)的确定。例如，系统可以被配置为确定用户是否表现出震颤、缓慢动作、强直和姿势不稳定。如本文所述，可以通过分析由显示系统的面向外的相机捕获的用户的映像的图像来进行这样的确定。在一些实施例中，可以使用其它传感器来验证关于用户动作的这种基于图像的确定。例如，可以利用加速度计或imu来确认用户动作(例如，震颤、缓慢动作、强直和/或姿势不稳定)的发生。在一些实施例中，对映像的分析和对特定类型的身体动作(例如，异常动作)的初始确定可以启动协议，在该协议中，分析来自其它传感器的数据以验证初始确定。在一些其它实施例中，首先分析来自其它传感器的数据以确定用户是否表现出特定类型的身体动作，然后可以分析用户的映像的图像以确定所述身体动作是否是可观察的并且由此验证由其它传感器提供的初步结论。在一些实施例中，显示系统可以被配置为基于其它传感器关于发生特定类型的动作的初始结论来提示用户前进到反射表面。然后，显示系统可以被配置为捕获用户的映像的图像并分析图像以确定这些类型的动作是否确实发生，从而验证初始结论是否正确。另外，应当理解，可以通过检测用户身体的部位的动作和/或通过检测与用户身体接触的对象(例如，诸如由用户保持的发刷或牙刷之类的对象)的移动来做出基于所捕获的图像对动作的发生的确定。例如，发刷移动中的震颤可以被显示系统解释为指示用户手部的震颤。
在本文公开的各种实施例中，显示系统可以被配置为做出关于用户或第三方的外观和/或动作是否可以被认为是异常的确定。例如，显示系统可以被配置为确定动作、面部特征和/或其它身体特征是否异常。在一些实施例中，可以在用户或第三方的成像的映像与已建立的基准或标准之间进行所有这些比较。应当理解，这些标准可以对应于从群体的数据得出的平均值或其它度量。在一些实施例中，可以基于在被配置为共享信息(包括关于其用户的映像的数据)的多个显示系统之间的共享数据来确定标准。另外，在一些实施例中，显示系统可以具有关于用户的人口统计信息，这可以允许用户进一步被组织到各种子群体中，每个子群体具有它们自己的标准或平均值。因此，给定由多个显示系统捕获的映像的数量，显示系统可以被配置为提供关于用户动作和身体特征的各种参数的平均值。可以基于整体群体来确定平均值，或者可以针对由各种人口统计参数(例如，年龄、性别、祖籍国等)定义的子群体来确定平均值。因此，可以基于与这些平均值的比较来确定用户与各种标准的偏差。
对于本文中其中利用用户图像的任何分析，应当理解，可以使用用户的显示系统上的面向外的相机来获得图像。在一些其它实施例中，可以由第二用户的显示系统在第一用户的映像中检测第一用户的图像，该第一用户的映像是由第二用户的显示系统的面向外的相机观察到的。如本文所讨论的，第一和第二用户的显示系统可以被配置为共享信息，诸如所获得的另一用户的图像。
应当理解，对于本文公开的所有分析，显示系统可以被配置为做出关于分析结果的初步结论。该初步结论可以包括对一个或多个可能的状况的存在的确定，并且可以提供用户具有一个或多个可能的状况的概率。在一些其它实施例中，显示系统被配置为不做出任何确定，而是简单地将图像发送到临床医生和/或另一计算机系统以进行进一步的分析和结论确定。在另外的其它实施例中，显示系统可以被配置为既做出初步结论也将用户的图像发送给临床医生和/或其它计算机系统以进行进一步分析。
还应当理解，显示系统可以被配置为通过捕获一个或多个波长的电磁辐射来捕获映像的图像。优选地，该电磁辐射包括可见光。电磁辐射的其它非限制性示例包括红外光和紫外光。在一些实施例中，显示系统可以捕获(例如，使用图1b的面向外的相机65)多种类型的电磁辐射(例如，可见光、红外光或紫外光中的两者或更多者)以对映像进行成像。显示系统可以被配置为评估通过不同类型的电磁辐射形成的图像，以用于不同类型的分析。例如，可以分析可见光图像以检测用户面部上的表面异常，同时可以利用红外光图像来检测皮肤表面下方的异常。
用于检测周围环境中的映像和对象的计算机视觉
如上所述，显示系统可以被配置为检测用户周围的环境中的映像和/或对象。如本文所讨论的，可以使用各种技术，包括各种环境传感器(例如，相机和/或音频传感器)，来完成检测。
在一些实施例中，可以使用计算机视觉技术检测环境中存在的刺激。例如，如本文所公开的，显示系统的前向相机可以被配置为对周围环境进行成像，并且显示系统可以被配置为对图像执行图像分析以确定各种特征(例如映像)在周围环境中的存在。显示系统可以分析由面向外的成像系统获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计或图像恢复等。作为其它示例，显示系统可以被配置为执行面部和/或眼睛识别以确定面部和/或人眼在用户视野中的存在和位置。可以使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(sift)、加速鲁棒特征(surf)、定向fast和旋转brief(orb)、二进制鲁棒不变可扩展关键点(brisk)、快速视网膜关键点(freak)、viola-jones算法、特征脸方法、lucas-kanade算法、horn-schunk算法，均值漂移(mean-shift)算法、视觉同步定位与地图构建(vslam)技术、序列贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundleadjustment)、自适应阈值分割(和其它阈值分割技术)、迭代最近点(icp)、半全局匹配(sgm)、半全局块匹配(sgbm)、特征点直方图、各种机器学习算法(例如，支持向量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)或其它有监督/无监督模型等)等等。
这些计算机视觉技术中的一者或多者也可以与从其它环境传感器(例如，麦克风)获取的数据一起使用，以检测和确定由传感器检测到的对象和/或映像的各种特性。
如本文所讨论的，可以基于一个或多个标准检测周围环境中的映像或对象。当显示系统使用计算机视觉算法或使用从一个或多个传感器组件(其可以是或可以不是显示系统的一部分)接收的数据来检测周围环境中是否存在标准时，显示系统可以然后发信号通知映像和/或对象的存在。
附加地或替代地，显示系统可以基于用户的行为(或一组用户的行为)学习识别环境中的映像和/或对象的存在。例如，显示系统可以通过将用户或用户组的某些动作或行为与周围环境中存在的某些对象进行关联并且使用该关联预测映像和/或对象是否存在，来学习识别环境中的映像和/或对象的存在。
机器学习
可以使用各种机器学习算法来学习识别映像和/或对象的存在。一旦经过训练，机器学习算法便可以由显示系统存储。机器学习算法的一些示例可以包括有监督或无监督的机器学习算法，包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习向量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)，关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔兹曼机、或深度神经网络)、降维算法(例如，主成分分析)、集成算法(例如，堆叠泛化)和/或其它机器学习算法。在一些实施例中，可以针对各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基础模型。基础模型可以用作起点以生成特定于数据类型(例如，特定用户)、数据集(例如，所获得的附加图像集)、条件状况或其它变体的附加模型。在一些实施例中，显示系统可以被配置为利用多种技术来生成用于分析聚合数据的模型。其它技术可包括使用预定义的阈值或数据值。
用于检测映像和/或对象的标准可以包括一个或多个阈值条件。如果由环境传感器获取的数据的分析指示通过了阈值条件，则显示系统可以提供指示检测到周围环境中映像和/或对象的存在的信号。阈值条件可以涉及定量和/或定性度量。例如，阈值条件可以包括与环境中存在的映像和/或对象的可能性相关联的分数或百分比。显示系统可以将根据环境传感器数据计算的分数与阈值分数进行比较。如果分数高于阈值水平，则显示系统可以检测到映像和/或对象的存在。在一些其它实施例中，如果得分低于阈值，则显示系统可以用信号通知环境中映像和/或对象的存在。在一些实施例中，可以基于用户的情绪状态和/或用户与周围环境的交互来确定阈值条件。
在一些实施例中，阈值条件、机器学习算法或计算机视觉算法可以专用于特定环境。例如，在零售环境中，计算机视觉算法可以专用于检测对映像和/或对象的特定响应。作为另一示例，显示系统可以执行面部识别算法和/或事件跟踪算法以感测用户对映像和/或对象的反应。
其它考虑事项
如本文所述，本文中描述和/或在附图中示出的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、应用专用电路和/或被配置为执行特定和特殊的计算机指令的电子硬件所执行的代码模块中并且完全或部分地由该代码模块自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施例中，特定操作和方法可以由专用于给定功能的电路来执行。
此外，本公开的功能的某些实施例在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或为了基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体地编程的计算机硬件对于处理视频数据是必需的以在商业上合理的时间量内提供期望的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(ram)、只读存储器(rom)、光盘、易失性或非易失性存储器、其组合和/或类似物。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(70)、远程处理模块(72)和远程数据储存库(74)中的一者或多者的一部分。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和有线/基于线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的方法或方法步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质来通信。
本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，代码包括一个或多个可执行指令以实现特定功能(例如，逻辑或算术)或方法中的步骤。各种方法、框、状态、步骤或功能可以与本文提供的说明性示例相组合，重新排列，添加，删除，修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的功能中的一些或全部。这里描述的方法和过程也不限于任何特定的序列，并且与其相关的块、步骤或状态可以以适当的其他序列来执行，例如串行、并行或以某种其他方式。可以向所公开的示例性实施例添加任务或事件或者从中移除任务或事件。此外，这里描述的实现中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施例中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。
还应理解，本文描述了本发明的各种示例性实施例。以非限制性的意义参考这些示例。提供它们以说明本发明的更广泛适用的方面。在不脱离本发明的真实精神和范围的情况下，可对所描述的本发明进行各种改变并且可替换等同物。
例如，尽管有利地与在多个深度平面上提供图像的ar显示器一起使用，但是本文公开的增强现实内容也可以由在单个深度平面上提供图像的系统显示。
还应当理解，本文公开的各种警报可以包括文本、可听信号、闪烁框和触觉反馈中的一者或多者。
此外，可进行许多修改以使特定情况、材料、物质组成、处理、处理动作或步骤适应于本发明的目的、精神或范围。此外，如本领域技术人员将理解的，本文所描述和示出的每个单独变体具有离散的部件和特征，其可容易地与任何其它几个实施例的特征分离或组合，而不脱离本发明的范围或精神。所有此类修改旨在在与本公开相关联的权利要求的范围内。
本发明包括可使用本发明装置执行的方法。该方法可包括提供此合适装置的动作。此类提供可由用户来执行。换句话说，“提供”行为仅要求最终用户获得、访问、接近、定位、设置、激活、通电或以其它方式动作以在本主题方法中提供必要的装置。本文所述的方法可以以所述事件的逻辑上可能的任何顺序进行，以及以所述事件顺序进行。
上面已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。关于本发明的其它细节，可结合上述引用的专利和出版物以及本领域技术人员通常已知或了解的那些来理解这些细节。就通常或逻辑上采用的附加动作而言，这同样适用于本发明的基于方法的方面。
另外，尽管已经参考可选地并入各种特征的若干示例描述了本发明，但是本发明不限于关于本发明的每个变体所描述或指示设想的那些。可对所描述的本发明进行各种改变，并且在不脱离本发明的真实精神和范围的情况下，可替换等同物(无论是否在本文中列出或者为了简洁考虑，未被包含在本文中)。此外，应理解，在提供值的范围的情况下，在该范围的上限和下限之间的每个中间值以及在所述范围内的任何其它陈述的或中间的值涵盖在本发明内。
而且，预期所描述的本发明变体的任何可选特征可独立地或与本文所述的任何一或多个特征组合地阐述和要求保护。提及单数物品时，包括存在多个相同物品的可能性。更具体地，如本文和与其相关的权利要求中所使用的，除非另有明确说明，否则单数形式“一”、“一个”、“所述”和“该”包括复数指代。换句话说，这些冠词的使用允许在上述描述中以及与本公开相关联的权利要求中的主题物品的“至少一个”。还应注意，可撰写此类权利要求以排除任何可选元素。因此，本声明旨在用作与权利要求要素的叙述有关的诸如“单独”、“仅”等排他性术语或使用“否定”限制的前提基础。
在不使用此排他性术语的情况下，与本公开相关联的权利要求中的术语“包括”将允许包括任何附加元素，而不管在此类权利要求中是否列举了给定数量的元素，或者特征的添加可以被认为是对这些权利要求中提出的元素的性质的改变。除了本文具体定义之外，本文所使用的所有技术和科学术语应以尽可能广泛的通常理解的含义给出，同时保持权利要求的有效性。
本发明的广度不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围限定。
- 还没有人留言评论。精彩留言会获得点赞！