由人触发的全息提醒的制作方法
【专利说明】由人触发的全息提醒
【背景技术】
[0001] 增强现实（AR)涉及提供经增强的真实世界环境，其中用计算机生成的虚拟数据 来增强或修改对真实世界环境（或表示真实世界环境的数据）的感知。例如，可使用诸如 相机或话筒等传感输入设备实时地捕捉表示真实世界环境的数据，并用包括虚拟图像和虚 拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与真实世界环境有关的 信息，诸如与真实世界环境中的真实世界对象相关联的文本描述。一些AR环境内的对象可 包括真实对象（即，存在于特定的真实世界环境中的对象）和虚拟对象（即，不存在于特定 的真实世界环境中的对象）。
[0002] 为了将虚拟对象逼真地集成到AR环境中，AR系统通常执行包括映射和本地化的 若干任务。映射涉及生成真实世界环境的映射的过程。本地化涉及相对于真实世界环境的 映射来定位特定的视角或姿势的过程。在一些情况下，AR系统可实时本地化在真实世界环 境内移动的移动设备的姿势，以便确定与该移动设备相关联的、需要随该移动设备在真实 世界环境中移动而被增强的特定视图。
[0003] 概述
[0004] 描述了用于生成并显示由人触发的全息提醒的技术。在一些实施例中，头戴式显 示设备（HMD)生成并向该HMD的最终用户显示增强现实环境，其中如果特定人在该HMD的 视野内（例如，使用面部识别技术确定）或如果该特定人在该HMD的特定距离内则可显示 与该特定人相关联的提醒。该特定人可被单独标识或被标识为属于特定组（例如，具有特 定工作头衔的组的成员，诸如程序员或管理员）。在一些情况下，提醒的完成可通过将（例 如用于标识关键字、短语或名字的）语音识别技术应用于捕捉到的在该最终用户和该特定 人之间进行的对话的音频来自动完成。
[0005] 提供本
【发明内容】
以便以简化形式介绍将在以下详细描述中进一步描述的一些概 念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用 于帮助确定所要求保护的主题的范围。
[0006] 附图简述
[0007] 图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
[0008] 图2A描绘了与第二移动设备通信的移动设备的一个实施例。
[0009] 图2B描绘了 HMD的一部分的一个实施例。
[0010] 图2C描绘了 HMD的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准 远瞳距（IF1D)。
[0011] 图2D描绘了 HMD的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准 近瞳距（iro)。
[0012] 图2E描绘了 HMD的一部分的一个实施例，该HMD具有包括凝视检测元件的可移动 显示光学系统。
[0013] 图2F描绘了 HMD的一部分的一个替换实施例，该HMD具有包括凝视检测元件的可 移动显示光学系统。
[0014] 图2G描绘了 HMD的一部分的侧视图的一个实施例。
[0015] 图2H描绘了 HMD的一部分的侧视图的一个实施例，其提供对微显示器部件的三维 调整的支持。
[0016] 图3描绘了包括捕捉设备和计算环境的计算系统的一个实施例。
[0017] 图4A-4B描绘了其中可使用由人触发的全息提醒的各增强现实环境的各实施例。
[0018] 图5是描述用于生成并显示由人触发的全息提醒的方法的一个实施例的流程图。
[0019] 图6A是描述用于确定一个或多个提醒的过程的一个实施例的流程图。
[0020] 图6B是描述用于检测环境中的第二人的过程的一个实施例的流程图。
[0021] 图6C是描述用于自动检测提醒的完成的过程的一个实施例的流程图。
[0022] 图7是描述用于生成并显示由人触发的全息提醒的方法的替换实施例的流程图。
[0023] 图8是移动设备的一个实施例的框图。
[0024] 详细描述
[0025] 描述了用于生成并显示由人触发的全息提醒的技术。在一些实施例中，移动设备 (诸如头戴式显示设备（HMD))可获取与该移动设备的最终用户相关联的一个或多个提醒， 标识环境内的特定的人，基于对该特定的人的标识来设置该一个或多个提醒的优先级，以 及基于该一个或多个提醒的优先级来向该最终用户显示该一个或多个提醒的子集。该一个 或多个提醒可基于输入到个人信息管理器、任务管理器、电子邮件应用、日历应用、社交联 网应用、软件缺陷跟踪应用、问题跟踪应用和/或时间管理应用或能从其访问的任务来确 定。所述一个或多个提醒中的每一提醒可与待完成的特定任务、与该特定任务相关联的一 个或多个人、与该特定任务相关联的位置、提醒频率（例如，一特定提醒每两周发出一次） 和/或该特定任务的完成时间相对应。该特定人可被单独标识或被标识为属于特定组（例 如，具有特定工作头衔的组的成员，诸如程序员或管理员）。
[0026] 在一些实施例中，HMD可向HMD的最终用户提供增强现实环境，在该环境中，如果 特定人在该HMD的视野内（例如，是使用面部识别技术确定的）或者如果该特定人在该HMD 的特定距离内（例如，是使用与和该特定人相关联的第二移动设备相对应的GPS位置信息 来确定的），则与该特定人相关联的提醒可被显示。在一个示例中，如果该HMD的最终用户 欠特定人钱，则在该特定人在该HMD的视野内的情况下，该HMD可向该最终用户显示他们欠 该特定人钱的提醒。
[0027] 在一些实施例中，HMD可从与不同于该HMD的最终用户的特定人相关联的第二移 动设备获取与该特定人相关联的第二提醒集合，并且如果该特定人在该HMD的视野内或如 果该特定人在该HMD的特定距离内，则向该最终用户提供其中可显示该第二提醒集合（或 其子集）的增强现实环境。在一些情况下，可向该最终用户显示与该第二提醒集合相对应 的一个或多个虚拟对象。在一个示例中，该一个或多个虚拟对象可提供该特定人想要与该 最终用户关于特定话题交谈的提醒信息。在另一示例中，该一个或多个虚拟对象可提供与 任务相关的信息（例如，是否以及何时该特定人接下来将休假或者在其中该最终用户和该 特定人均将参与的下一会议）。该一个或多个虚拟对象还可提供指向要在该最终用户和该 特定人之间共享的内容（例如照片或图像）的链接。该一个或多个虚拟对象还可提供指向 在线购物网站的链接（例如以促进与购买礼物相关联的任务的完成）。
[0028] 在一些实施例中，提醒的完成可通过将（例如用于标识关键字、短语或名字的）语 音识别技术应用于捕捉到的该最终用户和该特定人之间进行的对话的音频来自动检测。
[0029] 与管理大量提醒相关联的一个问题是：可能难以跟踪大量提醒之一，并在正确的 时间或者在最有效的时间回忆起该提醒以便完成与该提醒相关联的任务（例如，亲自对在 附近的朋友说"生日快乐"）。从而，存在生成和显示将最终用户上下文以及共同环境中其 他人的存在纳入考虑的由人触发的全息提醒的需要。
[0030] 图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联 网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络 180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动 设备11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可以包 括未示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图1所示的计 算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网 络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网（LAN)、广域网（WAN)、 以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换 机、以及有线传输介质，比如有线网络或直接线连接。
[0031] 可包括补充信息服务器或应用服务器的服务器15可允许客户机从该服务器下载 信息（例如，文本、音频、图像和视频文件）或者执行与存储在该服务器上的特定信息相关 的搜索查询。一般而言，"服务器"可以包括在客户端-服务器关系中充当主机的硬件设备、 或者与一个或多个客户机共享资源或为所述一个或多个客户机执行工作的软件过程。客户 机-服务器关系下的计算设备之间的通信可以通过由客户机向服务器发送要求访问特定 资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回 客户机。服务器15的一个实施例包括网络接口 155、处理器156、存储器157和翻译器158， 所有这些都彼此通信。网络接口 155允许服务器15连接到一个或多个网络180。网络接口 155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15 执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用 于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑（即，第二 文件可以是经翻译的版本的第一文件）。可使用文件映射指令来配置翻译器158,该文件映 射指令提供用于将第一文件格式的文件（或其部分）映射成第二文件格式的对应文件的指 令。
[0032] 移动设备19的一个实施例包括网络接口 145、处理器146、存储器147、相机148、 传感器149、以及显示器150,所有这些都彼此通信。网络接口 145允许移动设备19连接到 一个或多个网络180。网络接口 145可以包括无线网络接口、调制解调器、和/或有线网络 接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此 讨论的过程。相机148可以捕捉色彩图像和/或深度图像。传感器149可生成与移动设备 19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元（頂1])。 显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。
[0033] 在一些实施例中，包括网络接口 145、处理器146、存储器147、相机148以及传感器 149的移动设备19的各组件可被集成在单芯片基片上。在一示例中，网络接口 145、处理器 146、存储器147、相机148、传感器149可被集成成为片上系统（SOC)。在另一实施例中，网 络接口 145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。
[0034] 在一些实施例中，通过采用照相机148、传感器149,和运行在处理器146上的姿势 识别软件，移动设备19可提供自然用户界面（NUI)。使用自然用户界面，人的身体部位和移 动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的 计算设备可推断与计算设备交互的人的意图（例如，最终用户执行了特定姿势来控制该计 算设备）。
[0035] 联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基 于因特网的计算，其中共享的资源、软件和/或信息通过因特网（或其他全局网络）被按需 提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所 表示的底层基础设施的抽象，术语"云"被用作对因特网的比喻。
[0036] 在一个示例中，移动设备19包括向头戴式显示设备（HMD)的最终用户提供增强现 实环境或混合现实环境的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。最终 用户佩戴的光学透视HMD可允许（例如经由透明透镜）对真实世界环境的实际直接查看， 并且同时可将虚拟对象的图像投影到最终用户的视野中，由此用虚拟对象来增强最终用户 所感知的真实世界环境。
[0037] 通过利用HMD，佩戴HMD的最终用户可在真实世界环境（例如，起居室）中四处移 动，并感知覆盖有虚拟对象的图像的真实世界的视图。虚拟对象可以看起来保持与真实世 界环境