在头戴式显示器中切换操作模式的制作方法
【专利说明】在头戴式显示器中切换操作模式 WW] 背景 1.技术领域
[0002] 本发明实施方案设及用于改进头戴式装置（HMD)的可用性的方法，且更特定来 说，设及用于在HMD的显示器上显现图像的方法、系统和计算机程序。 阳00引 2.相关技术描述
[0004] 通常，HMD是穿戴在用户头部上的便携式装置，使得位于与眼睛相隔短距离的显示 器提供用户交互图像。一些HMD提供混合的真实生活和虚拟生活环境，其中用户能够看见 由计算装置创建的图像W及一些真实生活图像。其它HMD提供阻止用户看见外部世界的沉 浸式体验，同时在HMD显示器上提供虚拟世界。 阳〇化]然而，虽然用户通过HMD中的显示器观看真实世界或虚拟世界，但仍可能存在问 题，因为HMD的计算能力可能不适于刷新显示器上的图像。运可对HMD用户造成运动病或 运动眩晕。运种症状在用户被打断（例如，接到电话）和用户想要快速离开HMD环境时特 别严重。
[0006] 需要一种如果事件要求快速用户关注那么允许用户快速联系真实世界的HMD。
[0007] 在运种内容背景下出现实施方案。
【发明内容】
[0008] 提出用于管理头戴式装置（HMD)上的图像的显示的方法、装置、系统和计算机程 序。应明白，本发明实施方案可按众多方式实施，诸如方法、设备、系统、装置或计算机可读 介质上的计算机程序。下文描述若干实施方案。
[0009] 在一个实施方案中，一种方法包括用于追踪穿戴HMD的用户的注视的操作，其中 HMD显示虚拟世界的场景。此外，所述方法包括用于检测用户的注视固定在预定区域达预定 时间量的操作。响应于检测，所述方法使HMD中的显示器的区淡出，同时维持虚拟世界的场 景在所述区外的显示器的区域中。此外，所述方法包括用于使真实世界的视野在所述区中 淡入就好像在用户浏览所述区时HMD对用户透明的操作。真实世界视野的淡入包括维持虚 拟世界场景在所述区外。
[0010] 在另一实施方案中，一种用于管理头戴式装置（HMD)上的图像的显示的方法包括 用于检测用来使用户适应HMD的命令的操作。此外，所述方法包括用于在显示器上呈现真 实世界视野就好像HMD透明的操作和用于W增强现实模式将虚拟元素添加到真实世界视 野的操作。又，所述方法包括用于使真实世界视野从显示器淡出同时维持虚拟元素在显示 器上的操作和用于使虚拟世界视野在虚拟元素周围淡入的操作。
[0011] 在又一实施方案中，一种嵌入非暂时性计算机可读存储介质中、在被一个或多个 处理器执行时用于管理头戴式装置（HMD)上的图像的显示的计算机程序包括用于追踪穿 戴显示虚拟世界场景的HMD的用户的注视的程序指令。所述计算机程序还包括用于追踪穿 戴显示虚拟世界场景的HMD的用户的注视的程序指令和用于检测用户注视固定在预定区 域达预定时间量的程序指令。此外，所述计算机程序包括用于响应于检测，使HMD的显示器 的区淡出同时维持虚拟世界场景在所述区外的显示器的区域中的程序指令。此外，所述计 算机程序包括用于使真实世界视野在所述区中淡入就好像在用户浏览所述区时HMD对用 户透明的程序指令，所述淡入包括维持虚拟世界场景在所述区外。
[0012] 在又一实施方案中，一种用于管理头戴式装置（HMD)上的图像的显示的方法包括 用于在用户注视投射在HMD的显示器上时追踪注视的操作。此外，所述方法包括用于在追 踪到注视时识别注视的轨迹的操作。比较识别的轨迹与用户签名，所述签名包括注视的签 名轨迹。此外，所述方法包括用于在识别的轨迹对应于签名轨迹时支持对HMD上的资源的 访问的操作。
[0013] 其它方面将从结合附图所作的下文详细描述而变得明显。
[0014] 附图简述
[0015] 参考结合附图所作的下文描述，可最佳地理解实施方案。
[0016] 图1说明根据一个实施方案的与多个装置（包括头戴式装置（HMD))进行交互的 用户。
[0017] 图2说明根据一个实施方案的经由图像分析对HMD进行的追踪。
[0018] 图3示出根据一个实施方案的具有用于追踪用户注视的内置相机的HMD。
[0019] 图4示出具有用于视觉追踪的照射点的HMD的实施方案。
[0020] 图5说明根据一个实施方案的使用注视对密码的键入。
[0021] 图6A说明根据一个实施方案的用于在用户已开始使用HMD时进行检测的方法。
[0022] 图6B说明根据一个实施方案的注视签名的键入。
[0023] 图7A说明根据一个实施方案的从真实生活视野到虚拟世界视野的显示转变。
[0024] 图7B说明根据一个实施方案的从真实生活视野到增强现实视野到虚拟世界视野 的转变。
[0025] 图8说明可W用来实施本发明的实施方案的装置的架构。 阳0%] 图9A-9B说明根据若干实施方案的用于从HMD环境转出的输入。
[0027] 图10说明根据一个实施方案的具有虚拟世界视野和真实生活视野的混合显示。
[0028] 图11说明根据一个实施方案的经由注视键入的退出命令的检测。
[0029] 图12说明根据一个实施方案的HMD视野的不同沉浸阶段。
[0030] 图13A是根据一个实施方案的用于使用户适应HMD的流程图。
[0031] 图13B是根据一个实施方案的用于使用户不适应HMD的流程图。
[0032] 图13C是根据一个实施方案的用于管理HMD上的图像的显示的流程图。
[0033] 图14说明可W用来实施本发明的实施方案的硬件和用户接口。
[0034] 图15是根据本发明的各种实施方案的游戏系统的方框图。
【具体实施方式】
[0035] 下述实施方案描述用于管理头戴式装置（HMD)上的图像的显示的方法、设备、系 统和计算机程序。将明白，本发明实施方案可W在没有运些特定详情中的一些或所有的情 况下实行。在其它实例中，熟知过程操作未作详细描述W免使本发明实施方案不必要地变 模糊。
[0036] 图I说明根据一个实施方案的与多个装置（包括头戴式装置（HMD))进行交互的 用户。用户114穿戴HMD102,所述HMD102包括在用户眼睛附近显现图像的显示器110。 在一个实施方案中，图像显现成3D。
[0037] 在一个实施方案中，计算装置106执行在HMD 102上显示的游戏。因此，计算装置 106与HMD 102协作W显示用于玩游戏的图像。游戏操作的处理可W在计算装置106上、在 HMD 102上或在计算装置106和HMD 102两者中完成。 阳03引在图1的实施方案中，HMD102与计算装置106进行无线通信（例如，WiFi、蓝牙 等）。在其它实施方案中（未示出），HMD102可W直接连接到计算装置106,或经由网络 (例如，互联网）与计算装置106进行通信。例如，计算装置106可W是在网络上提供游戏 服务的服务器。在一些实施方案中，HMD是自主玩游戏装置且在HMD上直接执行游戏，而无 需外部装置来运行游戏。
[0039] 在一个实施方案中，相机（或多个相机）禪接到计算装置106。如果计算装置106 是网络上的服务器，那么相机104可W是经由网络（例如，经由互联网）将图像发送到所述 计算装置的联网相机。相机104可W是W下项中的一个或多个：普通图像相机、立体相机 (即，具有从游戏区域捕捉图像的两个或两个W上透镜）、红外相机、深度相机、3D相机等。 W40] 相机104拍摄的图像可W被处理来追踪HMD102的位置和移动。此外，图像还可 W用来追踪用户或用户特征（例如，用户头部、用户嘴己、用户手部、用户躯干等）、控制器 (例如，单手控制器116或双手控制器118)或游戏区域中的任何其它元件的位置和运动。
[0041] 在一个实施方案中，用户可W经由语音辨识提供命令，所述语音辨识可W通过 计算装置106经由透过一个或多个麦克风120进行的声音捕捉来执行，或可W通过HMD 102(在一个实施方案中，其还包括一个或多个麦克风）来执行。在另一实施方案中，用户 114还可W经由通过计算装置106分析和辨识的姿势键入输入。
[0042] 在一个实施方案中，计算装置106还连接到显示器108,其可W执行一些游戏操 作。例如，显示器108可W在用户戴上HMD102之前将指令提供给用户。在另一实施方案 中，显示器108提供在HMD上显示的相同或相似显示，因此其他附近玩家可W察觉用户114 对在HMD102上显示的游戏所玩的进度。
[0043] 在一个实施方案中，用户握持一个或多个控制器116。计算装置106追踪控制器的 位置和移动，且关于控制器运动的操作或使用控制器键入的输入可W用作游戏输入。例如， 控制器可W表示剑柄，且剑显示在游戏场景中。随着用户移动控制器，剑在虚拟世界中与控 制器同步地移动。运样，玩家能够执行格斗游戏操作，其中剑为武器。 W44] 在一个实施方案中，计算装置106计算HMD102与游戏控制器116之间的相对位 置。接着，游戏使用相对位置W与HMD102同步地移动游戏对象。 W45] 计算装置还可W追踪第二控制器116，所述第二控制器116还可W链接到在HMD的 显示器上显现的游戏对象。例如，第二控制器可W是盾，且用户能够在虚拟世界中使用剑和 盾作战。在其它实施方案中，控制器可W在游戏中用于其它目的，诸如武器（例如，枪、步枪 或任何类型的射击武器、斧、激光枪、转向装置-摩托车的转向盘或手柄-手电筒、键、盾 等）。
[0046] 在另一实施方案中，用户还可W与可W按与单手控制器相似方式使用的双手控制 器进行交互。例如，双手控制器可W用作转向盘。
[0047] 在另一实施方案中，使用控制器（诸如通过按压控制器上的按钮）键入的输入可 W用来在游戏中执行命令。例如，用户可W使用控制器上的按钮W移动游戏中的头像，开 火，抓住对象等。
[0048] 应注意，图1中所示的实施方案是示例性的。其它实施方案可W利用不同装置，不 同数量的装置，在不同装置之间具有更多或更少互动，使用其它通信方式（例如，超声波）， 促成穿戴各自HMD的两个用户玩相同游戏的多玩家游戏等。因此，图1中所示的实施方案 不应被解释为排他性或限制性，但相反应被解释为示例性或说明性。 W例图2说明根据一个实施方案的经由图像分析对HMD进行的追踪。在一个实施方案 中，HMD208包括协助HMD的视觉追踪的元件。例如，HMD可W包括红外灯210、发光二极 管（LED) 214和具有容易经由图像分析辨识的特殊形状的对象。例如，一个或多个球形对象 212可W添加到HMDW便于追踪。此外，还可W使用L邸光、红外光或任何其它类型的照射 照射球形对象202。
[0050] 此外，HMD208还可W包括特殊视觉标记器（未示出），诸如回射区域、具有特定颜 色的区域（例如，蓝色矩形等）或标记（例如，HMD表面上的S条平行线）等。
[0051] 在一些实施方案中，HMD在HMD后方包括灯或标记器（即，HMD中触及后脑勺的部 分）。运样，如果用户转身且背对相机，那么仍可能通过检测HMD后方的灯或标记器而在视 觉上追踪HMD的位置。
[0052] 可W使用不同类型的相机执行HMD的视觉追踪。在一个实施方案中，使用立体相 机202追踪HM