用于头戴式显示器用户的基于摄像机的安全机制的制作方法
【技术领域】
[0001] 本公开总体上涉及人机界面，更具体地说涉及当用户移动出摄像机的视场或者当 他们接近一个或多个有形障碍物时对他们进行警告。
[0002] 相关技术描述
[0003] 可追求在这个部分中描述的方法，但是不一定是先前已设想或追求的方法。因此， 除非另外说明，不应当认为在这个部分中描述的任何方法仅仅借助于它们包括在这个部分 中而有资格作为现有技术。
[0004] 在人机交互领域中快速发展的技术中的一种是可以戴在用户头上并且具有在一 只或两只用户眼睛前方的一个或两个显示器的各种头戴式或头联式显示器。这种类型的显 示器具有涉及虚拟现实的模拟的多种民用和商业应用，包括视频游戏、医学、运动训练、娱 乐应用等等。在游戏领域中，可使用这些显示器例如来呈现出三维(3D)虚拟游戏世界。这些 显示器的重要方面是用户除了利用传统的输入装置(诸如键盘或轨迹球)之外能够通过转 动他的头部来改变虚拟世界内的可显示视图。
[0005] 然而，在传统的头戴式显示器中，当用户佩戴头戴式显示器并提供用户动作诸如 做运动或朝向有形障碍物(诸如咖啡桌、椅子等)移动时他们易受到伤害。此外，在涉及头戴 式显示器的一些人机界面中，用户应当存在于专用视频摄像机或深度传感器的视场内。如 果用户移动出视场，那么当人机交互中断时，对于用户来说可能是让人烦恼的。
[0006] 概述
[0007] 提供本概述是为了以简化形式介绍下文将在详述描述中进一步描述的概念选择。 本概述并非意图确定所要求保护的主题的关键特征或本质特征，也并非意图被用作确定所 要求保护的主题的范围的辅助。
[0008] 通常，本公开涉及用于警告头戴式显示器(HMD)的用户他们接近由摄像机视场所 限定的场景边缘或者他们接近一个或多个有形障碍物的技术。所述警告包括对用户显现音 频和/或可显示消息，或者将头戴式显示器的显示器远离用户的眼睛移动。除了提供警告， 本公开可用来基于由佩戴HMD的用户进行的动作调整呈现在HMD的显示部分上的内容，诸如 朝向视场边缘移动、朝向有形障碍物移动等。在一些实施方案中，调整内容包括在HMD的显 示部分上呈现来自用户的紧邻处的现实世界的对象。通过动态跟踪用户的运动，通过分析 从图像传感器和/或深度传感器获得的图像和/或深度数据，做出用户接近场景边缘或有形 障碍物的确定，所述图像传感器和/或深度传感器固定到头戴式显示器、布置在场景内或场 景外部并且不固定到头戴式显示器、或者二者的组合。
[0009] 场景边缘可以包括有形障碍物。图像还包括场景的深度信息。场景可由至少一个 图像传感器或至少一个深度传感器的视场限定。警告包括由处理器引导用户朝向场景中心 返回。
[0010] 在某些实施方案中，所述方法还包括由处理器接收来自一个或多个次级传感器的 场景的次级图像，所述一个或多个次级传感器布置在场景外部并且不固定到头戴式显示 器。确定用户朝向一个或多个有形障碍物接近还至少基于次级图像。在某些实施方案中，一 个或多个有形障碍物存在于场景内。在一些实施方案中，一个或多个有形障碍物包括场景 边缘。
[0011] 根据一个实施方案，提供了一种方法。所述方法包括执行游戏。所述执行引起游戏 的交互游戏场景呈现在由用户佩戴的头戴式显示器的显示部分上。在用户与游戏交互时检 测由用户佩戴的HMD的位置变化。评估HMD的位置变化。当所述变化超过预定义阈值时，基于 所述评估产生信号。当产生信号时，发送数据以中断在HMD的显示部分上正呈现的交互场 景。发送给HMD的数据提供信号的描述性上下文。
[0012] 在另一个实施方案中，公开了一种方法。所述方法包括执行游戏。所述执行引起游 戏的交互场景呈现在由用户佩戴的头戴式显示器(HMD)的显示部分上。例如使用笛卡尔空 间中的一个或多个坐标确定在用户佩戴的HMD周围的体积。在游戏的游戏过程期间监测佩 戴HMD的用户的动作。当动作造成用户佩戴的HMD的位置变化时，评估所述变化。当所述变化 超过预定义阈值时，所述评估引起信号产生。当产生信号时，发送数据以中断在HMD的显示 部分上正呈现的交互场景。发送的数据提供信号的描述性上下文。
[0013] 在一些实施方案中，对内容的调整包括使在HMD的屏幕上呈现的游戏的交互场景 的亮度渐进地减弱、将HMD的屏幕转变成半透明模式或透明模式。所述转变产生来自佩戴 HMD的用户的紧邻处的现实世界对象的呈现。现实世界对象的图像可呈现在前景中而交互 场景呈现在背景中，现实世界对象可呈现在背景中而交互场景呈现在前景中，现实世界对 象可呈现在HMD的显示屏幕的部分中，其中交互场景呈现在所述显示屏幕的剩余部分中，或 者它们的任何组合。
[0014] 在一些实施方案中，对内容的调整可为使在HMD的显示部分上呈现的游戏的交互 场景的亮度渐进地减弱的形式。当用户更接近场景的边缘或对象时，亮度的减弱可以更强。
[0015] 在某些实施方案中，除了指示对内容的调整，信号可对用户发出警告。警告可为用 于在HMD的显示部分处呈现的音频消息、可显示消息或者在HMD处的诸如振动等的触觉消息 的形式。警告还包括由处理器将头戴式显示器的至少一个显示器远离用户眼睛移动。
[0016] 在另一实施方案中，将所述方法操作存储在包括指令的机器可读介质上，所述指 令当由一个或多个处理器实现时执行所述操作。在又一示例性实施方案中，硬件系统或装 置可以被适配用来执行所述操作。下文描述了其他特征、实例和实施方案。
[0017] 附图简述
[0018] 在附图的图示中以举例而非以限制的方式示出了各个实施方案，其中相似参考数 字指示类似元件，并且其中：
[0019] 图1是根据本公开的实施方案的适于实现本技术的各种方面的示例性场景。
[0020] 图2是根据本公开的实施方案的适于采用用于警示头戴式显示器的用户的方法的 示例性系统。
[0021] 图3是根据本公开的实施方案的适于采用用于警示头戴式显示器的用户的方法的 另一个示例性系统。
[0022] 图4是根据本公开的实施方案的适于采用用于警示头戴式显示器的用户的方法的 又一示例性系统。
[0023] 图5是根据本公开的实施方案的示出用于警示头戴式显示器的用户的方法的过程 流程图。
[0024] 图6是呈计算机系统形式的示例性机器的图解示意图，在所述计算机系统内，执行 用于所述机器来执行本文讨论的任何一种或多种方法学的一组指令。
[0025] 图7示出根据一个实施方案的由用户佩戴的示例性头戴式显示器的不同部分。
[0026] 图8示出在本发明的一个实施方案中由用户佩戴/握持的头戴式显示器和控制器 的跟踪。
[0027]图9示出根据一个实施方案的用于跟踪头戴式显示器和头戴式显示器与客户端装 置/云服务器之间的数据流的各种模块。
[0028]图10示出用于确定由用户佩戴/握持的头戴式显示器和/或控制器的位置的示例 性实施方案。
[0029]图IOA至图IOC示出用于确定由用户佩戴的头戴式显示器的海拔变化的示例性实 施方案。
[0030] 图IlA至图IlE示出在本发明的一个实施方案中的头戴式显示器的跟踪以识别安 全问题。图IlF示出在本发明的替代实施方案中的头戴式显示器的跟踪以识别另一个安全 问题。
[0031] 图12是根据本发明的替代实施方案的示出用于调整头戴式显示器上所呈现的内 容的方法的过程流程图。
[0032] 图13示出在本发明的一个实施方案中的游戏模块的整体系统架构。
[0033]图14示出根据本发明的实施方案的游戏系统的框图。
[0034] 详细描述
[0035] 以下详细描述包括对附图的参考，所述附图形成详细描述的部分。附图示出根据 示例性实施方案的说明。以足够的细节对本文也称为"实例"的这些示例性实施方案进行描 述，以使得本领域技术人员能够实践本主题。各实施方案可加以组合，可利用其他实施方 案，或者可在不背离权利要求的范围的情况下做出结构、逻辑和电学改变。因此以下详细描 述不认为具有限制性意义，并且所述范围由所附权利要求书及其等效物限定。在本文件中， 术语"一(a)"和"一(an)"像通常专利文件中一样用于包括一个或多于一个。在本文件中，除 非另有说明，否则术语"或"用于指代非唯一的"或"，以使得"A或B"包括"A但非B"、"B但非A" 以及"A和B"。
[0036] 本文公开的实施方案的技术可使用多种技术实现。例如，本文描述的方法在计算 机系统上执行的软件中实现，或者在利用微处理器组合或其他专门设计的专用集成电路 (ASIC)、可编程逻辑装置的硬件中实现，或者在它们的各种组合中实现。具体地说，本文描 述的方法由驻留在诸如硬盘驱动器或计算机可读介质的存储介质上的一系列计算机可执 行指令实现。应注意，本文公开的方法可通过移动终端、蜂窝电话、智能手机、计算机(例如， 台式计算机、平板计算机、膝上型计算机）、游戏机、手持式游戏装置等实现。
[0037] 通常，本公开的实施方案提供用于警告接近场景边缘或移动到摄像机的视场外部 或者当他们朝向一个或多个有形障碍物移动时的头戴式显示器的用户的方法和系统。基于 图像和/或深度数据的分析做出用户接近视场边缘或障碍物的确定。可从图像传感器和/或 深度传感器获得图像和/或深度数据，所述图像传感器和/或深度传感器布置在头戴式显示 器上或者与用户分离且不连接到头戴式显示器，或者二者的组合。警告包括音频消息、可显 示或可视消息、加亮LED、头戴式显示器上的可显示图像的渐进减弱、图像亮度的减弱、融合 现实世界视图、引起头戴式显示器振动、使头戴式显示器或其部分脱离接合、或者移动头戴 式显示器的显示器远离用户眼睛使得用户能够看到在他所移动的地方的现实世界和障碍 物。
[0038] 如本文使用的术语"头戴式显示器"是指以下各项中的一个或多个:具有显示器的 可佩戴计算机、头戴式电子装置、头联式显示器、头盔显示器、具有显示器的头戴式计算机。 佩戴在用户头上或者是头盔的部分的头戴式装置具有位于一只眼睛（单目显示装置)或每 只眼睛（双目显示装置）前方的小型显示光学器件。头戴式装置具有一个或两个小型显示 器，所述小型显示器具有内嵌在头盔中的透镜和半透明镜子、眼镜（也称为数据眼镜）或护 目镜。显示单元可以小型化并且可以包括液晶显示器(IXD)、有机发光二极管(OLED)显示器 等。一些供应商采用多个微型显示器来增大总体分辨率和视场。一些其他头戴式装置完全 不使用传统显示器并且替代地将光直接投射到用户眼睛中。
[0039] 如本文使用的术语"深度传感器"是指能够产生3D空间的深度图的任何合适电子 装置。深度敏感装置的一些实例包括配置来处理图像以产生深度图的深度敏感摄像机、立 体3D摄像机、深度传感器、视频摄像机等等。深度图可由控制装置处理以定位3D空间内存在 的用户，并且还定位其包括用户头部、躯干和四肢的身体部分。如本文使用的术语"图像传 感器"是指能够产生3D场景的静止或运动图像的任何合适电子装置。图像传感器的一些实 例包括视频摄像机、摄像机、电荷耦合装置(CCD)等等。如本文使用的术语"视场"是指由图 像传感器和/或深度传感器覆盖和"查看"的3D空间的范围。
[0040] 如本文使用的术语"控制装置"是指配置来处理数据、图像、深度图、用户输入等的 任何合适的计算设备或系统。控制装置的一些实例包括台式计算机、膝上型计算机、平板计 算机、游戏机、音频系统、视频系统、蜂窝电话、智能手机、机顶盒、电视机等。在某些实施方 案中，将控制装置的至少一些元件并入显示装置中（例如，以可头戴型计算机的形式）。控制 装置可与深度传感器/图像传感器和头戴式显示器无线或有线地通信。控制装置还负责产 生还可显示在头戴式显示器上的图像(例如，产生虚拟现实）。在某些实施方案中，术语"控 制装置"是指"计算装置"、"处理装置"或者仅仅是"处理器"。
[0041] 根据本公开的实施方案，头戴式显示器可由特定3D空间（诸如处所的起居室）内的 用户佩戴。用户可存在于跟踪用户运动的深度传感器/图像传感器的前方。控制装置处理从 深度传感器/图像传感器接收的数据，并且通过处理结果使控制装置识别用户、用户的运 动/姿势，并跟踪3D空间内的虚拟骨架的坐标。
[0042] 现参考附图，图1是根据本公开的实施方案的适于实现本技术的各种方面的示例 性场景100。
[0043] 具体地说，示出佩戴头戴式显示器110的用户105。用户105存在于控制装置115前 方的3D空间中，所述控制装置115包括深度传感器和/或图像传感器，使得能够容易跟踪用 户105。控制装置115耦接到游戏装置或游戏机120或者是其部分，并且还可以与头戴式显示 器110和一些其他外围装置(诸如TV显示器130、音频系统等)操作性通信。
[0044] 为了通过控制装置115来跟踪，用户105应存在于控制装置115的深度传感器和/或 图像传感器的视场内，所述区域在本文中还称为"场景"135。如果用户105移动出场景135， 那么他将不被跟踪并且因此他与控制装置115的交互会中断。可替代地，用户105可朝向有 形障碍物140移动，诸如桌子、椅子、玩具等。由于用户105当佩戴头戴