可佩戴的基于行为的视觉系统的制作方法
【专利说明】可佩戴的基于行为的视觉系统
[0001] 背景
[0002] 混合现实是一种允许在显示器中将虚拟影像与现实世界物理环境相混合的技术。 用于混合现实的系统可包括例如透视的头戴式显示器或内置相机的智能手机。这样的系统 通常包括在一个或多个应用的控制下提供图像的处理单元。
[0003] 基于行为的分析已被用于机器人技术中，作为用于对控制系统的动作进行编程的 框架。行为机器人技术中的一些行为模型使用针对对象的分层规则集，其中诸如避免碰撞 之类的基本层行为是最基本的。行为是从演员或机器人的角度来聚集的，并且基础行为被 用于生成高级控制系统。
[0004] 在基于行为的系统中，机器人控制器被组织为模块（被称为行为）集合，模块接收 来自传感器和/或其他行为的输入、处理该输入、以及将输出发送给致动器和/或其他行 为。每个行为一般用于某个独立功能，诸如避免障碍物或回到目标位置。控制器中的所有 行为被并行执行，同时地接收输入以及生成输出。
【发明内容】
[0005] 描述了用于提供透视头戴式显示设备中的基于行为的视觉系统的技术。透视显示 器装置包括透视头戴式显示器以及该显示器上的传感器，该传感器检测所述装置的视野中 的声音和视觉数据。处理器与所述显示器协作以使用基于行为的真实对象映射系统向所述 设备的佩戴者提供信息。至少创建相对于所述装置的全局和以自我为中心的行为区域，并 且真实对象被指派映射到该对象所占据的各个区域的行为。被指派给对象的行为可由向佩 戴者提供服务的应用所使用，该应用使用该行为作为对要在装置中提供的反馈的类型的评 估的基础。
[0006] 提供概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选 集。本
【发明内容】
并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于 帮助确定所要求保护的主题的作用域。
[0007] 附图简述
[0008] 图IA是描绘一系统环境中的具有可调整iro的透视、混合现实显示设备的一个实 施例的示例组件的框图，其中该设备可以在该系统环境中操作。
[0009] 图IB是描绘具有可调整iro的透视、混合现实显示设备的另一实施例的示例组件 的框图。
[0010] 图2A是示出延伸到一定距离处的注视点并朝对准远IPD的方向延伸的注视向量 的示例的俯视图。
[0011] 图2B是示出延伸到一定距离处的注视点并朝对准近IPD的方向延伸的注视向量 的示例的俯视图。
[0012] 图3是混合现实显示设备的眼镜实施例中提供对硬件和软件组件的支持的眼镜 腿的侧视图。
[0013] 图4是混合现实显示设备的实施例中提供对硬件和软件组件的支持和对微显示 器部件的三维调整的眼镜腿的侧视图。
[0014] 图5A是透视、近眼、混合现实设备的可活动的显示光学系统14的实施例的俯视 图。
[0015] 图5B是透视、近眼、混合现实设备的包括注视检测元件的安排的可活动显示光学 系统的另一实施例的俯视图。
[0016] 图5C是透视、近眼、混合现实设备的包括注视检测元件的安排的可活动显示光学 系统的第三实施例的俯视图。
[0017] 图是透视、近眼、混合现实设备的包括注视检测元件的安排的可活动显示光学 系统的第四实施例的俯视图。
[0018] 图6A是与透视、头戴式显示设备相关联的处理单元的硬件和软件组件的一个实 施例的框图。
[0019] 图6B是描述处理单元4的各组件的框图。
[0020] 图7描绘了用户的触摸区域、自我为中心的区域以及全局区域。
[0021] 图8描绘了包括具有基于行为的视觉系统的处理环境和支持的计算服务的系统 的各功能组件。
[0022] 图9是解说用于提供基于行为的视觉系统的过程的流程图。
[0023] 图10是解说基于行为的视觉系统中的用户警告应用的流程图。
[0024] 图11解说了基于行为的视觉系统中的用户警告应用所提供的用户界面。
[0025] 图12是解说基于行为的视觉系统中的用户导航应用的流程图。
[0026] 图13解说了基于行为的视觉系统中的用户导航应用所提供的用户界面。
[0027] 图14是第一示例性处理设备的框图。
[0028] 图15是另一示例性处理设备的框图。
【具体实施方式】
[0029] 此处所描述的技术包括透视头戴式显示器设备，该设备为佩戴者提供基于行为的 视觉系统，其中系统可相对于一个或多个用户或全局区域评估真实对象。行为是佩戴者与 真实对象的交互的核心级行为动作。对象可被映射到一个或多个区域，并且根据相对于地 理位置或设备场景映射的位置来标识。具有映射的行为的对象可被系统应用用于为佩戴者 提供环境反馈。
[0030] 基于行为的系统提供了允许应用开发者基于真实对象定义来创建各种类型的应 用来向客户端提供服务的框架。本技术可被实现在能够向用户提供反馈的各种类型的视觉 系统中，但是在本公开中，本技术是结合在透视、混合显示显示器设备中的使用来讨论的。
[0031] 图1-6解说了适用于实现本系统的示例性透视、混合现实显示设备。
[0032] 图IA是描绘一系统环境中的透视、混合现实显示设备的一个实施例的示例组件 的框图，其中该设备可以在该系统环境中操作。在一个实施例中，该技术实现透视、近眼显 示设备。在其他实施例中，可使用不同类型的透视显示设备。系统10包括作为通过线6与 处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中，头戴式 显示设备2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。在 一些实施例中，处理单元4是可以佩戴在佩戴者的身体（例如，在所示示例中的腕）上或置 于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。 处理单元4可以与一个或多个计算系统、热点、蜂窝数据网络等无线地（例如，WiFi、蓝牙、 红外、或其他无线通信手段）通信。在其它实施例中，处理单元4的功能可被集成在显示设 备2的软件和硬件组件中。
[0033] 透视头戴式显示设备2(在一个实施例中它是带镜架115的眼镜的形状）被佩戴 在佩戴者的头上，使得佩戴者可以透视显示器（在该示例中该显示器被实现为用于每一只 眼睛的显示光学系统14)，并且从而具有对该佩戴者前方的空间的实际直接视图。使用术语 "实际直接视图"来指直接用人眼看到真实世界对象，而非看到所创建的对象的图像表示的 能力。例如，透过眼镜看房间将允许佩戴者得到该房间的实际直接视图，而在电视机上查看 房间的视频不是该房间的实际直接视图。基于执行软件（例如，游戏应用）的上下文，该系 统可以将虚拟对象的图像（有时称为虚拟图像或全息图）投影在可由佩戴该透视显示设备 的人观看的显示器上，同时该人还透过该显示器观看现实世界对象。
[0034] 框架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管 道。在该实施例中，镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的 支撑体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是遮罩、帽子、头盔 或护目镜。镜架115包括用于搁置在佩戴者的每一耳部的镜腿或侧臂。镜腿102代表右镜 腿的实施例，并且包括显示设备2的控制电路136。镜架的鼻梁104包括用于记录声音并向 处理单元4传送音频数据的话筒110。
[0035] 图IB是描绘透视、混合现实显示设备的另一实施例的示例组件的框图。在一些实 施例中，处理单元4是可佩戴在佩戴者的身体（例如手腕）上的单独单元，或者可以是诸如 移动设备（例如，智能电话）等单独设备。处理单元4可通过通信网络50与无论位于附近 还是位于远程位置的一个或多个计算系统12有线地或无线地通信（例如，WiFi、蓝牙、红 外、RFID传输、无线通用串行总线（USB)、蜂窝、3G、4G或其它无线通信装置）。在其他实施 例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。
[0036] 可以充分利用一个或多个远程的、网络可访问的计算机系统12来作为处理能力 和远程数据访问。图16示出了计算系统12的硬件组件的示例。应用可以在计算机系统12 上执行，其与在透视、增强现实显示系统10中的一个或多个处理器上执行的应用进行交互 或为其执行处理。例如，3D地图绘制应用可以在所述一个或多个计算机系统12和佩戴者的 显示系统10上执行。
[0037] 另外，在一些实施例中，在相同环境中或相互通信的其他透视、头戴式显示系统10 上执行的应用在各设备间的对等配置中实时地共享数据更新（例如，对象标识和真实对象 的遮挡体之类的遮挡数据）或将数据更新到在一个或多个网络可访问的计算系统中执行 的对象管理服务。
[0038] 在一些示例中共享的数据可相对于设备2可访问的一个或多个参照坐标系来被 参考。在其他示例中，一个头戴式显示（HMD)设备可以从另一个HMD设备接收数据，包括图 像数据或从图像数据导出的数据、发送HMD的位置数据（例如给出相对位置的GPS或IR数 据）、及朝向数据。在HMD间共享的数据的示例是深度图数据，该深度图数据包括由其面向 前的相机113捕捉到的图像数据和深度数据、对象标识数据以及深度图中各真实对象的遮 挡体。真实对象可能仍是未被标识的，或者已被HMD设备上执行的软件或者支持计算机系 统（例如，12或另一显示系统10)识别。
[0039] 环境的一个示例是佩戴者所在的现实场所的360度可视部分。佩戴者可能在看其 环境中作为其视野的子集。例如，房间是一环境。一人可能在家里，并且在厨房正看着冰箱 的顶架。冰箱的顶架在他的显示器视野内，厨房是他的环境，但是他楼上的卧室并不是他当 前环境的一部分，因为墙壁和天花板阻挡了他查看楼上的卧室。当然，随着他移动，他的环 境改变。环境的一些其他示例可以是球场、街道场所、商店的一部分、咖啡店的顾客区域等。 场所可以包括多个环境，例如家可以是一个场所。佩戴者及其朋友可能正佩戴着他们的显 示设备系统玩游戏，这在家里的任何地方发生。随着每一玩家在家中到处移动，其环境改变 了。类似地，围绕若干街区的周界可以是场所，并且在不同的十字路口进入视图时，不同的 交叉路口提供不同的环境来查看。在一些实例中，场所还可以是取决于场所跟踪传感器或 数据的精度的环境。
[0040] 图2A是示出延伸到一定距离处的注视点并朝对准远瞳孔间距（IPD)的方向延伸 的注视向量的示例的俯视图。图2A示出在注视点处相交的注视向量的示例，其中佩戴者的 眼睛有效地聚焦在无限远处（例如五（5)英尺以外），或换言之，示出了在佩戴者正看向正 前方时的注视向量的示例。基于Gullstrand示意眼模型示出了每只眼睛的眼球1601、160r 的模型。对于每只眼睛，眼球160被建模成具有旋转中心166的球，并且包括也被建模成球 且具有中心164的角膜168。角膜随着眼球旋转，并且眼球的旋转中心166可被当作固定 点。角膜覆盖虹膜170,瞳孔162处于虹膜170的中心。在这个示例中，在各个角膜的表面 172上是闪光174和176。
[0041] 在图2A所示的实施例中，传感器检测区域139(1391和139r)与眼镜架115内的 每一显示光学系统14的光轴相对准。在该示例中，与该检测区域相关联的传感器是能够捕 捉表示分别由镜架115左侧的照明器153a和153b生成的闪光1741和1761的图像数据以 及表示分别由