混合现实显示器中用户控制的现实对象的消失的制作方法

专利名称：混合现实显示器中用户控制的现实对象的消失的制作方法
技术领域：
本发明涉及混合现实显示器中用户控制的现实对象的消失。
背景技术：
混合现实，也称为增强现实，是一种允许将虚拟图像与现实世界视图相混合的技 术。与其它显示设备不同，透视、混合或增强现实显示设备与其他显示设备的不同在于所显 示的图像并不独占用户的视野。当用户看膝上型计算机、台式计算机或智能电话的计算机 屏幕时，在处理器上执行的软件生成在百分之百的计算机屏幕上查看的东西。在看计算机 屏幕时，用户的视角被从现实世界移走。通过透视、混合现实显示设备，用户可透过显示器 观看并与现实世界交互，同时还看到由一个或多个软件应用生成的图像。可以说，存在正在 执行的软件和用户看到的人和物(它们不受计算机控制)对显示器的共享控制。发明内容
在下面描述的实施例中，一种透视、头戴式混合现实显示设备系统致使现实世界 对象由于该现实世界对象与同特定用户相关联的主题的关系而从设备的视野中消失。该主 题可额被标识为在某些示例中要避免的主题。现实世界对象还可由于它与用户感兴趣的当 前主题的相关度而消失。
本技术提供了一个或多个处理器可读存储设备的实施例，所述存储设备上编码有 用于致使一个或多个处理器执行一种方法的指令，所述方法用于致使透视、混合现实显示 设备系统的透视显示器中的现实对象消失。该方法包括接收标识透视显示器的视野中的一 个或多个现实对象的元数据。例如，可基于由附连于透视、混合现实显示设备系统的一个或 多个面向物理环境的相机捕捉的图像数据来标识一个或多个现实对象。确定所述一个或多 个现实对象中的任一个是否满足用户消失准则。响应于确定某现实对象满足用户消失准 则，跟踪到透视显示器中该现实对象的图像数据以致使透视显示器的视野中的该现实对 象消失。图像数据的内容是基于指派给该现实对象的更改技术的。
本技术提供一种透视、头戴式、混合现实显示设备系统的实施例，该显示设备系统 用于致使该显示设备系统的透视显示器的视野中的现实对象消失。该系统包括一个或多个 地点检测传感器和用于存储用户消失准则的存储器，所述用户消失准则包括至少一个主题 项。一个或多个处理器具有对该存储器的访问并且可通信地耦合于该一个或多个地点检测 传感器以接收该显示设备系统的地点标识符数据。该一个或多个处理器标识该透视显示器 的视野中的与该至少一个主题项有关且对于从该地点标识符数据确定的地点在预定可见 度距离内的一个或多个现实对象。至少一个图像生成单元可通信地耦合于该一个或多个处 理器并且光学耦合于该透视显示器以跟踪到该透视显示器的视野中的所标识的一个或多 个现实对象的图像数据以致使该一个或多个现实对象的消失。
本技术提供一种用于致使透视、混合现实显示设备系统的透视显示器的视野中的 现实对象消失的方法的实施例。该方法包括接收标识用于消失的主题的物理动作的用户输入，所述主题包括当前在该透视显示器的视野中的用于消失的现实对象。用于消失的主题 被存储在用户消失准则中。根据更改技术跟踪到用于消失的现实对象的图像数据。响应于 标识要应用到当前在视野中的用于消失的现实对象的用户指定的更改技术，将该用户指定 的更改技术选择为该更改技术。
提供本发明内容以便以简化形式介绍将在以下具体实施方式
中进一步描述的一 些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用 于帮助确定所要求保护的主题的范围。


图1A是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。
图1B是描绘透视、混合现实显示设备系统的另一实施例的示例组件的框图。
图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示 设备的实施例中的镜架的眼镜腿的侧视图。
图2B是透视、近眼、混合现实设备的显示光学系统的实施例的俯视图。
图3A是可以用于一个或多个实施例的透视、近眼、混合现实显示设备的硬件和软 件组件的一个实施例的框图。
图3B是描述处理单元的各组件的框图。
图4是从软件角度看的用于致使透视、混合现实显示设备系统的显示器中的现实 对象消失的系统的实施例的框图。
示例。

图5A示出用户消失准则中的消失主题项数据记录的示例。图5B示出用户消失准则中的主题项数据记录的现实对象类型记录的数据字段的图5C是用户消失准则中的当前感兴趣主题项数据记录的示例。图示出用于标识现实对象的元数据的示例。图5E示出用于无生命对象(inanimate object)的参考对象数据集的示例,其可 表示在更改技术中用于取代对象(replacement object)的数据字段。
图5F示出用于人的参考对象数据集的示例，其可表示在更改技术中用于取代对 象的数据字段。
图6A是用于确定现实和虚拟对象在显示设备系统的三维视野中的位置的方法的 实施例的流程图。
图6B是用于在显示设备的视野中标识一个或多个现实对象的方法的实施例的流 程图。
图6C是用于生成某地点的三维模型的方法的实施例的流程图。
图6D是用于基于某地点的三维模型来确定现实和虚拟对象在显示设备系统的三 维视野中的位置的方法的实施例的流程图。
图7是用于基于满足用户消失准则而致使透视、混合现实显示设备系统的视野中 的现实对象消失的方法的实施例的流程图。
图8是用于致使透视、混合现实显示设备系统的视野中的现实对象消失的另一方 法的实施例的流程图。
图9是用于基于用于消失的现实对象的可见度来选择更改技术的过程的实施例 的流程图。
图10是在处于彼此的预定距离内的透视、混合现实显示设备系统之间共享更改 图像数据的过程的实施例的流程图。
图11是用于基于当前感兴趣主题而致使透视、混合现实显示设备系统的视野中 的现实对象消失的另一方法的实施例的流程图。
图12是用于针对消失的现实对象向用户提供冲突警告的过程的实施例的流程 图。
图13A、13B、13C和13D示出处理姿势用户输入的示例，所述姿势用户输入标识用 于消失的现实对象。
图14A、14B、14C和14D示出基于不同可见程度应用到满足用户消失准则的现实对 象的不同更改技术的示例。
图15A和15B示出致使不满足相关准则的现实对象消失的示例。
图16是可用于实现托管(host)消失应用的网络可访问计算系统的计算系统的一 个实施例的框图。
图17是可以在本技术的各实施例中操作的示例性移动设备的框图。
具体实施方式
本技术提供用于致使混合现实显示设备系统的透视显示器中的现实对象消失的 各实施例。与在其他图像处理应用中一样，术语“对象”可以是指人或物。例如，作为用于 标识什么在图像中的图案识别过程的一部分，可向图像数据中的人或物应用边缘检测。如 上所述，通过透视、混合现实显示设备，用户能够真正地(literally)透视显示器并与现实 世界交互，同时还看到由一个或多个软件应用生成的图像。
在该显示设备系统上执行的软件应用标识用户消失准则。在某些示例中，用户消 失准则可以基于用户输入，该用户输入具体标识用户不想要看到其相关对象的主题项。在 某些示例中，主题可以是可跨越不同类型的对象体现的类别或一般性话题。例如，所标识的 主题可以是一类人，诸如小丑。在另一示例中，主题可以是一类树。在其他示例中，主题项可 以是指一个或一组特定对象。例如，主题可以是特定人(诸如某人的九岁大的兄弟)或特定 物(诸如破坏了风景的位于特定地点的蜂窝塔)。在另一示例中，主题可以特定的人、地点、 或物，其中不同类型的对象与所述特定的人、地点或物有关。这种特定物的示例是特定的 连锁餐馆。有关的对象的某些示例是穿着该连锁餐馆的员工制服的人、为该连锁餐馆做广 告的告示牌、该连锁餐馆的路标、或容纳该连锁餐馆之一的建筑物。
在某些实施例中，用户消失准则可以基于用户当前感兴趣的主题来确定。为了强 调当前感兴趣的主题的信息，使不满足当前感兴趣的主题的相关准则的对象从显示器中消 失。
如下所述，图像数据在该透视显示器中被置于该透视显示器的视野中与主题项有 关的现实对象的至少一部分上方。当用户的头、身体或眼睛凝视可能改变，或者现实对象的 位置可能改变，或者两者均可能改变，所以覆盖的图像数据跟踪正在消失的现实对象相对 于透视显示器的视野的位置。
为了使对象消失，可以采用不同的更改技术。某些技术可以是用黑色图像数据覆 盖现实对象或者通过跟踪到该对象的模糊图像数据来遮蔽(obscure)现实对象的简单的修 订效果(redaction effect)。其他技术可涉及在显示器中用虚拟的不同类型的对象来取代 该现实对象。例如，如果要遮挡(block)小丑，则可在透视显示器中显示跟踪现实小丑的移 动的化身(avatar)。在其他示例中,可采用擦除技术(erasure technique)。擦除技术的一 种实现技术的一个示例是显示现实对象后的事物的图像数据来覆盖透视显示器中的该现 实对象。在擦除技术的另一个实现示例中，通过复制围绕该现实对象的对象的图像数据来 生成图像数据。显示该图像数据来覆盖该现实对象，从而有效地将该现实图像从显示器的 视野中混合掉(blend out)。在某些实施例中，在该透视显示器的预定可见距离内的满足用 户消失准则的现实对象的位置是用于选择用于现实对象的更改技术的基础。
具体而言，在使用擦除技术时，某些实施例通过如下方式提供冲突避免安全特征 跟踪该透视、混合现实显示设备的位置或迹线(trajectory)以及“被擦除”的现实对象的 相对位置或迹线，并且在“被擦除”的现实对象和该显示设备落入冲突距离内时输出安全警生 口 ο
图1A是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。系统 8包括作为通过线6与处理单元4进行通信的近眼、头戴式显示设备2的透明显示设备。在 其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。处理单元4可 以采取各种实施例。在一些实施例中，处理单元4是可以佩戴在用户的身体(例如，在所示 示例中的腕)上或置于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能 力中的大部分能力。处理单元4可在通信网络50上与一个或多个计算系统12无线地通信 (例如，WiF1、蓝牙、红外、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其它无线通 信装置)，而无论如本示例中的位于附近，还是位于远程地点。在其他实施例中，处理单元4 的功能可被集成在显示设备2的软件和硬件组件中。
头戴式显示设备2 (在本实施例中它是带框115眼镜的形状)被佩戴在用户的头 上，使得用户可以透视显示器(在本示例中该显示器被体现为用于每一只眼睛的显示光学 系统14)，并且从而具有对该用户前方的空间的实际直接视图。使用术语“实际直接视图” 来指直接用人眼看到现实世界对象的能力，而非看到对象的所创建的图像表示。例如，在房 间中透过眼镜看将允许用户具有该房间的实际直接视图，而在电视机上查看房间的视频不 是该房间的实际直接视图。基于执行软件(例如，游戏应用)的上下文，该系统可以将虚拟对 象的图像(有时称为虚拟图像)投影在可由佩戴该透明显示设备的人观看的显示器上，同时 该人还透过该显示器观看现实世界对象。因此，每个显示光学系统14是其相应眼睛的透视 显示器，而这两个显示光学系统14还可共同被称为透视显示器。
镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管 道。在该实施例中，镜架115提供了便利的眼镜架作为对下面进一步讨论的系统的各元件 的支承体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是帽舌或护目镜。 镜架115包括用于搁在用户的每一只耳朵上的镜腿或侧臂。镜腿102代表右镜腿的实施例， 并且包括显示设备2的控制电路136。镜架的鼻梁104包括用于记录声音并向处理单元4 传送音频数据的话筒110。
计算系统12可以是计算机、游戏系统或控制台、或这些中的一个或多个的组合。应用可以在计算系统12上执行，或者可以在透视、混合现实显示设备8中执行。
在本实施例中，计算系统12可通信地耦合于一个或多个捕捉设备20A和20B。在 其他实施例中，可使用多于或少于两个捕捉设备来捕捉房间或用户的其他物理环境。捕捉 设备20A和20B可以是例如相机，该相机在视觉上监视一个或多个用户和周围空间，从而可 以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空间的结构。姿 势担当应用内的一个或多个控制或动作和/或用于将化身或屏幕上角色动画化。
捕捉设备20A和20B可以是深度相机。根据一示例性实施例，每个捕捉设备20A、 20B可被配置为通过可包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来 捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一个实施例，该 捕捉设备20A、20B可将深度信息组织成“Z层”，即可与从深度相机沿其视线延伸的Z轴垂 直的层。捕捉设备20A、20B可包括图像相机组件，该图像相机组件可包括用于捕捉场景的 深度图像的IR光组件、三维(3-D)相机、以及RGB相机。深度图像可包括被捕捉的场景的 二维(2-D)像素区域，其中2-D像素区域中的每一个像素都可以(例如以厘米、毫米等等为 单位)表示来自相机的被捕捉的场景中的对象的长度。
每个捕捉设备(20A和20B)还可包括话筒(未示出)。计算环境12可以连接到诸 如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用视觉的视听设备16。在一些情 况下，视听设备16可以是三维显示设备。在一个示例中，视听设备16包括内置扬声器。在 其他实施例中，视听设备16、单独的立体声系统或计算系统12连接到外部扬声器22。
图1B是描绘可通过通信网络50与其他设备通信的透视、混合现实显示设备系统8 的另一个实施例的示例组件的框图。在该实施例中，近眼显示设备2与作为处理单元4的 示例实施例的移动计算设备5进行通信。在所示示例中，移动设备5经由线6进行通信，但 在其他示例中通信也可以是无线的。
而且，如在计算系统12中一样，应用(比如消失应用(参见下面的456))可在移动 设备5的处理器上执行，用户动作控制该应用并且该应用可通过显示光学系统14显示图像 数据。移动设备5的显示器7还可显示用于执行应用的数据(例如菜单)，并且可以是触摸 敏感的，以接收用户输入。移动设备5还提供用于使用有线或无线通信协议经由有线或无 线通信介质通过因特网50或经由另一通信网络50 (例如，WiF1、蓝牙、红外、RFID传输、 WUSB、蜂窝、3G、4G或其他无线通信手段)与其他计算设备(比如计算系统12)通信的网络接 口。像计算系统12等远程网络可访问的计算系统可被像移动设备5等处理单元4充分利 用来提供处理能力和远程数据访问。移动设备5的硬件和软件组件(例如可被包括在智能 电话或平板计算设备中)的示例在图17中描述，并且这些组件可以包括处理单元4的硬件 和软件组件，如在图3B的实施例中讨论的那些组件。移动设备5的一些其他示例是智能电 话、膝上型计算机或笔记本计算机以及上网本计算机。
图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示 设备的实施例中的镜架115的眼镜腿102的侧视图。在镜架115的前部是面向物理环境的 视频相机113，其可捕捉发送给处理单元4、5的视频和静态图像。具体而言，在其中显示设 备2没有结合像系统12的捕捉设备20a和20b等深度相机操作的某些实施例中，面向物理 环境的相机113可以是深度相机以及对可见光敏感的相机。该相机可包括一个或多个深度 传感器和相应的红外照明器以及可见光检测器。头戴式显示设备2的相机113中可包括(而不限于此)的检测器的其他示例是SONAR、LIDAR、结构化光、和/或被定位为检测该设备的 佩戴者可能正在观看的对象的飞行时间(Time of Flight)距离检测器。
来自相机的数据可被发送到控制电路136的处理器210、或处理单元4，5、或者这 两者，它们可以处理该数据，但单元4，5也可将数据通过网络50或发送到一个或多个计算 机系统12。该处理标识并映射用户的现实世界视野。另外，面向物理环境的相机113还可 包括用于测量环境光的曝光计。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路 136的更多细节在下文参考图3A提供。在镜腿102内部或安装到镜腿102的是耳机130、惯 性传感器132、一个或多个地点传感器144 (例如，GPS收发器)、红外(IR)收发器、用于经由 眼睛移动检测命令的任选的电脉传感器128、以及温度传感器138。在一个实施例中，惯性 传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C (参见图3A)。 惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些移动中，也可 以确定头部位直。
图像源或图像生成单元120可安装到眼镜腿102或在眼镜腿102内部。在一个实 施例中，图像源包括用于投射一个或多个虚拟对象的图像的微显示器120和用于将来自微 显不器120的图像导入光导光学兀件112中的透镜系统122。透镜系统122可包括一个或 多个透镜。在一个实施例中，透镜系统122包括一个或多个准直的透镜。在所示示例中，光 导光学元件112的反射元件124接收透镜系统122所定向的图像。
存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可 以使用透射投影技术来实现，其中光源由光学有源材料来调制，用白光从背后照亮。微显 示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。数字光处理 (DLP)、桂基液晶(LCOS)以及尚通公司的Mirasol 显不技术都是反射技术的不例。另外， 微显示器120可使用发射技术来实现，其中由显示器产生光，例如，MiciOVision有限公司 的PicoPTM显示引擎。
图2B是透视、近眼、混合现实设备的显示光学系统14的实施例的俯视图。近眼显 示设备2的镜架115的一部分将围绕显示光学系统14以用于为所示的一个或多个透镜提 供支撑和进行电连接。为了示出头戴式显示设备2中的显示光学系统14(在该情况下是右 眼系统14r)的各个组件,在显不光学系统周围的镜架115的一部分未被描绘。
在一个实施例中，显示光学系统14包括光导光学元件112、不透明度过滤器114、 透视透镜116和透视透镜118。在一个实施例中，不透明度过滤器114处于透视透镜116之 后并与其对准，光导光学元件112处于不透明度过滤器114之后并与其对准，并且透视透镜 118处于光导光学元件112之后并与其对准。透视透镜116和118是眼镜中使用的标准透 镜，并且可根据任何处方(包括无处方)来制作。在一些实施例中，头戴式显示设备2将仅仅 包括一个透明透镜或者不包括透明透镜。不透明度过滤器114滤除自然光(要么以每像素 为基础，要么均匀地)以增强虚拟图像的对比度。光导光学元件112将人造光引导至眼睛。 下面提供光导光学元件112和不透明度过滤器114的更多细节。
光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户 的眼睛140。光导光学元件112还允许如表示显示光学系统14r的光轴的箭头142所示那 样将光从头戴式显示设备2的前方通过光导光学元件112传送到眼睛140，由此除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接 视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射面124(例 如镜面或其他表面)。来自微显示器120的光穿过透镜122并入射在反射面124上。反射 面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件 112的平面衬底内。
在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射面126的阵 列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从 衬底出射并入射在这些反射面上的光波耦合到用户的眼睛140。在一个实施例中，每只眼睛 将具有其自己的光导光学元件112。当头戴式显示设备具有两个光导光学元件时，每只眼睛 都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者 在两只眼睛中显示不同图像。在另一实施例中，可以存在将光反射到两只眼睛中的一个光 导光学兀件。
与光导光学元件114对齐的不透明度过滤器112要么均匀地，要么以每像素为基 础来选择性地阻挡自然光，以免其穿过光导光学元件112。在一个实施例中，不透明度过滤 器可以是透视IXD面板、电致变色膜(electrochromic film)或能够充当不透明度过滤器 的类似设备。通过从常规IXD中除去衬底、背光和漫射体的各层，可以获得这样的透视IXD 面板。IXD面板可包括一个或多个透光IXD芯片，所述透光IXD芯片允许光穿过液晶。例 如，在LCD投影仪中使用了这样的芯片。
不透明度过滤器114可以包括致密的像素网格，其中每个像素的透光率能够在最 小和最大透光率之间被个别化地控制。尽管0-100%的透光率范围是理想的，然而更有限的 范围也是可以接受的。在一个示例中，100%的透光率表示完美清澈的透镜。可以从O — 100%定义“阿尔法(alpha)”标度，其中0%不允许光穿过，并且100%允许所有光穿过。可 以由下面描述的不透明度过滤器控制单元224为每个像素设置阿尔法的值。在用代理为现 实世界对象进行Z-缓冲(z-buffering)之后，可以使用来自渲染流水线的阿尔法值的掩码 (mask)ο
当系统为增强现实显示而呈现场景时，该系统注意到哪些现实世界对象处于哪 些虚拟对象之前。在一个实施例中，显示器和不透明度过滤器被同时渲染，并且被校准到 用户在空间中的精确位置以补偿角度偏移问题。眼睛跟踪可用于计算视野的末端处的正 确的图像偏移。如果虚拟对象处于现实世界对象之前，则不透明度对于该虚拟对象的覆盖 区域而言被开启。如果虚拟对象(虚拟地)处于现实世界对象之后，则不透明度以及该像素 的任何颜色都被关闭，使得对于现实光的该相应区域(其大小为一个像素或更多)而言，用 户将会仅仅看到现实世界对象。覆盖可以是以逐像素为基础的，所以该系统可以处理虚拟 对象的一部分处于现实世界对象之前、该虚拟对象的一部分处于现实世界对象之后、以及 该虚拟对象的一部分与现实世界对象相重合的情况。不透明度过滤器帮助虚拟对象的图像 表现得更真实并且表示全范围的颜色和强度。于2010年9月21日提交的美国专利申请号 12/887, 426 “Opacity Filter For See-Through Mounted Display (用于透射安装显不器 的不透明度过滤器)”中提供了不透明度过滤器的更多细节，该专利申请的全部内容通过引 用并入本文。
头戴式显示设备2还包括用于跟踪用户的眼睛位置的系统。如下面将会解释的那样，该系统将跟踪用户的位置和定向(orientation)，使得该系统可以确定用户的视野。然 而，人类将不会察觉处于其之前的所有事物。相反，用户的眼睛将对准环境的子集。因此， 在一个实施例中，该系统将包括用于跟踪用户的眼睛位置的技术以便细化对用户视野的测 量。例如，头戴式显示设备2包括眼睛跟踪部件134 (参见图2B)，该眼睛跟踪部件134将 包括眼睛跟踪照明设备134A和眼睛跟踪相机134B (参见图3A)。
在一个实施例中，眼睛跟踪照明源134A包括一个或多个红外(IR)发射器，这些红 外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多个感测所反射的IR光的相 机。通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。例如，参见2008年7 月 22 日颁发给 Kranz 等人的、名称为 “Head mounted eye tracking and display system (头戴式眼睛跟踪和显示系统)”的美国专利7，401，920，该专利通过引用结合于此。这样的 技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图 像以及使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛 的位置就足够了，因为眼睛通常一致地移动。然而，单独地跟踪每只眼睛是可能的。或者， 眼睛跟踪相机可以是使用眼睛的基于任何运动的图像在有或没有照明源的情况下检测位 置的跟踪相机的替换形式。
跟踪眼睛移动的另一个实施例是基于电荷跟踪(charge tracking)的。该方案基 于如下观察视网膜携带可测量的正电荷并且角膜具有负电荷。在某些实施例中，传感器 128通过用户的耳朵来安装(靠近耳机130)以检测眼睛在转动时的电势并且有效地实时读 出眼睛正在进行的动作。(参见2010年2月19日的“用眼球激活的耳机控制你的移动音 乐！ ” [2011 年 7 月 12 日获取自因特网http://www. wirefresh. com/control-your-mobi le-music-with-eyeball-actvated-headp hones]。)眨眼也可作为命令被跟踪。还可使用 用于跟踪眼睛移动的其他实施例，诸如眨眼，其是基于从装载在眼镜内部上的眼睛跟踪相 机134B的图像数据中的图案和运动识别的。
在以上实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置 的根据相同原理操作的透镜。另外，图2A和2B仅示出头戴式显示设备2的一半。完整的头 戴式显示设备可包括另一组透视透镜116和118、另一不透明度过滤器114、另一光导光学 兀件112、另一微显不器120、另一透镜系统122、面向物理环境的相机113(也称面向外部或 面向前方的相机113)、眼睛跟踪组件134、耳机130、传感器128 (如果存在)、以及温度传感 器138。在通过引用包含于此的2010年10月15日提交的题为“Fusing Virtual Content Into Real Content”(将虚拟内容融合到现实内容中)的美国专利申请号12/905952中示 出头戴式显示器2的附加细节。
图3A是可以用于一个或多个实施例的透视、近眼、混合现实显示设备2的硬件和 软件组件的一个实施例的框图。图3B是描述处理单元4，5的各组件的框图。在这一实施 例中，近眼显示设备2接收来自处理单元4，5的关于虚拟图像的指令并将来自传感器的数 据提供回处理单元4，5。例如在图3B中描绘的可被实现在处理单元4，5中的软件和硬件组 件从显示设备2接收传感数据并且还可通过网络50从计算系统12接收传感信息(参见图1A和1B)。基于这一信息，处理单元4、5将确定在何处以及在何时向用户提供虚拟图像并 相应地将指令发送给显示设备12的控制电路136。
注意，图3A的某些组件(例如，朝向外部或物理环境的相机113、眼睛相机134、微显示器120、不透明度过滤器114、眼睛跟踪照明单元134A、耳机130、传感器128 (如果存 在)、以及温度传感器138)以阴影显示，以指示那些设备中的每一个可以有至少两个，其中 至少一个在头戴式显示设备2的左侧而至少一个在右侧。图3A示出控制电路200与电源 管理电路202进行通信。控制电路200包括处理器210、与存储器244 (例如D-RAM)进行 通信的存储器控制器212、相机接口 216、相机缓冲区218、显示驱动器220、显示格式化器 222、定时生成器226、显示输出接口 228、以及显示输入接口 230。在一个实施例中，控制电 路200的所有组件经由一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制 电路200的每个组件都与处理器210通信。
相机接口 216提供到两个面向物理环境的相机113和每一眼睛相机134的接口， 并且将从相机113、134接收到的相应图像存储在相机缓冲区218中。显示驱动器220将驱 动微显示器120。显示格式化器222可以向执行该混合现实系统的处理的一个或多个计算 机系统(例如4、5、12、210)的一个或多个处理器提供与被显示在微显示器120上的虚拟图 像有关的信息。显示格式化器222可向不透明度控制单元224标识关于显示光学系统14的 像素的透射率设置。定时生成器226被用于向该系统提供定时数据。显示输出接口 228包 括用于将来自面向物理环境的相机113和眼睛相机134的图像提供给处理单元4、5的缓冲 区。显示输入接口 230显示包括用于接收诸如要在微显示器120上显示的虚拟图像之类的 图像的缓冲区。显示输出228和显示输入230与作为到处理单元4、5的接口的带接口 232 进行通信。
电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放 大器238、话筒前置放大器和音频ADC 240、温度传感器接口 242、电脉冲控制器237、以及时 钟生成器245。电压调节器234通过带接口 232从处理单元4、5接收电能，并将该电能提供 给头戴式显示设备2的其他组件。照明驱动器236例如经由驱动电流或电压来控制眼睛跟 踪照明单元134A以大约预定波长或在某一波长范围内操作。音频DAC和放大器238向耳 机130提供音频数据。话筒预放大器和音频ADC 240提供话筒110的接口。温度传感器接 口 242是用于温度传感器138的接口。电脉冲控制器237从传感器128 (如果其被显示设 备2实现)接收指示眼睛移动的数据。电源管理单元202还向三轴磁力计132A、三轴陀螺 仪132B以及三轴加速度计132C提供电能并从其接收回数据。电力管理单元202还向一个 或多个位置传感器144提供电力并从所述位置传感器接收数据并向其发送数据，在本示例 中该一个或多个地点传感器包括GPS收发器和IR收发器。
图3B是与透视、近眼、混合现实显示单元相关联的处理单元4的硬件和软件组件 的一个实施例的框图。移动设备5可包括硬件和软件组件的这一实施例以及执行类似功能 的类似组件。图3B示出控制电路304与电源管理电路306进行通信。控制电路304包括中 央处理单元(CPU) 320，图形处理单元(GPU) 322，高速缓存324，RAM 326，与存储器330 (例 如，D-RAM)进行通信的存储器控制器328，与闪存334 (或其他类型的非易失性存储)进行 通信的闪存控制器332，经由带接口 302和带接口 232与透视、近眼显示设备2进行通信的 显示输出缓冲区336，经由带接口 302和带接口 232与近眼显示设备2进行通信的显示输入 缓冲区338，与用于连接到话筒的外部话筒连接器342进行通信的话筒接口 340，用于连接 到无线通信设备346的PCI express接口，以及USB端口 348。
在一个实施例中，无线通信组件346包括启用W1-Fi的通信设备、蓝牙通信设备、红外通信设备、蜂窝、3G、4G通信设备、无线USB (WUSB)通信设备、RFID通信设备等等。无 线通信设备346由此允许与例如另一显示设备系统8的端对端数据传输，以及经由无线路 由器或基塔连接到较大网络。USB端口可被用于将处理单元4、5接驳到另一显示设备系统 8。另外，处理单元4、5可接驳到另一计算系统12以便将数据或软件加载到处理单元4、5 以及对处理单元4、5充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时 以及如何向用户的视野内插入虚拟图像的主负荷设备。
电源管理电路306包括时钟生成器360，模数转换器362，电池充电器364，电压调 节器366，透视、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接口 372 (位于处理单元4的腕带上)。交流电到直流电转换器362被连接到充电插座370来接 收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368 进行通信。电池充电器364被用来在从充电插座370接收到电能后对电池368进行充电 (经由电压调节器366)。设备电源接口 376向显示设备2提供电能。
图像数据可被应用到在一地点中所标识的、并且在透视、混合现实显示设备系统 的用户视野内的现实对象。用户的环境中的现实对象(比如人和物)的地点被跟踪以跟踪到 其预期现实对象的虚拟对象。为了图像处理的目的，人和物两者均可以是对象，而对象可以 是现实对象(物理上存在的某事物)或显示设备2所显示的图像中的虚拟对象。在上面讨论 的硬件组件的一个或多个上执行的软件使用传感器(诸如相机、定向传感器以及一个或多 个地点传感器)和网络连接所提供的数据来跟踪用户的环境中的现实和虚拟对象。
通常，虚拟对象是以三维显示的，以便正像用户与三维空间中的现实对象交互一 样，用户可与三维空间中的虚拟对象交互。接下来讨论的图4到图12以不同的细节水平描 述了各方法的实施例、处理图像数据的示例性数据结构和软件组件、用于致使满足用户消 失准则的现实对象从透视显示器中消失的用户输入和用户消失准则。
图4是从软件角度看的用于致使现实对象在透视、混合现实显示设备系统的显示 器中消失的系统的实施例的框图。在本实施例中，执行作为客户端侧或设备消失应用456i 的某版本的消失应用的透视混合现实显示设备系统8通过网络50可通信地耦合于执行作 为服务器侧消失应用456的另一版本的消失应用的计算系统12。在本实施例中，本地和服 务器侧版本的不同应用(消失456、其他应用462、推送服务应用459等)中的每一个执行相 同的功能。所讨论的处理可完全由显示设备系统8的软件和硬件组件执行。例如，用于显 示系统8的本地消失应用456i可基于其本地资源标识用于消失的现实对象并跟踪到该现 实对象的图像数据。服务器侧版本比本地版本具有对它们可用的更多硬件资源，诸如更大 的本地存储器大小以及专用的处理器。在其他示例中，服务器侧消失应用456对于显示系 统设备8远程地执行对用于消失的现实对象的标识以及到用于消失的现实对象的图像数 据的跟踪。在其他示例中，不同版本利用它们的资源并共享处理。
在本实施例中，系统8、461和12中的每一个通过一个或多个网络50可通信地耦 合到下面进一步讨论的各数据库，诸如参考对象数据集474、图像数据库470、以及用户简 档数据库460。
其他基于处理器的系统461的某些示例是其他透视、混合现实显示设备系统、其 他头戴式显示系统、服务器、比如移动电话、智能电话、上网本、笔记本等移动设备等等以及 台式计算机。这些其他基于处理器的系统461与显示设备系统8通信以提供来自应用中的一个或多个的各种多媒体格式的数据，像是文本、音频、图像和视频数据。例如，该数据可以是用户所在的相同地点的朋友的视频，或者示出来自该用户的朋友列表上的其他人的消息的社交网络页面。如在下面的示例中讨论的，这种数据也可以是发送者不希望看到的现实对象的图像消失数据。以此方式，接收者用户可查看被更改以从接收者的视野中遮蔽发送者不想要的现实对象的场景。
显示设备系统8和其他基于处理器的系统461执行客户端侧版本的推送服务应用 459N，所述推送服务应用459N通过通信网络50与信息推送服务应用459通信。用户可向信息推送服务应用459注册帐户，该信息推送服务应用准许信息推送服务许可以监视用户正在执行的应用及其生成和接收的数据以及用户简档数据460n，以及用于跟踪用户的地点和设备能力的设备数据464n。
在一个实施例中，计算系统12包括用户简档数据库460，该用户简档数据库可聚集来自存储在该用户的不同用户计算机系统8、461上的用户简档数据的数据。用户简档数据的本地副本46(^、460n可存储相同用户简档数据460的一部分并可通过通信网络50周期性地用由计算机系统12存储在可访问数据库中的用户简档数据460更新其本地副本。用户消失准则473也可被存储在用户简档数据460中。用于消失的主题数据410和当前感兴趣的主题数据420均是用户消失准则473的类型。
图5A示出用户消失准则473中的消失主题项数据记录410的示例。在本示例中， 主题标识符412可包括人、地点或物的标识符,且该标识符可指示人、地点或物的类别或类型。该标识符还 可引用(reference)具体的人、地点或物。在某些示例中，该标识符可以是对人、地点或物的图像的存储地点的引用。例如，图13A到图13D示出了作为指示一人被从用户对山的视图中除去的用户输入的姿势的示例。用户可能不知道她或他正在看并且请求消失的人、地点或物的名字，所以图像存储地点引用(例如，文件名)标识图像数据，作为用于标识该主题的基础。地点信息也可以是用于主题标识的基础。
消失应用ASedSei基于该标识符412代表的消失主题将一个或多个现实对象类型414与该主题标识符412相关联。类似地，消失应用456将一个或多个主题关键词416 与数据记录410中的主题标识符412相关联。例如，消失应用ASedSei可与搜索应用462、 462i接口(interface)以标识该主题的同义词和相关词，该搜索应用将该同义词和相关词返回给消失应用456、456lt)所述关键词在为满足用户消失准则的任何现实对象查找现实对象元数据中的匹配时进行协助。主题标识符412和关键词416还可通过在参考对象数据集中查找匹配来标识与该主题有关的现实对象类型414。在某些示例中，用户输入也可标识现实对象类型414和主题关键词416。
图5B示出用户消失准则473中的消失主题项数据记录410的现实对象类型记录的数据字段的示例。对于每个现实对象类型414，更改技术指示符415指示用于使该现实对象消失的更改技术。用户可指示该更改技术，并且该应用可提供一个或多个缺省更改技术。更改技术的一些示例包括擦除、修订(redaction)、模糊化(blurring)和用另一对象取代。如果取代是所指示的更改技术，则用户可任选地标识取代对象417，该取代对象可以是具体的，或者指代一种类型的对象。取代对象417可存储该取代对象的显示数据(参见下面的472)或指向该显示数据的标识符。该显示数据可以是下面描述的参考对象数据集474 的实例化。
用户可指示用户希望消失的主题，但是用户也可指示当前感兴趣的主题。对于当 前感兴趣的主题，标识该主题的一个或多个感兴趣的现实对象类型。相关性准则被应用到 元数据(参见图5C)，其描述具有与感兴趣的现实对象类型中的至少一个相匹配的类型(例 如，路标)的现实对象。如果所述一个或多个感兴趣的对象类型的一现实对象不满足该相关 性准则，则使该现实对象消失。在某些示例中，用户输入可直接标识当前感兴趣的主题，而 消失应用Asejse1经由标识当前感兴趣的主题的一个或多个现实对象类型的一个或多个 电子地提供的请求来提示(prompt)用户。例如，一用户可能对中餐馆感兴趣，并且希望减 少她对一条繁忙街道上的建筑物符号的视图的混乱。然而，使所有现实对象(包括她前方的 街道)消失可能是危险的，并且在定位中餐馆时没有帮助。
在某些情况下，该用户已经由另一执行的应用462指示了当前感兴趣的主题，并 且该应用与消失应用Asejse1通信以标识该当前感兴趣的主题、主题关键词(特别是与应 用462相关的那些)、以及感兴趣的现实对象类型424。例如，对于汽车导航应用示例，不同 类型的路标可被标识为感兴趣的现实对象类型。该执行的应用选择更改指示符414以及任 何可应用的取代对象417。
在某些示例中，消失应用456提供软件接口，例如应用编程接口(API)，该接口定 义用于定义现实对象类型414、主题标识符412、主题关键词416、相关性准则428 (例如，用 于确定相关性的规则)的数据格式。
图5C示出了用户消失准则数据473中的当前感兴趣主题项数据记录420的示例。 主题标识符422被指派(assign)，并且像消失主题一样，标识符422可以是对另一存储位 置的引用、标识一种类型的人、地点或物、或者是对具体的人、地点或物的引用。如同上面讨 论的，现实对象类型数据记录414被存储并包括更改技术指示符415并且任选地包括取代 对象标识符417。类似地，一个或多个主题关键词416可与标识符422相关联，例如通过请 求并从搜索应用462接收关键词。而且，为感兴趣的主题指派相关性准则428。在某些情 况下，相关性准则428可以是执行的应用462所提供的规则，通过其来标识当前感兴趣的主 题。一组缺省规则也可实现相关性准则428。
消失应用为该组缺省规则实现的逻辑的一个示例是一现实对象具有与当前感兴 趣的现实对象类型相同的类型，以及该现实对象的元数据包括主题关键词416或主题标识 符422中的至少一个。
正如图5B的示例一样，在某些情况下用户可选择更改技术和任何可应用的取代 对象标识符。在其他示例中，与消失应用ASedSei接口的执行的应用462、462i设置更改技 术指示符415以选择用于一现实对象类型的更改技术并设置任何可应用的取代对象417。
在某些情况下，主题项数据记录410、420可被临时地存储。事件触发器可向用户 提示他或她是否希望将该主题在非易失性存储器中存储为消失主题或感兴趣的主题以供 稍后检索的电子地提供的请求，事件触发器的一些示例是用于消失的对象不再在视野中， 用户已移出一地点、或已接收到将该主题标识为不再感兴趣的数据。请求在被显示、被作为 音频数据播放、或这两者地结合时被电子地提供。还可以为更改技术和取代对象偏好来电 子地提供请求。如果用户没有任何指定，则可选择缺省更改技术和用于该缺省技术的任何 取代对象。
用户简档数据一些其他示例是用户所表达的偏好、用户的朋友的列表、用户的偏好的活动、用户的提醒的列表、用户的社会团体、用户的当前地点、以及其他用户创建的内 容，诸如用户的照片、图像和记录的视频。在一个实施例中，用户特定的信息可以从一个或 多个应用和数据源获得，诸如用户的社交站点、地址簿、来自日历应用的排程数据、电子邮 件数据、即时消息收发数据、用户简档或者因特网上的其他源以及该用户直接输入的数据。
该推送服务应用459的每个版本还在用户简档数据460中存储该用户的跟踪历 史。在跟踪历史中跟踪的事件、人和物的一些示例是所访问的地点、事务、购买的内容和现 实物品、以及所检测到的该用户与其交互的人。如果电子地标识的朋友(例如，社交网络朋 友、联系人列表)也注册到推送服务应用459，或者他们通过到该用户的数据或通过其他应 用466公开地使信息可用，则推送服务应用459还可使用此数据来跟踪该用户的社会情境 (social context)ο随时间跟踪所访问的地点，并且在用户接近熟悉的地点时允许用于消 失的现实对象和它们的更改图像数据被存储、预取(prefetch)、并为下载做好准备。
可基于一个或多个检测传感器获得混合现实设备系统8的地点标识符数据。在某 些情况下，计算系统12与混合现实设备上的检测传感器(比如一个或多个收发机144)通 信。如在以下示例中讨论的，来自一个或多个不同类型的地点检测传感器的数据可被用来 获得地点标识符数据。基于来自处理单元4 (例如当该单元被具体化为移动设备5时)的信 号，蜂窝塔三角测量(cell tower triangulation)可被用来标识混合现实显示设备系统的 地点。可从该显示设备的GPS收发机获得全球定位系统(GPS)数据，或者如在图17中公开 的，可从处理单元5中的GPS收发机965获得GPS数据，以标识混合现实设备的地点。GPS 技术可用于在用户进入地理围栏(geofence)时进行标识。地理围栏标识符可被用于检索 (retrieve)该地理围栏内的区域的图像，以及在某些情况下从图像数据生成的该区域的三 维模型。
面积较小的地点或空间也可通过其他类型的无线检测传感器(诸如无线通用串 行总线(WUSB)收发器、蓝牙收发器、RFID收发机或IR收发器，例如346、144)来描绘或围 出。标识数据可以与计算机系统12或其他计算机系统461，包括其他透视混合现实显示设 备系统，交换。在其他示例中，计算系统12与中间检测传感器通信。这种中间检测传感器 的一个示例是无线网络接入点，例如，WiFi，显示系统8通过该接入点可通信地耦合到计算 机系统12。网络接入点的地点由计算系统12存储。面向物理环境或面向外的相机113也 可单独地或与其他传感器数据(例如GPS坐标数据)结合地用作地点检测传感器。可使用图 案识别软件(pattern recognition software)将该图像数据与其他图像比较以标识匹配。
设备数据464可以包括计算机系统8的唯一标识符、网络地址(例如IP地址)、型 号、配置参数(诸如所安装的设备)、操作系统、以及什么应用在该显示设备系统8中可用并 在该显示系统8中执行等等。尤其对于透视、混合现实显示设备系统8，该设备数据还可包 括来自传感器的或从所述传感器(诸如定向传感器132、温度传感器138、话筒110、电脉冲 传感器128 (如果存在)、以及一个或多个地点检测传感器346、144 (例如，GPS收发器、IR 收发器))确定的数据。图像数据469是被面向外的相机113捕捉并被存储以被分析来由计 算系统12本地地或远程地检测现实对象的数据。
在讨论应用图像数据以致使该透视、混合现实显示器的视野中的现实对象消失之 前，首先呈现关于用于标识在一地点中且在透视显示器视野中的现实对象的组件的讨论。 而且，标识虚拟对象(诸如与消失相关联的那些虚拟对象)的位置并且基于该现实世界的所接收的图像数据生成包括所述位置的图像数据。
计算系统12可以使用一个或多个计算机系统实现。在本示例中，计算系统12通信地耦合到一地点中的一个或多个深度相机20A、20B以接收该位置的三维(3D)图像数据， 从该三维图像数据可标识现实对象及其位置。
来自面向外(从用户的头部向外)的相机113的图像数据可用于确定该透视显示器的视野，该透视显示器的视野近似于该用户的视野。相机113被放置在离每个显示光学系统14的光轴142的预定偏移处。该偏移被应用到相机113的图像数据以标识该显示器视野中的现实对象。基于相机113的分辨率或焦距设置，可确定到视野中的现实对象的距离。在某些示例中，面向外的相机113可以是深度相机以及视频相机。
如下面进一步描述的，在图像数据中标识现实对象并存储其外观特征475，例如存储在从计算机系统12通过通信网络50可访问的元数据430中，或本地存储在43(^中。参考对象数据集474提供绑定到不同类型的对象的外观特征类别，并且这些参考对象数据集 474可用于识别图像数据中的对象，并且用于选择虚拟对象的外观特征以便它们看上去真实。取代对象417标识符可存储参考对象数据集的实例化的标识符。
图ro示出用于标识现实对象的元数据的示例。为所检测的每个现实对象指派并存储现实对象标识符431。此外，还可存储该对象在三维中的位置数据432。在此示例中，位置数据432包括迹线数据433，用于至少跟踪一对象通过一地点中的位置的移动的速度和方向。如下面在图6A到图6E中进一步讨论的，标识该现实对象相对于该显示设备的视野的位置。此外，位置数据432可跟踪在所定义的地点内，即便当前不在该显示 设备视野内， 的标识的一个或多个现实对象的位置。例如，该用户可处于商店、家、或其他地点中，该环境中的相机(比如捕捉设备20A、20B)在那里跟踪对象，包括在该地点的三维(3D)模型坐标系中在该商店中的佩戴显示设备2的用户。此外，基于地点的图像数据源(比如Piioiosynih )可提供地点的3D模型和其中的从图像档案中开发的现实对象。
该位置数据还包括可见度434，该可见度基于该现实对象离显示设备系统8的位置。显示光学系统14的光轴142可以是参考点，从该参考点可以确定该现实对象的位置和迹线，并进而确定可见度。在某些实施例中，可见度被指派为对一地点的预定可见距离的细化。如下面讨论的，地点图像跟踪软件453 (比如Pltolosymh )可提供为该用户正在佩戴的显示设备系统8所检测的一地点的预定可见距离479。例如,在Yosemite的Half Dome 顶处被佩戴的显示设备可以看一百英里。由在高峰时间期间在繁忙的西雅图商业区街道上行走的用户佩戴的另一显示设备可具有约15米(即大致45英尺)的预定可见距离。
可基于平均的人类视力数据来定义多个可见度来区分一个或多个身体部位的一组外观特征和移动。在许多实施例中，每个可见度至少表示该对象和该显示设备2之间的距离范围和识别度。在某些示例中，该现实对象与每个光轴142的角度以及该现实对象相对于该显示设备的位置均可以作为基础。迹线也可以作为基础。(如下面提到的，即使一现实对象是静止的，迹线433也可被指派给该现实对象，因为显示设备系统8正在移动)。表示从较远到较近的距离的可见度的一些示例是颜色识别度、关节移动识别度、以及面部移动识别度。在某些实施例中，用一不可见等级来标识预定可见距离之外的现实对象。
该现实对象的地点数据435如果可用也可被存储。这可以是GPS数据或独立于显示设备2的视野的其他地点数据。
可为该现实对象存储关键词436。在某些情况下，本地的或服务器侧的消失应用可 能已将此现实对象标识为满足消失准则。例如，该现实对象是静止的并且在用户的工作地 点中。在这种示例中，关键词包括主题标识符。关键词的其他起始源可以是由其他用户与该 现实对象相关联的元数据，所述其他用户经由地点图像跟踪应用453 (例如Phoiosymlv )将他们的图像加载到位置图像数据库470中。而且，捕捉地点的数据的应用(比如存储应 用462)可将关键词与在其地点中的现实对象相关联。此外，可基于由本地的或服务器侧的 信息推送服务应用459从为该用户或其他用户执行的、准许对其进行监视的其他应用接收 的数据为该现实对象指派关键词。消失应用456或456i也可基于与该现实对象有关的用 户简档数据来指派关键词。
来自下面讨论的标识处理的、描述该现实对象的物理特性或特征的外观特征数据 集475也被存储在现实对象元数据430中。
图5E示出无生命对象的参考对象数据集的示例。所述数据字段包括对象的类型 481，所述对象的类型可以是还包括子字段的数据记录。针对对象的类型481，其他数据字 段提供如下的数据记录所述数据记录标识出对该类型的对象典型的外观特征的类型。例 如，其他数据记录标识大小范围483、形状选择484、材料的类型485、表面纹理486、典型颜 色487、典型图案488、表面491、以及每个表面的几何定向490。对象的参考对象数据集474 像是模板。离线标识可能已经被人工地或被图案识别软件执行并被用作为该系统定义的每 个类型的对象存储的每个参考数据集474的基础。在许多实施例中，虚拟对象(包括用于遮 蔽或取代用于消失的现实对象的虚拟对象)的显示数据472包括参考对象数据集的实例 化。在一实例化中，该对象的数据字段中的至少一些(例如大小和颜色)被指派为特定值。
在桌子作为对象类型的示例中，该对象类型的子字段可被选择为办公桌。大小范 围483可以是如下范围的典型值宽4到6英尺、长2到4英尺、以及高2到4英尺。可用 颜色可以是褐色、银色、黑色、白色、海军蓝、米黄色或灰色。某人可能具有红色的办公桌，因 此参考外观特征一般提供常见的或平均的参数。表面491可包括几何定向490指示为水平 的平坦表面。从桌子的图像数据也可备注出竖直表面。该平坦表面的表面纹理486可以是 平滑的，而可用图案488可指示木纹(wood grain)、以及乙烯反光的。木纹图案的类型可以 是可用图案488记录的子字段或子记录。
图5E示出用于人的参考对象数据集的示例，其可表示在更改技术中用于取代对 象的数据字段。针对人对象数据集的类型492，其他数据字段提供如下的数据记录所述数 据记录标识出对该类型的人典型的外观特征的类型。人的类型可以是一类别，其一些示例 为小丑、教师、警察、工程师、法官和摇滚明星。对于人，数据字段和数据集的一些示例被示 出为包括高度493、身体部位特征494、面部特征495、皮肤特性496、毛发特征497、服饰选择 498、以及鞋选择499。身体部位特征数据的一些示例是躯干宽度、胸宽、肌肉纹理、形状、 腿长、膝盖相对于整条腿的位置、以及头形。面部特征的一些示例可包括眼睛颜色、胎记或 其他标记、唇形、鼻形、前额高度。比如眉毛形状和化妆等另外的特性也可作为数据被存储 在人的面部特征中。
如同上面提到的，参考对象数据集474还提供用于定义一消失的虚拟对象的外观 特征的输入参数。在一个实施例中，消失显示数据472可定义虚拟对象的类型及其外观特 征，以由显示设备2的微显示器120呈现。例如，这些参考对象474可被认为是虚拟对象的外观特征的模板和参数。对于显示数据472，在模板的实例化中选择具体数据值(例如具体 颜色和大小)以生成要显示的实际的虚拟对象。例如，可以为每一个类型的对象定义类，而 该消失应用在运行时用每个表面和该对象的大小、材料类型、颜色、图案、表面纹理、形状参 数、以及几何定向的外观特征的参数来实例化相应类的虚拟对象。显示数据472可用标记 语言实现。例如，可使用可扩展标记语言(XML)。在另一示例中，可使用比如虚拟现实建模 语目(VRML)等标记语目。
现实对象的外观特征数据集475可具有与相同类型的参考数据对象集474类似地 定义的字段和子集，但是包括基于该现实对象的捕捉的数据检测或确定的实际数据值。可 能不能够为每个数据字段确定数据值。在某些实施例中，被指派的数据值是从参考对象数 据集474所提供的可用类型的选集(selection)中选择的。
除了解释命令以外，声音识别软件478还可被用于标识附近的用户和其他现实对 象。面部和图案识别软件476还可用于检测并标识图像数据中的用户以及图像数据中的对 象。用户输入软件477可接收标识用于控制应用的物理动作(比如姿势、特定的说出的语音 命令或眼睛移动)的数据。该一个或多个物理动作可包括用户对于现实或虚拟对象的响应 或请求。例如，在图13A到13D中，拇指姿势指示要使一现实对象消失。计算系统12的应 用450、456和459在标识一地点中的用户和其他对象时也可传递请求并从服务器侧版本的 声音识别软件478以及面部和图案识别软件476接收数据。
图4的框图还表示用于识别图像数据中的物理动作的软件组件，这在下面进一步 讨论。而且，处理该图像数据以及可用的传感器数据来确定透视、近眼显示设备2的视野内 的对象(包括其他用户)的位置。这一实施例示出各设备可如何利用联网计算机来映射用 户视野和周围空间的三维模型以及该模型内的现实和虚拟对象。在可通信地耦合到显示设 备2的处理单元4、5中执行的图像处理应用451可通过一个或多个通信网络50将图像数 据469从面向前的相机113传递到计算系统12中的深度图像处理和骨架跟踪应用450，以 处理图像数据来确定并跟踪三维中的对象，所述对象包括人和物两者。在某些实施例中，此 外，图像处理应用451可以在本地执行用于映射和定位3D用户空间中的对象的一些处理， 并可与远程地点图像跟踪应用453进行交互来接收对象之间的距离。通过充分利用网络连 接性，在应用之间共享处理的许多组合是可能的。
深度图像和骨架跟踪应用450检测对象、标识对象以及它们在模型中的位置。应 用450可基于来自深度相机(比如20A、20B)的深度图像数据、来自一个或多个面向外的相 机113的两维或深度图像数据、以及从数据库470获得的图像执行其处理。图像数据库 470可包括对象的参考图像以在图案和面部识别(例如，如可由软件476执行)中使用。数 据库470中的一个或多个中的图像中的一些还可经由由地点图像跟踪应用453与图像中的 对象相关联的地点元数据435来访问。地点元数据的一些示例包括GPS元数据、用于网络 接入点(比如WiFi热点)的地点数据、基于蜂窝塔三角测量的地点数据、以及来自其他类型 的无线收发器的地点数据。
地点图像跟踪应用453基于从处理单元4、5或被标识为处于用户附近的其他定位 单元(例如GPS单元)或两者接收到的地点标识符数据来标识一个或多个图像数据库470中 的用户的地点的图像。此外，图像数据库470可提供希望分享自己的图像的用户上传的一 地点的图像。该数据库可用地点元数据(比如GPS数据、WiFi SSID、基于蜂窝塔的三角测量数据、WUSB端口地点、或红外收发机的位置)来索引或可访问。地点图像跟踪应用453基于 地点数据来向深度图像处理应用450提供图像中的对象之间的距离。在某些示例中，地点 图像跟踪应用453提供地点的三维模型，而该模型可以是基于该地点中的相机所提供的实 时图像数据更新而动态的。除了指定地点中的固定相机外，其他用户的显示设备系统8和 移动设备可提供这样的更新。丨+Oiosynihi是这种地点图像跟踪应用453的示例。
深度相机处理和骨架跟踪应用450以及图像处理软件451两者均可为在图像数据 中标识的现实对象生成元数据430。为了标识并跟踪视野或用户地点中的活物(不管如何至 少是人)，可执行骨架跟踪。
面向外的相机113向计算系统12提供RGB图像(或其他格式或颜色空间的视觉图 像)和深度图像(在某些示例中)。如果存在，捕捉设备20A和20B也可向计算系统12发送 视觉图像和深度数据，计算系统12使用该RGB图像和该深度图像来跟踪用户的或对象的 移动。例如，系统将使用深度图像来跟踪人的骨架。可以使用许多方法以通过使用深度图 像来跟踪人的骨架。使用深度图像跟踪骨架的一个合适的示例在2009年10月21日提交 的Craig等人发明的美国专利申请12/603，437 “Pose Tracking Pipeline (姿态跟踪流水 线)”中提供。(后文称为‘437申请)，通过引用整体结合于此。
‘437申请的过程包括获得深度图像；对数据进行降采样；移除和/或平滑化高 方差噪声数据；标识并移除背景；以及将前景像素中的每个分配给身体的不同部位。基于 这些步骤，系统将使一模型拟合到该数据并创建骨架。该骨架将包括一组关节和这些关节 之间的连接。也可使用用于跟踪的其他方法。在下列四个美国专利申请中还公开了合适 的跟踪技术，所述专利的全部内容都通过引用结合于此于2009年5月29日提交的美国 专利申请 12/475，308 “Device for Identifying and Tracking Multiple Humans Over Time (用于随时间标识和跟踪多个人类的设备)”；于2010年I月29日提交的美国专利申 请 12/696，282 “Visual Based Identity Tracking (基于视觉的身份跟踪)”;于 2009 年 12 月 18 日提交的美国专利申请 12/641，788 “Motion Detection Using Depth Images (使用 深度图像的运动检测)”;以及于2009年10月7日提交的美国专利申请12/575，388"Human Tracking System (人类跟踪系统)”。
骨架跟踪数据标识哪些关节在一段时间内移动并被发送到姿势识别器引擎454， 该姿势识别器引擎包括多个过滤器455来确定该图像数据中的任何人或对象是否执行了 姿势或动作。姿势是用于用户向消失应用提供输入的物理动作。过滤器包括定义姿势、动 作或状况以及该姿势或动作的参数或元数据的信息。例如，包括一只手从身体背面经过身 体前方的运动的投掷可被实现为包括表示用户的一只手从身体背面经过身体前方的运动 的信息的姿势，因为该运动可能由深度相机捕捉。随后可为该姿势设定参数。当姿势是投 掷时，参数可以是这只手必须达到的阈值速度、这只手行进的距离(绝对的、或相对于用户 的整体尺寸)、以及识别器引擎454对发生的姿势的置信度评级。用于姿势的这些参数可随 时间在各应用之间、在单个应用的各个上下文之间、或在一个应用的一个上下文内变化。
对过滤器的输入可包括诸如关于用户的关节位置的关节数据、在关节处相交的骨 骼所形成的角度、来自场景的RGB颜色数据、以及用户的某一方面的变化速率等内容。来自 过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势 运动的时间等内容。在某些情况下，仅两维图像数据可用。例如，面向前的相机113仅提供两维图像数据。从设备数据464，可标识面向前的相机113的类型，并且识别器引擎454可 插入用于其姿势的两维过滤器。
关于识别器引擎454的更多信息可在2009年4月13日提交的美国专利申请 12/422, 661 “Gesture Recognizer System Architecture (姿势识别器系统体系结构)”中 找到，该申请的全部内容通过引用结合于此。关于识别姿势的更多信息可在2009年2月23 日提交的美国专利申请12/391，150 “Standard Gestures (标准姿势)”；以及2009年5月 29日提交的美国专利申请12/474,655 “Gesture Tool (姿势工具)”中找到，这些申请的全 部内容都通过引用结合于此。
在显示设备系统8中执行的图像处理软件451也可具有深度图像处理能力或从来 自面向外的相机113的立体图像对对象进行3D位置估计的能力。此外，图像处理软件451 还可包括用于检测指示用户输入的一组姿势的逻辑。例如，一组手指或手的姿势可为可识 别的。可使用骨架跟踪，但是图像数据中的手指或手的图案识别也可识别该组姿势中的姿势。
在下面对标识用户附近的对象的讨论中，对面向外的图像数据的引用是引用来自 面向外的相机113的图像数据。在这些实施例中，在相机位于与每个显示光学系统14的光 轴142的相对小的偏移处时，面向外的相机113的视野近似用户的视野，并且在处理图像数 据时将该偏移计入。
图6A是用于确定现实和虚拟对象在显示设备系统的三维视野中的位置的方法的 实施例的流程图。在步骤510，控制电路136、处理单元4、5、中枢计算系统12或这些的组 合的一个或多个处理器从一个或多个面向外的相机接收图像数据，并且在步骤512标识面 向外的图像数据中的一个或多个现实对象。在某些实施例中，面向外的图像数据是三维图 像数据。来自定向传感器132 (例如，三轴加速度计132C和三轴磁力计132A)的数据也可 与面向外的相机113图像数据一起使用来对用户周围的事物、用户的脸部和头部的位置进 行映射，以确定他或她可能在当时聚焦于哪些对象(现实或虚拟)。面部和图案识别软件476 可通过与参考对象数据集474和存储在图像数据库470中的实际图像进行比较来标识人和 物的对象。
在步骤514中，执行面部和图案识别软件476的一个或多个处理器还标识每个现 实对象的一个或多个外观特征，诸如对象的类型、大小、表面、几何定向、形状、颜色等。在步 骤516中，为透视显示设备的视野中的每个现实对象确定三维(3D)位置。基于执行的应用， 步骤518中的一个或多个处理器标识视野中的一个或多个虚拟对象3D位置。换言之，每 一对象相对于显示设备2位于何处，例如，相对于每一显示光学系统14的光轴142位于何 处。
图6B是用于在显示设备的视野中标识一个或多个现实对象的方法的实施例的流 程图。这一实施例可被用于实现步骤512。在步骤520，佩戴显示设备2的用户的位置被标 识。例如，经由移动设备5上GPS单元965 (参见图17)的GPS数据或显示设备2上的GPS 收发器144可标识用户的位置。附加地，与显示设备系统8具有连接的WiFi接入点或蜂窝 站的IP地址可以标识地点。在一地点内的已知位置处的相机可通过面部识别标识用户。 此外，可经由红外、蓝牙、RFID传输、或WUSB在各显示设备系统8之间交换标识符令牌。红 外、RFID、WUSB或蓝牙信号的范围可以充当用于确定与参考点(比如另一用户的显示设备)的接近度的预定义距离。
在步骤522中，一个或多个处理器从数据库(例如470)检索该地点的一个或多个 图像，例如经由对图像跟踪软件453的请求。在步骤524中，面部和图案识别软件476的本 地的或基于服务器的执行的版本或两者选择与来自该一个或多个面向外的相机113的图 像数据相匹配的一个或多个图像。在某些实施例，步骤522和524可由可访问图像数据库 的更强大的计算机(例如12)来远程地执行。在步骤526中，基于地点数据(例如GPS数据)， 一个或多个处理器确定面向外的图像数据中的一个或多个对象与该地点中的一个或多个 所标识的对象的相对位置，并且在步骤528中基于该一个或多个相对位置从该一个或多个 所标识的现实对象中确定用户的位置。
在某些实施例中，诸如在深度相机20A和20B捕捉实况房间的深度图像数据的图1A中，佩戴透视、近眼混合现实显示器的用户可以处于以下地点中在该地点中计算机系 统12的深度图像处理软件450提供一地点(诸如所定义的空间，例如商店)内的对象的三维 映射。图6C是用于生成某位置的三维模型的方法的实施例的流程图。在步骤530中，能够 访问深度相机的计算机系统(比如带有捕捉设备20A和20B的系统12)基于深度图像来创 建地点的三维模型。深度图像可来自多个角度并且可基于共同坐标地点(例如，商店空间) 来组合，并且创建该地点的体积或三维描述。在步骤532，在该地点中删除对象。例如，可 对深度图像执行边缘检测，以对对象(包括人)进行彼此区分。在步骤534中，执行深度图 像处理和骨架跟踪软件450以及面部和图案识别软件476的的计算机系统12标识一个或 多个所检测的对象，包括它们在该地点中的位置，并且在步骤536中标识每个现实对象的 一个或多个外观特征。可用来自用户简档数据460、图像数据库470、以及参考对象数据集 474的物和人的参考图像来标识所述对象。
图像处理软件451可将面向外的图像数据和传感器数据转发到深度图像处理软 件450并从计算机系统12接收回三维位置和标识，包括外观特征。三维位置可以是相对于 该用户地点的3D模型坐标系的。以此方式，消失应用456i可确定哪些现实对象在视野中 而哪些现实对象当前不在视野中但是在3D建模的地点中。
图6D是用于基于某位置的三维模型来确定现实和虚拟对象在显示设备系统的三 维视野中的位置的方法的实施例的流程图。在步骤540中，显示设备系统8的一个或多个 处理器(210、320、322)将面向外的图像数据发送到与一地点相关联的三维建模计算机系统 中。例如，图像处理软件451将面向外的图像数据发送到计算机系统12的深度图像处理和 骨架跟踪软件450中。图像处理软件451在步骤542中接收现实对象元数据，包括一个或多 个现实对象在该地点中的3D模型位置。所述现实对象是从来自该环境中的相机的图像数 据检测的，所述相机也可包括其他用户的面向外的相机。在步骤544中，图像处理软件451 接收用户在该3D模型中的位置。任选地，在步骤546中，图像处理软件451接收虚拟对象 元数据，包括一个或多个虚拟对象在该地点中的3D模型位置。图像处理软件在步骤548中 基于所述3D模型位置来确定该一个或多个对象相对于该显示设备的视野的位置。在用户 环境内的用户和对象移来移去时，图6A至6D的实施例中的每一个通常被重复地执行。
对于用户的透视显示器中被消失应用Asejse1指示为用于消失的现实对象，图像 处理应用451跟踪该显示设备的视野中的现实对象的位置到每个显示光学系统中的位置， 并跟踪所指示的显示数据472、472i，例如用于修订的黑色矩形，来覆盖每一显示光学系统14中的(以及从而在该视野中的)现实对象。透视、混合现实显示设备系统8的图像处理应 用451会在设备侧消失应用456i的控制下将用于致使现实对象消失的显示数据472、472i 格式化为可由图像生成单元120 (例如微显示器120)处理的格式，并且如果使用不透明度 过滤器114的话向用于不透明度过滤器114的不透明度控制器224提供指令。对于某些更 改技术(比如擦除)，消失显示数据472、472i包括通过复制要被擦除的现实对象周围的图像 数据并用其覆盖被擦除的对象生成的图像数据。在其他示例中，消失显示数据472、472i是 处于要擦除的对象之后的图像数据(例如，来自数据库470 )。
图7到图12呈现了用于该技术的方法的实施例以及用于所述方法的一些步骤的 示例实现过程。为说明目的，下面的方法实施例是在上述系统实施例的上下文中描述的。然 而，所述方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。 如同上面针对图6A到图6D提到的，当佩戴透视显示器的用户至少移动他或她的眼睛并且 视野中的对象可能在其自己的控制下移动时，这些方法和过程实施例也被重复执行。
图7是用于基于满足消失准则而致使现实对象在透视、混合现实显示设备系统的 视野中消失的方法的实施例的流程图。在步骤602中，图像处理软件451接收标识至少在混 合显示设备的透视显示器的视野中的一个或多个现实对象的元数据，其中软件451可在消 失应用456i也能够访问的存储器中至少临时地存储该元数据。基于该元数据，在步骤604 中，消失应用456i标识满足用户消失准则的任何现实对象。
在某些示例中，本地设备消失应用456i从服务器侧应用456接收消息，所述消息 标识哪些现实对象满足用户消失准则。在其他示例中，本地消失应用4561在所接收的现实 对象元数据上执行关键词搜索并本地地标识用于消失的现实对象。
对于被标识为用于消失的任何现实对象，消失应用456i致使图像处理软件451经 由图像生成单元120控制透视显示器上的图像以跟踪到任何所标识的现实对象的图像数 据来致使其在该透视显示器中消失。如果在该视野中没有现实对象被标识为用于消失，则 显示设备系统8的一个或多个处理器在步骤608中返回至其他处理。
图8是用于致使现实对象在透视、混合现实显示设备系统的视野中消失的另一方 法实施例的实施例的流程图。图8的实施例可用于实现图7的实施例的步骤604、606和 608。在步骤612中，消失应用456i检查该透视显示设备的视野中满足用户消失准则的任 何现实对象的标识。在步骤614中，为在透视显示设备的视野中的在步骤612中标识的任 何现实对象执行消失处理(例如图7的步骤606)。
对其中跟踪位置和现实对象的软件和图像数据库的网络访问允许在进入这种地 点的用户满足预测准则时消失应用4561预取(prefetch)这些被跟踪的地点中被指定为消 失的现实对象的任何可应用的图像数据。
在步骤616中，消失应用4561检查满足用户消失准则、但是在该显示设备的当前 视野之外而在该用户的显示设备系统8的地点的预定可见距离内的任何现实对象的标识。 在步骤618中，消失应用ASei预取在步骤616中标识的任何现实对象的任何可应用的消失 图像数据或致使所述图像数据被预取。
在步骤620中，消失应用456i应用用于标识满足预测准则的一个或多个后续地点 的地点预测方法或致使所述地点预测方法被应用。在步骤622中，消失应用456i确定是否 已标识任何满足的后续地点。如果否，则在步骤623中，处理在下一调度的检查处返回至步骤612中的视野检查。如果在步骤622中标识了满足预测准则的后续地点，则消失应用456i 在步骤624检查任何所标识的后续地点中满足用户消失准则的任何现实对象的标识，并且 在步骤626中预取在步骤624中标识的任何现实对象的任何可应用的消失图像数据。
因为该显示设备的视野包括用户的眼睛当前所关注(focus on)的以及在当前时 间点该用户能够在外围(peripheralIy)看到的,该显示系统的硬件和软件组件使保持视野 中没有满足用户消失准则的现实对象比数据预取和地点预测更优先。从而，在某些实施例 中，用于标识用于在视野中消失的任何现实对象的检查(步骤612)，以及如果找到任何标识 的现实对象时的消失处理(步骤614)可能更经常地发生并对显示系统8的组件具有比预取 和地点预测步骤更高的优先级。
如对于图7讨论的，服务器侧消失应用456可发送消息，本地应用456i检查该消 息以标识该视野中的、在该用户的地点的预定可见距离内的、或者在后续地点中的满足用 户消失准则的现实对象。换言之，利用联网资源来协助标识用于消失的现实对象。搜索元 数据中与主题关键词的匹配以及用于标识用于消失的现实对象的标识符的实现示例过程 可由服务器侧应用456执行以卸下本地设备系统处理器的工作。本地副本456i也可通过 请求服务器侧消失应用456执行预取来进行预取，并通过请求服务器侧456使地点预测被 执行并提供任何所标识的后续地点的结果来应用地点预测方法。
此外，服务器侧应用456可通过在被本地应用456i请求时提供用于特定更改技术 的消失图像显示数据472以节省显示系统8上的存储器空间来协助消失处理。
而且，请求预取的应用副本(例如本地消失应用ASei或服务器侧456)可预取图像 数据以存储在要使其消失的现实对象的地点中的另一参与的计算机系统处。在后续地点的 情况下，进行请求的应用可调度其他计算机系统来在估计的用户到达之前的某个时间段下 载图像数据。用于更改的该图像数据在用户进入该地点前及时地到达。在一个示例中，本 地副本应用456i可在与其他计算机系统8进行连接时，或者在另一示例中在该用户的显示 设备系统8处于该地点中的参考点的距离准则之内时，将该图像数据下载到该显示设备系 统8。
如同上面提到的，对于每个地点，基于地点的跟踪应用453可能已指派了预定的 可见距离。对于用于消失的现实对象，用户或应用可能已选择了更改技术，诸如用化身覆盖 层(avatar overlay)来取代不需要的现实对象,其跟踪该现实对象(在本示例中是人)的面 部表情或者至少是身体移动。要用化身覆盖的人可能处于预定可见距离内，但是在超过40 英尺远，从而该用户不能清楚地看到该人的面部表情。
因为用化身面部表情跟踪真人的面部表情是计算密集的并且在该距离处对用户 益处很小，可应用另一更改技术或不同的图像数据。例如，可向用户显示具有模糊外观的该 人的图像数据，或化身。当该人处于该用户的例如20英尺内时，则消失应用的本地副本456i 或服务器副本456与图像处理软件451、深度图像处理和骨架跟踪应用450或两者一起工作 来跟踪该人的移动，并且连续地跟踪该人在视野中的位置到显示光学系统14中的位置，从 而图像生成单元120跟踪化身的移动到被消失的人的身体的移动的图像数据。当该人处于 该用户的十(10)英尺内时，化身图像数据到该透视显示器中该人的面部和身体移动跟踪两 者都被执行。本示例示出了用于不同可见度的不同更改技术的选择。
可见度定义可被编程为消失应用Asejse1的一部分或者被存储在可访问存储器中。可见度可以基于对于一般人而言哪些外观特征和移动是视觉上可识别的研究。还可结 合基于人的特征(例如年龄)的可见度的其他细化。
图9是用于基于用于消失的现实对象的可见度来选择更改技术的过程的实施例 的流程图。图9的实施例是可在实现步骤606或步骤614时使用的过程的示例。在步骤642 中，消失应用642确定透视显示器的视野内被标识为满足用户消失准则的每个现实对象的 位置(以及任选地迹线)。可基于该用户相对于静止的现实对象的移动确定该静止对象的迹 线，即便该对象没有在移动。基于每个所标识的现实对象的所确定的位置以及任选的迹线， 以及该用户的显示设备地点的预定可见距离，在步骤644中消失应用456i标识可见度。
外观特征也可以作为用于选择可见度的基础。可作为用于确定可见度的基础的外 观特征的一些示例是大小和颜色。在40英尺处的穿亮橘色的人与25英尺远的穿海军衫的 人相比具有指示更可能在用户视野中被看到的可见度。
在步骤646中，基于视野中每个现实对象被标识的可见度来为消失优先级化 (prioritize)每个现实对象。随着在该视野中接近该显示设备,可见度的优先级增加。在 步骤648中，基于相应现实对象的可见度的优先级来为用于消失的每个现实对象选择更改 技术。用于选择更改技术的其他基础可包括实现该更改技术的计算时间、可用的存储器资 源、以及要使其从当前视野中消失的现实对象的数量。例如，佩戴透视混合现实显示设备的 儿童害怕小丑，而本地马戏团的游行正在街道上前进。用期望的小兔子化身来取代刚进入 透视显示器的视野中的五个小丑中的每一个可能没有发生得足够快到不将儿童暴露给至 少一个小丑。首先可应用修订效果，例如，在每个小丑上显示黑框。在步骤650中，为满足 消失准则的每个现实对象应用所选择的更改技术。在图9的过程的下一个迭代中，可以用 小兔子化身覆盖层来取代被修订的小丑中的一个或多个的黑框。
图9的示例中的优先级化还可被应用到对于所选的技术的用于消失图像数据的 不同取代对象的选择。如上面讨论的，该用户可能已选择了取代的更改技术并且已指示他 或她将接收其他用户生成的取代对象。与这些取代对象相关联的图像数据中的一部分可 能需要大量存储器并且具有动态内容，所以要显示它们是更计算密集的。消失应用4561可 以也基于可见度、实现时间和要处理的对象的数量的因素来从可用取代对象中进行选择。
用户可能将他的更改图像数据与另一附近用户共享以便该附近用户能够体验该 用户如何体验它们周围的现实世界。图10是在处于彼此的预定距离内的透视、混合现实显 示设备系统之间共享更改图像数据的过程的实施例的流程图。在步骤652中，第一透视混 合现实显示设备系统标识在预定距离内的第二透视混合现实显示设备系统。例如，这些显 示设备系统可经由蓝牙、WUSB、IR或RFID连接交换身份令牌。可选择无线收发器的类型和 范围来仅允许预定距离内的连接。诸如GPS或蜂窝三角测量等位置数据与比如Bump 等 应用的组合也可被用于标识彼此的预定距离内的设备。
在步骤654中，第一设备的消失应用456i接收满足佩戴第二混合现实设备的另一 用户的消失准则的现实对象的标识符，并且在步骤656中，第一设备从第二设备接收用于 更改技术的用于跟踪到该现实对象的图像数据。在步骤658中，第一设备的消失应用456i 从其透视显示器的其视野的角度显示跟踪该现实对象的图像数据。
图11是用于基于当前感兴趣主题而致使现实对象在透视、混合现实显示设备系 统的视野中消失的另一方法的实施例的流程图。在步骤662中，消失应用456i接收用户的当前感兴趣的主题。如上面提到的，用户可用物理动作(比如凝视持续时间、眨眼命令、其他 基于眼睛移动的命令、音频数据、以及一个或多个姿势)来标识当前感兴趣的主题。用户还 可通过文本输入，例如经由处理单元4的移动设备5实施例，来指示当前感兴趣的主题。除 了直接用户输入外，其他执行的应用可以利用消失能力来增强它们对该用户的服务。在其 他示例中，另一执行的应用462基于其与用户的数据交换来确定该用户当前感兴趣的主题 并将该当前感兴趣的主题发送给用户，例如，作为当前感兴趣的主题数据项420的一部分 发送给用户。
在步骤664中，消失应用465i标识与该当前感兴趣的主题相关联的任何现实对象 类型。当与执行的应用462接口时，应用462向消失应用456i指示用于当前兴趣的现实对 象类型(例如经由比如420等数据项)。在用户的情况下，消失应用456i可输出音频或视觉 请求以用于用户标识仅该用户希望看到的与该当前兴趣相关的类型的现实对象。该用户可 使用上面讨论的各种输入方法中的任何一种来输入标识这样的现实对象类型的输入。消失 应用456i还可基于在在线数据库和用户简档数据中与该主题有关的搜索来标识现实对象 类型。此外，可为常见的感兴趣的主题存储缺省现实对象类型，这样的主题的一些示例是餐 馆和方向。
在步骤666中，消失应用4561标识该透视显示器的视野中与任何所标识的现实 对象类型相匹配的任何现实对象，例如基于与被图像处理软件451标识为在当前视野中的 每个现实对象的元数据中存储的外观特征中的对象类型的匹配。在步骤668中，消失应用 456i确定任何被标识的现实对象是否不满足当前感兴趣的主题的相关性准则。例如，消失 应用456i可向被标识为具有匹配现实对象类型的任何现实对象的元数据应用关键词搜索 技术。该搜索技术返回每个现实对象的相关性得分。例如，所应用的关键词搜索技术可基 于该现实对象的元数据的曼哈顿距离加权求和(Manhattan distance weighted sum)来返 回相关性得分。基于用于每个现实对象元数据搜索的关键词相关性得分，在步骤668中，消 失应用456i标识不满足当前感兴趣的主题的相关性准则的任何现实对象。在步骤670中， 消失应用456i致使图像生成单元120 (例如经由图像处理软件452)跟踪到不满足相关性 准则的每一现实对象的图像数据以用于致使其在该透视显示器的视野中的消失。在在拥挤 的餐馆区街道上寻找中餐馆的女人的示例中，除去其他建筑物符号减少了她的视图中的混 乱，从而她可以更快地找到她的朋友正在那里等她的中餐馆。
当然，尽管可以使现实对象从该透视显示器的视野中消失，然而该现实对象仍旧 在该用户的环境中。为了避免用户与人或其他对象相撞并受伤，可采用冲突避免机制。图 12是用于针对消失的现实对象向用户提供冲突警告的过程的实施例的流程图。在步骤682 中，消失应用Asedse1确定该混合现实显示设备相对于从该透视显示器中消失的现实对象 的位置和迹线。在步骤684中，消失应用Asedse1确定该混合现实设备和该现实对象是否 在冲突距离内。如果该设备和该消失的现实对象在冲突距离内，则在步骤686中，消失应用 Asedse1输出安全警告。例如，消失应用Asedse1显示图像数据或播放音频数据，所述数 据包括安全警告。如果该设备和该现实对象不处于冲突距离内，则步骤688中的处理返回 其他任务，诸如用于另一应用的任务或更新该视野中的现实对象的标识，直到下一次被调 度的检查为止。
图13A、13B、13C和13D示出处理姿势用户输入的示例，所述姿势用户输入标识用于消失的现实对象。图13A示出了从佩戴显示设备2的用户的角度的视图。如由虚线7041 和7041■所指示的，他当前正关注他前方的由人702所占据的空间。在本示例中，佩戴显示设备2的用户想要看到野花和群山的未被遮挡的视图，但是公园很拥挤，而人702看上去总是挡着他。
图13B示出了拇指姿势的第一位置，其是用于指示消失的姿势的一个示例。拇指 706被置于该显示设备前方并挡住人702。图像处理软件451向用户输入软件477发送已在来自面向外的相机113的图像数据中检测到拇指姿势的第一位置的通知。在此示例中， 消失应用4561激活轮廓工具应用(outline tool application)并输入拇指指尖位置709 作为该轮廓的起始参考点。在本示例中该轮廓遵循该拇指的宽。图13C示出了沿着执行该姿势的拇指在该显示器上的移动的轮廓的示例。图像处理软件451显示该轮廓以匹配拇指的移动并标识位于该轮廓内的现实对象。接收指示停用该轮廓工具的用户输入。例如，拇指停止预定的时间段，或者在面向外的相机113的视野中不再检测到拇指。图像处理软件 451向消失应用4561通知该轮廓内的任何对象的现实对象标识符。在本示例中，用户输入软件477已从声音识别软件478 (其处理来自话筒110的音频数据)接收“擦除”命令。在另一示例中，可使用眼睛移动或文本输入来选择擦除更改技术。此外，可选择缺省更改技术。
基于该拇指姿势和该音频擦除命令，消失应用456i通过网络将来自相机113的地点数据和图像数据发送到地点图像跟踪应用453，一起被发送的是对于在该地点处并从该透视显示器的角度的实时图像数据(如由来自相机113的图像数据所表示的)以及从该显示器光轴142的其预定偏移的请求。如果该实时图像数据可用，例如从被人702佩戴的显示设备系统8获得，则消失应用456i致使图像处理软件451对于该用户的角度在人702上显示该图像数据。图13D示出该透视显示器视野的示例，其中该人702的遮挡被除去。可能需要将该图像数据的边缘与从来自面向外的相机113的图像数据提取的人702四周的周围空间的图像数据相混合。在另一示例中，可提取并复制周围空间的图像数据以生成遮蔽一对象的图像数据。图14A、14B、14C和14D示出基于对该显示设备的不同可见度应用到满足用户消失准则的现实对象的不同更改技术的示例。在本示例中，用户已将小丑标识为当该用户正在佩戴她的透视显示设备2时要使其消失的现实对象类型。图14A示出了在用户地点的预定可见距离内的在透视显示设备的视野中的满足用户消失准则的现实对象(在本示例中是小丑712)的示例。小丑712仅是显示设备的视野中的其他对象(大部分是像人710这样的人) 中的一个。这里，如虚线7041和704r所指示的用户凝视的点是在该用户正前方。
该用户也已选择了化身的取代对象，对于要被覆盖并跟踪到任何小丑的地点所述化身看上去像一般人。消失应用4561可从该地点的表示一般人的多个取代对象中进行选择。尽管小丑在该地点的预定可见距离479内，而到该小丑的距离指示在当前地点(繁忙的商业区街道)中仅有颜色检测的可见度。当该小丑在此可见度中时消失应用4561致使修订效果黑色图像数据被应用。在消失应用456i监视小丑相对于该显示设备的迹线的同时，可预取化身数据。图14B示出了被应用到小丑的修订更改技术的示例。黑色图像数据被跟踪到设备2的透视显示器中的小丑。
图14C示出小丑处于如下可见度的示例其中基于该用户的年龄的一般人的视力，人类对象的关节的移动是可见的。图14D示出化身的图像数据取代透视显示设备的视野中的小丑的示例。化身移动模仿小丑的移动。在某些示例中，跟踪小丑的面部移动可以 在消失应用456i的控制下执行。面部移动检测的可见度也可在消失应用456i中存储或定 义。
图15A和15B示出致使不满足相关准则的现实对象消失的示例。在本示例中，汽 车导航应用462与消失应用456i接口。汽车导航应用462，基于其道路库、上面的符号、以 及路上的商业和服务，可以在满足以及不满足相关性准则的现实对象两者在指定时间段和 其地点中出现时通知消失应用456lt)而且,用户可能已输入一个或多个目的地,而导航系统 已经确定路线并且为该路线上要遇到的现实对象的现实对象元数据的数据字段中的一些 提供了数据。具有用户的路线便于在接近用户进入不同地点的时间时将图像数据预取到本 地计算机系统。图15A示出了在不为显示设备2执行消失应用的情况下驾驶时，从仪表板 720上看出的透视显示器的视野的示例。在路732上前进的用户正在逼近交叉路口 734。在 用户的左侧有停车(STOP)符号722，以及上面带有方向箭头的一串路线编号符号728、730、 724,7260汽车导航应用462已将西行5号线(Route 5ffest)标识为该用户的路线的下一 部分。在图15A中，设备2中执行的凝视确定应用462指示该用户当前正关注东行5号线 符号728。
图15示出了消失应用4561可如何致使不相关的符号消失，而不是用户必须扫视 每个符号来找到西行5号线的正确方向。事实上，更改不相关的符号以协助用户更快地找 到相关信息。如在图15B中所示，北行24号线(724)、南行24号线(726)以及东行5号线 (728)的路标在透视显示器中全部用西行5号线(730)的副本覆盖，其全部指向左侧。用户 花更少的时间来尝试寻找指示向哪转的正确路标。消失应用4561还可接收汽车导航应用 462请求永不消失(即使用户请求它)的现实对象类型。停止符号722是这种现实对象类型 的示例，而安全是其原因。
图16是可用于实现托管(host)消失应用的网络可访问计算系统的计算系统的一 个实施例的框图。例如，图16中的计算系统的实施例可用于实现图1A和IB的计算系统。 在这一实施例中，计算系统是诸如游戏控制台等多媒体控制台800。如图16所示，多媒体 控制台800具有中央处理单元(CPU) 801以及便于处理器访问各种类型存储器的存储器控 制器802，包括闪速只读存储器(ROM) 803、随机存取存储器(RAM) 806、硬盘驱动器808、以 及便携式媒体驱动器806。在一种实现中，CPU 801包括I级高速缓存810和2级高速缓 存812，这些高速缓存用于临时存储数据并因此减少对硬盘驱动器808进行的存储器访问 周期的数量，从而提高了处理速度和吞吐量。
CPU 801、存储器控制器802、以及各种存储器设备经由一个或多个总线(未示出) 互连在一起。在本实现中所使用的总线的细节对理解此处所讨论的关注主题不是特别相 关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、外围总线、使用各 种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。作为示例，这样的体 系结构可以包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA (EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层总线的外围部件互连 (PCI)总线。
在一个实施方式中，CPU 801、存储器控制器802、ROM 803、以及RAM806被集成到 公用模块814上。在此实施方式中，ROM 803被配置为通过PCI总线和ROM总线(两者都没有示出)连接到存储器控制器802的闪速ROM。RAM 806被配置为多个双倍数据速率同步动 态RAM (DDR SDRAM)模块，它们被存储器控制器802通过分开的总线(未示出)独立地进行 控制。硬盘驱动器808和便携式媒体驱动器805被示为通过PCI总线和AT附加(ATA)总 线816连接到存储器控制器802。然而，在其他实现中，也可以备选地应用不同类型的专用 数据总线结构。
图形处理单元820和视频编码器822构成了用于进行高速度和高分辨率(例如，高 清晰度)的图形处理的视频处理流水线。数据通过数字视频总线(未示出)从图形处理单元 (GPU)820传输到视频编码器822。通过使用GPU 820中断来显示由系统应用程序生成的轻 量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所使用的存储器 量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使 用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器(scaler)可用于 设置该分辨率，从而消除了对改变频率并引起TV重新同步的需求。
音频处理单元824和音频编解码器(编码器/解码器)826构成了对应的音频处理 流水线，用于对各种数字音频格式进行多通道音频处理。通过通信链路(未示出)在音频处 理单元824和音频编解码器826之间传输音频数据。视频和音频处理流水线向A/V (音频 /视频)端口 828输出数据，以便传输到电视机或其他显示器。在所示出的实现中，视频和 音频处理组件820-828安装在模块214上。
图16示出了包括USB主控制器830和网络接口 832的模块814。USB主控制器 830被示为通过总线(例如，PCI总线)与CPU 801和存储器控制器802进行通信，并作为外 围控制器804(I)-804 (4)的主机。网络接口 832提供对网络(例如因特网、家庭网络等)的 访问，并且可以是包括以太网卡、调制解调器、无线接入卡、蓝牙模块、RFID模块、红外模块、 WUSB模块、电缆调制解调器等各种有线或无线接口组件中的任一种。
在图16中描绘的实现中，控制台800包括用于支持四个控制器804(1)-804(4)的 控制器支持子部件840。控制器支持子部件840包括支持与诸如，例如，媒体和游戏控制器 之类的外部控制设备的有线和无线操作所需的任何硬件和软件组件。前面板I/O子部件 842支持电源按钮812、弹出按钮813，以及任何LED (发光二极管)或暴露在控制台802的 外表面上的其他指示器等多个功能。子部件840和842通过一个或多个电缆部件844与模 块814进行通信。在其他实现中，控制台800可以包括另外的控制器子部件。所示出的实 现还示出了被配置成发送和接收可以传递到模块814的信号的光学I/O接口 835。
MU 840(1)和840 (2)被示为可分别连接到MU端口 “A” 830 (I)和“B” 830⑵。附 加MU (例如，MU 840 (3)-840 (6))被示为可连接到控制器804 (I)和804 (3)，即每一个控制 器两个MU。控制器804 (2)和804 (4)也可以被配置成接纳MU(未示出)。每一个MU 840都 提供附加存储，在其上面可以存储游戏、游戏参数、及其他数据。在一些实现中，其他数据可 以包括数字游戏组件、可执行的游戏应用，用于扩展游戏应用的指令集、以及媒体文件中的 任何一种。当被插入到控制台800或控制器中时，MU 840可以被存储器控制器802访问。 系统供电模块850向游戏系统800的组件供电。风扇852冷却控制台800内的电路。还提 供微控制器单兀854。
包括机器指令的应用860被存储在硬盘驱动器808上。当控制台800被接通电源 时，应用860的各个部分被加载到RAM 806，和/或高速缓存810以及812中以在CPU 801上执行，其中应用860是一个这样的示例。各种应用可以存储在硬盘驱动器808上以用于 在CPU 801上执行。
可以通过简单地将系统连接到监视器16 (图1A)、电视机、视频投影仪、或其他显 示设备来将游戏与媒体系统800用作独立系统。在此独立模式下，游戏和媒体系统800允 许一个或多个玩家玩游戏或欣赏数字媒体，例如观看电影或欣赏音乐。然而，随着宽带连接 的集成通过网络接口 832而成为可能，游戏和媒体系统800还可以作为较大的网络游戏社 区的参与者来操作。
如同上面讨论的，处理单元4可被嵌入在移动设备5中。图17是可以在本技术的 各实施例中操作的示例性移动设备900的框图。描绘了典型移动电话的示例性电子电路。 电话900包括一个或多个微处理器912，以及存储由控制处理器912的一个或多个处理器执 行来实现此处所述的功能的处理器可读代码的存储器910 (例如，诸如ROM等非易失性存储 器和诸如RAM等易失性存储器)。
移动设备900可包括例如处理器912、包括应用和非易失性存储的存储器1010。处 理器912可实现通信以及任何数量的应用，包括本文中所描述的交互应用。存储器1010可 以是任何种类的存储器存储设备类型，包括非易失性和易失性存储器。设备操作系统处理 移动设备900的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消 息收发、检查语音邮件等。应用930可以是任何种类的程序，如用于照片和/或视频的相机 应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、其 他第三方应用，比如本文讨论的用于处理发送至或者来自显示设备2的图像数据的消失应 用和图像处理软件、等等。存储器910中的非易失性存储组件940包含诸如web高速缓存、 音乐、照片、联系人数据、日程安排数据、以及其他文件等数据。
处理器912还与RF发射/接收电路906进行通信，该电路906进而耦合到天线 902，它还与红外发射器/接收器908、与像W1-F1、WUSB、RFID、红外或蓝牙等任何附加通信 信道960、以及与像加速度计等移动/定向传感器914通信。加速度计被包括到移动设备中， 以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用，在与GPS卫星断开联系 之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转电话时自动 地将显示从纵向变为横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电 系统是构建在半导体芯片上的微小机械设备(微米尺寸)。可以感应加速方向、以及定向、振 动和震动。处理器912还与响铃器/振动器916、用户界面键区/屏幕、生物测定传感器系 统918、扬声器920、话筒922、相机924、光传感器921以及温度传感器927进行通信。
处理器912控制无线信号的发射和接收。在发射模式期间，处理器912向RF发射 /接收电路906提供来自话筒922的语音信号或其他数据信号。发射/接收电路906将该 信号发射到远程站(例如固定站、运营商、其他蜂窝电话等)来通过天线902进行通信。响 铃器/振动器916被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等 信号。在接收模式期间，发射/接收电路906通过天线902接收来自远程站的语音或其他 数据信号。所接收到的语音信号被提供给扬声器920，同时所接收到的其它数据信号也被适 当地处理。
另外，物理连接器988可被用来将移动设备900连接到外部电源，如AC适配器或 加电对接底座。物理连接器988还可被用作到计算设备的数据连接。该数据连接允许诸如将移动数据与另一设备上的计算数据进行同步等操作。
为这种服务启用使用基于卫星的无线电导航来中继用户应用的位置的GPS接收 机 965。
附图中示出的示例计算机系统包括计算机可读存储设备的示例。计算机可读存储 设备也是处理器可读存储设备。这样的介质可包括以用于存储诸如计算机可读指令、数据 结构、程序模块、或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和 不可移动介质。计算机存储设备包括，但不限于，RAM、ROM、EEPR0M、高速缓存、闪存或其他 存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体 驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问 的任何其他介质。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权 利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作 是作为实现权利要求的示例形式公开的。
权利要求
1.一种用于致使透视、混合现实显示设备系统的透视显示器中的现实对象消失的方法，所述方法包括接收标识所述透视显示器的视野中的一个或多个现实对象的元数据；确定所述一个或多个现实对象中的任一个是否满足用户消失准则；以及响应于确定第一现实对象满足所述用户消失准则，跟踪到所述透视显示器中的所述第一现实对象的图像数据以致使所述第一现实对象在所述透视显示器的所述视野中消失。
2.如权利要求1所述的方法，其特征在于确定所述一个或多个现实对象中的任一个是否满足用户消失准则进一步包括基于用户当前感兴趣的主题的通知，标识与所述当前感兴趣的主题相关联的任何现实对象类型；标识所述透视显示器的所述视野中与任何所标识的现实对象类型相匹配的任何现实对象；以及确定任何所标识的现实对象是否不满足所述当前感兴趣的主题的相关性准则；以及其中跟踪到所述透视显示器中的所述第一现实对象的图像数据以致使所述第一现实对象在所述透视显示器的所述视野中消失进一步包括跟踪到不满足相关性准则的每个现实对象的图像数据以致使其在所述透视显示器的所述视野中消失。
3.如权利要求1所述的方法，其特征在于，还包括确定所述透视显示器的所述视野内被标识为满足用户消失准则的每一现实对象的位置和迹线；基于每一所标识的现实对象的相应的所确定的位置和迹线、以及对于所述显示设备的地点的预定可见距离，来标识所述每一所标识的现实对象的可见度；以及基于所述视野中用于消失的每一现实对象的被标识的可见度来优先级化所述用于消失的每一现实对象。
4.如权利要求3所述的方法，其特征在于，标识每一所标识的现实对象的可见度还基于所述透视显示器的所述视野内的被标识为满足用户消失准则的每一现实对象的至少一个外观特征。
5.如权利要求3所述的方法，其特征在于，跟踪到所述透视显示器中的所述第一现实对象的图像数据以致使所述第一现实对象在所述透视显示器的所述视野中消失进一步包括基于用于消失的每一现实对象的可见度的优先级来从为相应现实对象指示的更改技术中选择用于所述相应现实对象的更改技术；为用于消失的每一现实对象应用所选择的更改技术。
6.如权利要求1所述的方法，其特征在于，还包括接收标识用于消失的主题的姿势的用户输入，所述用于消失的主题包括所述视野中的所述一个或多个现实对象中的至少一个现实对象；在用户消失准则中存储所述用于消失的主题；以及响应于标识要应用到所述至少一个现实对象的用户指定的更改技术，跟踪到所述至少一个现实对象的图像数据以使用所述用户指定的更改技术致使所述至少一个现实对象在所述透视显示器中消失。
7.如权利要求1所述的方法，其特征在于，所述更改技术包括以下的至少一个用虚拟对象取代所述第一现实对象；通过用通过混合所述第一现实对象周围的对象的图像数据生成的图像数据覆盖所述第一现实对象来擦除所述第一现实对象；用黑色图像数据修订所述第一现实对象；以及通过跟踪到所述第一现实对象的模糊图像数据来遮蔽所述第一现实对象。
8.—种透视、头戴式、混合现实显示设备系统，所述显示设备系统用于致使所述显示设备系统的透视显示器的视野中的现实对象消失，所述系统包括一个或多个地点检测传感器；用于存储用户消失准则的存储器，所述用户消失准则包括至少一个主题项；一个或多个处理器，所述一个或多个处理器能够访问所述存储器并且可通信地耦合到所述一个或多个地点检测传感器以用于接收所述显示设备系统的地点标识符数据并用于标识所述透视显示器的所述视野中的与所述至少一个主题项有关并在从所述地点标识符数据确定的地点的预定可见距离内的一个或多个现实对象；以及至少一个图像生成单元，所述至少一个图像生成单元可通信地耦合到所述一个或多个处理器并且光学耦合到所述透视显示器以跟踪到所述透视显示器的所述视野中的所标识的一个或多个现实对象的图像数据以致使所述一个或多个现实对象消失。
9.如权利要求8所述的系统，其特征在于，所述一个或多个处理器可通信地耦合到远程计算系统以访问三维模型，所述三维模型包括标识在所述透视、混合现实显示设备的预定可见距离内的、所述地点中的一个或多个现实对象的元数据。
10.如权利要求8所述的系统，其特征在于，所述一个或多个处理器能够访问用户简档数据以预测所述显示设备的当前地点的后续地点；所述一个或多个处理器检查所述后续地点中满足用户消失准则的任何现实对象的标所述一个或多个处理器可通信地耦合到所述后续地点中的计算机系统；以及所述一个或多个处理器通过在所述用户到达前及时地调度到所述后续地点中的所述计算机系统的下载来预取所述后续地点中满足用户消失准则的任何所标识的现实对象的图像数据。
全文摘要
本发明涉及混合现实显示器中用户控制的现实对象的消失。本技术基于用户消失准则致使透视、混合现实显示设备系统的视野中的现实对象消失。跟踪到该透视显示器的该视野中的现实对象的图像数据以在该现实对象上实现致使其从该显示器上消失的更改技术。现实对象可通过是与该用户不希望看到的主题相关联的或通过不满足用户当前感兴趣的主题的相关性准则而满足用户消失准则。在某些实施例中，基于显示设备系统的地点的3D模型，可基于与该地点内的位置相关联的可见度来为现实对象选择更改技术。可基于该显示设备系统的地点来预取用于更改的图像数据。
文档编号G06F3/01GK102999160SQ20121038856
公开日2013年3月27日 申请日期2012年10月12日 优先权日2011年10月14日
发明者J·C·刘, S·G·拉塔, B·I·瓦特, C·M·诺瓦克, D·本内特 申请人:微软公司