具有附近物体响应的可穿戴计算的制造方法

具有附近物体响应的可穿戴计算的制造方法
【专利摘要】示范性方法和系统涉及检测靠近基本上透明的头戴式显示器(HMD)系统的物理物体并激活碰撞避免动作来提醒用户检测到的物体。检测技术可包括从距离和/或相对运动传感器接收数据并且利用此数据作为确定适当的碰撞避免动作的基础。示范性碰撞避免动作可包括弱化在HMD上显示的虚拟对象以提供透过基本上透明的显示器对物理物体的不那么杂乱的观看和/或呈现新的虚拟对象。
【专利说明】具有附近物体响应的可穿戴计算机
[0001]相关申请的交叉引用
[0002]本申请要求2011年10月7日递交的标题为“Wearable Computer with NearbyObject Response (具有附近物体响应的可穿戴计算机)”的美国专利申请13/267，963号的优先权，这里通过引用将该美国专利申请的内容完全并入以用于所有目的。
【背景技术】
[0003]除非本文另外指示，否则本部分中描述的材料并不是本申请中的权利要求的现有技术，并且并不因为被包括在本部分中就被承认为是现有技术。
[0004]诸如个人计算机、膝上型计算机、平板计算机、蜂窝电话和无数类型的具备联网能力的设备之类的计算设备在现代生活的许多方面中正越来越普遍。随着时间的流逝，这些设备向用户提供信息的方式正变得更智能、更高效、更直观和/或不那么突兀。
[0005]计算硬件、外设以及传感器、检测器及图像和音频处理器以及其它一些技术的微型化趋势已帮助打开了一个有时被称为“可穿戴计算”(wearable computing)的领域。尤其，在图像和视觉处理及制作的领域中，已经可能考虑可穿戴显示器，这些可穿戴显示器将非常小的图像显示元件放置得足够靠近穿戴者的(或用户的)一眼或两眼，使得显示的图像填满或几乎填满视野，并且显现为普通大小的图像，比如可能显示在传统的图像显示设备上的那种。相关技术可被称为“近眼显示器”(near-eye display)。
[0006]近眼显示器是可穿戴显示器的基本组件，可穿戴显示器有时也被称为“头戴式显示器”(head-mounted display, HMD)。头戴式显示器将一个或多个图形显示器放置得靠近穿戴者的一眼或两眼。为了在显示器上生成图像，可使用计算机处理系统。这种显示器可占据穿戴者的整个视野，或者只占据穿戴者的视野的一部分。另外，头戴式显示器可以像一副眼镜那么小或者像头盔那么大。
[0007]可穿戴显示器的新兴的和预期的用途包括用户与增强现实或虚拟现实实时交互的应用。这种应用可以是任务关键的或安全关键的，例如在公共安全或航空背景中。这些应用也可以是娱乐性的，例如交互式游戏。

【发明内容】

[0008]在一个方面中，一种示范性方法涉及检测靠近头戴式显示器(HMD)系统的物理物体并且激活碰撞避免动作，包括修改HMD上显示的内容。为了执行这些动作,一种示范性方法可涉及向HMD提供用户接口，该用户接口包括显示的观看区域和最初可不显示的内容区域。HMD随后可在基本上透明的显示器上显示提供的用户接口，从而使得当检测到物体时，观看区域中显示的内容可被弱化以吸引注意力来提供对检测到的物体的不受妨碍的观看。
[0009]在另一方面中，一种示范性装置可以是包括处理器和可由处理器执行的指令的可穿戴计算机。这些指令可允许处理器响应于确定物理物体表示与可穿戴计算机的穿戴者的潜在碰撞风险而激活碰撞避免动作。风险确定过程可包括接收并处理来自一个或多个传感器的数据。额外地，可穿戴计算机可向HMD提供用户接口并且碰撞避免动作可包括修改提供的用户接口以将检测到的物体告知可穿戴计算机的穿戴者。
[0010]在另一方面中，一种示范性非暂态计算机可读介质可包含指令来响应于确定物理物体表示与HMD系统的潜在碰撞风险而激活碰撞避免动作。风险确定过程可包括接收并处理来自一个或多个传感器的数据。此外，介质可包括指令来向HMD提供用户接口并且碰撞避免动作可包括修改提供的用户接口。
【专利附图】

【附图说明】
[0011]图1A图示了示例头戴式显示系统；
[0012]图1B图示了图1A中所图示的系统的替换视图；
[0013]图2A图示了用于接收、发送和显示数据的示例系统。
[0014]图2B图示了用于接收、发送和显示数据的示例系统。
[0015]图3示出了示例计算机网络基础设施的简化框图。
[0016]图4示出了描绘示例计算系统的示例组件的简化框图。
[0017]图5A示出了示例用户接口的各方面。
[0018]图5B示出了在接收与向上运动相对应的运动数据之后的示例用户接口的各方面。
[0019]图5C示出了在选择被选内容对象之后的示例用户接口的各方面。
[0020]图不出了在接收与用户输入相对应的输入数据之后的不例用户接口的各方面。
[0021]图6是图示出根据示范性实施例的方法的简化流程图。
[0022]图7A图示了在激活碰撞避免动作之前的示范性用户接口和超出显示器之外的物理视野的一部分。
[0023]图7B图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
[0024]图7C图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
[0025]图7D图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
[0026]图7E图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
[0027]图7F图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
[0028]图7G图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
[0029]图7H图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
【具体实施方式】
[0030]在以下详细描述中，参考了形成描述的一部分的附图。在附图中，相似的符号一般标识相似的组件，除非上下文另有规定。详细描述、附图和权利要求中描述的说明性实施例并不意味着进行限定。在不脱离本文呈现的主题的精神或范围的情况下，可利用其它实施例，并且可作出其它改变。将容易理解，本文概括描述和附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在本文都已被设想到。
[0031]本文描述了示范性方法和系统。应当理解，“示范性”一词在本文中用于意指“用作示例、实例或例示”。本文描述为“示范性”的任何实施例或特征不一定要被解释为比其它实施例或特征更优选或有利。本文描述的示范性实施例并不意味着进行限定。将容易理解，公开的系统和方法的某些方面可按许多种不同的配置来布置和组合，所以这些在本文都已被设想到。
[0032]1.概述
[0033]可穿戴计算机可包括在基本上透明的显示器幕上呈现虚拟对象(例如，诸如文本、图像、应用窗口或视频之类的图形媒体内容)的头戴式显示器(HMD)。因此，HMD的穿戴者可维持物理世界的视图，同时还观看在其物理视野之上显示的虚拟对象并与之交互。然而，虚拟对象在HMD上的这个覆盖可妨碍穿戴者对真实世界物体的观看，从而阻止了避免潜在危害的本能响应。
[0034]为了帮助避免此危险，可穿戴计算机可被配置为检测正在接近的和/或附近的物体并且提醒穿戴者潜在的风险。例如，可利用数种不同的传感器，包括相机、声学传感器和/或基于激光的检测系统等等，来检测真实世界物体。示范性提醒技术可类似地采取许多形式，包括弱化(de-emphasize)虚拟对象、呈现音频提醒和/或显示新的虚拟对象以突出物
理物体等等。
[0035]物体检测过程可作为后台过程在可穿戴计算机上连续运行或者其可仅在被穿戴者激活时运行。可替换地，自动化过程可响应于所确定的需要而发起检测过程。例如，可穿戴计算机可使用加速度计来检测穿戴者何时在运动中并且自动地开始物体检测方法，在穿戴者再次停止运动时撤除该过程。作为另一示例，计算机可监视显示的虚拟对象的数量和大小并且在显示器充分杂乱而妨碍穿戴者的观看时自动激活物体检测方法。
[0036]2.示例系统和设备体系结构
[0037]图1A图示了用于接收、发送和显示数据的示例系统100。系统100是以可穿戴计算设备的形式示出的。虽然图1A图示了头戴式设备102作为可穿戴计算设备的示例，但可以额外地或可替换地使用其它类型的可穿戴计算设备。如图1A中所图示的，头戴式设备102具有包括透镜框架104、106和中央框架支撑108的框架元件、透镜元件110、112以及延伸侧臂114、116。中央框架支撑108和延伸侧臂114、116被配置为分别经由用户的鼻子和耳朵将头戴式设备102固定到用户的脸部。
[0038]框架元件104、106和108以及延伸侧臂114、116中的每一个可由塑料和/或金属的实心结构形成，或者可由类似材料的中空结构形成，以允许配线和组件互连在内部按一定路线经过头戴式设备102。其它材料也可以是可能的。
[0039]透镜元件110、112中的每一个中的一个或多个可由能够适当地显示投影的图像或图形的任何材料形成。透镜元件110、112中的每一个也可充分地透明以允许用户看穿透镜元件。结合透镜元件的这两个特征可促进增强现实或抬头显示，其中投影的图像或图形被叠加在用户透过透镜元件110、112感知到的真实世界视图上。[0040]延伸侧臂114、116可各自是分别从透镜框架104、106延伸开的突起物，并且可被定位在用户的耳后以将头戴式设备102固定到用户。延伸侧臂114、116还可通过绕着用户的头的后部延伸来将头戴式设备102固定到用户。额外地或可替换地，例如，系统100可连接到头戴式头盔结构或附于头戴式头盔结构内。其它可能性也是存在的。
[0041]系统100还可包括机载计算系统118、视频相机120、传感器122以及手指可操作触摸板124。机载计算系统118被示为定位在头戴式设备102的延伸侧臂114上；然而，机载计算系统118可设在头戴式设备102的其它部分上或者可被定位成远离头戴式设备102 (例如，机载计算系统118可有线地或无线地连接到头戴式设备102)。机载计算系统118例如可包括处理器和存储器。机载计算系统118可被配置为接收和分析来自视频相机120、传感器122和手指可操作触摸板124(以及可能来自其它传感设备、用户接口或者这两者)的数据并且生成用于由透镜元件110和112输出的图像。机载计算系统118可额外地包括扬声器或麦克风用于用户输入(未示出)。示例计算系统在下文联系图4来进一步描述。
[0042]视频相机120被示为定位在头戴式设备102的延伸侧臂114上；然而，视频相机120可设在头戴式设备102的其它部分上。视频相机120可被配置为以各种分辨率或者以不同的帧速率捕捉图像。具有小形状要素的视频相机一例如蜂窝电话或网络摄像头中使用的那些——可被包含到系统100的示例实施例中。
[0043]另外，虽然图1图示了一个视频相机120，但可以使用更多视频相机，并且每一个可被配置为捕捉相同的视图，或者捕捉不同的视图。例如，视频相机120可向着前方以捕捉用户感知到的真实世界视图的至少一部分。由视频相机120捕捉到的这个前向图像随后可用于生成增强现实，其中计算机生成的图像看起来与用户感知到的真实世界视图交互。
[0044]传感器122被示为在头戴式设备102的延伸侧臂116上；然而，传感器122可定位在头戴式设备102的其它部分上。传感器122例如可包括陀螺仪或加速度计中的一个或多个。传感器122内可包括其它感测设备，或者除了传感器122还可以包括其它感测设备，或者传感器122可执行其它感测功能。
[0045]手指可操作触摸板124被示为在头戴式设备102的延伸侧臂114上。然而，手指可操作触摸板124可定位在头戴式设备102的其它部分上。另外，在头戴式设备102上可存在多于一个手指可操作触摸板。手指可操作触摸板124可被用户用来输入命令。手指可操作触摸板124可经由电容感测、电阻感测或表面声波过程等等来感测手指的位置和移动中的至少一者。手指可操作触摸板124可能够感测在与板表面平行或在同一平面内的方向上、在与板表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到板表面的压力的水平。手指可操作触摸板124可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。手指可操作触摸板124的边缘可形成为具有凸起的、凹陷的或粗糙的表面，以在用户的手指到达手指可操作触摸板124的边缘或其它区域时向用户提供触觉反馈。如果存在多于一个手指可操作触摸板，则每个手指可操作触摸板可被独立操作，并且可提供不同的功能。
[0046]图1B图示了图1A中所图示的系统100的替换视图。如图1B中所示，透镜元件110、112可充当显示元件。头戴式设备102可包括第一投影仪128，该第一投影仪128耦合到延伸侧臂116的内表面并且被配置为将显示130投影到透镜元件112的内表面上。额外地或可替换地，第二投影仪132可耦合到延伸侧臂114的内表面并被配置为将显示134投影到透镜元件110的内表面上。
[0047]透镜元件110、112可充当光投影系统中的组合器并且可包括涂层，该涂层反射从投影仪128、132投影到其上的光。在一些实施例中，可省略反射涂层(例如，当投影仪128、132是扫描激光设备时)。
[0048]在替换实施例中，也可使用其它类型的显示元件。例如，透镜元件110、112本身可包括:诸如电致发光显示器或液晶显示器之类的透明或半透明的矩阵显示器，用于将图像输送到用户的眼睛的一个或多个波导，或者能够将焦点对准的近眼图像输送到用户的其它光学元件。相应的显示驱动器可被部署在框架元件104、106内以用于驱动这种矩阵显示器。可替换地或额外地，可以用激光或发光二极管(light emitting diode, LED)源和扫描系统来将光栅显示直接摄取到用户的一只或两只眼睛的视网膜上。其它可能性也是存在的。
[0049]图2A图示了用于接收、发送和显示数据的示例系统200。系统200是以可穿戴计算设备202的形式示出的。可穿戴计算设备202可包括框架元件和侧臂，例如关于图1A和IB描述的那些。可穿戴计算设备202可额外地包括机载计算系统204和视频相机206，例如关于图1A和IB描述的那些。视频相机206被示为安装在可穿戴计算设备202的框架上；然而，视频相机206也可安装在其它位置。
[0050]如图2A中所示，可穿戴计算设备202可包括单个显示器208，该显示器208可耦合到该设备。显示器208可形成在可穿戴计算设备202的透镜元件之一上，例如关于图1A和IB描述的透镜元件，并且显示器208可被配置为将计算机生成的图形覆盖在用户对物理世界的观看中。显示器208被示为设在可穿戴计算设备202的透镜的中心；然而，显示器208可设在其它位置。可经由通过光学波导210耦合到显示器208的计算系统204来控制显示器 208。
[0051]图2B图示了用于接收、发送和显示数据的示例系统220。系统220是以可穿戴计算设备222的形式示出的。可穿戴计算设备222可包括侧臂223、中央框架支撑224和具有鼻托的鼻架部225。在图2B中所示的示例中，中央框架支撑224连接侧臂223。可穿戴计算设备222不包括包含透镜元件的透镜框架。可穿戴计算设备222可额外地包括机载计算系统226和视频相机208，例如关于图1A和IB描述的那些。
[0052]可穿戴计算设备222可包括单个透镜元件230，该透镜元件230可耦合到侧臂223之一或者中央框架支撑224。透镜元件230可包括显示器，例如参考图1A和IB描述的显示器，并且可被配置为将计算机生成的图形覆盖在用户对物理世界的观看上。在一个示例中，单个透镜元件230可耦合到延伸侧臂223的一侧。当可穿戴计算设备222被用户穿戴时，单个透镜元件230可定位在用户眼睛的前方或附近。例如，单个透镜元件230可定位在中央框架支撑224下方，如图2B中所示。
[0053]图3示出了示例计算机网络基础设施的简化框图。在系统300中，设备310利用通信链路320 (例如，有线或无线连接)与远程设备330通信。设备310可以是任何类型的能够接收数据并显示与该数据相对应或相关联的信息的设备。例如，设备310可以是抬头显示系统，例如参考图1A-2B描述的头戴式设备102、200或220。
[0054]从而，设备310可包括显示系统312,该显示系统312包括处理器314和显示器316。显示器316例如可以是光学透视显示器、光学环视显示器或视频透视显示器。处理器314可从远程设备330接收数据，并且将该数据配置用于显示在显示器316上。处理器314可以是任何类型的处理器，例如微处理器或数字信号处理器。
[0055]设备310还可包括机载数据存储装置，例如耦合到处理器314的存储器318。存储器318例如可存储可被处理器314访问和执行的软件。
[0056]远程设备330可以是被配置为向设备310发送数据的任何类型的计算设备或发送器，包括膝上型计算机、移动电话或者平板计算设备等等。远程设备330和设备310可包含用于使能通信链路320的硬件，例如处理器、发送器、接收器，天线等等。
[0057]在图3中，通信链路320被图示为无线连接；然而，也可使用有线连接。例如，通信链路320可以是诸如通用串行总线之类的有线串行总线或者并行总线以及其它连接。通信链路320也可以是使用例如蓝牙?无线电技术、IEEE802.11 (包括任何IEEE802.11修订版)中描述的通信协议、蜂窝技术(例如GSM、CDMA, UMTS, EV-DO, WiMAX或LTE)或紫蜂?技术等等的无线连接。这种有线和/或无线连接中的任一者也可以是专有连接。远程设备330可经由因特网来访问并且可包括与特定的web服务(例如，社交网络、照片共享、地址簿等等)相关联的计算集群。
[0058]如上文联系图1A-2B所述，示例可穿戴计算设备可包括或者可以其它方式通信地耦合到计算系统，例如计算系统118或计算系统204。图4示出了描绘示例计算系统400的示例组件的简化框图。设备310和远程设备330中的一者或两者可采取计算系统400的形式。
[0059]计算系统400可包括至少一个处理器402和系统存储器404。在示例实施例中，计算系统400可包括通信地连接到处理器402和系统存储器404以及计算系统400的其它组件的系统总线406。取决于期望的配置，处理器402可以是任何类型的处理器，包括但不限于微处理器(microprocessor, μ P)、微控制器(microcontroller, μ C)、数字信号处理器(digital signal processor,DSP)或者其任何组合。另外，系统存储器404可以是现在已知或以后开发的任何类型的存储器，包括但不限于易失性存储器(例如RAM)、非易失性存储器(例如ROM、闪存，等等)或者其任何组合。
[0060]示例计算系统400也可包括各种其它组件。例如，计算系统400包括用于(经由A/V端口 414)控制图形显示器410和扬声器412的A/V处理单元408、用于连接到其它计算设备418的一个或多个通信接口 416、以及电源420。图形显示器410可被布置为提供对于由用户接口模块422提供的各种输入区域的视觉描绘。例如，用户接口模块422可被配置为提供用户接口，例如下文联系图5A-D描述的示例用户接口，并且图形显示器410可被配置为提供对于该用户接口的视觉描绘。用户接口模块422还可被配置为从一个或多个用户接口设备428接收数据并向其发送数据(或者以其它方式与之兼容)。
[0061]此外，计算系统400还可包括一个或多个数据存储设备424，这些数据存储设备424可以是可移除存储设备、不可移除存储设备或者其组合。可移除存储设备和不可移除存储设备的示例包括诸如软盘驱动器和硬盘驱动器(hard-disk drive, HDD)之类的磁盘设备、诸如致密盘(compact disk,Q))驱动器或数字多功能盘(digital versatile disk,DVD)驱动器之类的光盘驱动器、固态驱动器(solid state drive, SSD)和/或现在已知或以后开发的任何其它存储设备。计算机存储介质可包括以任何方法或技术实现的易失性和非易失性的、可移除和不可移除的介质，以用于存储信息，例如计算机可读指令、数据结构、程序模块或其它数据。例如，计算机存储介质可采取以下形式:RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)、或者其它光存储装置、盒式磁带、磁带、磁盘存储装置或其它磁存储设备、或者现在已知或以后开发的可用于存储期望的信息并且可被计算系统400访问的任何其它介质。
[0062]根据示例实施例，计算系统400可包括程序指令426，该程序指令426被存储在系统存储器404中(和/或可能存储在另外的数据存储介质中)并且可被处理器402执行以促进本文描述的各种功能，所述各种功能包括但不限于关于方法附图描述的那些功能。虽然计算系统400的各种组件被示为分布式组件，但应当理解，任何这种组件可根据计算系统的期望配置被物理上集成和/或分布。
[0063]3.示例用户接口
[0064]图5A-D示出了示例用户接口 500的各方面。用户接口 500可由例如上文对于图1A-2B描述的可穿戴计算设备来显示。
[0065]用户接口 500的示例状态在图5A中示出。图5A中所示的示例状态可对应于可穿戴计算设备的第一位置。也就是说，当可穿戴计算设备处于第一位置时，用户接口 500可被显示为如图5A中所示。在一些实施例中，可穿戴计算设备的第一位置可对应于当可穿戴计算设备的穿戴者在向与地面大体平行的方向看时可穿戴计算设备的位置(例如，不对应于穿戴者向上或向下看的位置)。其它示例也是可能的。
[0066]如图所示，用户接口 500包括观看区域502。观看区域502的示例边界由虚线框示出。虽然观看区域502被示为具有景观形状(landscape shape)(其中观看区域502的宽度大于高度)，但在其它实施例中，观看区域502可具有肖像形状(portrait shape)或方形形状，或者可具有非矩形形状，例如圆形或椭圆形状。观看区域502也可具有其它形状。
[0067]观看区域502可以例如是可穿戴计算设备上的显示器的上、下、左、右边界之间(或包含这些边界)的可观看区域，或者换言之，可基本上填满HMD中的显示器。如图所示，当可穿戴计算设备处于第一位置时，观看区域502是基本上没有(例如，完全没有)用户接口元素的，从而使得用户对其真实世界环境的观看是大体上不杂乱的，并且用户的环境中的物体未被遮蔽。
[0068]在一些实施例中，观看区域502可对应于可穿戴计算设备的穿戴者的视野，并且观看区域502之外的区域可对应于穿戴者的视野之外的区域。在其它实施例中，观看区域502可对应于可穿戴计算设备的穿戴者的视野的非周边部分，并且观看区域502之外的区域可对应于穿戴者的视野的周边部分。在另一些其它实施例中，用户接口 500可大于可穿戴计算设备的穿戴者的视野或者与可穿戴计算设备的穿戴者的视野基本相同，并且穿戴者的视野可大于观看区域502或者与观看区域502大小基本相同。观看区域502也可采取其它形式。
[0069]从而，用户接口 500的在观看区域502之外的部分可在可穿戴计算设备的穿戴者的视野之外或者在可穿戴计算设备的穿戴者的视野的周边部分中。例如，如图所示，菜单504可在用户接口 500中的用户的视野之外或者在用户的视野的周边部分中。虽然菜单504被示为在观看区域502中不可见，但在一些实施例中，菜单504可在观看区域502中部分可见。[0070]在一些实施例中，可穿戴计算设备可被配置为接收与例如可穿戴计算设备向上运动到第一位置上方的位置相对应的运动数据。在这些实施例中，可穿戴计算设备可响应于接收到与向上运动相对应的运动数据而使得观看区域502和菜单504中的一者或两者移动，从而使得菜单504变得在观看区域502中更可见。例如，可穿戴计算设备可使得观看区域502向上移动并且可使得菜单504向下移动。观看区域502和菜单504可移动相同的量，或者可移动不同的量。在一个实施例中，菜单504可比观看区域502移动得更远。作为另一示例，可穿戴计算设备可以仅使得菜单504移动。其它示例也是可能的。
[0071]虽然使用了术语“向上”，但要理解向上运动可包含具有移动、倾斜、旋转、移位、滑动或导致大体上向上的运动的其它运动的任何组合的任何运动。另外，在一些实施例中，“向上”可以指在可穿戴计算设备的穿戴者的参考系中的向上运动。其它参考系也是可能的。在可穿戴计算设备是头戴式设备的实施例中，可穿戴计算设备的向上运动也可以是穿戴者的头部的向上运动，诸如例如用户向上看。
[0072]与向上运动相对应的运动数据可采取若干形式。例如，运动数据可以是(或者可以得自)从被配置为检测向上运动的一个或多个运动传感器、加速度计和/或陀螺仪——例如上文联系图1A描述的传感器122——接收的数据。在一些实施例中，运动数据可包括与向上运动相对应的二元指示。在其它实施例中，运动数据可包括与向上运动相对应的指示以及向上运动的程度。运动数据也可采取其它形式。
[0073]图5B示出了在接收与向上运动相对应的运动数据之后的示例用户接口的各方面。如图所示，用户接口 500包括观看区域502和菜单504。
[0074]如上所表明的，响应于接收到与可穿戴计算设备的向上运动相对应的运动数据，可穿戴计算设备可移动观看区域502和菜单504中的一者或两者，以使得菜单504变得在观看区域502中更可见。
[0075]如图所示，菜单504在观看区域502中完全可见。然而，在其它实施例中，菜单504可以只有一部分在观看区域502中可见。在一些实施例中，菜单504在观看区域502中可见的程度可至少部分基于向上运动的程度。
[0076]从而，可响应于接收到与向上运动相对应的数据而移动观看区域502。在一些实施例中，可在向上滚动或平移(panning)运动中移动观看区域502。例如,观看区域502在可穿戴计算设备的穿戴者看来可以好像被映射到以可穿戴计算设备为中心的静态球的内部那样，并且观看区域502的运动可映射到真实世界环境相对于可穿戴计算设备的运动。向上滚动的速度、加速度和/或量值可至少部分基于向上运动的速度、加速度和/或量值。在其它实施例中，观看区域502可通过例如在视野之间跳跃而被移动。在另一些其它实施例中，观看区域502可仅在向上运动超过阈值速度、加速度和/或量值时才被移动。响应于接收到与超过这样的一个或多个阈值的向上运动相对应的数据，观看区域502可平移、滚动、滑动或者跳跃到新的视野。也可以以其它方式移动观看区域502。
[0077]虽然以上描述集中于向上运动，但要理解可穿戴计算设备也可被配置为接收与其它方向性运动(例如，向下、向左、向右等等)相对应的数据，并且观看区域502可响应于接收到这种数据以与上文联系向上运动所述类似的方式被移动。
[0078]如图所示，菜单504包括多个内容对象506。在一些实施例中，内容对象506可在可穿戴计算设备的穿戴者的头部周围上方的环(或部分环)中布置。这个意义上的环或部分环不应当被认为一定是圆形的，而可以由任何类型的弧、椭圆或弧的组合来表示。在其它实施例中，内容对象506可布置成穿戴者的头部上方的圆顶形状。环或圆顶可以以可穿戴计算设备和/或穿戴者的头部上方为中心。在其它实施例中，也可以以其它方式布置内容对象506。
[0079]菜单504中的内容对象506的数目可以是固定的或者可以是可变的。在数目可变的实施例中，内容对象506的大小可根据菜单504中的内容对象506的数目而变化。在内容对象506围绕穿戴者的头部以圆形状延伸一就像环(或部分环)那样一的实施例中，在特定的时刻内容对象506可以只有一些是可见的。为了观看其它内容对象504，可穿戴计算设备的穿戴者可与可穿戴计算设备交互以例如沿着围绕穿戴者的头部的路径(例如，顺时针或逆时针)旋转内容对象506。为此，可穿戴计算设备可被配置为通过例如触摸板——例如手指可操作触摸板124—接收指示这种交互的数据。可替换地或额外地，可穿戴计算设备也可被配置为通过其它输入设备来接收这种数据。
[0080]取决于可穿戴计算设备的应用，内容对象506可采取若干种形式。例如，内容对象506可包括以下各项中的一个或多个:人、联系人、人和/或联系人的群组、日历项、列表、通知、告警、提示、状态更新、传入的消息、记录的媒体、音频记录、视频记录、照片、数字拼贴、先前保存的状态、网页、和应用，以及工具，例如静止相机、视频相机和音频记录器。内容对象506也可采取其它形式。
[0081]在内容对象506包括工具的实施例中，工具可位于菜单504的特定区域中，例如位于中央。在一些实施例中，工具可保持在菜单504的中央，即使其它内容对象506旋转，如上所述。工具内容对象也可位于菜单504的其它区域中。
[0082]菜单504中包括的特定内容对象506可以是固定的或可变的。例如，内容对象506可由可穿戴计算设备的穿戴者预选择。在另一实施例中，用于每个内容区域的内容对象506可由可穿戴计算设备从一个或多个物理或数字情境自动组装，这些物理或数字情境例如包括:人、地点和/或可穿戴计算设备周围的物体、地址簿、日历、社交网络web服务或应用、照片共享web服务或应用、搜索历史和/或其它情境。另外，一些内容对象506可以是固定的，而内容对象506可以是可变的。也可以以其它方式来选择内容对象506。
[0083]类似地，显示内容对象506的顺序或配置可以是固定的或可变的。在一个实施例中，内容对象506可由可穿戴计算设备的穿戴者预排序。在另一实施例中，内容对象506可基于例如以下标准被自动排序:每个内容对象506被使用的频率(仅在可穿戴计算设备上或者也在其它情境中)、每个内容对象506是最近多久被使用的(仅在可穿戴计算设备上或者也在其它情境中)、内容对象506的显式或隐式重要性或优先级排名和/或其它标准。
[0084]在一些实施例中，可穿戴计算设备还可被配置为从穿戴者接收从菜单504中对内容对象506的选择。为此，用户接口 500可包括光标508，其在图5B中被示为十字线，可用于导航到并从菜单504中选择内容对象506。在一些实施例中，光标508可由可穿戴计算设备的穿戴者通过一个或多个预定的运动来控制。从而，可穿戴计算设备还可被配置为接收与该一个或多个预定运动相对应的选择数据。
[0085]选择数据可采取若干形式。例如，选择数据可以是(或者可以得自)从被配置为检测一个或多个预定运动的一个或多个运动传感器、加速度计、陀螺仪和/或检测器接收的数据。该一个或多个运动传感器可被包括在可穿戴计算设备中，像传感器122那样，或者可被包括在通信地耦合到可穿戴计算设备的外围设备中。作为另一示例，选择数据可以是(或者可以得自)从触摸板接收的数据，例如上文联系图1A描述的手指可操作触摸板124，或者从包括在可穿戴计算设备中或耦合到可穿戴计算设备并被配置为检测一个或多个预定运动的其它输入设备接收的数据。在一些实施例中，选择数据可采取与预定运动相对应的二元指示的形式。在其它实施例中，选择数据可指示与预定运动相关联的程度、方向、速度和/或加速度。选择数据也可采取其它形式。
[0086]预定运动可采取若干种形式。在一些实施例中，预定运动可以是可穿戴计算设备或外围设备的特定运动或运动序列。在一些实施例中，预定运动可包括被定义为没有或基本上没有运动的一个或多个预定运动，例如在预定的时间段内没有或基本上没有运动。在可穿戴计算设备是头戴式设备的实施例中，一个或多个预定运动可涉及穿戴者的头部的预定运动(假定其以相应的方式移动可穿戴计算设备)。可替换地或额外地，预定运动可涉及通信地耦合到可穿戴计算设备的外围设备的预定运动。外围设备可类似地可由可穿戴计算设备的穿戴者穿戴，使得外围设备的运动可追随穿戴者的运动，诸如例如穿戴者的手部的运动。此外，可替换地或额外地，一个或多个预定运动可以例如是手指可操作触摸板或其它输入设备上的运动。其它预定运动也是可能的。
[0087]如图所示，可穿戴计算设备的穿戴者已利用一个或多个预定运动将光标508导航到内容对象506。为了选择内容对象506，穿戴者可执行额外的预定运动，例如将光标508保持在内容对象506上方达预定时间段。穿戴者也可以以其它方式来选择内容对象506。
[0088]一旦选择了内容对象506，可穿戴计算设备就可使得内容对象506作为被选内容对象显示在观看区域502中。图5C示出了根据实施例的在选择被选内容对象之后的示例用户接口的各方面。
[0089]如虚线箭头所指示，内容对象506作为被选内容对象510显示在观看区域502中。如图所示，被选内容对象510在观看区域502中被显示得比菜单504更大且更详细。然而，在其它实施例中，被选内容对象510可在观看区域502中被显示得比菜单504更小或与其大小相同并且更不详细或者同样详细。在一些实施例中，在观看区域502中与被选内容对象510相邻处或附近可示出额外的内容(例如，要应用到被选内容对象510的动作、要以被选内容对象510应用的动作或者要基于被选内容对象510应用的动作、与被选内容对象510有关的信息和/或对于被选内容对象510的可修改的选项、偏好或参数等等)。
[0090]一旦在观看区域502中显示了被选内容对象510，可穿戴计算设备的穿戴者就可与被选内容对象510交互。例如，当被选内容对象510被示为电子邮件收件箱之时，穿戴者可能希望阅读电子邮件收件箱中的电子邮件之一。取决于被选内容对象，穿戴者也可以以其它方式与被选内容对象交互(例如，穿戴者可定位与被选内容对象510有关的额外信息，修改、增强和/或删除被选内容对象510等等)。为此，可穿戴计算设备还可被配置为接收与指示与用户接口 500的交互的一个或多个预定运动相对应的输入数据。输入数据可采取上文联系选择数据描述的任何形式。
[0091]图示出了根据实施例的在接收与用户输入相对应的输入数据之后的示例用户接口的各方面。如图所示，可穿戴计算设备的穿戴者已将光标508导航到电子邮件收件箱中的特定主题行并选择了该主题行。结果，电子邮件512被显示在观看区域中，从而穿戴者可阅读电子邮件512。取决于例如被选内容对象，穿戴者也可以以其它方式与用户接口 500交互。
[0092]4.用于碰撞避免的示范性方法和系统
[0093]图6是图示出根据示范性实施例的方法的简化流程图。具体地，具有HMD的可穿戴计算机可实现方法600以便响应于附近物体而发起碰撞避免动作。
[0094]更具体而言，方法600涉及可穿戴计算机在HMD的基本上透明的显示器上显示用户接口，该用户接口包括观看区域和位于观看区域之外的至少一个内容区域，如块602所示。最初，用户接口的状态是使得观看区域基本上填满HMD的视野，并且至少一个内容区域在视野中不是完全可见的。在此初始状态中，可穿戴计算机在观看区域中显示一个或多个虚拟对象，如块604所示。可穿戴计算机随后使用来自一个或多个第一传感器的数据作为确定HMD与物理物体之间的距离的基础，如块606所示。在确定HMD与物理物体之间的距离之后，可穿戴计算机可使用所确定的距离作为发起碰撞避免动作的基础，该碰撞避免动作包括弱化所显示的虚拟对象中的至少一个从而提供透过HMD的透明显示器对物理物体的不那么受妨碍的观看，如块608所示。
[0095]示范性可穿戴计算机可使用附近物理物体的接近度和/或相对运动数据来确定何时有可能发生碰撞并且作为响应整理可穿戴计算机的HMD。例如，示范性可穿戴计算机可使用接近度数据，该接近度数据可指示出从可穿戴计算机(或者从与可穿戴计算机相关联的传感器)到各附近物体的距离。该接近度数据随后可用于确定物体何时太靠近，并且作为响应整理HMD (例如，通过将虚拟对象从穿戴者的视野中基本上去除)。
[0096]除了接近度数据以外，一些实施例可分析相对运动数据，该相对运动数据可指示出真实世界物体相对于可穿戴计算机(或者相对于与可穿戴计算机相关联的传感器)的运动的速度和/或方向。术语“相对运动”在此情况下可以指物体相对于测量这种数据的可穿戴计算机(例如，相对于测量这种数据的可穿戴计算机的传感器)的速度和/或加速度。这样，物体的相对运动也可被认为是物体相对于这种可穿戴计算机的穿戴者的运动。从而，物体的相对运动可不仅取决于其自己的运动，而且也取决于可穿戴计算机(或者可穿戴计算机的传感器)的运动。
[0097]如所表明的，在一些实施例中，可穿戴计算机可使用接近度数据和相对运动数据的组合来确定与附近物体碰撞的风险是否使得HMD应当被整理。例如，可穿戴计算机对于碰撞避免可实现可变阈值距离，其取决于物体朝着可穿戴计算机的相对速度。具体地，可穿戴计算机可根据附近物体的相对运动和/或方向来调整阈值距离。例如，可穿戴计算机可大体上在(a)附近物体朝着可穿戴计算机的相对速度增大时和/或(b)附近物体的轨迹指示碰撞更有可能时减小发起碰撞避免时的阈值距离，反之亦然。可替换实现方式可利用运动和距离数据来确定到碰撞为止的时间，然后使用这个到碰撞为止的时间作为发起碰撞避免动作的基础。
[0098]作为具体示例，从十米远处以两米每秒的相对速度接近的第一物体可被指派以一确定距离，该确定距离是指派给从十米远处以一米每秒的相对速度接近的第二物体的确定距离的一半。因为此示例中的第一物体可造成更立即的碰撞风险，所以示范性方法可有利地发起更紧急的碰撞避免动作。另外，一些示范性系统可被配置为只响应于正在接近显示器的物体而激活碰撞避免动作，而不考虑所确定的距离。其它示例也是可能的。
[0099]一些示范性方法可涉及检测在视野之外的物理危害，并且响应于这种危害而发起碰撞避免动作。例如，HMD可能在接近在地面上太低处以至于不能通过显示窗口看到的物体(例如,路缘、树桩、台阶)。虽然HMD上的虚拟对象可能并没有正遮蔽对此物体的观看，但该物体可对HMD的穿戴者呈现绊倒的危害。
[0100]a.确定距离
[0101]可穿戴计算机可使用各种传感器或传感器的组合来获取用于发起碰撞避免动作的数据。例如，一些实施例可利用来自视频相机的数据。作为具体示例，HMD可包括前置相机，其可被配置为捕捉延伸到观看区域中提供的视野之外的图像。然后，一体的或远程附接的计算设备可采用图像处理技术来确定捕捉的图像的一部分表示物理物体并且进一步估计相机与该物体之间的距离。在此情况下，相机和可穿戴计算机可将此估计的距离数据发送到执行物体检测过程的计算系统。因此，物体检测过程可使用已经确定的距离作为激活碰撞避免动作的基础。
[0102]作为另一示例，一些实施例在评估是否发起碰撞避免动作时可利用来自一个或多个声学或光学传感器的数据。例如，示范性实施例可包含主动声学感测过程来确定真实世界物体的接近度。这种过程可涉及发射明确定义的声脉冲，然后检测返回到系统的反射声波(即，回声)。额外地或可替换地，一些实施例可包含主动光学感测过程，该过程涉及发射明确定义的光波，该光波通常在可见光谱之外，并且检测反射的光波。在任一情况下，示范性系统可使用这种技术来检测附近物体的存在并确定附近物体的接近度。另外，这种技术可用于跟踪这些物理物体随着时间的运动(例如，通过周期性地重复这种技术来确定运动)。
[0103]可以采用许多示范性传感器中的任何一种来进行数据收集。在一些情况下，传感器可处理原始数据以确定物体的距离，然后才将此确定送出给负责碰撞避免动作的处理器。在其它情况下，处理器可接收原始数据并对其进行处理以确定物体的距离。
[0104]在一些实施例中，从一个或多个距离传感器接收的数据还可用于确定HMD周围的物理物体的位置。例如,传感器可被配置为检测物理物体和HMD之间的线与地面以及与HMD正面对的方向形成的角度。这样，可在三个维度上确定物理物体的位置(即，利用两个角度和相对距离作为球坐标)。然后，该位置确定可用于跟踪HMD的覆盖物理物体的部分。例如，如果HMD与物理物体之间的向量的方向在表示HMD的正前方的向量的方向的略左下方，则该物体可大部分被HMD的左下部的虚拟对象所遮蔽。对覆盖部分的确定可帮助使得HMD能够确定作为响应要应用的最适当的碰撞避免动作。在中心左下方的物体的示例中，一些示范性方法可以仅影响屏幕的左下部分内的虚拟对象。
[0105]b.确定相对运动
[0106]如所表明的，在一些实施例中，物体的相对运动可用作调整将用于发起碰撞避免动作的所确定的物体的距离的基础。从而，可以单独地或组合地采用各种类型的传感器以便确定附近物体的相对运动。
[0107]在一些实施例中，第二组传感器可用于收集和报告相对运动数据。在实践中，这个第二组传感器可以部分地或完全地包括第一组传感器。例如，主动光学检测系统可发射短单色脉冲并且测量返回波的频率、相位偏移和时间延迟。时间延迟和相位偏移可用于确定反射物体的距离。额外地，频率和相位变化可用于确定物体的相对速度。在此示例中，第一和第二传感器可实际上是相同传感器。然而，也可能用于确定相对运动数据的传感器可与那些用于确定接近度数据的传感器分离。
[0108]c.发起碰撞避免动作
[0109]可响应于多种因素而激活碰撞避免动作。例如，对于物理物体在给定距离阈值内的确定可用作激活碰撞避免动作的基础。另外，对于物理物体正以高于给定速度阈值的相对速度充分地朝着HMD移动的确定可用作激活碰撞避免动作的基础。作为另一示例，可确定物理物体正在HMD的方向上加速。对于可穿戴计算机在运动中或者用户接口的观看区域充分杂乱的确定也可用作激活碰撞避免动作的基础。另外，这些因素中的任何因素或所有因素可被组合以形成用于激活碰撞避免动作的基础。例如，示范性实施例可响应于从加速度计接收到指示出可穿戴计算机在以一定速度阈值以上的速度的运动中的数据而激活碰撞避免动作，其中该一定速度阈值是从指示出观看区域被占据的百分比的数据来确定的。
[0110]在一些实施例中，物理物体的所确定的距离可用作激活碰撞避免动作的基础。例如，一种方法可为所有物体设定距离阈值。然后，可响应于确定物理物体在此距离阈值内而激活碰撞避免动作。在一些示范性系统和方法中，多个距离阈值可与多个碰撞避免动作相关联。
[0111]在一些实施例中，距离确定或者使用距离作为激活基础的碰撞避免动作可仅适用于被HMD充分覆盖的物理物体。例如,系统可确定物理物体靠近HMD，但对物体的观看未被HMD所覆盖。在此示例中，弱化显示到HMD的虚拟对象的碰撞避免动作不会提供对物理物体的不那么受妨碍的观看。因此，示范性系统可确定不使用此物理物体的接近度作为激活碰撞避免动作的基础。可替换地，一些示范性实施例可确定所有检测到的物理物体的接近度作为激活碰撞避免动作的基础。
[0112]一些实施例可使用对物体的相对运动的确定作为激活碰撞避免动作的基础。例如，一些示范性实施例可被配置为仅响应于物体正在充分接近显示器而激活碰撞避免动作。在这种情况下，所确定的距离仍可用作激活碰撞避免动作的第二基础，但只在所确定的相对运动的条件得到满足之后。一些实施例可包括设定相对速度阈值，其中被确定为以高于阈值速度的速度充分地朝着HMD移动的物理物体可以是激活碰撞避免动作的基础。类似地，如果确定物体正以大于阈值加速率朝着HMD加速，则示范性可穿戴计算机可作为响应发起碰撞避免动作。也可使用其它示范性运动模式。
[0113]如上所表明的，在一些实施例中，物体的相对运动可用作调整在其发起碰撞避免动作的物理物体的阈值距离的基础。例如，再次考虑以两米每秒的相对速度朝着传感器移动的第一物体和以一米每秒的相对速度朝着传感器移动的第二物体可各自与HMD具有所确定的十米的距离。然而，示范性实施例可基于第一物体的相对运动为第一物体指派十二米的阈值距离。第二物体可基于其相对运动被指派以八米的阈值距离。然后，可响应于检测到在十米处的第一物体而激活碰撞避免动作，但不响应于检测到在相同距离处的第二物体而激活碰撞避免动作。注意，本文中这个和其它示例中的具体距离和调整是出于例示目的而提供的，而不应当被认为是限制性的。设想到了碰撞附近物体的距离和/或运动用于触发碰撞避免动作的方式可取决于具体实现方式而有所不同。
[0114]在一些实施例中，所确定的到碰撞为止的时间值可用作发起碰撞避免动作的基础。利用来自以上部分的示例，第一物体的最初的到碰撞为止的时间值将是五秒，并且第二物体的最初的到碰撞为止的时间值将是十秒。如果检测这些物体的系统的到碰撞为止的时间的阈值是八秒，则只有第一物体最初将超过该阈值并激活碰撞避免动作。还可基于更高阶的运动数据(例如，加速度、猛拉(jerk)等等)来确定或改变到碰撞为止的时间。例如，如果上述示例中的最初以一米每秒接近的第二物体还在以一米每秒每秒(lm/s~2)的加速率朝着HMD加速，则第二物体可能实际上会在四秒内到达HMD。因此，HMD可使用相对运动数据来预期这个更快的接近并且为此物体指派更短的到碰撞为止的时间。
[0115]在一些实施例中，对HMD在运动中的确定可用作激活碰撞避免动作的基础。例如，系统可被配置为仅在HMD以阈值速度以上的速度移动时激活碰撞避免动作。这种实施例还可使用其它激活基础，但仅在HMD超过运动阈值之后。一些实施例可被配置为仅在确定HMD在运动中之后才开始检测物理物体。
[0116]一些实施例可使用杂乱的水平作为激活碰撞避免动作的又一个基础。例如，对杂乱的水平的确定可包括接收对用户接口的观看区域中的未被占据区域的量的指示。作为另一示例，观看区域中显示的虚拟对象的数目和大小可用作杂乱水平的基础。一实施例随后可仅在超过阈值杂乱水平时才激活碰撞避免动作。
[0117]预定义的用户偏好也可指示对碰撞避免动作的限制(例如，时间限制、允许的碰撞避免动作、指定的速度和加速度阈值等等)。作为示范性用户偏好，系统可被配置为仅在用户接口的观看区域充分杂乱时才激活碰撞避免动作。例如，如果只有一个小的虚拟对象被显示在观看区域的边缘附近，则系统可确定不需要响应于检测到的物理物体采取碰撞避免动作。
[0118]d.弱化虚拟对象
[0119]示范性碰撞避免动作可包括弱化用户接口的观看区域中显示的一个或多个虚拟对象。弱化虚拟对象可包括例如去除被确定为覆盖物理物体的虚拟对象、从观看区域中去除所有虚拟对象、在观看区域内移动虚拟对象、将虚拟对象移动到部分在观看区域内并且部分在观看区域外的区域、减小虚拟对象的大小、以及使得虚拟对象至少部分透明。额外地，示范性的弱化动作可包括以许多方式描绘对虚拟对象的改变。
[0120]5.示范性碰撞避免用户接口
[0121]一旦检测到附近的物理物体，则可应用许多潜在的碰撞避免动作。例如，可以采用多种方法来弱化一个或多个虚拟对象。额外地，可以使用新的虚拟对象、音频告警和/或物理指示来更好地将注意力吸引到所检测到的物理物体。另外，可以组合示范性碰撞避免动作以最大化效果。
[0122]图7A是根据示范性实施例的用户接口的简化图示。具体地，图7A图示了在其中可应用碰撞避免动作的用户接口 700的状态。如图所示，用户接口 700在观看区域702中提供虚拟对象706和708。用户接口 700还在内容区域704中提供内容标记712A、712B和712C，内容区域704可在用户接口 700的所显示部分之外。额外地，图7A中示出了超出显示器以外的一些物理视野，其中包括靠近显示器的物理物体710。如图7A中所示，对物理物体的观看基本上被虚拟对象706和虚拟对象708所遮蔽。
[0123]图7B至7H是处于与图7A中所示不同的状态中的图7A中所示的用户接口的简化图示。具体地，图7B至7H中的每一幅图示了在执行示范性碰撞避免动作之后的用户接口700。
[0124]更具体而言，图7B图示了从用户接口 700的观看区域702中去除虚拟对象706的示范性碰撞避免动作的结果。额外地,在内容区域704中提供了与虚拟对象706相对应的新内容对象714。图7B图示了物理物体710不再基本上被遮蔽，因为虚拟对象708只遮盖对物理物体710的观看的相对较小的部分。在碰撞避免动作激活之后，用户可从内容区域中选择内容对象714，并且系统可作为响应将虚拟对象706返回到观看区域702。在一些情况下，在虚拟对象706被显示在观看区域702中的同时，表示虚拟对象706的内容的内容对象可能已经占据内容区域。在这种情况中，此示范性碰撞避免动作将只是从观看区域702中去除虚拟对象706，而不创建新的内容对象714。
[0125]图7C图示了从用户接口 700的观看区域702中去除虚拟对象706和虚拟对象708两者的示范性碰撞避免动作。如上述技术中那样，如果在内容区域704中没有提供与虚拟对象706相对应的内容对象，则可创建并在内容区域704中提供这种内容对象714。在此过程中，还可向内容区域704提供与虚拟对象708相对应的内容对象716。除了允许对物理物体710的更不受妨碍的观看以外，此技术与只从显示器中去除单个虚拟对象的技术相比还可更充分地吸引用户的注意力。有利地，这个碰撞避免动作可不需要物体检测过程来确定超出观看区域以外的物理物体的位置，而为了应用图5B中所描绘的技术则可能需要该过程。
[0126]除了图7B和图7C中所表示的实施例以外，对于从观看区域702中去除的每个虚拟对象,可以在或不在内容区域704中放置表示每个虚拟对象的内容对象。例如，除了内容区域以外，示范性用户接口还可包括历史区域，其中有表示最近关闭的内容的内容对象。在此情况下，在历史区域中可创建表示被去除的虚拟对象的内容对象，作为将该内容对象放置在内容区域704中的附加或取代。另外，虚拟对象的去除可以不伴随着任何新内容对象。
[0127]图7D图示了在观看区域702内移动而不是从观看区域中去除虚拟对象706和虚拟对象708的示范性碰撞避免动作的结果。如图7D中所示，作为简单地将虚拟对象706和708移开到观看区域702的侧边处的结果，物理物体710就可大部分可见。在一些情况下，运动可遵循预定义的路线。例如，显示器可被配置为始终将对象朝着屏幕的最近横向边缘横向移动(图7D的示例就可能是这种情况)。可替换地，可穿戴计算机可被配置为基于显示器的当前正遮盖着对物理物体的观看的特定部分来指定适当的运动模式。
[0128]图7E图示了在观看区域702内移动虚拟对象706和708的另一示范性碰撞避免动作的结果。与图7D所图示的过程不同，图7E所图示的过程可将虚拟对象706和708移动到至少部分在观看区域702之外的位置。在示范性系统中，可穿戴计算机可被配置为存储用户接口 700中默认观看区域之外的虚拟对象的位置。如上所述，可穿戴计算机还可被配置为改变用户接口 700的被提供给显示器的部分。这样，系统可提供实际上大于所显示的观看区域的可访问用户接口。因此，如果虚拟对象被部分移动到观看区域之外，则用户接口可提供供用户继续检视该虚拟对象的过程。例如，HMD可被配置成使得如果一对象被从显示器的中心移动到左侧，并且HMD随后被向左转，则该对象将根据HMD的运动而作为响应被带回观看区域的中心。
[0129]如图7E中所示，在虚拟对象被部分移动到观看区域之外的同时，虚拟对象的内容可保持完好，如虚拟对象706所图示的。可替换地，虚拟对象的内容可被更改，如被更改的虚拟对象708所图示的。在此示例中，在观看区域中保留虚拟对象708的内容的标题和简要预览，以允许用户更容易识别出此对象。对于这种情形可应用许多其它内容更改。[0130]图7F图示了一种示范性碰撞避免动作的结果，其中虚拟对象706和虚拟对象708仍被显示在观看区域702中大致其原始位置处，但其大小被减小了。通过减小虚拟对象706和708的大小，可以看到物理物体710，并且虚拟对象706和708可保持在其原始位置。当然，如果将此过程与另一弱化技术相组合，则除了缩小过程以外，可将虚拟对象从其原始位置移开或者以其它方式影响虚拟对象。与图7E中所图示的弱化技术一样，响应于虚拟对象的大小的减小，可以以若干种方式来更改每个虚拟对象的内容。例如，图7F中的虚拟对象706的内容被统一地进行了大小减小，就像单个图片的缩小那样。作为另一示例，虚拟对象708的内容被浓缩成标题和来自内容的简要摘录。示范性技术可包括接收选择被最小化的虚拟对象的用户输入并作为响应将该虚拟对象恢复到其原始大小的过程。这样，虚拟对象708的行为方式可类似于在观看区域中示出的内容对象。可以采用许多其它内容减小过程。例如，可以基于特定虚拟对象的内容、预期的缩小量和/或用户偏好来选择内容更改过程。
[0131]图7G图示了一种示范性碰撞避免动作的结果，其中使虚拟对象706和708至少部分透明，从而使得物理物体710通过HMD的透明显示器可更容易可见。示范性实施例可以仅对被确定为充分遮蔽物理物体的对象或者对观看区域内的所有虚拟对象应用透明(如图7G中所描绘的)。此外，一些实施例可被配置为只使得每个虚拟对象的一部分透明。例如，如果单个虚拟对象遮盖整个屏幕，则示范性技术可使得该虚拟对象的窗口在检测到的物理物体的正前方变得透明，而同时保持该虚拟对象的其余部分基本上不透明。
[0132]除了移动和/或弱化虚拟对象以外，示范性碰撞避免动作可涉及添加一个或多个虚拟对象来突出检测到的物理物体。图7H图示了一个这种碰撞避免动作的结果。更具体而言，除了移动虚拟对象706和虚拟对象708以外，用户接口还呈现了新的虚拟对象718来将注意力吸引到正在接近的物理物体710。这个示例新虚拟对象718被示为小心符号和检测到的物体周围的边界。然而，突出对象可采取许多形式。额外地，如果物理物体已经部分可见，则此技术不需要与其它过程组合。另外，如果在超出显示器的视野之外检测到物理物体，则新的虚拟对象可包括方向性符号或者对于潜在障碍物相对于显示器在何处的某种其它指示。
[0133]示范性碰撞避免动作还可基于检测到的物理物体的特性来指定要呈现的特定的新虚拟对象。例如，来自图7H的新虚拟对象718包括检测到的物体周围的边界。如果检测到了不同的物理物体，则需要改变此边界的形状以包围这个不同的物体。如果检测到的物理物体在被显示窗口遮盖的视野之外，则作为碰撞避免动作的一部分可呈现指示检测到的物体的方向的新虚拟对象。另外，如果通过HMD的穿戴者以特定方式运动(例如，向左移动、急忙弯腰、加快速度)可最容易避免一个或多个检测到的物理物体，则可呈现新的虚拟对象，例如指向运动方向的箭头和/或向穿戴者指示运动方式的文本。
[0134]示范性碰撞避免动作还可包括非视觉告警来提醒穿戴者。例如，可穿戴显示器可包括扬声器，其可呈现音频告警来补充视觉线索。有利地，这种告警可提醒用户，而无需改变视觉显示。与呈现新虚拟对象一样，非视觉告警可以是依情形而定的。例如，如果确定通过穿戴者向左移动可最好地避开物体，则音频提醒可包括说出“向左移动”的语音。额外地，非视觉线索可包括物理线索，例如系统的振动或者显示窗口的物理移动。
[0135]示范性实施例还可被配置为组合任何或所有碰撞避免动作以最有效地应对碰撞避免动作。例如，可以既移动虚拟对象又使其部分透明，以使得与只是移动对象相比，物理物体可以完全可见并且使得周围视野更可见。作为另一示例，如果初始的尝试没有产生期望的影响(例如，尽管有初始的碰撞避免动作，但穿戴者仍继续以可能危险的方式接近检测到的物体)，则碰撞避免动作可以按相继的步骤来弱化虚拟对象。例如，示范性过程可包括接收对于一物体在第一阈值距离内的指示并且作为响应移动一个虚拟对象以提供对该物体的观看。该过程还可包括接收随后的对于检测到的物体在第二个更近的距离阈值内的指示并且作为响应移动所有虚拟对象以提供对正在接近的物体的不那么受妨碍的观看。在接收到对于物体继续造成碰撞风险的额外指示之时，示范性过程可包括向虚拟对象中的一个或全部应用透明、减小虚拟对象的大小、将虚拟对象从观看区域中完全去除以及最终呈现新虚拟对象以突出物理物体。以许多其它有利方式组合碰撞避免动作对于本领域技术人员将是显而易见的。
[0136]示范性显示器可被配置为以各种方式来描绘虚拟对象的移动或去除。例如，在观看区域内被从一个位置移动到另一位置的虚拟对象可在中间位置处被相继示出，以描绘与物理物体的移动类似的模式。在从观看区域中去除对象并在内容区域中创建相应的内容对象时也可应用这种过程。在此情况下，该对象可以图形方式示出朝着内容区域的相继进度，直到虚拟对象被从观看区域中完全去除为止。描绘虚拟对象的去除的另一示范性过程可包括逐渐地使得该对象更透明，直到其从显示中消失为止。作为另一示例，虚拟对象在被从观看区域中去除之前可被描绘为大小减小。另外，虚拟对象在被从观看区域中去除之前可被描绘为大小增大以给出虚拟对象正通过显示器移动到穿戴者后方的一点的印象。
[0137]另一示范性描绘技术可通过以指示迅速接近的障碍物的方式移动虚拟对象来帮助允许穿戴者利用其自己的本能碰撞避免机动。例如，如果虚拟对象朝着屏幕的边缘迅速扫动并且大小增大，则与虚拟对象就只是消失相比，穿戴者可感知到其周围的物理物体更加靠近或者正更加迅速地接近。因此，这种运动模式可描绘对穿戴者的逼近的危险，从而允许穿戴者进行更立即的调整来避免物理物体。在此示例中，计算机可基于物理物体的相对位置来选择虚拟对象移动到的屏幕边缘。例如，如果在HMD的前方、但在视野中心的略左侧处检测到物理物体，则虚拟对象可被放大并移开到屏幕的左侧。作为另一示例，如果物理物体的相对运动是朝向仅在HMD的略左侧的点，则对象可类似地朝着屏幕的左边缘扫动。在一些实施例中，虚拟对象可在变得越来越透明的同时大小放大，直到被完全从屏幕中去除为止。此情况下的虚拟对象将不需要朝着屏幕边缘移动，而可以就只是原地放大，从而给出虚拟对象正穿过HMD到穿戴者后方的一点的印象。
[0138]一些示范性过程可包括响应于接收到对于物理物体不再是危害的指示或者作为用户输入的结果而撤除碰撞避免动作的步骤。示范性碰撞避免动作因此可包括把在碰撞避免动作的激活之前占据了观看区域的虚拟对象移回到其在观看区域中的原始位置的过程。另外，这种过程还可包括重新确立虚拟对象的大小和不透明性。例如，示范性撤除过程可包括在激活碰撞避免动作之前存储虚拟对象在观看区域中的原始位置和内容。然后，响应于碰撞避免动作被撤除，该过程可将虚拟对象的原始内容移回到其在观看区域中的原始位置。
[0139]在发起碰撞避免动作之后，示范性实施例还可包括响应于从传感器接收到第二数据而撤除碰撞避免动作的技术。例如，响应于确定静止的物理物体具有直指HMD的穿戴者的相对运动，因为穿戴者正在朝着该静止物体行走，系统可激活碰撞避免动作。被碰撞避免动作提醒的穿戴者可调整路线以避开该静止物体。然后，系统可确定该物体不再具有指向HMD的相对运动并且作为响应撤除碰撞避免动作。作为另一示例，当一骑自行车者突然在HMD的阈值距离内拐弯时，HMD的穿戴者可能正静止不动。示范性系统可检测到附近的骑自行车者并且激活碰撞避免动作以提醒穿戴者。随后，骑自行车者可能移动到距HMD在阈值距离以外，并且作为响应，系统可撤除碰撞避免动作。可利用许多其它示范性撤除过程。
[0140]撤除过程也可起因于除了从传感器接收的距离和相对运动数据以外的输入。例如，可从一个或多个输入设备接收指示出应当撤除碰撞避免动作的用户输入。作为具体示例，碰撞避免动作可包括将虚拟对象移开到观看区域的左侧或者甚至移动到用户接口的超出观看区域的左边界的部分中。显示器的穿戴者可能希望无视碰撞避免动作并且恢复对被移动的虚拟对象的原始观看。示范性系统可被配置为从运动传感器接收对于穿戴者已迅速将显示器向左转的指示并且作为响应使虚拟对象返回到其原始位置。可以采用许多其它用户输入技术，例如语音命令、视线跟踪眼睛运动、开关的促动或者与触摸板的交互，来指示需要撤除碰撞避免动作。
[0141]虽然本文已公开了各种方面和实施例，但本领域技术人员将清楚其它方面和实施例。本文公开的各种方面和实施例是为了例示，而并不打算进行限定，真实的范围和精神由权利要求指示。
【权利要求】
1.一种由计算机实现的方法，包括: 在头戴式显示器(HMD)的基本上透明的显示器上显示用户接口，其中所述用户接口包括观看区域和位于所述观看区域之外的至少一个内容区域； 最初在所述观看区域中显示一个或多个虚拟对象，其中所述观看区域基本上填满所述HMD的视野，并且其中所述至少一个内容区域在所述视野中不是完全可见的； 利用来自一个或多个第一传感器的数据作为确定所述HMD与物理物体之间的距离的基础；以及 利用所确定的所述HMD与所述物理物体之间的距离作为发起碰撞避免动作的基础，其中所述碰撞避免动作包括弱化所显示的虚拟对象中的至少一个从而提供透过所述HMD的透明显示器对所述物理物体的不那么受妨碍的观看。
2.如权利要求1所述的方法，其中，所述用户接口最初被配置成使得所述至少一个内容区域基本上沿着所述观看区域上方的一至少部分环布置，并且其中，所述至少部分环基本上以所述HMD上方为中心。
3.如权利要求1所述的方法，其中，利用所确定的距离作为发起碰撞避免动作的基础包括: 确定所述物理物体与所述HMD相距小于阈值距离；并且作为响应发起所述碰撞避免动作。
4.如权利要求1所述的方法，还包括: 利用来自一个或多个第二传感器的数据来确定所述物理物体相对于所述HMD的相对运动；以及 利用所述相对运动作为发起所述碰撞避免动作的另一个基础。
5.如权利要求4所述的方法，其中，利用所述相对运动作为发起所述碰撞避免动作的另一个基础包括: 利用所述相对运动作为确定所述物理物体与所述HMD之间的阈值距离的基础；以及 确定所述物理物体与所述HMD相距小于阈值距离，并且作为响应发起所述碰撞避免动作。
6.如权利要求4所述的方法，其中，利用所述相对运动作为发起所述碰撞避免动作的另一个基础包括: 利用(a)所述物理物体与所述HMD之间的距离和(b)所述相对运动，来确定直到碰撞为止的时间段；以及 确定所述直到碰撞为止的时间段小于阈值时间段并且作为响应发起所述碰撞避免动作。
7.如权利要求4所述的方法，还包括，在发起所述碰撞避免动作之后: 利用来自所述一个或多个第二传感器的数据作为确定所述物理物体随后相对于所述HMD的相对运动的基础； 确定所述物理物体随后的相对运动的方向是充分远离所述HMD的方向，从而使得与所述物理物体的碰撞不太可能；以及 响应于确定所述物理物体随后的相对运动是在充分远离所述HMD的方向上的，在所述观看区域中重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象。
8.如权利要求1所述的方法，还包括: 利用来自一个或多个第三传感器的数据来确定所述HMD在运动中；以及 利用对于所述HMD在运动中的确定作为发起碰撞避免动作的另一个基础。
9.如权利要求1所述的方法，还包括: 确定所述观看区域充分杂乱；以及 利用对于所述观看区域充分杂乱的确定作为发起所述碰撞避免动作的另一个基础。
10.如权利要求1所述的方法，其中，弱化所述虚拟对象中的至少一个包括从所述观看区域中去除所述虚拟对象中的至少一个。
11.如权利要求10所述的方法，其中，被去除的至少一个对象被移动到:(a)在所述视野中不完全可见的所述内容区域之一，或者(b)位于所述观看区域之外的历史区域。
12.如权利要求10所述的方法，其中，所述一个或多个对象全都被从所述观看区域中去除。
13.如权利要求1所述的方法，其中，移动所述虚拟对象中的至少一个包括通过将所述虚拟对象中的至少一个迅速地从所述观看区域的中心点朝着所述观看区域的外边缘移动来高效地描绘潜在的危害。
14.如权利要求13所述的方法，还包括: 确定所述观看区域的覆盖所述物理物体的部分； 其中，所述虚拟对象中的至少一个被迅速地从所述观看区域的覆盖所述物理物体的部分移开。
15.如权利要求1所述的方法，其中，所述物理物体在用户视野之外，并且其中，所述碰撞避免动作还包括显示对所述物理物体的方向的视觉指示。
16.如权利要求1所述的方法，其中，所述碰撞避免动作还包括呈现音频提醒。
17.如权利要求1所述的方法，其中，所述碰撞避免动作还包括显示突出所述物理物体的视觉指示。
18.如权利要求1所述的方法，还包括: 接收指示重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象的用户输入数据；以及 响应于至少接收所述用户输入数据，在所述观看区域中重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象。
19.如权利要求18所述的方法，其中，所述用户输入数据包括与预定的运动模式相对应的头部运动数据。
20.一种可穿戴计算机，包括: 至少一个处理器；以及 数据存储装置，包括逻辑，该逻辑可由所述至少一个处理器执行来: 在头戴式显示器(HMD)的基本上透明的显示器上显示用户接口，其中所述用户接口包括观看区域和位于所述观看区域之外的至少一个内容区域； 最初在所述观看区域中显示一个或多个虚拟对象，其中所述观看区域基本上填满所述HMD的视野，并且其中所述至少一个内容区域在所述视野中不是完全可见的； 利用来自一个或多个第一传感器的数据作为确定所述HMD与物理物体之间的距离的基础； 以及 利用所确定的所述HMD与所述物理物体之间的距离作为发起碰撞避免动作的基础，其中所述碰撞避免动作包括弱化所显示的虚拟对象中的至少一个从而提供透过所述HMD的透明显示器对所述物理物体的不那么受妨碍的观看。
21.如权利要求20所述的可穿戴计算机，其中，所述逻辑还可被所述至少一个处理器执行来: 接收指示重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象的用户输入数据；以及 响应于至少接收所述用户输入数据，在所述观看区域中重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象。
22.如权利要求21所述的可穿戴计算机，其中，所述用户输入包括通过传感器对于所述头戴式显示器以指定的运动模式移动的检测。
23.一种非暂态计算机可读介质，其中存储有指令，所述指令可由计算设备执行以使得该计算设备执行功能，所述功能包括: 在头戴式显示器(HMD)的基本上透明的显示器上显示用户接口，其中所述用户接口包括观看区域和位于所述观看区域之外的至少一个内容区域； 最初在所述观看区域中显示一个或多个虚拟对象，其中所述观看区域基本上填满所述HMD的视野，并且其中所述至少一个内容区域在所述视野中不是完全可见的； 利用来自一个或多个第一传感器的数据作为确定所述HMD与物理物体之间的距离的基础；以及 利用所确定的所述HMD与所述物理物体之间的距离作为发起碰撞避免动作的基础，其中所述碰撞避免动作包括弱化所显示的虚拟对象中的至少一个从而提供透过所述HMD的透明显示器对所述物理物体的不那么受妨碍的观看。
24.如权利要求23所述的非暂态计算机可读介质，其中，所述功能还包括: 利用来自一个或多个第二传感器的数据来确定所述物理物体相对于所述HMD的相对运动；以及 利用所述相对运动作为发起所述碰撞避免动作的另一个基础。
25.如权利要求24所述的非暂态计算机可读介质，其中，所述功能还包括在发起所述碰撞避免动作之后: 利用来自一个或多个第二传感器的数据作为确定所述物理物体随后相对于所述HMD的相对运动的基础； 确定所述物理物体随后的相对运动的方向是充分远离所述HMD的方向，从而使得与所述物理物体的碰撞不太可能；以及 响应于确定所述物理物体随后的相对运动是在充分远离所述HMD的方向上的，在所述观看区域中重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象。
26.如权利要求23所述的非暂态计算机可读介质，其中，移动所述虚拟对象中的至少一个包括通过将所述虚拟对象中的至少一个迅速地从所述观看区域的中心点朝着所述观看区域的外边缘移动来高效地描绘潜在的危害。
【文档编号】G02B27/02GK103975268SQ201280060384
【公开日】2014年8月6日 申请日期:2012年10月5日 优先权日:2011年10月7日
【发明者】A.王, 缪潇宇 申请人:谷歌公司