增强现实光导显示的制作方法
【专利摘要】描述了增强现实光导显示技术。在一个或多个实现中，一种装置包括用手持式形状因素来配置的外壳，被配置成在该外壳的物理环境中检测该外壳在三个维度上的定位和定向的一个或多个传感器，至少部分透明且由该外壳支持的光导，可选地耦合到该光导的光引擎，以及放置在该外壳内且至少部分地用硬件来实现的一个或多个模块。该一个或多个模块被配置成计算增强的定位和定向，并且致使该光引擎使用该光导来输出该增强以供显示，使得该增强与该物理环境的至少一部分通过该光导可同时观看。
【专利说明】增强现实光导显示
[0001]背景
[0002]在用户的日常生活中，各种各样的显示设备被展示给用户。例如，在处于移动环境时(诸如上下班时)，用户可以与移动通信设备(诸如平板计算机和移动电话)交互。在用户办公处、家里等地方，用户还可以与具有传统形状因素的计算机(诸如膝上型或台式个人计算机)交互。用户还可以看电视，诸如以玩游戏、看电影和电视节目等等。
[0003]然而，这些设备采用的传统显示技术使观看这些设备的用户视觉疲劳，尤其在观看这些设备持续大量时间时。该视觉疲劳因此会影响用户对设备的体验以及对用户产生物理影响，诸如作为疲劳的结果致使用户戴眼镜。
[0004]概述
[0005]描述了光导技术。在一个或多个实现中，一种装置包括用手持式形状因素来配置的外壳，由该外壳支持的光导，放置在该外壳内且可选地耦合到该光导的光引擎，以及放置在该外壳内并且至少部分地用硬件来实现的一个或多个模块。该一个或多个模块被配置成致使该光引擎使用该光导沿聚焦于无限远处的图像平面来输出用户界面以供显示。
[0006]在一个或多个实现中，一种装置包括用手持式形状因素来配置的外壳，由该外壳支持的光导，该光导具有被配置成要由用户观看的第一侧以及与第一侧相对、包括一个或多个触摸传感器的第二侧，放置在该外壳内且任选地耦合到该光导的光引擎，以及放置在该外壳内并且至少部分地用硬件来实现的一个或多个模块。该一个或多个模块被配置成致使该光引擎使用经由第一侧可观看的光导来投影用户界面以供显示，并使用经由第二侧定位的一个或多个触摸传感器来检测一个或多个输入，该一个或多个输入可用于发起一个或多个操作。
[0007]在一个或多个实现中，一种装置包括外壳，由该外壳支持的光导，该光导具有用户可观看的第一侧、与第一侧相对的第二侧、以及可切换的内耦合光学器件。该装置还包括放置在该外壳内且可选地耦合到该光导的内耦合光学器件的光引擎，以及放置在该外壳内且至少部分地用硬件来实现的一个或多个模块。该一个或多个模块通信地耦合到可切换的内耦合光学器件，以导致在第一模式与第二模式之间的切换，在第一模式中该光引擎的输出通过该光导的第一侧来显示，在第二模式中该光引擎的输出穿过该光导的第二侧。
[0008]在一个或多个实现中，一种装置包括用手持式形状因素来配置的外壳，被配置成在该外壳的物理环境中检测该外壳在三个维度上的定位和定向的一个或多个传感器，至少部分透明且由该外壳支持的光导，可选地耦合到该光导的光引擎，以及放置在该外壳内且至少部分地用硬件来实现的一个或多个模块。该一个或多个模块被配置成计算增强的定位和定向，并且致使该光引擎使用该光导来输出该增强以供显示，使得该增强与该物理环境的至少一部分通过该光导可同时观看。
[0009]在一个或多个实现中，使用用户持有的手持式设备的一个或多个相机来捕捉用户的一个或多个图像。根据手持式设备捕捉到的一个或多个图像来计算用户的瞳孔在三维空间中的位置。基于所计算的用户的瞳孔的位置在该手持式设备的透明显示器上显示一增强，该增强与通过该透明显示器可观看的该手持式设备的物理周围环境的至少一部分是可同时观看的。
[0010]在一个或多个实现中，一种装置包括用手持式形状因素来配置的外壳，在该外壳中被定位成跟踪用户的一只或多只眼睛的一个或多个相机，至少部分透明且由该外壳支持的光导，可选地耦合到该光导的光引擎，以及放置在该外壳内且至少部分地用硬件来实现的一个或多个模块。该一个或多个模块被配置成计算用户的一只或多只眼睛在三维空间中的定位，并且致使该光引擎使用该光导基于所计算的定位来输出该增强以供显示，使得该增强与该物理环境的至少一部分通过该光导可同时观看。
[0011]在一个或多个实现中，计算设备的显示设备在第一距离处被观看，使得该显示设备所显示的用户界面的第一视野是可观看的。该计算设备的显示设备在小于第一距离的第二距离处被观看，使得该显示设备所显示的用户界面的第二视野是可观看的，第二视野大于第一视野。
[0012]在一个或多个实现中，一种装置包括至少部分地用硬件来实现的用于配置用户界面的一个或多个模块，以及通信地耦合到该一个或多个模块以输出用户在距该显示设备一定距离范围内可观看的用户界面的显示设备，使得该范围内的较近距离准许用户相比于该范围内距用户更远的距离而言具有增大的视野。
[0013]在一个或多个实现中，一种装置包括至少部分地用硬件来实现用于配置用户界面的一个或多个模块，以及通信地耦合到该一个或多个模块以输出用户可观看的用户界面的显示设备，使得取决于该显示设备相对于用户的一只或多只眼睛的倾斜角度，该用户界面的不同部分可由用户观看。
[0014]在一个或多个实现中，一种显示设备包括被配置成要由表面支持的外壳，由该外壳支持的光导，放置在该外壳内且可选地耦合到该光导的光引擎，以及放置在该外壳内并且至少部分地用硬件来实现的一个或多个模块。该一个或多个模块被配置成致使该光引擎使用该光导沿聚焦于无限远处的图像平面来输出用户界面以供显示。
[0015]提供本概述是为了以简化的形式介绍将在以下【具体实施方式】中进一步描述的概念选择。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0016]附图简述
[0017]参考附图来描述详细描述。在附图中，附图标记最左边的数字标识该附图标记首次出现于其中的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
[0018]图1是在示例实现中的可用于采用如本文描述的光导技术的环境的图示。
[0019]图2描绘了图1的显示设备的示例，其包括以前视图示出的光导。
[0020]图3描绘了使用侧视图更详细地示出的图2的光导的示例。
[0021]图4描绘了图3的显示设备的光导和光引擎的示例实现，其中光导的各层被示出。
[0022]图5描绘了将图1的计算设备示为输出一用户界面并且支持经由显示设备的背侧检测到的姿势的示例实现。
[0023]图6描绘了图1的计算设备的显示设备的示例实现，该示例实现基于显示设备与用户之间相应距离之差来示出视野之差。
[0024]图7和8分别示出了在图6中示出的第一和第二阶段的各示例侧视图。
[0025]图9描绘了将图1的显示设备示为被配置成水平地置于表面的示例实现。
[0026]图10是描绘在示例实现中的过程的流程图，其中捕捉到的图像被用于定位用户的瞳孔以供增强的显示。
[0027]图11是描绘在示例实现中的过程的流程图，其中显示设备在不同距离处被观看，使得用户与设备之间的距离更近时视野被扩展。
[0028]图12示出了可被实现为参考图1-11来描述的任何类型的计算设备来实现本文描述的技术的各实施例的示例设备的各个组件的示例系统。
[0029]详细描述
[0030]概览
[0031]显示设备采用的传统技术涉及聚焦在与设备的表面重合的图像平面处的显示器。因此，这些传统技术会使观看这些设备的用户产生视觉疲劳，这会在物理上影响用户以及影响用户对设备的体验。
[0032]本文描述了光导技术。在一个或多个实现中，光导被配置成作为显示设备来使用。例如，可以将光导可合并为具有手持式形状因素的设备的一部分，该设备诸如平板计算机、移动电话、便携式游戏设备等等。光导还可被合并为各种其他设备(诸如电视机)的一部分、台式或膝上型计算机的监视器的一部分等等。
[0033]光导可被配置成沿聚焦在无限远处的图像平面提供显示。因此，光导可由用户用最小眼肌收缩或不用眼睛收缩来观看，诸如可由用户在观看地平线或其他远处对象时观察至IJ。以此方式，在某些情况下，传统上利用眼镜来观看显示设备(诸如，遭受老花眼)的用户可以观看光导而无需眼镜。
[0034]可以通过利用光导来启用各种功能。例如，光导可被配置成支持透明度，使得光导的物理周围环境通过光导可观看。这可以用于支持各种不同场景，诸如增强现实，其中增强被显示并且物理环境可通过该显示器来观看。在另一示例中，光导可支持随着用户眼睛与光导之间的距离减小而增大的视野。以此方式，用户可以将采用光导的设备(例如，移动电话)拿得更近，以看到该设备输出的用户界面的更多部分。另外，由于图像平面可以表现为在实际设备的屏幕“背后”，因此设备可以支持涉及设备本身的移动的各姿势，诸如通过简单地倾斜设备来平扫图像。因此，增大的视野以及图像的平扫所支持的功能对于其中显示设备大小有限且内容超出可用屏幕可操作区域的移动设备而言尤其有用。还构想了各种其他示例，诸如以采用触摸传感器、使用眼睛跟踪硬件、使用能够将不透明度从清楚变为深色/不透明(例如，以提高对比度)的设备的可控背面层等等，其进一步的讨论可以相关于以下附图找到。
[0035]在以下讨论中，首先描述可采用本文描述的光导技术的示例环境。随后描述可在该示例环境以及其他环境中执行的示例过程。因此，各示例过程的执行不限于该示例环境，并且该示例环境不限于执行各示例过程。
[0036]示例环境
[0037]图1是在示例实现中的可用于采用如本文描述的光导技术的环境100的图示。所示环境100包括计算设备102，该计算设备可用各种方式来配置。例如，如图所示，计算设备102被示为采用以手持式形状因素被配置成可由用户的一只或多只手106、108握持的外壳104。例如，手持式形状因素可以包括平板计算机、移动电话、便携式游戏设备等等。然而，还构想了各种各样的其他形状因素，诸如参考图12描述的计算机和电视机形状因素。
[0038]因而，计算设备102的范围可以是从具有充足存储器和处理器资源的全资源设备(如个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(如传统电视机、上网本)。附加地，尽管示出了单个计算设备102，但是计算设备102可以表示多个不同设备，比如用户可穿戴头盔或眼镜以及游戏控制台、具有显示器的遥控器和机顶盒组合坐坐寸寸ο
[0039]在该示例中，计算设备102进一步被示为包括至少部分透明的显示设备110。显示设备100的透明度被示为允许显示设备102的物理周围环境112的至少一部分通过该设备被观看。在所示示例中，可通过显示设备110来观看的物理周围环境112包括树木以及用于握持计算设备102的用户的手106的手指的一部分。汽车114也被示为由显示设备110显示，使得用户界面和物理周围环境112的至少一部分可使用显示设备110来观看。这可用来支持各种不同的功能，如以下进一步描述的增强现实。
[0040]在该不例中，计算设备102还包括输入/输出模块116。输入/输出模块116表不与检测和处理计算设备102的输入和输出相关的功能。例如，输入/输出模块116可被配置成从键盘、鼠标接收输入以识别姿势并且使得对应于姿势的操作得以执行，等等。输入可由输入/输出模块116以各种不同的方式来标识。
[0041]例如，输入/输出模块116可被配置成识别经由显示设备110的触摸屏功能从指示笔等接收的输入，诸如接近于计算设备102的显示设备110的用户的手108的手指。该输入可以采取各种不同的形式，诸如来识别用户的手108的手指在显示设备110上的移动，诸如，如用户的手108的手指所示的轻击用户界面上的汽车114、绘制线等。用户的手和/或手指可以触摸设备或悬停在设备上方，并且这些可被检测为分开的姿势。输入的其他示例包括跟踪用户眼睛的瞳孔和眨眼、涉及设备本身的移动的姿势(例如，倾斜或摇动设备)
坐坐寸寸ο
[0042]在各实现中，这些输入可被识别为被配置成发起计算设备102或其他设备的一个或多个操作的各姿势，诸如导航通过用户界面、选择和/或移动显示在该用户界面上的对象等等。尽管姿势被示为通过显示设备I1的正面来输入的，但计算设备102还可包括位于显示设备110后面、用于识别姿势的触摸传感器，参考图4和5可以找到开始对其进一步的讨论。
[0043]输入/输出模块116还被示为包括增强现实模块118。增强现实模块118表示计算设备102的、用于使用显示设备110来增强计算设备102的物理周围环境112 ( “真实世界”)的视图的功能。在所示示例中，例如，计算设备102被示为物理上定位在包括三棵树和用户的手106的手指的周围环境中。
[0044]增强现实模块118被配置成输出结合物理周围环境112来观看的增强(例如，汽车 114)。
[0045]为了生成这个视图并知道将增强放置在“哪里”，增强现实模块118可利用各种技术来确定计算设备102相对于设备的物理周围环境112的定向和/或定位。例如，增强现实模块118可利用相机120来捕捉物理周围环境112的图像。增强现实模块118随后可处理这些图像以定位一个或多个标记来确定计算设备102如何定位、定向、移动等。
[0046]这些标记可采用各种形式。例如，增强现实模块118可将物理周围环境112中的一个或多个视点设置成标记，并且由此用作确定定向和/或定位(诸如，这些树木的树干在哪里与地面相接等等)的基础。在另一示例中，增强现实模块118可利用物理地定位在计算设备102的周围环境内的一个或多个增强现实(AR)标签的视图。因此，物理周围环境112中的项目可用作确定计算设备102位于哪里以及物理设备102被定向在哪里的基础。
[0047]在另一示例中，相机120可被配置成捕捉计算设备102的用户的一个或多个图像。例如，相机120的镜头在图1中被示为在外壳104中放置在显示设备110右面、指向计算设备102的用户的脸部的圆圈。相机120捕捉到的图像随后可用来确定用户的瞳孔的三维位置。在一个或多个实现中，计算瞳孔的位置，而无需计算描述“眼睛瞄准哪里”的向量，由此节省计算设备102的资源。还构想了其他示例，其中这样的向量被计算。以此方式，增强现实模块118可以确定如何输出增强(例如，汽车114)以供显示设备110显示。
[0048]增强现实模块118还可利用一个或多个传感器122来确定计算设备102的定位和/或定向，并更具体地确定显示设备I1的定位和/或定向。例如，传感器122可被配置为惯性测量单元(IMU)，该惯性测量单元可包括陀螺仪、一个或多个加速计、磁力计、并包括其任何组合等。这些单元可用于生成用来确定计算设备102相对于其物理周围环境112的定向和定位的基础。
[0049]通过这些示例中的一个或多个，增强现实模块118可以捕捉要增强的“现实”的视图。随后该增强可被计算以便使用显示设备110以一定大小、定向和位置来显示。该增强可以按各种方式来配置，诸如用于二维输出、三维输出等等。例如，增强现实模块118和显示设备110可以利用立体技术给予对该增强深度的感知，诸如通过自动立体视觉技术，其中光学器件被显示设备110用来将图像朝着用户的眼睛定向地拆分。也可以设想各种其他技术而不背离其精神和范围。此外，应当容易明白，由增强现实模块118生成的增强可采取多种其他形式，诸如通过作为可通过显示设备110观看的用户界面的一部分来显示的、作为游戏的一部分的物体和计算设备102的物理周围环境112的视图的其他变化。
[0050]显示设备110可以按各种方式来配置以支持本文描述的技术，诸如通过配置成利用聚焦在无限远处的聚焦面提供输出的光导。这样的光导的示例参考以下附图开始描述。
[0051]图2描绘了图1的显示设备110的示例200，其被配置成包括以前视图示出的光导。不例200包括形成显不设备100的光导202和光引擎204。光导202可以按各种方式来配置，诸如一块玻璃、塑料、或其他用作显示光引擎204的输出的可透光材料。
[0052]光引擎204可以按各种方式来配置，诸如微微投影仪或其他图像输出设备。光引擎204的示例包括激光驱动的LCOS或LED驱动的扫描、LCOS显示器，例如包括RGB LED等等。光引擎204可选地耦合到光导202，使得光引擎204的输出由光导202来显示以供一个或多个用户观看。光引擎204可以按各种方式可选地耦合到光导202，其中的一个示例可参考以下附图找到。
[0053]图3描绘了使用侧视图更详细地示出的图2的光导202的示例300。在该示例中，光导202被不为包括内I禹合光学器件302和外I禹合光学器件304。内I禹合光学器件302被配置成可选地将光引擎204耦合到光导202。内耦合光学器件302可以按各种方式来配置，诸如表面起伏光栅、可切换布拉格光栅、体全息光栅、反射和部分反射面、自由形式的光学元件、楔形光学器件等等。
[0054]在所示示例中，内耦合光学器件302被配置成使光引擎204所输出的光弯曲大约九十度以供传输到外耦合光学器件304。因此，在该示例中，内耦合光学器件302可以利用一种或多种技术来如上所述地“使光转向”以供传输到外耦合光学器件。
[0055]此外，可以利用内耦合和外耦合光学器件302、304作为瞳孔扩展器，以扩展来自光引擎204的输出。例如，内耦合光学器件302可被配置成水平地扩展光引擎204的输出。外耦合光学器件304随后可以接收该水平扩展的输出，并且诸如同样通过利用一种或多种技术“使光转向”，从而在垂直方向上使其进一步扩展以供输出到眼睛306 (例如，计算设备102的用户的眼睛)。
[0056]因此，光引擎204可被配置成激光驱动的LCOS或LED驱动的扫描或LCOS显示器，可以包括RBG LED或具有小于五至十纳米范围的带宽的激光器，以允许高效的衍射(在衍射技术之一被用来对光进行内耦合和/或外耦合的情况下；在其他情况下LED的带宽不受这样的约束)等等。光引擎204可选地耦合到利用上述一个或多个技术来“使光转向”的光导202的内耦合光学器件302。随后使用全内反射(FTIR)沿光导202通过内耦合光学器件302将光传送到水平扩展光栅。该光栅用作水平地扩展“出射光瞳”，并且另外在示例300中如箭头所示地使光转向九十度从而光向上传播。随后光遇到外耦合光学器件304，外耦合光学器件304垂直扩展“出射光瞳”并且同样如箭头所示地使光转向，从而光被耦合到光导202以外并且朝向观看图像(例如，用户界面的一部分)的用户的眼睛306。
[0057]在一个或多个实现中，内耦合光学器件302可以是可切换的以支持不同的显示模式。例如，内I禹合光学器件302可以在第一模式中被“打开”(例如，使用可切换的布拉格光栅)，以便如上所述地致使光引擎的输出“转向”并且传送到外耦合光学器件304以供显示给用户的眼睛306。
[0058]内耦合光学器件304还可以被“关闭”以支持第二模式，在第二模式中显示设备110用作投影仪，诸如用于将光引擎204的输出投影到图1的计算设备102的外壳104的“背面以外”。在该示例中，内耦合光学器件304被关闭，使得来自光引擎204的光不被弯曲以耦合到外耦合光学器件304。
[0059]相反，在该示例中，来自光引擎204的光通过内耦合光学器件302而不弯曲以用作投影仪。例如，计算设备102可以包括图1的外壳104所支持的透镜和光阀308以便将光引擎204用作投影仪，例如，以将输出投影到计算设备102外部的表面上，诸如桌面、墙上等等。以此方式，显示设备110可以用在各种模式中以支持不同的显示技术供计算设备102使用。
[0060]图4描绘了显示设备110的光导202和光引擎204的示例实现，其中光导202的各层被示出。光导202包括任选的透明材料402以及可用来实现如以上参考图3描述的外耦合光学器件304的衍射分级矩阵404。
[0061]光导202还包括用于在显示设备110的前表面上实现触摸传感器的层406。例如，层406可被配置成使用氧化铟锡(ITO)形成的栅格，以检测接触(诸如，如参考图1所示的用户的手108的一根或多根手指)的X、Y坐标。因此，该层406可用来向输入一输出模块116提供输入，这些输入可用来识别用于发起计算设备102的一个或多个操作的一个或多个姿势，例如，导航通过用户界面、启动应用、与显示对象交互等等。
[0062]光导202还可包括放置在光导202背面以实现触摸传感器的层408。例如，光导202可被配置成支持在距用户眼睛一定距离处进行观看，使得用户不方便与光导的前表面(例如，支持显示设备110正面上的触摸传感器的层406)交互。因此，放置在设备的背面的层408还可被配置成识别姿势，参考图5可以找到开始对其进一步的讨论。
[0063]光导202还被示为包括电致变色(electro-chromic)层410,电致变色层410与衍射分级矩阵404间隔一气隙412或较低光学指数材料。电致变色层410可用于在透明与不透明状态之间交替。这可用于各种目的，诸如用于控制计算设备102的物理周围环境112的哪一部分可通过显示设备110来观看，提高显示设备110所显示的用户界面的各部分的对比度等等，对其进一步讨论可以参考以下附图找到。
[0064]图5描绘了将图1的计算设备102示为输出一用户界面并且支持经由显示设备的背侧检测到的姿势的示例实现500。在该示例中，显示设备110输出被配置成计算设备102的开始屏幕的用户界面。开始屏幕包括多个图块(tile)，这些图块可被选择来启动相应的应用，并且还可被配置成输出与这些应用有关的通知。通知的示例使用天气块来示出，天气图块包括与雷蒙德市的温度和当前天气状况有关的通知。
[0065]如图4中描述的，显示设备110可被配置成使用定向成朝向用户的设备的前面以及定向成背离定向的设备的背面(例如，定位在与设备的正面相对侧上)来检测输入(例如，姿势)。例如，用户可以使用用户的手106的一根或多根手指来作出姿势。可以作出各种不同姿势，诸如以选择显示设备所显示的图块、使用平扫姿势导航通过用户界面、缩放姿势等等。以此方式，用户的手106的定位于计算设备102后面的那些部分仍可用来提供输入。
[0066]此外，如还参考图4描述的，显示设备110可被配置成可选的透明，但也包括用于控制使显示设备110的哪些部分成为透明的层(例如，电致变色层410)。例如，这可用来提高显示设备中用来显示用户界面的那些部分的对比度。对此的一个示例可以包括，在所示示例中用来显示图块和文本(例如“start (开始)”)的各部分，其可用来支持用户界面中的黑色。
[0067]这些技术还可被配置成支持可选的不透明度，诸如以控制物理周围环境中可通过显示设备110来观看的量。这可用来提供各种功能。例如，可以使显示设备110的各部分变得部分透明，以允许用户的手106的一部分通过显示设备被观看。以此方式，用户可以容易地查看用户的手指定位“在哪里”，这可以辅助用户交互，包括使用经由放置在显示设备110背面的触摸屏功能检测到的姿势。
[0068]另外，如图所示，该技术可以结合如何显示用户界面本身。在示例实现500中，使在显示设备I1后面附近的用户的手106的手指的各部分变得透明，使得用户可以观看用户的手的手指。这包括用户界面的各部分，使得用户的手106的手指表现为结合图标被显示，使得用户可以容易地确定在手指的当前定位处哪个图标是当前可选的。在该示例中，(例如，通过显示用户界面和/或使用电致变色层410)图标在用户界面中与该接触不重合的各部分不被变得透明。以此方式，与显示设备110的后面的交互可被辅助。还构想了各种其他示例，诸如在用户界面中显示与用户的手106的手指在显示设备110的后面所接触的点相对应的标记。还要注意，该每一区域的不透明度控制可以显著提升显示设备所显示的增强的外观，同时允许这些增强之间的透明度，从而物理周围环境(例如，“真实世界”)与这些增强能同时被清楚地查看。还要注意，可以使整个显示器变得不透明，这可用来辅助不涉及真实世界的视图的体验，例如举例而言，看电影。
[0069]图6描绘了计算设备102的显示设备110的示例实现600，该示例实现基于显示设备110与用户之间相应距离之差示出视野之差。示例实现600使用第一和第二阶段602、604来示出。在第一阶段602，计算设备102被示为定位在远离用户的第一距离，诸如当在臂长(例如，在大约三十英寸)处握持计算设备102时。
[0070]如上所述，计算设备102可以包括合并图2的光导202的显示设备110。光导202可被配置成通过图3的外耦合光学器件304沿聚焦在无限远处聚焦的图像平面提供输出以供用户观看。例如，外耦合光学器件304可以提供平行光的输出，用户观看起来类似于正在看远处的对象，诸如地平线。因此，可以从广泛范围的距离观看显示设备110，包括距用户的眼睛306甚至小于一英寸直到显示设备110本身不可见的点处的距离。
[0071]使用光导作为显示设备102的一部分还可以支持与视野有关的技术。例如，在第一阶段，用户界面被示为由显示设备110显示。在该示例中用户界面包括标题“RedmondNews (雷蒙德市新闻)”连同被示为“Sports (体育)”和“Weather (天气)”的两栏。如上所述，第一阶段602示出计算设备102且由此示出计算设备102的显示设备110，其被定位在距握持该设备的用户的眼睛大约一臂长处。
[0072]在该示例中，用户随后可能期望查看更多的用户界面，诸如查看包括在用户界面中的更大量的内容。在该示例中，通过将显示设备110配置成包括光导，如在第二阶段604中所示，用户可以简单地在物理上使计算设备102移动得更近。通过使显示设备110移动得更近，用户从显示设备110可观看的视野增大。
[0073]这在第二阶段604中通过经由与第一阶段602中所显示的相同用户界面的显示设备进行观看来示出。然而，用户界面的附加栏在第二阶段604中被定位成可观看，诸如“Business (商业)”和“Local (本地)”栏以及这些栏中的附加内容。由此，视野随着显示设备112移动得更接近用户的眼睛而增大。
[0074]此外，该增大是被动的，因为大小或分辨率不是由计算设备102自己改变的，例如，是由于从用户收到的用于增加大小或分辨率的输入、一个或多个传感器的使用等等。以此方式，显示设备110所显示的对象保持在焦点中，而不管用户的眼睛被定位成多接近该显示器。因此，这可被用户用来调节在屏幕上观看到的量，诸如通过改变用户与显示器之间的距离来阅读报纸、浏览web或消费短视频内容。例如，使用3.5”屏幕作为示例，如果显示设备110产生45度视野，则握持显示设备100距眼睛一英寸将在30”臂长处得到与105”对角尺寸显示设备等效的图像。对视野技术的进一步讨论可参考以下附图找到。
[0075]图7和8分别示出了在图6中示出的第一和第二阶段602、604的各示例侧视图。在第一阶段602，用户的视野使用虚线示出，以示出可通过显示设备110观看的用户界面702的一部分。在如图8中示出的第二阶段，如虚线所示，用户的眼睛被定位成接近显示设备110，这使得用户能够观看用户界面702的更大部分。因此，显示设备110可以通过在聚焦在无限远处的图像平面处输出用户界面(例如，通过由图2的光导202输出平行光)来支持这些不同的视野。
[0076]可以将该功能比作通过栅栏中的小孔来观看告示牌。随着用户移动得更接近栅栏中的小孔，不仅告示牌的字体大小被增大(例如，用户能够观看如图6中所示的更小文本)，而且可观看的广告牌的量也增加。因此，显示设备110可以被动地来使用户能够基于用户的眼睛与显示设备110之间的距离范围来更改对于用户而言可观看的视野。例如，该范围可以基于用户观看整个显示设备110的能力来定义。
[0077]例如，视野可以随着用户靠近显示设备110而增大，直到用户如此接近以致于显示设备的外部在用户的视觉外围不再可观看。尽管参考移动设备描述了基于距离来更改视野以使得用户能移动该设备本身，但这些技术还可以用在其中用户移动而该设备被配置成保持在恒定定位的情形中，其中的一个示例可以参考以下附图找到。
[0078]这些技术可以支持另一场景以扩展用户交互。例如，类似于在先前示例中观看广告牌，用户可以在一臂长处观看计算设备102。然而，取代使设备更接近用户的眼睛，用户可以移动设备(例如，使设备相对于垂直于显示设备与用户眼睛之间的轴的平面以不同角度倾斜)来观看原本在原始定位中不可见的告示牌的不同区域。例如，这将允许用户舒适地坐着并且通过使设备倾斜来在一臂长处阅读报纸的不同部分。将新的设备体验与当前可用的技术形成对比是有用的。当尝试在手持式设备(诸如，当今各蜂窝电话之一)上阅读报纸时，用户将被迫使使用触摸或其他姿势持续地滚动以导航通过该内容。然而，使用本文描述的技术，显示设备可以被动地支持使设备倾斜以查看用户界面的不同部分，如以上视野的示例。
[0079]图9描绘了将图1的显示设备110示为被配置成水平地置于表面的示例实现900。在该示例中，显示设备110被示为合并在置于表面(诸如桌面、台面等)的外壳902内，以供用在如参考图12进一步描述的计算机配置中。显示设备110合并图2的光导202和光引擎204，并且由此可以使用光导沿聚焦在无限远处的图像平面来显示用户界面。
[0080]在所示示例中，显示设备110被示为支持透明度并且在外壳902内被配置成使得物理周围环境可通过显示设备110来观看，诸如，如图所示的台式计算设备的一部分。还构想了其他实现，诸如其中物理周围环境不可通过显示设备110来观看、可按照如参考图4描述的可控方式来观看等的实现。还构想了显示设备110在外壳内的其他实现，诸如电视机实现，其中外壳被配置成安装在垂直表面，其中的一个示例进一步参考图12描述。
[0081]示例过程
[0082]以下讨论描述了可利用上述系统和设备来实现的各种技术。可以使用硬件、固件或软件或其组合来实现每一个过程的各方面。过程被示为一组框，它们指定由一个或多个设备执行的操作，不一定仅限于所示出的用于由相应的框执行操作的顺序。在以下讨论的部分中将参考图1_9的环境和不例系统。
[0083]图10描绘了在示例实现中的过程1000，其中捕捉到的图像被用于定位用户的瞳孔以供增强的显示。使用用户持有的手持式设备的一个或多个相机来捕捉用户的一个或多个图像(框1002)。例如，用户可以具有移动通信设备(例如，移动电话、平板计算机等)的面向前方的相机。
[0084]根据手持式设备捕捉到的一个或多个图像来计算用户瞳孔在三维空间中的位置(框1004)。例如，增强现实模块118可以检查这些图像以确定位置。
[0085]基于所计算的用户瞳孔的位置来在该手持式设备的透明显示器上显示一增强，该增强与通过该透明显示器可观看的该手持式设备的物理周围环境的至少一部分是可同时观看的(框1006)。如图1中所示，例如，该增强可以被配置成通过物理周围环境112的一部分同时可观看的汽车114，物理周围环境112可通过显示设备110来观看，在该实例中，物理周围环境112是树木以及用户的手106的手指的一部分。还构想了其他示例，例如，相机可置于并非用户持有的表面上，诸如计算机监视器的一部分、通信地耦合到游戏控制台的独立相机的一部分等等。
[0086]图11描绘了在示例实现中的过程1100，其中显示设备在不同距离处被观看，使得用户与设备之间的距离更近时视野被扩展。计算设备的显示设备在第一距离处被观看，使得该显示设备所显示的用户界面的第一视野是可观看的(框1102)。例如，计算设备102可被一表面支持(例如，像电视机那样安装在墙上)，置于桌面的台面上(诸如，计算机监视器)。在另一示例中，计算设备102可以假设是手持式配置并且在大约一臂长处被握持。该情况的一个不例在图6和7的第一阶段602中不出。
[0087]该计算设备的显示设备在小于第一距离的第二距离处被观看，使得该显示设备所显示的用户界面的第二视野是可观看的，第二视野大于第一视野(框1104)。例如，用户可以使握持的计算设备102更接近用户的眼睛。在另一示例中，用户可以移向计算设备102以缩小该距离。由于用户界面被显示在聚焦在无限远处的图像平面处，因此如图6和8的第二阶段604中所示，视野可以增大。
[0088]示例系统和设备
[0089]图12在1200概括地示出了包括示例计算设备1202的示例系统,该示例计算设备表示可以实现此处描述的各个技术的一个或多个计算系统和/或设备。计算设备1202可以是，例如，服务提供方的服务器、与客户机相关联的设备(例如，客户机设备)、片上系统、和/或任何其他合适的计算设备或计算系统。此外，计算设备1202包括如上所述的显示设备110，如参考图2进一步详细描述的，显示设备110可以合并光导202和光引擎204。
[0090]所示的示例计算设备1202包括处理系统1204、一个或多个计算机可读介质1206、以及相互通信地耦合的一个或多个I/O接口 1208。尽管没有示出，计算设备1202可进一步包括系统总线或将各种组件相互耦合的其它数据和命令传输系统。系统总线可包括不同总线结构中的任一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任一种的处理器或局部总线。也构想了各种其它示例，诸如控制和数据线。
[0091]处理系统1204表示使用硬件执行一个或多个操作的功能。因此，处理系统1204被示为包括可被配置为处理器、功能块等的硬件元件1210。这可包括在作为专用集成电路或使用一个或多个半导体构成的其它逻辑设备的硬件中的实现。硬件元件1210不受形成它们的材料或者其中利用的处理机制的限制。例如，处理器可以由半导体和/或晶体管(例如，电子集成电路(IC))构成。在这一上下文中，处理器可执行指令可以是可电子地执行的指令。
[0092]计算机可读存储介质1206被示为包括存储器/存储1212。存储器/存储1212表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储组件1212可包括易失性介质(如随机存取存储器(RAM))和/或非易失性介质(如只读存储器(ROM)、闪存、光盘、磁盘等等)。存储器/存储组件1212可包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如闪存、可移动硬盘驱动器、光盘等等)。计算机可读介质1206可以下面进一步描述的各种方式来配置。
[0093]输入/输出接口 1208表示允许用户向计算设备1202输入命令和信息的功能，并且还允许使用各种输入/输出设备向用户和/或其他组件或设备呈现信息。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，电容性的或被配置来检测物理接触的其它传感器)、照相机(例如，可采用可见或诸如红外频率的不可见波长来将移动识别为不涉及触摸的手势)，等等。输出设备的示例包括显示设备(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备，等等。因此，计算设备1202可以下面进一步描述的各种方式来配置以支持用户交互。
[0094]此处可以在软件、硬件元件或程序模块的一般上下文中描述各种技术。一般而言，这种模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、组件、数据结构等等。本文使用的术语“模块”、“功能”和“组件” 一般表示软件、固件、硬件或其组合。本文描述的技术的各特征是平台无关的，从而意味着该技术可在具有各种处理器的各种商用计算平台上实现。
[0095]所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或通过某种形式的计算机可读介质传输。计算机可读介质可包括可由计算设备1202访问的各种介质。作为示例而非限制，计算机可读介质可包括“计算机可读存储介质”和“计算机可读信号介质”。
[0096]计算机可读存储介质可以指相对于仅信号传输、载波、或信号本身而言，启用对信息的持久和/或非瞬态存储的介质和/或设备。由此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括以适合于存储如计算机可读指令、数据结构、程序模块、逻辑元件/电路、或其他数据等的方法或技术来实现的诸如易失性和非易失性、可移动和不可移动介质和/或存储设备的硬件。该计算机可读存储介质的示例包括但不限于，RAM、ROM、EEPR0M、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、硬盘、磁带盒、磁带、磁盘存储或其它磁存储设备、或者可适用于存储所需信息并可由计算机访问的其它存储设备、有形介质或制品。
[0097]“计算机可读信号介质”可以指被配置为诸如经由网络向计算设备1202的硬件传输指令的信号承载介质。信号介质通常用诸如载波、数据信号、或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据。信号介质还包括任何信息传送介质。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设置或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线路连接，以及无线介质，诸如声学、RF、红外线和其他无线介质。
[0098]如前面所述描述的，硬件元件1210和计算机可读介质1206表示以硬件形式实现的模块、可编程设备逻辑和/或固定设备逻辑，其可被某些实施例采用来实现此处描述的技术的至少某些方面，诸如执行一个或多个指令。硬件可包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)，和以硅或其它硬件实现的组件。在此上下文中，硬件可操作为通过指令和/或由硬件实现的逻辑来执行程序任务的处理设备，以及被用来存储用于执行的指令的硬件(例如上面描述的计算机可读存储介质)。
[0099]前面的组合也可被采用来实现在此描述的各种技术。因此，软件、硬件，或可执行模块可被实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件1210实现的一个或多个指令和/或逻辑。计算设备1202可被配置成实现特定指令和/或对应于软件和/或硬件模块的功能。因此，可作为软件由计算设备1202执行的模块的实现可至少部分以硬件完成，例如，通过使用计算机可读存储介质和/或处理系统1204的硬件元件1210。指令和/或功能可以是一个或多个制品(例如，一个或多个计算设备1202和/或处理系统1204)可执行/可操作的，以实现此处描述的技术、模块，以及示例。
[0100]如在图12中进一步示出，示例系统1200实现了用于当在个人计算机(PC)、电视机设备和/或移动设备上运行应用时的无缝用户体验的普遍存在的环境。服务和应用在所有三个环境中基本相似地运行，以便当使用应用、玩视频游戏、看视频等时在从一个设备转换到下一设备时得到共同的用户体验。
[0101]在示例系统1200中，多个设备通过中央计算设备互连。中央计算设备对于多个设备可以是本地的，或者可以位于多个设备的远程。在一个实施例中，中央计算设备可以是通过网络、因特网或其他数据通信链路连接到多个设备的一个或多个服务器计算机的云。
[0102]在一个实施例中，该互连架构使得功能能够跨多个设备递送以向多个设备的用户提供共同且无缝的体验。多个设备的每一个可具有不同的物理要求和能力，且中央计算设备使用一平台来使得为设备定制且又对所有设备共同的体验能被递送到设备。在一个实施例中，创建目标设备的类，且使体验适应于设备的通用类。设备类可由设备的物理特征、用途类型、或其他共同特性来定义。
[0103]在各种实现中，计算设备1202可采取各种不同的配置，诸如用于计算机1214、移动设备1216、和电视机1218用途。这些配置中的每一个包括可具有一般不同的构造和能力的设备，并且因而计算设备1202可根据不同的设备类中的一个或多个来配置，并且相应地，显示设备110也可被配置成适应这些不同的配置。例如，计算设备1202可被实现为计算机类1214设备，该计算机设备类包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等。
[0104]计算设备1202还可被实现为移动类1216设备，该移动类设备包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备。计算设备1202还可被实现为电视机类1218设备，该电视机类设备包括在休闲观看环境中具有或连接到一般更大的屏幕的设备。这些设备包括电视机、机顶盒、游戏控制台等。
[0105]本文所描述的技术可由计算设备1202的这些各种配置来支持，且不限于在本文描述的各具体示例。这个功能也可被全部或部分通过分布式系统的使用(诸如如下所述的经由平台1222通过“云” 1220)来实现。
[0106]云1220包括和/或表示资源1224的平台1222。平台1222抽象云1220的硬件(如，服务器)和软件资源的底层功能。资源1224可包括可在计算机处理在位于计算设备1202远程的服务器上执行时使用的应用和/或数据。资源1224也可包括在因特网上和/或通过诸如蜂窝或W1-Fi网络之类的订户网络上提供的服务。
[0107]平台1222可抽象资源和功能以将计算设备1202与其他计算设备相连接。平台1222还可用于抽象资源的规模以向经由平台1222实现的资源1224所遇到的需求提供对应的规模级别。因此，在互联设备的实施例中，本文描述的功能的实现可分布在系统1200上。例如，该功能可部分地在计算设备1202上以及经由抽象云1220的功能的平台1222来实现。
[0108]结语
[0109]虽然已经用对结构特征和/或方法动作专用的语言描述了本发明，但是应该理解，在所附权利要求中定义的本发明不必限于所述的具体特征或动作。相反，这些具体特征和动作是作为实现所要求保护的本发明的示例形式而公开的。
【权利要求】
1.一种装置，包括: 用手持式形式因素来配置的外壳； 被配置成在所述外壳的物理环境中检测所述外壳在三个维度上的定位和定向的一个或多个传感器； 至少部分透明且由所述外壳支持的光导； 可选地耦合到所述光导的光引擎；以及 放置在所述外壳内且至少部分地用硬件来实现的一个或多个模块，所述一个或多个模块被配置成计算增强的定位和定向，并且致使所述光引擎使用所述光导来输出所述增强以供显示，使得所述增强与所述物理环境的至少一部分通过所述光导能同时观看。
2.如权利要求1所述的装置，其特征在于，所述增强能在三个维度上由用户观看。
3.如权利要求1所述的装置，其特征在于，所述外壳被形成作为移动电话或平板设备的一部分，并且所述一个或多个模块包括无线通信功能。
4.如权利要求1所述的装置，其特征在于，所述光导被配置成沿聚焦在无限远处的图像平面显示所述增强。
5.如权利要求1所述的装置，其特征在于，所述光导包括所述一个或多个模块能选择的层，用以更改所述光导的各部分的透明度使得第一所述部分是透明的而第二所述部分是不透明的。
6.如权利要求5所述的装置，其特征在于，第一所述部分用来观看所述物理环境的部分，而第二所述部分用来观看所述增强。
7.如权利要求1所述的装置，其特征在于，所述一个或多个传感器被配置为一个或多个相机、一个或多个深度感测相机、陀螺仪、一个或多个加速计、或磁力计。
8.一种方法，包括: 使用用户持有的手持式设备的一个或多个相机来捕捉用户的一个或多个图像； 根据所述手持式设备捕捉到的一个或多个图像来计算所述用户的瞳孔在三维空间中的位置；以及 基于所计算的所述用户的瞳孔的位置在所述手持式设备的透明显示器上显示一增强，所述增强与通过所述透明显示器能观看的所述手持式设备的物理周围环境的至少一部分是能同时观看的。
9.如权利要求8所述的方法，其特征在于，所述透明显示器是可选地耦合到光引擎的光导，所述光引擎被配置成输出如所述一个或多模块指示的所述增强。
10.如权利要求9所述的方法，其特征在于，所述光引擎不输出所述手持式设备的物理周围环境的所述部分的显示。
【文档编号】G06F3/14GK104205193SQ201380017346
【公开日】2014年12月10日 申请日期:2013年3月14日 优先权日:2012年3月28日
【发明者】W·J·威斯特瑞恩, S·J·罗宾斯, R·巴德亚尔, R·G·弗莱克 申请人:微软公司