响应于焦点移位的立体显示的制作方法

响应于焦点移位的立体显示的制作方法
【专利摘要】一种用于在具有显示矩阵的立体显示系统上显示虚拟影像的方法。所述虚拟影像呈现用户的一只眼睛可视的单独可渲染的位点的表面。所述方法包括，针对可视表面的每个位点，照亮所述显示矩阵的一像素。经照亮的像素是基于由所述立体显示系统确定的所述眼睛的瞳孔位置选择的。针对所述可视表面的每个位点，所述经照亮的像素的虚拟图像被形成于所述眼睛前面的平面中。所述虚拟图像被安置于穿过所述位点、所述平面以及所述瞳孔位置的直线上。以此方式，所述虚拟图像跟踪所述用户的瞳孔位置的改变。
【专利说明】响应于焦点移位的立体显示
[000。 背景
[0002]近年来，Ξ维(3D)显示技术经历了快速发展，尤其是在消费市场中。现在高分辨率 3加艮镜和眼罩是可能的。使用现有的微投影技术W便向右眼和左眼立体地投射相关图像， 运些显示系统可使佩戴者沉浸于令人信服的虚拟现实中。然而，3D显示系统仍有一定的挑 战。一个挑战是在深度方面准确地定位虚拟影像，尽管佩戴者的焦点在时刻变化。
[000；3]概述
[0004] 本公开的一个实施例提供了一种在具有显示矩阵的立体显示系统上显示虚拟影 像的方法。虚拟影像呈现用户的一只眼睛可视的单独可擅染的位点的表面。该方法包括，针 对可视表面的每个位点，照亮显示矩阵的一像素。所照亮的像素是基于由立体显示系统确 定的眼睛的瞳孔位置选择的。针对可视表面的每个位点，所照亮的像素的虚拟图像被形成 于眼睛前面的平面中。虚拟图像被安置于穿过所述位点、所述平面W及所述瞳孔位置的直 线上。W此方式，虚拟图像跟踪用户的瞳孔位置的改变。
[0005] 提供本概述W便W简化的形式介绍W下在详细描述中进一步描述的一些概念。本 概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护 主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部 缺点的实现方式。
[0006] 附图简述
[0007] 图1示出一个示例中可佩戴的立体显示系统和计算机系统的各方面。
[0008] 图2示出示例右或左光学系统和相关联的显示窗口的各方面。
[0009] 图3和4例示出一个示例中虚拟物体的立体显示。
[0010]图5示出示例瞳孔位置及其关刊即青的转动中屯、。
[0011] 图6例示出在立体显示系统上显示虚拟影像的示例方法。
[0012] 图7示出用于预测立体显示系统的佩戴者的瞳孔位置的示例几何模型的各方面。
[0013] 图8例示出确定由立体显示系统使用W便预测用户的瞳孔位置的参数值的示例方 法。
[0014] 图9示出示例计算系统的各方面。
[001引详细描述
[0016] 现在将通过示例并参照所示的W上列出的实施例来描述本公开的各方面。在一个 或多个实施例中基本相同的组件、过程步骤和其他元素被协调地标识并且W重复最小的方 式描述。然而将注意到，被协调地标识的元素可能也会有一定程度的不同。将进一步注意 到，本公开中包括的附图是示意性的并且通常未按照比例绘制。当然，附图中所示的各种绘 图比例、纵横比、W及组件的数量可故意地失真，W更容易看到某些特征或关系。
[0017] 图1示出操作上禪合到外接计算机系统12A的可佩戴立体显示系统10的各个方面。 所例示出的显示系统类似于普通眼镜。它包括具有定位于佩戴者面部的鼻梁16的耳拟合框 架14。显不系统还包括右显不窗口 18R和左显不窗口 18L。在一些实施例中，右和左显不窗口 18(即，18R和18L)从佩戴者的角度看是全部或部分透明的，W便给予佩戴者他或她的周围 环境的清晰视图。此特征使得计算机化的显示影像能与来自周围环境的影像混合，w获得 "增强现实"（AR)的假象。
[0018] 在一些实施例中，显示影像被实时地从计算机系统12A传送到显示系统10。例如， 计算机系统可W是游戏控制台、台式计算机、或服务器系统。在其它实施例中，计算机系统 可W是膝上型计算机或平板计算机、智能电话、手持式游戏设备等。显示影像可任何合 适形式（即，类型）的传输信号和数据结构被传送。编码显示影像的信号可经由至显示系统 12B的微控制器的任何种类的有线或无线通信链路被传递。在其它实施例中，此处归属于外 接计算机系统12A的一些或所有的功能可替代地发生在微控制器12B中，或在显示系统10的 另一机载逻辑系统中。因此，在一些实施例中计算机系统12A可W是不必要的。
[0019] 在图1中继续，微控制器12B操作上禪合到右和左光学系统20R和20L。在所例示的 实施例中，微控制器连同右和左光学系统一起隐藏于显示系统框架内。微控制器可包括合 适的输入/输出（10)部件，使其能够接收来自计算机系统12A的显示影像。微控制器还可包 括位置感测部件22-一例如，全球定位系统(GPS)接收器或惯性测量单元（IMU)，W便评估 头部定向和/或移动等。当显示系统10在操作中时，微控制器12B向右光学系统20R发送适当 的控制信号，导致右光学系统在右显示窗口 18R中形成右显示图像。类似地，微控制器向左 光学系统20L发送适当的控制信号，导致左光学系统在左显示窗口 1化中形成左显示图像。 显示系统的佩戴者通过右和左眼分别观看右和左显示图像。当右和左显示图像被W适当的 方式被合成并呈现时，佩戴者体验到虚拟影像的假象一一即，在指定位置处并具有指定的 3D内容和其它显示属性的一个或多个虚拟物体。运样的虚拟影像可具有任何所需的复杂 性;例如，它可包括具有前景和背景部分两者的完整虚拟场景。
[0020] 图2在一个非限制性实施例中示出了右或左光学系统20W及相关联的显示窗口 18 的各方面。光学系统包括背光24和液晶显示器化CD)矩阵26。背光可包括发光二极管化抓） 的系综一一例如，白LED或红、绿和蓝LED的某种分布。可放置背光W便引导其发射光穿过 LCD矩阵，该LCD矩阵基于来自微控制器的控制信号形成显示图像。LCD矩阵可包括布置 于矩形网格或其它几何形状上的众多可单独寻址的像素。在一些实施例中，透射红光的像 素可在矩阵中与透射绿和蓝光的像素并置，使得LCD矩阵形成彩色图像。一个实施例中LCD 矩阵可W是娃上液晶化COS)矩阵。在其它实施例中，数字微镜阵列可被用于代替LCD矩阵， 或有源L邸矩阵可被替代使用。在又一些实施例中，扫描束技术可被用于形成右和左显示图 像。总之，运里所描述的立体擅染技术可与任何适当的显示技术联用。
[0021] 在图2中继续，光学系统20还包括被配置成感测显示系统10的佩戴者的右或左眼 28的瞳孔位置的眼睛跟踪部件。在图2的实施例中，眼睛跟踪部件采用对来自眼灯30的被佩 戴者的眼睛反射的光进行成像的成像系统的形式。眼灯可包括被配置成照亮眼睛的红外或 近红外LED。在一个实施例中，眼灯可提供相对窄角的照明，W便在眼睛的角膜34上创建镜 面反射32。成像系统包括被配置为对眼灯的发射波长范围中光进行成像的至少一个相机 36。可布置并W其它方式配置此相机W便捕获来自眼灯的被眼睛反射的光。来自相机的图 像数据被传达到微控制器12B或计算机系统12A中相关联的逻辑。在那里，可处理图像数据 W便解析如瞳孔中屯、38、瞳孔轮廓40、和/或来自角膜的一个或多个镜面反射32之类的特 征。图像数据中运些特征的位置可被用作把特征位置与眼睛的注视向量42联系起来的模型 (例如多项式模型）中的输入参数。佩戴者的注视向量可W各种方式被用于AR应用。例如，它 可被用于确定在何处和w何距离显示通知或其它虚拟物体，使得被佩戴者不改变她的当前 焦点就可辨析。
[0022]在大多数情况下，来自LCD矩阵26的显示图像将不适合被显示系统10的佩戴者直 接观看。具体而言，显示图像可能偏移开佩戴者的眼睛，可能具有不期望的聚散度，和/或非 常小的出射光瞳（即，显示光的释放区域，不要与佩戴者的解剖瞳孔相混淆）。鉴于运些问 题，来自LCD矩阵的显示图像可在中途被进一步适应于佩戴者的眼睛，如下面进一步描述。 [00剖在图2的实施例中，来自LCD矩阵26的显示图像被接收到垂直瞳孔扩展器44中。垂 直瞳孔扩展器将显示图像降低至佩戴者的视野中，并且通过运样做，在"垂直"方向上扩展 了显示图像的出射光瞳。在此上下文中，垂直方向是与佩戴者的双眼间轴线且与佩戴者正 面对的方向正交的方向。从垂直瞳孔扩展器44,显示图像被接收到可被禪合于或被实现为 显示窗口 18的水平瞳孔扩展器。在其它实施例中，水平瞳孔扩展器可与显示窗口不同。无论 何方式，水平瞳孔扩展器将显示图像的出射光瞳在"水平"方向上扩展。在此上下文中，水平 方向是平行于显示系统10的佩戴者的双眼间轴线的方向一一即，在图2中进出页面的方向。 通过穿过水平和垂直瞳孔扩展器，显示图像被呈现于基本上覆盖眼睛的区域上。运使佩戴 者能在光学系统和眼睛之间适当的水平和垂直偏移范围上看到显示图像。在实践中，运个 偏移范围可反映诸如佩戴者之间解剖学眼睛位置的变化性、显示系统10的制造公差和材料 灵活性、W及显示系统在佩戴者的头部上的不精确安置之类的因素。
[0024] 在一些实施例中，光学系统20可将光功率应用于来自LCD矩阵26的显示图像，W便 调整显示图像的聚散度。运样的光功率可由垂直和/或水平瞳孔扩张器，或者由把来自LCD 矩阵的显示图像禪合进垂直瞳孔扩张器的透镜46提供。例如，如果来自LCD矩阵的光线显现 出会聚或发散，则光学系统可反转图像聚散度使得光线被准直接收进佩戴者的眼睛。运种 手段可被用于形成遥远的虚拟物体的显示图像。类似地，光学系统可被配置为向显示图像 赋予固定的或可调整的发散，与被置于佩戴者前部有限距离的虚拟物体一致。在一些实施 例中，其中透镜46是电子可调透镜，可基于佩戴者与正被显示的虚拟影像之间的距离动态 地调整显示图像的聚散度。
[0025] 佩戴者对到虚拟显示影像的距离的感知不仅受到显示图像聚散度的影响，而且受 到右和左显示图像之间的位置视差的影响。运个原理通过图3中的示例来解说。图3示出了 为说明目的而相互叠加的右和左图像框48R和48L。右和左图像框分别对应于右和左光学系 统的LCD矩阵26的图像形成区域。由此，右图像框包围右显示图像50R，而左图像框包围左显 示图像50L。适当擅染的话，对于佩戴者来说，右和左显示图像可表现为虚拟影像。在图3的 示例中，虚拟影像呈现了佩戴者可视的单独可擅染的位点的表面。参考图4,该可视表面中 的每个位点i具有与右和左显示图像中的每个像素(Χι，Υι)相关联的深度坐标Zl。所需的深 度坐标可下方式模拟。
[00%] -开始，选择距显示系统10的焦平面F的距离Zo。左和右光学系统然后被配置为W 适合于所选距离的聚散度呈现它们各自的显示图像。在一个实施例中，Zo可被设定为"无穷 大"，使得每个光学系统W准直光线的形式呈现显示图像。在另一实施例中，Zo可被设定为 两米，从而要求每个光学系统W发散光的形式呈现显示图像。在一些实施例中，Zo可在设计 时被选择，并对由显示系统呈现的所有虚拟影像保持不变。在其它实施例中，光学系统可被 配置有电子可调光功率，W便允许Zo根据呈现虚拟影像的距离的范围而动态地变化。
[0027]在距焦平面的距离Zo已被建立之际，可对可视表面上的每个位点i设定深度坐标 Z。运是通过调整右和左显示图像中对应于位点i的两个像素的位置视差（相对于它们各自 的图像框)完成的。在图4中，右图像框中对应于位点i的像素被表示为Ri，而左图像框中的 对应像素被表示为k。在图4中，位置视差为正一一即，在叠加的图像框中3在以的右边。运导 致位点i出现在焦平面F的后面。如果位置视差是负的，则该位点将出现在焦平面的前面。最 后，如果右和左显示图像被重叠(无视差，虹和以重合），则位点将似乎正好位于焦平面上。无 需使本公开受任何特定的理论约束，位置视差D可W按下式与Z、Z〇、W及佩戴者的瞳距 (IPD)相关：
[002引
[0029] 在上述方法中，试图在右和左显示图像的相应位点之间引入的位置视差是"水平 视差"一一即，平行于显示系统10的佩戴者的瞳间轴线的视差。水平视差模仿了真实物体深 度对人类视觉系统的作用，其中由右和左眼接收的真实物体的图像沿瞳间轴线自然地偏 移。
[0030] 鉴于前述分析，可W下述方式擅染具有任何所需复杂性的虚拟影像。在一个实施 例中，计算机系统12A或微控制器12B中的逻辑W固定于显示系统10的参考系维持佩戴者前 面的笛卡尔空间的模型。佩戴者的瞳孔位置被映射到该空间，被定位于预定深度Zo处的图 像框架48R和4化也一样。（读者被再次引导至图3和4。）然后，虚拟影像52被构造，其中影像 的可视表面的每个位点i都具有共同参考系中的坐标Χι，、Υι、和Zi。针对可视表面的每个位 点，构造两条线段一一至佩戴者的右眼的瞳孔位置的第一线段W及至佩戴者的左眼的瞳孔 位置的第二线段。右显示图像中对应于位点i的像素 Ri被取为第一线段在右图像框48R中的 交点。类似地，左显示图像中的像素以被取为第二线段在左图像框4化中的交点。此过程自 动提供适当量的移位和缩放W便正确地擅染可视表面，从而将每个位点i放置于距佩戴者 的所需距离处。
[0031] 上述过程中困难的一个根源是需要对佩戴者的瞳孔位置，或至少是WD的准确估 计。然而，瞳孔位置可能随佩戴者变化，W及对于同一佩戴者在不同场景中变化。例如，当一 个人将焦点转移到任何有限距离处的真实或虚拟的物体时，眼睛肌肉通过将每个眼睛绕其 垂直轴旋转来响应，W便将该物体成像到眼睛的中央凹上，视觉敏锐度在眼睛的中央凹上 最大。运种响应改变瞳孔位置，因此在如上所述的虚拟影像的擅染中提出了问题。简而言 之，上面的等式表明，右和左图像之间的适当的位置视差是iro的函数。然而，取决于佩戴者 聚焦于附近的还是遥远的位点，IPD可变化若干毫米。
[0032] 运个问题可通过将显示系统配置成自动跟踪佩戴者的瞳孔位置的变化来解决。设 想了用于估计瞳孔位置的两种模式:感测模式和预测模式。运些模式可在不同的实施例中 单独地使用，但也可为了附加优点而在同一实施例中被组合。感测模式充分利用了可能存 在于显示系统10中用来帮助虚拟影像的整体布局的眼睛跟踪部件。它基于他或她的注视向 量感测佩戴者的瞳孔位置。预测模式通过基于正被显示的虚拟影像作出关于佩戴者的注视 向量的智能预测来估计瞳孔位置。
[0033] 尽管直接成像于瞳孔位置有益处，但一般而言，实时跟踪瞳孔位置可能不是合乎 需要的。首先，可预料到佩戴者的眼睛将作出快速转移移动，其中视觉焦点短暂或甚至长时 间移离显示内容。显示影像持续跟踪运些移位可能是令人分屯、的或不受欢迎的。此外，可能 有与瞳孔位置的确定相关联的噪声。显示影像响应于运样的噪声而到处移动可能是令人分 屯、的。最后，伴随显示影像的实时调整的准确的、即使即刻的眼睛跟踪可能要求比可获得的 更多的计算能力。
[0034] 解决上述各问题的一种方式是感测或预测眼睛的旋转中屯、来替代瞳孔位置。在一 个实施例中，眼睛的旋转中屯、可根据一段时间内记录的瞳孔位置的连续测量值确定。图5在 一个实施例中示出该方法的各方面。实际上，旋转中屯、C可被用作瞳孔位置K的更稳定且较 少噪声的替代物。自然地，运种近似在佩戴者直接向前看使得旋转中屯、位于瞳孔正后方时 最有效，而在佩戴者向上、下、或侧边看时最不有效。
[0035] 前述的描述或附图的任何方面都不应W限制的意义被解读，因为众多变型都位于 本公开的精神和范围之内。例如，尽管图1的显示系统10是近眼显示系统（其中右显示图像 出现于右显不窗口之后，而左显不图像出现于左显不窗口之后），但右和左显不图像也可被 形成于同一屏幕上。在用于例如膝上型计算机或被配置用于私人观看的家庭影院系统的显 示系统中，右显示图像可使用一种偏振态的光被形成于显示屏上，而左显示图像可使用不 同偏振态的光形成于同一显示屏上。用户的眼镜中的正交对准偏振滤光器可被用于确保每 个显示图像被接收进适当的眼睛。此外，眼睛跟踪部件并非在所有显示系统实施例中都必 要
[0036] 上述配置使得能用各种方法来显示虚拟影像。继续参照W上配置，现在通过示例 来描述一些此类方法。然而，应该理解，本文所述的方法W及落在本公开范围内的其它方法 也可W由不同配置来实现。
[0037] 图6例示出用于在诸如可佩戴显示系统之类的立体显示系统上显示虚拟影像的示 例方法54。如上文所述，虚拟影像呈现了通过用户的眼睛可视的单独可擅染的位点的表面。
[0038] 在方法54的56处，确定显示系统中确定瞳孔位置的感测模式当前是否被启用。自 然地，该步骤在缺少眼睛跟踪部件的配置中可被省略。然而，构想了即使眼睛跟踪部件是可 用的，感测模式有时也被禁用的场景。例如，运可发生于功率节省状态期间。在一些实施例 中，可根据自诊断来禁用感测模式一一例如，如果由于不规则的眼睛几何形状或用户佩戴 的隐形眼镜造成眼睛跟踪不可靠。在一些实施例中，如果确定替代的预测模式将产生可接 受的擅染准确度，则感测模式可被禁用。在其它实施例中，可根据要被呈现给用户的虚拟影 像的距离范围启用或禁用感测模式。
[0039] 如果启用了感测模式，则方法推进到58,在此感测单眼或双眼的瞳孔位置。在一个 实施例中，感测瞳孔位置可包括在立体显示系统的眼睛跟踪部件中获取并分析右和/或左 眼的图像的动作。为此，显示系统的微控制器12B中的专用逻辑可被配置成标识右或左眼的 图像或双眼的图像中的一个或多个眼睛特征可被标识的示例眼睛特征包括瞳孔中屯、、瞳孔 轮廓、或来自眼角膜的一个或多个镜面反射。单独地或组合地，运样的眼睛特征可被用于估 计眼睛图像的参考系中用户的瞳孔位置。为了将该信息用于显示图像擅染，各眼睛图像的 参考系经由几何变换与其中将显示虚拟影像的参考系相关。
[0040] 在方法54的60处，开始循环。方法循环经过要被显示的虚拟影像的可视表面的每 个位点。对于每个位点i，右显示矩阵中的一像素被选择用于照亮。除了由立体显示系统确 定的右眼的瞳孔位置之外，该像素还基于位点的坐标(Χι，Υι，Ζι)被选择。该像素是鉴于显示 系统的光学配置而被选择的一-即，此像素的图像将被形成于什么坐标处。显示系统可被 配置成在用户的眼睛前面的焦平面F上形成显示矩阵的每个像素的图像。然而，所选择的像 素将是运样的一个像素，对于该像素，如此形成的虚拟图像被置于一条直线上，该直线经过 位点i、经过焦平面F、W及经过由显示系统确定的右瞳孔位置。再次，瞳孔位置可被感测或 预测，运取决于显示系统W感测模式(上述)操作还是W预测模式(后述)操作。W类似的方 式，对于可视表面的每个位点，选择左显示矩阵的一左像素用于照亮。除了由立体显示系统 确定的左眼的瞳孔位置之外，该左像素还基于位点i的指定坐标被选择。合起来看，右和左 眼的瞳孔位置定义了用户的当前IPD。如上等式所述，IPD将深度坐标Zi与相应的右和左像 素图像之间的所需的水平视差联系起来。因此，实际上，所例示的方法提供了对工作IPD估 计的重复调整，W便校正随用户的焦点变化的iro变化。同样的调整还校正不同用户之间的 解剖学iro变化性。
[0041] 在图6中继续，在方法54的62处，W所需的亮度水平照亮所选择的像素。在显示系 统是彩色显示系统的实施例中，显示矩阵中红像素 W及并置的蓝和绿像素的照亮可被一起 调整W便W所需的颜色和亮度擅染位点。此过程对虚拟影像的可视表面的每个位点i重复。 自然地，术语"循环"、"重复"等不排除例如当代图形处理单元中所设定的并行处理。
[0042] 如果在56确定不启用感测模式，则方法推进到64,在此W预测模式估算瞳孔位置。 预测模式的本质是，至少在某些场景下，显示系统或许能够预测用户的焦点。基于焦点与用 户的解剖学知识，系统可重构用户的注视向量，并由此估计右和左瞳孔位置两者W及其间 的IPD。一般而言，用户的焦点被假设为与正被显示的虚拟影像的目标位点重合。因此，图6 中的示例预测模式开始于对虚拟影像的目标位点的标识。
[0043] 本公开的不同的实施例中，可不同地标识目标位点。在一个实施例中，目标位点可 W是虚拟影像中最明亮或最显著的位点。在另一实施例中，目标位点可W是虚拟影像中最 近的位点。在诸如当虚拟影像仅包括一个虚拟物体的某些场景中，目标位点可W是虚拟影 像的质屯、。在更复杂的场景中，可基于试探法来确定目标位点。例如，在仅一个虚拟物体正 在移动的情况下，目标点位可W是移动的虚拟物体的质屯、。
[0044] 在一些实施例和使用场景中，立体显示系统10可被配置为多用户设备。如此，多个 用户简档可被存储于微控制器12B中和/或可由微控制器12B访问。可选地，预测模式64可包 括将立体显示系统的当前用户匹配于所存储的用户简档之一的动作。匹配可根据经由计算 机系统12A的输入设备的直接用户输入、经由诸如语音识别的自然用户输入、或经由立体显 示系统的身份感测部件自动地完成。运样的身份感测部件可包括显示系统的框架上的手指 或拇指指纹传感器，或与相机36结合使用的虹膜匹配逻辑。在标识了适当的用户简档后，该 简档可被打开W便检索用于预测瞳孔位置的某些参数值。运样的参数可包括(a)可与用户 双眼间的距离相关的眼睛位置参数、W及(b)可与用户双眼的大小相关的眼睛大小参数等。 在一个实施例中，当用户向前聚焦于一远距离物体时，眼睛位置参数可在数学上简化为用 户的IPD。眼睛大小参数可在数学上被简化为用户的眼球直径。通过将运样的参数存储于多 个用户简档中的每一个中，使得预测出的瞳孔位置和工作iro响应于不同用户之间眼睛位 置和/或眼睛尺寸的变化。在立体显示系统是单用户设备的替换实施例中，单组参数可被存 储于微控制器并公共地应用于所有用户。
[0045] 可W任何合适的方式确定眼睛位置和眼睛大小参数值，包括经由用户的直接输入 或经由来自相机36的图像数据。在一些实施例中，可在一定程度的用户主动参与下获取可 用于此目的的图像数据。例如，在立体显示系统的校准过程期间，可要求用户向前平视一远 距离物体，同时相机获取用户的眼睛的图像。然后，微控制器12B中的逻辑可分析图像数据 W便提取眼睛位置和眼睛大小参数值。图8(参见下文)例示出确定参数值的另一种方法。
[0046] 确定了眼睛位置和眼睛大小参数值后，就可能构造类似于图7中的模型的几何模 型。假设立体显示系统10对称地适合于佩戴者的面部，眼睛位置和眼睛大小参数合起来将 产生对佩戴者的眼睛的中屯、位置C的估计，可基于眼睛大小参数值来界定围绕眼睛中屯、位 置C的瞳孔轨道0。然后应用预测模式的中屯、理论一一即，在最靠近于虚拟影像的预定目标 位点j的点K处，每个瞳孔位于它的瞳孔轨道上。从预测出的瞳孔位置K，可获得工作WD估 计。
[0047] 图8例示出确定由立体显示系统使用W便预测用户的瞳孔位置的一个或多个参数 值的示例方法66。将假设在进入方法66时，已经存储了针对每个参数的当前或默认值。方法 的目的是为当前用户根据他或她的解剖学唯一性来优化运些值。
[0048] 因此，在方法66的68处，基于当前存储的参数值，在一定距离Z处显示优选的简单 虚拟物体(例如，垂直于用户正面对的方向的垂直平面中的扁平物体）。在70,接收来自用户 的关于正被显示的虚拟物体的位置或清晰度的反馈。所述反馈是运样的，W便指示出用户 是否感知到此物体是清晰的并位于Z处。可W任何合适的方式(手动地、口头地等)传递用户 的反馈。此外，可提示用户W任何合适的方式提供反馈。在一个示例中，在68所显示的虚拟 物体可W是询问"该框是否出现于距你2米远r的对话框。例如，该对话框可包括标有"是"、 "否，太遗'、W及巧，太近'的回答按钮。
[0049] 实际上，在72确定工作参数值是否准确。具体而言，确定该物体是否出现于所希望 的距离Z处。如果是，则方法返回。如果不是，则在74基于反馈调整工作参数值。例如，如果虚 拟物体出现得太远，则可改变眼睛位置参数值，W便有效地提高工作iro估计。然后，方法从 74返回到68,在68再次尝试在距离Z处显示虚拟物体。自然地，本领域的技术人员将理解，方 法66的众多变型可被用于细化眼睛位置和眼睛大小参数值。
[0050] 从前述描述中显而易见，本文所描述的方法和过程可被绑定到一个或多个计算机 器的计算系统。运样的方法和过程可被实现为计算机应用程序或服务、应用编程接口 (API)、库和/或其它计算机程序产品。
[0051] W简化形式示于图9的是被用于支持本文描述的方法和过程的计算系统的一个非 限制性示例。计算系统中的每个计算机器12包括逻辑机76和指令存储机78。计算系统还包 括采用光学系统20R和20L形式的显示器、通信系统80A和80B、位置感测部件22、W及未在图 9中示出的各种组件。
[0052] 每个逻辑机76包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被 配置来执行作为W下各项的一部分的指令:一个或多个应用、服务、程序、例程、库、对象、组 件、数据结构、或其它逻辑构造。运种指令可被实现W执行任务、实现数据类型、转换一个或 多个部件的状态、实现技术效果、或W其它方式得到期望结果。
[0053] 每个逻辑机76可W包括被配置成执行软件指令的一个或多个处理器。作为补充或 替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑 机的处理器可W是单核或多核，且在其上执行的指令可被配置用于串行、并行和/或分布式 处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，运些设备可w位于远程 和/或被配置用于进行协同处理。逻辑机的各方面可由W云计算配置进行配置的可远程访 问的联网计算设备来虚拟化和执行。
[0054] 每个指令存储机78包括被配置成保持可由相关联的逻辑机76执行W实现此处描 述的方法和过程的指令的一个或多个物理设备。当实现运样的方法和过程时，指令存储机 的状态可W被变换一例如用来保持不同的数据。指令存储机可包括可移动的和/或内置设 备；它可包括光学存储器（例如，CD、DVD、皿-DVD、蓝光碟等）、半导体存储器（例如，RAM、 EPROM、邸PROM等）、和/或磁性存储器（例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM 等）、W及其他。指令存储机可W包括易失性的、非易失性的、动态的、静态的、读/写的、只读 的、随机存取的、顺序存取的、位置可定址的、文件可定址的、和/或内容可定址的设备。
[0055] 将理解，每个指令存储机78包括一个或多个物理设备。然而，本文描述的指令的各 方面可另选地通过不由物理设备在有限时长内持有的通信介质（例如，电磁信号、光信号 等)来传播。
[0056] 逻辑机(一个或多个)和指令存储机(一个或多个）的各方面可一起被集成于一个 或多个硬件逻辑组件中。运些硬件逻辑组件可包括例如现场可编程口阵列(FPGA)、程序和 应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品（PSSP/ASSP)、片上系统 (SOC)W及复杂可编程逻辑器件(CPLD)。
[0057] 术语"模块"、"程序"和"引擎"可用于描述被实现为执行一特定功能的计算系统的 一方面。在某些情况下，可经由执行由指令存储机所保持的指令的逻辑机来实例化模块、程 序或引擎。应当理解，可W从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化 不同的模块、程序和/或引擎。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、 代码块、对象、例程、API、功能等来实例化。术语"模块"、"程序"和"引擎"意在涵盖单个或成 组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
[0058] 应该理解，在此使用的"服务"是跨多个用户会话可执行的应用程序。服务可用于 一个或多个系统组件、程序和/或其它服务。在某些实现中，服务可W在一个或多个服务器 计算设备上运行。
[0059] 通信系统80可被配置为将计算机器通信地禪合于一个或多个其它机器。通信系统 可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通 信系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在 一些实施例中，通信系统可允许计算机器经由诸如因特网运样的网络将消息发送至其他设 备W及/或者从其它设备接收消息。
[0060] 将会理解，此处描述的配置和/或方法本质是示例性的，运些具体实施例或示例不 应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可W表示任何数 量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可所示和/或所述顺 序、W其它顺序、并行地执行，或者被省略。同样，上述过程的次序可W改变。
[0061] 本公开的主题包括各种过程、系统和配置W及此处公开的其他特征、功能、动作 和/或属性、W及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。
【主权项】
1. 一种用于在具有显示矩阵的立体显示系统上安置虚拟影像的方法，所述虚拟影像呈 现用户的一只眼睛可视的单独可渲染的位点的表面，所述方法包括： 针对可视表面的每个位点，照亮所述显示矩阵的一像素，经照亮的像素是基于由所述 立体显示系统确定的所述眼睛的瞳孔位置选择的；以及 在所述眼睛前面的平面中形成所述像素的虚拟图像，所述虚拟图像被安置于穿过所述 位点、所述平面以及所述瞳孔位置的直线上，并跟踪所述瞳孔位置的变化。2. 如权利要求1所述的方法，其特征在于，所述眼睛是所述用户的右眼，所述显示矩阵 是右显示矩阵，而所述像素是右像素，所述方法进一步包括： 针对所述可视表面的每个位点，照亮左显示矩阵的一左像素，经照亮的左像素是基于 由所述立体显示系统确定的所述左眼的瞳孔位置选择的；以及 在所述左眼前面的平面中形成所述左像素的虚拟图像，所述虚拟图像被安置于穿过所 述位点、所述平面以及所述左眼的瞳孔位置的直线上，并跟踪所述左眼的瞳孔位置的变化。3. 如权利要求1所述的方法，其特征在于，所述立体显示系统是可佩戴的，并且所述用 户是所述立体显示系统的佩戴者。4. 根据权利要求1所述的方法，其特征在于，所述瞳孔位置是感测出的瞳孔位置，所述 方法进一步包括： 通过利用所述立体显示系统的眼睛跟踪部件获取并分析所述眼睛的图像来感测所述 眼睛的所述瞳孔位置。5. 根据权利要求1所述的方法，其特征在于，所述瞳孔位置是预测出的瞳孔位置，所述 方法进一步包括： 将所述瞳孔位置预测为位于所述眼睛上的最靠近于所述虚拟影像的预定目标位点的 点。6. 如权利要求1所述的方法，其特征在于，进一步包括： 在所述立体显示系统的第一操作模式期间预测所述瞳孔位置；以及 在所述立体显示系统的第二操作模式期间感测所述瞳孔位置。7. 如权利要求5所述的方法，进一步包括基于试探法标识所述目标位点。8. 如权利要求5所述的方法，其中所述目标位点是所述虚拟影像的质心。9. 如权利要求5所述的方法，其中所述目标位点是所述虚拟影像中最近的、最明亮的、 或最突出的位点。10. 如权利要求5所述的方法，进一步包括基于所述目标位点的坐标和响应于不同用户 之间眼睛位置变化的所存储的参数来计算预测出的瞳孔位置。
【文档编号】G02B27/01GK105992965SQ201580008415
【公开日】2016年10月5日
【申请日】2015年2月13日
【发明人】R·S·叙尔文, A·汤姆林, D·J·麦克卡洛克, B·芒特, T·安布鲁斯
【申请人】微软技术许可有限责任公司