自校准显示系统的制作方法

文档序号:16811250发布日期:2019-02-10 13:40阅读:192来源:国知局
自校准显示系统的制作方法

近年来,三维(3d)显示技术已经经历了迅猛的开发,特别地在消费者市场。高分辨率3d眼镜以及护目镜现在对用户可用。使用用来向右眼和左眼显微地投影相关的图像的现有技术的显微投影技术,这些显示系统将用户沉浸在令人信服的虚拟现实中。而然,对于针对用户而被市场化的3d显示系统仍然存在某些挑战。一个问题是用户由于显示系统相对于用户的眼睛的未而可能体验的不舒适。



技术实现要素:

一个实施例涉及一种自校准显示系统。显示系统包括立体近眼显示设备,对接单元以及一个或者多个相机。除了被配置为投影右校准图像和左校准图像一个或者多个显微投影器,显示设备包括一个或者多个耦合结构。对接单元包括一个或者多个互补的耦合结构,每个互补的耦合结构可释放地可锁定到显示设备的耦合结构,以防止显示设备相对于对接单元的移动。一个或者多个相机被配置为获取右校准图像的次级图像和左校准图像的次级图像。

本发明内容被提供以用简化的形式介绍对概念的选择,这些概念将在下面的具体实施方式中被进一步描述。本发明内容并非旨在标识所要求保护的技术主题的关键特征或必要特征,也并非旨在被用来限制所要求保护的技术主题的范围。此外,所要求保护的技术主题并不限于解决在本公开内容的任何部分中被提到的任何或所有缺点的实现方式。

附图说明

图1示出了示例自校准显示系统的各个方面,自校准显示系统包括立体近眼显示设备以及对接单元;

图2示出了示例显微投影器、眼成像相机以及显示设备的显示窗口的各个方面;

图3以及图4示出了根据本公开内容的实施例的虚拟对象的立体显示;

图5示出了图1的示例对接单元的附加的方面;

图6示出了要被在自校准显示系统中制定的示例自动校准方法;

图7是被绘制为显示-设备温度的函数的差异修正的图表。

具体实施方式

本公开内容的各方面将通过示例并参考以上列出的附图而被描述。在一个或者多个实施例中,可以基本相同的部件、过程步骤和其他元件被同等地标识并且利用最小的重复而被描述。然而,将注意到,被同等地标识的元件在某种程度也可以不同。还将注意到,附图是示意性的并且通常并未按比例而被绘制。相反,图中所示的各种绘图比例、纵横比和部件的数量可能被故意扭曲,以使某些特征或关系更容易看到。

图1示出了示例自校准显示系统10的各个方面。显示系统包括立体近眼显示设备12以及对接单元14。

显示设备12包括被配置为投影右图像18r的右显微投影器16r以及被配置为投影左图像18l的左显微投影器16l。在一般的使用中,右图像以及左图像中的每个图像是显示图像。被显示设备的用户双目地观看,右图像和左图像在用户的视觉皮层中可溶解以产生立体3d图像显示。在显示设备的校准期间,右图像和左图像中的每个图像采取校准图像的形式,如下面将被进一步描述的。虽然分离的右显微投影器以及左眼显微投影器在图1中被示出,但是备选地,单个显微投影器可以被用于形成右图像和左图像。

显示设备12包括右显示窗口20r以及左显示窗口20l。在一些实施例中,右图像窗口和左图像窗口20从用户的视角是至少部分地透明的,从而向用户给出他的或者她的周围的清晰视图。这个特征使得虚拟显示影像能够被与来自环境真实影像混合,以用于“增强”或者“混合”现实的错觉。在其他实施例中,显示窗口是不透明的,以便提供完全沉浸式的“虚拟的”现实体验。

逻辑系统22被操作地耦合到显示设备12的各种电子部件。逻辑系统特别地被配置为控制显微投影器16并且制定显示设备的自动校准,如这里描述的。为了这个目的,逻辑系统可以包括一个或者多个处理器24以及相关联的电子存储器26。在一些实施例中,显示影像经由逻辑系统22从外部网络被实时地接收,并且被输送给显微投影器16。显示影像可以按照任何合适的形式(即,传输信号以及数据结构的类型)而被传输。对显示影像进行编码的信号可以通过有线或者无线通信链路而被运送给逻辑系统。在其他实施例中,至少一些显示-图像组成部分以及处理可以从逻辑系统本身内被制定。逻辑系统22的附加的方面在下面被进一步描述。

当显示设备12在使用中时,逻辑系统22向右显微投影器16r发送合适的控制信号,这些控制信号使得右显微投影器在右显示窗口20r中形成右图像18r。同样地,逻辑系统22向左显微投影器16l发送合适的控制信号,这些控制信号使得左显微投影器在左显示窗口20l中形成左图像18l。显示-设备用户分别通过右眼和左眼来观看右图像和左图像。当右图像和左图像以合适的方式(参见下文)被组成以及呈现时,用户在指定的位置体验具有指定的3d内容以及其他显示属性的一个或者多个虚拟对象的错觉。任何期望的复杂度的多个虚拟对象可以按照这种方式被同时地显示,从而呈现具有前景部分和背景部分的完整的虚拟场景。

图2在一个非限制的实施例中示出了右显微投影器16r以及相关联的显示窗口20r。显微投影器包括光源28和硅基液晶(lcos)阵列30。光源可以包括发光二极管(led)(例如,白led或者红、绿和蓝led的分布)的汇集。光源可以被定位为将它的发射指引到lcos阵列上,lcos阵列被配置为基于来自逻辑系统22的控制信号来形成显示图像。lcos阵列可以包括被布置在矩形的网格或者其他几何形状上的许多的独立地可寻址的像素。在一些实施例中,反射红光的像素可以在阵列中被与反射绿光和蓝光的像素并置,从而使得lcos阵列形成彩色图像。在其他实施例中,数字微镜阵列可以代替lcos阵列而被使用,或者有源-矩阵led阵列可以作为替代而被使用。在另外一些实施例中,能送式(transmissive)背光lcd或者扫描波束技术可以被用于形成显示图像。

图2还示出了右眼成像相机32r。右眼成像相机32r被配置为感测显示设备12的用户的右眼34的位置。在图2的实施例中,右眼成像相机使从用户的右眼被反射出的、来自眼灯36的光成像。眼灯可以包括被配置为照亮眼睛的红外线的或者近红外线的led。在一个实施例中,眼灯可以提供相对窄角度的照明,以在眼睛的角膜上创建镜面反射38。右眼成像相机被配置为使在眼灯的发射波长范围中的光成像。这一相机可以被布置以及以其它方式被配置为捕捉从眼睛被反射的、来自眼灯的光。来自相机的图像数据被输送到逻辑系统22中的相关联的逻辑。在那里,图像数据可以被处理以将这样的特征解析为右瞳孔中心42r,瞳孔轮廓44和/或来自角膜的一个或者多个镜面反射38。这样的特征在图像数据中的位置可以被用作模型(例如,多项式的模型)中的输入参数,其将特征位置与眼睛的凝视向量46相关。在一些实施例中,模型在显示设备12的设置期间可以被预校准(例如,通过将用户的凝视拖动到移动的目标或者跨用户的视野而被分布的多个固定的目标),同时记录图像数据并且评估输入参数。用户的凝视向量可以按照多种方式在显示设备应用中被使用。例如,其可以被用于确定在哪里以及在什么距离显示用户能够在无需改变他的或者她的当前焦点的情况下解析的通知或者其他虚拟对象。

在一些实施例中,来自lcd阵列30的显示图像可能不适合用于由显示设备12的用户直接观看。特别地,显示图像可能从用户的眼睛偏移,可能具有不期望的聚散度和/或非常小的出口瞳孔(即,显示光的释放的面积,不要与用户的解剖学瞳孔混淆)。鉴于这些问题,来自lcd矩阵的显示图像可能在去往用户的眼睛的途中可能是进一步有条件的,如下面所述。

在图2的实施例中,来自lcd阵列30的显示图像被接收到竖直的瞳孔扩展器48中。竖直的瞳孔扩展器将显示图像变低到用户的视野中,并且在这么做时,在“竖直”方向上扩展显示图像的出口瞳孔。在这一情境中,竖直方向是与用户的两眼间轴线以及与用户面对的方向正交的方向。从竖直的瞳孔扩展器48,右图像被接收到水平的瞳孔扩展器中,水平的瞳孔扩展器可以被耦合到右显示窗口20r中或者被体现为右显示窗口20r。在其他实施例中,水平的瞳孔扩展器可以是与右显示窗口不同的。水平的瞳孔扩展器将显示图像的出口瞳孔在“水平”方向上扩展。水平方向在这一情境中是平行于显示设备12的用户的两眼间轴线的方向(例如,图2中进出页面的方向)。通过穿过水平的瞳孔扩展器以及竖直的瞳孔扩展器,显示图像被呈现在覆盖眼睛的区域之上。这使得用户能够在显微投影器和眼睛之间的水平的偏差以及竖直的偏差的合适的范围内看到显示图像。在实践中,偏差的这一范围可以反映因素(诸如用户之间的解剖学的眼睛位置的可变性,显示设备12中的生产容差以及材料灵活性以及用户的头上的显示设备的不精确定位)。

在一些实施例中,右显微投影器16r可以将光学功率应用于来自lcd阵列30的显示图像,以便调整显示图像的聚散度。这样的光学功率可以由竖直的和/或水平的瞳孔扩展器,或者由透镜50提供,其将来自lcd阵列的显示图像耦合到竖直的瞳孔扩展器中。如果来自lcd阵列的光线显现为收敛或者发散,例如,显微投影器可以反转图像聚散度,从而使得光线被准直地接收到用户的眼睛中。这一策略可以被用于形成远方的虚拟对象的显示图像。备选地,显微投影器可以被配置为向显示图像给予固定的或者可调整的发散,与被定位在用户的前面的有限距离的虚拟对象一致。自然地,右显微投影器16r、右显示窗口20r以及右眼成像相机32r的前述描述同样地适用与左显微投影器16l、左显示窗口20l、左眼成像相机32l以及左瞳孔中心42l。

继续,用户的对到虚拟显示对象的给定位点(locus)的距离的感知不仅受显示-图像聚散度的影响,而且还受右显示图像和左显示图像之间的位置差异的影响。这一原理通过在图3和图4中的示例的形式而被说明。图3示出了右图像帧52r和左图像帧52l,它们出于说明的目的而被彼此覆盖。右图像帧和左图像帧对应于右显微投影器16r和左显微投影器16l的lcd阵列30的图像形成区域。这样,右图像帧围绕右显示图像18r,并且左图像帧围绕左显示图像18l围起来。合适地绘出,右显示图像和左显示图像可以作为任何期望的复杂度的虚拟3d对象54而显现给用户。在图3的示例中,虚拟对象包括具有与右图像帧和左图像帧的每个像素位置(x,z)相关联的深度坐标z的表面轮廓。现在参考图4,期望的深度坐标可以按照下面的方式被仿真。

右显微投影器和左显微投影器16可以被配置为将右图像和左图像18的每个位点投影到被定位在距用户的瞳孔间轴(ipa)固定距离z0的焦点平面f上。z0是由显微投影器应用的聚散度的函数。在一个实施例中,z0可以被设置为“无限的”,从而使得每个显微投影器以准直光线的形式呈现显示图像。在另一实施例中,z0可以被设置为两米,从而要求每个显微投影器按照发散光线的形式呈现显示图像。在一些实施例中,z0可以在设计时被选择并且针对由显示设备12绘出的所有虚拟对象保持不变。在其他实施例中,每个显微投影器可以被配置有电子地可调节的光功率,从而允许z0根据虚拟显示对象54在其上将要被呈现的距离的范围动态地变化。

一旦到焦点平面f的距离z0已经被建立,针对虚拟对象54的每个表面点p的深度坐标z就可以被确定。这通过调整右显示图像和左显示图像中的对应于点p的两个轨迹(loci)相对于它们各自的图像帧52l和52r的位置差异而被完成。在图4中,右图像帧中对应于点p的位点被标注为pr,并且左图像帧中的对应的位点被标注为pl。在图4中,位置差异是正的(即,在覆盖的图像帧中pr在pl的右侧)。这使得点p将显现在焦点平面f的后面。如果位置差异是负的,则p将显现在焦点平面的前面。最后,如果右显示图像和左显示图像被叠加(没有差异,pr和pl一致),则p将显现为直接地位于焦点平面上。在没有将本公开内容约束在任何特定原理的情况下,位置差异d可以通过以下与z,z0以及与瞳孔间距离(ipd)有关

在上述方式中,寻求在右显示图像和左显示图像18的对应的轨迹之间被引入的位置偏差与显示设备12的用户的瞳孔间轴平行。在这里以及其他地方,这一方向上的位置差异被称作“水平差异”,与用户的眼睛或者头的定向无关。水平差异的引入针对虚拟对象显示是合适的,因为它模仿了人类视觉系统上的真实对象的深度的效果,其中在右眼和左眼中被接收的真实对象的图像沿着瞳孔间轴线自然地偏移。如果用户选择聚焦在这样的对象上,并且如果对象比无限更近,则眼睛肌肉将更倾向于绕着它的竖直的轴线旋转每只眼睛,从而将该对象成像在每只眼睛的中央凹(fovea)上,其中视觉敏度是最大的。

对比地,左显示图像和右显示图像之间的竖直差异在自然世界中是不常见的,并且针对立体显示是无用的。“竖直差异”是位置差异类型的一种,在这种类型的位置差异中右显示图像和左显示图像的对应的轨迹是竖直方向中的偏移,竖直方向即正交于ipa并且正交于用户面对的方向。虽然眼睛肌肉系统可以将眼睛向上或者向下旋转以使用户的头的上面或者下面的对象成像,但是这种调整的类型不可避免地在两只眼睛上一起被完成。眼睛具有将一只眼睛独立于另一只眼睛而向上或者向下的非常有限的能力,所以当利用具有竖直差异的图像对而被呈现时,由于为了将每个图像带到焦点中的眼睛肌肉拉紧,眼睛疲劳和/或头疼会产生。

基于本文提供的描述,有经验的读者将理解右显微投影器16r相对于左显微投影器16l的不完美的竖直对准易于引入右显示图像和左显示图像之间的竖直差异的组成部分。这样是针对任何立体显示的情况。未对准可以还由于显示设备在用户的脸上的不精确的定位或者斜视而出现,其中至少一个瞳孔可以采取意料不到的位置,从而有效地倾斜相对于用户的脸的“水平”方向。右显微投影器和左显微投影器的不完美的水平对准引起虚拟显示对象从他们的旨在的深度移走。术语“去校准”这里是指自发的水平的以及竖直的未对准,无论到去校准的状态的转变是逐渐的或者突然的。右眼成像相机32r以及左眼成像相机32l也是经受去校准,从而引起不准确的凝视追踪。

显示设备12中的温度改变被认为对显微投影器16以及眼成像相机32的对准去校准有贡献。显示设备12的温度,以及它的本地化的部分可以在使用期间显著地变化。逻辑密集型操作以及高背光设置例如,浪费增加的能量并且导致增加的热量。热量转而导致各种显示设备部件上热应力,其可以按照不同的速率扩张。热应力导致尺寸的变化,其可以影响显示投影器和/或眼成像相机对准。鉴于前面的分析,显示设备的自动校准将作为在显示设备上的不同的点处测量的温度的函数而被制定可以是期望的。在图1中,因此,多个温度传感器56在显示设备内被示意地描述,以监测显示设备的各种部件的操作温度。任何数量的温度传感器可以在任何位置中被使用。

对显示设备12的机械冲击被认为对显微投影器16以及眼成像相机32的对准去校准有贡献。因此,显示设备的自动校准被调度以便跟随可以被检测到的任何机械冲击是期望的。在图1中,因此,被配置为感测机械冲击的惯性的测量单元58被示意地描绘在显示设备中。例如,惯性的测量单元可以包括加速度计和/或者陀螺仪。

显微投影器对准去校准的问题可以在显示设备12的使用期间通过利用被构建在显示设备中的眼追踪功能中的而被解决。特别地,每个眼成像相机32可以被配置为评估相关联的眼睛相对于被固定到显示系统的参考的帧的瞳孔位置。利用在手头的瞳孔位置,显示系统可以被配置为将显示图像转变并且缩放合适的量,从而删除位置差异的任何竖直组成部分,并且从而确保剩余的水平差异具有将绘出的虚拟对象放置在用户前面的指定的距离上的量。

上面概括的方式准许多种变体以及同样地多种算法以制定要求的转变和缩放。在一个实施例中,逻辑系统22在被固定到显示设备12的参考的帧中在用户的前面面前保持笛卡尔空间模型。如通过眼睛成像相机而被确定的用户的瞳孔位置被映射到这一空间上,如同是重叠的图像帧52r和52l,它们被定位在预定的深度z0(读者被再一次被导向图3和图4)。然后,在显示系统的参考的帧内,虚拟对象54被构建,其中每个点p在具有坐标轴x,y和z的对象的看得见的表面上。针对看得见的表面上的每个点,两条线段被构建-第一条线段去往用户的右眼的瞳孔位置,并且第二条线段去往用户的左眼的瞳孔位置。对应于点p的右显示图像的位点pr被用作右图像帧52r中的第一条线段的交点。同样地,左显示图像的位点pl被用作左图像帧52l中的第二条线段的交点。这一算法自动地提供转换以及缩放的合适的量以消除竖直差异并且以创建水平差异的正确的量,从而正确地绘出虚拟对象的看得见的表面,将每个点p放置在距用户要求的距离上。在一些实施例中,要求的转换以及缩放可以在逻辑系统22的一个或者多个图形处理单元(gpu)的帧缓冲器中被完成,这些帧缓冲器积累右显示图像和左显示图像。在其他实施例中,显微投影器16中的电子地可调节的光学器件可以被用于将显示图像转换和/或者缩放合适的量。

尽管自动校准显微投影器16在使用期间的优点,一般来说,转换和缩放显示图像以实时地追踪瞳孔位置是可能不是可期望的。首先,这期待用户的眼睛将要做快速的转换移动,其中在短时间或者甚至是延长的时间里,眼睛的焦点从显示内容转换开。显示影像不断地追踪这些转换是分散注意力的或者讨人厌的。进一步地,可能存在与瞳孔位置的确定相关联的噪声。显示影像响应于这样的噪声而围绕转换可能是分散注意力的。而且,与仅出于凝视追踪的目的而必须的相比,对于眼成像相机将要求更高的分辨率。最后,具有显示影像的实时调整的精确的时时刻刻的眼追踪可能需要比消费者设备中可承受的更多的计算能力。

作为当显示设备12在使用中时制定自动校准的替代或者除此之外,在不使用的期间的间歇的自动校准可能足以保持显示保真度,防止用户眼疲劳等。在显示设备被链接到对接设备时(例如,充电)或者被储存在携带箱中时,执行间歇的自动校准可能是进一步期望的。因此,对接单元14被配置为支持间歇的自动校准。

现在转到图5,在自动校准期间,显示设备12将右校准图像18r’和左校准图像18l’投影到对接单元14。应当理解,校准图像被显示设备(例如,图1的显示设备12)投影,尽管显示设备没有在图5中被示出。校准图像可以包括在预定的位置中的一个或者多个框,线和/或点,或者对检测位置差异和/或评估显示图像质量中的不足是有用的任何其他合适的图像。对接单元被配置为从显示设备接收右校准图像和左校准图像,并且将右校准图像和左校准图像的次级图像发送回显示设备。校准图像的次级图像在显示系统逻辑中被处理以计算差异修正,该差异修正在右显示图像和左显示图像的随后的投影期间被显微投影器16使用。差异修正是这样的从而使得右显示图像的每个像素以及左显示图像的相关联的像素利用降低的竖直差异并且利用足够的水平的差异而被投影,以在预定的深度绘出立体地熔合的显示位点。差异修正的具体值可以是这样以便强化在深度坐标轴z与右像素位置pr和左像素位置pl之间的几何的关系,如上面参考图3和图4所描述的。

为了将右校准图像和左校准图像的次级图像发送回到显示设备12,对接单元14包括次级图像发送器60,其经由机械或者磁耦合而被保持在对显示设备的固定的登记处(registry)中。在图1的实施例中,对接单元包括三个注册销钉(pin)62;显示设备包括三个外缩凹孔(depression)64以接收注册销钉。更加概括地,与本公开内容一致的显示设备可以包括一个或者多个任意种类的耦合结构,并且对接单元可以具有一个或者多个互补的耦合结构。对接单元的每个互补的耦合结构可释放地可锁定到显示设备的对应的耦合结构,以防止(例如,阻止)当显示设备被耦合到对接单元时,显示设备相对于对接单元的不希望的移动。在其他的示例中,注册销钉62可以被布置在显示设备上,并且外缩凹孔64可以被布置在对接单元上。在另外的示例中,显示设备的每个对接结构可以包括小的永久性磁铁,并且每个互补的耦合结构可以包括另一小的永久性磁铁或者小的铁磁物体,或者反之亦然。

次级图像发送器60被配置为向显示设备12发送右校准图像的次级图像以及左校准图像的次级图像,右校准图像和左校准图像在校准期间从显示设备被接收。显示设备的次级图像接收器66被配置为从对接单元接收右校准图像的次级图像以及左校准图像的次级图像。在一些示例中,次级图像发送器包括被固定地耦合到对接单元的一个或者多个数字相机。在图5的示例中,次级图像发送器的单个相机被用于瞄准右校准图像和左校准图像。这一配置确保次级图像将保持相对于彼此而被完美地注册。然而,分离的右相机和左相机也是被设想到。

当第二图像发送器60是数字相机时,右校准图像的次级图像和左校准图像的次级图像被编码在图像数据中。因此,显示设备12的次级图像接收器66可以是被配置为接收图像数据的任何有线的或者无线的数据链路-usb、蓝牙等。然而,在其他实施例中,次级图像发送器可以是镜子,该镜子简单地将右校准图像和左校准图像反射到显示设备的次级图像接收器中,其可以包括一个或者多个相机,诸如眼成像相机32。换言之,右校准图像的次级图像可以是右校准图像的光学反射,并且左校准图像的次级图像可以是左校准图像的光学反射。在这两个示例中,显示系统10(显示设备和对接单元作为一个整体)包括被配置为获取右校准图像的次级图像和左校准图像的次级图像的一个或者多个相机,不管这样的相机是被布置在显示设备中还是对接单元中。

在一些实现方式中,显示设备12的一个或者多个眼成像相机32的自动校准也是期望的。为此,当显示设备被耦合到对接单元时,对接单元14包括眼成像相机可见的校准图案68。显示系统逻辑在校准过程期间可以被配置为当显示设备被对接到对接单元时命令眼成像相机获取校准模式的图像。基于由右眼成像相机和左眼成像相机获取的校准图像的差异,校准偏差或者其他转换可以被应用以改进眼成像相机的双眼的对准。

对接单元14还包括被配置为对显示设备12的电池72充电的充电器70,其从壁式插座取电。在其中对接单元被集成到携带箱的示例中,电力可以从被安装在携带箱中的外部电池供应。充电特征在一些配置中是有益的,但是不是严格地必需的。在携带箱实施例中,对接单元可以包括外壳(在图中未示出),该外壳被配置为在运输期间将显示设备包起来。某些其他变型针对被集成到携带箱中的对接单元是设想到的。例如,当对接的显示系统的整体移动是一种可能性时,显示设备的耦合结构和对接单元的互补的耦合结构可以被配置为更加完全的锁定。因此,在一些实施例中,每个耦合结构可以包括绕着拇指而被旋转的螺纹,或者类似的耦合模式。

图6示出了将被制定在显示系统10中示例自动校准方法74。在方法74的76处,显示系统逻辑导致显示设备12的温度的改变。温度改变可以通过显示设备的逻辑系统22的功率消散的速率的变化而被带来。例如,某些逻辑子系统和/或过程可以被加电以引起在温度的上升,或者被掉电以引起温度的下降。在78,温度在显示设备的一个或者多个位置处经由一个或者多个温度传感器56而被感测。在一些实现方式中,在76的温度改变以及在78的温度感测可以按照闭环的方式被制定,以便通过一系列的预定的设定点温度将显示设备可控地转变。在其他实现方式中,温度改变可以是开环的并且可以响应于环境的条件而变化。

在方法74的80,显示系统逻辑引起一个或者多个显微投影器16显示右校准图像和左校准图像。在82,右校准图像和左校准图像在对接单元14中被接收。在84,对接单元的次级图像发送器将右校准图像的次级图像和左校准图像的次级图像发送回给显示设备12。如上所述,在一些实施例中,次级图像可以被接收作为电子图像数据;在其他实施例中,次级图像可以是在显示设备的眼成像相机32中被接收的光学反射。

在方法74的86,显示系统逻辑基于右校准图像的次级图像和左校准图像的次级图像来计算差异修正。差异修正由一个或者多个显微投影器16在右显示图像和左显示图像的随后的投影期间使用。差异修正是这样,从而使得右显示图像的每个像素以及左显示图像的相关联的像素以降低的竖直差异并且以足够的水平的差异而被投影,从而在预定的深度绘出立体地熔合的显示位点。在一些示例中,差异修正可以包括竖直差异修正和水平差异修正。竖直差异修正和水平差异修正中的每个差异修正可以采取被施加到用户特定的差异设定点的偏差的形式。例如,合适的用户特定的竖直差异设定点可以是用户眼睛当疲惫时在显示设备的参考的帧中的的高差;合适的用户特定的水平差异设定点可以是用户的眼间或者平均瞳孔间距离。在一些示例中,竖直差异修正和水平差异修正中的每个差异修正可以包括平移操作(例如,将位点n像素向下或者向右移动)。在一些示例中,竖直差异修正和水平差异修正中的每个差异修正也可以包括缩放操作。在一些示例中,转换和/或者缩放的整体效果是在深度坐标z与右像素位置pr和左像素位置pl之间强制执行几何关系,如上面参考图3和图4所描述的。功能的不同是代替之前引用的从它们各自的瞳孔位置42r和42l发源的右线段和左线段,线段可以在对接单元14的次级图像发送器60的视野中的预定的虚拟瞳孔的位置发源。

在一些实施例中,差异以及其他修正可以被应用作为在方法74的78感测到的一个或者多个温度的函数。图7示出了单个差异修正c作为单个本地化温度t的函数的示例图表。在其中两个或者更多的差异或者其他的修正作为在显示设备12的两个或者更多个位置感测到的温度的函数而被计算时,修正可以被表达为c=mt,其中c是修正ci的向量,t是温度的向量,并且m是系数矩阵,其向数据提供最佳拟合。

现在回到图6,在方法74的88,显示系统逻辑在显示设备12的电子存储器中存储一个或者多个差异修正。差异修正可以按照表格、系数矩阵等形式而被存储。在其中差异修正和/或显示图像质量修正被在多个不同的温度被计算的实施例中,针对显示设备的多个温度中的每个温度,计算差异修正的逻辑被配置为通过将这样的修正与一个或者多个温度传感器的输出存储地相关联。

在90,显示系统逻辑基于右校准图像的次级图像以及左校准图像的次级图像来计算并且在显示设备12的电子存储器中存储显示图像质量修正。跟上面讨论的差异修正类似,显示图像质量修正在右显示图像和左显示图像的随后的投影期间被使用。显示图像质量修正被用于修正显示图像不均匀性(例如,色带)。例如,如果校准图像被期望具有白色背景,则相关联的次级图像在顶部展示粉色色调并且在底部展示蓝色色调,然后,则显示图像质量修正可以被计算以使得如果被应用到校准图像,则将使背景均匀地白。类似上面讨论的差异修正,显示图像质量修正可以作为显示设备的一个或者多个本地温度的函数而被计算并且存储。

在92,显示设备的逻辑取回差异修正并且将差异修正提供给一个或者多个显微投影器16以用于右显示图像和左显示图像的随后的投影。在一些示例中,用来取回差异修正的逻辑被配置为在存储的差异修正之间插值以计算插值的差异修正。在94,显示设备的逻辑取回显示图像质量修正并且将显示图像质量修正提供给一个或者多个投影器以用于右显示图像和左显示图像的随后的修正。

图6中的任何方面都不应被解释为限制的意义,因为众多的变化、扩展以及省略被设想。例如,差异和/或者显示图像质量修正的温度依赖性不需要在每个实现方式中被评估。在一些示例中,显示系统逻辑可以计算温度不可知性差异修正。在一些示例中,温度不可知性修正可能对现状是足够的。在其他示例中,取决于温度的修正可以根据模型在运行时被估算。对模型的输入可以包括在不使用期间从间歇的自动校准得出的温度不可知性修正,以及在运行时被感测到的或者基于处理器负荷、功率消耗等而被预测的一个或者多个温度。

在一些实施例中,方法74可以按调度运行。显示系统逻辑可以响应于来自惯性的测量单元58的输出与对显示设备12的机械冲击一致来调度差异修正的计算。换言之,重新校准可以针对在使用间隔之后的对接间隔而被调度,在该对接间隔中显示设备被丢下或者扔下。在其他示例中,重新校准可以每当显示设备没被对接时,每第n次时等而被调度。在一些实施例中,在显示系统被对接时,针对眼成像相机32r和32l的差异修正可以在方法74中基于校准图案68的成像而被计算。除了前面提到的差异和显示图像质量修正之外,这样的修正可以被存储在显示设备的电子存储器中,并且在随后的眼成像期间被取回以及应用。

在一些实施例中,在这里描述的方法和过程可以被绑定到一个或者多个逻辑(例如,计算)设备的逻辑系统。特别地,这样的方法和过程可以被实现为计算机应用程序或者服务、应用编程接口(api)、库和/或其他计算机程序产品。

图1示意地示出了显示设备12的逻辑系统22的非限制的实施例,其可以制定上面描述的方法和过程中的一个或者多个方法和过程。对接单元14包括类似的逻辑系统22’。

逻辑系统22包括处理器24和电子存储器机器26。逻辑系统22可以被操作地耦合到显示子系统、输入子系统、通信子系统和/或图1中未示出的其他部件。逻辑系统22’包括处理器24’和电子存储器机器26’。

处理器24包括被配置为执行指令的一个或者多个物理设备。例如,处理器可以被配置为执行作为一个或者多个应用、服务、程序、例程、库、对象、部件、数据结构或其他逻辑构造的一部分的指令。这样的指令可以被实现以执行任务、实现数据类型、转换一个或者多个部件的状态、实现技术效果或以其他方式达到期望的结果。

处理器24可以包括被配置为执行软件指令的一个或者多个处理器。附加地或备选地,处理器可以包括被配置为执行硬件或固件指令的一个或者多个硬件或固件逻辑机器。逻辑系统22的处理器可以是单核或多核的,并且在其上被执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑系统的各个部件可选地可以被分布在两个或更多个分离的设备之间,这些设备可以远程被定位和/或被配置用于协同处理。逻辑系统的各方面可以由在云计算配置中被配置的远程可访问的、联网的计算设备虚拟化和执行。

电子存储器机器26包括一个或者多个物理设备,一个或者多个物理设备被配置为保持指令,这些指令由处理器24可执行以实现本文所描述的方法和过程。当这样的方法和过程被实现时,电子存储器机器26的状态可以被转换,例如,以保持不同的数据。

电子存储器机器26包括可移除和/或内置设备。电子存储器机器26可以包括半导体存储器(例如,ram、eprom、eeprom等)、和/或磁存储器(例如,硬盘驱动、软盘驱动、磁带驱动、mram等)以及其它的。电子存储器机器26可以包括易失性、非易失性、动态、静态、读/写、只读、随机访问、顺序访问、位置可寻址、文件可寻址和/或内容可寻址设备。

将领会到,电子存储器机器26包括一个或者多个物理设备。然而,本文所描述的指令的各方面备选地可以通过通信介质(例如,电磁信号、光信号等)而被传播,通信介质在有限的持续时间上未被物理设备持有。

处理器24和电子存储器机器26的各方面可以一起被集成到一个或者多个硬件逻辑部件中。这样的硬件逻辑部件可以包括例如现场可编程门阵列(fpga)、程序和应用专用集成电路(pasic/asic)、程序和应用专用标准产品(pssp/assp)、片上系统(soc)和复杂可编程逻辑器件(cpld)。

术语“模块”、“程序”和“引擎”可以被用来描述被实现为执行特定功能的逻辑系统22的方面。在一些情况下,模块、程序或引擎可以经由处理器24执行由电子存储器机器26存储的指令而被实例化。将理解,不同的模块、程序和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、api、函数等被实例化。同样,相同的模块、程序和/或引擎可以由不同的应用、服务、代码块、对象、例程、api、功能等实例化。术语“模块”、“程序”和“引擎”可以包括单个或一组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

将领会到,如本文中使用的,“服务”是跨多个用户会话可执行的应用程序。服务可以可用于一个或者多个系统部件、程序和/或其他服务。在一些实现中,服务可以在一个或者多个服务器计算设备上运行。

当被包括时,显示子系统可以被用来呈现由电子存储器机器26持有的数据的视觉表示。这一视觉表示可以采取图形用户界面(gui)的形式。当本文中描述的方法和过程改变由存储机器持有的数据并且因此转换存储机器的状态时,显示子系统的状态可以同样地被转换以可视地表示底层数据的变化。显示子系统可以包括实际上利用任何类型的技术的一个或者多个显示设备。这样的显示设备可以与共享外壳中的处理器24和/或电子存储器机器26被组合,或者这样的显示设备可以是外围显示设备。

当被包括时,输入子系统可以包括一个或者多个用户输入设备(诸如键盘、鼠标、触摸屏或游戏控制器)或与这些用户输入设备对接。在一些实施例中,输入子系统可以包括选择的自然用户输入(nui)部件或与该部件对接。这样的部件可以是集成的或外围的,并且输入动作的转换和/或处理可以在板上或板外被处理。示例nui部件可以包括用于语音和/或声音识别的麦克风;用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机;用于运动检测和/或意图识别的头部追踪器、眼追踪器、加速度计和/或陀螺仪。

当被包括时,通信子系统可以被配置为将逻辑系统22与一个或者多个其他计算设备通信地耦合。通信子系统可以包括与一个或者多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子系统可以被配置用于经由无线电话网络或者有线或无线局域网或广域网的通信。在一些实施例中,通信子系统可以允许逻辑系统22经由诸如因特网的网络向其他设备发送消息和/或从其他设备接收消息。

一种实现方式涉及一种自校准显示系统,其包括:立体近眼显示设备,具有一个或者多个耦合结构并且具有一个或者多个显微投影器,一个或者多个显微投影器被配置为投影右校准图像和左校准图像;具有一个或者多个互补的耦合结构的对接单元,每个互补的耦合结构可释放地可锁定到显示设备的耦合结构以防止显示设备相对于对接单元的移动;以及一个或者多个相机,其被配置为获得右校准图像的次级图像和左校准图像的次级图像。

在一些实现方式中,显示设备还包括用来使得一个或者多个显微投影器显示右校准图像和左校准图像的逻辑。在一些实现方式中,显示系统还包括用来基于右校准图像的次级图像和左校准图像的次级图像来计算差异修正的逻辑,差异修正被在右显示图像和左显示图像的随后的投影过程中将由一个或者多个显微投影器使用,从而使得右显示图像的每个像素以及左显示图像的相关联的像素以降低的竖直的差异并且以足够的水平的差异而被投影,以在预定的深度绘出立体地熔合的显示位点。在一些实现方式中,显示系统还包括被布置在显示设备中一个或者多个温度传感器;以及用来引起显示设备的温度的增加的逻辑,其中用来计算差异修正的逻辑被配置为针对显示设备的多个温度中的每个温度,将差异修正与一个或者多个温度传感器的输出相关联。

另一实现方式涉及一种自校准显示系统的立体近眼显示设备,显示设备包括一个或者多个耦合结构,每个耦合结构可释放地可锁定到对接单元的互补的耦合结构,并且被配置为防止显示设备相对于对接单元的移动;一个或者多个显微投影器,其被配置为投影右校准图像和左校准图像;次级图像接收器,其被配置为从对接单元接收右校准图像的次级图像和左校准图像的次级图像;用来在显示设备的电子的存储器中存储基于右校准图像的次级图像和左校准图像的次级图像的差异修正的逻辑,差异修正将由一个或者多个显微投影器在右显示图像和左显示图像的随后的投影期间使用,从而使得右显示图像的每个像素以及左显示图像的相关联的像素以降低的竖直的差异并且以足够的水平的差异而被投影,以在预定的深度绘出立体地熔合的显示位点;以及用来取回差异修正并且将差异修正提供给一个或者多个显微投影器以用于随后的投影的逻辑。

在一些实现方式中,显示设备还包括一个或者多个温度传感器;以及用来增加显示设备的温度的逻辑,其中用来存储差异修正的逻辑被配置为,针对显示设备的多个温度中的每一个温度,将差异修正与一个或者多个温度传感器的输出存储地相关联。在一些实现方式中,差异修正包括竖直差异修正和水平差异修正。在一些实现方式中,用来取回差异修正的逻辑被配置为在存储的差异修正之间插值以计算插值的差异修正。在一些实现方式中,一个或者多个耦合结构以及一个或者多个互补的耦合结构包括销钉和接纳销钉的外缩凹孔。在一些实现方式中,一个或者多个耦合结构以及一个或者多个互补的耦合结构包括磁铁。在一些实现方式中,右校准图像的次级图像和左校准图像的次级图像在数据中被编码,并且次级图像接收器是被配置为接收数据的数据链路。在一些实现方式中,右校准图像的次级图像是右校准图像的光学反射,其中左校准图像的次级图像是左校准图像的光学反射,并且其中次级图像接收器包括一个或者多个相机。在一些实现方式中,一个或者多个显微投影器包括分离的右显微投影器和左显微投影器。在一些实现方式中,显示设备还包括惯性测量单元以及用来响应于来自惯性测量单元的输出与对显示设备的机械冲击一致来调度差异修正的计算的逻辑。在一些实现方式中,显示设备还包括用来在显示设备的电子的存储器中存储基于右校准图像的次级图像以及左校准图像的次级图像的显示图像质量修正的逻辑,显示图像质量修正将在右显示图像和左显示图像的随后的投影期间被使用;以及用来取回显示图像质量修正的逻辑。

另一实现方式涉及自校准显示系统的对接单元,对接单元包括:一个或者多个耦合结构,每个耦合结构可释放地可锁定到立体近眼显示设备的互补的耦合结构并且被配置为防止显示设备相对于对接单元的移动;以及次级图像发送器,其被配置为向显示设备发送右校准图像的次级图像和左校准图像的次级图像;右校准图像的次级图像和左校准图像的次级图像从显示设备被接收。

在一些实现方式中,次级图像发送器包括一个或者多个相机。在一些实现方式中,对接单元还包括外壳,外壳被配置为在运输期间将显示设备包起来。在一些实现方式中,对接设备还包括对显示设备的电池充电的充电器。在一些实现方式中,当显示设备被耦合到对接单元时,对接单元还包括显示设备的一个或者多个眼成像相机可见的校准图案。

将理解,本文所描述的配置和/或方式本质上是示例性的,并且这些具体实施例或示例不被视为具有限制意义,因为许多变型是可能的。本文所描述的具体例程或方法可以表示任何数量的处理策略中的一个或者多个处理策略。这样,所示出和/或描述的各种动作可以按照所示出和/或描述的次序、以其他次序、并行地或省略地而被执行。同样,上述过程的顺序可以被改变。

本公开内容的主题内容包括本文所公开的各种过程、系统和配置以及其他特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合,以及它们的任何和所有等同物。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1