场顺序显示器中的场内子码时序的制作方法

本公开涉及随时间推移针对虚拟内容在不同几何位置处投射一个或多个颜色代码的场顺序显示系统，以及用于使用该场顺序显示系统生成混合现实体验内容的方法。

背景技术：

1、现代计算和显示技术已经促进了用于所谓的“虚拟现实”(vr)或“增强现实”(ar)体验的“混合现实”(mr)系统的发展，其中数字再现的图像或其一部分以它们似乎是真实的或可能被感知为真实的方式呈现给用户。vr场景通常涉及数字或虚拟图像信息的呈现，而对实际的真实世界视觉输入不具有透明性。ar场景通常涉及将数字或虚拟图像信息呈现为对用户周围真实世界的可视化(即，对真实世界视觉输入的透明性)的增强。因此，ar场景涉及数字或虚拟图像信息的呈现，并对真实世界的视觉输入具有透明性。

2、mr系统通常生成并显示颜色数据，其增加了mr场景的真实性。这些mr系统中的许多通过快速连续地投射与彩色图像相对应的不同(例如，基色)颜色或“场”(例如，红色、绿色和蓝色)的子图像来显示颜色数据。以足够高的速率(例如60hz，120hz等)投射彩色子图像可能会在用户的脑海中递送平滑的彩色mr场景。

3、各种光学系统在用于显示mr(vr和ar)场景的各种深度处生成包括彩色图像的图像。一些这样的光学系统在2014年11月27日提交的美国实用新型专利申请号14/555,585(代理人案卷号ml.20011.00)中进行了描述，其内容在此通过引用以其整体明确并完整地并入，仿佛完整阐述一样。

4、mr系统通常采用可佩戴显示装置(例如，头戴式显示器、头盔式显示器或智能眼镜)，其至少松散地耦合到用户的头部，并因此在用户的头部移动时移动。如果显示装置检测到用户的头部运动，则可以更新正在显示的数据，以考虑到头部姿势(即用户头部的方位和/或位置)的变化。位置的变化对场顺序显示技术提出了挑战。

技术实现思路

1、本文所描述的是改善旨在投射静止图像的经受运动的场顺序显示器的图像质量的技能和技术。

2、作为示例，如果佩戴头戴式显示装置的用户观看显示器上的虚拟对象的虚拟表示并在虚拟对象出现的区域周围行走，则可以针对每个视点渲染虚拟对象，从而给用户他们正在绕着与真实空间共享一种关系而不是与显示表面的一种关系的对象行走的感觉。然而，用户头部姿势的变化会改变，并且要维持从动态显示系统进行的静态图像投射，需要调整场顺序投射器的时序。

3、常规的场顺序显示器可以以指定的时间顺序投射用于单个图像帧的颜色，并且当在静态显示器上观看时，场之间的时间差不会被注意到。例如，第一次显示的红色像素和10毫秒后显示的蓝色像素将看起来重叠，因为像素的几何位置在可识别的时间量内没有变化。

4、然而，在诸如头戴式显示器的移动投射器中，以相同的10毫秒间隔进行的运动可能对应于旨在重叠的红色像素和蓝色像素的值得注意的偏移。

5、在一些实施例中，在场顺序内扭曲单个图像的颜色可以改善图像的感知，因为每帧将基于头部姿势变化中给定时间的场的适当视角。在美国专利申请号15/924,078中描述了用于实现该解决方案的此类方法和系统。

6、除了为校正场顺序显示器中的一般头部姿势变化而应发生的特定场扭曲之外，还应调整给定场的子码本身，以适当地传达代表预期颜色的丰富图像。

7、在一个实施例中，一种用于扭曲多场颜色虚拟内容以进行顺序投射的计算机实现的方法包括获取具有不同的第一颜色和第二颜色的第一色场和第二色场。该方法还包括确定用于投射扭曲的第一色场的第一时间。该方法还包括预测对应于第一时间的第一姿势。对于第一色场中的第一颜色中的每一种颜色，该方法包括：(a)识别表示第一色场中的第一颜色中的该一种颜色的输入；(b)将输入重新配置为创建多个每场输入的一系列脉冲；以及(c)基于第一姿势扭曲一系列脉冲中的每一个。该方法还包括基于扭曲的一系列脉冲生成扭曲的第一色场。另外，该方法包括基于扭曲的一系列脉冲激活顺序显示器上的像素，以显示扭曲的第一色场。

8、在一个或多个实施例中，一系列脉冲包括以第一时间为中心的中心脉冲，在中心脉冲之前出现的第二脉冲和在中心脉冲之后出现的第三脉冲。第二脉冲的衰减阶段的结束与中心脉冲的增长阶段的开始在时间上对准，并且第三脉冲的增长阶段的开始与中心脉冲的衰减阶段的结束在时间上对准。中心脉冲的形心在第一时间出现，第二脉冲的形心在第一时间之前的第二时间出现，以及第三脉冲的形心在第一时间之后的第三时间出现。在一些实施例中，第一时间和第二时间之间的差等于第一时间和第三时间之间的差。在一些实施例中，中心脉冲包括各自具有第一持续时间的第一时隙组，第二脉冲和第三脉冲包括各自具有大于第一持续时间的第二持续时间的第二时隙组。在第一时隙组或第二时隙组的子集期间激活顺序显示器上的像素。在一些实施例中，在中心脉冲的时隙期间，根据与第一色场中的第一颜色之中的该一种颜色相关联的色码，激活顺序显示器上的像素。在各种实施例中，在第二脉冲中的时隙和第三脉冲中的对应时隙中激活顺序显示器上的像素。

9、在一个或多个实施例中，该方法还可以包括确定用于投射扭曲的第二色场的第二时间。该方法可以进一步包括预测对应于第二时间的第二姿势。对于第二色场中的第二颜色之中的每一种颜色，该方法可以包括：(a)识别表示第二色场中的第二颜色之中的一种颜色的输入；(b)将输入重新配置为创建多个每场输入的一系列脉冲；(c)基于第二姿势扭曲该一系列脉冲中的每一个。该方法还可以包括基于扭曲的一系列脉冲生成扭曲的第二色场。另外，该方法可以包括基于扭曲的一系列脉冲激活顺序显示器上的像素，以基于扭曲的一系列脉冲显示扭曲的第二色场。

10、在另一实施例中，一种用于扭曲多场彩色虚拟内容以进行顺序投射的系统包括：扭曲单元，该扭曲单元接收具有不同的第一颜色和第二颜色的第一色场和第二色场，以用于顺序投射。扭曲单元包括姿势估计器，该姿势估计器确定用于投射扭曲的第一色场的第一时间并预测对应于该第一时间的第一姿势。扭曲单元还包括变换单元，对于第一色场中的第一颜色之中的每种颜色，该变换单元：(a)识别表示第一色场中的第一颜色之中的该一种颜色的输入；(b)将输入重新配置为创建多个每场输入的一系列脉冲；(c)基于第一姿势扭曲该一系列脉冲中的每一个。变换单元还被配置为基于扭曲的一系列脉冲生成扭曲的第一色场。变换单元还被配置为基于扭曲的一些列脉冲激活顺序显示器上的像素，以显示扭曲的第一色场。

11、在又一实施例中，一种计算机程序产品体现在非暂时性计算机可读介质中，该计算机可读介质上存储有一系列指令，这些指令在由处理器执行时，使处理器执行用于扭曲多场彩色虚拟内容以进行顺序投射的方法。该方法包括获取具有不同的第一颜色和第二颜色的第一色场和第二色场。该方法还包括确定用于投射扭曲的第一色场的第一时间。该方法还包括预测对应于第一时间的第一姿势。对于第一色场中的第一颜色之中的每一种颜色，该方法包括：(a)识别表示第一色场中的第一颜色之中的一种颜色的输入；(b)将输入重新配置为一系列脉冲，以创建多个每场输入；(c)基于第一姿势扭曲一系列脉冲中的每一个。该方法还包括基于扭曲的一系列脉冲生成扭曲的第一色场。另外，该方法包括基于扭曲的一系列脉冲激活顺序显示器上的像素，以显示扭曲的第一色场。

12、在一个实施例中，一种用于扭曲多场彩色虚拟内容以进行顺序投射的计算机实现的方法包括获取具有不同的第一颜色和第二颜色的第一色场和第二色场。该方法还包括确定用于投射扭曲的第一色场的第一时间。该方法还包括确定用于投射扭曲的第二色场的第二时间。此外，该方法包括预测第一时间处的第一姿势并预测第二时间处的第二姿势。另外，该方法包括通过基于第一姿势扭曲第一色场来生成扭曲的第一色场。该方法还包括通过基于第二姿势扭曲第二色场来生成扭曲的第二色场。

13、在一个或多个实施例中，第一色场包括位于x、y位置处的第一色场信息。第一色场信息可以包括第一颜色的第一亮度。第二色场包括位于x、y位置处的第二图像信息。第二色场信息可以包括第二颜色的第二亮度。

14、在一个或多个实施例中，扭曲的第一色场包括位于第一扭曲x、y位置处的扭曲的第一色场信息。扭曲的第二色场包括位于第二扭曲x、y位置处的扭曲的第二色场信息。基于第一姿势对于第一色场进行扭曲可以包括将第一变换应用于第一色场以生成扭曲的第一色场。基于第二姿势对于第二色场进行扭曲可以包括将第二变换应用于第二色场以生成扭曲的第二色场。

15、在一个或多个实施例中，该方法还包括将扭曲的第一和第二色场发送到顺序投射器，并且该顺序投射器顺序地投射扭曲的第一色场和扭曲的第二色场。可以在第一时间投射扭曲的第一色场，并且可以在第二时间投射扭曲的第二色场。

16、在另一实施例中，一种用于扭曲多场彩色虚拟内容以进行顺序投射的系统，包括：扭曲单元，该扭曲单元用于接收具有不同的第一颜色和第二颜色的第一色场和第二色场，以进行顺序投射。扭曲单元包括姿势估计器，该姿势估计器确定用于投射相应的扭曲的第一和第二色场的第一和第二时间，并且预测相应的第一和第二时间处的第一和第二姿势。扭曲单元还包括变换单元，该变换单元通过基于相应的第一和第二姿势扭曲相应的第一和第二色场来生成扭曲的第一和第二色场。

17、在又一个实施例中，一种实施在非瞬态计算机可读介质中的计算机程序产品，该计算机可读介质上存储有指令序列，当由处理器执行指令序列时使处理器执行用于扭曲多场彩色虚拟内容以进行顺序投射的方法。该方法包括获取具有不同的第一和第二颜色的第一和第二色场。该方法还包括确定用于投射扭曲的第一色场的第一时间。该方法还包括确定用于投射扭曲的第二色场的第二时间。此外，该方法包括预测第一时间处的第一姿势并预测第二时间处的第二姿势。另外，该方法包括通过基于第一姿势扭曲第一色场来生成扭曲的第一色场。该方法还包括通过基于第二姿势扭曲第二色场来生成扭曲的第二色场。

18、在又一实施例中，一种用于扭曲多场彩色虚拟内容以进行顺次投射的计算机实现的方法包括获取应用帧和应用姿势。该方法还包括估计第一估计显示时间处应用帧的第一扭曲的第一姿势。该方法还包括使用应用姿势和估计的第一姿势执行应用帧的第一扭曲以生成第一扭曲帧。此外，该方法包括估计第二估计显示时间处第一扭曲帧的第二扭曲的第二姿势。另外，该方法包括使用估计的第二姿势执行第一扭曲帧的第二扭曲以生成第二扭曲帧。

19、在一个或多个实施例中，该方法包括在约第二估计显示时间处显示第二扭曲帧。该方法还可以包括估计第三估计显示时间处的第一扭曲帧的第三扭曲的第三姿势，并且使用估计的第三姿势来执行第一扭曲帧的第三扭曲以生成第三扭曲帧。第三估计显示时间可以晚于第二估计显示时间。该方法还可以包括在约第三估计显示时间处显示第三扭曲帧。

20、在另一实施例中，一种用于最小化颜色分离(“cbu”)伪像的计算机实现方法包括基于接收到的眼睛或头部跟踪信息来预测cbu伪像，该方法还包括基于预测的cbu伪像来增加色场速率。

21、在一个或多个实施例中，该方法包括基于接收到的眼睛或头部跟踪信息和增加的色场速率来预测第二cbu，并且基于预测的第二cbu伪像来减小位深度。该方法还可以包括使用增加的色场速率和减小的位深度来显示图像。方法还可以包括使用增加的色场速率来显示图像。

22、在详细的描述、附图和权利要求中描述了本公开的附加以及其他的目的、特征和优点。