为近眼光场显示器生成图像的系统、方法和计算机程序产品的制作方法
【技术领域】
[0001] 本发明涉及生成图像，并且更具体地涉及为近眼光场显示器生成图像。
【背景技术】
[0002] 近眼显示器（NEDs)包括可以直接向观察者眼睛内投射图像的头戴显示器 (HMDs)。这种显示器可以通过合成虚拟大画幅显示表面克服由其它移动显示器形状因数提 供的有限屏幕尺寸，或者可以用于虚拟或增强现实应用。一种类型的NED是可以实施为瘦 轻量级头戴显示器的近眼光场显示器，其包括一对配置在观察者眼睛之间的微透镜和一对 对应的微显示器。这种近眼光场显示器能够合成与观察者自然调节范围内的虚拟对象对应 的光场。
[0003] 使用近眼光场显示器观察到的图像包括基本图像阵列，其中每个基本图像与微透 镜阵列中的一个微透镜对应。因此，由微显示器显示的图像与由常规显示装置显示的图像 相比非常不同。所以，为常规二维显示装置和立体显示装置（例如，3DTV)开发的内容（例 如，图像、电影和视频游戏）不能直接使用近眼光场显示器显示。因而，需要解决该问题和 /或其他与现有技术相关的问题。
【发明内容】
[0004] 提供一种系统、方法和计算机程序产品，用于为近眼光场显示器生成图像。由微显 示器和的像素和近眼光场显示设备的光学装置限定的射线被识别，并且该射线与二维虚拟 显示平面相交以生成与像素对应的映射坐标。像素的颜色基于映射坐标计算。近眼光场显 示器设备的光学装置可以例如位于观察者之间的微透镜阵列的微透镜和与观察者相关的 与观察者相关的发射微显示器或位于透射式微显示器之后的点光阵列的点光。
【附图说明】
[0005] 图1示出根据一实施例的用于为近眼光场显示器生成图像的方法的流程图；
[0006] 图2A示出根据一实施例的观察者的眼睛和近眼光场显示器；
[0007] 图2B示出根据一实施例的双眼近眼光场显示器；
[0008] 图2C示出根据一实施例的另一双眼近眼光场显示器；
[0009] 图3A示出根据一实施例的待处理的用于由近眼光场显示器显示的现有图像；
[0010] 图3B示出根据一实施例的包括与每个微透镜对应的基本图像的微显示图像；
[0011] 图3C示出根据一实施例的从微透镜阵列观察到的图3B的微显示图像；
[0012] 图3D示出根据一实施例的生成的没有抗锯齿的基本图像和生成的具有抗锯齿的 基本图像；
[0013] 图3E示出根据一实施例的待处理用于由近眼光场显示器显示的现有图像；
[0014] 图3F示出根据一实施例的包括与点光阵列中的每一点光对应的基本图像的微显 示图像；
[0015] 图4示出根据一实施例的并行处理单元；
[0016] 图5A示出根据一实施例的图4并行处理单元的一般处理簇；
[0017] 图5B示出根据一实施例的图4并行处理单元的分区单元；
[0018] 图6A示出根据一实施例的图5A的流式多处理器；
[0019] 图6B示出根据一实施例的用于为图2A、图2B和图2C的近眼光场显示设备生成图 像的方法的流程图；
[0020] 图7示出在其中可以实施先前各实施例的各种架构和/或功能的示例性计算机系 统。
【具体实施方式】
[0021] 现在详细参考本公开的各个实施例、其示例在附图中示出。尽管结合这些实施例 描述，但是，可以理解的是，它们并不意欲将本公开限制在这些实施例。相反，本公开旨在覆 盖如所附权利要求限定的包括在本公开精神和范围内的替换、变形和等同。而且，在下述本 公开的详细描述中，给出大量具体细节以提供对本公开的透彻理解。然而，应该理解的是， 本公开可以脱离这些具体细节实现。另一方面，众所周知的方法、程序、组件和电路不必详 细描述，以便不会不必要地模糊本公开的方面。
[0022] 以下详细描述的一部分以在计算机存储器内的数据位上的程序、逻辑块、处理和 其它表征运算的符号方式存在。这些描述和表征是数据处理领域技术人员用于最有效地向 其它技术领域的技术人员传达他们工作的实质的方法。在本申请中，程序、逻辑块、处理或 类似的构思为导致期望结果前后一致的步骤或指令序列。所述步骤是那些使用物理量的物 理操纵。通常，尽管不必要，这些量表现为能够进行存储、转移、组合、比较以及计算系统内 其它操作的电信号或磁信号。已经证明有时出于方便，原则上是习惯用语原因，称这些信号 为事务、位、值、元素、符号、特征、样本、像素或类似的。
[0023]然而，应该在心里意识到，所有这些和类似的术语是与适当的物理量相关联的，并 且仅仅是应用于这些量的方便的标签。除非以明显不同于下述讨论的方式专门申明，应该 明白的是整个本公开中，讨论所使用的诸如"显示"、"生成"、"产生"、"计算"、"确定"、"辐 射"、"发射"、"衰减"、"调制"、"传输"、"接收"或类似的术语，指的是计算机系统或类似的 电子计算设备或处理器（例如图7的计算机系统710)的动作和处理（例如图1的流程图 100)。所述计算机系统或类似的电子计算设备在计算机系统存储器、寄存器或其它这种信 息存储、传输或显示设备内操作和变换表示物理（电子）量的数据。
[0024]本文描述的实施例可以在由一个或多个计算机或其它设备执行的、诸如程序模块 的在某种形式的计算机可读存储介质存在的计算机可执行指令的一般上下文内讨论。作为 非限制性示例，计算机可读存储介质可包括非暂时性计算机存储介质和通信介质；非暂时 性计算机可读介质包括所有计算机可读介质，除了暂时性传播信号以外。一般而言，程序模 块包括执行特定任务或实现特定抽象数据类型的路径、程序、对象、组件、数据结构等。所述 程序模块的功能可以在各个实施例中按期望组合或分配。
[0025]计算机存储介质包括以任何诸如计算机可读指令、数据结构、程序模块或其它 数据的信息的存储方法或技术实现的易失性的和非易失性的、可移动的和不可移动介 质。计算机存储介质包括但不限于随机存取存储器（RAM)、只读存储器（ROM)、电可擦除 ROM (EEPR0M)、闪存存储器或其它存储器技术，紧致盘ROM (CD-ROM)、数字通用磁盘（DVD)或 其它光学贮存器、磁带盒、磁带、磁盘存储器或其它磁性存储设备或任何其它可用于存储期 望的信息并可访问以取回所述信息的介质。
[0026]通信介质可体现为计算机可执行的指令、数据结构和程序模块，并包括任何信息 传递介质。作为非限制性示例，通信介质包括诸如有线网络或直接线缆连接的有线介质和 诸如声波、射频（RF)、红外和其它无线介质的无线介质。上述任一的组合也包括在计算机可 读介质的范围内。
[0027]近眼光场显示器允许穿戴眼镜类装置的用户观察出现在用户调节幅度内的合成 图像。
[0028]如上所示，近眼光场显示器使薄的轻量级头戴显示器（HMD)能够呈现基本正确的 收敛、调节、双眼视差和视网膜失焦深度线索。近眼光场显示设备位于靠近用户眼镜的位 置，比用户调节幅度限定的近焦平面更近。通常，位于比近焦平面更近位置的对象显得模 糊。然而，使用近眼光场显示设备显示的图像可以向观察者清晰显示。当与用户自然调节 范围内的虚拟对象对应的光场被合成时，清晰图像可由近眼光场显示设备描绘。当由近眼 光场显示设备显示时，仅仅显示现有的适合意欲通过常规显示设备显示的二维的单视场、 立体和多视场内容不能产生清晰图像。
[0029]因此，现有的适合通过常规显示设备显示的二维单视场、立体和多视场内容应进 行处理以生成图像，用于通过近眼光场显示设备显示。期望显示的现有图像可以被处理以 生成包括基本图像阵列的处理的图像。每个基本图像是期望的现有图像，该期望的现有图 像与在微透镜阵列内的一个微透镜对应，用户通过该微透镜观察处理的图像。当通过微透 镜阵列观察处理的图像时，用户看到期望的现有图像映射到用户自然调节范围内的虚拟现 实平面。当使用基于点光的近眼光场显示设备时，每个基本图像是与点光阵列内的一个点 光对应的期望的现有图像的视角。用户通过编码处理的图像的透射式显示层（即，由电管 阵列生成的光射线通过该显示层投影）观察点光阵列。当通过位于点光阵列前方的透射式 显示层观察处理的图像时，用户看到映射到用户自然调节幅度内的虚拟显示平面的期望的 现有图像。
[0030] 图1示出根据一实施例，用于为近眼光场显示设备生成图像的方法100的流程图。 在一实施例中，图1示出的步骤可以通过配置为执行图形着色程序的处理器实施。在步骤 105,由微显示器的像素和近眼光场显示设备的光学装置限定的射线被识别。在下述描述的 上下文中，微显示器是诸如IXD (液晶显示）面板的背光透射式显示器，或诸如0LED (有机 发光二极管）面板或晶片的的发射式显示器。近眼光场显示设备包括微显示器。
[0031] 在一实施例中，微显示器是配置为通过二维微透镜阵列观察的发射式显示器，其 中每个微透镜是光学装置，其与微显示器的像素相结合可以限定步骤105的射线的。在下 述描述的上下文中，微透镜阵列是包括至少两个微透镜的二维阵列。在一实施例中，近眼光 场显示设备具体化为包括两个微显示器和两个微透镜阵列以形成双眼近眼光场显示设备 的眼镜形状因子，其中第一微显示器和微透镜阵列组与用户的左眼相关，第二微显示器和 微透镜阵列组与用户的右眼相关。
[0032]在另一实施例中，微显示器是位于观察者和二维点光阵列之间的透射式（即，可 变的不透明度和颜色，能够变得基本透明）显示器，其中每个点光是光学装置。点光阵列通 过微显示器观察。步骤105的射线由微显示器的像素和点光阵列中的点光限定。
[0033] 在一实施例中，近眼光场显示器实施为张量显示（tensor display)，例如，如同 由 2012 年 7 月的 ACM Transactions on Graphics SIGGRAPH 2012 会议集，第 31 卷第 4 篇，Wetzstein 等人的 "Tensor Displays: Compressive Light Field Synthesis Using Multilayer Displays with Directional Backlighting," 的描述。显不组件可以包括微 显示器和光学装置，其中光学装置可以包括一个或多个微透镜，一个或多个点光、一个或多 个小孔（pinholes)或者一个或多个包括在张量显示组件中的透射式层。
[0034] 在步骤110,该射线与二维虚拟显示平面相交以生成与该像素对应的映射坐标。在 本说明书的上下文中，虚拟显示平面是在观察者近焦平面或后方显示的虚拟平面。在一实 施例中，虚拟显示平面在远离出现在观察者焦点之外的对象的远端平面之前。
[0035] 在步骤115中，基于映射坐标计算像素的颜色。在一实施例中，映射坐标对应于 存储现有图像的纹理图。在一实施例中，存储为纹理图的现有图像可以预处理以生成抗