三维虚拟和增强现实显示系统的制作方法
【专利摘要】一种系统可以包括：选择性透明的投射装置，用于将图像从空间中相对于观察者眼睛的投射装置位置朝向观察者的眼睛投射，该投射装置能够在没有图像被投射时呈现基本透明的状态；遮挡掩模装置，其耦合到投射装置，并且被配置成以与投射装置投射的图像相关的遮挡图案，选择性地阻挡从处于投射装置的与观察者的眼睛相反的一侧的一个或多个位置朝向眼睛传播的光；以及波带片衍射图装置，其被置于观察者的眼睛和投射装置之间，并且被配置成使来自投射装置的光在其向眼睛传播时穿过具有可选择的几何结构的衍射图。
【专利说明】三维虚拟和增强现实显示系统
[0001] 相关申请数据
[0002] 本申请根据35U. S. C. § 119要求于2011年11月23日提交的美国临时申请序列 号61/563, 403的优先权。特此通过引用将前述申请的全部内容结合到本申请中。
【技术领域】
[0003] 本发明涉及虚拟现实和增强现实成像和可视化系统。
【背景技术】
[0004] 为了让3D显示产生真实的深度感觉、并且更具体地产生模拟的表面深度的感 觉，合乎期望的是，对于所述显示的视野中的每一点生成与其虚拟深度相对应的调节反应 (accommodative response)。如果对显示点的调节反应不与通过会聚的双目深度线索和立 体视觉确定出的该点的虚拟深度相对应，则人眼可能会经历调节冲突，从而导致不稳定成 像、有害的眼疲劳、头疼，并且在没有调节信息的情况下会导致表面深度几乎完全缺失。参 考图1，通过用户所处的现实内的实际物体的用户视野（例如包括公园环境中的混凝土台 座物体（1120)的景观项目）、以及被加入该视野中以产生"增强"现实视野的虚拟物体视 野，来描绘增强现实情景（8);在此，机器人雕像（1110)被虚拟地显示为站在该台座物体 (1120)上，并且蜜蜂角色（2)被显示为飞翔在靠近用户头部的空中。优选地，增强现实系统 是有3-D能力的，在这种情况下它向用户提供以下感觉：雕像（1110)站在台座（1120)上， 并且蜜蜂角色（2)在靠近用户头部的位置飞翔。这种感觉可以通过利用向用户的眼睛和大 脑提供的以下视觉调节线索而得到极大增强：虚拟物体（2, 1110)具有不同的聚焦深度，并 且针对机器人雕像（1110)的聚焦深度或焦点半径大约与台座（1120)相同。诸如图2中所 示之类的传统的立体3-D模拟显示系统一般具有两个显示（74, 76)，这两个显示各自针对 一只眼睛，具有固定的径向焦距（10)。如上所述，这种传统技术漏掉了由人眼和人脑用来检 测和解释三维中的深度的许多有价值线索，包括与下述相关联的调节线索：眼睛在眼睛复 合体内重新定位晶状体以便用眼睛达到不同的聚焦深度。存在着对调节精确的显示系统的 需要，所述调节精确的显示系统考虑了人眼/人脑的图像处理复杂过程的调节方面。
【发明内容】
[0005] -个实施例涉及三维图像可视化系统，包括：选择性透明的投射装置，用于将图像 从空间中相对于观察者眼睛的投射装置位置朝向观察者的眼睛投射，该投射装置能够在没 有图像被投射时呈现基本透明的状态；遮挡掩模装置，其耦合到投射装置，并且被配置成以 与投射装置投射的图像相关的遮挡图案，选择性地阻挡从处于投射装置的与观察者的眼睛 相反的一侧的一个或多个位置朝向眼睛传播的光；以及波带片衍射图装置，其被置于观察 者的眼睛和投射装置之间，并且被配置成使来自投射装置的光在其向眼睛传播时穿过具有 可选择的几何结构的衍射图，并且以至少部分地基于衍射图的可选择的几何结构而模拟出 的距离眼睛的焦距进入眼睛。系统还可以包括：控制器，其可操作地耦合到投射装置、遮挡 掩模装置和波带片衍射图装置，并且被配置成协调以下操作：图像和相关联的遮挡图案的 投射、以及以可选择的几何结构插入衍射图。控制器可以包括微处理器。投射装置可以包 括：基本上平面的透明数字显示器，其基本上占据显示平面。显示平面可以被定向为与观 察者的眼睛的视轴基本垂直。基本上平面的透明数字显示器可以包括液晶显示器。基本上 平面的透明数字显示器可以包括有机发光二极管显示器。投射装置可以配置成将图像以准 直形式朝向眼睛投射，使得对于观察者眼睛的聚焦深度是无穷大的聚焦深度。投射装置可 以包括：高速迷你投射仪，其被f禹合到衬底引导型延迟出射光瞳扩展器（substrate-guided delay exit pupil expander)装置，该衬底引导型延迟出射光瞳扩展器装置被配置成在向 观察者的眼睛递送图像之前扩展图像的尺寸。迷你投射仪可以安装成基本上垂直于观察者 眼睛的视轴，并且其中衬底引导型延迟出射光瞳扩展器装置被配置成从迷你投射仪接收图 像，并将图像递送到波带片衍射图装置，并以基本上与眼睛的视轴对准的方向以扩展后的 尺寸将图像递送到观察者的眼睛。波带片衍射图装置和投射装置可以包括至少一个共有结 构。波带片衍射图装置可以被集成到波导中，使得投射装置包括高速迷你投射仪，该高速迷 你投射仪被耦合到波导并且配置成在图像去往观察者眼睛的途中在离开波导之前使图像 穿过衍射图。迷你投射仪可以安装成基本上垂直于观察者眼睛的视轴，并且波导可以配置 成从迷你投射仪接收图像，并以基本上与眼睛的视轴对准的方向以扩展后的尺寸将图像递 送到观察者的眼睛。遮挡掩模装置可以包括显示器，该显示器被配置成取决于在显示器的 多个部分中的每个部分遮挡或透过光的相关命令，在每个部分处遮挡或透过光。遮挡掩模 装置可以包括一个或多个液晶显示器。波带片衍射图装置可以包括：高频二进制显示器，其 被配置成取决于在显示器的多个部分中的每个部分遮挡或透过光的相关命令，在每个部分 处遮挡或透过光。波带片衍射图装置可以具有大约500Hz和大约2, OOOHz之间的刷新速率。 波带片衍射图装置可以具有大约720Hz的刷新速率。控制器可以配置成以每秒大约30到 大约60帧之间的速率来操作投射装置和遮挡掩模装置，并且操作波带片衍射图装置以便 为投射装置和遮挡掩模装置的每个帧数字地显示多至约12个不同的衍射图。投射装置、遮 挡掩模装置和波带片衍射图装置可以共同包括用于观察者的一只眼睛的成像模块，并且系 统还可以包括用于观察者的另一只眼睛的第二成像模块。
【专利附图】
【附图说明】
[0006] 图1描绘具有特定虚拟现实对象以及人观察到的特定实际现实对象的增强现实 情景的图解。
[0007] 图2示出传统的立体视觉系统以模拟针对用户的三维成像。
[0008] 图3A和3B示出调节精确的显示配置的若干方面。
[0009] 图4A-4C示出曲率半径和焦点半径（focal radius)之间的关系。
[0010] 图5-6C示出应用于所述配置的衍射光栅的若干方面。
[0011] 图7A-7C示出三个不同的焦点机制（focal mechanism)。
[0012] 图7D示出菲涅耳波带片。
[0013] 图8A-8C示出衍射系统聚焦问题的各个方面。
[0014] 图9不出具有嵌入的衍射光栅的波导的一个实施例。
[0015] 图10不出具有嵌入的衍射光栅的波导的一个实施例，所述嵌入的衍射光栅被设 计成允许一个模式逃逸并允许其他模式保持被捕获在波导中。
[0016] 图11A-11B示出衍射成像模块实施例的若干方面。
[0017] 图12A-12B示出衍射成像模块实施例的若干方面。
[0018] 图13A-13B示出衍射成像模块实施例的若干方面。
【具体实施方式】
[0019] 参考图3A和3B，其描绘AAD系统的各个方面。参考图3A，一个简单的图解示出： 代替立体视觉（图2)中的两个传统显示，可以利用两个复杂图像来向每只眼睛提供在感知 图像内分层的三维深度的感觉，所述两个复杂图像各自对应一只眼睛，针对每个图像的不 同方面（14)具有不同的径向焦点深度（12)。
[0020] 参考图3B，我们已经确定：典型的人眼能够基于径向距离解释大约12层深度（图 3B中的层L1-L12-附图标记16)。大约0. 25米的近场限制（78)是大约最近的焦点深度； 大约3米的远场限制（80)意味着：比距离人眼约3米更远的任何条目接收无限的焦点。随 着离眼睛越近，焦点的层变得越来越薄；换言之，眼睛能够感觉到相对靠近眼睛的非常小的 焦距差别，并且这种效果随着对象离眼睛越远而消散，如图3B中所示。附图标记82示出： 在无限的对象位置，焦点深度/屈光间隔值大约是1/3屈光度。另一个描述图3B的意义的 方式：在用户眼睛和无限远之间有大约12个焦平面。可以利用这些焦平面以及所描绘的关 系内的数据来定位供用户观察的增强现实情景内的虚拟元素，因为人眼不断地扫过四周来 利用焦平面感觉深度。
[0021] 参考图4A-4C，如果K(R)是用于等于1/R的曲率的动态参数，其中R是一个条目相 对于一个表面的焦点半径，则随着增长的半径（R3,到R2,直到R1)，你会具有减小的K(R)。 由点产生的光场具有球形曲率，其是该点距离用户眼睛有多远的函数。这种关系也可以被 用于ADD系统。
[0022] 参考图3,其示出传统的衍射光栅（22)，其中光以角度（Θ-20)穿过光栅间距 (18)，通过使用下面的等式，所述角度与衍射级（η)、空间频率和等于Ι/d的K因子有关： d*sin( Θ ) = η*波长（或者可替换地，代入K因子，sin( Θ ) = η*波长*K)。图6A-6C示 出：在衍射图（22, 24, 26)中随着间距（18, 28, 30)的减少，角度（20, 32, 34)变大。
[0023] 参考图5,其描绘3个不同的聚焦机制一通过透镜（36)折射，用曲面镜（38)反射， 以及用菲涅耳波带片（40)衍射，其也如图7D(40)中所示。
[0024] 参考图8A，一个简化版本的衍射被示出以说明：N = -1模式可以对应于虚拟图像； N = +1模式可以对应于真实图像，而N = 0模式可以对应于在无穷远聚焦的图像。这些图 像对于人眼和人脑来说可能会是混乱的，并且如果如图8B中所示这些图像全部聚焦在轴 上则是特别有问题的。参考图8C，离轴焦点配置可以被用来允许不想要的模式/图像被阻 挡。例如，准直的（r=无穷远）图像可以通过N = 0模式形成；发散的虚拟图像可以通过 N = -1模式形成；并且收敛的图像可以通过N = +1模式形成。这些模式/图像的空间位 置及其轨迹的差别允许过滤掉或者分离开从而防止前述与衍射成像相关联的问题，例如叠 盖（overlaying)、重影和"多重曝光"的感觉效果。
[0025] 参考图8,其示出具有嵌入的衍射光栅的波导；这样的波导例如可从诸如英国伦 敦的BAE系统PLC之类的供应商获得，并且这样的波导可以被用来如图所示从图9的左边 引入图像，使该图像穿过嵌入的衍射光栅（44)，并使作为结果而得到的图像以一角度穿出 (在图9中，例如，穿过波导的侧面）。因此，重定向和衍射的双重使用可以用这样的元件来 实现。实际上，离轴聚焦技术（例如参考图8C所述的那些）可以与例如图9中所示的衍射 波导元件结合以产生例如图10中所示的配置，其中不仅完成了重定向和衍射，而且还完成 了过滤，因为在所描绘的实施例中衍射波导的几何结构使得N =-1模式（即虚拟图像）被 传递出波导并传递到用户的眼睛中，并且其他两种模式（N = 0和N =+1)通过反射被捕获 在波导内部。
[0026] 参考图11A-13C，前述的概念由各种增强现实显示配置付诸实践。
[0027] 参考图11A，AAD系统包括位于用户借以观察世界的每只眼睛（4, 6)前方的成像模 块（46, 48)。图11B示出模块（46)的更大视图，模块（46)具有其关联的（经由所描绘的电 子控制导线耦合；导线也可以是无线的）控制器（66)，该控制器（66)可以是微处理器、微 控制器、现场可编程门阵列（FPGA)、专用集成电路（ASIC)等等。优选地，控制器被耦合到 电源以及诸如无线互联网或蓝牙适配器之类的信息交换装置，以便允许外部世界和控制器 (66)之间的信息交换。该系统可以配置成以一定的图像刷新速率（例如每秒30和60帧 之间的速率）来操作。控制器可以配置成操作高刷新速率数字高分辨率显示器（52)(例如 铁流体、蓝相或bent-corr显示器）以便连续快速地显示与大约12个深度层中的每一层有 关的不同波带片几何结构。例如，在期望每秒60帧的总体性能的实施例中，波带片显示器 (52)可以以12乘以该速率所得的速率或720Hz操作，以便能够向图3B中所示的12个深度 层中的每一层提供模拟的调节。遮挡掩模（occluding mask)显示器（54)被配置成显示在 几何结构上与在其之前在透明投射层（56)上显示的图像相对应的遮蔽图像（blacked out image)-被遮蔽掉从而防止来自阻挡掩模显示器另一侧的光渗透或者干扰投射层（56)中 的期望的虚拟或增强图像的显示。因此，如图所示，在增强显示配置中，来自真实背景的光 穿过遮挡掩模（54)的非掩蔽部分，穿过透明投射层（56)的透明（即，不传播图像的一部 分）部分，然后进入波带片层（52)以用于调节处理；在投射层（56)处投射的图像在遮挡层 (54)处接收来自背景光的掩模遮挡，并且被向前投射到波带片层（52)中以用于调节处理。 这些或者针对用户的增强现实的关联感觉的结合非常接近"真实3D"。
[0028] 图12A-12B描绘另一个实施例，在该实施例中，成像模块（58)包括以大约垂直于 眼睛的视轴的角度定向的高分辨率迷你投射仪；包括衬底引导型延迟出射光瞳扩展器装 置（70)的波导放大来自小型迷你投射仪的图像并将其重定向到波带片层（52)中；遮挡层 (54)提供类似的掩蔽功能以保护被投射图像的感觉不受背景照明的影响。
[0029] 图13A-13B描绘另一个实施例，元件52和70被组合，使得波带片和投射层基本被 容纳在同一集成模块（72)内，该集成模块（72)引入来自迷你投射仪￠8)的小图像，将其 重定向并放大，然后又将其衍射，以便传递到眼睛；遮挡层（54)提供类似的掩蔽功能以保 护被投射图像的感觉不受背景照明的影响。
[0030] 在此描述了本发明的各种示例性实施例。以非限制性的意义对这些示例做出参 考。提供这些示例来说明本发明的更宽广的可适用方面。在不脱离本发明的真实精神和范 围的情况下，可以对所描述的本发明进行不同的改变并且可以替代以等效物。另外，可以做 出许多修改以适应特定情况、材料、组合物、处理、针对对象的处理动作或步骤、本发明的精 神或范围。此外，本领域技术人员应当理解，在此描述和示出的个体变型中的每一个具有离 散的组件和特征，在不脱离本发明的范围和精神的情况下，这些组件和特征可以容易地从 其他几个实施例中任意一个的特征中分离或者与之结合。所有这样的修改都意在处于与本 公开相关联的权利要求的范围内。
[0031] 本发明包括可使用所述装置执行的方法。该方法可以包括提供这样的合适装置的 动作。这样的提供可以由终端用户执行。换言之，"提供"动作仅仅需要终端用户获取、访 问、趋近、定位、设置、激活、上电或其他动作以提供所述方法中的必需装置。在此叙述的方 法可以以所述事件的任何逻辑上可能的顺序来执行，也可以以事件的叙述顺序来执行。
[0032] 在上文中，阐述了本发明的示例性方面以及与材料选择和制造有关的细节。至于 本发明的其他细节，其可以结合上面参考的专利和公开来理解，或者可以是本领域技术人 员熟知或理解的。对于用通常或逻辑上采用的附加动作表现的本发明的基于方法的各方 面，上述内容同样适用。
[0033] 另外，虽然已经参考可选地包含各种特征的若干示例来描述本发明，但是本发明 不限于关于本发明的每个变型被描述或指示为预期到的那些示例。在不脱离本发明的真实 精神和范围的情况下，可以对所述的发明做出各种改变，并且可以用（在此叙述或者为某 种程度的简洁起见未包括在此的）等效物来替换。另外，在提供取值范围的情况下，应当理 解该范围上下限之间的每个中间值以及该陈述的范围中的任何其他陈述的值或中间值应 被包含在本发明之内。
[0034] 还可以预期，所述发明变型的任何可选特征可以被独立地或者与此处所述的任意 一个或多个特征结合地被阐述或要求保护。对单一项的提及包括存在多个相同的项的可能 性。更具体地，在此处及其相关联的权利要求中使用的单数形式的"一个"、"所述"、"该"包 括复数指代物，除非另行特别指出。换言之，冠词的使用允许表示上文的描述以及与本公开 相关联的权利要求中的所述项目的"至少一个"。还应当指出，这样的权利要求可以被撰写 为排除任何可选的元件。因此，本声明意在充当关于权利要求元素的陈述而言对如"单独 地"、"仅仅"等等之类的排他术语的使用或"否定"限制的使用的在先基础。
[0035] 在不使用这样的排他性术语的情况下，与本公开相关联的权利要求中的术语"包 括"应当允许包括任何附加要素一无论是在这样的权利要求中枚举了给定数量的要素，还 是特征的添加可以被视为转变了这样的权利要求中阐述的要素的特性。除了在此具体定义 的之外，此处使用的所有技术和科学术语将被尽可能宽广地赋予一般理解的含义、并同时 保持权利要求有效性。
[0036] 本发明的宽度将不限于所提供的示例和/或所述说明书，而是只由与本公开相关 联的权利要求语言的范围来限定。
【权利要求】
1. 一种三维图像可视化系统，包括： a. 选择性透明的投射装置，用于将图像从空间中相对于观察者的眼睛的投射装置位置 朝向观察者的眼睛投射，所述投射装置能够在没有图像被投射时呈现基本透明的状态； b. 遮挡掩模装置，其耦合到所述投射装置，并且被配置成以与所述投射装置投射的所 述图像相关的遮挡图案，选择性地阻挡从处于所述投射装置的与观察者的眼睛相反的一侧 的一个或多个位置朝向眼睛传播的光；以及 c. 波带片衍射图装置，其被置于观察者的眼睛和所述投射装置之间，并且被配置成使 来自所述投射装置的光在其向眼睛传播时穿过具有可选择的几何结构的衍射图，并且以至 少部分地基于所述衍射图的所述可选择的几何结构而模拟出的距离眼睛的焦距进入眼睛。
2. 如权利要求1所述的系统，还包括：控制器，其可操作地耦合到所述投射装置、遮挡 掩模装置和所述波带片衍射图装置，并且被配置成协调以下操作：所述图像和相关联的遮 挡图案的投射，以及以所述可选择的几何结构插入所述衍射图。
3. 如权利要求2所述的系统，其中所述控制器包括微处理器。
4. 如权利要求1所述的系统，其中所述投射装置包括：基本上平面的透明数字显示器， 其基本上占据显示平面。
5. 如权利要求4所述的系统，其中所述显示平面被定向为与观察者的眼睛的视轴基本 垂直。
6. 如权利要求4所述的系统，其中所述基本上平面的透明数字显示器包括液晶显示 器。
7. 如权利要求4所述的系统，其中所述基本上平面的透明数字显示器包括有机发光二 极管显示器。
8. 如权利要求1所述的系统，其中所述投射装置被配置成将所述图像以准直形式朝向 眼睛投射，使得对于观察者的眼睛的聚焦深度是无穷大的聚焦深度。
9. 如权利要求1所述的系统，其中所述投射装置包括：高速迷你投射仪，其被耦合到衬 底引导型延迟出射光瞳扩展器装置，所述衬底引导型延迟出射光瞳扩展器装置被配置成在 向观察者的眼睛递送所述图像之前扩展所述图像的尺寸。
10. 如权利要求9所述的系统，其中所述迷你投射仪被安装成基本上垂直于观察者的 眼睛的视轴，以及其中所述衬底引导型延迟出射光瞳扩展器装置被配置成从所述迷你投射 仪接收所述图像，并将所述图像递送到所述波带片衍射图装置，并以基本上与眼睛的视轴 对准的方向以扩展后的尺寸将所述图像递送到观察者的眼睛。
11. 如权利要求1所述的系统，其中所述波带片衍射图装置和投射装置包括至少一个 共有结构。
12. 如权利要求11所述的系统，其中所述波带片衍射图装置被集成到波导中，使得所 述投射装置包括高速迷你投射仪，所述高速迷你投射仪被耦合到所述波导并且被配置成在 所述图像去往观察者的眼睛的途中在离开所述波导之前使所述图像穿过所述衍射图。
13. 如权利要求12所述的系统，其中所述迷你投射仪被安装成基本上垂直于观察者的 眼睛的视轴，以及其中所述波导被配置成从所述迷你投射仪接收所述图像，并以基本上与 眼睛的视轴对准的方向以扩展后的尺寸将所述图像递送到观察者的眼睛。
14. 如权利要求1所述的系统，其中所述遮挡掩模装置包括显示器，所述显示器被配置 成取决于在所述显示器的多个部分中的每个部分遮挡或透过光的相关命令，在每个部分处 遮挡或透过光。
15. 如权利要求14所述的系统，其中所述遮挡掩模装置包括一个或多个液晶显示器。
16. 如权利要求1所述的系统，其中所述波带片衍射图装置包括：高频二进制显示器， 其被配置成取决于在所述显示器的多个部分中的每个部分遮挡或透过光的相关命令，在每 个部分处遮挡或透过光。
17. 如权利要求2所述的系统，其中所述波带片衍射图装置具有大约500Hz和大约 2,000Hz之间的刷新速率。
18. 如权利要求17所述的系统，其中所述波带片衍射图装置具有大约720Hz的刷新速 率。
19. 如权利要求2所述的系统，其中所述控制器被配置成以每秒大约30帧和每秒大约 60帧之间的速率来操作所述投射装置和遮挡掩模装置，以及操作所述波带片衍射图装置以 便为所述投射装置和遮挡掩模装置的每个帧数字地显示多至约12个不同的衍射图。
20. 如权利要求1所述的系统，其中所述投射装置、遮挡掩模装置和所述波带片衍射图 装置共同包括用于观察者的一只眼睛的成像模块，所述系统还包括用于观察者的另一只眼 睛的第二成像模块。
【文档编号】G06T15/00GK104067316SQ201280067730
【公开日】2014年9月24日 申请日期:2012年11月23日 优先权日:2011年11月23日
【发明者】J·G·麦克纳马拉 申请人:奇跃公司