混合光子系统的制作方法

本申请要求于2017年3月13日提交的美国专利申请号15/457,967,15/457,980,15/457,991和15/458,009的权益，并且要求美国专利申请号62/308,825,62/308,361,62/的权益。所有申请均于2016年3月15日提交，该申请与美国专利申请no.12/371,461,62/181,143和62/234,942有关，其全部内容通过引用明确地并入本文。他们的全部用于所有目的。

本发明一般涉及视频和数字图像以及数据处理设备和网络，其产生，传输，切换，分配，存储和显示这样的数据，以及阵列中的非视频和非像素数据处理，例如传感。阵列和空间光调制器，以及数据的应用和使用，更具体地但非排他地，数字视频图像显示器，无论是平面屏幕，柔性屏幕，2d或3d，还是投影图像，以及非显示数据按设备阵列处理，以及组织的空间形式和定位这些过程，包括平板电视和消费者移动设备等紧凑型设备，以及提供图像捕获，传输，分配，分配，组织，存储的数据网络像素信号或数据信号或聚合或其集合的传送，显示和投影。

背景技术：

背景技术部分中讨论的主题不应仅仅因为在背景技术部分中提及而被认为是现有技术。类似地，不应假设在背景技术部分中提到的或与背景技术部分的主题相关的问题先前已在现有技术中被认识到。背景技术部分中的主题仅代表不同的方法，这些方法本身也可以是发明。

本发明的领域不是单一的，而是组合了两个相关领域，即增强现实和虚拟现实，但是寻址和提供集成的移动设备解决方案，其解决了两个领域中的现有技术的关键问题和限制。对这些相关领域的背景的简要回顾将明确要解决的问题和限制，并为本公开的提出的解决方案设定阶段。

这些术语的两个标准字典定义(来源：dictionary.com)如下：

虚拟现实：“使用交互式软件和硬件的计算机系统对环境进行逼真的模拟，包括三维图形。缩写：vr。

增强现实：“在屏幕或其他显示器上查看的增强图像或环境，通过在真实世界环境中叠加计算机生成的图像，声音或其他数据而生成。”：“用于生成此类图像的系统或技术改善环境。缩写：ar。

从定义中可以明显看出，尽管是非技术性的，并且对于这些相关领域的技术人员而言，本质区别在于模拟元素是否是完整的沉浸式模拟，甚至是对现实的部分直接观察，或者模拟元素被强加在一个清晰，无障碍的现实观点上。

在该主题的维基百科条目下提供稍微更多的技术定义，考虑到对页面编辑的贡献的深度和范围，可以认为该字段被充分表示。

虚拟现实(vr)，有时被称为沉浸式多媒体，是一种计算机模拟环境，可以模拟现实世界或想象世界中的物理存在。虚拟现实可以重现感官体验，包括虚拟品味，视觉，嗅觉，声音，触觉等。

增强现实(ar)是物理的，现实世界的环境的实时直接或间接视图，其元素通过计算机生成的感觉输入(例如声音，视频，图形或gps数据)来增强(或补充)。

固有但仅隐含在这些定义中的是移动观点的基本属性。将虚拟或增强现实与更一般的计算机模拟类别区分开来，无论是否有任何组合，融合，综合或与“实时”，“直接”现实成像(本地或远程)的集成，都是模拟的或混合(增强或“混合”)现实“同时真实”图像，当观众在现实世界中移动时，观看者的观点随观察者移动。

本公开提出，需要这种更精确的定义来区分沉浸式显示和经验模拟世界(模拟器)的静态导航，以及模拟世界(虚拟现实)的移动导航。然后，模拟器的子类别将是“个人模拟器”，或者至多是“部分虚拟现实”，其中固定用户配备有沉浸式hmd(头戴式显示器)和触觉接口(例如，运动跟踪手套)。)，它可以实现模拟世界的部分“虚拟现实”导航。

另一方面，cave系统将被示意性地限定为有限的虚拟现实系统，因为只有通过可移动的楼层才能通过cave的尺寸进行导航，并且一旦达到cave本身的限制，接下来会是另一种形式的“部分虚拟现实”。

注意“移动”观点与“可移动”观点之间的差异。计算机模拟，例如视频游戏，是模拟世界或“现实”，但除非模拟世界的探险家亲自动态，或指导另一个人或机器人的运动，否则所有可以说(尽管这是在过去的四十年中，计算机图形学的主要成就是简单地“建立”软件中可被探索的模拟环境，即模拟世界是“可导航的”。

对于虚拟或混合(作者的首选术语)现实的模拟，一个重要的，定义的特征是模拟(无论是完全合成还是混合)到真实空间的映射。这样的真实空间可以像实验室或声场内的房间一样基本，并且仅仅是以某种比例映射和校准模拟世界的网格。

这种区分不是评价性的，作为部分vr，其提供实时自然界面(头部跟踪，触觉，听觉等)而无需移动或映射到实际的真实地形，无论是自然的，人造的或者混合动力，并不比模拟物理交互并提供感官沉浸的部分vr系统的价值低得多。但是，没有足够的反馈系统，或者更普遍的是，全身，运动范围反馈系统，和/或动态可变形的机械界面-交互表面，它支持用户模拟但是(感觉到)完全-任何地形上的身体运动，任何静止的，无论是站立，坐着还是斜倚，vr系统根据定义是“偏”的。

但是，在没有这种理想的全身物理接口/反馈系统的情况下，将vr限制为“完整”和完全移动版本会将vr世界的地形限制在可以在现实世界中找到的地方，修改或从头开始构建。这种限制将严重限制虚拟现实体验的范围和能力。

但是，如将在即将公开的内容中显而易见的，这种区别产生差异，因为它为现有vr和ar系统如何不同以及它们的局限性设置了“亮线”，并且提供了通知本公开教导的背景。

确定了模拟的缺失但必不可少的特征和要求是一个完整的“虚拟现实”，下一步是确定通过什么方式实现“移动观点”的隐含问题。答案是，提供移动模拟的视图需要两个组件，它们本身通过硬件和软件的组合实现：运动图像显示装置，通过它可以查看模拟，以及运动跟踪装置，它可以跟踪包括3个运动轴的显示器的设备的运动，这意味着从最少三个跟踪点测量三维观察设备随时间的位置(两个，如果测量设备被映射，则可以推断第三轴上的第三个位置，并且相对于3轴参考系，其可以是映射到真实空间的任何任意3d坐标系，尽管为了实际目的机械地导航该空间，2轴将形成一个平面，该平面是地平面，重力水平，第三轴z，垂直于该地平面。

实际上，作为时间函数的准确和频繁地实现这种位置定向的解决方案需要传感器和软件的组合，并且这些解决方案的进步代表了vr和ar硬件/软件领域的发展的主要载体。移动观看设备和系统。

这些是相对较新的领域，就最早的实验与现今的实用技术和产品之间的时间范围而言，足以记录起源然后是当前最先进的技术。在两类移动视觉模拟系统中，除了现有技术中的特定创新之外，这些创新对于本公开的发展具有重要意义，或者与用于更好地解释当前问题的重要差异点或相似点有关。在本领域或者本公开的解决方案与现有技术的区别。

从1968年到九十年代末期跨越了相关模拟和模拟器，vr和ar领域的许多创新时期，其中实现vr和ar的许多关键问题找到了初始或部分解决方案。

ivansutherland及其助手bobsprouell从1968年开始的开创性实验和实验性头戴式显示系统通常被认为是标记这些相关领域的起源，尽管早期的工作，基本上是概念开发先于此，第一次实验性实施任何形式的ar/vr实现沉浸和导航。

固定模拟器系统的诞生可以追溯到向飞行模拟器添加计算机生成的成像，这通常被认为是在1960年代中后期开始的。这仅限于crt的使用，在crt与用户之间显示全焦距图像，直到1972年，当singer-link公司推出准直投影系统时，通过光束投射远焦图像-分光镜系统，它将视场改进到每单位约25-35度(100度，单个飞行员模拟器中使用三个单元)。

该基准仅在1982年由rediffusion公司改进，引入了广视场系统，广角无限显示系统，通过使用多个投影仪实现了150，然后最终240度fov。一个大而弯曲的准直屏幕。正是在这个阶段，固定模拟器可能被描述为最终在虚拟现实中实现了显着程度的真实沉浸，使用hmd来隔离观察者并消除外围的视觉提示干扰。

但当时singer-link公司正在推出用于模拟器的屏幕准直系统，作为vr型体验的踏脚石，第一款非常有限的商用头盔式显示器首先被开发用于军事用途，其中集成了基于掩模版的电子瞄准系统，具有头盔本身的运动跟踪。这些最初的发展一般被认为是南非空军在20世纪70年代以初步形式实现的(随后是当时和七十年代中期的以色列空军)，可以说是一个开始。基本的ar或中介/混合现实系统。这些早期的，图形最小但仍然开创性的头盔式系统，其实现了覆盖在掩模版和用户致动的运动跟踪目标上的位置协调的目标信息的有限合成，之后是stevemann的发明。第一个“中立现实”移动浏览系统，第一代“eyetap”，它将图形叠加在眼镜上。

mann的后期版本采用了光学重组系统，该系统基于光束分离器/组合器光学器件合并实际和处理图像。这项工作先于chunyugao和augmentedvisioninc的后期工作，后者基本上提出了一种双mann系统，将处理后的真实图像与光学生成的图像相结合，mann的系统完成了处理过的实际和电子生成。在man的系统中，保留了通过图像的实时视图，但是在gao的系统中，所有的视图图像都被处理，即使作为一个选项，也可以消除任何直接的视图图像。(chunyugao，2013年4月13日提交的美国专利申请20140177023)。由gao的系统指定的“光路折叠光学”结构和方法可以在其他光学hmd系统中找到。

到1985年，jaronlanier和vplreseearch成立以开发hmd和“数据手套”，因此，到1980年代，mann，lanier和redefussion公司的模拟，vr和ar三条主要发展路径，在一个非常活跃的发展领域中，有一些最重要的进步和一些基本的解决方案类型，这些类型在大多数情况下持续到现在和最先进水平。

计算机生成成像(cgi)的复杂性，游戏机(硬件和软件)的持续改进，具有实时交互式cg技术，多个系统之间更大的系统集成，以及ar的扩展，以及更有限的vr移动性是1990年代的主要发展趋势之一。

cave系统由芝加哥伊利诺伊大学电子可视化实验室开发，于1992年在全球首次亮相，推出了有限形式的移动vr和新型模拟器。(carolinacruz-neira，danieljsandin，thomasa.defanti，robertv.kenyon和johnc.hart。“cave：audiovisualexperienceautomaticvirtualenvironment(cave：视听体验自动虚拟环境)”，acmcommunications，vol.35(6)，1992，pp.64-72。除了lanier的hmd/数据手套组合外，cave还将wfov多壁模拟器“舞台”与触觉界面相结合。

同时，路易斯·罗森伯格(armsrosenberg)在阿姆斯特朗美国空军研究实验室开发了一种静止部分ar，其“虚拟夹具”系统(1992)，以及乔纳森沃尔登的固定“虚拟”vr系统，早在1985年至1990年期间，它就被认为是最初的开发项目，也将于1992年在商业上首次亮相。

移动ar集成到一个多单元移动车辆“战争游戏”系统中，在“增强模拟”(“augsimm”)中结合真实和虚拟车辆，将看到其以loralwdl形式的下一个重大进步，向1993年交易。随后在1999年撰写“将增强现实应用于现场培训的经验和观察”，项目参与者，peculiartechnologies的jonbarrilleaux评论了1995年sbir最终报告的结果，并指出了什么，甚至是到目前为止，移动vr和(移动)ar面临的持续问题：

arvs.vr跟踪

一般而言，为vr开发的商业产品具有良好的分辨率，但缺乏ar所需的绝对精度和广域覆盖范围，更不用于在augsim中使用。

vr应用-用户沉浸在合成环境中-更关注相对跟踪而非绝对准确性。由于用户的世界是完全合成的和自我一致的，他/她的头部刚好转过0.1度的事实比在10度以内知道它现在指向正北方要重要得多。

ar系统，例如augsim，没有这种奢侈品。ar跟踪必须具有良好的分辨率，以便虚拟元素在用户的头部转动或车辆移动时看起来在现实世界中平滑移动，并且它必须具有良好的准确性，以便虚拟元素正确地覆盖并被现实世界中的对象遮挡。

随着计算和网络速度在九十年代持续改善，露天增强现实系统的新项目得以启动，包括美国海军研究实验室，bars系统，“bars：战场增强现实系统”，simonjulier，yohanbaillot，marcolanzagorta，dennisbrown，lawrencerosenblum；北约军事系统信息处理技术研讨会，2000年。摘要：“该系统由可穿戴计算机，无线网络系统和跟踪透视头戴式显示器(hmd)组成。用户对环境的感知得到增强通过将图形叠加到用户的视野上。图形与实际环境一起注册(对齐)。“

非军事特定的开发也在进行中，包括nara科学与技术研究所的hirokazukato，artoolkit的工作，后来在hitlab发布并进一步开发，hitlab引入了软件开发套件和协议。视点跟踪和虚拟对象跟踪。

在此期间，这些里程碑经常被认为是最重要的，尽管其他研究人员和公司在该领域也很活跃。

虽然用于大规模开发和测试用于训练模拟的ar的军事资金已被充分记录，并且对这种显而易见的其他系统级设计和系统演示的需求正在与军事资助的研究工作同时进行。

其中最重要的非军事实验是视频游戏quake，arquake的ar版本，由brucethomas在南澳大利亚大学可穿戴计算机实验室发起并领导，并发表在“arquake：室外/室内”增强现实第一人称应用，“第四届可穿戴计算机国际研讨会，第139-146页，乔治亚州亚特兰大，2000年10月；(thomas，b.，close，b.，donoghue，j.，squires，j.，debondi，p.，morris，m。和piekarski，w。)。摘要：“我们提出了一种基于gps，数字罗盘和基于视觉点跟踪的低成本，中等精度六自由度跟踪系统的架构。”

在1995年开始设计开发的另一系统是由本公开的作者开发的系统。最初的目的是实现露天增强现实和电视节目的混合，被称为“无尽的直播”，该设计在九十年代后期得到进一步发展，其基本要素于1999年完成，当时商业上的努力为原始视频游戏提供资金/电视混合动力车推出，然后包括另一个版本，用于高端主题度假村开发。到2001年，它正在以保密方式向包括ridley和tonyscott公司在内的公司披露，特别是他们的合资企业airtightplanet(其他合作伙伴包括rennyharlin，jeangiraud和欧洲重金属)，本公开作为监督业务的执行人员，并将当时的“其他世界”和“其他世界工业”项目和风险投资作为与atp投资和合作的拟议合资企业。

以下是1999/2000年最终确定的系统设计和组件摘要：

来自“其他行业商业提案文件”的摘要(存档文件版本，2003)：

技术背景：最新技术的专有集成“开放场”模拟和移动虚拟现实：工具，设施和技术。

这仅是相关技术的部分列表和概述，它们一起形成专有系统的主干。一些技术组件是专有的，一些来自外部供应商。但是结合了经过验证的组件的独特系统将是绝对专有的-并且具有革命性：

与vr-alteredworld交互：

1)移动军用级vr设备，用于将访客/参与者和参与者沉浸在otherworld的vr增强景观中。虽然他们的“冒险”(也就是他们探索度假村周围的otherworld的每一个动作)都是通过移动动作捕捉传感器和数码相机(带自动消光技术)，客人/玩家和员工/演员实时捕捉的通过他们的遮阳板可以看到彼此以及计算机模拟图像的叠加。遮阳板是双筒望远镜，半透明平板显示器或双筒望远镜，但不透明的平板显示器，前面贴有双目相机。

由平板显示器叠加在视场中的这些“合成元件”可包括景观的改变部分(或整个景观，数字地改变)。实际上，那些取代真实存在的“合成”景观部分是基于度假村各个部分的原始3d摄影“捕捉”而生成的。(见下面的#7)。作为计算机中准确的基于照片的几何“虚拟空间”，可以以任何方式对它们进行数字改变，同时保持原始捕获的照片真实质量和几何/空间精度。这使得相同空间的实时数字摄影和改变的数字部分的精确组合。

由平板显示器叠加的其他“合成元件”包括人，生物，大气fx和计算机生成或改变的“魔术”。这些通过显示(透明或不透明)显示为视野的真实元素。

通过使用定位数据，客人/运动员和雇员/演员的运动捕捉数据，以及通过多个数码相机对其进行实时遮罩，所有这些都被校准到每个的先前“捕获”版本。度假区的区域(见下面的#4和5)，合成元素可以实时绝对精确地匹配通过显示器显示的真实元素。

因此，照片真实的计算机生成的龙似乎可以穿过真正的树，回到周围，然后飞起来并降落在度假村的真正城堡之上-然后龙可以“燃烧”计算机生成的火灾。在平板显示器(半透明或不透明)中，火焰似乎使城堡的上部“变黑”。实现这种效果是因为通过遮阳板，城堡的上部已被系统文件中城堡的3d“捕获”的计算机改变版本“遮盖”。

2)物理电光机械齿轮用于真实人与虚拟人，生物和外汇之间的战斗。“触觉”界面提供运动传感器和其他数据，以及振动和阻力反馈，允许真人与虚拟人，生物和魔法的实时交互。例如，“支柱”剑柄形式的触觉设备在客人/玩家摆动时提供数据，当客人/玩家看起来“打击”虚拟食人魔时提供物理反馈，以实现战斗的幻觉。所有这些都是实时组合并通过双目平板显示器显示。

3)开放场运动捕捉设备。移动和固定动作捕捉设备装置(类似于用于thematrix电影的装备)在整个度假区内部署。由访客/玩家和雇员/演员佩戴的主题“装备”上的数据点由摄像机和/或传感器跟踪，以提供运动数据，用于与vr遮阳板中的双目平板上显示的视野中的虚拟元素交互。

动作捕捉数据的输出使得(具有足够的计算渲染能力和运动编辑和动作库的使用)cgi改变版本的客人/玩家和员工/演员沿着第二和第三的咕噜角色的原则成为可能“指环王”的电影。

4)利用laas和gps数据，实时激光测距数据和三角测量技术(包括来自molleraerobotuav)的运动捕获数据的增强。附加的“定位数据”允许对实时和合成元素进行更有效(和纠错)的集成。

来自无人机制造商的新闻稿：

7月17日。一周前，霍尼韦尔签订了一份合同，用于建立局域增强系统(laas)站的初始网络，一些测试站已在运行。该系统可以准确地引导飞机在机场(和直升机场)着陆，精度为英寸。laas系统预计将于2006年投入使用。

5)开放场“播放”的自动实时消光。结合允许与模拟元素交互的动作捕捉数据，度假客人/参与者将使用p24(或等效)数码相机进行数字成像，使用专有的automatte软件，自动隔离(遮罩)适当的元素与视图与合成元素集成。该技术将成为用于确保在叠加数字元素时正确分离前景/背景的套件之一。

6)军用级仿真硬件和技术与最先进的游戏引擎软件相结合。结合来自运动捕捉系统的数据，通过军事模拟软件和游戏引擎软件集成用于与诸如道具剑，合成元素和实时元素(乱蓬蓬或完整)之类的“合成”元素交互的触觉设备。

这些软件组件提供ai代码，以动画合成人和生物(ai-或人工智能-软件，如用于在指环王电影中为军队制作动画的massive软件)，生成逼真的水，云，火等，以及否则就像电脑游戏和军事模拟软件一样整合和组合所有元素。

7)基于图像的真实位置捕获，以基于图像的技术创建逼真的数字虚拟集，由pauldebevec博士(矩阵的“子弹时间”fx的基础)开创。

“基地”虚拟位置(度假村的内部和外部)与现实世界无法区分，因为它们来自照片和“捕获”时的位置的真实照明。一系列高质量的数字图像，结合光探头和激光测距数据的数据，以及适当的“基于图像”的图形软件，都是在计算机中重建真实虚拟3d空间所需的一切。与原始版本完全匹配。

尽管从真实的城堡内部和周围乡村的外部位置捕获“虚拟集合”，但是一旦将这些“基础”或默认版本数字化，具有照明参数和来自最初的确切时间的所有其他数据。捕获，可以被改变，包括照明，添加的元素在现实世界中不存在，并且存在的元素被改变和“打扮”以创建我们世界的幻想版本。

当客人/玩家和员工/演员穿过度假村不同地点的“门户”(“网关”是从“我们的世界”到“其他世界”的有效“交叉点”)时，会发生校准程序。此时，在“网关”处定位来自访客/玩家或雇员/演员的数据，以将计算机中的虚拟空间“锁定”到“网关”的坐标。计算机“知道”通过上述基于图像的“捕获”过程获得的关于其整个度假村的虚拟版本的网关点的坐标。

因此，计算机可以将其虚拟度假村与其放入vr护目镜之前的客户/玩家或雇员/演员所看到的一起“排列”。因此，通过半透明版本的双目平板显示器，如果虚拟版本叠加在真实度假村上，那么非常精确地匹配另一个。

或者，使用“不透明”双目平板显示器护目镜或头盔，佩戴者可以自信地带着头盔走路，只看到他面前的度假村的虚拟版本，因为虚拟世界的景观将完全匹配景观他实际上正在走路。

当然，可以通过护目镜向他展示的将是改变的红色天空，沸腾的风暴云，实际上并不存在，以及顶部有龙的城堡护栏，只是“放火”到城堡城垛。

除了1000名矿石的军队在远处的山上充电！

8)度假村的超级计算机渲染和模拟设施。一个关键资源将使极高质量，接近功能的电影质量模拟成为一个超级计算机渲染和模拟复杂的现场每个度假村。

独立电脑游戏机(playstation2，xbox，gamecube)以及台式电脑的电脑游戏在图形和游戏方面的改进是众所周知的。然而，考虑到游戏体验的改进基于单个控制台或个人计算机的处理器和支持系统的改进。想象一下，然后将超级计算中心的容量置于游戏体验之后。仅此一点就是图形和游戏质量的巨大飞跃。这只是移动vr冒险的一个方面，将是其他世界的体验。

从对前述内容的回顾中可以明显看出，并且对于相关领域的技术人员来说是显而易见的，这些领域是vr，ar和更广泛的模拟领域，提出的个人硬件或软件系统。改进现有技术必须考虑更广泛的系统参数，并明确这些系统参数的假设，以便进行适当的评估。

因此本提案的实质内容，其重点是属于便携式ar和vr技术类别的硬件技术系统，并且实际上是两者的融合，但其最可靠的版本是可穿戴技术，在优选的可穿戴版本中，是一种hmd技术，只考虑或重新考虑它所属的整个系统，才能成为一种完美的解决方案。因此，需要提供更大的vr，ar和模拟系统的历史，因为例如，新hmd技术的提议和商业产品的趋势太窄，没有考虑到，也没有审查，系统层面的假设，要求和新的可能性。

对hmd技术发展中的主要里程碑进行类似的历史回顾是不必要的，因为在系统层面上更广泛的历史将是必要的，以提供可用于帮助解释其局限性的框架。hmd中现有技术的现有技术和现状，以及所提出的解决方案的原因以及所提出的解决方案解决所识别问题的原因。

足以理解和识别现有技术在hmd中的限制的内容始于以下内容。

在头戴式显示器的类别中(出于本公开的目的，包含头盔式显示器)，到目前为止已经识别出两种主要的子类型：vrhmd和arhmd，遵循已经提供的那些定义的含义。在这里，并且在arhmd的类别中，已经使用两个类别来区分这些类型是“视频透视”或“光学透视”(更常见地简称为“光学hmd”)。

在vrhmd显示器中，用户观看单个面板或两个单独的显示器。这种hmd的典型形状通常是护目镜或面罩的形状，尽管许多vrhmd具有焊接头盔的外观，其具有大体积的封闭遮阳板。为了确保最佳的视频质量，沉浸感和没有分心，这种系统是完全封闭的，显示器周围的外围是一种吸光材料。

本公开的作者先前在2004年2月12日提交的美国临时申请“system，methodandcomputrprogramproductformagneto-opticdevicedisplay”编号60/544,591中提出了两种类型的vrhmd，并且并入本文。其中一个简单地提出用这种应用的主要目的的晶片型实施例替换传统的直视lcd，第一实用的磁光显示器，其优越的性能特征包括极高的帧速率，以及其它优点。整体上改进了显示技术，并且在该实施例中，用于改进的vrhmd。

根据本公开的教导，预期的第二版本是一种新的远程生成的图像显示器，其将例如在车辆驾驶舱中生成，然后经由光纤束传输，并且然后通过一种特殊的光纤阵列结构(在应用中公开的结构和方法)进行分配，建立在光纤面板的经验基础上，采用新的方法和结构，通过光纤进行远程图像传输。

尽管核心mo技术最初并未针对hmd进行产品化，而是针对投影系统，但这些发展与本提案的某些方面相关，并且此外本领域通常不知道。特别地，第二版本公开了一种方法，该方法在使用光纤从未集成到hmd光学器件中或附近的图像引擎传送视频图像的其他更新近的提议之前公开。

关于全封闭vrhmd对于具有均匀楼层的严格控制的舞台环境的移动性的实用性的关键考虑因素是，为了使移动安全，导航的虚拟世界必须在1：1内映射对人类运动，对真实表面形貌或运动路径安全的偏差。

然而，正如loralwdl的barrilleaux，bars的开发人员以及过去近四分之一世纪以来该领域的其他研究人员一直在观察和总结的那样，ar系统的系统实用，必须在虚拟(合成的，cg生成的图像)与现实世界的地形和建筑环境之间获得非常接近的对应关系，包括(因为军队对城市战争的系统开发并不奇怪)移动的几何形状车辆。

因此，更一般的情况是，对于以移动形式启用vr或ar，在任何“虚拟”或合成元素与任何现实世界元素之间必须存在1：1的位置对应关系。

在arhmd的类别中，“视频透视”和“光学透视”之间的区别是直接通过透明或半透明像素阵列观看的用户与直接设置的显示器之间的区别。在观察者面前，作为眼镜光学器件本身的一部分，并通过半透明的投影图像观察也直接设置在观察者前面的光学元件上，从一个(通常是直接相邻的)微显示器产生并传送通过形式的光学继电器到面对的光学元件。

主要且可能仅部分实用类型的直接透视显示器透明或半透明显示系统(历史上)是配置为没有照明背板的lcd-因此，具体地，ar视频透视眼镜保持观看一种或多种光学元件，包括透明光学基片，其上已制成lcd光调制器像素阵列。

对于类似于原始mann“eyetap”的应用，其中文本/数据直接显示或投影在面对的光学器件上，不需要校准到现实世界的地形和物体，尽管某种程度的位置相关性是有帮助的。用信息文本对视野中的项目进行上下文“标记”。这就是googleglass产品的主要目的，尽管作为本公开的起草，许多开发人员都专注于开发ar类型的应用程序，这些应用程序在现场场景中施加的不仅仅是文本。

除了在近似2d平面或粗视锥中的松散邻近位置相关性之外，对视频或光学透视系统的用户的视野中的地形或物体进行这种“校准”的主要问题。，是确定观察者环境中物体的相对位置。如果没有参考和/或大致实时的空间定位数据和局部环境的3d映射，则不能执行没有明显不一致的透视和相对尺寸的计算。

透视的一个关键方面，除了相对尺寸之外，从任何观察点，都是逼真的照明/阴影，包括阴影，取决于照明方向。最后，从任何给定的观看位置遮挡物体是感知透视和相对距离和定位的关键光学特征。

不存在视频透视或光学透视hmd，或者可以独立于如何提供这样的数据以在视频或光学透视类型系统中实现或者实际上用于移动vr的问题而设计类型系统，佩戴者周围的维度观察，必要的安全运动或寻路。这些数据是在外部，本地还是多种来源提供的？如果部分局部和部分hmd，这对整个hmd系统的设计和性能有何影响？如果有的话，这个问题对视频和光学透视之间的选择有什么影响，给定重量，平衡，体积，数据处理要求，组件之间的滞后，其他影响和受影响的参数，以及显示的选择和光学元件详细？

在vrhmd的演变和进步期间要解决的技术参数和问题中，主要包括增加视野，减少等待时间(运动跟踪传感器之间的滞后和虚拟视角的变化)的问题，提高分辨率，帧速率，动态范围/对比度，以及其他一般显示质量特性，以及重量，平衡，体积和一般人体工程学。图像准直和其他显示光学系统的细节已得到改进，有效地解决了“模拟器疾病”的问题，这是早期的一个主要问题。

随着这些一般技术类别的改进，以及重量，尺寸/体积和平衡，显示器，光学器件和其他电子器件的重量和体积趋于减小。

固定vr装置通常用于车辆中的夜视系统，包括飞机；然而，移动夜视镜可以被认为是一种类似于移动vr的中介观看形式，因为佩戴者基本上正在观看的是实时的真实场景(ir成像)，但是通过视频屏幕。而不是以“透视”的形式。

该子类型与barrilleaux在相同的参考1999年回顾中所定义的类似于“间接视图显示”。他提出了关于提出的arhmd的定义，其中没有实际的“浏览”，而是在显示器上专门看到的是合并/处理的真实/虚拟图像，可能包含在任何vr类型中或夜视系统。

然而，夜视系统不是虚拟合成景观和真实的融合或混合，而是通过视频信号处理解释为ir传感器数据的直接传输视频图像，作为不同强度的单色图像，具体取决于根据ir签名的强弱。作为一个视频图像，它确实适用于实时文本/图形叠加，与eyetap最初构思的简单形式相同，而google已经声明其玻璃产品的主要目的。

如何以及提供什么数据以及从参考或两者提供给移动vr或移动ar系统，或者现在包括具有相似性的混合实时处理的视频馈送“间接视图显示”的问题。这两个类别，为了实现虚拟和真实景观的有效集成，以提供一致的组合视图，是设计任何新的和改进的移动hmd系统时必须考虑的设计参数和问题，无论其类型如何。

ar的软件和数据处理已经发展到处理这些问题，建立在已经引用的系统开发人员的早期工作的基础上。其示例是canoncorporation的matsui和suzuki的工作，如其未决的美国专利申请“mixedrealityspaceimagegenerationmethodandmixedrealitysystem”中所公开的(美国专利申请no.10/951,684(美国公开号)。2004年9月29日提交的美国专利号为no.20050179617(美国专利号7，589，747)。他们的摘要：

“用于生成通过将虚拟空间图像叠加到通过捕获真实空间获得的真实空间图像上而形成的混合现实空间图像的混合现实空间图像生成设备包括叠加虚拟空间图像的图像合成单元(109)考虑到虚拟空间图像的真实空间上的对象的遮挡，将其显示在真实空间图像上，以及进一步施加要显示的图像的注释生成单元(108)，而不考虑任何遮挡。通过这种方式，可以生成可以实现自然显示和方便显示的混合现实空间图像。

该系统的目的是将完全渲染的工业产品(例如相机)的组合叠加在模型(替代支柱)上；一对光学透视hmd眼镜和模型都配备了位置传感器。使用实时的逐像素查找比较过程来模拟来自模型的像素，使得cg生成的虚拟模型可以叠加在合成的视频馈送上(缓冲延迟，以实现轻微的分层)落后)。系统还添加了注释图形。电脑图像。用于确定消光并因此确保合成中的正确且非错误遮挡的数据的基本来源是模型上的运动传感器和预定查找表，其比较像素以拉动手部遮罩和模型遮罩。

虽然该系统不适用于移动ar，vr或任何混合动力的概括，但它是尝试提供用于分析真实3d空间和定位虚拟对象的简单但不是完全自动的系统的示例。在透视图中正确。

在视频或光学透视hmd的领域中，在设计即使在理想地计算的混合现实透视图被递送到hmd的假设下也可以实现的显示器或光学和显示系统方面进展很小。，一个令人满意，逼真和准确的合并透视图，包括处理正确的透视顺序，合并元素与真实空间中任何给定观察者位置的适当遮挡。

一个系统声称最有效的解决方案，即使是部分解决这个问题，也许是唯一的集成hmd系统(与软件/摄影测量/数据处理和传输系统相反，旨在以某种通用方式解决这些问题，独立于hmd已经在前面已经引用过，这是高春雨在美国专利申请no.13/857,656(美国公开号20140177023)中的提议，“用于光学观察的装置，带有相互闭合和opaqueness控制的头戴式显示器能力。”

gao开始他对ar的视野hmds的调查，具有以下观察：

有两种类型的st-hmd：光学和视频(j.rolland和h.fuchs，“光学与视频透视头戴式显示器，”在可穿戴计算机基础和增强现实中，第113页-157,2001。)。视频透视方法的主要缺点包括：透视视图的图像质量下降；由于处理输入视频流而导致的图像滞后；由于硬件/软件故障，可能会丢失透视图。相比之下，光学透视hmd(ost-hmd)通过分束器提供了对现实世界的直接视图，因此对现实世界的视图具有最小的影响。它是高度的(在用户对现场环境的认知至关重要的要求苛刻的应用中是首选。

然而，高智晟对视频透视问题的观察并不合格，首先，通过将现有技术视频透视指定为专用lcd，他也没有验证lcd必须的断言(相对而言，以及标准也被省略)降低透视图像。本领域技术人员将认识到，这种低质量图像的观点是在最近加速该领域的进展之前从早期透视lcd系统中获得的结果得出的。光学透视系统并不明显也不明显，通过比较许多光学元件和其他显示技术对“真实”“透视图像”的再处理或调解的影响“与最先进的液晶显示器或其他视频观看显示技术相比，最终结果会相对降低，或者不如高智晟等提议。

与其他也必须处理输入实时图像的系统相比，这种毫无根据的概括的另一个问题是这类透视中的滞后假设。在这种情况下，速度的比较是对竞争系统的组件及其性能的详细分析的结果。最后，“可能失去对硬件/软件的透视视图”的猜想基本上是无偿的，任意的，并且通过对视频和光学透视方案之间的比较系统稳健性或稳定性的任何严格分析都未经验证。，或者在它们的特定版本和它们的组件技术和系统设计之间。

除了在场中比较的错误和偏向表示的初始问题之外，存在自身提出的解决方案的定性问题，包括省略和缺乏对作为完整hmd系统的所提出的hmd系统的考虑，包括如更广泛的ar系统中的一个组件，其中包含先前已引用和解决的数据采集，分析和分发问题。当hmd本身及其设计可以是一个重要的问题和问题时，hmd不能被允许作为“给定”处理某一级别和质量的数据或处理能力来生成改变或混合图像。援助或阻碍，根本不能作为给定的提供。

此外，在问题解决方案的规范中省略了移动平台中真实和虚拟的视觉集成问题的完整维度。

采用本公开及其教导的系统，具体为：

如前面在该背景技术中已经描述的，高建议是采用两个显示型设备，因为将选择性地反射或传输实时图像的空间光调制器的规范基本上是用于slm的slm的规范。与其在任何显示器应用中的目的相同，可操作地。

然后将来自两个装置的输出图像组合在分束器，组合器中，假设除了关于这种装置的精度的陈述之外没有任何具体解释，同时逐像素基础地排列。

然而，为了实现两个像素化阵列的这种合并，gao指定了他称为“折叠光学器件”的复制品，但除了manneyetap方案的双版本之外基本上没有任何东西，总共需要两个“折叠光学器件”“元件(例如，平面光栅/hoe或其他紧凑型棱镜或”扁平“光学元件，每个光源各一个，加上两个物镜(一个用于实际视图的波前，另一个用于连接的焦点图像和分束器组合器)。

因此，需要多个光学元件(他提供各种传统的光学变化)：1)通过第一反射/折叠光学器件(平面型光栅/镜子，hoe，tir棱镜，或其他“扁平”光学器件，并从那里到物镜，将其传递到下一个平面型光栅/镜子，hoe，tir棱镜或其他“平面”光学器件，以再次“折叠”光路，所有这些是为了确保整个光学系统相对紧凑并包含在两个矩形光学中继区的示意组中；从折叠光学系统，光束通过分束器/合束器到达slm；然后，在像素化(采样)的基础上反射或透射，从而可变地(从真实图像对比度和强度的变化以修改灰度等)将调制的，现在像素化的实像返回到分束器/组合器。虽然显示器同步生成虚拟或合成/cg图像，但可能也经过校准，以确保易于与修改后的像素化/采样实际波前集成，并通过分束器进行集成，像素为像素，利用真实场景的多步骤，修改和像素化的样本，从那里通过目镜物镜，然后返回到另一个“折叠光学”元件，以从光学系统反射到观察者的眼睛。

总的来说，对于实像波前的经修改的像素化采样部分，在到达观看者眼睛之前，穿过七个光学元件，不包括slm；显示生成的合成图像，只能通过两个。

虽然光学图像合成器的精确对准问题，一直到像素级，无论是从激光询问的图像样本收集的反射光还是组合图像产生的小功能slm/显示设备，保持对准，特别是在机械条件下振动和热应力在本领域中被认为是非平凡的。

数字投影自由空间光束组合系统，其组合了高分辨率(2k或4k)红色，绿色和蓝色图像引擎的输出(通常，由dmd或lcosslm生成的图像是昂贵的实现和维护这些对齐是非平凡的。有些设计比高格式7元素的情况简单。

另外，这些复杂的多引擎多元件光学组合器系统不像hmd所需的那样紧凑。

已经开发出单片棱镜，例如由agilent为生命科学市场开发和销售的t-rhomboid组合器，专门用于解决自由空间组合器在现有应用中表现出来的问题。

虽然诸如microvision和其他公司已经成功地将其基于slm的，最初开发的用于微投影技术的公司部署到hmd平台中，但是这些光学设置通常基本上不如高提议复杂。

此外，很难确定两个平台上两个图像处理步骤和计算迭代的基本原理是什么，以及为什么需要实现真实和虚拟波前输入的平滑和集成，实现正确的组合场景元素的遮挡/遮挡。似乎高的最大问题和需要解决的问题是合成图像竞争的问题，难以与真实图像的亮度相比，并且因此slm的主要任务似乎有选择地降低了亮度部分真实场景或整个真实场景。通常，还可以推断，在降低被遮挡的真实场景元素的强度的同时，例如通过在时分多路复用系统中最小化反射位置中的dmd镜的持续时间，可以简单地留下被遮挡的像素。“off”，虽然这不是由gao指定的，slm如何完成其图像改变功能的细节也没有。

在必须同时计算，校准和对准的许多参数中，包括确切地确定来自实场的哪些像素是校准像素到合成像素。如果没有精确匹配，重影重叠，错误对齐和遮挡将会成倍增加，尤其是在移动场景中。通过真实场景波前部分到物镜的反射光学元件的位置具有相对于场景的真实透视位置，首先，与场景中观察者的透视位置不同，它不是平坦的，也不是位于死点，它只是一个波前样本，而不是位置。而且，当移动时，也移动，并且预先也不知道合成图像处理单元。由于这些事实，该系统中的变量数量非常大。

如果它们是，并且该解决方案的目标变得更具体，则可能变得清楚的是，可能存在比使用第二显示器更简单的方法来实现这一点(在双目系统中，总共添加2个显示器，指定的slm)。

其次，在检查方案时很明显，如果任何方法，由于这种复杂系统的耐久性，具有多个累积对准公差，原始零件的缺陷积累和随着时间的推移磨损。多元素路径，合并光束的未对准形成累积的热和机械振动效应，以及由七元素加光学系统的复杂性引起的其他复杂性，正是这个系统本身可能会降级，特别是时间，外部实时图像波前。

另外，如先前已经注意到的那样，计算真实元素和虚拟元素之间的空间关系的问题是非平凡的。设计一个系统，必须从这些计算中驱动两个(在双目系统中)，四个显示类型的设备，最可能是不同类型(因此具有不同的色域，帧速率等)，增加了复杂性已经很苛刻的系统设计参数。

此外，为了在没有重影或滞后的情况下提供高性能图像，并且不会引起视觉系统的眼睛疲劳和疲劳，高帧率是必不可少的。然而，对于高系统，只有使用透视而不是反射的slm，系统设计才会略微简化；但即使使用更快的felcos微显示器，帧速率和图像速度仍然远低于ti设备的dlp(dmd)。

然而，由于还需要更高的hmd分辨率，至少要实现更宽的fov，使用高分辨率dmd(例如2k或4k设备)意味着求助于非常昂贵的解决方案，因为dmd具有已知特征尺寸和数量的产量低，缺陷率高于大众消费者或企业生产和成本通常可容忍的缺陷率，对于现在使用它们的系统来说价格非常高，例如市场上销售的数字电影放映机由tioem的barco，christie和nec商业化。

尽管从平面光学投影技术用于光学透视hmds(例如lumus，bae等)是直觉上容易的步骤，其中遮挡既不是设计目标也不可能在这些范围和能力范围内。接近，基本上复制该方法并调制真实图像，然后使用诸如gao提出的传统光学设置组合两个图像，同时依靠大量平面光学元件来实现组合并且在相对紧凑的空间。

为了总结背景回顾，并回到hmd，光学透视hmd和经典vrhmd这两大类中的当前领导者，现有技术可概括如下，注意其他变体光学透视hmd和vrhmd既可以在商业上获得，也可以进行大量的研究和开发，其中大量的商业和学术工作，包括产品公告，出版和专利申请，自从google，glass，和oculusvrhmd，rift：

具有商业领先的移动ar光学hmd的glass的google在撰写本文时已经为光学透视hmd类别建立了突破性的公众可见性和主导营销位置。

然而，他们跟随其他人去市场，他们已经在主要的国防/工业领域开发和部署产品，包括lumus和bae(q-sight全息波导技术)。在其他近期市场和研究阶段的参赛作品中，如trulifeoptics，将英国国家物理现实研究商业化，也在全息波导领域，他们声称具有比较优势。

对于许多军用头盔式显示器应用，以及google官方用于glass的主要用例，再次如前所述，在视图空间上超级拼写文本和符号图形元素，仅需要粗略的位置关联，可能是足以用于许多初始的，简单的移动ar应用。

然而，即使在信息显示应用的情况下，显而易见的是，在观看者面对(并且最终，周围)观看空间中的项目和地形的标记信息的密度越大，对空间的需求越大。订购/分层标签以匹配标记的元素的透视/相对位置。

重叠-即，视场中的真实元素对标签的部分遮挡，而不仅仅是标签本身的重叠，因此必然成为甚至“基本的”信息显示用途的光学视图的要求。系统，以管理视觉混乱。

由于标签必须另外不仅反映标签元素在真实空间的透视图中的相对位置，而且还反映自动化(基于预定或软件计算)优先级和实时的程度，用户指定的优先级，标签大小和透明度，除了图形系统用来反映信息层次结构的两个主要视觉提示之外，还必须进行管理和实施。

然后立即出现问题，详细考虑标签和超强图形元素的半透明度和重叠/遮挡问题，如何处理通过光学元件的带电元件的相对亮度问题这些基本的光学透视hmd(无论是单眼标线型还是双目全眼镜型)和超强的，生成的视频显示元件，特别是在明亮的户外照明条件和非常昏暗的室外条件下。为了充分扩展这些显示器类型的实用性，夜间使用显然是低光问题的极端情况。

因此，当我们超越无源光学透视hmd类型的最有限的用例条件时，随着信息密度的增加-随着这种系统在商业上取得成功并且通常密集的城市或郊区获得标记，这将是预期的。来自商业企业的信息-以及在明亮和昏暗条件下的使用参数增加了约束条件，很明显“无源”光学透视hmd无法逃避，也无法应对移动增强现实的任何实际实际实施的问题和需求hmd。

然后，无源光学直通hmd必须被认为是用于实现移动arhmd的不完整模型，并且在回想起来，将被视为仅仅是到活动系统的过渡踏脚石。

oculusriftvr(facebook)hmd：与googleglass产品营销活动的影响有些相似，但与oculus实际上也引领该领域解决和/或开始大幅度解决某些重要问题的区别实际vrhmd的门槛障碍(而不是跟随lumus和bae，就谷歌而言)，撰写本文时oculusriftvrhmd是领先的预发布vrhmd产品，进入并创造了市场广泛接受的消费者和商业/工业vr。

oculusriftvrhmd的基本阈值进展可归纳为以下产品功能列表：

o显着扩大的视野，通过使用单个当前7英寸1080p分辨率的对角线显示器，位于距离用户眼睛几英寸处，并且在单一显示器上分成双目透视区域。当前fov，如同写作一样，与总共45度相比，是100度(改善其原始的90度)，是预先存在的hmd的通用规格。单独的双目光学器件实现立体视觉效果。

o显着改善头部跟踪，导致低滞后；这是一个改进的运动传感器/软件进步，并利用从nintendowii，apple和其他快速追随者移植到手机传感器技术，playstationpsp和现在的vita，nintendods现在3ds的微型运动传感器技术的优势，以及xboxkinect系统，以及其他具有内置运动传感器的手持式和手持式设备产品，用于3d维位置跟踪(加速度计，mems陀螺仪等)。当前的头部跟踪实现了多点红外光学系统，具有外部传感器协同工作。

o低延迟，改进的头部跟踪和快速软件处理器更新到交互式游戏软件系统的综合结果，尽管受到所采用的显示技术的固有响应时间的限制，最初的lcd被更快的oled取代。

低持续性是一种缓冲形式，以帮助保持视频流平滑，与更高切换速度的oled显示器结合工作。

通过采用滑雪护目镜形状因子/材料和机械平台，更轻的重量，更小的体积，更好的平衡以及整体改进的人体工程学。

总结组合这些改进的净效益，虽然这样的系统可能在结构上或操作上没有新的模式，改进的部件的净效果和特别有效的外观设计专利usd701,206，以及任何专有软件，已经产生了突破性的性能和大众市场vrhmd的验证。

在他们的领导和采用他们的方法之后，在许多情况下，在其他人的情况下根据oculusvrrift配置的成功改变他们的设计的一些同期产品程序，已经有许多vrhmd产品开发商，品牌名称公司和创业公司，在最初的2012年电子博览会示范和oculusvr的kickstarter融资活动之后制定了产品计划公告。

在这些快速追随者和其他明显改变他们的策略以遵循oculusvr模板的人中，三星，其本书所展示的开发模式与oculusvrrift设计和索尼的morpheus非常相似。在该领域获得关注的初创公司包括vrvana(以前的truegearplayer，gameface，infiniteeye和avegant。

这些系统配置中没有一个看起来与oculusvr完全相同，尽管一些使用2和其他4个面板，infiniteeye使用4个面板系统来扩展fov以声称200+度。有些使用lcd，有些则使用oled。光学传感器用于提高头部跟踪系统的精度和更新速度。

所有系统都实现为基本上就地或高度约束的移动性。采用车载和基于有源光学标记的运动跟踪系统，设计用于封闭空间，如起居室，手术室或模拟器阶段。

与oculusvr方案具有最大差异的系统是avegant的雕文和vrvana图腾。

glyph实际上实现了一种显示解决方案，该解决方案遵循先前建立的光学透视hmd解决方案和结构，采用texasinstrumentsdlpdmd在反射平面光学元件上生成投影微图像，其配置和操作与平面相同现有光学透视hmd的光学元件，不同之处在于采用高对比度，吸光性背板结构来实现反射/间接微型投影仪显示类型，视频图像属于一般类别的不透明，非-透明显示图像。

然而，这里，如前面在高公开的讨论中所建立的，当采用dlpdmd或其他mems组件时，增加显示分辨率和超出1080p/2k的其他系统性能的限制是成本的那些，此类系统的制造产量和缺陷率，耐用性和可靠性。

此外，对平面光学元件(光栅结构，hoe或其他)的有限扩展/放大因子的图像尺寸/fov的限制，其扩展了slm图像尺寸但是在人类视觉系统上的相互作用/应变(hvs)，尤其是焦点系统，对观看者的安全性和舒适性提出了限制。用户对谷歌玻璃试验中使用类似尺寸但分辨率较低的图像的反应表明，hvs进一步使用更高分辨率，更亮但同样小的图像区域变得紧张，这对hvs构成了挑战。google的官方顾问ophampeli博士在接受在线网站betabeat(2014年5月19日)采访时向谷歌眼镜用户发出预警，以预测一些眼睛紧张和不适修改警告(2014年5月29日)试图限制潜在用途的案例和范围。划分是针对眼部肌肉使用的方式，它们不是长时间设计或使用的，并且修订后的声明中的近似原因是小显示图像的位置，迫使用户查找其他专家。

然而，在真实fov的一小部分上焦点使用所需的眼肌使用的特定组合不能被假设为与整个真实fov上的眼动所需的相同。事实上，局灶性肌肉的小的微小调整比扫描自然fov所涉及的运动范围更受约束和限制。因此，如本领域所知，收缩rom中的重复运动不仅仅局限于聚焦方向，尽管由于hvs的性质，预期会增加超出正常使用范围的过度应变。，还要对运动范围的限制和进行非常小的，受控的微调的要求。

增加的复杂性是受约束的眼动区域中的细节水平可能开始快速，因为具有复杂，详细运动的场景中的分辨率增加超过了来自精密工具的眼睛疲劳。光学浏览系统的任何开发人员都没有对这个问题进行严格的处理，这些问题，以及stevemann多年来使用他的eyetap系统报告的眼睛疲劳，头痛和头晕问题，(据报道，通过将图像移动到当前digitaleyetap更新中的视野中心，但未被系统地研究过，部分改进，仅收到了有限的评论，只关注部分问题和眼睛疲劳的问题，可以从近乎工作和“计算机视力疾病”发展。

然而，谷歌博士提供的有限公众评论反复声称，一般来说，glass作为光学浏览系统是故意用于occaisionaly，而不是延长或高频观看。

理解glyph方案的另一种方式是，最高级别遵循mann数字eyetap系统和结构布置，具有用于光隔离vr操作的实现的变化以及采用横向投影平面偏转光学设置。通过系统的当前光学视图。

在vrvana图腾中，从oculusvrrift的出发是采用jonbarrilleaux的“间接视图显示”方案，通过添加双目传统视频摄像机以允许在视频捕获的前向图像捕获和生成之间切换。在同一光学罩oled显示屏上进行仿真。vrvana在营销材料中表示，他们可以实施这种非常基本的“间接视图显示”，完全遵循barrilleaux确定的ar原理图和模式。显然，实际上oculusvr产生的任何其他vrhmd可以安装有这样的传统相机，尽管对hmd的重量和平衡有影响，但至少是这样。

从上述内容可以明显看出，在“视频透视hmd”类别中，或者在“间接视图显示”领域，除了夜视镜类别之外，几乎没有取得实质性进展，作为子类型已经很好地开发，但是除了在本领域已知的视频处理器方法中提供向实况图像添加文本或其他简单图形之外，其缺少任何ar特征。

另外，关于vrhmd的现有限制，所有这种采用oled和lcd面板的系统都遭受相对低的帧速率，这导致运动滞后和延迟，以及对一些用户的负面生理影响，属于“模拟病症”的广泛类别。还要注意的是，在电影院的数字立体投影系统中，采用诸如reald系统之类的商用立体声系统，为基于德州仪器dlpdmd的投影仪或基于sonylcos的投影仪实现，帧速率也不够高。据报道，在一些研究中，有一小部分观众参与了这项研究，其中有高达10％的患者出现头痛和相关症状。其中一些是这些人独有的，但其中很大一部分可以追溯到帧速率的限制。

而且，如上所述，oculusvr已经实施了“低持久性”缓冲系统，以补偿在写入时使用的oled显示器仍然不够高的像素切换/帧速率。

对现有vrhmd的性能的进一步影响是由于现有oled和lcd面板显示器的分辨率限制，这部分地有助于使用5-7“对角显示器并将其安装在距观察光学器件一定距离处的要求(和观众眼睛)以实现足够的有效分辨率)，有助于现有和计划产品的体积，尺寸和平衡，比大多数其他光学头饰产品大得多，体积更大，更重。

预期潜在的部分改进来自弯曲oled显示器的使用，可以预期其可以在不增加体积的情况下进一步改善fov。但是，以足够的数量投入市场，需要以可接受的产量对工厂产能进行大量额外规模投资的费用使得这一前景在短期内不太实用。它只能部分解决体积和尺寸问题。

为了完整起见，还必须提及用于观看视频内容但不交互地或具有任何运动感测能力的视频hmd，因此没有导航虚拟或混合的能力(混合现实/ar)世界。在过去的十五年中，这种视频hmd已经得到了实质性的改进，有效的fov和分辨率以及观看舒适性/人体工程学的增加，并提供了当前vrhmd已经能够利用和构建的发展路径和进步。但是，这些也受到所采用的显示技术的核心性能的限制，其模式遵循针对oled，lcd和基于dmd的反射/偏转光学系统所观察到的限制。

透明眼镜光学范例的投影图像的其他重要变化包括来自osterhoudtdesigngroup，magicleap和microsoft(hololens)的那些。

尽管这些变化具有一些相对的优点或缺点-相对于彼此以及前面详细描述的其他现有技术-它们都保留了基本方法的局限性。

更基本和普遍的共同点，它们也受到所采用的基本类型的显示/像素技术的限制，作为现有核心显示技术的帧速率/刷新，无论是快速lc，oled还是mems，以及是否采用机械扫描光纤输入或其他公开的用于将显示图像传送到观察光学系统的光学系统，所有这些仍然不足以满足高质量，易于观看(hvs)，低功率，高的要求分辨率，高动态范围和其他显示性能参数，分别和共同有助于实现大众市场，高品质的愉快ar和vr。

总结现有技术的状态，关于前面所述的细节：

·“高视敏度”vr在很多方面已经基本上从fov，潜伏期，头部/运动跟踪，重量轻，尺寸和体积得到改善。

·但帧速率/等待时间和分辨率以及显着的推论程度，重量，大小和体积受到可用核心显示技术的限制。

·现代vr限于在小的受控空间中静止或高度受限且有限的移动使用。

·vr基于光学透视系统的封闭版本，但配置为横向投影-偏转系统，其中slm通过一系列三个光学元件将图像投影到眼睛中，其性能受限于与标准眼镜镜片的总面积相比，反射图像扩展但不大于slm(dlpdmd，其他mems或felcos/lcos)的输出。延长观察“特写工作”的极端强烈版本以及眼睛肌肉需求的眼睛紧张风险是对实际接受度的进一步限制。slm型和尺寸显示器也限制了通过所引用技术的更高分辨率slm的缩放成本来提高分辨率和整体性能的实用途径。

·光学透视系统通常通过将眼肌使用限制到相对小的区域而具有相同的眼睛疲劳可能性，并且在这些约束内需要相对小且频繁的眼睛跟踪调整，并且需要更多比短暂的使用期限。谷歌眼镜的设计旨在通过将光学元件向上定位，并从直视前方的眼睛的直接静止位置来反映有限持续时间使用的期望。但是用户已经报道了眼睛疲劳，正如媒体通过googleglassexplorers的文字和访谈广泛记录的那样。

·由于需要在透视图中组织具有真实世界对象的标签，因此光学透视系统在重叠的半透明信息密度方面受到限制。即使对于图形信息显示应用，移动性和信息密度的要求也使得无源光学视图受到限制。

·“间接视图显示”的方面已经以夜视镜的形式实现，并且oculusvr竞争者vrvana仅提出了使其双目视频摄像机配备的图腾适应ar的建议。

·高提议虽然声称是光学透视显示器，但实际上更多是“间接视图显示”，具有准透视方面，通过使用slm设备，这样在改进的投影显示器中起作用，用于采样真实波前的一部分并且数字地改变该波前的部分。

介于初始波前部分的光学路由中的光学元件的数量(也是这里要添加的点，远小于传统镜片中传统镜片的光学区域)，其为七或接近对于这个数字，引入了图像像差，伪像和损耗的机会，但是在一个领域中需要复杂的光学对准系统，其中许多元素的这种复杂的自由空间对准不常见，并且当它们被要求时，是昂贵的，难以维护，而且不健壮。期望slm管理真实场景的波前改变的方法也没有针对特定要求指定或验证。协调2-4个显示器类型设备之间的信号处理(取决于双目系统的单眼)也不存在问题，包括确切地确定来自实场的像素是适当合成的像素的校准像素。在透视图中预先形成计算以在真实和合成元素之间建立适当关系的上下文已经非常苛刻，特别是当个人在信息密集，地形复杂的环境中移动时。安装在车辆上只会进一步加剧这个问题。

与构建如gao提出的光学装置的任务相比，或者甚至将其减小到相对紧凑的形状因子的任务，存在用于完整系统的开发的无数额外问题。尺寸，平衡和重量只是对各种处理和光学阵列单元的数量和暗示，必要位置的许多影响之一，但与引用的其他问题和限制相比，它们相对较小，尽管严重这种系统实际部署到现场使用，用于军事或加固工业用途或消费者使用。

·100％的“间接视图显示”在关键方面与高建议有类似的要求，除了显示类型单元的数量和对齐，光学系统，像素系统匹配和透视问题的细节因此，对于这种系统的所有关键参数应该需要与实时的，单独的透视实时透视图像协调的所需存储的合成cg3d映射空间的“强力”计算的程度产生疑问。问题变得越来越大，必须全部执行计算，前视摄像机捕获的视频图像，基本的barrilleaux和现在可能的vrvana设计，转发到非本地(到hmd和/或t)他/她自己的处理器用于与合成元素合成。

真正的移动系统需要什么，无论是vr还是ar，其实现对真实环境的沉浸和校准，如下：

·符合人体工程学的光学和观察系统，其最小化对人类视觉系统的任何非正常要求。这是为了实现更多的扩展使用，这是移动使用所暗示的。

·宽视场，理想情况下包括外围视图，120-150度。

·高帧速率，理想地为60fps/眼睛，以最小化通常由显示器引起的等待时间和其他伪像。

·高效分辨率，在单元与面部的舒适距离处。可用于测量最大值的有效分辨率标准要么是有效的8k，要么是“视网膜显示”。该距离应该类似于传统眼镜的距离，传统眼镜通常采用鼻梁作为平衡点。准直和光学路径光学器件是建立适当的虚拟焦平面所必需的，该虚拟焦平面也实现了这种有效的显示分辨率和光学元件到眼睛的实际距离。

·高动态范围，尽可能接近地匹配实时，真实视图的动态范围。

·在已知的形貌中确定头部和身体两者的定向的机载运动跟踪-无论是提前知道还是在佩戴者的视野范围内及时知道。这可以通过混合方案中的外部系统来补充。

·显示光学系统，其能够在真实场景波阵面和任何合成元件之间在人类视觉系统的环境中进行快速合成处理。应尽可能多地使用被动装置，以最小化车载(对hmd和佩戴者)和/或外部处理系统的负担。

·显示光学系统相对简单和坚固，光学元件很少，有源器件元件很少，有源器件设计简单，重量和厚度都很小，在机械和热应力下也很坚固。

·重量轻，体积小，重心平衡，以及形状因子，其适合于已知为专业用户所接受的设计配置，例如军事和加固环境工业用户，坚固耐用的运动应用程序，一般消费和业务使用。从诸如oakley，wiley，nike和adidas等眼镜制造商到奥克利，阿迪达斯，史密斯，zeal等其他专业运动护目镜制造商，这些因素也是如此。

·一种系统，其可以在vr体验之间可变地切换，同时保持完全移动性，以及可变遮挡，透视集成的混合观看ar系统。·一种系统，其既可以管理hvs的入射波长，又可以通过传感器及其混合物从这些感兴趣的波长获得有效信息。ir，可见光和uv是感兴趣的典型波长。

技术实现要素：

公开了一种系统和方法，用于以从解放设备和系统设计的方式重新构思捕获，分发，组织，传输，存储和呈现到人类视觉系统或非显示数据阵列输出功能的过程。这些过程的非优化操作阶段的功能受损，而是将光子信号处理和阵列信号处理阶段分解为操作阶段，允许最适合每个阶段的设备的优化功能，这在实践中意味着设计和操作设备在这些设备和过程最有效工作的频率中，然后进行有效的频率/波长调制/移位阶段在那些“便利频率”之间来回移动，以及进一步实现更有效的全光信号处理的净效果，本地和长途。

提供以下发明内容以便于理解与信号处理有关的一些技术特征，并且不旨在作为对本发明的完整描述。通过将整个说明书，权利要求书，附图和摘要作为一个整体，可以获得对本发明的各个方面的全面理解。

本发明的实施例可以涉及将集成像素信号“调制器”的组件分解成离散信号处理级，并因此分解为电信型网络，其可以是紧凑的或空间远程的。操作上最基本的版本提出了三级“像素信号处理”序列，包括：像素逻辑“状态”编码，其通常在集成像素调制器中完成，该集成像素调制器与颜色调制阶段分离，而颜色调制阶段又是与强度调制阶段分开。进一步详细说明了更详细的像素信号处理系统，其包括子级和选项，并且更加详细并且特别适合于磁光子系统的有效实现，并且包括1)有效的照明源级。哪个体光，优选不可见的近红外光，被转换成适当的模式并发射到信道化阵列中，并提供阶段2)，像素逻辑处理和编码；其次是3)可选的非可见能量过滤和恢复阶段；4)可选的信号修改阶段，以改善/修改信号分裂和模式修改等属性；5)频率/波长调制/移位以及附加带宽和峰值强度管理；6)可选的信号放大/增益；7)可选分析仪，用于完成某些mo型光阀切换；8)用于像素信号处理和分配的某些无线(级)的可选配置。另外，还有dwdm型。

提出了该系统的配置，其提供了全光网络的版本和路径，从而获得了主要的成本和效率：特别激励并且更有效地处理现场和记录的图像信息。最后，提出了新的混合磁光子器件和结构，并且其他先前对于本公开的系统不实用的其他设备和结构能够最大限度地利用像素信号处理系统并且围绕该系统最佳地配置这样的系统，包括新的和/或基于磁光和非磁光效应(如慢光和反磁光效应)杂交的设备的改进版本，实现新的基本开关，以及新的混合2d和3d光子晶体结构类型它可以为所有应用改进许多(如果不是大多数)mpc类型的设备。

在本公开的发明人的共同未决申请中，提出了一类新的显示系统，其将通常集成的像素信号“调制器”的组件分解成离散的信号处理级。因此，通常在集成像素调制器中实现的基本逻辑“状态”与与强度调制级分离的颜色调制级分离。这可以被认为是应用于可见图像像素调制问题的电信信号处理架构。通常，提出三个信号处理级和三个单独的装置组件和操作，但是可以添加和考虑附加的信号影响操作，包括极化特性，从常规信号到诸如极化子和表面等离子体的其他形式的转换，叠加信号(例如基本像素开/关状态叠加在其他信号数据上)等。宽带网络中的高度分布式视频信号处理架构，服务于相对“哑”的显示装置，基本上由后续阶段的无源材料组成，是一个主要的结果，以及紧凑的光子集成电路器件，其在相同的一个或多个器件之间以及在大型阵列中紧密接触的相同器件上实现串联的离散信号处理步骤。

在本公开中，改进的和详细版本的混合电信型，像素信号处理显示系统采用磁光/磁光子级/器件与其他像素信号处理级/器件相结合，尤其包括频率/波长调制/移位级和器件可以在一系列稳健的实施例中实现，还包括改进的和新颖的混合磁光/光子器件，不限于经典或非线性法拉第效应mo效应，但更广泛地包括非-互易mo效应和现象及其组合，还包括混合法拉第/慢光效应和基于克尔效应和基于法拉第和mo克尔效应的设备和其他mo效应的混合；并且还包括改进的“挡光板”结构，其中调制信号的路径与器件的表面在平面内折叠，以减小整个器件的特征尺寸；还包括准2d和3d光子晶体结构以及多层薄膜pc和表面光栅/极化pc的混合；以及mo和mach-zehnder干涉仪设备的混合。

因此，包括早先的基于mo的设备以及本文公开的改进的设备，本公开提出了一种电信类型或电信结构的像素信号处理系统，其具有以下像素信号处理的处理流程(或者同样地，pic，传感器或电信信号处理)阶段以及因此表征本公开的系统的体系结构(及其变体)：

本文所述的任何实施方案可以单独使用或以任何组合彼此一起使用。本说明书中包含的发明还可以包括在本简要概述或摘要中仅部分提及或暗示或未提及或暗示的实施方案。尽管本发明的各种实施例可能受到现有技术的各种缺陷的驱动，这些缺陷可在说明书的一个或多个地方讨论或暗示，但本发明的实施例不一定解决任何这些缺陷。换句话说，本发明的不同实施例可以解决可以在说明书中讨论的不同缺陷。一些实施例可以仅部分地解决一些缺陷或仅可以在说明书中讨论的一个缺陷，并且一些实施例可能不解决这些缺陷中的任何缺陷。

通过阅读本公开，包括说明书，附图和权利要求，本发明的其他特征，益处和优点将是显而易见的。

附图说明

附图中，相同的附图标记在各个视图中指代相同或功能相似的元件，并且包含在说明书中并形成说明书的一部分，进一步说明了本发明，并与本发明的详细描述一起，用于解释本发明的原理。

附图说明图1示出了可用于实现本发明实施例的成像架构；

图2示出了实现图1的成像架构的版本的光子转换器的实施例1使用光子转换器作为信号处理器；

图3示出了图1的光子转换器的一般结构；

图4示出了光子转换器的特定实施例；

图5示出了用于混合光子vr/ar系统的通用架构；和

图6示出了混合光子vr/ar系统的实施例架构。

具体实施方式

本发明的实施例提供了一种系统和方法，用于以释放设备的方式重新构思捕获，分发，组织，传输，存储和呈现到人类视觉系统或非显示数据阵列输出功能的过程。系统设计来自这些过程的非优化操作阶段的受损功能，而是将像素信号处理和阵列信号处理阶段分解为操作阶段，从而允许最适合每个阶段的设备的优化功能，实践意味着设计和操作频率为这些设备和过程最有效工作的设备，然后进行有效的频率/波长调制/移位阶段在“便利频率”之间来回移动，具有进一步提高效率的净效果全光信号处理，无论是本地还是长途。呈现以下描述以使得本领域普通技术人员能够制造和使用本发明，并且在专利申请及其要求的背景下提供以下描述。

对于本领域技术人员来说，对优选实施方案和本文所述的一般原理和特征的各种修改是显而易见的。因此，本发明不限于所示的实施例，而是与符合本文所述的原理和特征的最宽范围相一致。

定义

除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有与本发明总体构思所属领域的普通技术人员通常理解的含义相同的含义。将进一步理解，诸如在常用词典中定义的那些术语应被解释为具有与其在相关领域和本公开的上下文中的含义一致的含义，并且将不被解释为理想化的。或过于正式的意义，除非在此明确定义。

以下定义适用于关于本发明的一些实施方案描述的一些方面。这些定义同样可以在此扩展。

如本文所用，术语“或”包括“和/或”，并且术语“和/或”包括一个或多个相关所列项目的任何和所有组合。诸如“至少一个”之类的表达，当在元素列表之前时，修饰整个元素列表而不修改列表的各个元素。

如本文所用，除非上下文另有明确规定，否则单数术语“一”，“一个”和“该”包括复数指示物。因此，例如，除非上下文另有明确规定，否则对对象的引用可包括多个对象。

此外，如本文的描述和随后的权利要求中所使用的，“在...中”的含义包括“在......中”和“在......上”，除非上下文另有明确规定。应当理解，当一个元件被称为在另一个元件“上”时，它可以直接在另一个元件上，或者可以在它们之间存在中间元件。相反，当一个元素被称为“直接在”另一个元素上时，不存在中间元素。

如本文所用，术语“组”是指一个或多个对象的集合。因此，例如，一组对象可以包括单个对象或多个对象。集合的对象也可以称为集合的成员。集合的对象可以相同或不同。在某些情况下，集合的对象可以共享一个或多个公共属性。

如本文所用，术语“相邻”是指靠近或邻接。相邻的物体可以彼此间隔开，或者可以彼此实际或直接接触。在某些情况下，相邻的物体可以彼此连接或者可以彼此一体地形成。

如本文所使用的，术语“连接”，“连接”和“连接”是指直接附件或链接。如上下文所示，连接的对象没有或没有实质的中间对象或对象集。

如本文所使用的，术语“耦合”，“耦合”和“耦合”是指操作连接或链接。耦合对象可以彼此直接连接或者可以间接地彼此连接，例如通过中间对象集。

如本文所用，术语“基本上”和“实质上”是指相当程度或程度。当与事件或情况一起使用时，这些术语可以指事件或情况恰好发生的情况，以及事件或情况发生的近似情况，例如考虑典型的容差水平或可变性。这里描述的实施例。

如本文所用，术语“任选的”和“任选地”是指随后描述的事件或情况可能发生或可能不发生，并且该描述包括事件或情况发生的实例和事件或情况不发生的实例。

如本文所用，术语“功能装置”广义上是指从能量提供结构接收能量的能量消散结构。术语功能设备包括单向和双向结构。在一些实现中，功能设备可以是显示器的组件或元件。

如本文所用，术语“显示”广义上是指用于产生显示组分的结构或方法。显示组件是由显示图像基元前体产生的处理后的图像组成信号产生的显示图像组分的集合。图像基元前体有时在其他上下文中被称为像素或子像素。不幸的是，术语“像素”已经产生了许多不同的含义，包括来自像素/子像素的输出，以及显示图像的组成部分。本发明的一些实施例包括分离这些元件并形成附加中间结构和元件的实现，一些用于独立处理，这可以通过将所有这些元件/结构称为像素而进一步混淆，因此这里使用各种术语。明确地指代特定的组件/元素。显示图像基元前体发射图像组成信号，该图像组成信号可以由中间处理系统接收，以从图像组成信号产生一组显示图像基元。显示图像基元的集合，当通过显示器直接观察或由投影系统反射时，在预期的观看条件下向人类视觉系统呈现图像。在该上下文中的信号意味着信号发生器的输出，该信号发生器是或等同于显示图像基元前体。重要的是，只要需要处理，这些信号就作为信号保存在各种保持信号的传播信道中，而不会传输到自由空间，在这里自由空间信号产生扩展波阵面，该波阵面也与其他来源的扩展波阵面相结合。可用空间。信号没有手性并且没有镜像(即没有反转，倒置或翻转的信号，而图像和图像部分具有不同的镜像)。另外，图像部分不是直接相加的(如果可能的话，难以将一个图像部分重叠在另一个图像部分上以预测结果)并且处理图像部分可能非常困难。有许多不同的技术可用作信号发生器，不同的技术提供具有不同特性或益处的信号，以及不同的缺点。本发明的一些实施例允许混合组件/系统，其可以借助技术组合的优点，同时最小化任何特定技术的缺点。并入的美国专利申请no.12/371,461描述了能够有利地组合这些技术的系统和方法，因此术语显示图像基元前体因此覆盖像素技术的像素结构和子像素技术的子像素结构。

如本文所使用的，术语“信号”指的是来自信号发生器的输出，例如显示图像基元前体，其在产生信号时传达关于信号发生器的状态的信息。在成像系统中，每个信号是显示图像基元的一部分，当在预期条件下由人类视觉系统感知时，产生图像或图像部分。在这个意义上，信号是编码消息，即，编码消息的通信信道中的显示图像基元前体的状态序列。来自一组显示图像基元前体的同步信号的集合可以定义图像的帧(或帧的一部分)。每个信号可以具有可以与来自一个或多个其他信号的一个或多个特征组合的特征(颜色，频率，幅度，定时，但不具有手性)。

如本文所使用的，术语“人类视觉系统”(hvs)是指伴随对来自多个离散显示图像基元(直接视图或投影)的图像的感知和可视化的生物和心理过程。这样，hvs在接收传播的显示图像基元的合成并且基于接收和处理的那些基元来制定图像的概念时暗示人眼，视神经和人脑。对于每个人来说，hvs并不完全相同，但是人口的显着百分比有一般的相似之处。

图1示出了可用于实现本发明的实施例的成像架构100。本发明的一些实施例设想使用人类视觉系统(hvs)形成人类可感知图像-来自大量信号生成结构包括架构100.架构100包括：包括多个显示图像的图像引擎105原始前体(dipp)110i，i＝1到n(n可以是从1到数十，到数百到数千个dipp的任何整数)。适当地操作和调制每个dipp110i以产生多个图像组成信号115i，i＝1到n(来自每个dipp110i的单个图像组成信号115i)。处理这些图像构成信号115i以形成多个显示图像基元(dip)120j，j＝1至m，m小于，等于或大于n的整数.dip120j的集合/集合(诸如此类作为占据相同空间和横截面区域的一个或多个图像构成信号115i，当由hvs感知时将形成显示图像125(或者例如用于动画/运动效果的一系列显示图像)。当以合适的格式呈现时，hvs从dip120j重建显示图像125，例如以显示器上的阵列或屏幕，墙壁或其他表面上的投影图像。这是hvs从小的形状(例如“点”)的不同颜色或灰度阴影的阵列感知图像的熟悉现象，其相对于到观看者(和hvs)的距离足够小。因此，显示图像基元前体110i将对应于当参考从非复合颜色系统产生图像组成信号的设备时通常被称为像素的结构，并且因此将对应于通常被称为当参考从复合颜色系统产生图像组成信号的设备时的子像素。许多熟悉的系统采用复合颜色系统，例如rgb图像组成信号，来自每个rgb元件的一个图像组成信号(例如，lcd单元等)。不幸的是，在成像系统中使用术语像素和子像素来指代许多不同的概念-例如硬件lcd单元(子像素)，从单元发射的光(子像素)，以及当hvs感知到信号时(通常这些子像素已被混合在一起并且被配置成在用于观看的一组条件下对用户来说是不可察觉的)。架构100区分这些不同的“像素或子像素”，因此采用不同的术语来指代这些不同的组成元件。

架构100可以包括混合结构，其中图像引擎105包括用于dipp110的一个或多个子集的不同技术。也就是说，dipp的第一子集可以使用第一颜色技术(例如，复合颜色技术)来产生第一颜色技术。图像组成信号的子集和dipps的第二子集可以使用不同于第一颜色技术的第二颜色技术，例如，不同的复合颜色技术或非复合颜色技术)以产生图像组成信号的第二子集。这允许使用各种技术的组合来产生一组显示图像基元和显示图像125，其可以优于当从任何单一技术产生时。

架构100还包括信号处理矩阵130，其接收图像组成信号115i作为输入并在输出处产生显示图像基元120j。根据本发明实施例的任何特定实现的适合性和目的，矩阵130有许多可能的布置(一些实施例可以包括单维阵列)。通常，矩阵130包括多个信号通道，例如通道135通道160.对于矩阵130的每个通道存在许多不同的可能布置。每个通道与其他通道充分隔离，例如由离散光纤产生的光隔离因此，对于实现/实施例，一个信道中的信号不会干扰超过串扰阈值的其他信号。每个通道包括一个或多个输入和一个或多个输出。每个输入从dipp110接收图像组成信号115.每个输出产生显示图像基元120.从输入到输出，每个通道指示纯信号信息，并且在通道中的任何点处的纯信号信息可包括原始图像成分。信号115，一组一个或多个处理过的原始图像组成信号的分解，和/或一组一个或多个处理过的原始图像组成信号的聚合，每个“处理”可以包括一个或多个聚合或一个或多个信号的分解。

在这种情况下，聚合是指将来自sa编号sa>1的信道(这些聚合信号本身可以是原始图像组成信号，处理信号或组合)的信号组合成ta编号(1<ta<sa)信道和分解是指信道从sd号码sd≥1的信道(其本身可以是原始图像组成信号，处理信号或组合)划分为信道的td号(sd<o)。sa可能超过n，例如由于较早的分解而没有任何聚合，并且由于随后的聚合，sd可能超过m.一些实施例具有sa＝2，sd＝1且td＝2.然而，架构100允许聚合许多信号，这可以产生足够强的信号，使得它可以被分解成许多信道，每个信道具有足够的强度以用于实现。信号的聚合来自信道的聚合(例如，连接，合并，组合等)或相邻信道的其他布置，以允许由那些相邻信道传播的信号的连接，合并，组合等，并且信号的分解来自信道或其他信道配置的解聚(例如，分裂，分离，分割等)以允许由该信道传播的信号的分离，分离，分割等。在一些实施例中，可以存在信道的特定结构或元件以在多个信道中聚合两个或更多个信号(或者将信道中的信号分解成多个信道中的多个信号)，同时保持通过矩阵130传播的内容的信号状态。。

图1中描绘了许多代表性通道。通道135示出了具有单个输入和单个输入的通道。通道135接收单个原始图像组成信号115k并产生单个显示图像基元120k。这并不是说通道135可以不执行任何处理。例如，处理可以包括物理特性的变换。信道135的输入的物理尺寸尺寸被设计成匹配/补充其相应/相关联的dipp110的有效区域，其产生图像组成信号115k。输出的物理尺寸不需要与输入的物理尺寸尺寸相匹配-也就是说，输出可以是相对锥形或扩展的，或者圆形周边输入可以变成直线周边输出。其他变换包括信号的重新定位-虽然图像构成信号115i可以在图像构成信号1152附近开始，但是由通道135产生的显示图像基元1201可以位于由先前“远程”图像产生的显示图像基元120x的旁边。组成信号115x。这允许交错分离信号/基元的灵活性生产中使用的技术。对于个体或集体物理变换的这种可能性是矩阵130的每个信道的选择。

信道140示出了具有一对输入和单个输出的信道(聚合该对输入)。例如，信道140接收两个原始图像组成信号，信号1153和信号1154，并产生单个显示图像基元1202。信道140允许添加两个幅度，使得基元1202具有比任一组成信号更大的幅度。信道140还允许通过交织/多路复用组成信号来改善定时。例如，每个组成信号可以以30hz操作，但是所得到的图元可以以60hz操作。

信道145示出了具有单个输入和一对输出的信道(分解输入)。例如，信道140接收单个原始图像组成信号，信号1155，并产生一对显示图像基元-基元1203和基元1204.信道145允许再现单个信号，例如分成具有许多信号的两个并行信道。除了幅度之外，分解信号的特征。当振幅不是所希望的时，如上所述，可以通过聚合来增加振幅，然后分解可以产生足够强的信号，如图2所示的其他代表性通道所示1。

信道150示出了具有三个输入和单个输出的信道。包括信道150以强调实际上可以将任何数量的独立输入聚合成单个信道中的处理信号，以产生例如单个基元120s。

信道155示出了具有单个输入和三个输出的信道。包括信道150以强调单个信道(以及其中的信号)可以分别分解成几乎任何数量的独立但相关的输出和基元。在另一方面，信道155与信道145不同-即从输出产生的基元120的幅度。在信道145中，每个幅度可以被分成相等的幅度(尽管一些分解结构可以允许可变的幅度分离)。在信道155中，基元1206可以不等于基元1207和1208的振幅(例如，基元1206可以具有大约是基元1207和基元1208的振幅的两倍的振幅，因为不需要在同一节点处分解所有信号。)。对于基元1207和基元1208中的每一个，第一除法可以导致信号产生基元1206的一半，并且得到的一半信号进一步被分成两半。

信道160示出了包括三个输入的聚合和分解成一对输出的信道。包括信道160以强调单个信道可以包括信号的聚合和信号的分解。因此，在必要或期望的情况下，信道可以具有多个聚合区域和多个分解区域。因此，矩阵130凭借处理阶段170的物理和信号特征操纵(包括聚合和分解)而成为信号处理器。

在一些实施例中，矩阵130可以通过限定通道的物理结构的精确编织工艺来产生，例如用于一组光纤的提花编织工艺，其共同限定数千到数百万个通道。

概括地说，本发明的实施例可以包括耦合到图元生成系统(例如，矩阵130)的图像生成阶段(例如，图像引擎105)。图像生成阶段包括n个显示图像基元前体110.每个显示图像基元前体110i生成相应的图像组成信号115i。这些图像构成信号115i被输入到图元生成系统中。基元生成系统包括具有m个输入通道的输入级165(m可以等于n但不需要匹配-在图1中，例如一些信号不输入到矩阵130中)。输入通道的输入从单个显示图像基元前体110x接收图像组成信号115x。在图1中如图1所示，每个输入通道具有输入和输出，每个输入通道将其单个原始图像组成信号从其输入引导到其输出，输入级165有m个输入和m个输出。原始生成系统也是包括具有p个分配信道的分配级170，每个分配信道包括输入和输出。通常m＝n和p可以根据实施方式而变化。对于一些实施例，p小于n，例如，p＝n/2。在那些

在一些实施例中，分配信道的每个输入耦合到来自输入信道的唯一输出对。对于一些实施例，p大于n，例如p＝n*2.在那些实施例中，输入通道的每个输出耦合到分配通道的唯一输入对。因此，基元生成系统缩放来自显示图像基元前体的图像组成信号-在一些情况下，多个图像组成信号在分配通道中被组合作为信号，并且其他时候单个图像组成信号被分割并呈现为多个分配通道。。矩阵130，输入级165和分配级170存在许多可能的变化。

图2示出了实现图1的成像架构的版本的成像系统200的实施例。系统200包括编码信号的集合205，例如多个图像组成信号(在ir/近ir频率下)，其被提供给光子信号转换器215，光子信号转换器215产生数字图像基元225的集合220，优选地在可见频率，尤其是真实世界可见成像频率。

图图3示出了图1的光子信号转换器215的一般结构。转换器215接收一个或多个输入光子信号并产生一个或多个输出光子信号。转换器215调整输入光子信号的各种特性，例如信号逻辑状态(例如，开/关)，信号颜色状态(ir到可见)和/或信号强度状态。

图4示出了光子转换器400的特定实施例。转换器405包括有效光源405.源405可以例如包括ir和/或近红外源，以在后续阶段中实现最佳调制器性能(例如，led阵列发射在ir和/或近红外线)。转换器400包括可选的体光学能量源均化器410.均化器410提供在必要或期望时均匀化来自源405的光的偏振的结构。均化器410可以布置成用于主动和/或被动均质化。

接下来，按照来自光源405的光传播的顺序，转换器400包括编码器415.编码器415提供来自源405的光的逻辑编码，其可以被均匀化，以产生编码信号。编码器405可以包括混合磁光子晶体(mpc)，mach-zehnder，透射阀等。编码器415可以包括调制器的阵列或矩阵，以设置一组图像组成信号的状态。在这方面，各个编码器结构可以等效于显示图像基元前体(例如，像素和/或子像素，和/或其他显示光能信号发生器)。

转换器400包括可选的滤波器420，例如与平面偏转机构(例如，棱镜阵列/光栅结构)结合的偏振滤波器/分析器(例如，光子晶体介电镜)。

转换器400包括可选的能量重新捕获器425，其重新捕获来自源405的能量(例如，ir-近红外偏转能量)，其被滤波器420的元件偏转。

转换器400包括调节器430，其调制/移位从编码器415产生的编码信号的波长或频率(其可能已经由滤波器420滤波)。调节器430可以包括磷光体，周期性极化材料，震动晶体等。调节器430获取产生/切换的ir/近红外频率并将它们转换成一个或多个所需频率(例如，可见频率)。调节器430不需要将所有输入频率移位/调制到相同频率，并且可以将ir/近红外中的不同输入频率移位/调制到相同的输出频率。其他调整是可能的。

转换器400可选地包括第二滤波器435，例如用于ir/近红外能量，然后可选地包括第二能量重新捕获器440.滤波器435可以包括光子晶体介电镜)与平面偏转结构(例如，棱镜相结合阵列/光栅结构)。

转换器400还可以包括可选的放大器/增益调整445，用于调整一个或多个参数(例如，增加编码的，可选地滤波的信号幅度和频移信号)。可以通过调整445来调整其他或附加的信号参数。

图5示出了用于混合光子vr/ar系统505的通用架构500.架构500将系统505暴露于环境真实世界复合电磁波前，并产生用于人类视觉系统(hvs)的一组显示图像基元510。一组显示图像基元510可以包括或使用来自现实世界的信息(ar模式)，或者该组显示图像基元可以包括完全由合成世界产生的信息(vr模式)。系统505可以被配置为可选择性地以任一模式或两种模式操作。此外，系统500可以被配置为使得可以选择性地改变在ar模式中使用的一定数量的现实世界信息。系统505坚固且通用。

系统505可以以许多不同方式实现。一个实施例产生来自合成世界的图像组成信号，并在ar模式下将合成信号与从现实世界产生的图像组成信号(“现实世界信号”)交织。如所结合的专利申请12/371,461所述，可以使用隔离光学信道的信号处理矩阵对这些信号进行信道化，处理和分发。系统505包括信号处理矩阵，除了任何分布，聚合，分解和/或物理特征整形之外，该信号处理矩阵可以包含各种无源和有源信号操纵结构。

这些信号操纵结构也可以基于系统505的特定布置和设计目标而变化。例如，这些操纵结构可以包括真实世界界面515，增强器520，可视化器525和/或输出构造器。

接口515包括类似于显示图像基元前体的功能，其将现实世界的复合电磁波前沿转换为一组真实世界图像组成信号535，其被信道化并分布并呈现给增强器520。

如本文所述，系统505非常通用，并且存在许多不同的实施例。操纵结构的特征和功能可能受到各种考虑因素和设计目标的影响。所有这些在此不能明确地详述，但是阐述了一些代表性的实施方案。如所结合的专利申请和本文中所描述的，架构500能够采用技术的组合(例如，混合)，每个技术对于dip510组的一部分生产可能是特别有利的，以产生优越的整体结果。而不是依靠单一技术生产的所有部分。

例如，现实世界的复合电磁波前沿包括可见波长和不可见波长。由于dip510的集合还包括可见波长，因此可以认为信号535也必须是可见的。如本文所解释的，当信号535处于可见光谱中时，并非所有实施例都能够实现优异的结果。

系统505可以被配置为包括可见信号535使用。一些实施例的优点是使用hvs不可见的波长来提供信号535。如本文所用，电磁波谱的以下范围是相关的：

a)可见辐射(光)是波长在380nm和760nm(400-790太赫兹)之间的电磁辐射，其将被hvs检测并被感知为可见光；

b)红外(ir)辐射是不可见的(对于hvs)电磁辐射，其波长在1mm和760nm之间(300ghz-400thz)并且包括远红外线(1mm-10μm)，中红外线。(10-2.5μm)和近红外(2.5μm-750nm)。

c)紫外(uv)辐射是不可见的(对于hvs)电磁辐射，波长在380nm-10nm(790thz-30phz)之间。

不可见的现实世界信号实施例的接口515产生红外/近红外光谱中的信号535。对于一些实施例，期望使用将可见光谱的特定波长或波长带映射到红外光谱中的预定特定波长或波长带的光谱图来产生不可见信号535。这提供了允许信号535作为红外波长在系统505内有效处理的优点，并且包括允许系统505将信号535恢复为真实世界颜色的优点。

界面515可以包括其他功能和/或结构元件，例如过滤器，以从接收的真实世界辐射中去除ir和/或uv分量。在一些应用中，例如对于使用ir辐射的夜视模式，接口515将排除ir滤光器或将具有ir滤光器，其允许对所接收的现实世界辐射的一些ir辐射进行采样和处理。

接口515还将包括现实世界的采样结构，以将经滤波的接收的现实世界辐射转换为处理的现实世界图像组成信号的矩阵(类似于显示图像基元前体的矩阵)，其具有这些处理的现实世界图像成分信号被信道化为信号分配和处理矩阵。

信号分布和处理矩阵还可以包括频率/波长转换结构，以在ir光谱中提供经处理的现实世界图像成分信号(当需要时)。取决于稍后在系统505中执行的附加信号操作以及实现哪种编码/切换技术，接口515还可以预处理滤波的现实世界图像组成信号的所选特征，例如包括偏振滤波功能(例如，偏振滤波器)。ir/uv滤波的真实世界图像组成信号或偏振滤波器，分类和偏振均匀化等等。

例如，在系统505包括用于基于极化来修改信号幅度的结构或过程的情况下，接口515可以适当地准备信号535。在一些实施方案中，可能需要使默认信号幅度处于最大值(例如，默认“开启”)，在其它实施方案中，可能期望具有最小值的默认信号幅度(例如，默认“关闭”))和其他人可能有一些渠道在不同的条件下提供默认值，而不是全部在默认的on或默认的off。设置信号535的极化状态，无论是否可见，是接口515的一个作用。对于所有信号535或对于选择的信号子集535的其他信号特性也可以由接口515设置，如由设计目标，技术，和实施细节。

现实世界的信道化图像组成信号535被输入到增强器520.增强器520是系统505中的特殊结构，用于进一步的信号处理。该信号处理可以是对信号535进行操作的多功能，基于增强器520如何对它们进行操作，可以将一些或全部信号视为“直通”信号。这些多个功能可以包括：a)操纵信号535，例如，每个单独的真实世界图像组成信号的独立幅度控制，设置/修改频率/波长和/或逻辑状态等，b)产生一组具有所需特性的独立合成世界图像组成信号，和c)以所需比率将所产生的一组合成世界图像组成信号中的一些或全部“通过”现实世界图像组成信号交错以产生一组交错图像组成信号540。

除了接收的图像组成信号(例如，现实世界)的处理器之外，增强器520还是该组合成世界图像组成信号的产生者。系统505被配置成使得所有信号可以由增强器520处理。可以有许多不同的方式来实现增强器520，例如当增强器520是定义多个辐射阀门的多层光学装置复合时(每个门相关)对于一个信号)，一些门被配置为可能通过，单独接收一些现实世界信号用于可控通过，并且一些配置用于产生合成世界信号的门接收背景辐射，与通过信号隔离，用于生成合成世界图像组成信号。因此，在这种实施方式中用于生产合成世界的门从背景辐射产生合成世界信号。

如图所示，架构500包括多个(例如两个)独立的显示图像基元前体组，其被选择性地和可控地处理和合并。界面515用作一组显示图像基元前体，而增强器520用作第二组显示图像基元前体。第一组产生来自现实世界的图像组成信号，第二组产生来自合成世界的图像组成信号。原则上，架构500允许在系统505中可获得额外的一组显示图像基元前体(一个或多个使得总共三个或更多个显示图像基元前体)，其可以使图像组成信号的附加信道化组可用于增强器520用于处理。

在考虑架构500的一种方式中，增强器520定义了一组显示图像基元前体，其产生交织信号540，其中一些交错信号最初由一组或多组初步显示图像前体产生(例如，界面515产生真实世界图像组成信号，并且一些由增强器520直接产生。架构500不要求所有显示图像基元前体采用相同或互补的技术。通过以有组织的和预定的格式提供所有组成信号(例如，在独立信道中并且在与信号操纵兼容的公共频率范围中，例如，通过增强器520进行信号幅度调制)，架构500可以提供强大的，稳健的，以及对当前ar/vr系统的一个或多个缺点，限制和缺点的通用解决方案。

如本文所述，信道化信号处理和分配布置可以在信号传播通过系统505时聚合，分解和/或以其他方式处理各个图像组成信号。其结果是信号中的信号信道的数量。540可以与通过信号的数量和生成的信号的数量的总和不同。augmenter520将第一数量的真实世界通过信号与第二数量的合成信号交织(对于系统505的纯vr模式，第一数量为零)。在该上下文中交织的包括广泛地存在两种类型的信号，并且不意味着要求每个现实世界通过信号存在于与包括合成世界信号的另一信道物理相邻的信道中。通过系统505的信道分配属性可以独立地控制路由。

可视化器525接收交错信号520并输出一组可见信号545.在系统505中，信号540的合成世界图像组成信号在电磁波谱的不可见范围(例如，ir或近ir)中产生。在一些实施方式中，由增强器520通过的一些或所有现实世界信号535已经被转换为电磁频谱的不可见范围(其也可以重叠或完全或部分地包括在合成世界信号的范围内)。)。可视化器525执行频率/波长调制和/或非可见信号的转换。当使用不可见的伪彩色图定义和生成合成和现实世界的信号时，将适当的颜色恢复到频率修改的现实世界信号，并且合成世界可以根据真实世界颜色可视化。

输出构造器530从可见信号545产生一组显示图像基元510，以供hvs感知，无论是例如通过直视还是投影。输出构造器530可以包括合并，聚合，分解，信道重新排列/重定位，物理特征定义，射线整形等以及其他可能的功能。构造器530还可以包括一些或所有可见信号545的放大，带宽修改(例如，具有预先配置的定时关系的信号的多个信道的聚合和时间复用-即它们可以异相产生并且组合为信号以产生在任何流的频率的倍数处的信号流，以及其他图像组成信号操纵。180度相位差关系的两个流可以使每个流的频率加倍。120度相位关系的三个流可以使频率增加三倍，因此n＝1或更多个多路复用流的第四个流。并且彼此同相的合并流可以增加信号幅度(例如，两个同相流可以使信号幅度加倍，等等)。

图6示出了实现系统500的实施例的混合光子vr/ar系统600.系统600包括映射图6的系统600和系统505之间的对应结构的虚线框。

系统600包括可选的滤波器605，“信号器”610，真实世界信号处理器615，由辐射源625(例如，ir辐射)供电的辐射扩散器620，磁光子编码器630，频率/波长转换器如图635所示，信号处理器640，信号合并器645和输出整形器光学器件650.如本文所述，存在许多不同的实现和实施例，其中一些包括具有不同要求的不同技术。例如，一些实施例可以使用可见光谱中的辐射并且不需要用于波长/频率转换的元件。对于纯vr实现，不需要现实世界的信号处理结构。在某些情况下，需要或期望最小化后可视化合并和整形。架构500非常灵活，可以适应优选的一组技术。

过滤器605从界面515上发生的环境真实世界的照明中去除不需要的波长。不需要的东西取决于应用和设计目标(例如，夜视镜可能需要一些或所有ir辐射，而其他ar系统可能希望去除uv/ir辐射。

信号器610用作显示图像基元前体，以将滤波的入射现实世界辐射转换成真实世界图像组成信号，并将各个信号插入信号分配器级的光学隔离通道中。这些信号可以基于复合或非复合成像模型。

处理器615可以包括用于过滤偏振和/或滤波，分类和均匀化偏振的偏振结构，当现实世界中的一些或全部通过图像组成信号将被转换为不同时，波长/频率转换器频率(例如，ir)。

扩散器620从辐射源获取射线并为编码器630建立背景辐射环境以生成合成世界图像组成信号。漫射器620保持与现实世界隔离的背景辐射通过通道。

编码器630同时接收并处理现实世界的通过信号(例如，它能够调制这些信号等)并产生合成世界信号。编码器630对来自现实世界和来自合成世界的信号进行交织/交替，并将它们保持在光学隔离的信道中。在图1中在图6中，现实世界信号被描绘为填充箭头，并且合成世界信号被描绘为未填充箭头以示出交错/交替。图。图6并不意味着暗示编码器630需要拒绝现实世界信号的重要部分。编码器630可以包括许多显示图像基元前体类型结构的矩阵，以处理所有现实世界信号和所有合成世界信号。

当存在时，转换器635将不可见信号转换为可见信号。因此，转换器635可以处理合成世界信号，现实世界信号或两者。换句话说，可以在各个信号分配信道上启用该转换。

当存在时，信号处理器640可以修改信号幅度/增益，带宽或其他信号修改/调制。

当存在时，信号合并器645可以组织(例如，聚合，分解，路由，分组，聚类，复制等)来自可视化器525的信号。

当存在时，输出整形器光学器件650执行任何必要或期望的信号整形或其他信号操纵，以产生hvs可感知的所需显示图像基元。这可以包括直视，投影，反射，组合等。路由/分组可以实现3d成像或其他视觉效果。

系统600可以实现为功能性光子组件的堆叠，有时是集成的，功能性光子组件从产生它们的时间开始接收，处理和传输离散的光学隔离通道中的信号，直到它们被包括在显示器中。用于传播到hvs的图像前体，作为其他显示图像前体中的其他信号的一部分。

本发明的领域不是单一的，而是组合了两个相关领域，增强现实和虚拟现实，但是寻址和提供集成的移动设备解决方案，其解决了两个领域中的现有技术的关键问题和限制。对这些相关领域的背景的简要回顾将明确要解决的问题和限制，并为本公开的提出的解决方案设定阶段。

这些术语的两个标准字典定义(来源：dictionary.com)如下：

虚拟现实：“使用交互式软件和硬件的计算机系统对环境进行逼真的模拟，包括三维图形。缩写：vr。

增强的现实：“在屏幕或其他显示器上观看的增强的图像或环境，通过在真实世界环境中叠加计算机生成的图像，声音或其他数据而产生。并且：”用于的系统或技术产生这样一个增强的环境。缩写：ar。

从定义中可以明显看出，尽管是非技术性的，并且对于这些相关领域的技术人员而言，本质区别在于模拟元素是否是完整的沉浸式模拟，完全甚至是对现实的局部直接观察。，或者模拟元素超过了对现实的清晰，无障碍的观点。

在该主题的维基百科条目下提供稍微更多的技术定义，考虑到对页面编辑的贡献的深度和范围，可以认为该字段被充分表示。

虚拟现实(vr)，有时被称为沉浸式多媒体，是计算机模拟的环境，其可以模拟现实世界或想象世界中的物理存在。虚拟现实可以重现感官体验，包括虚拟品味，视觉，嗅觉，声音，触觉等。

增强现实(ar)是物理现实世界环境的实时直接或间接视图，其元素通过计算机生成的感觉输入(例如声音，视频，图形或gps数据)来增强(或补充)。

固有但仅隐含在这些定义中的是移动观点的基本属性。将虚拟或增强现实与更一般的计算机模拟类别区分开来，无论是否与任何组合，融合，综合或与“实时”，“直接”现实成像(本地或远程)相结合，都是模拟或混合(增强的或“混合的”)现实“同时真实”的图像是当观看者在现实世界中移动时观察者的观点随观察者移动。

本公开提出，需要这种更精确的定义来区分沉浸式显示和经验模拟世界(模拟器)的静态导航，以及模拟世界的移动导航(虚拟现实)。然后，模拟器的子类别将是“个人模拟器”，或者至多是“部分虚拟现实”，其中固定用户配备有沉浸式hmd(头戴式显示器)和触觉接口(例如，运动跟踪手套)。它可以实现模拟世界的部分“虚拟现实”导航。

另一方面，cave系统将示意性地限定为有限的虚拟现实系统，因为仅通过可移动楼层可以实现超过cave的尺寸的导航，并且一旦cave本身的限制。达成了，接下来会是另一种形式的“部分虚拟现实”。

注意“移动”观点与“可移动”观点之间的差异。计算机模拟，例如视频游戏，是模拟世界或“现实”，但除非模拟世界的探险家亲自动态，或指导另一个人或机器人的运动，否则所有可以说(尽管这是在过去的四十年中，计算机图形学的主要成就是简单地“建立”软件中可被探索的模拟环境，即模拟世界是“可导航的”。

对于虚拟或混合(作者的首选术语)现实的模拟，一个重要的，定义的特征是模拟(无论是完全合成还是混合)到真实空间的映射。这样的真实空间可以像实验室或声场内的房间一样基本，并且仅仅是以某种比例映射和校准模拟世界的网格。这种区分不是评价性的，作为部分vr，其提供实时自然界面(头部跟踪，触觉，听觉等)而无需移动或映射到实际的真实地形，无论是自然的，人造的或者混合动力，并不比模拟物理交互并提供感官沉浸的部分vr系统的价值低得多。但是，没有足够的反馈系统，或者更普遍的是，全身，运动范围反馈系统和/或动态可变形的机械接口-交互表面，它支持用户模拟但是(他们的感觉)完全-任何地形上的身体运动，任何静止的，无论是站立，坐着还是斜倚，vr系统根据定义是“偏”的。

但是，在没有这种理想的全身物理接口/反馈系统的情况下，将vr限制为“完全”和完全移动版本会将vr世界的地形限制为可以在真实世界中找到的地形。世界，修改或从头开始构建。这种限制将严重限制虚拟现实体验的范围和能力。

但是，如将在即将公开的内容中显而易见的，这种区别产生差异，因为它为现有vr和ar系统如何不同及其局限性设置了“亮线”，并且提供了通知教学的背景。

已经确定了模拟的缺失但必要的特征和要求是完整的“虚拟现实”，下一步是识别通过什么方式实现的“移动观点”的隐含问题。答案是，提供移动模拟的视图需要两个组件，它们本身通过硬件和软件的组合实现：运动图像显示装置，通过它可以查看模拟，以及运动跟踪装置，它可以跟踪包括3个运动轴的显示器的设备的运动，这意味着从最少三个跟踪点测量三维观察设备随时间的位置(两个，如果测量设备被映射，则可以推断第三轴上的第三个位置，并且相对于3轴参照系，其可以是映射到真实空间的任何任意3d坐标系，尽管为了实际目的机械地导航该空间，2轴将形成一个地平面，重力水平，第三轴z，垂直于该地平面。

实际上，作为时间的函数准确且频繁地实现该位置定向的解决方案需要传感器和软件的组合，并且这些解决方案的进步代表了vr和ar领域的发展的主要载体。硬件/软件移动查看设备和系统。

这些是相对较新的领域，就最早的实验与现今的实用技术和产品之间的时间框架而言，足以记录两个类别的起源和当前的最新技术水平。移动视觉模拟系统的例外情况除了现有技术中的特定创新之外，这些创新对于本公开的发展具有重要意义，或者与用于更好地解释该领域当前问题的重要差异点或相似点有关。或者将本公开的解决方案与现有技术区分开来。

从1968年到九十年代后期的时期跨越了相关模拟和模拟器，vr和ar领域中的许多创新的时期，其中实现实际vr和ar的许多关键问题找到了初始或部分解决方案。

ivansutherland和他的助手bobsprouell从1968年开始的开创性实验和实验性头戴式显示系统通常被认为是标记这些相关领域的起源，尽管早期的工作，基本上概念开发已经在此之前，第一个实验实施任何形式的ar/vr实现沉浸和导航。

固定模拟器系统的诞生可以追溯到将计算机生成的成像添加到飞行模拟器，这通常被认为是在1960年代中后期开始的。这仅限于crt的使用，在crt与用户之间显示全焦距图像，直到1972年，当singer-link公司推出准直投影系统时，通过光束投射远焦图像-分光镜系统，它将视场改进到每单位约25-35度(100度，单个飞行员模拟器中使用三个单元)。

该基准仅在1982年由rediffusion公司改进，引入了广视场系统，广角无限显示系统，通过使用多个投影仪实现了150度，最终达到了240度fov。一个大而弯曲的准直屏幕。正是在这个阶段，固定模拟器可能被描述为最终在虚拟现实中实现了显着程度的真实沉浸，使用hmd来隔离观察者并消除外围的视觉提示干扰。

但当时singer-link公司正在推出用于模拟器的屏幕准直系统，作为vr型体验的踏脚石，第一款非常有限的商用头盔式显示器首先被开发用于军事用途，其中集成了基于掩模版的电子瞄准系统，具有头盔本身的运动跟踪。这些最初的发展一般被认为是南非空军在20世纪70年代以初步形式实现的(随后是当时和七十年代中期的以色列空军)，可以说是一个开始。基本的ar或中介/混合现实系统。

这些早期的，图形最小但仍然开创性的头盔式系统，其实现了覆盖在掩模版和用户致动的运动跟踪目标上的位置协调的目标信息的有限合成，之后是stevemann的发明。第一个“中立现实”移动浏览系统，第一代“eyetap”，它将图形叠加在眼镜上。

mann的后续版本采用光学重组系统，基于合并实际和处理图像的光束分离器/组合器光学器件。这项工作先于chunyugao和augmentedvisioninc的后期工作，后者基本上提出了一种双mann系统，将处理后的真实图像和生成的图像进行光学组合，mann的系统完成了处理过的-电子和电子生成。在man的系统中，保留了通过图像的实时视图，但是在gao的系统中，所有的视域图像都被处理，即使作为一个选项，也可以消除任何直接的视图图像。(chunyugao，2013年4月13日提交的美国专利申请20140177023)。由gao的系统指定的“光路折叠光学”结构和方法可以在其他光学hmd系统中找到。

到1985年，jaronlanier和vplreseearch成立以开发hmd和“数据手套”，因此，到1980年代，模拟，vr和ar的三个主要发展路径与mann，lanier和redefussion公司是一个非常活跃的发展领域，它归功于一些最关键的进步和一些基本解决方案类型的建立，在大多数情况下，它们一直持续到现在和最先进的水平。

计算机生成成像(cgi)的复杂化，具有实时交互式cg技术的游戏机(硬件和软件)的持续改进，多个系统之间的更大系统集成，以及ar的扩展，并且到更有限的程度，vr流动性是1990年代的主要发展趋势之一。

cave系统由芝加哥伊利诺伊大学电子可视化实验室开发，于1992年在全球首次亮相，推出了有限形式的移动vr和新型模拟器。(carolinacruz-neira，danieljsandin，thomasa.defanti，robertv.kenyon和johnc.hart。“cave：audiovisualexperienceautomaticvirtualenvironment”，acmcommunications，vol.35(6)，1992，pp.64-72。除了lanier的hmd/数据手套组合外，cave还将wfov多壁模拟器“舞台”与触觉界面相结合。

同时，路易斯罗森伯格在阿姆斯特朗美国空军研究实验室开发了一种静止部分ar，其“虚拟夹具”系统(1992)，以及jonathanwaldern的固定“虚拟”vr系统，早在1985年至1990年期间，它就被认为是最初的开发项目，也将于1992年在商业上首次亮相。

集成到多单元移动车辆“战争游戏”系统中的移动ar，在“增强模拟”(“augsimm”)中组合真实和虚拟车辆是以loralwdl的形式看到其下一个重大进步，1993年向业界展示。随后于1999年撰写“将增强现实应用于现场培训的经验和观察”，项目参与者，peculiartechnologies的jonbarrilleaux评论了1995年sbir最终报告的结果，并指出了什么是，即使到目前为止，移动vr和(移动)ar面临的持续问题：

ar与vr跟踪

通常，为vr开发的商业产品具有良好的分辨率，但缺乏ar所需的绝对准确度和广域覆盖范围，更不用于它们在augsim中的使用。

vr应用-用户沉浸在合成环境中-更关注相对跟踪而非绝对准确性。由于用户的世界是完全合成的和自我一致的，他/她的头部刚好转过0.1度的事实比在10度以内知道它现在指向正北方要重要得多。

ar系统，如augsim，没有这种奢侈品。ar跟踪必须具有良好的分辨率，以便虚拟元素在用户的头部转动或车辆移动时看起来在现实世界中平滑移动，并且它必须具有良好的准确性，以便虚拟元素正确地覆盖并被现实世界中的对象遮挡。

随着计算和网络速度在九十年代持续改善，露天ar系统中的新项目被启动，包括在美国海军研究实验室，bars系统，“bars：战场增强现实系统”，simonjulier，yohanbaillot，marcolanzagorta，dennisbrown，lawrencerosenblum；北约军事系统信息处理技术研讨会，2000年。摘要：“该系统由可穿戴计算机，无线网络系统和跟踪透视头戴式显示器(hmd)组成。用户对环境的感知得到增强通过将图形叠加到用户的视野上。图形与实际环境一起注册(对齐)。“

非军事特定的发展也在进行中，包括nara科学技术研究所的hirokazukato，artoolkit的工作，后来在hitlab发布并进一步开发，hitlab引入了软件开发套件和协议。视点跟踪和虚拟对象跟踪。

尽管其他研究人员和公司在该领域中活跃，但这些里程碑在此期间经常被认为是最重要的。

虽然用于大规模开发和用于训练模拟的ar的军事资金已被充分记录，并且对这种显而易见的其他系统级设计和系统演示的需求正在与军事资助的研究工作同时进行。

最重要的非军事实验之一是视频游戏quake的ar版本，arquake，由brucethomas在可穿戴设备上发起并领导的开发南澳大利亚大学计算机实验室，发表在“arquake：户外/室内增强现实第一人称应用”，第4届可穿戴国际研讨会computers，pp139-146，atlanta，ga，2000年10月；(thomas，b.，close，b.，donoghue，j.，squires，j.，debondi，p.，morris，m。和piekarski，w。)。摘要：“我们提出了一种基于gps，数字罗盘和基于视觉点跟踪的低成本，中等精度六自由度跟踪系统的架构。”

在1995年开始设计开发的另一系统是由本公开的作者开发的系统。最初旨在实现露天增强现实和电视节目的混合，被称为“无尽的直播”，该设计在九十年代后期得到进一步发展，其基本要素于1999年完成，当时商业上的努力为原始视频游戏提供资金/电视混合动力车推出，然后包括另一个版本，用于高端主题度假村开发。到2001年，它正在以保密方式向包括ridley和tonyscott公司在内的公司披露，特别是他们的合资企业airtightplanet(其他合作伙伴包括rennyharlin，jeangiraud和欧洲重金属)，本公开作为监督业务的执行人员，并将当时的“其他世界”和“其他世界工业”项目和风险投资作为与atp投资和合作的拟议合资企业。

以下是1999/2000年最终确定的系统设计和组件的摘要：

摘自“其他行业商业提案文件”(存档文件版本，2003年)；技术背景：最先进技术的专有集成“开放式”模拟和移动虚拟现实：工具，设施和技术：

这仅是相关技术的部分列表和概述，它们一起形成专有系统的主干。一些技术组件是专有的，一些来自外部供应商。但是结合了经过验证的组件的独特系统将是绝对专有的-并且具有革命性：

与vr-alteredworld相互作用：

1)移动军用级vr设备，用于将客人/参与者和参与者沉浸在otherworld的vr增强景观中。虽然他们的“冒险”(也就是他们探索度假村周围的otherworld的每一个动作)都是通过移动动作捕捉传感器和数码相机(带自动消光技术)，客人/玩家和员工/演员实时捕捉的通过他们的遮阳板可以看到彼此以及计算机模拟图像的叠加。遮阳板是双筒望远镜，半透明平板显示器或双筒望远镜，但不透明的平板显示器，前面贴有双目相机。

由平板显示器叠加在视场中的这些“合成元件”可包括景观的改变部分(或整个景观，数字地改变)。实际上，那些取代真实存在的“合成”景观部分是基于度假村各个部分的原始3d摄影“捕捉”而生成的。(见下面的#7)。作为计算机中准确的基于照片的几何“虚拟空间”，可以以任何方式对它们进行数字改变，同时保持原始捕获的照片真实质量和几何/空间精度。这使得相同空间的实时数字摄影和改变的数字部分的精确组合。

由平板显示器叠加的其他“合成元件”包括计算机生成或改变的人，生物，大气fx和“魔术”。这些通过显示(透明或不透明)显示为视野的真实元素。

通过使用定位数据，客人/运动员和雇员/演员的运动捕捉数据，以及通过多个数码相机对其进行实时遮罩，所有这些都被校准到每个的先前“捕获”版本。度假区的区域(见下面的#4和5)，合成元素可以实时绝对精确地匹配通过显示器显示的真实元素。

因此，照片真实的计算机生成的龙似乎可以通过真正的树后面，回来，然后飞到并登陆度假村的真正城堡-然后龙可以“燃烧”计算机生成的火灾。在平板显示器(半透明或不透明)中，火焰似乎使城堡的上部“变黑”。实现这种效果是因为通过遮阳板，城堡的上部已被系统文件中城堡的3d“捕获”的计算机改变版本“遮盖”。

2)物理电光机械齿轮用于真实人与虚拟人，生物和外汇之间的战斗。“触觉”界面提供运动传感器和其他数据，以及振动和阻力反馈，允许真人与虚拟人，生物和魔法的实时交互。例如，“支柱”剑柄形式的触觉设备在客人/玩家摆动时提供数据，当客人/玩家看起来“打击”虚拟食人魔时提供物理反馈，以实现战斗的幻觉。所有这些都是实时组合并通过双目平板显示器显示。

3)开放场运动捕获设备。移动和固定动作捕捉设备装置(类似于用于thematrix电影的装备)在整个度假区内部署。由访客/玩家和雇员/演员佩戴的主题“装备”上的数据点由摄像机和/或传感器跟踪，以提供运动数据，用于与vr遮阳板中的双目平板上显示的视野中的虚拟元素交互。

动作捕捉数据的输出使得(具有足够的计算渲染能力和运动编辑和动作库的使用)cgi改变版本的客人/玩家和员工/演员沿着第二和第三的咕噜角色的原则成为可能“指环王”的电影。

4)利用laas和gps数据，实时激光测距数据和三角测量技术(包括来自molleraerobotuav)的运动捕获数据的增强。附加的“定位数据”允许对实时和合成元素进行更有效(和纠错)的集成。

来自无人机制造商的新闻稿：

7月17日。一周前，霍尼韦尔签订了一份合同，用于建立局域增强系统(laas)站的初始网络，一些测试站已在运行。该系统可以准确地引导飞机在机场(和直升机场)着陆，精度为英寸。laas系统预计将于2006年投入使用。

5)开放场“播放”的自动实时消光。结合允许与模拟元素交互的动作捕捉数据，度假客人/参与者将使用p24(或等效)数码相机进行数字成像，使用专有的automatte软件，自动隔离(遮罩)适当的元素与视图与合成元素集成。该技术将成为用于确保在叠加数字元素时正确分离前景/背景的套件之一。

6)军用级仿真硬件和技术与最先进的游戏引擎软件相结合。结合来自运动捕捉系统的数据，通过军事模拟软件和游戏引擎软件集成用于与诸如道具剑，合成元素和实时元素(乱蓬蓬或完整)之类的“合成”元素交互的触觉设备。

这些软件组件提供ai代码，以动画合成人和生物(ai-或人工智能-软件，如用于在指环王电影中为军队制作动画的massive软件)，生成逼真的水，云，火等，以及否则就像电脑游戏和军事模拟软件一样整合和组合所有元素。

7)基于图像的真实位置捕获，以基于图像的技术创建逼真的数字虚拟集，由pauldebevec博士(矩阵的“子弹时间”fx的基础)开创。

“基础”虚拟位置(度假村的内部和外部)与现实世界无法区分，因为它们是从照片和“捕获”时的位置的真实照明得出的。一系列高质量的数字图像，结合光探头和激光测距数据的数据，以及适当的“基于图像”的图形软件，都是在计算机中重建真实虚拟3d空间所需的一切。与原始版本完全匹配。

尽管从真实的城堡内部和周围乡村的外部位置捕获“虚拟集合”，但是一旦将这些“基础”或默认版本数字化，具有照明参数和来自最初的确切时间的所有其他数据。捕获，可以被改变，包括照明，添加的元素在现实世界中不存在，并且存在的元素被改变和“打扮”以创建我们世界的幻想版本。

当客人/玩家和员工/演员穿过度假村中的各个点处的“网关”时(“网关”是从“我们的世界”到“其他世界”的有效“交叉点”)，校准过程需要地点。此时，在“网关”处定位来自访客/玩家或雇员/演员的数据，以将计算机中的虚拟空间“锁定”到“网关”的坐标。计算机“知道”通过上述基于图像的“捕获”过程获得的关于其整个度假村的虚拟版本的网关点的坐标。

因此，计算机可以将其虚拟度假村与其放入vr护目镜之前的客户/玩家或雇员/演员所看到的一起“排列”。因此，通过半透明版本的双目平板显示器，如果虚拟版本叠加在真实度假村上，那么非常精确地匹配另一个。

或者，使用“不透明”双目平板显示器护目镜或头盔，佩戴者可以自信地与头盔一起行走，仅在他面前看到度假村的虚拟版本，因为虚拟世界的景观将匹配正是他实际走过的风景。

当然，可以通过护目镜向他展示的将是改变的红色天空，沸腾的风暴云，实际上并不存在，以及顶部有龙的城堡栏杆，只是“放火”到城堡城垛。

以及1000名矿石的军队在远处的山上充电！

8)度假村的超级计算机渲染和模拟设施。一个关键资源将使极高质量，接近功能的电影质量模拟成为一个超级计算机渲染和模拟复杂的现场每个度假村。

独立电脑游戏机(playstation2，xbox，gamecube)以及台式电脑的电脑游戏在图形和游戏方面的改进是众所周知的。

然而，考虑到游戏体验的改进基于单个控制台或个人计算机的处理器和支持系统的改进。想象一下，然后将超级计算中心的容量置于游戏体验之后。仅此一点就是图形和游戏质量的巨大飞跃。这只是移动vr冒险的一个方面，将是其他世界的体验。

从对前述内容的回顾中可以明显看出，并且对于相关领域的技术人员来说是显而易见的，这些领域是vr，ar和更广泛的模拟领域，提出的个人硬件或软件系统。改进现有技术必须考虑更广泛的系统参数，并明确这些系统参数的假设，以便进行适当的评估。

本提案的实质内容，其重点是属于便携式ar和vr技术类别的硬件技术系统，并且实际上是两者的融合，但是其最优选的版本是可穿戴技术，以及首选的可穿戴版本，是一种hmd技术，只考虑或重新考虑它所属的整个系统，才能成为一种完美的解决方案。因此，需要提供更大的vr，ar和模拟系统的历史，因为例如，新hmd技术的提议和商业产品的趋势太窄，没有考虑到，也没有审查，系统层面的假设，要求和新的可能性。

对hmd技术发展中的主要里程碑进行类似的历史回顾是不必要的，因为在系统层面的更广泛的历史将是必要的，以提供可用于帮助解释其局限性的框架。hmd中现有技术的现有技术和现状，以及所提出的解决方案的原因以及所提出的解决方案解决所识别问题的原因。

足以理解和识别现有技术在hmd中的限制的内容始于以下内容。

在头戴式显示器的类别中(为了本公开的目的，包含头盔式显示器)，到目前为止已经识别出两种主要的子类型：vrhmd和arhmd，遵循这些的含义。这里已经提供了定义，并且在arhmd的类别中，已经使用两个类别来区分这些类型是“视频透视”或“光学透视”(更常被简称为“光学hmd”。

在vrhmd显示器中，用户观看单个面板或两个单独的显示器。这种hmd的典型形状通常是护目镜或面罩的形状，尽管许多vrhmd具有焊接头盔的外观，其具有大体积的封闭遮阳板。为了确保最佳的视频质量，沉浸感和没有分心，这种系统是完全封闭的，显示器周围的外围是一种吸光材料。

本公开的作者先前在并入的美国临时申请“用于磁光设备显示的系统，方法和计算机程序产品”中提出了两种类型的vrhmd。其中一个人简单地提出用这种应用的主要目的的晶片型实施例替换传统的直视lcd，第一种实用的磁光显示器，其优越的性能特征包括极高的帧速率，以及其它优点。整体上改进了显示技术，并且在该实施例中，用于改进的vrhmd。

根据本公开的教导，预期的第二版本是一种新的远程生成的图像显示器，其将例如在车辆驾驶舱中生成，然后经由光纤束传输，并且然后通过一种特殊的光纤阵列结构(在应用中公开的结构和方法)进行分配，建立在光纤面板的经验基础上，采用新的方法和结构，通过光纤进行远程图像传输。

尽管核心mo技术最初没有针对hmd进行产品化，而是针对投影系统，但是这些发展与本提案的一些方面相关，并且此外本领域不是公知的。特别地，第二版本公开了一种方法，该方法在使用光纤从未集成到hmd光学器件中或附近的图像引擎传送视频图像的其他更新近的提议之前公开。

关于全封闭vrhmd对于具有均匀楼层的严格控制的舞台环境的移动性的实用性的关键考虑因素是，为了使移动安全，导航的虚拟世界必须在1：1内映射对人类运动，对真实表面形貌或运动路径安全的偏差。

然而，正如已经由loralwdl的barrilleaux等研究人员观察和得出的结论，bars的开发者，以及过去近四分之一世纪的开发中该领域的其他研究人员一直认为，对于ar系统来说，系统是实际上，必须在虚拟(合成的，cg生成的图像)与现实世界的地形和建筑环境之间获得非常紧密的对应关系(包括(因为这并不奇怪)用于城市战争的军事系统的发展)移动车辆的几何形状。

因此，更一般情况是，对于vr或ar以移动形式启用，在任何“虚拟”或合成元素与任何现实世界元素之间必须存在1：1的位置对应关系。

在arhmd的类别中，“视频透视”和“光学透视”之间的区别是直接通过透明或半透明像素阵列观看的用户与直接布置的显示器之间的区别。在观察者面前，作为眼镜光学器件本身的一部分，并通过半透明的投影图像观察也直接设置在观察者前面的光学元件上，从一个(通常是直接相邻的)微显示器产生并传送通过形式的光学继电器到面对的光学元件。

主要且可能仅部分实用类型的直接透视显示器透明或半透明显示系统(历史上)是配置为没有照明背板的lcd-因此，具体地，ar视频透视眼镜保持观看一种或多种光学元件，包括透明光学基片，其上已制成lcd光调制器像素阵列。

对于类似于原始mann“eyetap”的应用，其中文本/数据直接显示或投影在面对的光学器件上，不需要校准到真实世界的地形和物体，尽管某种程度的位置相关性是有帮助的用信息文本对视野中的项目进行上下文“标记”。这就是googleglass产品的主要目的，尽管作为本公开的起草，许多开发人员都专注于开发ar类型的应用程序，这些应用程序在现场场景中施加的不仅仅是文本。

除了在近似2d平面或粗视锥中的松散邻近位置相关性之外，对视频或光学透视系统的用户的视野中的地形或物体进行这种“校准”的主要问题。，是确定观察者环境中物体的相对位置。如果没有参考和/或大致实时的空间定位数据和局部环境的3d映射，则不能执行没有明显不一致的透视和相对尺寸的计算。

除了相对尺寸之外，从任何观察点的透视的关键方面是真实的照明/阴影，包括根据照明方向的阴影。最后，从任何给定的观看位置遮挡物体是感知透视和相对距离和定位的关键光学特征。

不存在视频透视或光学透视hmd，或者可以独立于如何提供这样的数据以在视频或光学透视类型系统中实现或者实际上用于移动vr的问题而设计类型系统，佩戴者周围的维度观察，必要的安全运动或寻路。这些数据是在外部，本地还是多种来源提供的？如果部分局部和部分hmd，这对整个hmd系统的设计和性能有何影响？如果有的话，这个问题对视频和光学透视之间的选择有什么影响，给定重量，平衡，体积，数据处理要求，组件之间的滞后，其他影响和受影响的参数，以及显示的选择和光学元件详细？

在vrhmd的演变和进步期间要解决的技术参数和问题中，主要包括增加视野，减少等待时间(运动跟踪传感器之间的滞后和虚拟视角的变化)的问题，提高分辨率，帧速率，动态范围/对比度，以及其他一般显示质量特性，以及重量，平衡，体积和一般人体工程学。图像准直和其他显示光学系统的细节已得到改进，有效地解决了“模拟器疾病”的问题，这是早期的一个主要问题。

随着这些一般技术类别的改进，以及重量，尺寸/体积和平衡，显示器，光学器件和其他电子器件的重量和体积趋于减小。

固定式vr齿轮通常用于车辆中的夜视系统，包括飞机；然而，移动夜视镜可以被认为是一种类似于移动vr的中介观看形式，因为佩戴者基本上正在观看的是实时的真实场景(ir成像)，但是通过视频屏幕。而不是以“透视”的形式。

该子类型与barrilleaux在相同的参考1999年回顾中所定义的类似于“间接视图显示”。他提出了关于提出的arhmd的定义，其中没有实际的“浏览”，而是在显示器上专门看到的是合并/处理的真实/虚拟图像，可能包含在任何vr类型中或夜视系统。

然而，夜视系统不是虚拟合成景观和真实的融合或混合，而是通过视频信号处理解释为通过视频信号处理的ir传感器数据的直接传输视频图像。强度，取决于ir签名的强度。作为一个视频图像，它确实适用于实时文本/图形叠加，与eyetap最初构思的简单形式相同，而google已经声明其玻璃产品的主要目的。

如何以及提取什么数据以及从参考或两者提供给移动vr或移动ar系统，或者现在包括具有相似性的混合实时处理视频馈送“间接视图显示”的问题。这两个类别，以实现虚拟和真实景观的有效集成，以提供一致的组合视图是设计任何新的和改进的移动hmd系统必须考虑的设计参数和问题，无论类型如何。

已经提出了用于ar的软件和数据处理以基于已经引用的系统开发者的早期工作来处理这些问题。这方面的例子是canoncorporation的matsui和suzuki的工作，正如他们未决的美国专利中所公开的那样应用，“混合现实空间图像生成方法和混合现实系统”

(2004年9月29日提交的美国专利申请20050179617)。他们的摘要：

“用于生成通过将虚拟空间图像叠加到通过捕获真实空间获得的真实空间图像上而形成的混合现实空间图像的混合现实空间图像生成设备，包括叠加虚拟空间图像的图像合成单元(109)。考虑到虚拟空间图像的真实空间上的对象的遮挡，将其显示在真实空间图像上，以及进一步施加要显示的图像的注释生成单元(108)，而不考虑任何遮挡。通过这种方式，可以生成可以实现自然显示和方便显示的混合现实空间图像。

该系统的目的是设计成能够将完全渲染的工业产品(例如照相机)的组合叠加在模型上(替代支柱)；一对光学透视hmd眼镜和模型都配备了位置传感器。使用实时的逐像素查找比较过程来模拟来自模型的像素，使得cg生成的虚拟模型可以叠加在合成的视频馈送上(缓冲延迟，以实现轻微的分层)落后)。系统还添加了注释图形。电脑图像。用于确定消光并因此确保合成中的正确且非错误遮挡的数据的基本来源是模型上的运动传感器和预定查找表，其比较像素以拉动手部遮罩和模型遮罩。

虽然这个系统不适用于移动ar，vr或任何混合动力车，但它是一个尝试提供简单但不是完全自动的系统来分析真实3d空间并正确定位虚拟物体的一个例子。视图。

在视频或光学透视hmd的领域中，即使在传递给hmd的理想计算的混合现实透视图的假设下，在设计可以实现的显示器或光学和显示系统方面也几乎没有进展。，一个令人满意，逼真和准确的合并透视图，包括处理正确的透视顺序，合并元素与真实空间中任何给定观察者位置的适当遮挡。

一个系统声称对该问题提出了最有效的解决方案，即使是部分解决方案，也许是唯一的集成hmd系统(与用于以某种通用方式解决这些问题的软件/摄影测量/数据处理和传送系统相对，独立于hmd)，已经在前面已经引用，这是chunyugao在美国专利申请20140177023中提出的“用于光学观察的装置，具有相互闭合和opaqueness控制能力的头戴式显示器”。

gao开始他对ar的视野hmds的调查，具有以下观察：

有两种类型的st-hmd：光学和视频(j.rolland和h.fuchs，“光学与视频透视头戴式，显示器”，在可穿戴设备的基础知识中)计算机与增强现实，第113-157页，2001年。视频透视方法的主要缺点包括：透视视图的图像质量下降；由于处理输入视频流而导致的图像滞后；由于硬件/软件故障，可能会丢失透视图。相比之下，光学透视hmd(ost-hmd)通过分束器提供了对现实世界的直接视图，因此对现实世界的视图具有最小的影响。它是高度的(在用户对现场环境的认知至关重要的要求苛刻的应用中是首选。

然而，在第一种情况下，通过将现有技术视频透视指定为专用lcd，高智晟对视频透视问题的观察是不合格的，他也没有验证lcd必须的断言(相对而言，并且还省略了什么标准)降低了透视图像。本领域技术人员可以认识到，这种低质量图像的观点是在最近加速该领域的进展之前从早期透视lcd系统中获得的结果得出的。光学透视系统并不明显也不明显，通过比较许多光学元件和其他显示技术对“真实”“透视图像”的再处理或调解的影响“与最先进的液晶显示器或其他视频观看显示技术相比，最终结果会相对降低，或者不如高智晟等提议。

与其他也必须处理输入实时图像的系统相比，这种毫无根据的概括的另一个问题是这类透视中的滞后假设。在这种情况下，速度的比较是对竞争系统的组件及其性能的详细分析的结果。最后，“可能失去对硬件/软件的透视视图”的猜想基本上是无偿的，任意的，并且通过对视频和光学透视方案之间的比较系统稳健性或稳定性的任何严格分析都未经验证。，或者在它们的特定版本和它们的组件技术和系统设计之间。

除了在场中比较的错误和偏向表示的初始问题之外，存在自身提出的解决方案的定性问题，包括省略和缺乏对作为完整hmd系统的所提出的hmd系统的考虑，包括如更广泛的ar系统中的一个组件，其中包含先前已引用和解决的数据采集，分析和分发问题。当hmd本身及其设计可以是一个重要的问题和问题时，hmd不能被允许作为“给定”处理某一级别和质量的数据或处理能力来生成改变或混合图像。援助或阻碍，根本不能作为给定的提供。

另外，从问题解决方案的规范中省略了移动平台中真实和虚拟的视觉集成问题的完整维度。

采用本公开及其教导的系统，具体为：

如前面在该背景技术中已经描述的，高建议是采用两个显示型设备，因为将选择性地反射或传输实时图像的空间光调制器的规范基本上是用于slm的slm的规范。与其在任何显示器应用中的目的相同，可操作地。

然后将来自两个设备的输出图像组合在分束器，组合器中，假设除了关于这种设备的精度的陈述之外没有任何具体解释，同时逐像素地排列。基础。

然而，为了实现两个像素化阵列的这种合并，gao指定了他称为“折叠光学器件”的复制品，但除了manneyetap方案的双版本之外基本上没有任何东西，总共需要两个“折叠光学器件”“元件(例如，平面光栅/hoe或其他紧凑棱镜或”平面“光学元件，每个光源各一个，加上两个物镜(一个用于实际视图的波前，一个用于另一端用于连接的焦点)图像和分束器组合器)。

因此，需要多个光学元件(他提供各种传统的光学变化)：1)通过第一反射/折叠光学器件(平面型光栅/镜子，hoe，收集真实场景的光)。tir棱镜或其他“扁平”光学元件，并从那里到物镜，将其传递到下一个平面型光栅/镜子，hoe，tir棱镜或其他“平面”光学元件，以再次“折叠”光路，所有这些都是为了确保整个光学系统相对紧凑并包含在两个矩形光学中继区的示意图中；从折叠光学系统，光束通过分束器/合束器到达slm；然后在像素化(采样)的基础上反射或透射，从而可变地(从真实图像对比度和强度的变化以修改灰度等)经调制的，现在像素化的真实图像返回到光束分/合路。虽然显示器同步生成虚拟或合成/cg图像，但可能也经过校准，以确保易于与修改后的像素化/采样实际波前集成，并通过分束器进行集成，像素为像素，利用真实场景的多步骤，修改和像素化的样本，从那里通过目镜物镜，然后返回到另一个“折叠光学”元件，以从光学系统反射到观察者的眼睛。

总的来说，对于真实图像波前的经修改的像素化采样部分，在到达观察者眼睛之前，通过七个光学元件，不包括slm；显示生成的合成图像，只能通过两个。

虽然光学图像合成器的精确对准的问题，直到像素级，是否是从激光询问的图像样本收集的反射光或组合图像生成的小功能slm/显示装置，维持对准，尤其是在在本领域中，机械振动和热应力的条件被认为是非平凡的。

数字投影自由空间光束组合系统，其组合了高分辨率(2k或4k)红色，绿色和蓝色图像引擎的输出(通常，由dmd或lcosslm生成的图像是昂贵的实现和维护这些对齐是非平凡的。有些设计比高格式7元素的情况简单。

此外，这些复杂的多引擎多元件光学组合器系统不像hmd所需的那样紧凑。

整体棱镜，例如由安捷伦为生命科学市场开发和销售的t-rhomboid组合器，专门用于解决自由空间组合器在现有应用中表现出来的问题。

虽然诸如microvision等公司已成功将其最初开发的基于slm的微投影技术部署到hmd平台中，但这些光学设置通常基本上不如gao提议复杂。

此外，难以在两个平台上确定两个图像处理步骤和计算迭代的基本原理是什么，以及为什么需要实现真实和虚拟波前输入的平滑和集成，实施正确的组合场景元素的遮挡/遮挡。似乎高的最大问题和需要解决的问题是合成图像竞争的问题，难以与真实图像的亮度相比，并且因此slm的主要任务似乎有选择地降低了亮度部分真实场景或整个真实场景。通常，还可以推断，在降低被遮挡的真实场景元素的强度的同时，例如通过在时分多路复用系统中最小化反射位置中的dmd镜的持续时间，可以简单地留下被遮挡的像素。“off”，虽然这不是由gao指定的，slm如何完成其图像改变功能的细节也没有。

在必须同时计算，校准和对准的许多参数中，包括确切地确定来自实场的像素是校准像素到合成像素。如果没有精确匹配，重影重叠，错误对齐和遮挡将会成倍增加，尤其是在移动场景中。通过真实场景波前部分到物镜的反射光学元件的位置具有相对于场景的真实透视位置，该场景首先与场景中观察者的透视位置不同，如它不是平坦的，也不是位于死点，它只是一个波前样本，而不是位置。而且，当移动时，也移动，并且预先也不知道合成图像处理单元。由于这些事实，该系统中的变量数量非常大。

如果它们是，并且该解决方案的目标变得更具体，则可能变得清楚的是，可能存在比使用第二显示器更简单的方法来实现这一点(在双目系统中，总共添加2个显示器，指定的slm)。

其次，在对方案的检查中清楚的是，如果任何方法，由于具有多个累积对准公差的这种复杂系统的耐久性，原始部件的缺陷积累和磨损在多元件路径中的时间，合并光束的未对准形成累积的热和机械振动效应，以及由七元素加光学系统的复杂性引起的其他复杂性，正是这个系统本身可能导致降级特别是随着时间的推移，外部实时图像波前。

另外，如先前已经注意到的那样，计算真实元素和虚拟元素之间的空间关系的问题是非平凡的。设计一个必须从这些计算中驱动两个(并在双目系统中)四个显示类型的系统设备，最可能是不同类型的(因此具有不同的色域，帧速率等)，增加了对要求苛刻的系统设计参数的复杂性。

此外，为了在没有重影或滞后的情况下传送高性能图像，并且不会引起视觉系统的眼睛疲劳和疲劳，高帧速率是必要的。然而，对于高系统，只有使用透视而不是反射的slm，系统设计才会略微简化；但即使使用更快的felcos微显示器，帧速率和图像速度仍然远低于ti设备的dlp(dmd)。

然而，由于还需要更高的hmd分辨率，至少要实现更宽的fov，使用高分辨率dmd(例如2k或4k设备)意味着求助于非常昂贵的解决方案，因为dmd具有已知特征尺寸和数量的产量低，缺陷率高于大众消费者或企业生产和成本通常可容忍的缺陷率，对于现在使用它们的系统来说价格非常高，例如市场上销售的数字电影放映机由tioem的barco，christie和nec商业化。

尽管从平面光学投影技术用于光学透视hmds(例如lumus，bae等)是直觉上容易的步骤，其中遮挡既不是设计目标也不可能在这些范围和能力范围内。接近，基本上复制该方法并调制真实图像，然后使用诸如gao提出的传统光学设置组合两个图像，同时依靠大量平面光学元件来实现组合并且在相对紧凑的空间。

为了结束背景回顾，并返回到hmd，光学透视hmd和经典vrhmd两个一般类别中的当前领导者，现有技术可以总结如下，注意光学的其他变体透视hmd和vrhmd既可以在商业上获得，也可以用于大量研究和开发，具有大量的商业和学术工作，包括产品自谷歌，glass和oculusvrhmd，rift突破以来，公告，出版和专利申请大幅升级：

·google与商用领先的移动ar光学hmd一起，在撰写本文时，已经为光学透视hmd类别建立了突破性的公众可见度和主导营销地位。

然而，他们跟随其他人进入市场，他们已经在主要的国防/工业领域开发和部署产品，包括lumus和bae(q-sight全息波导技术)。最近的其他市场和研究阶段的参赛作品都是trulifeoptics等公司，将研究商业化。

对于许多军用头盔式显示器应用，以及google官方用于glass的主要用例，再次如前所述，在视图空间上超级拼写文本和符号图形元素，仅需要粗略的位置关联，可能是足以用于许多初始的，简单的移动ar应用。

然而，即使在信息显示应用的情况下，显而易见的是，在观看者面对(并且最终，周围)观看空间中的项目和地形的标记信息的密度越大，对空间的需求越大。订购/分层标签以匹配标记的元素的透视/相对位置。

重叠-即，视场中的真实元素对标签的部分遮挡，而不仅仅是标签本身的重叠，因此必然成为甚至是“基本的”信息显示用途的光学视图的要求。系统，以管理视觉混乱。

由于标签必须另外不仅反映标签元素在真实空间的透视图中的相对位置，而且还反映自动化(基于预定或软件计算的)优先级和实时的程度，用户指定的优先级，标签大小和透明度，除了图形系统用来反映信息层次结构的两个主要视觉提示之外，还必须进行管理和实施。

然后立即出现问题，详细考虑标签和超强图形元素的半透明度和重叠/遮挡问题，如何处理传递的活元素的相对亮度问题这些基本光学透视hmd(无论是单眼十字线型还是双目全眼镜型)的光学元件和超强的，生成的视频显示元件，特别是在明亮的室外照明条件下和非常昏暗的室外条件下。为了充分扩展这些显示器类型的实用性，夜间使用显然是低光问题的极端情况。因此，随着我们越过无源光学透视hmd类型的最有限的使用情况，随着信息密度的增加-随着这样的系统在商业上成功并且通常密集的城市或郊区，这将是预期的。区域从商业企业获得标签信息-并且在明亮和昏暗条件下的使用参数增加了约束条件，很明显“被动”光学透视hmd无法逃避，也无法应对任何现实实际实施的问题和需求移动arhmd。

然后必须将无源光学穿通hmd视为用于实现移动arhmd的不完整模型，并且回想起来，将被视为仅仅是到活动系统的过渡踏脚石。

·oculusriftvr(facebook)hmd：与googleglass产品营销活动的影响有些相似，但oculus实际上也在领导该领域解决和/或开始大幅度解决某些重要问题实际vrhmd的门槛障碍(而不是跟随lumus和bae，就google而言)，撰写本文时的oculusriftvrhmd是领先的预发布vrhmd产品，进入并创造了市场广泛接受的消费者和商业/工业vr。

oculusriftvrhmd的基本阈值进展可以总结在以下产品特征列表中：

o显着扩大的视野，通过使用单个当前7英寸对角线显示器的1080p分辨率，距离用户眼睛几英寸，并在单一显示器上分为双目透视区域。目前的fov，就像写这篇文章一样，是100度数(改善其原始的90度)，与总共45度相比，是预先存在的hmd的通用规格。单独的双目光学器件实现立体视觉效果。

o显着改善头部跟踪，导致低滞后；这是一个改进的运动传感器/软件进步，并利用从nintendowii，apple和其他快速追随者移植到手机传感器技术，playstationpsp和现在的vita，nintendods现在3ds的微型运动传感器技术的优势，以及xboxkinect系统，以及其他具有内置运动传感器的手持式和手持式设备产品，用于3d维位置跟踪(加速度计，mems陀螺仪等)。当前的头部跟踪实现了多点红外光学系统，具有外部传感器协同工作。

o低延迟，改进的头部跟踪和快速软件处理器更新到交互式游戏软件系统的组合结果，尽管受到所采用的显示技术的固有响应时间的限制，原始lcd，其被某种程度上取代更快的oled。

o低持续性，其是一种缓冲形式，以帮助保持视频流平滑，与更高切换速度的oled显示器结合工作。

o更轻的重量，减少的体积，更好的平衡，并且整体改善

人体工程学，采用滑雪护目镜形状因子/材料和机械平台。

总结组合这些改进的净效益，虽然这样的系统可能在结构上或操作上没有新的模式，改进的部件的净效果和特别有效的设计专利usd701,206，以及任何专有软件，已经产生了突破性的性能和大众市场vrhmd的验证。

在他们的领导和采用他们的方法之后，在许多情况下，在其他人的情况下根据oculusvrrift配置的成功改变他们的设计的一些同期产品程序，已经有许多vrhmd产品开发商，品牌名称公司和创业公司，在最初的2012年电子博览会示范和oculusvr的kickstarter融资活动之后制定了产品计划公告。

在那些明显改变其策略以遵循oculusvr模板的那些快速追随者和其他人中，三星，其撰写的开发模型与oculusvrrift设计非常类似，而索尼的morpheus。在该领域获得关注的初创公司包括vrvana(以前的truegearplayer，gameface，infiniteeye和avegant。

这些系统配置中没有一个看起来与oculusvr绝对相同，尽管一些使用2和其他4个面板，infiniteeye采用4面板系统来扩宽fov以声称200+度。有些使用lcd，有些则使用oled。光学传感器用于提高头部跟踪系统的精度和更新速度。

所有系统都实现为基本上就地或高度约束的移动性。采用车载和基于有源光学标记的运动跟踪系统，设计用于封闭空间，如起居室，手术室或模拟器阶段。

与oculusvr方案具有最大差异的系统是avegant的雕文和vrvana图腾。

字形实际上实现了显示解决方案，其遵循先前建立的光学透视hmd解决方案和结构，采用texasinstrumentsdlpdmd在反射平面光学元件上产生投影的微图像，在配置和操作中作为现有光学透视hmd的平面光学元件，不同之处在于采用高对比度，吸光性背板结构来实现反射/间接微型投影仪显示类型，视频图像属于一般类别不透明，不透明的显示图像。

这里，尽管如前所述，在高公开的讨论中已经确定，当采用dlpdmd或其他mems组件时，增加显示分辨率和超出1080p/2k的其他系统性能的限制是成本的那些，这种系统的制造产量和缺陷率，耐用性和可靠性。

另外，对平面光学元件(光栅结构，hoe或其他)的有限扩展/放大因子的图像尺寸/fov的限制，其扩展了slm图像尺寸但是在人类视觉系统上的相互作用/应变(hvs)，尤其是焦点系统，对观看者安全性和舒适性提出了限制。

此外，对于vrhmd的现有限制，所有采用oled和lcd面板的此类系统都遭受相对较低的帧速率，这会导致运动滞后和延迟，以及对某些用户的负面生理影响，属于广泛的“模拟病症”。还要注意的是，在电影院的数字立体投影系统中，采用诸如reald系统之类的商用立体声系统，为基于德州仪器dlpdmd的投影仪或基于sonylcos的投影仪实现，帧速率也不够高。据报道，在一些研究中，有一小部分观众参与了这项研究，其中有高达10％的患者出现头痛和相关症状。其中一些是这些人独有的，但其中很大一部分可以追溯到帧速率的限制。

并且，进一步地，如所指出的，oculusvr已经实施了“低持久性”缓冲系统，以补偿在写入时使用的oled显示器的仍然不够高的像素切换/帧速率。

对现有vrhmd的性能的进一步影响是由于现有oled和lcd面板显示器的分辨率限制，这部分地有助于使用5-7“对角线显示器并且将它们安装在远离观察光学(和观察者的眼睛)以获得足够的有效分辨率)，有助于现有和计划产品的体积，尺寸和平衡，比大多数其他光学头饰产品大得多，体积更大，更重。

预期潜在的部分改进来自弯曲oled显示器的使用，可以预期其可以在不增加体积的情况下进一步改善fov。但是，以足够的数量投入市场，需要以可接受的产量对工厂产能进行大量额外规模投资的费用使得这一前景在短期内不太实用。它只能部分解决体积和尺寸问题。

为了完整起见，还有必要提及视频hmd用于观看视频内容但不交互地或具有任何运动感测能力，因此没有导航虚拟或混合的能力(混合现实/ar)世界。在过去的十五年中，这种视频hmd已经得到了实质性的改进，有效的fov和分辨率以及观看舒适性/人体工程学的增加，并提供了当前vrhmd已经能够利用和构建的发展路径和进步。但是，这些也受到所采用的显示技术的核心性能的限制，其模式遵循针对oled，lcd和基于dmd的反射/偏转光学系统所观察到的限制。

透明眼镜光学范例上的投影图像的其他重要变化包括来自osterhoudtdesigngroup，magicleap和microsoft(hololens)的那些。

虽然这些变化具有一些相对的优点或缺点-相对于彼此以及前面详细描述的其他现有技术-它们都保留了基本方法的局限性。

更基本和普遍的共同点，它们也受到所采用的基本类型的显示/像素技术的限制，作为现有核心显示技术的帧速率/刷新，无论是快速lc，oled还是mems，以及是否采用机械扫描光纤输入或其他公开的用于将显示图像传送到观察光学系统的光学系统，所有这些仍然不足以满足高质量，易于观看(hvs)，低功率，高的要求分辨率，高动态范围和其他显示性能参数，分别和共同有助于实现大众市场，高品质的愉快ar和vr。

总结现有技术的状态，关于前面所述的细节：

·“高视敏度”vr在很多方面已基本上从fov，潜伏期，头部/运动跟踪，重量轻，尺寸和体积方面得到改善。

·但帧速率/等待时间和分辨率以及显着的推论程度，重量，大小和体积受到可用核心显示技术的约束的限制。

·现代vr限于在小的受控空间中静止或高度受限且有限的移动使用。

·vr基于光学透视系统的封闭版本，但被配置为横向投影偏转系统，其中slm通过一系列三个光学元件将图像投射到眼睛中，其性能受到限制。与标准眼镜镜片的总面积相比，反射图像的尺寸扩展但不大于slm(dlpdmd，其他mems或felcos/lcos)的输出。通过延长观看“特写工作”的极端强烈版本及其对e的要求，眼睛紧张的风险

·vr基于光学透视系统的封闭版本，但配置为横向投影-偏转系统，其中slm通过一系列三个光学元件将图像投射到眼睛中，其性能受限于与标准眼镜镜片的总面积相比，反射图像扩展但不大于slm(dlpdmd，其他mems或felcos/lcos)的输出。延长观察“特写工作”的极端强烈版本以及眼睛肌肉需求的眼睛紧张风险是对实际接受度的进一步限制。slm型和尺寸显示器也限制了通过所引用技术的更高分辨率slm的缩放成本来提高分辨率和整体性能的实用途径。

·光学透视系统通常通过将眼睛肌肉使用限制到相对小的区域而具有相同的眼睛疲劳可能性，并且在这些约束内需要相对小且频繁的眼睛跟踪调整，并且需要更多比短暂的使用期限。谷歌眼镜的设计旨在通过将光学元件向上定位，并从直视前方的眼睛的直接静止位置来反映有限持续时间使用的期望。但是用户已经报道了眼睛疲劳，正如媒体通过googleglassexplorers的文字和访谈广泛记录的那样。

·由于需要在透视图中组织具有真实世界对象的标签，因此光学透视系统在重叠的半透明信息密度方面受到限制。即使对于图形信息显示应用，移动性和信息密度的要求也使得无源光学视图受到限制。

·“间接视图显示”的方面已经以夜视镜的形式实现，并且oculusvr竞争者vrvana仅提出了使其双目视频摄像机配备的图腾适用于ar的建议。

·高提议虽然声称是光学透视显示器，但实际上更多是“间接视图显示”，具有准透视方面，通过使用slm设备，这样在改进的投影显示器中起作用，用于采样真实波前的一部分并且数字地改变该波前的部分。

介于初始波前部分的光学路由中的光学元件的数量(也是这里要添加的点，远小于传统的一副眼镜中的传统透镜的光学区域)，这是七或接近该数字，引入了图像像差，伪像和损失的机会，但是在一个领域中需要复杂的光学对准系统，其中许多元素的这种复杂的自由空间对准不是常见的以及何时需要它们，价格昂贵，难以维护且不稳固。期望slm管理真实场景的波前改变的方法也没有针对特定要求指定或验证。协调2-4个显示器类型设备之间的信号处理(取决于双目系统的单眼)也不存在问题，包括确切地确定来自实场的像素是适当合成的像素的校准像素。在透视图中预先形成计算以在真实和合成元素之间建立适当关系的上下文已经非常苛刻，特别是当个人在信息密集，地形复杂的环境中移动时。安装在车辆上只会进一步加剧这个问题。

与构建如gao提出的光学装置的任务相比，甚至将其减小到相对紧凑的形状因子，完整系统的开发存在无数的附加问题。尺寸，平衡和重量只是对各种处理和光学阵列单元的数量和暗示，必要位置的许多影响之一，但与引用的其他问题和限制相比，它们相对较小，尽管严重这种系统实际部署到现场使用，用于军事或加固工业用途或消费者使用。

·100％“间接视图显示”在关键方面对于高建议具有类似要求，除了显示类型单元的数量和对准，光学系统，像素系统匹配的细节，和透视问题，因此质疑这种系统的所有关键参数应该需要“蛮力”计算存储的合成cg3d映射空间与实时，个人透视实时视图协调的程度-通过图像。问题变得越来越大，必须全部执行计算，前视摄像机捕获的视频图像。

真正的移动系统需要什么，无论是vr还是ar，它实现了对真实环境的沉浸和校准，如下所示：

·符合人体工程学的光学和观察系统，其最小化对人类视觉系统的任何非正常要求。这是为了实现更多的扩展使用，这是移动使用所暗示的。

·宽视场，理想地包括120-150度的外围视图。

·高帧速率，理想地为60fps/眼睛，以最小化通常由显示器引起的等待时间和其他伪像。

·高效分辨率，在单元与面部的舒适距离处。可用于测量最大值的有效分辨率标准要么是有效的8k，要么是“视网膜显示”。该距离应该类似于传统眼镜的距离，传统眼镜通常采用鼻梁作为平衡点。准直和光学路径光学器件对于建立适当的虚拟焦平面是必要的，其也实现了这种有效的显示分辨率和光学元件到眼睛的实际距离。

·高动态范围，尽可能接近地匹配实时，真实视图的动态范围。

·在已知的形貌中确定头部和身体两者的定向的机载运动跟踪-无论是提前知道还是在佩戴者的视野范围内及时知道。这可以通过混合方案中的外部系统来补充。

·显示光学系统，其能够在人类视觉系统的环境中在真实场景波阵面和任何合成元件之间进行快速合成处理。应尽可能多地使用被动装置，以最小化车载(对hmd和佩戴者)和/或外部处理系统的负担。

·显示光学系统，其相对简单且坚固，具有很少的光学元件，很少的有源器件元件，以及简单的有源器件设计，其具有最小的重量和厚度，并且在机械和热应力下是坚固的。

·重量轻，体积小，重心平衡，以及形状因子，其适合于已知为专业用户所接受的设计配置，例如军事和加固环境工业用户，坚固耐用的运动应用程序，一般消费和业务使用。从诸如oakley，wiley，nike和adidas等眼镜制造商到奥克利，阿迪达斯，史密斯，zeal等其他专业运动护目镜制造商，这些因素也是如此。

·一种系统，其可以在vr体验之间可变地切换，同时保持完全移动性，以及可变遮挡，透视集成的混合观看ar系统。

·一种系统，其既可以管理hvs的入射波长，又可以通过传感器及其混合物从这些感兴趣的波长获得有效信息。ir，可见光和uv是感兴趣的典型波长。

本公开提出的系统解决了问题并且满足了现有技术从根本上限制且不充分的增强和虚拟现实(任务和标准)中的功能的最终目标。

本公开内容并入并实现了电信结构和像素信号处理系统以及混合磁光子学的特征(待审美国专利申请)[2008]和photonicencoder，由同一发明人)，以及优选的像素信号处理子类型的混合mpc像素信号处理，显示和网络待定美国专利申请，由同一发明人)。设备(尤其是阵列)的寻址和供电优选地是待审美国专利申请无线的设备在未决的美国专利申请，3d工厂和系统中也发现了阵列的寻址和供电，以及混合mpc型系统的优选实施例。

本申请完全通过引用结合这些未决申请。

然而，在建立系统类型的类和关键子系统的类以及子系统的优选版本和实施例时，并不是说本提议的细节都包含在所引用的应用中。并且本申请仅仅是这些系统，结构和方法的组合。

相反，本提案提出了新的和改进的系统和子系统，其在大多数或许多情况下属于那些引用的(并且通常是新的)类别和类别，其详细公开了组件，系统，子系统，结构，过程和方法，同时，由于这些和其他类别的构成元素的独特组合，因此也实现了独特的新型移动ar和vr系统，具有作为可穿戴系统的优选实施例，以及可穿戴设备系统，头戴式是最优选的。

所提出的系统的规范最好通过分组(列出)主要子系统来组织整体结构和操作结构，然后以分层的外线形式提供这些子系统的细节来开始。

主要子系统：

i.用于具有像素信号处理平台的显示器的电信系统型架构，以及优选的混合mpc像素信号处理，包括光子编码系统和设备。

ii。用于移动ar和vr的传感器系统

iii。结构和基础系统

这些主要子系统实现的是新颖的集成双重系统“生成”和可变直接透射直视混合显示系统：

i.用于具有像素信号处理平台的显示器的电信系统型架构，以及优选的混合mpc像素信号处理，包括光子编码系统和设备：

本公开的目的是尽可能地采用无源光学系统和组件，以帮助最小化对用于处理传感器数据的有源设备系统的需求，尤其是实时地，以及用于计算计算机生成的图像和3d的计算，实际和合成/数字或存储的数字图像信息的透视图集成。

图像处理和像素图像显示生成系统的结构/操作-结构阶段，子系统，组件和元件的以下细分将包括如何实现该目标的规范。从系统的外部图像波前截取到系统的结构，组件和操作阶段将最终的中间图像传送到hvs(为简单起见，从左到右任意设置顺序(参见图1)：

a.一般情况-系统的主要元素：

1.ir/近红外和uv过滤阶段和结构(在用于夜视系统的系统的版本中省略了ir和近红外过滤)。

2.极化滤波，以减少输入的直通光照强度，有一些优点和优点的选项，或极化滤波/分离通道，极化旋转和通道重组，以保持最大输入或通过照明阶段，一个有其他好处和优势的选择。

3.现实通过的像素化或子像素化-通过照明和通道来实现这些。

4.将通过通道与内部生成的子像素阵列集成在一个统一的阵列中，以实现最佳的增强/混合/混合现实或虚拟现实图像显示呈现。

i。用于处理和处理通过(真实世界)照明的两个优选的总体方案和结构/结构：虽然通过本公开的一般特征实现了其他排列和版本，但是两个优选实施例的主要差异在处理上基本不同。进入的自然光和结构光学系统中的通道将通过后续处理阶段将光传送到向内/面向观察者的复合光学器件表面的输出表面-在一种情况下，所有真实世界的通过-通过照明下转换为ir和/或接近ir“假色”以进行有效处理；在另一种情况下，直接处理/控制真实世界的直通可见频率照明，而不进行频率/波长移位。

ii。生成/“人工”子像素合并阵列：这最好是混合磁光子像素信号处理和光子编码系统。在所有通过光被下转换为ir和/或近红外的版本和情况下，将相同的整体方法，顺序和过程应用于直通光通道。

具体实施例

1.ir/近红外和uv过滤阶段和结构：可穿戴hmd“眼镜”或“遮阳板”具有第一光学元件，其优选形式是双目元件，左右分离元件或一个类似遮阳板的连接元件，其截取从观察者/佩戴者的相对向前的外部世界发出的光线的透视，真实世界的波前。

该第一元件是复合材料或结构化的(例如，基板/结构光学元件，其上沉积有材料/膜的层或者其自身是周期性或非周期性但复杂的2d或3d结构化材料，或混合物复合和直接结构的，实现ir和/或近红外滤波。

uv过滤。同样，更具体地，这些可以是光栅/结构(光子晶体结构)和/或其化学成分实现不想要的频率的反射和/或吸收的体膜。用于材料结构化的这些选择是相关领域所熟知的，有许多商业选择。

在一些实施例中，特别是对于夜视应用，消除了ir滤波，并且遵循本公开的图案和结构，按顺序，消除或修改了功能阶段序列的一些元素。以下将对此类别和实施例的细节进行详细说明。

2.极化滤波(以击倒进入的通过照明强度)或极化滤波/分离到通道中，极化旋转和信道重构保留最大输入或通过illumnation阶段：一个类似的滤波器，最佳地跟随光学阵容序列中的第一个滤波器，相对右边的下一个元素图)，是偏振滤波器或偏振分选级。这可能是一个批量“偏振片”或偏振器膜或沉积材料，和/或偏振光栅结构或任何其他偏振滤光结构和/或材料，其为任何给定实施例提供实用特征和益处的最佳组合，即在效率，成本方面制造，重量，耐用性和其他可能需要优化权衡的参数。

3.偏振滤波选项，结果：在光学/光学结构元件的整个范围内布置的这一系列光学元件之后，入射波前已被频率括弧，并且它已经被偏振模式括起来并且排序/分隔模式。对于可见光频率，每个模式通道的净亮度已经减小了偏振滤波装置的大小，为了简单起见，反映周期性光栅结构材料的电流效率，实际上接近100％的滤波效率意义，每个通道消除大约50％的光。

4.偏振滤波，分类，单通道旋转和重新组合，结果：例如将两个分离/分类的通道一起，组合的强度将接近但不完全是原始入射光的强度之前过滤/分离/分类。

5.益处和意义：由于这些过滤器也可以在相同的层/材料结构上实施，或者顺序地通过单独的层/材料结构实现，hvs1)防止不良uv2)亮度降低，3)去除ir和近红外(夜视应用除外，其可见光谱将最小，并且不需要过滤可见光)。优点/特性2和3对于系统的下一个阶段和整个系统具有重要意义，并将在下面进一步阐述。

6.现实通过的像素化或子像素化通过照明和实现这些的通道：入射波前的子像素细分，光学被动或主动结构或操作阶段与前面一起实施并且优选地遵循，因为它将倾向于降低制造费用。该细分可以通过本领域已知的各种方法以及尚未设计的其他方法来实现，并且包括差示折射率块材料的沉积，采用光化学抗蚀剂-掩模-蚀刻工艺或纳米颗粒的材料制造。通过静电/范德瓦尔斯胶体溶液基于力的方法和其他自组装方法；聚焦离子bam蚀刻，或压花，以及通过蚀刻，切割和压花方法，特别是制造毛细管微孔阵列，通过改进的总折射率实现波导，或制造实现光子晶体布拉格的其他周期结构光栅型结构，或其他周期性光栅或以散装材料制造的其他结构。替代地，或者与已知的或将来可以设计的参考或其他方法组合，可以在宏光学/结构元件的区域上形成阵列的子像素细分/引导材料结构，通过组装部件，例如光纤和其他光学元件前体，包括通过其他地方公开的方法来制造本公开的作者，以及fink和bayindir提出的方法，用于纤维器件结构的预制件组件，或熔融玻璃或复合材料组装方法。

适用于系统的该结构/操作阶段的本系统的不同实施例和版本的某些指定细节和要求将在系统的以下结构/操作细分的适当后期阶段中涵盖。

7.在通道阵列中将通过通道与内生子像素集成在一起：但是，除了提供将来自前方视场的入射波前分成子部分的装置之外适合于受控光路控制，并且随后，为了进一步被动和/或主动过滤和/或修改，在此指定有两种类型的非常重要使用本提议的系统提供给观看者的总视野-场阵列的像素/子像素分量，以及两个不同的“分支”处理序列和操作结构，在到观察者的最终像素呈现的途中。并且这是对于当前的复合结构和操作过程的顺序的第一阶段和要求之一，逐像素和逐子像素的子像素光路控制被实现，适当的阶段。

8.两个像素-信号分量类型-通过和生成或人为：在像素信号处理，像素逻辑状态编码阶段，如参考公开的内容，我们现在采用两种像素类型或者更确切地说，分别是两个像素信号分量类型。

9.用于处理和处理通过(真实世界)照明的两个优选的总体方案和结构/结构：虽然通过本公开的一般特征实现了其他排列和版本，但是两个优选实施例的主要差异基本上不同于处理进入的自然光，以及结构化光学系统中的通道，通过后续处理阶段将光传送到面向内/观察者的复合光学器件表面的输出表面-在一种情况下，所有真实世界，直通照明被下转换为ir和/或接近ir“假色”以进行有效处理；在另一种情况下，直接处理/控制真实世界的直通可见频率照明，而不进行频率/波长移位。

a。在一个优选的版本中，可见光通道已被uv和ir过滤并且偏振模式分选(并且可选地，过滤以降低通过照明的总强度)，被频移到ir。或者近红外，但在任何一种情况下都是不可见的频率，实现相同比例带定位宽度和强度的“假色”范围。在频率/波长调制和降频的光子像素信号处理方法之后，hvs将检测并看不到任何内容。然后，这些通道的后续光子像素信号处理基本上与针对所生成的像素信号通道所提出的相同，如以下部分所公开的。

b。在另一个优选实施例中，直通通道不是频率/波长调制的，而是向下转换为不可见的ir和/或近红外。在该配置中，直通信道的优选默认配置和像素逻辑状态是“开启”，例如，在采用用于像素状态编码/调制的传统线性法拉第旋转切换方案的情况下，包括输入和输出偏振滤波装置，对于任何给定的偏振模型分类的子信道，分析器(或输出偏振装置)将基本上与输入偏振装置相同，使得当操作线性法拉第效应像素逻辑状态编码器时处理并激活，操作是降低强度传递通道。在随后的部分中，在为所生成的通道的操作功能和结构提供的细节之后，公开了该实施例的一些特征和要求的细节。

如果将偏振滤波与该优选实施例和变型组合，而不是模式分类和单独模式通道的实现，然后通过偏振旋转装置将其组合成合并的通道，以保持与原始像素化的直通照明一样多的程度。可能的，例如通过无源元件(例如，半波片)和/或有源磁光或其他模式/偏振角调制装置，则通过照明的整体亮度通常会降低约50考虑到当前写入磁光材料的相对可见范围性能，在一些情况下将是更优选的，作为优选的类别和方法。

因此，背景通过照明亮度最大值成比例地减小，对于提供“生成的”(人工的，非通过的)子像素通道的子系统以及相关的方法和装置可以相应地更容易。在“增强现实”图像和视图的通常舒适和逼真的整体照明范围内匹配和整合和协调所生成的图像元素。

或者，可以在默认的“关闭配置”中配置直通通道，使得如果采用典型的线性法拉第旋转器方案，则输入偏振装置(偏振器)和输出装置(分析器)相反或“交叉”“作为频率相关的mo材料(或其他光子调制方式，在采用频率相关/性能确定的材料的程度上)继续改进，采用这种默认配置可能会有利，其中通过照明强度通过随后的光子像素信号处理步骤和方法，从默认的“关闭或接近零或有效零强度”增加和管理基态。

c.虽然提出下转换为ir是优选的，但是考虑到光子调制装置和方法的ir和近红外性能优化的共同材料-系统依赖性，uv也是包括的选项并且可能在将来在某些情况下用于移位输入可见光照射到方便的不可见光谱域，以便在最终输出之前进行中间处理。

10.合并的生成/“人工”子像素

阵列：首先，我们考虑图像生成像素信号分量，或者换句话说，像素信号处理结构，操作序列，其优选地是混合磁光子像素信号处理和光子端编码系统。

a。在所提出图像的最常见配置中

在日光条件下用于全移动ar的整个系统的收集/处理/显示子系统，序列中的下一个结构，过程和元件是光学ir和/或近红外平面照明色散结构和像素信号处理阶段。

b。对于这种结构和操作过程，光学表面和结构(沉积或机械层压到结构/基板上的膜，或者材料的图案化或沉积，或者本领域已知的方法的组合，直接在基板上)均匀地分布ir和/或近红外照射均匀地穿过100+fov双目镜片的整个光学区域或连续遮阳型形状因子。ir和/或近红外照射通过如下方式均匀分布：1)设置在结构的x-y平面上的漏光纤维的组合，全部在x或y方向或在网格中。这种泄漏纤维已被开发并且可由诸如物理光学的公司商业上获得，泄漏基本上通过纤维芯在特定设计距离上以基本均匀的方式传输的照明，与扩散层(例如非周期性的)结合。可从luminit，inc。商购的3d凸块结构化膜(压纹非周期性微表面)和/或本领域已知的其他扩散材料和结构；2)来自ir和/或近红外led边缘阵列的侧面照明或ir和/或近红外边缘激光器阵列，例如vcsel阵列，投射以作为体积照明进行截取，这种平面顺序光束扩展器/扩展器光学器件作为平面周期光栅结构包括全息元件(hoe)结构，例如可从lumus，bae和本文和先前引用的未决申请中引用的其他商业供应商商业获得的结构，以及其他背板扩散结构，材料和装置；一般而言，本领域已知的其他显示器底板照明方法，装置和结构可以在将来开发。

c。在操作和像素信号处理的序列中该阶段/结构的目的是发射ir和/或近红外背板照明，其被限制在迄今为止提出的复合光学/材料结构的相对内部，具有ir。和/或近红外滤光器，反射注入的ir和/或近红外照射到照明层/结构。

d。重要的是要注意，即使显而易见的事实，ir和/或近ir对hvs是不可见的。

e。ir和/或近红外的照射源可以是led，激光器(例如vcsel阵列)，或两者的混合，或本领域已知的或将来可能开发的其他装置。

f。注入的ir和/或近红外照射也是单偏振模式，优选平面偏振光。

g。这可以通过偏振协调装置，通过将ir和/或近红外led和/或激光器和/或其他照明源与偏振分光器或滤光器/反射器序列(例如光纤)分开来实现。分离器，并使一个平面偏振分量通过无源和/或有源偏振旋转装置，例如块状磁光或磁光子旋转器，或一系列无源装置，例如半-的组合波片，或这些的混合。偏振滤光片，如效率高光栅或2d或3d周期性光子晶体结构设置成与入射光成一角度，可以将被拒绝的光反射到偏振旋转光学序列和通道中，然后该光学序列和通道与原始照明的未改变部分重新组合。在平面或光纤中，其中偏振模式(平面偏振)被分离，一个分支通过偏振协调装置，然后随后重新连接另一个分支。

h。源照射也可以被约束在其自身的结构中，以仅产生在给定角度或范围内的光平面偏振。

i.光可以在hmd中局部地产生和/或协调，或者远离hmd(例如具有电力存储装置的可穿戴背心)并且经由光纤传送到hmd。在hmd中，照明和/或协调阶段和结构/装置可以紧邻所描述的复合光学结构，或hmd中的其他地方并且通过光纤传输，如果更远和/或通过平面波导，则更接近光学传输。。

j。到目前为止，以及以下的操作和处理的前述结构和结构是在参考申请中公开的像素信号处理的示例，其特征在于像素信号特性的分解。使用最佳方法生成和传输过程进入优化阶段，并且通常在针对该类型过程优化的波长下操作，特别是参考像素状态逻辑编码阶段和过程。许多mo和eo以及其他光学相互作用现象对于ir或近红外频带区域中的大多数材料系统是最佳的。在所引用的申请中公开了整个系统，方法，结构，操作和过程的结构，以及每个的细节，包括基本和可选元素。

k。像素信号处理，像素逻辑级编码级-调制器阵列：

1.在照明和协调阶段之后，ir和/或近/ir照射通过像素。-信号-阶段-逻辑编码处理，操作，结构和装置，优选地对于本公开，调制装置属于磁光调制方法的范畴。其中，一种优选方法基于法拉第效应。在参考的美国专利申请“混合mpc像素信号处理”中公开了该装置和方法的细节。

m。在二进制像素-信号-逻辑状态系统中，通过旋转入射的平面偏振光的偏振角来编码“开”状态，使得当该光通过像素信号处理系统的后级时，随后和相反的偏振滤光装置(称为“分析仪”)，光将通过分析仪。

n。在这种类型的mo(或子类型，mpc)像素-信号-逻辑级编码系统中，光通过介质或结构和经受磁场，均匀/块状或结构光子晶体或元件的材料。材料，通常是实心的(尽管它也可以通过包含气体或稀有蒸气或液体的封装腔)，其具有有效的品质因数，其测量介质或材料/结构的效率以使得能够旋转偏振角。

o。这种优选类型的像素信号处理逻辑级编码级和装置的优选类型和选项的细节在参考的未决申请中找到，并且可以在现有技术中找到进一步的变化，或者可以在将来开发。。

p。需要突出显示的混合mpc像素信号处理系统的优选和参考类别的其他方面包括：

q。混合mpc像素信号处理系统实现存储器或“锁存”，无功率，直到像素逻辑状态需要改变系统。这是通过以下调整和实现本领域已知的磁性“剩磁”方法来实现的，其中磁性材料是在批量处理中制造的(例如，integratedphotonics市售的锁定lpe厚mobi-yig膜。[参考我们的其他公开内容]；和/或实施levy等永久域锁存周期id光栅[参考我们的其他公开内容]；或复合磁性材料，结合相对“更硬”的磁性材料并置/混合使用优化的mo材料，使得施加的磁场锁定低矫顽力，直线磁滞曲线材料，作为中间体，保持mo/mpc材料的磁化(闭锁)。中间材料可以包围mo/mpc材料，或者它可以以对传输频率透明的周期性结构混合或构造[这里，ir或近/ir]。这第三种复合方法是首先由本公开的作者在2004年美国提出临时申请，后来包括在美国专利/美国专利申请中。后来，belotelov等人在获得公司资助的基础上成立了2004年披露，将这种复合方法称为“交换耦合”结构，并且将在该公司针对特定id多层磁光子晶体的设计中实施，其中相对硬度的不同mo材料被用于2004复合材料方法的低效变体中。

r.这些方法的组合也是可能的设计选择。

s。混合mpc方案中的这种“记忆像素”的好处与诸如电泳或“e-ink”单色显示器的双稳态像素开关相同。作为非易失性(相对地，至少，取决于滞后曲线和材料选择的设计)存储器，只要存在ir或近红外照射源，图像将保持形成。在像素信号处理通道和系统中“传输”和“处理”。

t。优选的像素信号处理，像素逻辑编码级和方法的第二个基本方面和要素是有效地产生磁场，该磁场切换子像素的磁状态(作为诸如颜色系统的基本原理)。rgb，因此为了方便讨论最终颜色像素的传统组件，更广泛地保留命名惯例，并在需要时进行区分。为了确保不存在磁串扰，优选的是，场产生结构(例如，“线圈”)设置在像素透射轴的路径中，而不是设置在侧面上。这降低了所需的场强，并且通过在边缘处不设置场发生装置，通过周围材料/基质中的(磁性)不可渗透材料或者周期性结构的实施来管理磁通线，如在levy等人的域延续方法的情况下，将通量线限制在调制区域。透明材料可以包括诸如ito之类的可用材料以及对相关频率透明的其他新的和即将到来的导电材料。和/或其他材料，其在体积上不一定是透明的，但是在适当的周期性元件尺寸，几何形状和周期性的周期性结构中，例如金属，也可以在调制区域/子区域中沉积或形成。像素传输路径。

u。该方法首先由本公开的作者在2004年美国的同一公司的2004年内部设计文件中提出临时申请，后来在美国专利申请中公开。随后，在201+年，nhk的研究人员采用他的方法，一般用于mo和mpc设备，用于克尔旋转器，在像素的路径中使用ito[参考setoupup]

v。用于像素信号处理子系统的优选混合mpc像素信号处理解决方案的第三重要元素是寻址子像素阵列的方法。如前所述，首选方法可在待定美国找到专利申请，无线寻址和设备阵列的功率。对于本申请，无线寻址可能足以在给定低功率要求的情况下巩固无线阵列(子像素)元件的供电，通过低频磁共振省略无线功率方法，尽管微环谐振器根据材料选择和设计细节，可能比通过微型天线供电更有效。然而，整个hmd或可穿戴设备的无线供电是为整个单元供电同时降低安装在公共场合的重量和体积的优选方法，尤其是当与本地高功率密度元电容器系统或其他容量技术结合时，可以通过无线低频包加电。基本的低频磁共振解决方案可从witricity，inc。获得。对于更复杂的系统，参考美国专利申请，无线功率继电器。

w。对阵列/矩阵进行寻址和供电的其它优选方法包括基于电压的自旋波寻址，这是在所引用的申请中未指定的变体，因此对于本提议是新颖的，尽管适用于原始参考的混合mpc像素信号处理应用。和其他形式因素和用例。为其他显示技术(如oled)开发的基于高速电流的背板/有源矩阵解决方案也是可供选择的。

x。取决于其他特定设计选择，其他不太优选的像素信号处理，像素逻辑编码技术和方法也将受益于无线寻址和供电方法，以及基于电压的自旋波方法。

y。这样的其他像素信号处理像素逻辑编码装置，包括基于mach-zehnder干涉仪的调制器，其效率通常也是基于频率材料系统并且在ir和/或近红外中最有效，也可以使用虽然不太优选，但是任何数量的其他像素信号逻辑编码装置都在设计中根据所引用申请的教导，针对该类装置的最有效频率优化的配置和/或材料系统。

z。根据所引用的[2008]美国专利申请电信结构的像素信号处理方法，所提出的系统的优选实施例对于识别双子像素阵列系统也是必要的，具有本文公开的这种特定变化和优化版本。本申请以及具有类似操作要求或期望益处的其他非hmd和非可穿戴显示系统应用。

aa。在像素信号处理之后，操作结构和处理的像素逻辑状态编码阶段是可选的信号增益阶段。此选项相关的情况将在以下演示文稿中明确指出。

bb。波长/频移阶段：对于优选的混合mpc像素信号处理系统的当前特定版本，随后是频率上转换阶段，采用优选的纳米磷光体和/或量子点(例如，qd视觉)增强的磷光体颜色系统(尽管周期性极化的设备/材料系统也被指定为参考公开的选项)。商业上可获得的基本技术包括来自ge，cree等供应商以及商业实践中已知的各种其他供应商。

cc。现在对于本领域技术人员来说显而易见的是，正在进行的是将通常在照明阶段发生的上转换过程分开或分离，并将其延迟到几个其他阶段之后，优化用于ir上的操作和/或近红外频率和其他原因已完成。

dd。因此，通过优化调谐到诸如rgb子像素颜色系统的颜色系统的纳米磷光体/量子点增强磷光体材料/结构配方，完全实现颜色系统。同样，在更详细地公开的参考申请中发现了对显示系统的概念和操作的这些重新思考。

ee。采用混合mpc像素信号处理方法的一个优点是本机mpc调制速度的高速，已经证明在相当长的一段时间内低于10ns，而sub-ns目前是相关的基准。磷光体激发-发射响应的速度相对较快，如果不是那么快，但在总量和净值下，总全色调制速度低于15ns，理论上将优化到更低的净持续时间测量。

ff。所提出的结构的变体在每个ir和/或近红外子像素通道上增加了一个带滤波器，在处理序列结束时，它将“开启”或“关闭”以放大到r，g或b.这种变体虽然增加了滤波器元件的复杂性，但如果1)混合mpc级本身在材料成分中是一系列定制材料，可以更有效地响应不同的子带，则可能是优选的。ir和/或近红外域，甚至认为他不太可能是这种情况，因为在该波长域中可商购的甚至大块lpemo薄膜几乎100％的传输效率和极低功率极化旋转，或者更可能的是，2)如果不同纳米磷光体和/或量子点增强纳米磷光体/磷光体材料配方的效率非常高，以至于每个终极产品的更精确的包围红外和/或近红外频带r，g和b子像素成分是值得的。设计trade-off将归结为对带包围的附加层/结构/沉积通道的添加复杂性的成本/效益分析与使用更频繁的频率/波长移位材料的效率增益“调整到”不可见输入照明光谱的不同部分。

gg。在该颜色处理阶段之后，从初始ir和/或近红外照射源实现的子像素组继续通过合并的光学像素通道。在没有添加任何其他组成的最终像素分量的情况下，输出像素将根据调制和色阶组件尺寸的设计选择，可选的像素扩展，优选地通过扩散装置，包括那些参考的那些，根据需要而定。并且如所引用的申请中所公开的，可能是必要的(像素点尺寸减小的可能性要小得多，这需要光学聚焦或其他方法，如相关领域所知并且如在某些参考申请中所公开的那样，尤其是[2008]。

为了在与观察者眼睛相距适当距离处实现虚拟焦平面，准直光学元件，包括小透镜阵列，嵌入纺织复合物中的光纤阵列，其中光纤平行于光学透射轴设置；采用“平坦的”或平面的反向折射率超材料结构，以及本领域已知的其他光学方法。优选地，所有元件在宏观光学元件/结构上的复合层中制造或实现，而不是需要额外的体光学目镜元件/结构。纤维型方法与层压复合材料或沉积制造的多层结构或多于一种的组合/混合物的其他问题在下面的结构/机械系统部分中进行处理。

ii。如前所述，像素信号处理像素逻辑阵列

实现所公开的像素信号处理像素逻辑结构和操作阶段的功能/光学/结构元件，包括优选的混合mo/mpc方法和操作结构，不是在整个入射波场中操作的大容量设备-已经过滤的前面，但是(如本领域技术人员所预期的)像素化阵列。

jj。每个最终像素可以包括至少两个像素分量(超出前面描述的颜色系统rgb子像素)：一个，布置在阵列中的组件，其确实生成从头开始的视频图像，其可以包括简单的文本和数字图形，但是对于本系统的全部目的，能够从cgi或相对远程的现场或存档的数字图像或其复合和混合的图像生成高分辨率图像。这如前所述。

11.通过真实世界的照明和像素化阵列-关于可见的视觉案例的详细规定频率通过(即，未下转换为ir/近红外)：返回通过结构化和可操作的光学器件和光子结构从视场传输和处理真实的，非生成的光线，阶段；

a。与这些ir和/或近红外驱动的子像素簇共同位于寻址阵列上的是另一组像素或其他子像素分量，其实际上是源自实时场的最终像素通道分量。观看者和hmd的佩戴者向前看。这些是最终像素的“直通”，完全可寻址的组件。

b。这些通道源自前面的复合光学元件/结构，如前所述，它被细分为像素。

c。这些光学通道通过采用可用的有效分割方法传送波前部分，具有低波前损耗。表面小透镜阵列或镜面漏斗阵列可以与所提出的细分方法结合使用，从而实现非常接近边缘到边缘的光线捕获效率，使得捕获的波前部分有效地耦合到相对的“相对”。细分/像素化引导光学/阵列结构的核心。因此，无论是使用传统的阶跃折射率耦合方法，还是使用mtir微孔阵列，或真正的光子晶体结构，或者是多于一种方法的混合，用于耦合装置的像素化阵列形成的区域将接收波前的百分比最小化，使损失最小化。

d。对于本系统的某些版本和操作模式，高效的波前捕获，路由和引导/像素化分割需要聚焦和/或反射可见和ir和/或近红外频率的宽带光学元件-并且可以看出，尽管建议将ir和/或近红外滤光器作为初始和第一光学滤波结构并在光学阵容和序列中实现。

a。在大多数配置中，ir和近红外照明阶段将穿过该阶段散布用于“穿透”捕获照明的引导结构，该照明对ir和/或近红外是透明的，但提供可见频率的光-引导/路径限制，使得ir和/或近ir可以均匀分布，同时不干扰信道化的“直通”像素分量。

b。一旦被引导的入射波前部分通道到达像素信号处理，像素状态编码阶段，如果存在单个形成体mo或多层mpc膜或周期性结构化光栅(或2d或3d周期)如果该材料或结构化材料的效率针对ir和/或近红外线进行了优化，那么并联像素信号处理的像素逻辑状态结构将是“体”薄膜的结构。以完全相同的方式实现，但效率低得多。

c。然而，作为宽带mo材料，无论是散装配方还是结构化光子晶体材料，都是通过各种方式制造的，效率虽然目前还不等于优化的mo/mpc材料/结构材料的ir和附近-ir，将继续改进。在本公开的作者领导的早期工作中，在2005年，新的mo和mpc材料被建模和制造，这首次不仅表现出显着改进的绿色带状态的透射/法拉第旋转配对，而且证明了对于显示应用而言，首先是不可忽视的，实际上是显着的，可接受的和有竞争力的，蓝带中的性能。然而，这种材料的制造往往更昂贵，并且如果沉积不同的材料，作为“薄膜”，对于“生成”像素组件和通过像素组件，这增加了复杂性和费用。制造过程。但是这样的配置将提高最终合并像素的“直通”分量的像素逻辑状态编码的所有条件相同的效率。

d。在没有沉积或形成“定制的”mo类材料的情况下(这种逻辑也适用于不太优选的调制系统，其最大效率，如mo/mpc，是频率依赖的，而是采用单一配方，所有在相同的情况下，通过最终像素分量的强度将更小，达到调制装置效率较低的程度。

e。通常，对于直通系统，将假设不采用磷光体类型或其他波长/频率偏移装置。然而，在天然mo/mpc材料可能效率较低的程度上，在这种情况下可以采用不同的带优化材料配方，以在一定程度上解决像素逻辑阶段的材料性能缺陷。编码阶段。

f。此外，正如建议用于低光或夜视操作，可选的“增益”阶段，作为参考应用中某些应用的选项提出(美国专利申请像素信号处理和美国专利申请混mpcpixelsigna.

g。此外，一旦引导的入射波前部分通道到达像素信号处理，像素状态编码阶段，如图所示，有一个可选的，但对于低光和夜视应用，有价值的可选整个像素信号处理和光信道管理系统的配置。

h。在此变体中，ir滤波器是可移除的，其目标是将ir和/或近红外光从入射的真实波前传递到有源调制阵列序列，以便传入“真实”ir通过像素信号处理调制器并直接，在视场中可见ir输出的程度，为观看者生成类似的颜色(单色或伪彩色ir梯度)图像，而不需要中介传感器阵列。

i。并且，如所指示的，可以实施增益级以将通过ir的强度(+ir，如果有益的话)增强到波长/频移级。

j。此外，可以通过正常的全色操作模式打开基础ir和/或近红外背景照明，调制强度以设置适当的基准水平，达到输入ir辐射未达到阈值的程度激活波长/频移阶段和媒体。

k。如果无源光学元件部署在铰接式或悬臂式铰接装置中，可以“翻转”，则可以机械地实现ir滤波装置的移除/停用；或者作为有源部件，去激活，例如在电泳型激活的块状封装层中，其中(如此处所提出的)静电(机械地)旋转多个相对平坦的滤波微元件，使得最小入射角通过，并且多个旋转元件不再过滤ir)。可以采用其他被动或主动激活/去除方法。

1.用于低光或夜视操作的ir滤光器和偏振滤光器可以被移除，这取决于生成系统是否“主动地”使用，而不仅仅是生成阈值，并且在一些部分上叠加数据在像素化阵列中的入射真实ir波前部分。如果主动使用，优选的数字像素信号处理系统，为了最大化生成源的效率，需要初始偏振滤波器来实现编码信号中的像素逻辑状态的光开关/调制器。

m。直通系统的缺点是它降低了输入ir和/或近红外的强度。

n。设计用于解决该问题的本系统的另一个实施例在像素信号处理，像素逻辑状态编码级之前设置增益级，以增强输入信号。

o。具有非相干的，非准直的“自然”光的增益介质的效率必须在该系统的任何系统的设计参数中被考虑，该系统采用具有“自然”入射光输入的通电增益介质。

p。在第二替代方案中，实现三分量系统，其包括用于生成装置的分量子通道，入射可见光分量和未被偏振滤波的入射ir分量。必须实现像素化的poliarziation滤波器元件，其离开该第三子通道/分量而没有偏振滤波器元件，以实现该变型。

q。对于具有这种低光夜视操作模式要求的更基本的集成双组件可选系统类型，在初始输入波前输入和信道化/像素化阶段需要额外的光学元件。

r。虽然输入的ir(和近ir，如果需要)可以在指向最终可视像素的通常“生成”源组件的子通道和引导整个可见光部分的入射通道之间划分。波前到最终可视像素的源组件，没有特别的效率增益用于将任何ir和/或近红外发送到可见光子通道和最终像素的源。

s.而是，在小透镜或替代光学捕获装置之后的顺序是用于最大化进入的实际波前的捕获，或者与小透镜集成，是分频器。一种方法是实现相对的滤光器，一个用于可见光的带式滤光器，仅允许ir和/或近红外光，以及用于ir和/或近红外光的相邻滤光器。这种相对的滤光器的各种几何布置提供了不同的优点，包括平面或两者都设置在偏离入射波前光学捕获结构的中心焦点的相对的45度角，以使得能够聚焦(来自小透镜或其他光学元件)或者包括反向折射率超材料“平面”透镜)复合可见光/红外近红外光束，首先分离一个带范围，同时将另一个反射到相对的滤光片表面-反之亦然，对于部分可能首先撞击远离中心焦点的滤光器结构的聚焦光束。光栅结构是实现双滤光器-分光器装置的优选方法，但是其他方法也是本领域已知的，基于可通过本领域已知的各种方法沉积的散装材料制剂并且待开发。，在连续阶段实现两个过滤表面。(注意在此阶段之前过滤紫外线，但最好在红外线之后过滤。在一些提示中，红外和偏振相是第一和第二，紫外线过滤器是第三；在其他情况下，红外线后面是紫外线，然后是偏振器。不同用例的不同价值，以及对制造成本和特定过程顺序的不同影响)。

12.通过和生成/人工像素/子像素阵列的组合：

如已经指出的，双组分光学通道共同定位并优选地一起输出到像素协调装置中(扩散和/或其他混合方法，并且可以通过本领域已知的其他方法获得，或者将来设计的，使得生成源与传递源组合，并且与传统的彩色视觉人工添加剂彩色显示系统的rgb子像素一样，形成最终的复合像素。然后，如已经指出的那样，并且如在所引用的申请中详细描述的那样，进一步的像素束形状，并且特别地，准直和光学定向以在虚拟焦平面处形成图像，这是最有效和最容易的。hvs，给出了接近面部的人体工程学设计目标，这也是本公开的目的的一部分。

a。基本集成双组件系统的操作，具有“生成”组件(本身由rgb子像素组成)和可变“直通”组件-首先，在其主要操作模式中，第二个，配置为可选的低光夜视模式：

在户外明亮，阳光充足的日子，所提出的hmd形式的佩戴者观看集成双筒望远镜(两个单独的镜片形状因子装置结构)或连接的遮阳板，其向他/她呈现通过整合形成的图像。像素阵列本身由两个输入组件的集成形成，一个生成的高性能像素和面向观察者的“世界之窗”的可穿透，可变强度波前部分：

b。用于最终集成像素的复合颜色分量，由“生成”像素分量形成，其作为不可见ir和/或近红外“内部”，“注入”后照明开始，其被打开或者对于每个子像素，以亚10ns的速度(当前，低于1ns)关闭。然后，ir和/或近红外子像素激活复合磷光体材料/结构，采用可用于产生尽可能宽的色域的最佳电流材料和系统。

c。一旦设置了子像素的状态，利用该非常短的脉冲，“存储器”开关保持其接通状态直到其状态改变，而不向开关施加恒定功率。

d。因此，生成组件是高帧率，高动态范围，低功率，宽色域像素切换技术。

e。复合像素的第二分量是直通分量，其开始时作为在本hmd的前光学表面上照射的整个波前的细分部分的有效高百分比，从面对方向进入佩戴者在正常模式下对这些波前部分进行uv和ir滤波，以及偏振分类或滤波(选择的将取决于所选择的设计策略，减少的实际照明基数或最大化的基数)。利用减少的基极，即偏振滤光，这导致基本上降低可见视场的整体亮度(大约1/3到1/2，取决于入射的偏振模式的组成和偏振器的效率)。

f。特别是在明亮的日光下，但通常在除极低光照以外的所有光照条件下，通过强度的降低使得生成系统更容易“竞争”并匹配或超过入射波的照明水平-前部。因此，通过由系统的组件执行双重任务或产生双重益处来实现的无源光学装置：它是实现像素逻辑的优选调制系统(基于偏振调制)的必需组件。-状态编码，它还降低了功率要求，并简化了使用直通系统校准，协调和合成生成系统的价值的过程。

g。该系统设计特点利用了这样的事实：对于大多数人来说，户外明亮的照明条件是通过使用偏光太阳镜来管理的。已知室内，过亮的发光或透射显示器会产生眼睛疲劳，因此整体上降低甚至室内照明水平会导致更简单的问题，即使用生成系统提高照明水平，相对较少，而无需再次创建视野中的“竞争光环境”。减少的自然通过照明(可选择性地增强，虽然效率低于使用led或当然使用激光，增益级)和生成系统的组合，可将图形或合成元素添加到场景结果的某些部分在一个比其他方面更协调，更低强度的基线。(生成系统-集成阵列的那部分-不一定是ar模式产生整个fov，尽管它可以在完全vr模式下)。

h。假设在用户的透视图中计算出合成和真实元素的协调和合成-在传感和计算系统中接下来要解决的一个方面-生成和传递源的混合可以轻松快速地与在显示级别没有明显的滞后和明显的延迟，生成混合，移动ar/混合现实视图。

i。使用以默认“关闭方案”设计的通过像素组件子通道(即，偏振器和优选的偏振调制形式的分析器“交叉”而不是相同)，并且不传送通过波前部分，移动hmd，通过真实景观和运动跟踪进行校准，可以在移动vr模式下运行。可以看出，结合所提出的传感器和相关处理系统，hmd可以作为barrilleaux的“间接视图显示”，传递已关闭。

j。关闭生成系统，特别是如果增加了优化的可见频率mo/mpc材料结构的费用和复杂性，也可以实现没有生成/增强通道添加像素照明/图像基元信息的可变直通系统)。

在“间接视图显示”的反向配置中，如在所提出的传感器和相关处理系统的规范期间将看到的，如果采用本系统的另一变体，以及“传递”信道滤波器细分(遵循ir/近红外和可见光谱滤波器-分离器的模式)到rgb子像素通道，每个通道都有自己的像素-信号-逻辑-状态编码调制器，通过的可变传输装置系统可以扩展为直接视图系统。它的缺点在于动态范围，并且没有生成手段来补充，相比之下，相对低光限制；此外，这种变体(简单地消除生成结构的模式或系统)将不具有可由并行处理系统解决的双阵列的益处，从而简化了执行场景整合-合成和透视计算的瓶颈。另外，这样的系统，基于不同的调谐和可见光谱最佳mo/mpc材料/结构将比基于ir/近红外的生成系统更昂贵并且执行效率更低。

k。优化的系统结合了高效的生成组件和可变强度，但总体上较低的亮度，直通组件。

1.优选的无线寻址和供电进一步降低了智能结构系统的功能设备部分的功率，热量，重量和体积。

m。在极低光照或夜视模式下，对于可以移除或关闭ir滤光片的系统，ir(和近红外，如果需要)通过像素状态系统而不会丢失，并且可选增益阶段提高ir信号强度，和/或ir/近ir内部注入的照明分量提高阈值/基础强度，在此基础上将加入/叠加入射像素化ir强度，ir/近红外过去了波长/频率偏移装置(优选的磷光体系统)，并且，无论系统设置为单色还是假色，都实现了直视低光或夜视系统。利用偏振滤波器，生成系统可以操作并添加图形和完整图像，使用来自辅助传感器系统的信号(参见下文)补偿输入ir的强度降低，或者简单地添加基准电平，如在其他配置中提出，以确保输入到波长/频率的能量足以产生足够的输出。

ii。用于移动ar和vr的传感器系统：

遵循该提议的一般情况，其中没有显示图像的结构在没有传感器系统的情况下这样做，该传感器系统优化和协调合成的，生成的图像与一般内部(并且在某些情况下，外部照明条件，可能通过-根据所引用的公开内容的各种情况，通过，根据效率考虑可能需要或要求)；也没有考虑用户的位置，观察方向以及一般的运动跟踪。

1.在本系统的优选版本中，至少一些设备

组件作为结构元件具有双重功能；但是在那些根本不可能的情况下，在任何可观的程度上，将感测与其他功能目的相结合的其他元素，尤其是将设备区分为集成的整体系统的其他元素。(

2.在本公开的系统中，其以最佳形式整体地实现诸如本领域已知的运动跟踪传感器，包括加速度计，数字陀螺仪传感器，光学跟踪和其他系统，其形式为不大的个体宏观摄像机系统，而是多个分布式传感器阵列，是优选的实现，以实现分布式，本地和本地处理的好处，以及基于图像/摄影测量方法的实时捕获的额外特定优势，“全局”照明条件，以及实时提取几何数据，以便能够对存储的位置/大地/地形数据进行局部更新，加速合成图像元素的校准及其有效的透视图渲染和集成以及组合成混合/混合视图场景。

3.如所引用的申请中所公开的，并且简要地扩展，在“基于图像”和摄影测量方法中，特别是使用和证明的实时信息收集值是光场方法，例如市售的lytro。系统，其从多采样(并且最佳地，分布式传感器阵列)空间，能够实时地对空间进行图像采样，然后在输入/捕获足够的初始数据之后，生成视图变形的3d空间。然后，虚拟相机以给定分辨率实时地定位在从摄影测量数据中提取的3d空间中的变化位置。

4.其他基于图像的方法可以与lytro光场方法一起使用，与额外的局部几何/地形数据结合使用，以实现校准的透视图像合成，包括遮挡和不透明(使用集成的双生成)和优选提出的显示子系统的直通组件。这样的方法，实时提供整个fov的采样以获得匹配的照明参数cgi的阴影/照明甚至简单的图形/文本元素，以及导航的真实3d地形空间的实时更新，而不是简单地对文件，gps和传统运动中断开的，不相关的像素点执行单独的计算仅传感器。一般校正可以通过参数采样应用于照明和相对位置/几何，显着减少计算负担。

5.结合通过gps和来自信号方法的其他移动网络三角测量的用户的“绝对”定位，结合hmd和任何触觉接口的运动传感器跟踪，以及包括基于图像的从实时更新的基于图像的摄影测量系统映射用户的身体，然后依靠从快速实时基于图像的方法获得的相对位置和地形参数，采用多个小型传感器和摄像机。

6.与此相关，在μττ开发的bayindir/fink“光学结构”相机是验证实现分布式阵列的特定物理方法的示例。无论是遵循本发明的发明人提出的光纤器件和智能纺织复合材料方法，还是更简单的mit光纤器件制造方法和光学结构实施方案，或其他光纤器件智能/有源/光子纺织品方法，一个分布式纺织复合相机阵列，设置在hmd机械框架的结构中-并且，如下所述，通过添加到结构系统解决方案而不是作为系统上的非贡献负载来执行双重任务-是实现有利的多设备阵列系统的优选版本，其提供并行的分布式数据捕获。

7.多点微型传感器阵列，其可包括多个微型相机光学传感器阵列装置，是多视角系统的另一优选实施方式。

8.更基本的集成商业lytro系统，与小阵列中的一些其他相机/传感器组合，是不太优选但仍然优越的组合，允许多种基于图像的方法。

9.辅助ir传感器，再次优选地布置在多个较低分辨率的装置阵列中，如已经指出的，可以向显示系统提供超控低光/夜视馈电，或者提供校正和补充。数据与生成系统协调工作，与真正的ir传递协调。

10.基于相同布置的lytro型光场系统，对于可见光谱，在一般水平的图案中，可以用于其他频带中的传感器，这取决于应用，不仅可以包括低光/夜视，以及其他应用和用例(如紫外线或微波)的现场分析。考虑到在较长波长处的分辨率的限制，可以生成来自不可见或不可见的由gps/lidar参考数据补充的空间重建，并且在执行传感器时获得其他维度数据收集相关性。扫描复杂的环境。随着小型化的进行，现在以更小和更小的形状因子和小型化实现的紧凑质谱也可以考虑集成到hmd中。

11.最后，在用于快速数据采样照明参数的基于图像的方法中，以及它们告诉我们关于局部环境的材料，几何形状和大气条件，一个或多个微“光探测器”，这是一个反射球体，其表面可以成像以提取紧凑的全局反射率图，例如位于hmd的关键顶点(左右角或单独的中心，与多个成像器配对以捕获整个反射表面；或者也可以单独或优选地与球体结合使用凹面反射的部分半球形“孔”，或者通过磁场保持节奏，或者在强主轴上或者主要是隐藏式安装，以从紧凑的压缩中提取照明数据反射面)，可以提供高度加速的方法，结合摄影测量的其他相关方法，参数化空间的照明，材料和几何-不仅仅是交流生动和生成的cgi/数字图像的快速图形集成(阴影，光照，透视渲染，包括遮挡等)，以及在复杂，快速变化的环境中对敏感操作的可能风险因素进行快速分析。

iii。机械和基板系统：

从前述内容可以明显看出，已经提出的图像显示子系统和已经提出的分布式和基于图像的感测和辅助成像系统，关注于优选实施例，已经为结构提供了实质性的益处和价值。本公开的机械和人体工程学目标。

1.结构-功能集成的一个优选实施例，具有重量，体积，尺寸，平衡，人体工程学和成本的益处，是张紧薄膜的织物复合结构与柔性光学结构基底的组合的实施。特别优选的是由康宁柳树玻璃形成的hmd框架，其折叠(并且优选地，密封)具有必须集成到hmd中的所有处理和功能电子器件，其可以包括不使用无线的较不优选版本的电源。供电，在折叠的玻璃框架上制作。为了保护玻璃和佩戴者，并且为了舒适和人体工程学，在功能性光学结构构件上施加/包裹或以其他方式添加保护涂层，例如基于冲击波系统的d30，其在非震动，柔软和弹性，但受冲击时，冲击波固化材料，为不太耐用(虽然明显耐用)柳树玻璃结构/功能系统提供保护屏障。折叠的willow玻璃，其内表面是玻璃上系统电子设备的位置，被成形为圆柱形或半圆柱形，以增加强度并更好地保护电子器件免受冲击，并且因此也能够实现更薄的基板。

光纤数据和照明通过柔性，纺织品包裹和保护(优选地，d30作为外部复合层，或其他抗震复合部件)电缆，从照明，供电(优选无线)和数据传递。处理单元在口袋中或集成到用户身体上的智能纺织复合可穿戴物品上，从而平整和重量分布和平衡。

2.一旦光纤(数据，光和可选的电源)电缆与复合柳树玻璃框架集成，光纤就作为复合材料粘合，优于更昂贵和不必要的热熔合，数据e-0数据传输的输入点，以及显示面上的照明插入点。

3.在该版本中，显示框架结构元件也是具有可选的附加复合元件的柳玻璃或柳玻璃型材料系统：但是代替形成光学形状因子元件的实心玻璃或聚合物透镜(双目镜筒)这些是薄膜复合层，遵循透镜型预制件，以帮助形成所需的表面几何形状；也可采用压缩肋来实现适当的曲率。

4.由于功能光学元件的序列在初始滤波器之后并且在其最复杂的阶段中包括光导/限制通道，因此在所提出的结构和子系统中都存在的优选选项是实现光学通道元件，例如光纤，作为气凝胶张紧膜基质的一部分。或者，可以采用空心ir/近红外刚性壳，具有固体(或半柔性)光学通道，用于ir通过ir生成通道，可见通过通道，渗透空腔和空间。-在气凝胶之间，包括正压气凝胶，将实现极其坚固，低密度，轻质的增强结构体系。气凝胶-长丝复合材料已经商业化开发，并且继续在这类复合气凝胶系统中取得进展，为二氧化硅和其他气凝胶提供了广泛的材料选择，现在以低成本制造方法制造(cabot，aspen)气凝胶等)。

5.另一种选择，和/或可与柳树玻璃以混合形式使用，是石墨烯-cnt(碳纳米管)功能结构体系，单独或优选与气凝胶复合。

6.随着石墨烯的进一步发展或功能电子学和光子学特征，石墨烯层或多层，形成在薄的willow玻璃基板上或在具有气凝胶的夹层系统中，石墨烯和cnt的混合物用于电子互连，光学用于光学互连的玻璃上的光纤和平面波导，以及与其他sog系统元件相结合，以及超越sog的越来越多异质的材料系统(将是异质cmos+系统，后“纯”cmos)的情况，将是优选的结构实现。

7.在较近的术语中，石墨烯，cnt，优选石墨烯-cnt组合作为压缩元件，单独或与卷起的willow玻璃和任选的气凝胶电池三明治组合，提供优选的光[重量-集成结构系统具有优越性基材质量。因此，对于板载处理器，传感器部署和密集像素信号处理阵列层，半柔性willowglass，或asahi，schott等可能开发的类似玻璃产品，以及另外但不太优选的近期聚合物或聚合物玻璃杂化物也可用作沉积基质。

iv。其他移动或半可穿戴形状因子(例如平板电脑)也可以实现许多移动ar和vr解决方案，这些解决方案在首选hmd形状因子中得到全面应用。

虽然本文已经公开了特定实施例，但是基于解组合和单独优化像素调制所需的操作和阶段，它们不应被解释为限制所提出的新颖图像显示和投影的应用和范围。

已经一般性地描述了上述系统和方法，以帮助理解本发明优选实施例的细节。在本文的描述中，提供了许多具体细节，例如组件和/或方法的示例，以提供对本发明实施例的透彻理解。本发明的一些特征和益处以这种模式实现，并且在每种情况下都不是必需的。然而，相关领域的技术人员将认识到，本发明的实施例可以在没有一个或多个具体细节的情况下实施，或者与其他装置，系统，组件，方法，部件，材料，部件和/或喜欢。在其他情况下，没有具体示出或描述公知的结构，材料或操作以避免模糊本发明的实施例的各方面。

本说明书中对“一个实施例”，“实施例”或“特定实施例”的引用意味着结合该实施例描述的特定特征，结构或特性包括在本发明的至少一个实施例中。发明并且不一定在所有实施例中。因此，短语“在一个中”的各自出现在整个说明书中各个地方的“实施例”或“在特定实施例中”的实施例不一定是指相同的实施例。此外，本发明的任何特定实施例的特定特征，结构或特性可以可以理解的是，根据本文的教导，本文描述和示出的本发明的实施例的其他变化和修改是可能的，并且被认为是本发明的一部分。本发明的精神和范围。

还应当理解，在图6中描绘的元件中的一个或多个附图或图也可以以更加分离或集成的方式实现，或者甚至在某些情况下被移除或呈现为不可操作，如根据特定应用有用。

另外，除非另外特别说明，否则附图/图中的任何信号箭头应仅被视为示例性而非限制性的。此外，除非另有说明，否则本文所用的术语“或”通常旨在表示“和/或”。组件或步骤的组合也将被认为是注意到的，其中术语被预见为使得分离或组合的能力不清楚。

如本文的描述和随后的权利要求中所使用的，“一个”，“一个”和“该”包括复数指代，除非上下文另有明确说明。此外，如本文的描述和随后的权利要求中所使用的，“在...中”的含义包括“在......中”和“在......上”，除非上下文另有明确规定。

本发明的所示实施例的前述描述(包括摘要中所描述的内容)并非旨在穷举或将本发明限制于本文所公开的精确形式。虽然本文仅出于说明性目的描述了本发明的特定实施例和示例，但是如相关领域的技术人员将认识和理解的，在本发明的精神和范围内可以进行各种等同修改。如所指出的，根据本发明的所示实施例的前述描述，可以对本发明进行这些修改，并且这些修改将包括在本发明的精神和范围内。

因此，虽然本文已经参考其特定实施例描述了本发明，但是在前述公开内容中意图进行修改，各种改变和替换的范围，并且应当理解，在某些情况下，实施例的一些特征是在不脱离所阐述的本发明的范围和精神的情况下，将采用本发明而无需相应地使用其他特征。因此，很多可以进行修改以使特定情况或材料适应本发明的基本范围和精神。本发明不限于在以下权利要求中使用的特定术语和/或作为实施本发明的最佳方式公开的特定实施例，而是本发明将包括任何和所有实施例和等同物。所附权利要求的范围。因此，本发明的范围仅由所附权利要求确定。