光学像差校正的方法和装置与流程

光学像差校正的方法和装置
1.本案是以申请日为2016-04-22，申请号为201680025047.0，名称为“光学像差校正的方法和装置”的发明专利为母案而进行的分案申请。
技术领域
2.本发明涉及近眼系统，更具体地涉及用于解决这种近眼系统和近眼视觉增强系统内的光学像差的方法和装置。


背景技术：

3.近眼显示器是在用户的视野前方进行显示的可穿戴装置。根据应用，显示器可为透明或不透明。例如，透明显示器可以覆盖现实世界中的信息和图形，而不透明显示器可以提供沉浸式的剧院般体验。
4.近眼显示器可以广泛地归于两个类别中，即沉浸式和透明式。沉浸式近眼显示器使用户无法看到现实世界，并且创建较大的视野图像，通常对于电影眼镜为30
°‑
60
°
，对于虚拟现实显示为90
°
+。透明式近眼显示器使用户能够看到显示世界，并且创建透明图像或非常小的不透明图像(仅限制用户周围视野的一小部分)。透明类别可以分为两种应用，增强实境和智能眼镜。增强实境耳机通常在用户对现实世界的视野之外提供20
°‑
60
°
的视野和覆盖信息及图形。与之相反，智能眼镜(其实是误称)通常具有较小的视野和显示，用户可以周期性地扫视显示器，而不是连续观看显示器。
5.但是，即使不考虑其是否使用处方屈光校正透镜，这种近眼显示器使用包括显示器、中间透镜和棱镜以及用户瞳孔等多个光学元件。因此，近眼显示器内从显示器到瞳孔的光学系统将畸变和色差带入到投影图像中。如果这些近眼显示器投影由摄像机拍摄的实时视频数据，也必须考虑到它们的畸变和色差。在许多情况下，这些畸变和色差的校正需要通过增加重量、成本和尺寸的附加校正元件而变得更为复杂的光学系统；需要复杂的图像处理，从而增加从图像获取到呈现的延迟，其在超过相对低的等待时间阈值之后具有严重的影响，从而需要更快的电子器件，增加成本和功耗；或者必须对近眼显示器的性能进行折衷。
6.因此，除对一些光学元件的潜在修改之外，通过电子处理技术减少这些畸变和色差的方法来提供这种近眼显示器的设计具有优势，使其具有低重量、低体积、低复杂度，并且可以向具有正常视力或视力障碍的用户提供低成本的近眼显示系统。利用文中所述消费级的高性能、低成本图形处理单元进行色差校正将带来进一步的优势。
7.结合附图阅读本发明的具体实施例的以下描述，本发明的其他方面和特征对于本领域普通技术人员将变得显而易见。


技术实现要素：

8.本发明的目的是减轻现有技术中与近眼系统有关的限制，更具体地涉及用于解决这种近眼系统和近眼视觉增强系统内的光学像差的方法和装置。
9.根据本发明的一项实施例，提供了一种方法，包括：接收用于在近眼(n21)显示器上呈现给用户的图像数据，其中光学系统设置在用户的眼睛和所述n2i显示器之间；根据具有图像处理管道的静态顶点缓冲区处理接收的图像数据；将来自所述图像处理管道的经处理的输出存储在帧缓冲器内；并在所述n2i显示器上向用户显示所述经处理的输出。
10.根据本发明的一项实施例，提供了用于由存储在非易失性非瞬态存储器上的微处理器执行的计算机可执行代码，所述计算机可执行代码包括与一种方法相关的指令，所述方法包括以下步骤：接收用于在近眼(n2i)显示器上呈现给用户的图像数据，其中光学系统设置在用户的眼睛和所述n2i显示器之间；根据具有图像处理管道的静态顶点缓冲区处理接收的图像数据；将来自所述图像处理管道的经处理的输出存储在帧缓冲器内；并在所述n2i显示器上向用户显示所述经处理的输出。
11.根据本发明的一项实施例，提供了一种近眼显示器系统，包括：微型显示器；以及自由形棱镜，所述自由形棱镜用于将所述微型显示器的输出耦合到用户的眼睛，其中发送到用于显示的所述微型显示器的像素颜色值已经由原始数字图像进行了数字化预畸变，以便补偿获取原始数字图像的图像传感器内的主光线角度、传感器非线性中的至少一个，以及棱镜引起的畸变。
12.结合附图阅读本发明的具体实施例的以下描述，本发明的其他方面和特征对于本领域普通技术人员将变得显而易见。
附图简介
13.现在将参照附图，仅通过举例的方式描述本发明的实施例，其中：
14.图1a和1b展示了杆体和锥体对不同波长光的反应特征，以及人眼根据视网膜上的光分布产生的空间/光谱特性；
15.图2展示了现有技术的沉浸式和增强实境头戴式显示器(hmd)；
16.图3展示了根据现有技术支持本发明实施例的生物头戴式装置；
17.图4展示了根据本发明实施例所述的支持头戴式装置的便携式电子装置；
18.图5展示了hmd定义光学透镜的视觉眼框的构造；
19.图6展示了根据hmd内的显示元件的视野，视觉区域与视觉眼框的关联；
20.图7展示了hmd内的光学透镜的建模的光线跟踪图像；
21.图8展示了用于透镜设计的早期和后续迭代的衍射限制光学调制传递函数；
22.图9展示了源图像中的点与视场角的变化；
23.图10展示了根据图7所示的设计的后续迭代，用透镜显示的图像在用户视野内的色差与位置的变化；
24.图11展示了产生图10所示的模拟结果的光学透镜的透视图和俯视图；
25.图12展示了根据图10和11所示的用透镜显示的图像在用户视野内的模拟几何畸变与位置之间的对比，以及使用图7和10-11所示的棱镜产生的真实和畸变/色散的红色、绿色和蓝色波长的点云；
26.图13示意性地展示了使用图7和图10-12所示的棱镜的产生真实和扭曲/色散的红色、绿色和蓝色波长的点云。
27.图14a示意性地展示了建立三维单独的三角形分块的畸变和色散图像表面的过程，其用于校正图7、图10-12以及图21中所示的棱镜内的光学像差；
28.图15展示了展现并行低延迟处理的示例性hmd电子器件配置和处理顺序；
29.图16示意性地展示了根据利用并行直方图处理的本发明的实施例在hmd内执行的图像处理步骤；
30.图17展示了用于二值化的图像直方图均等化和阈值。
31.图18至20展示了现有技术的图像处理管道；
32.图21展示了利用本发明的实施例的hmd的图像处理系统内的现有技术opengl图像处理管道的功能映射；
33.图22展示了用于将本发明的实施例的图像处理流程映射到opengl图像处理流水线的示例代码；
34.图23展示了根据本发明实施例所述的图像处理中主光线角度(cra)的考虑；
35.图24展示了根据本发明的实施例所述的用于hmd系统的校准图像的示例；
36.图25展示了应用于显示图像以进行稳定化和光学像差校正，以限定成像传感器尺寸的示例性缓冲器；
37.图26展示了根据本发明的实施例所述的标准显示像素配置和可变像素尺寸显示器；
38.图27展示了根据本发明的实施例所述的可变像素尺寸显示器；
39.图28展示了根据本发明的实施例所述的可变像素尺寸显示器；
40.图29展示了根据本发明的实施例，以支持头戴式或眼镜式显示器的预定格式产生图像文件的示例性处理流程；
41.图30展示了根据本发明的实施例，以支持头戴式或眼镜式显示器的预定格式产生图像文件的示例性处理流程；
42.图31展示了根据本发明的实施例所述的可变像素尺寸显示器的示例性流程；
43.图32展示了根据本发明的实施例所述的图像文件数据格式；且
44.图33展示了根据本发明的实施例，以支持头戴式或眼镜式显示器的预定格式产生图像文件的示例性处理流程；且
45.图34展示了一种基于硬件的方法，用于校正图10所示的用透镜显示的图像在用户视野内的色差与位置的变化。
具体实施方式
46.本发明涉及近眼系统，更具体地涉及用于解决这种近眼系统和近眼视觉增强系统内的光学像差的方法和装置。
47.接下来的说明仅提供示例性实施例，并不意图限制本发明的范围、适用性或配置。
相反，随后对示例性实施例的说明将为本领域技术人员提供实现示例性实施例的使用说明。应当理解，在不脱离所附权利要求书中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种更改。
48.本文和本发明全文中使用的“便携式电子装置”(ped)是指需要电池或其他独立形式的电源，用于通信和其他应用的无线装置。其包括但不限于手机、智能手机、个人数字助理(pda)、便携式计算机、寻呼机、便携式多媒体播放器、便携式游戏机，笔记本电脑、平板电脑和电子阅读器等装置。
49.本文和本发明全文中使用的“固定电子装置”(fed)是指用于通信和其他应用，需要连接到固定接口以获得电力的无线和/或有线装置。其包括但不限于笔记本电脑、个人计算机、计算机服务器、自助服务终端、游戏机、数字机顶盒、模拟机顶盒、启用互联网的设备、启用互联网的电视和多媒体播放器。
50.本文和本发明全文中使用的“头戴式显示器”(hmd)是指包括与微处理器结合操作的图像呈现装置的可穿戴装置，使由图像获取装置所获取的图像的预定部分在图像呈现装置上呈现给用户。hmd可以与形成hmd的一部分的图像获取装置相关联，或者可以包括用于接收从hmd外部来源提供的图像的接口。其可以包括但不限于与用户相关联的成像装置、经由接口与hmd相关联的成像装置、远程成像装置、便携式电子装置、固定电子装置或任何视频和/或图像源。包括但不限于存储器、用户输入装置、视线跟踪、环境确定、图形处理器和多媒体内容生成器的微处理器和任何相关联的电子器件可以与(例如)hmd集成，形成具有hmd的整体组件的一部分，形成ped的一部分，或作为与hmd和/或ped无线连接的离散单元。
51.本文所使用的“应用程序”(通常称为“应用”)可以指但不限于“软件应用程序”、“软件套件”的元件，设计为允许个人执行活动的计算机程序、设计为允许电子装置执行活动的计算机程序，以及设计为与本地和/或远程电子装置通信的计算机程序。因此，应用程序与操作系统(运行计算机)、实用程序(执行维护或一般工作)以及编程工具(创建计算机程序)不同。通常，在关于本发明的实施例的以下说明中，应用程序通常表示永久和/或临时安装在ped和/或fed上的软件。
52.本文所使用的“企业”可以指但不限于向用户、客户或消费者提供服务和/或产品的提供商。其包括但不限于零售店、商店、市场、网上商城、制造商、在线零售商、慈善机构、公用事业公司和服务提供商。这些企业可以由公司直接拥有和控制，也可以在特许授权者的指导和管理下由特许经营者拥有和经营。
53.本文所使用的“服务提供商”可指但不限于向企业和/或个人和/或个人群体和/包括微处理器的装置提供服务和/或产品的第三方提供商。其包括但不限于零售店、商店、市场，网上商城、制造商、在线零售商、公用事业公司、自有品牌提供商和服务提供商，其中，服务和/或产品由除服务提供商之外的至少一个企业单独营销、销售、提供和分销。
54.本文所使用的“第三方”或“第三方提供商”可指但不限于向企业和/或个人和/或个人群体和/包括微处理器的装置提供服务和/或产品的第三方提供商，其中，消费者和/或客户参与第三方，但是他们感兴趣和/或购买和/或接收的实际服务和/或产品通过企业和/或服务提供商提供。
55.本文所使用的“用户信息”可指但不限于用户行为信息和/或用户个人资料信息。其还可以包括用户的生物计量/生物医学信息、用户生物计量/生物医学信息的评估，或者
从当前和/或历史生物计量/生物医学信息得到的用户的生物计量/生物医学信息的推测/预测。
[0056]“可穿戴装置”或“可穿戴传感器”涉及由用户穿戴的微型电子装置，包括在衣物下方、内部、之上或上方的装置，并且是更广泛的一般类型可穿戴技术的一部分，包括“可穿戴计算机”，而该技术反过来是指一般或专用信息技术和媒体开发。这种可穿戴装置和/或可穿戴传感器可包括但不限于智能手机、智能手表、智能眼镜、环境传感器、医疗传感器、生物传感器、生理传感器、化学传感器、大气环境传感器、位置传感器和运动传感器。
[0057]
本文所使用的“生物计量”或“生物医学”信息可指但不限于与用户相关的数据，根据与条件子集相关的数据划分，包括但不限于他们的视力、生物状况、生理条件、周围环境条件、位置条件、神经状况、药物状况以及这些所述条件中的一个或多个的一个或多个具体方面。
[0058]
本文所使用的“电子内容”(也称为“内容”或“数字内容”)可指但不限于以存储、发送、接收和转换的数字数据形式存在的任何类型的内容，其中，这些步骤中的一个或多个可以为模拟，尽管通常这些步骤均为数字化。数字内容的形式包括但不限于在离散文件中数字广播、流式传输或包含的信息。狭义地看，数字内容的类型包括流行的媒体类型，如mp3、jpg、avi、tiff、aac、txt、rtf、html、xhtml、pdf、xls、svg、wma、mp4、flv和ppt，例如，请参见示例(其他格式亦同)：http://en.wikipedia.org/wiki/list_ofjlle_formats。在更广泛的范围中，数字内容可包括任何类型的数字信息，例如，数字更新的天气预报、gps地图、电子书、照片、视频、vine、博客文章、facebook文章、twitter推文、在线电视等。数字内容可以是响应于用户请求所生成、选择、创建、修改和发送的任何数字数据中的至少一个，所述请求可以是查询、搜索、触发、提醒和消息等。
[0059]
本文和本发明所使用的“穿戴者”、“用户”或“患者”是指但不限于使用hmd以进行完全或部分视觉增强，以克服视力缺陷的患者，或准备hmd供患者使用的眼科医生、验光师、配镜师或其他视力保健专业人士。本文所使用的“视力缺陷”可指但不限于用户眼睛的一个或多个部分内的生理缺陷，用户眼睛的视神经内的缺陷，用户神经系统内的缺陷，用户眼睛的高阶脑部处理功能，以及用户的眼睛反射。“穿戴者”或“用户”也可以是具有健康视力的个人，其在应用中使用hmd，而不是为了改善生理视觉缺陷。所述应用可包括但不一定限于游戏、增强实境、夜视、计算机使用、观看电影、环境模拟等。增强实境应用可以包括但不限于医学、视觉辅助、工程、航空、战术、游戏、运动、虚拟现实、环境模拟和数据显示。
[0060]
本发明中使用的“像差”或“光学像差”是指但不限于由一个或多个光学元件单独地或组合对光学图像造成的劣化和/或畸变，单个或组合的一个或多个光学元件的性能脱离了近轴光学器件的性能预测。其包括但不限于单色像差，例如活塞误差、倾斜、散焦、球面像差、彗形像差、像散、场曲率和图像畸变。其包括但不限于色散、轴向色差和横向色差。
[0061]
1.人类视觉系统
[0062]
人类视觉系统的特征在于视野中心具有非常高的视敏度，而在外围具有非常差的视敏度。这取决于人类视网膜上光敏光感受器的密度，即所谓的“杆体”和“锥体”。在人类视觉系统(每只眼睛)中有大约六百万个锥体，它们集中在人的正常180-190度视野的中心几度范围内，有助于人们进行准确的视觉和颜色感知。有三种不同长度的锥体，即短、中、长锥体。中锥体和长锥体主要集中在中心的几度，而短锥体具有较大的视网膜上离心率。相比之
下，在整个视网膜中分布着约1.2亿个杆体，其有助于外围视觉，对光亮度和光亮度的突然变化非常敏感，并且是非常快速的受体。
[0063]
参考图1a，杆体和锥体的标准化吸光度作为波长的函数。如图所示，杆体吸收峰在498nm附近，而短、中、长锥体吸收峰分别在420nm、534nm和564nm附近。因此，短、中、长锥体可以为个人的视野提供蓝色、绿色和红色的加权响应。峰值杆体灵敏度为400，而锥体为1，因此杆体在非常低的光亮度下基本仅提供单色视觉。此外，短锥体、中锥体和长锥体的灵敏度有所不同，使得短锥体比长锥体的敏感性低约20倍。与此相似，长锥体占人眼中的锥体的64％，中锥体占33％，短锥体仅占3％。不同锥体类型的相对灵敏度、光谱灵敏度和不同锥体类型的空间分布相结合导致人眼的有效波长/空间滤波成为视网膜偏心率的函数，如图ib所示。
[0064]
具有健康视力的人的视敏度由习惯命名法“20/x”定义，其表示一个人在20米远的地方能够看到视力健康的人在x米远的地方所看到的东西。因此，当视敏度从中央凹处的20/20下降时，低于20/100的首个程度的视网膜偏心率大约高于15度，人眼的有效波长响应在中央凹处为红色主导，在几度到约10度的范围间过度到绿色主导区域，接下来是蓝色主导区域，尽管杆体光谱响应仍然提供显着的绿色灵敏度。20/20视力对应于一个人能够在视野中心的视网膜上感知到对面约一分，l/60度圆弧的物体。
[0065]
功能上，人眼通过瞳孔接收光子，并且其经由眼睛前方的晶状体和角膜聚焦在视网膜上。视网膜中的细胞通过三种方式被入射光子刺激。首先，视网膜光感受器、杆体和锥体对光的光谱特性(如波长和强度)作出响应。这些光感受器反过来刺激视网膜神经细胞，包括双极细胞、水平细胞、神经节细胞和无长突细胞。虽然实际位于眼睛内，这些神经细胞可以被认为是人类大脑中最原始的部分和皮层性视功能。同样，当相邻细胞接收到不同的光谱信息时，光感受器和神经细胞的反应改善。这可以视为视网膜对空间刺激的反应，即任何时刻在视网膜相邻区域发生的光信息事件之间的空间差异。因此，对比度可以定义为在视网膜的小空间区域上的光谱转变、光强度或波长的变化。这些转换在空间上越明显，人类视觉系统响应就越有效。此外，眼睛响应于信息的时间变化，即信息对光感受器和视网膜神经细胞的刺激由于物体运动、头部/眼睛运动或光谱/空间信息的其他变化而时刻改变。重要的是要注意，人类视觉功能的很大一部分在大脑中发挥作用。事实上，视网膜神经细胞可以被认为是大脑皮质和大脑枕叶的延伸。
[0066]
2.生物头戴式显示器
[0067]
在现有技术中，头戴式显示器(hmd)通常被设计为沉浸式使用，例如，用户只能看到投影到显示器上的图像；或者是增强实境，其中，用户观看现实世界，并通过hmd呈现附加信息。前者(沉浸式hmd)的示例如图2所示，包括oculus的oculus gear 2010(结合samsung)，sony的hmz-t3w 2020，以及panou的virtual research(vr)1280 2030。后者(增强实境)类别包括recon的recon jet2040、google的google glass 2050和epson的moveriobt-200 2060等装置。在前者(沉浸式hmd)中，用户直接观看显示器，或直接或单独显示，而在后者中，使用通常较小的显示器将其投影到用户视网膜上的较小区域，使用户看到覆盖呈现在用户自然视野上的附加信息。
[0068]
所有这些系统都涉及至少包括显示器和用户瞳孔的光学系统。除了仅有这两个元件的最基本的hmd系统之外，该光学系统中还设有其他光学元件。这些光学元件可以包括但
不限于矫正处方眼镜、隐形眼镜、获取用于显示给用户的图像的相机，以及设置在光学系统内的一个或多个透镜和/或棱镜。因此，需要考虑和解决畸变和色彩效应等像差，以便为用户提供最佳的视觉刺激。例如，在诸如oculus gear2010等将显示器放置在用户眼睛前方的系统中，一对透镜会向用户提供相同显示器的略微不同的视野，以触发深度感知，而sony hmz-t3w则利用设置在用户的瞳孔和两个显示屏幕之间的一对透镜。相比之下，由本发明者在esight inc.中开发的与hmd相同的moveriobt-200 2060利用投影光学器件，用户通过该投影光学器件观看世界，并且将增强图像和/或增强内容从光学显示器(安装在hmd的侧面，例如moveriobt-200和esightgeneration 3hmd)投影到该投影光学器件上，或者向下投影，例如esight的generation 1和generation 2 hmd。其他侧面安装的显示器利用各种光学元件来重新引导从显示器到眼睛的光路，包括但不限于曲面镜(例如vuzix)、衍射波导(例如，nokia和vuzix)、全息波导(例如sony和konica-minolta)、偏振波导(例如lumus)和反射波导(例如epson、google、esight)。
[0069]
esighthmd支持具有和不具有屈光校正的透镜的用户，如图3所示。第一至第三示意图310至330分别是校正透镜的示例，第四至第六示意图340至360分别是没有透镜的示例。因此，使用笔记本电脑390的用户380通常将以其头部朝向第二、第三、第五或第六示意图320、330、350和360中所示的方向，其中采用了hmd。在这种情况下，笔记本电脑390可以建立到hmd 370的直接wpan或有线链路，从而将图像显示给用户，否则该图像将显示在笔记本电脑的屏幕上。在一些情况下，由于与hmd 370(或者连接到hmd 370的ped)相比，笔记本电脑通常增加处理资源，可能具有在其上执行的软件来接管来自hmd 370或ped的处理。如果使用加重hmd生物系统的用户向后倾斜头部，则hmd分别以第一和第三示意图310和340所示的方式枢转。可选地，hmd经手动枢转脱离用户的视线，但是其仍然可以向上扫视来观看显示器。在第三和第六示意图330和360中，用户已经向前倾斜头部以观看内容，其中，hmd内的相机可以倾斜和/或缩放以提供不同视角。因此，在不同的配置中，用户可以直接观看不同方位的hmd本身，而不用屈光校正透镜或通过其屈光校正透镜的不同区域。
[0070]
3.hmd与合作装置配置
[0071]
参考图4，其展示了根据本发明实施例所述的支持到hmd 470的接口的便携式电子装置404。在ped 404中还展示了作为系统400的简化功能图一部分的协议架构，其包括便携式电子装置(ped)404(例如智能手机)，接入点(ap)406(例如第一wi-fi ap 110)，以及一个或多个网络装置407(例如通信服务器、流媒体服务器和路由器)。网络装置407可以经由网络、有线、无线和/或光通信的任何组合联接到ap 406。ped 404包括一个或多个处理器410和联接到处理器410的存储器412。ap 406还包括一个或多个处理器411和联接到处理器411的存储器413。处理器410和411中的任何一个示例的非全面列表包括中心处理单元(cpu)、数字信号处理器(dsp)、精简指令集计算机(risc)、复杂指令集计算机(cisc)等。此外，任何处理器410和411可以是专用集成电路(asic)的一部分，或者可以是特殊应用标准产品(assp)的一部分。存储器412和413示例的非全面列表包括以下半导体装置的任意组合，例如寄存器、锁存器、rom、eeprom、闪存装置、非易失性随机存取存储装置(nvram)、sdram、dram、双倍数据速率(ddr)存储装置、sram、通用串行总线(usb)可移动存储器等。
[0072]
ped 404可以包括音频输入元件414(例如麦克风)以及音频输出元件416(例如扬声器)，其联接到处理器410中的任何一个。ped 404可以包括视频输入元件418(例如摄像
机)以及视觉输出元件420(例如lcd显示器)，其联接到处理器410中的任何一个。视觉输出元件420也联接到显示器接口420b和显示状态420c。ped 404包括一个或多个应用程序422，其通常存储在存储器412中，并且可由处理器410的任意组合执行。ped 404包括协议堆栈424，而ap 406包括通信堆栈425。在系统400内，协议堆栈424显示为ieee 802.11/15协议堆栈，但是也可以利用其他协议堆栈，例如internet工程任务组(ietf)多媒体协议堆栈。同样，ap堆栈425利用协议堆栈，但是为了清楚起见不扩展。协议堆栈424和ap堆栈425的元件可以以软件、固件和/或硬件的任意组合来实现。协议堆栈424包括联接到一个或多个前端tx/rx和天线428的ieee 802.11/15兼容phy模块426、联接到ieee 802.2兼容llc模块432的ieee 802.11/15兼容mac模块430。协议堆栈424包括网络层ip模块434、传输层用户数据报协议(udp)模块436和传输层传输控制协议(tcp)模块438。还展示了wpan tx/rx和天线460，例如支持ieee802.15。
[0073]
协议堆栈424还包括会话层实时传输协议(rtp)模块440、会话通知协议(sap)模块442、会话初始协议(sip)模块444和实时流协议(rtsp)模块446。协议堆栈424包括表示层媒体协商模块448、呼叫控制模块450、一个或多个音频编解码器452和一个或多个视频编解码器454。应用程序422可通过ap 406，使用任何装置407创建维护和/或终止通信会话。通常，应用程序422可为此激活sap、sip、rtsp、媒体协商和呼叫控制模块中的任何一个。通常，信息可以通过tcp模块438、ip模块434、llc模块432和mac模块430从sap、sip、rtsp、媒体协商和呼叫控制模块传播到phy模块426。
[0074]
对于本领域技术人员显而易见的是，ped 404的元件还可以在ap 406内实现，包括但不限于协议堆栈424的一个或多个元件，包括(例如)ieee 802.11兼容phy模块、ieee 802.11兼容mac模块和ieee 802.2兼容llc模块432。ap 406还可以包括网络层ip模块、传输层用户数据报协议(udp)模块和传输层传输控制协议(tcp)模块以及会话层实时传输协议(rtp)模块、会话通知协议(sap)模块、会话初始协议(sip)模块和实时流协议(rtsp)模块、媒体协商模块和呼叫控制模块。
[0075]
还展示了hmd 470，其通过天线471和wpan tx/rx和天线460之间的wpan接口联接到ped 404。天线471连接到hmd堆栈472并且在其中连接到处理器473。处理器473联接到相机476、存储器475和显示器474。hmd 470是(例如)以上根据图3描述的hmd 370。因此，hmd 470可以(例如)利用ped 404内的处理器410来处理功能，使得低功率处理器473部署在hmd 470内，控制从相机476获取图像数据，并通过指令集和一些算法(例如，存储在存储器475内)，经由显示器474向用户显示经修改的图像数据。很明显，与特定个人的视觉缺陷相关的数据可以存储在ped 404的存储器412和/或hmd 470的存储器475内。该信息可以经由网络装置407和ap406从表征个人视觉缺陷的视远程系统(例如验光系统)远程传输到ped 404和/或hmd 470。例如，esight generat ion 3hmd支持与ped/fed的有线usb连接以及蓝牙连接。因此，到hmd 470的wi-fi连接将经由ped/fed进行蓝牙或有线连接。
[0076]
可选地，图像数据的处理可以仅在hmd 470中进行，仅在ped 404中进行，在其之间分配，能够独立于两者执行，或者根据处理器负载、电池状态等的限制动态地分配。因此，从与hmd 470相关联的相机获取的图像可以由hmd 470直接处理，但是从外部源获取的要显示的图像数据由ped 404处理，以便与由hmd470提供的图像结合，或者替代它们。可选地，在hmd 470低电量的情况下，hmd470内的处理可以被卸载到ped 404，例如，其中也可以建议用
户在hmd 470和ped4040之间进行电连接，以便消除蓝牙接口或其他本地pan等的功耗。
[0077]
因此，对于本领域技术人员显而易见的是，具有相关联的ped的hmd可以相应地下载用于各种功能的原始软件和/或修订，包括与个人眼睛相关的诊断、显示图像生成和图像处理算法以及修改的眼科数据。因此，可以想到制造单个通用hmd，然后通过软件和患者眼科数据将其为个人配置。可选地，可以在离散的独立ped(而不是利用消费ped)中经由无线网络(在其中实现)实现网络接口所需的ped元件，通过wpan协议、处理器等进行hmd接口。如图4所述的ped允许用户通过在内部存储器中选择来适应所采用的算法，并且通过触摸屏、触摸板或键盘接口等定义roi。
[0078]
此外，ped上的用户接口可以为情境感知，以便为用户提供不同的接口、软件选项和配置，例如，基于包括但不限于所访问的蜂窝塔、wi-fi/wimax收发器连接、gps位置和本地关联装置等因素。因此，可以基于ped确定情境在用户的确定情境上重新配置hmd。可选地，hmd可以基于任何前述技术来确定自身情境，其中这些特征是hmd配置的一部分，并且基于处理从相机接收到的图像。例如，基于处理来自相机的图像，用户正在坐着观看电视的情境下的hmd配置可能与确定用户正在阅读、行走、驾驶等的情境下的配置不同。在某些情况下，所确定的情境可以由用户覆盖，例如，hmd与用户车辆的蓝牙接口相关联，但在这种情况下，该用户是乘客而不是司机。
[0079]
对于本领域技术人员显而易见的是，在某些情况下，用户可以选择加载与hmd所提供算法和应用程序不同的图像处理算法和/或hmd应用程序。例如，第三方提供商可以提供hmd提供商未提供的算法，或hmd提供商可以批准第三方提供商开发解决特定要求的算法。例如，一名第三方提供商可以为日本、中国等开发信息标志组，而另一名第三方提供商可以为欧洲提供此信息标志组。
[0080]
可选地，hmd还可以向已经从电子装置(例如电视机、计算机显示器、多媒体播放器、游戏机、个人录像机(pvr)或有线网络机顶盒)获取的用户呈现可视内容。该电子内容可以无线传输，例如直接传输到hmd，或经由hmd接口的ped传输。或者，电子内容可以通过usb、i2c、rs485等有线接口获取，如上所述。在内容源自电视机、计算机显示器、多媒体播放器、游戏机、个人录像机(pvr)或有线网络机顶盒等电子装置的情况下，hmd的配置可以对于多个电子装置通用，其“正常”外界接触或其“正常”外界接触的hmd配置以及电子装置可能不同。这些不同可以是(例如)针对通用算法的不同的处理变量值，或者可以是不同的算法。
[0081]
4.光学棱镜设计
[0082]
参考图5，展示了用于分析具有hmd的光学系统的视觉眼框的结构，以分析和限定将呈现在显示器上的图像耦合到用户的光学透镜。在根据本发明实施例所述的hmd内，讨论了设计过程，显示器布置在用户头部的侧面，而不是在他们眼睛的上方。因此，根据透镜是否向用户的左眼或右眼呈现内容，透镜在朝向用户的左侧或右侧太阳穴的边缘上接收，并且通过将透镜的图像反射到用户的瞳孔510中来呈现图像。瞳孔510的建模和分析中的典型尺寸是直径为4mm的圆。例如，使用sony ecx331微型显示器可在10.336mm宽和7.8mm高的窗口内提供1024x768像素的图像。或者，emagin 800x600像素显示器可提供19.8mm宽和15.2mm高的加大尺寸。因此，通过具有20mm的目标最小良视距(距离瞳孔的距离)的sony显示器，呈现出约35
°
x26
°
与30
°
x 22.5
°
的视野(fov)。因此，用于分析的眼框520被定义为12.5mmx 6mm，如图5所示。
[0083]
然后参考图6，基于考虑到10％图像对比度的调制传递函数(mtf)，根据hmd内的显示元件的视野，描绘了与视觉眼框相关联的视觉区域(以下称为mtfio)。mtf是成像系统或部件的空间频率响应，并且是相对于低频率的给定空间频率的对比度。该空间频率通常以线对每毫米(lp/mm)或由线对朝向的弧角测量。较高的空间频率、较高的mtfio值对应于用户解析更精细的图像数据，可以将其视为感知更清晰的图像或定义要显示的内容的限制，因为较低的mtfio表示显示内容的感知减少。因此，如图6所示，对于具有36
°
fov的显示器，四个区域被定义为眼框610，以及第一至第三圆形区域620至640。在眼框610内，mtf10设为》38.5lp/mm(《2.3arcmin)，其在第一至第三圆形区域620至640之间增加至》42、》46.5和》50，分别对应于《2.1、《1.9和《1.75的角分辨率。
[0084]
因此，光学透镜图7分别展示了hmd内的光学透镜的计算机辅助设计(cad)建模的第一和第二图像700和750中的光学射线跟踪。第一图像700是根据本发明的实施例所述，被发明者称为棱镜的透镜的横截面平面图，而第二图像750展示了透视图，其中，显示器710上的图像通过棱镜透镜耦合到用户的瞳孔730，该棱镜透镜包括朝向显示器的第一面720a，投影图像反射的第二面720b，以及第三刻面720c，除提供从棱镜透镜到瞳孔730的出口面外，第三刻面还具有反射出来的投影图像。因此，从显示器710到瞳孔730的光路穿过第一面720a，反射离开第三面720c，反射离开第二面720b，然后穿过第三面720c。对于本领域技术人员显而易见的是，分别包括第一至第三面720a至720c的图7所示的棱镜可以形成为单个元件。可选地，第一至第三面720a至720c可以是组装用于提供所需功能的离散棱镜透镜元件。图11中展示了分别包括第一至第三面720a至720c的单件部分棱镜的cad图像。
[0085]
因此，cad分析随棱镜透镜的表面而有所不同，将源图像的空间频率变化分别描绘为第一至第三面720a至720c。因此，对于每个棱镜透镜设计迭代，可以获得衍射限制光学mtf图，例如早期迭代800和晚期迭代850。图8中，允许通过改变眼眶/源图像上要分析的位置来对棱镜透镜设计进行调制(对比度)。因此，在眼框的外缘处，曲线下降到低调制(对比度)，使得曲线810在大约39(mtf10)的mtf处下降到10％及以下。虽然在眼框的外缘满足》38.5的设计目标，但在设计中没有太多的余量，其结果在早期迭代800中示出，而在晚期迭代中，mtf 10增加到大约41。
[0086]
类似地，可以导出并绘制用户在瞳孔居中于眼框中心时的均方根光斑尺寸(rms)直径与视场角的关系。因此，与提供图8所示的结果相同的设计迭代可以绘出该rms直径，产生图9中的第一和第二图900和950。因此，在第一图900中显而易见的是，对于高视场角，rms光斑直径变得相当大，而在第二图950中，即使对于x(横向)和y(垂直)方向上的高角度视场角，rms光斑直径也显著较低。
[0087]
但是，即使mtf 10可以增加到每毫米高线量或低弧秒值，并且可以通过棱镜透镜的设计迭代减小rms光斑直径，由图10所示的进一步分析可明显看出，对于高视场角，退化仍然明显由色差引起。在棱镜透镜的设计目标中，聚(甲基丙烯酸甲酯)(pmma)材料的使用受到限制。pmma是一种高透明度的热塑性塑料，通常用作钠钙玻璃的轻质或防碎替代品。在可见光波长范围内的pmma的折射率从405nm处的n-1.5052到750nm处的n＝1.4587，即δn＝-0.0465。相比之下，钠钙玻璃的范围从405nm处的n-1.5366到n＝1.5183，即δn＝-0.0183。因此，钠钙玻璃的色散约为pmma的40％。但是，考虑到图7所示的棱镜，则一对这种透镜的重量约为22g，而pmma的重量约为10g，并且将显着降低成本。显而易见，可以使用呈
现不同绝对折射率和不同色散特性的其他材料。因此，hmd棱镜透镜的性质随着棱镜透镜内增加像差的波长而变化。显示器内的每个像素实际上是三个或更多个发光元件，从而使每个像素的绿色、红色和蓝色组成源于不同的物理位置。但是，从下面的图9和图10可以明显看出，材料色散度、材料成本、棱镜透镜重量等之间的多维权衡与残余的光学像差存在于设计空间内，设计者可以利用其实现用于hmd的棱镜透镜。
[0088]
5.像素预畸变/纹理映射
[0089]
因此，在图10中，第一图像1010描绘了红色、绿色、蓝色分布，其中角视场位置从顶部的高视场角位置到底部的视场的中心。第二和第三图像1020和1030描绘了这些下限和上限，分别表示分布从三个紧密映射的分布演变为三个角度分散的分布。进一步显而易见的是，角坐标(11.35
°
,-15.00
°
)处的第一分布1040与角坐标(11.35
°
,15.00
°
)处的第二分布1050相比，棱镜透镜的性能相对于其轴线不对称。
[0090]
因此，显而易见的是，对于hmd内的光学棱镜，无论水平还是垂直相对于用户的眼睛安装，存在合成彩色总图或矩阵，其识别分散的红色、绿色和蓝色(rgb)相对于彼此，以及在绝对坐标(显示器内的指定像素到其位于每个x、y位置上的投影图像)中的平移。彩色总图(chrodismap)的尺寸可以(例如)为1024
×
768(针对显示器内的每个像素，例如sony ecx331微型显示器)，或者是根据显示器的区域图的缩小矩阵。chrodismap输入尺寸可能超过输出尺寸，反之亦然，以便适应不同的显示子系统特性、运动补偿边缘限制等。
[0091]
chrodismap可以是在hmd内的图像处理的设计和/或实施中使用的多个映射之一，包括但不限于：交叉映射：提供显示坐标系与棱镜观察区坐标系的映射；色散映射(chrodismap)：其使用(例如)棱镜观察区坐标提供色散平移矩阵，可以在坐标系和/或棱镜观察区内的完全映射到子集/采样之间变化，并且可以为绝对或相对于另一个映射；以及畸变图谱(dismap)：使用(例如)棱镜观察区坐标来提供坐标平移矩阵，并且可以变化，包括完整映射、坐标系内的子集/样本映射，或者棱镜观察区内的子集/样本映射。
[0092]
例如，进入chrodismap的条目将从其预期像素位置识别源像素的r、g、b子像素的预期像素位置和位移。或者，进入chrodismap的条目可从其预期像素位置识别预期像素位置、参考颜色(例如g)以及源像素的r和b子像素位移。或者，进入chrodismap的条目可以识别微显示器原始像素位置以及用户所感知的r、g、b子像素的对应坐标。
[0093]
这些位移和位置测量可以根据像素单元或其他几何坐标系来定义。可选地，可以提供识别测量或设计的像素位置和校正的像素位移或位置的chrodismap(可以是绝对坐标或相对坐标)。可选地，chrodismap可以与显示/hmd光学系统的其他映射结合。
[0094]
自由形棱镜内的色散和畸变是由物理光学约束和材料限制所引起，并且是需要在设计过程中考虑的自由形棱镜内的畸变之一。其实际上无法避免。如果设计者试图使畸变无法察觉，那么结果将是整体图像质量和/或视野的显着降低。因此，在自由形棱镜的设计过程中，非畸变图像的边界条件的放松可改善整体感知的图像质量和/或视野。
[0095]
可选地，可以通过将第二材料引入自由形棱镜的设计中，使第二部分内的色散/像差抵消由第一部分引入的色散/像差来消除或减小色散和像差。但是，在以hmd为例的许多应用中，减小尺寸、重量和成本以及在设计框架内的整体限制要求使得该选项不可行。
[0096]
但是，发明者已经建立了解决这一问题的替代方法，即基于电子器件的畸变和色散校正。随着用于图形、游戏、娱乐等的便携式电子器件、固态显示器(例如lcd或led显示器)和数字图像处理/生成系统的发展，具有高处理能力的数字电子器件和专用处理器在小型化方面变得可行。这种系统能够实时处理单个帧的各个像素，而不会显著增加等待时间，这在使用需要处理实时视频流(例如，美妙具有很多图像帧的视频流)的具有hmd的沉浸式增强实境应用程序等中非常重要。因此，可以提供纯电子解决方案或其中控制/处理电子器件与显示器组合起作用的组合解决方案。
[0097]
在图11中，展示了通过根据本发明实施例和如上所述的方法设计的棱镜透镜的透视图和平面图1100和1150。图11中的棱镜透镜部署在由esight制造的图3所示的hmd内的水平方向上，使得左眼和右眼的每个的oled显示器1110位于hmd的外边缘。oled显示器1110、棱镜透镜1120和用户瞳孔1130的相对位置如图11所示。
[0098]
用于如图12所示的这种棱镜的21x21 chrodismap，其表示之后的设计迭代，结果在图8中的后期迭代图850和图9中的第二图950中示出。因此，可以看出显示器所产生的“网格”在所谓的“桶形”畸变中如何略微扭曲，但其也可能会遇到其他畸变，包括(例如)所谓的枕形、“彗形”、“像散”和高阶球面/非球面畸变。
[0099]
可选地，单个chrodismap图可以用于左眼和右眼(例如相同的自由形棱镜，但在一只眼睛中相对于另一只眼睛反转)，或者可以为每只眼睛使用唯一的chrodismap图。可选地，通过镜像左棱镜和右棱镜的自由形棱镜设计，并使用棱镜的水平方向，则左图和右图是彼此的镜像。在垂直棱镜方向中，可以使用相同的左图和右图。为了节省ped内的数字存储器，直接向相关的hmd或hmd电子器件提供处理，则在执行实时校正时，也可以通过在相反方向上横穿图来在水平配置中使用单个图。
[0100]
根据本发明的实施例，可以采用不同的方法，包括但不限于在本说明书中参考图5至图34所描述的方法。可选方法可以包括以下步骤：步骤1：预处理色散图以创建指定显示器的完整显示反向映射。完整图具有每个像素的条目。预处理来自色散图的内插或外推。内插/外推可以一行一行地或通过本领域已知的其他方法进行，并且可以为线性或非线性。反向映射中的每个条目标识指定像素r、g和b位置应移动到哪里，以便呈现具有色彩融合显示的用户出射光瞳。存储图，以便用于实时视频或图像处理。步骤2：预处理畸变图谱。可选地，这可以与步骤1同时执行，或随后进行，因为这些第一和第二步骤是预处理，并且存储结果，以便用于hmd内的实时图像校正。步骤3：使用预处理的“完整显示反向映射”，对于每个显示图像帧，在显示之前将各个r、g和b像素转换为其映射位置。其结果将向用户呈现色彩融合的非畸变图像。
[0101]
替代方法可以包括在视频处理期间仅使用色散和畸变图谱来内插或外推以及平移各个像素。这在计算上更昂贵，但是根据电子系统，可能更快或功效更高。
[0102]
现在参考图13，hmd微显示器1310中的源图像像素到用户的眼框1320的映射仅针对四个角落像素1310a至1310d进行描绘，产生了第一至第四色散区域1320a至1320d，其分别具有针对白色角落像素1310a至1310d的特定红色、绿色和蓝色波长。因此，对于红色、绿色和蓝色波长中的每一个，分别具有对应的红色、绿色和蓝色chrodismap 1330r、1330g和1330b。基于oled显示器内的像素分别选择生成红色、绿色和蓝色chrodismap 1330r、1330g
和1330b的映射，如在hmd中通常可以采用的那样。因此，可以通过例如每个hmd棱镜透镜的描述和描绘和/或实验特征的设计模拟来建立分别产生红色、绿色和蓝色chrodismap1330r、1330g和1330b及其相关用户的眼框映射1320(来自hmd微型显示器1310，作为棱镜透镜以及在从hmd显示器到用户瞳孔以及其中视网膜的光路内的任何其他色散/像差生成光学元件的结果)。
[0103]
因此，对于每个红色、绿色和蓝色chrodismap 1330r、1330g和1330b，可分别生成对应的一组红色、绿色和蓝色坐标图，如图14a所示。实质上，红色、绿色和蓝色图1410r、1410g和1410b中的每一个分别限定了具有光学像差的显示器内的像素位置，使其在用户眼睛的瞳孔处的位置与表示hmd显示器的网格对齐，并且在用户瞳孔处没有光学像差。因此，如图所示，源分组1450a表示棱镜透镜具有光学色散/像差时，红色、绿色和蓝色像素与用户的瞳孔对齐。这在图14b中示出，其中，显示器1420上的第一至第四“像素分组”1420a至1420d在用户的瞳孔的映射显示1430内分别映射到第一至第四像素1430a至1430d。实质上上，发明者通过预畸变红色、绿色和蓝色像素位置来进行补偿，使得它们畸变，以便在用户眼睛的瞳孔处重叠。发明者将其称为像素预畸变。
[0104]
因此，在本发明的实施例中，可以将显示器上的图像的生成简化为简单的查表过程，其中，在具有或不具有附加图像处理的所获取的图像内的每个像素被映射到显示器内的像素。因此，以低延迟实现显示数据的内容获取。
[0105]
5.hmd图像处理系统和延迟
[0106]
游戏以外的应用程序中的hmd系统(其中，用户与现实世界交互，或者hmd为用户的视觉缺陷提供校正/补偿或提供增强实境)需要较低的延迟，以避免对用户的生理副作用。由于所感知的外部环境与通过眼睛的运动和/或惯性感觉所预期的方式不同，这种副作用可能会更为明显，例如造成不稳定和恶心。但是，hmd的延迟通常分散在一系列电气和光学元件上，并且即使不考虑用于降低像差的图像处理要求(例如，用于增强用户感知的像素预畸变，用于增强识别的物体边缘的空间、光谱和时间变化以及对比度增强等)也难以将其最小化。
[0107]
参考图15，其展示了展现并行低延迟处理的示例性hmd电子器件配置和处理顺序。如图所示，配置/顺序包括：ccd传感器1510，其以特定像素尺寸(例如1128x846)和帧速率(例如120帧/秒(fps))获取用户视野；微处理器1520，其以一定的速率(例如240fps)从ccd传感器1510获取帧，并且执行处理功能，例如从经拜尔过滤的ccd阵列进行色彩恢复的逆拜耳处理和自动白平衡(awb)(例如，以第二尺寸(例如1044x788)产生经处理的图像)；图形处理单元1530，其以240fps的速率和第二尺寸获取帧，以便应用色差(如上文和下文所述)、自动白平衡、主光线角度(cra)校正和图像增强等图形处理功能；表面管理器1540，其将所有“图像”表面(如获取的图像和重叠内容)复合到单个缓冲器中进行显示；硬件整理器1550，其从表面管理器1540获取内容并将其整理用于显示器1570；如下所述的缓冲器1590，其提供了管理不同帧速率并减少处理配置/顺序内的延迟的能力；
互连桥1560，其将硬件整理器1550连接到显示器1570；显示器1570，其以显示速率(例如60fps)显示第二尺寸的图像，其在本发明的实施例内是像素预畸变图像，从而使与棱镜透镜一起显示的图像应用颜色相关的校正；以及棱镜透镜1580，其将像素预畸变图像耦合到用户的瞳孔，通过其设计所建立的像差校正产生第三尺寸(例如1024x768)的所需显示图像。
[0108]
因此，表1展示了hmd电子器件配置和处理顺序的时序。hmd电子器件配置和处理顺序的时序。表1：hmd硬件和处理延迟注1：gpu处理时间可能会随着附加处理的应用而增大
[0109]
如图15所示，一组缓冲器(缓冲器1590)设置在硬件整理器1550和互连桥1560之间。在本发明的一项实施例中，缓冲器1590可以包括被称为“显示”缓冲器、“填充”缓冲器和“下一填充”缓冲器的三个缓冲器，这些缓冲器1590由硬件整理器1550和互连桥1560分别按照标准程序访问。因此，互连桥1570访问“显示”缓冲器，以便在硬件整理器1550填充“填充”缓冲器时提供用于显示器1570的信息。当通过互连桥1560的显示器1570从“显示”缓冲器读取时，其移动到要显示内容的“填充”缓冲器。硬件整理器1550在填充“填充”缓冲器后移动，以填充“下一填充”缓冲器。因此，对于本发明一项实施例中的硬件整理器1550和互连桥1560，硬件整理器1550和互连桥1560不能同时访问相同的缓冲器以进行写入/读取，而是以循环格式依次访问三个缓冲器，因此硬件整理器1550填充下一个缓冲器，或者填充互连桥1560将访问的下一缓冲器，从而将数据带入显示器1570。如图15所示，由硬件整理器1560处理并因此写入缓冲器1590的典型的硬件配置帧速率高于互连桥1560到显示器1570的读取帧速率。由于在此接口的帧速率降低，在输入和输出帧速率相等的情况下，图像“过时”较少。
[0110]
如果我们认为显示器1570提供或者被提供帧同步信号，则在具有快速前端和慢速
后端的图15所示的示例性配置之内进行垂直同步，然后hmd以高速率从ccd传感器1510获取帧，并且通过前端将其处理，并传入缓冲器1590。显示器1570具有较低的帧速率，并且从缓冲器1570进行读取。接收或生成垂直同步会导致显示器获取存储在缓冲器中的最新帧。在该配置中，硬件整理器1560可能已填充第一缓冲器，然后填充第二缓冲器(其中获取/生成垂直同步)，使得经由互连桥1560的显示器1570现在从第二缓冲器读取，而第一缓冲器现在由硬件整理器1560覆盖。
[0111]
因此，显而易见的是，尽管图15所示的处理/硬件管道通常可以ccd传感器1510和具有同步操作的显示器的固定帧速率来操作，在本发明的其他实施例内，也可使用异步操作和/或不同帧速率。例如，显示器1570可以设置为具有与硬件整理器1550和缓冲器1590的时钟不同的时钟所操作的电路。或者，ccd传感器1510可以用不同与硬件整理器1560和缓冲器1590的时钟进行计时，或者ccd传感器1510、显示器1570和中间管道的不同部分可以采用不同的时钟操作。这种情况可能发生在显示器1570、ccd传感器1510和中间管道是三个不同的可穿戴装置时。但是，在这种情况下(或者，其位于单个可穿戴装置中，例如hmd)，通过在此阶段中交错垂直同步，在其他阶段中相关联的同步信号可以配置为使得该过程不需要等待全帧处理，即可开始管道中的下一阶段。通过这种方式，可以通过管道内的交错同步信令来减少管道中的帧速率和元件的延迟。
[0112]
在管道的替代实施例中，缓冲器1590仅仅是“显示”缓冲器。在该配置中，显示器1570经由互连桥1560从缓冲器1590读取，但是硬件整理器1550(或写入缓冲器1590的任何其他元件)直接操作而不考虑同步。尽管进一步减少管道内的延迟，这可能会造成发明者所称的“图像撕裂”，因为显示器1570现在可以显示一个帧的一部分以及另一个帧的一部分。
[0113]
在本发明的另一实施例中，其中硬件整理器1550等在写入缓冲器1590内的缓冲器时更快，则根据适当的硬件选择，缓冲器可以由硬件整理器1550同时写入，通过互连桥1560读取，因为我们知道缓冲器1590可以比清空时更快的速度填充。在该配置中，缓冲器1590中的缓冲器被填充，达到阈值容量，在该容量下可以安全地从缓冲器开始读取。如果缓冲器1590的读取速度比填充速度快，阈值表示读取缓冲器的时间仍然足以使剩余的填充操作完成，那么可以使用类似的阈值。
[0114]
现在参考图16，其示意性地展示了根据利用并行直方图处理的本发明的实施例在hmd内执行的图像处理步骤。在根据图15所示和所描述的实施例中，hmd利用片上系统(soc)技术，分别将图形和中央处理器、gpu和cpu，以及视频图像i/o子系统，直接存储器访问(dma)和内存控制器相结合。但是，如下所述，本发明的实施例可以通过具有硬件-软件-固件和集成对混合和/或分立电路的不同组合利用不同的架构。如图16所示为获取的图像帧(例如，从与hmd相关联的ccd传感器、ccd传感器或视频馈送、有线电视馈送、互联网网站等外部源获取)(图像数据1605)。然后将其由dma存储到rgb缓冲器(rgb1 1610)中。如果该图像要直接使用而不进行任何处理(例如用户使用hmd进行视觉增强)，或视觉增强交替显示处理/未处理的图像，则来自rgb11610的内容经由第一和第二组合器1645和1655联接到渲染过程校正1660(如图15所述)，然后分别显示在左眼和/或右眼1665和1670上。
[0115]
除了耦合自第一组合器1645的信号之外，第二组合器1665还接收来自菜单缓冲器1650的控制数据。菜单缓冲器1650可以向用户提供内容重叠、文本重叠、图像视频，图像内容功能以及用户的控制/功能菜单显示。第一组合器1645还从rgb11610接收来自第二rgb缓
冲器(rgb2缓冲器1620)的内容。rgb2 1620内的内容是通过将过程1680应用于yuv缓冲器1615内的内容而生成，yuv缓冲器根据rgb1 1610内的内容而建立(yuv是映射了rgb加色空间的颜色空间，其中y表示亮度，u/v分量表示颜色。)在本发明的实施例中，基于图像数据1605的直方图的数据对于多个功能有用，例如用于均等化的图像直方图，或用于二值化的阈值化，如下文参考图17所述。
[0116]
但是，该直方图数据必须以低延迟生成。因此，在本发明的一项实施例中，yuv缓冲器1615内的数据通过细化来处理，以便在gpu内并行处理。因此，gpu处理器1640内的单独的gpu处理线程被分配给每个段，每个段并行地计算其图像数据段的局部直方图，被描绘为第一到第n’h
直方图二进制阵列1625a、1625b至1625n。在本地计算之后，与计算整体图像直方图相比，直方图的每个二进制值再次并行与现在分配给每个二进制值的gpu处理器1640线程相加。其由条目直方图1630描绘，其包括2n个条目，因为yuv图像数据通常为二进制编码。但是，也可以采用其他配置。然后将该直方图传送到用于处理的通用cpu 1635，其可以包括附加功能，例如以下参考图17和其他图所述。在cpu 1635中计算出决策制定和非并行化功能之后，当图像数据从yuv转换为rgb格式作为过程1680时，其返回gpu 1640以查找或映射要执行的功能。
[0117]
通过在两个连续通过直方图数据阵列的两个正交方向中采用并行多个gpu处理器线程和/或多个gpu处理器，资源的并行使用在没有存储器争用的情况下得以最大化，而直方图计算延迟在最大程度上降低。在处理循环中使用cpu1635(更适合于处理部分的处理器)，生成如图17所示的直方图均衡映射函数，然后将结果函数返回给gpu 1640进行执行，进一步使并行资源使用得到最大化，同时在最大程度上降低延迟。
[0118]
如图16所示，然后将由第一组合器1645选择的经处理的数据(来自rgb21640)或未处理的图像数据(来自rgb 11610)与任何装置显示图像数据(例如用于菜单项和提示的数据，从覆盖内容缓冲器1690取回的数据)进行合成。虽然通常该装置显示数据可以以任何方式呈现，包括完全替换已处理或未处理的图像数据，但优选地将该信息覆盖在所述图像上。其通过使用作为用于渲染2d和3d矢量图形的跨语言、跨平台应用程序编程接口(api)的开放图形库(opengl)的分层功能来实现。其通过为菜单缓冲器中的所有像素指定“alpha＝0”，并发送两个图像进行渲染和像差校正来实现。显示子系统可能呈现不均匀的畸变特性，在这种情况下可能需要两个分开的渲染，其中每个分别用于补偿两个棱镜特性中的一个。
[0119]
参考图17，图像直方图均等化和用于二值化的阈值化由源图像1710开始描绘，然后将源图像转换为如图16所述的yuv数据，存储在yuv缓冲器1740中，然后在处理步骤1730(其中执行二值化、直方图生成和均等化)中与纹理rgb数据1720结合使用。纹理rgb数据1720根据hmd光学系统的特性存储，并通过图14a所述的处理等生成。因此，用于生成二进制数据直方图数据及其后续处理的像素数据不是图像内的连续样本，而是基于纹理图的映射像素。因此，可以处理所获取的图像数据，使得初始直方图1760均等化，如第二直方图1770所示。
[0120]
6.图像管道
[0121]
在本发明的一项实施例中，gpu和cpu在使用opengl等商业或开源图形语言api的图像处理中进行协作。这种图形硬件和软件的组合设计用于对多个维度的对象进行建模，并将其图像呈现供显示，并且随着时间的推移，对于游戏应用程序等进行优化、增强，使之
具有低延迟。因此，根据本发明的一项实施例，发明者已经利用了图6所示的结构，其中gpu 1640和cpu 1635在hmd架构内。图18展示了三维立方体的二维渲染的现有技术处理。首先，在步骤1810中定义元素的顶点，然后在步骤1820中通过顶点程序进行转换，以反映在虚拟环境中呈现的对象的视点、运动等。因此，根据顶点处理中的透视，将立方体的顶点在3空间中转换，从而产生转换元素1830。接下来，在步骤1840中，材料顶点程序调整顶点的外观属性，在步骤1850中产生具有顶点属性的元素。这些属性是(例如)颜色和强度等。随后，在步骤1860中利用片段程序将元素分段，以生成一系列被渲染以形成显示元素的片段。在该过程中，片段属性从顶点属性内插，并且渲染生成对象1870。
[0122]
图19中展示了替代的二维(2d)示例，示出了顶点定义1910、顶点着色1920、基元生成1930、光栅化1940、片段着色1950和混合1960的步骤，其中所得到的图像数据在帧缓冲器1970中描绘。在gpu处理的这些现有技术的使用中，在顶点操作中处理管道的早期进行空间映射，后期在片段着色器内的管道中进行颜色分配。从图20中的opengl图像管道的简化图可以看出，其中，顶点着色器2022、光栅化器2024和片段着色器2026是gpu 2020内的功能。因此，gpu从opengl缓冲器2010接收数据，将其处理并提供给帧缓冲器2040。因此，片段着色器2026不仅提供片段的着色(转色)，而且还可以将称为纹理的元素的其他特征映射到图像片段。
[0123]
因此，在由发明者建立和实施的本发明的实施例内，该opengl处理已经被应用于从呈现给hmd的用户的图像中去除色差的问题。如上所述，关于来自hmd的棱镜透镜的色差问题，其能够为图像的r、g和b分量中的每一个独立地执行单独的空间转换，以便校正畸变和色差，cra等效果仍然能够使用市售硬件以及商业和开源图形处理软件实现。
[0124]
但是，gpu中的这些现有技术的管道在一些方面可编程，在其他方面则比较固定。这些固定方面之一是顶点空间转换先于着色，并且与颜色无关。色彩于后期在管道中计算。因此，发明者已经建立了如图21所示的图像管道，以解决利用上文图13、14a和14b所讨论的概念的这一问题。再次参考图13，具有像素1310a至1310d的参考图像也是用户要看到的期望图像。分别由r、g和b图像1330r、1330g和1330b描绘棱镜对红色、绿色和蓝色光的畸变效应。因此，如图14b所示，要解决的问题是如何产生补偿随后的棱镜畸变的预畸变图像1420，使得将r、g和b像素的每个像素分组的预畸变映射到用户瞳孔处的相同位置。每个像素分组1420a至1420d分别映射到瞳孔位置1430a至1430d，这在图14b中示出。虽然发明者确定的像素预畸变的概念解决了根据本发明实施例所述的hmd内的显示器和用户瞳孔之间的棱镜所产生的色差，但是也可以看出，该方法也适用于由棱镜透镜引起的任何空间畸变。因此，除了像素预畸变之外，发明者还将本发明的方法称为空间畸变和色差校正(sdcac)。
[0125]
因此，为了实现sdcac，hmd图形处理需要应用三个2d颜色依赖的空间转换，但是gpu在顶点着色器中只有一个空间转换引擎(颜色不可知)。对于本领域技术人员显而易见的是，我们可以在参考图像上于三个不同的时间使用顶点着色器，对于三个执行中的每一个分别使用用于r、g和b的不同的转换定义矢量阵列。不需要的bg、rb和rg信息被丢弃，以形成作为所需预补偿图像的分量值的红色、绿色和蓝色图像，在显示和hmd用户观看到畸变后，用户会看到如图14a所示的空间和色彩准确的图像。但是，这要求该过程采用三个管道执行。此外，其需要计算显示子系统的反向映射(通常仅计算正向映射)，因为这是显示器光学设计所需要的。此外，如果对于左图像和右图像需要单独的补偿转换，则开销加倍。因此，
发明者建立了如图21所示的替代方法，其仅利用每个图像的单个gpu处理管道，而不是每种颜色。这通过在gpu 2020的顶点着色器2022中应用基本上相当于恒等变换的功能来实现，并且在管道的一部分中实现与颜色相关的空间转换(在传统上不用于任务)，即片段着色器2026。该方法以opengl语言方法描述，但该方法为通用。
[0126]
在系统初始化期间，cpu(为了清楚起见，未示出)使用静态顶点缓冲器2110来准备opengl3.0顶点缓冲器2010。在本发明的实施例中，对于纹理，不是仅有单个纹理属性和uv指数，而是具有三个纹理属性，即r、g和b，每个都具有其自身的相关联的uv(r)，uv(g)和uv(g)纹理坐标。顶点位置被定义为基于常规gpu的2d镶嵌，其覆盖图像区域，尽管在本发明的范围内可以有许多不同的镶嵌/填铺。对于每个顶点，cpu由显示子系统的前向坐标转换分别向每个r、g和b纹理属性写入2d点(以uv(r)、uv(g)和uv(b)的形式)。作为示例，这些位置在图12中示出，尽管原始常规顶点和片段边缘本身未示出。在opengl缓冲器已经准备好之后，它被传递给gpu，并且应用图像处理管道来生成帧缓冲器2040的处理数据。
[0127]
在gpu内部，没有应用屏幕区域的规则镶嵌的空间转换，但是顶点着色器2022确实通过管道将预先计算的uv(r)、uv(g)和uv(b)前向转换坐标传递到后续阶段。因此，通过光栅化将完全规则和无畸变的镶嵌传递到片段着色器2026。因此，当处理或未处理的图像数据从相机子系统或其他源2120到达帧时，其被转换为纹理并且被绑定到片段着色器2026，如2130、2140所示。使用单个纹理和常规采样器，但是对于不同的左图像和右图像可能需要两个执行管道。或者，左图像和右图像可以分别如图21中的第一和第二opengl流2100a和2100b所示那样处理，其分别具有纹理对象2140，且分别将处理的数据呈现给与其各自眼睛相关联的显示器。
[0128]
图22中示出了opengl代码部分。单独的rgb前向坐标映射通过vtexcoordred、vtexcoordgfragmentshaderreen和vtexcoordblue从顶点着色器传递到片段着色器。片段着色器对纹理中的不同位置进行三个纹理查找，分别由传递的uv(r)、uv(g)和uv(b)针对r、g和b指定。考虑该opengl代码的操作，显示器左下显示器边缘附近的像素的操作如图12所示，通过左下角的扩展插入。示出了前向转换，其中由点表示的左下显示器边缘处的白光通过显示器，其将通过相应的镶嵌图案到达r、g、b所示的坐标。片段着色器处理来自左边缘的顶点处的像素，该顶点在由cpu创建opengl缓冲器时设置uv(r)、uv(g)和uv(b)坐标属性。因此，其蓝色坐标的顶点向右偏移最多，绿色较少，而红色相对于其预期位置向右偏移最少。片段着色器读取保存所需显示图像数据的纹理存储器，在该示例中(并非唯一)，图像的这三个不同位置可选择要写入帧缓冲器左侧边缘像素的r、g和b值。片段着色器基本上会询问：“我将在这些左边缘像素位置处绘制哪种像素颜色？”，而通过将映射为单个纹理对象的参考图像使用前向转换，能够回答：“需要从这里发送的像素颜色，使得用户感知到未畸变的图像，即包含在图12中虚线所示的纹理位置中的那些值”。改进了图13和14的三重反映射方法。
[0129]
为了简化，主光线角度(cra)和其他色度校正的对应代码未在图22中的代码段内示出，但其对于本领域技术人员则为显而易见。可添加其他顶点属性用于其他校正，例如幅度校正(分别通过r、g和b像素的增益值)。其采用类似的方式可以通过顶点着色器向前传递，以作为片段着色器中最终颜色分配中的倍增器。
[0130]
因此，补偿所需的颜色相关的空间变换和空间相关的幅度变换由片段着色器，而
不是现有技术中的顶点着色器来实现。因此，发明者的发明方法允许利用现有技术的图形管道，例如soc技术上的opengl，以便在向hmd或其他类似环境内的用户显示实时图像的光学系统中校正各种不需要的色差和畸变效应。
[0131]
7.主光线角度和图像传感器色彩补偿
[0132]
在本发明的实施例中，其中，原始图像源是相机或图像传感器，可能存在可能需要补偿的畸变和/或其他色彩效应。其中包括如图23所示的第一图像2300和第一和第二示意图2310和2315所示的主光线角度(cra)效应。由于ccd和其他cmos检测器通常是平面集成电路，其中具有不精确微透镜的主动吸收器设置在电路中的一定深度内，介于的金属化迹线等之间，因此这种装置通常表现为cra，其中，当入射光源移动轴(例如从第一示意图2310到第二示意图2315)时，则随着cra角度增加，未补偿的像素响应减小。对于圆形传感器像素，距传感器中心的固定半径处的cra减小为恒定，并且该减小随着半径的增加而增加。但是，如在具有矩形像素2330的第二图像2300b中所示，入射光2325的cra应该在恒定半径2320处经历cra减小，但是该点将在某些方向上从传感器脱落，同时仍然存在于其他方向上。
[0133]
此外，如第三和第四图像2300c和2300d中的示意性描绘，每种像素颜色可以具有不同的响应特性。因此，参考第三图像2300c，每个颜色像素(例如，红色、绿色和蓝色)在由100％纯白光照亮时展现出特定的响应，分别如第一光谱图2340b、2340g和2340r所示。但是，在50％白光的照射下，其可以表现出不同的响应，如第二光谱图2350b、2350g和2350r所示。因此，需要的不是像第四图像2300d中的线性斜率2340所示的具有亮度的线性像素响应，而是变化的cra校正因子，例如分别由第一和第二非线性图2335a和2335b所示。因此，传感器数据需要根据入射光线的角度和强度两者进行校正。因此，为了不扭曲其视野的颜色感知，也必须在呈现给用户的图像内校正该图像的色彩和空间特性。因此，根据获取图像数据的传感器的制造商和设计，所需的校正可能有所不同。
[0134]
虽然可以预先计算所有所需的补偿(因为其只是效应的倒数，无论是cra还是像素响应非线性等，并且组合这些校正函数不需要校准)，也可以交替通过使用一个或多个色彩补偿测试图像校准图像采集补偿子系统。这种彩色测试图案在图24中示出，具有一种颜色的水平、垂直和对角线，例如，红色，以及绿色和蓝色的附加线。很明显，可以采用矩形、圆形或其他形状的多种设计，或者可以采用多种测试图案，例如每种颜色一种。通过hmd的自动测试和校准系统，这种测试可以非常快速，且影响很低。在这种情况下，可以将每个像素响应曲线内的已知强度的光作为参考应用，并且通过测量非均匀响应直接确定所需的补偿。然后，该测量的补偿可以存储在非易失性存储器中，并且随后与任何其他图像处理一起实时应用，例如用于校正显示子系统色差，以便向用户呈现改善的图像，而不是未应用这种补偿的图像。与显示棱镜补偿不同，cra补偿可能因缩放、对焦和其他效应而有所不同。
[0135]
8.传感器、显示器和有效可视帧
[0136]
利用针对像素预畸变或空间畸变和色差校正(sdcac)所述和提出的方法，显而易见的是，显示尺寸可能与呈现给用户的有效可视帧不同，因此可以实现预畸变效应。因此，这在图25中示出，其中向用户呈现1024x 768像素的有效视野2530，但是显示帧2520为1044x 788，因为采用了每个边缘多达10个像素的偏移进行预畸变。但是，从图25可以看出，相机帧2510不等于显示器帧，而是在1128x 846处较大，其中提供了每个水平边缘42个像素，以及垂直边缘29个像素的缓冲器。因此，如果需要，可以通过根据从相机或hmd(如果照
相机与hmd集成)相关联的所获取的视野和/或运动传感器导出的数据对每帧进行采样来除去照相机的有限运动，这种数据用于执行逐帧坐标映射，以便减少感知的运动。
[0137]
9.hmd显示格式和电子文件格式
[0138]
参考图26，呈现了用于led背光lcd、有源矩阵lcd(amlcd)、薄膜晶体管lcd(tft-lcd)、等离子体和有源矩阵有机led(amoled)等显示器的第一至第三标准像素图案2610至2630。因此，第一至第三标准像素图案2610至2630中的每一个包括可以具有预定几何形状(例如圆形、矩形、正方形，但原则上可以采用其他形状)的红2640a、绿(g)2640b和蓝(b)2640c像素的规则图案。这种显示通常被称为rgb显示。在某些情况下，为了增加显示亮度，可以在重复图案中包括白(w)像素以形成rgbw显示。
[0139]
同样，图26中示出的显示器2670包括中央区域2670a，中央区域采用第一显示像素图案2650，其分别由采用第二标准像素图案2660的第一至第四边缘区域2670b至2670e所围绕。如第一显示像素图案2650中的第一显示段2655a所示，像素根据(例如)第一标准像素图案2610设置。在第二显示像素图案2660中示出了覆盖相同的物理显示区域第一显示段2655a的第二显示段2655b，并且示出了像素布置在与第一显示像素图案2650内的相同配置中，但是现在像素的色彩序列已被修改。在第一显示段2655a中，上排运行brgbrg，而在第二显示段2655b中，上排现在运行grbgrb。因此，第一至第四边缘区域2670b至2670e可以利用不同的像素图案来减少色散，例如在高角度偏移下，红色和蓝色像素与由光学棱镜引入的色散相反地偏移，从而使产生的结合减少。
[0140]
对于本领域技术人员显而易见的是，中心区域2670a内的像素可以根据标准图案之一来实现，例如第一至第三标准像素图案2610至2630以及第一至第四边缘区域2670b至2670e，其具有相同的图案，以及修改的像素序列。或者，边缘区域可以采用与中心区域不同的像素几何形状来实现，并且还可以通过(例如)在第一和第二边缘区域2670b和2670c内分别具有与第三和第四边缘区域2670c和2670d不同的像素几何形状，从而将其投影反射到患者的视网膜上来实现。可选地，例如，如果像素具有第三标准像素图案2630等的线性几何形状，则方向可以在第一至第四边缘区域2670b至2670e内变化(按照其显示器2670内的变化方式，基本为径向变化)。
[0141]
参考图27，示出了显示器2710，其分别包括第一和第二像素配置2730a和2730b中的r、g和b像素2640a至2640c的第一和第二区域2710a和2710b。因此，如分别在第一和第二区域2710a和271ob中所示，像素的基本配置与尺寸保持恒定，但像素的顺序发生变化。在第一区域2710a内，基本重复图案是grb，其在下一行中重复，每次偏移一个像素。但是，在第二区域2710b内，通过r(1)b(1)、g(1)g(2)、b(2)r(2)将基本重复图案分割成3行。因此，在显示器2710的上部，对于显示像素有效的像素可以是r(l)、g(l)、b(2)，而在显示器2710的下部，对于显示像素有效的像素可以是b(l)、g(l)、r(2)。因此，显示像素内的有效像素可以根据自由形棱镜色散来调节，使得显示器偏移基于色散的照明像素。从下文的其他讨论和考虑也可以看出，通过根据色散描述的技术的技术手段和变型，可以采用类似方式处理畸变。
[0142]
参考图28，示出了显示器2810，其分别包括第一至第三像素配置2830a至2830c中的r、g和b像素2640a至2640c的第一和第二区域2810a和2810b。因此，如第一至第三像素配置2830a至2830c中的每一个所示，像素的基本配置和尺寸保持恒定。在第一像素配置2830a中，第一至第三像素2840a至2840c被描绘为每个包括三个像素(各自为r、g和b中的一个)，
例如在图27中的显示器2710的中心区域2710a内。但是，在第二区域2810b中采用的第二和第三像素配置2830b和2830c中，像素配置分别有效地由图27中的显示器2710的第二区域2710b的上部和下部中的第四和第五像素2840d和2840e指定。或者，可以采用第六像素2840f，而不是第三像素2840e，并且可以使用第七像素2840g，而不是第四像素2840d。使用来自第一像素2840a的b，来自第二像素2840b的g和来自第三像素2840c的r建立第四像素2840d。类似地，使用来自第一像素2840a的r和g以及来自第三像素2840c的b建立第五像素2840e。通过这种方式，r、g、b像素的相对位置移动。为了生成这些，可以简单地处理图像，使得(例如)对于第四像素2840d，来自第二像素2840b的b内容用于驱动第一像素2840a中的b，来自第二像素2840b的r用于驱动第三像素2840c中的r，而g未经修改。
[0143]
通过这种方式，考虑到chrodismap的图像修改通过将每个像素分离成必需的r、g、b信号，然后将其与从其他像素提取的r、g、b信号重新组合为不同的组合。现在参考图29，其展示了根据本发明的实施例所述用于hmd的示例性流程图2900。如图所示，过程开始于步骤2905，进行hmd的初始化；过程进行到步骤2910，从相机获取图像数据；过程进行到步骤2915，确定过程是否采用单个图像文件处理或多个图像文件。如果确定是多个图像文件，则过程进行到如下参考图30所述的处理流程3000，否则进行到步骤2920，其中确定要使用图像数据的完整映射还是部分映射。如果是完整映射，则过程进行到步骤2930，否则该过程类似于步骤2930进行，但是经由步骤2925，其中不呈现的图像的部分归零。
[0144]
在步骤2930中，检索与显示结构相关的数据文件，然后在步骤2960中检索显示像差文件，其中定义像差数据，包括但不限于chrodismap。例如，像差数据可以是色差和畸变。可选地，可以采用单个文件，或者按照需要根据处理流程、功率要求等来定义和组合多个文件。然后在步骤2935中使用这些文件将接收的图像数据格式化为显示结构。例如，如图27所述的显示器，并且确定将例如图27所述的修改图像像素数据应用于哪些颜色像素以偏移颜色像素，根据与显示结构数据结合使用的chrodismap中的数据来提供修改的图像数据。或者，利用如图28所述的显示器，可以对图像数据进行光谱加权，以将有效光谱内容调整到显示器的区域。显而易见，格式化可以包括基于显示器的多个这种方面。随后，在步骤2965中确定修改的图像数据是否需要针对用户的视觉感知进行修改，即修改的图像数据是否需要针对用户的视觉感知问题进行处理。如果不是，则过程进行到步骤2950，否则进行到步骤2940，其中从存储器检索用户(患者)校准数据，并在步骤2945中应用，以调整格式化的图像数据，从而调整图像内容，以便反映hmd用户的视觉感知缺陷。
[0145]
接下来在步骤2950中，经处理的格式化的图像数据被传递到显示控制器，其中在步骤2955中将结果数据显示给用户，并且处理循环返回步骤2910，以检索下一个图像数据。类似地，在步骤2910中，当处理流程2900指向处理流程3000时，该处理流程3000类似地返回到步骤2910。可选地，处理流程2900内的步骤可以在处理器内管道化，使得(例如)在步骤2935中处理一个图像的相关图像数据，同时在步骤2945处理另一个图像的相关图像数据。这种管道化(例如)能够在将修改后的格式化图像数据呈现给用户时减少延迟。归零数据(不处理)将减少所需的处理量。对于本领域技术人员显而易见的是，可替代地，待处理的区域经由缩小尺寸的图像数据文件进行处理，该缩小尺寸的图像数据文件基本上将获取的图像裁切为要处理的部分。
[0146]
显而易见的是，可以修改图29中显示的顺序，使得(例如)接收到的图像数据最初
根据任何用户(患者)相关要求(即步骤2940和2945)修改，再处理为显示结构和显示像差(即步骤2930、2960和2935)，然后处理用于显示。
[0147]
参考图30，展示了根据图29中的处理流程2900所述的处理流程3000，该处理流程被访问，其中处理将采用从获取的图像数据导出的多个图像文件。处理流程3000从步骤3005开始，其中该过程确定执行完整还是部分映射。如果要采用完整映射，则处理流程进行到步骤3030，否则过程通过步骤3010进行到步骤3015，其中处理图像数据文件，使得不呈现的图像的部分归零。接下来在步骤3020中，根据显示结构将格式化的图像数据文件分割成多个图像文件。例如，参考图27，图像文件分别分成表示第一至第三区域2710a至2710c中的图像内容的三个文件。然后根据子处理流程3025a至3025n处理每个单独的图像文件，其中每个子处理流程3025a至3025n包括关于处理流程2900的如图29所述的处理步骤2930-2955和2960-2965，其中图像文件根据患者校准数据进行处理，并使用hmd显示给患者。
[0148]
参考图31，展示了替代的显示映射方法，用于在显示器内提供有效的可变像素尺寸。如上参考图26至28所述，显示器像素尺寸和布局可以分别调整以适应人眼的视觉处理特性，特别是hmd利用暗点或黄斑变性的周边和非中心视觉对患者进行图像采集的情况。但是，在某些情况下，非标准led/lcd显示器可能会为部署带来成本障碍。相应地，hmd内的显示器3160由三个区域构成，三个区域分别为第一至第三区域3160a至3160c，其中每个区域分别包括r、g、b像素3170a至3170c。
[0149]
在第一区域3160a内，单个图像像素可以分别配置为分别包括r、g、b像素3170a至3170c中的一个的第一或第二像素图案3105和3110。在第二区域3160a内，单个图像像素可以分别配置为分别包括r、g、b像素3170a至3170c中的两个的第三或第四像素图案3115和3120。类似地，第三区域3160c由单个图像像素组成，其可配置为分别包括r、g、b像素3170a至3170c中的四个的第五像素图案3125。因此，第一至第三区域3160a至3160c分别由具有增加数量的物理像素组成的变化图像或有效像素来实现(在这种情况下，为r、g、b像素3170a至3170c中每个的1、2和4个像素)。
[0150]
如第一至第三屏幕部分3150a至3150c中所示，有效图像像素在第一像素组合3155a至第二像素组合3155b到第三像素组合3155c中各不相同。第一至第三屏幕部分3150a至3150c中的每一个分别位于显示器3160的位置dl至d3的第三区域3160c内。很明显，类似的有效像素图像可以可选地在显示器3160的第二区域3160b内实现。
[0151]
现在参考图32，其展示了第一和第二文件格式3200a和3200b，涉及在hmd处理期间存储图像文件，如上文参考图29和30所述。在图32中示出的是包括中心区域3290a和第一至第四区域3290b至3290b的图像3290，其描绘了接收的图像到显示器的映射，其中，中心区域3290a将以第一ppi显示，而第一至第四区域3290b至3290e以第二ppl显示。可选地，根据本发明的实施例，不同区域可以表示将提供给患者的图像区域，包括但不限于以上参考图26至28所描述的区域。
[0152]
第一文件格式3200a描绘了一种文件格式，其中与每个显示区域相关的图像数据存储在不同的文件中，允许处理和操纵每个显示区域内的数据以并行执行，如上文参考图29和30所述。因此，图像文件标题3210包括与描绘为图像文件0 3220、图像文件1 3230至图像文件n 3240的不同图像文件有关的信息，包括图像文件的序列。每个图像文件包括标题，其包括集合中的前导文件的引用位置；标签字段，其包括关于图像文件内的位图数据的特
定信息；集合中其他后继文件的位置；以及图像数据。因此，图像文件内的标签字段可以包含与空间或光谱抖动等显示特性相关的信息，如题为“用于增强头戴式视频系统中的人视觉性能的装置和方法”的美国临时专利申请61/599,996中所述，其中视觉内容的增强的感知可以通过(例如)在空间上或光谱上抖动图像来实现。因此，这种空间或光谱抖动不是将多个图像文件传输到显示器及其相关联的控制器，而是(例如)在图像文件标题内指示，使得显示控制器自动应用它们，而不是按顺序发送两个不同的文件以提供所需的抖动。
[0153]
第二文件格式3200b表示根据本发明的一项实施例的支持在显示器上以多个部分元素呈现图像3290的单个文件格式。因此，第二文件格式3200b包括图像文件标题3280，其包括与描绘为图像1 3250、图像2 3260至图像n 3270的不同图像文件有关的信息。每个图像文件(例如图像1 3250)包括本地图像描述符、本地颜色表和图像数据。本地图像描述符可以包括(例如)与如上所述的空间或光谱抖动的显示特性相关的信息。每个本地颜色表可以定义要由显示控制器应用到图像文件数据的r、g和b像素之间的加权。因此，图像处理的方面可以分布在hmd电子器件之间，无论是本地的还是远程，例如与显示器相关的ped。例如，在本地颜色表中设置r＝0可以将任何r像素设置为关闭，不管相关图像文件的图像数据部分内的实际数据如何。
[0154]
对于本领域技术人员而言显而易见的是，利用如图32所示的图像文件格式，其中图像文件被分解成多个元素，提供将图像的不同部分异步地传输到图像的其他部分的机制。例如，如果应用于图像数据的处理确定对象在显示器的一个区域内快速移动，则该图像数据文件可以被更新并显示给用户，而不必等待整个图像被处理。类似地，以黑色和白色向用户呈现数据可以不同于用户的颜色数据的处理。同样，如果用户的视觉感知问题是色盲，则可以应用这种知识，绕过或修改色散像差处理，因为现在可以从要呈现的图像中去除蓝色部分，并且不需要处理。
[0155]
现在参考图33，其展示了根据本发明的实施例所述用于hmd的示例性流程图3300。如图所示，过程开始于步骤3305，，进行hmd的初始化；过程进行到步骤3310，通过相机等图像传感器获取图像数据；处理进行到步骤3315，其中确定过程是否要在将图像数据传输到处理模块之前预处理图像数据。如果确定为是，则过程进行到步骤3320，否则过程进行到步骤3330。在步骤3320中，确定预处理是单个图像文件处理还是多个图像文件。如果确定是多个图像文件，则过程进行到处理流程3340，该处理流程可以(例如)等同于如下参考图30所述的处理流程3000，然后进行处理步骤3325，否则直接进行到步骤3325。在处理步骤3325中，对单个或多个图像文件执行图像数据的预处理。应用于来自图像传感器的图像数据的这种预处理可以(例如)是动态范围的减少或增加、颜色校正、与用户视野的预定部分相关的数据的去除、与hmd显示器的预定部分相关的数据的去除，和/或hmd显示器和患者视网膜之间的hmd光学系统，并且应用预定的数学处理。
[0156]
在本发明的实施例中，单独或组合采用所描述的像差图(例如色散图)，以便在组合显示器、自由形棱镜和用户的系统内提供电子像差校正。在本发明的实施例中，可以定义棱镜观察区域坐标系，例如(x1；y1；z1)，其中(例如)z被固定为与从棱镜面向眼睛的表面到出射光瞳的标称位置的距离相关的值，例如z1＝21mm。该坐标系可以与整体显示坐标系分开或相同，以允许下面的图与棱镜设计或整体系统相关。由棱镜限定的显示坐标系可以(例如)允许与一个棱镜使用不同的显示器。通常，棱镜将设计为应用和显示器的特征，但是可
以基于普遍的显示器设计来设计棱镜，然后可以采用多个显示器，允多供应商采购、部件淘汰、成本降低等，从而在电子组件的开发、生产和发展中得到普遍的认可。例如，通用显示器可以由通过像素图案、像素间距和像素尺寸定义的显示坐标系(x2；y2)来定义(例如sony ecx331显示器，每个3.3μm尺寸为1024x768像素，rgb间距9.9μm，或sony ecx332rgb显示器，每个4.0μm尺寸为1290x 720像素，rgb间距12.0μm)。
[0157]
由于sony exc331a是使用布置在白色有机电致发光层顶上的滤色器层的显示器，所以可以采用替代的设计方法，其中滤色器层适于解决棱镜的chrodismap，使得这种色散不需要图像处理。在图34中描绘了本发明的这种实施例，其中显示器3400包括红3450a、绿3450b和蓝3450c发射器。因此，分别示出了显示器的第一和第二区域3410和3420，其中第一区域3410中跨越x-x的像素序列是brgbrg，但是第二区域3420中的跨越行y-y中的像素序列是bbbbbb。因此，参考第一和第二部分3430和3440，显示器3400描绘为包括有机白色发光阵列3470，其上设置有滤色器3460，该滤色器包括定义的红色、绿色、蓝色滤色器序列，用于有机白色发光阵列3470中的每个像素。因此，在第一部分3430中，对于第一区域3410，滤色器按所需的brgbrg序列进行排序，而在第二部分3440内，根据第二区域3420的要求，滤色器排序为bbbbbb。
[0158]
10.变体
[0159]
在参考图5至25的前述说明中，已经主要描述和描绘了将所获取的图像、采集传感器、显示器和图像的描述作为单个对象来处理的图像处理和显示采集。相比之下，参考图26至34的前述说明将获取的图像、采集传感器、显示器和图像的描述视为多个对象。对于本领域技术人员显而易见的是，方法/概念并非相互排斥。
[0160]
例如，显示图像的中心区域内的光学像差/色差可能足够低，因此不需要处理，而外围显示图像需要处理。因此，来自ccd传感器的所获取的图像数据可以被分割，使得如上所述的gpu-cpu-opengl方法仅应用于外围数据，从而降低处理复杂度和延迟。类似地，接收的图像可能已被预处理为多种文件格式用于处理。
[0161]
可选地，存储的图像数据文件可以包含与获取图像传感器相关的附加信息，例如其cra等，使得能够采用与获取自用户hmd相关的传感器的相似方式直接处理图像。
[0162]
虽然本发明的实施例已经针对在头戴式显示器中使用的自由形棱镜来呈现，但是显而易见的是，关于本发明的实施例所描述的原理可以更一般地应用于其他近眼式光学系统来校正/减少由光学系统引起的色散和畸变。
[0163]
虽然已经针对自由形棱镜呈现了本发明的实施例，但也可以看出，由于成本、重量、尺寸等的相应类似折衷，色散和畸变可以在图像采集系统中呈现。图像采集色散/畸变图可以通过预处理阶段与显示光学色散/畸变图组合，并且永久地或根据需要使用。例如，如果使用hmd的用户通过形成hmd的一部分的视频系统获取图像数据，则可以应用该组合，但是如果数据源(例如)是互联网访问的网页内容，则图像采集畸变/色散可能不会形成处理的一部分。
[0164]
显而易见的是，本发明的实施例可以应用于视力正常、视力损伤和/或视力较差人士的hmd系统。
[0165]
在本发明的实施例中，可能存在对用户的眼球形状或视网膜问题进行数字校正的要求。因此，上述方法和过程可以扩展为包括“眼球图”。在本发明的一些实施例中，这可以
来自用户屈光校正镜片的处方，例如，每只眼睛的球面和圆柱校正。通过这种方式，可以预处理用户的处方以创建详细的“眼球”图。在实践中，这样的概念通常需要用户的眼球指向显示器的中心，从而可以基于眼睛方向数据来转换(可能是简单地平移)“眼球”图，其可以(例如)通过光学方式(或其他方式)追踪用户的眼球。因此，这种组合可以消除使用屈光校正透镜(眼科镜片)的用户将其与hmd组合佩戴的要求。在已经应用激光眼校正的情况下，可以类似地去除残留的视觉畸变。
[0166]
如上所述，光学图像的上述处理除了校正色散/畸变，解决用户的视觉缺陷(例如色盲)之外，还进行适当的校正。但是，显而易见的是，本发明的系统和方法还可以采用数字处理领域内的其他“校正”，例如滤除特定频率的光。这样的校正可包括增强视力缺陷或视力较差的用户的图像。另一种校正可以是数字应用的“蓝光”过滤，用于减少眼睛疲劳。因此，映射可以包括额外的波长映射，其可以(例如)包括列出要应用的频率和百分比滤色的输入表。这种表可以被预处理以将其转换成适用滤色器的r、g、b值(或条件)的范围。在数字处理期间浏览像素时，将参考此表来确定滤色器是否适用。如果适用，则百分比滤色应用于指定像素的rgb值。可选地，滤色可以是新光谱曲线的新rgb值的重新计算，或者可替代地，系统可以简单地保留r、g和b的比率，并降低整体强度。还可以看出，该方法可以应用于“反向滤色”或增强某些波长/频率区域。例如，对于只有g光感受器的用户来说，提高g频率并降低r和b可能是有益的。
[0167]
上述本发明的实施例可以与能够在显示图像上执行的其他图像修改组合使用，以改善佩戴hmd的人的视觉功能。这些包括但不限于对特定对象在光谱上、空间上、部分空间上、时间上进行差异化，以及对具有特定特征的对象进行差异化。
[0168]
在一些患者中，眼睛没有物理损伤，但在视神经或视皮质中存在缺陷。显而易见的是，尽管没有(例如)视网膜损伤，如果这种损伤导致图像到大脑的传输不完整，使用根据本发明实施例的hmd进行视网膜图像处理可补偿或解决视神经和/或视皮质的这种受损部分。
[0169]
类似地，对脑枕颞区的损伤可导致患者具有影响形状和颜色处理的问题，这使得感知和识别物体变得困难。类似地，通向顶叶的背侧通路损伤可能会增加患者的位置和空间关系的困难。研究发现，脑损伤的最常见原因是中风、创伤和肿瘤。因此，除了上述关于处理对象边缘的技术之外，采用hmd可以将图像数据在视网膜上进行空间-光谱-时间偏移来实时调整显示给用户的图像，以提供部分或完全补偿。因此，根据本发明实施例的hmd的神经眼科学使用可以提供视神经疾病的补偿，包括(例如)格雷夫斯眼病、视神经炎、内斜视、良性和恶性眼眶肿瘤和神经麻痹、脑肿瘤、神经退化过程、中风、脱髓鞘病和可影响神经-肌肉接头的肌无力状况(例如重症肌无力)等。
[0170]
对于本领域技术人员显而易见的是，这种补偿可以包括颜色偏移和/或空间适应的图像，其在许多情况下通过一系列预定图像变换来处理。这与其他视觉缺陷(如黄斑变性)不同，不能进行眼科学检查以目视识别和量化损伤。相反，基于患者的特定视觉感知障碍，可以利用其他效果。在一些情况下，这些可以利用如图1c所示的具有杆体的视网膜区域的高视觉动态范围，如上文参考图1d所述的视网膜上的光谱空间变化，或者(例如)视网膜相同区域内不同锥体间的光谱灵敏度差异。在其他实施例中，可以选择性地修改图像的元素以解决特定的处理缺陷，使其(例如)无法确定特定形状，使hmd在包含这些形状的任何图像中调整这些形状。
[0171]
根据本发明的实施例，hmd可以使用图像传感器、透镜、棱镜和其他光学组件以及视频显示器等硬件组件，其在视觉和认知空间视敏度，视觉和认知光谱响应或对颜色和对比度的敏感性，以及视觉和认知时间反应或对视觉信息从一个时刻到下一个时刻的差异敏感性方面模仿人类视觉的固有性能。这种仿生学的实例可以包括在视野的中心具有更高分辨率和更好的颜色表示的组件，其具有放宽的分辨率和颜色表示，但在视野的边缘处具有更快的刷新性能，从而模仿人类视觉的天然性能特征。
[0172]
本发明的另一实施例还可以包括非常适合于上述仿生学物理组件的图像文件格式。例如，可以设想不预先设定恒定像素尺寸或颜色深度的文件格式，其中，图像中心处的分辨率和颜色深度明显高于和深于的边缘处，但是边缘处的帧速率较快。
[0173]
在上述描述中给出了具体细节，以便透彻理解实施例。但是，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，可以用框图示出电路，以免不必要的细节使实施例模糊不清。在其他情况下，可以示出公知的电路、过程、算法、结构和技术，而不需要不必要的细节，以避免使实施例模糊不清。
[0174]
可以通过各种方式来完成上述技术、框图、步骤和方法的实施。例如，这些技术、框图、步骤和方法可以通过硬件、软件或其组合来实现。对于硬件实施，处理单元可以在一个或多个专用集成电路(asic)，数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、设计为执行上述功能的其他电子单元和/或其组合中实施处理单元。
[0175]
此外，应注意，实施例可以描述为以流程图表、流程图、数据流程图、结构图或框图等描绘的过程。虽然流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。此外，操作的顺序可以重新排列。一个过程在其操作完成后终止，但是可能具有图中未包括的其他步骤。过程可以对应于方法、功能、步骤、子例程、子程序等。当过程对应于功能时，其终止对应于功能返回到调用功能或主功能。
[0176]
此外，实施例可以由硬件、软件、脚本语言，固件、中间件、微代码、硬件描述语言和/或其任意组合来实施。当以软件、固件、中间件、脚本语言和/或微代码实施时，用于执行必要任务的程序代码或代码段可以存储在存储介质等机器可读介质中。代码段或机器可执行指令可以表示步骤、功能、子程序、程序、例程、子例程、模块、软件包、脚本、类或指令的任何组合、数据结构和/或程序语句。代码段可以通过传递和/或接收信息、数据、变元、参数和/或存储器内容而联接到另一代码段或硬件电路。信息、变元、参数、数据等可以通过包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段进行传递、转发或传输。
[0177]
对于固件和/或软件实施，可以使用执行本文所描述的功能的模块(例如，步骤、功能等)来实施方法。任何明确体现指令的机器可读介质可用于实施本文所述的方法。例如，软件代码可以存储在存储器中。存储器可以在处理器内部或在处理器外部实施，并且存储器用于存储供后续执行的软件代码时的实施可以与存储器用来执行软件代码时的实施有所不同。如本文所使用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其他存储介质，并且不限于任何特定类型的存储器或存储器数量，或存储存储器的介质类型。
[0178]
此外，如本文所公开的，术语“存储介质”可以表示用于存储数据的一个或多个装置，包括只读存储器(rom)、随机存取存储器(ram)、磁性ram、核心存储器、磁盘存储介质、光学存储介质、闪存装置和/或用于存储信息的其他机器可读介质。术语“机器可读介质”包括
但不限于便携式或固定存储装置、光学存储装置、无线信道和/或能够存储、包含或携带指令和/或数据的各种其他介质。
[0179]
在一项或多项实施例中，本文所描述的方法可由包括一个或多个处理器(接受包含指令的代码段)的机器执行。对于本文所述的任何方法，当机器执行指令时，机器执行该方法。包括能够执行指定要由该机器采取的动作的一组指令(顺序或其他)的任何机器。因此，典型的机器可以由包括一个或多个处理器的典型处理系统来例示。每个处理器可以包括cpu、图形处理单元和可编程dsp单元中的一个或多个。处理系统可进一步包括存储器子系统，其包括主ram和/或静态ram和/或rom。可以包括总线子系统，以便在组件之间进行通信。如果处理系统需要显示器，则可以包括这种显示器，例如液晶显示器(lcd)。如果需要手动数据输入，则处理系统还包括输入装置(例如键盘等字母数字输入单元中的一个或多个)、指向控制装置(例如鼠标等)。
[0180]
存储器包括机器可读代码段(例如，软件或软件代码)，其包括当由处理系统执行时，执行本文所述的一个或多个方法的指令。该软件可以完全驻留在存储器中，或者也可以在由计算机系统执行期间完全或至少部分驻留在ram内和/或处理器内。因此，存储器和处理器也构成包括机器可读代码的系统。
[0181]
在替代实施例中，机器作为独立装置运行，或者可以在网络部署中连接(例如，联网到其他机器)，机器可以在服务器-客户端网络环境中的服务器或客户端机器的功能下运行，或者作为对等或分布式网络环境中的对等机器运行。该机器可以是(例如)计算机、服务器、服务器集群、计算机集群、网络设备、分布式计算环境、云计算环境或能够执行一组指令(顺序或其他，指定机器要进行的操作)的任何机器。术语“机器”也可以被认为包括单独或共同执行一组(或多组)指令，以执行本文所讨论的任意一种或多种方法的机器集合。
[0182]
已经出于说明和描述的目的提供了本发明示例性实施例的前述公开内容。并未保证其详尽性，且未将实施例限于公开的精确形式。根据上述公开内容，本文所描述的实施例的许多变体和修改对于本领域普通技术人员将是显而易见的。本发明的范围仅由所附权利要求及其等同项限定。
[0183]
此外，在描述本发明的代表性实施例时，说明书可以将本发明的方法和/或过程呈现为特定的步骤顺序。但是，在该方法或过程不依赖于本文所阐述的步骤的特定顺序的程度上，该方法或过程不应限于所描述的特定步骤顺序。本领域普通技术人员将理解，也可采用其他步骤顺序。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求书的限制。此外，涉及本发明的方法和/或方法的权利要求不应该被限制为按照书面顺序执行其步骤，并且本领域技术人员将容易地了解到，顺序可以变化，并且仍然保持在本发明的精神和范围内。