头戴式显示器的全光相机测量和校准的制作方法

头戴式显示器的全光相机测量和校准
1.优先权声明
2.本技术根据35usc
§
119(e)要求2020年7月6日提交的美国专利申请序列号63/048,331的优先权益，该申请的全部内容在此纳入作为参考。
技术领域
3.本公开涉及头戴式显示器的测量和校准，更具体地说，涉及使用全光相机来校准在头戴式显示器中使用的目镜。


背景技术：

4.可穿戴式头戴式显示器系统包括一个或多个目镜，用户通过目镜观看外部世界。目镜通常由透明的高折射材料形成，使得信息可以通过目镜被投射给用户，同时传输外部世界的视图。在许多情况下，头戴式显示器中的目镜经历校准过程，以使被显示给可穿戴式显示器系统的用户的光场标准化，从而确保头戴式显示器系统之间的一致图像。
5.在某些情况下，校准过程涉及评估在大动态范围内通过目镜投影的多个白场图像。这些图像可以使用相机和各种中性密度过滤器来获取。类似的过程可用于评估红、绿和蓝颜色平衡，以及距目镜的几个视距(relief)和位置，以模拟多个用户瞳孔位置和瞳孔间距离。根据这些图像，校准过程可以包括调节头戴式显示器以使图像场与外部标准相匹配。通常，应针对每个头戴式显示器系统执行这些步骤，从而导致耗时且成本高昂的过程。


技术实现要素：

6.本公开描述了用于使用全光相机来校准头戴式显示器的方法和系统。全光相机(也称为光场相机)捕获与从场景发出的光场有关的信息。光场是指来自场景的光的强度以及也指光线在空间中行进的方向。相比之下，常规相机只捕获与场景有关的强度信息。
7.在本文公开的系统中，用于全光相机的光学系统的特征在于光瞳，该光瞳是可物理访问的以跨光瞳布置空间离散过滤器，从而能够跨光瞳对不同光特性(例如，亮度、偏振、光谱含量)进行多路复用测量。例如，测量和校准系统中的全光相机组件可以包括在相机组件的透镜外部的入射光瞳，该入射光瞳为一个或多个过滤器阵列提供足够的物理空间。该系统可以包括：载物台，其定位待测试的头戴式显示器，其中显示器的出射光瞳与全光相机的入射光瞳位于同一位置。
8.在一些实施例中，测量和校准系统可以包括光学组件，该光学组件在单个图像中提供来自多个瞳孔位置的视图，从而允许在一次捕获中校准多个用户瞳孔位置，从而节省测量和校准时间。
9.本发明的各个方面概述如下。
10.通常，在第一方面，本发明涉及一种用于测量头戴式显示器模块的性能的方法，所述方法包括：相对于全光相机组件来布置所述头戴式显示器模块，以使得所述头戴式显示器模块的出射光瞳与所述全光相机组件的光瞳重合，在相对于所述全光相机组件来布置所
述头戴式显示器模块的同时，从所述头戴式显示器模块发射光；对所述头戴式显示器模块的所述出射光瞳处的光进行过滤；用所述全光相机组件获取使用经过滤的光从所述头戴式显示器模块投影的一个或多个光场图像；以及基于所获取的光场图像来确定与所述头戴式显示器模块的性能有关的信息。
11.用于使用可穿戴式显示器系统显示图像的方法的实施例可以包括以下特征中的一个或多个。可以通过位于所述全光相机组件的所述光瞳处的多个空间离散过滤器对所述光进行过滤。所述空间离散过滤器可以包括滤色器。所述滤色器可以包括x、y、z颜色匹配函数滤色器。所述空间离散过滤器可以包括偏振过滤器。所述空间离散过滤器可以包括中性密度过滤器。
12.可以通过第一组空间离散过滤器和与所述第一组空间离散过滤器重叠的第二组空间离散过滤器对所述光进行过滤，所述第一组空间离散过滤器和所述第二组空间离散过滤器对所述光的不同特性进行过滤。所述光的特性可以选自由颜色、偏振和强度构成的组。
13.获取所述一个或多个光场图像可以包括：使用微透镜阵列将来自所述头戴式显示器模块的真实图像重新成像到多元件传感器。
14.所述微透镜阵列可以对所述全光相机组件的透镜的出射光瞳的部分进行采样，以提供来自所述头戴式显示器模块的所述真实图像的不同角度视图。
15.所述全光透镜组件可以限定从所述光瞳到传感器的光路，所述全光透镜组件可以包括在所述光路中的限定所述全光相机组件的所述光瞳并限定图像平面的相机透镜组件，所述全光相机组件还可以包括在所述光路中的在所述图像平面与所述传感器阵列之间的聚焦元件阵列。
16.与所述头戴式显示器模块的所述性能有关的所述信息可以包括与从以下项构成的组中选择的性能参数中的至少一个有关的信息：辐射率，亮度，颜色，几何失真，虚拟图像距离，以及场曲率。
17.确定与所述头戴式显示器模块的所述性能有关的所述信息可以包括：在所述头戴式显示器模块中的感兴趣的三维体积上对在多个不同深度处的二维图像进行计算。
18.确定所述信息还可以包括：确定与所述二维图像中的每一个二维图像的一个或多个特性有关的信息。
19.所述方法还可以包括：组合来自所述头戴式显示器模块的所述出射光瞳的多个不同位置的发射光，以在所述全光相机组件的传感器处形成多个重叠图像，所述多个重叠图像中的每一个重叠图像对应于所述头戴式显示器模块的不同用户视图。
20.在第二方面，本发明涉及一种用于校准头戴式显示器的方法，包括：使用用于测量头戴式显示器模块的性能的方法来测量所述头戴式显示器的性能；以及基于所测量的性能来调节所述头戴式显示器的操作。
21.在第三方面，本发明涉及一种系统，包括：全光相机组件，其包括限定图像平面的相机透镜、相机传感器和被布置为将在所述图像平面处的光成像到所述相机传感器的微透镜阵列；载物台，其用于接收头戴式显示器并相对于所述全光相机组件来定位所述头戴式显示器，以使得所述头戴式显示器模块的出射光瞳与所述全光相机组件的光瞳重合；一个或多个过滤器阵列，其位于所述全光相机组件的所述光瞳处，所述一个或多个过滤器阵列中的每一个过滤器阵列包括跨所述相机透镜的孔径延伸的多个空间离散过滤器；以及系统
控制器，其与所述全光相机组件通信，并且被编程为使得在所述系统的操作期间，获取从所述头戴式显示器模块投影的一个或多个光场图像，并基于所获取的光场图像来确定与所述头戴式显示器模块的性能有关的信息。
22.所述系统的实施例可以包括以下特征中的一个或多个。所述过滤器阵列中的一个过滤器阵列可以包括空间离散滤色器。所述空间离散滤色器可以包括x、y、z三色滤色器。
23.所述过滤器阵列中的一个过滤器阵列可以包括空间离散偏振过滤器。
24.所述过滤器阵列中的一个过滤器阵列可以包括空间离散中性密度过滤器。
25.所述一个或多个过滤器阵列可以包括第一空间离散滤色器阵列和与所述第一组重叠的第二空间离散过滤器阵列，所述第一空间离散过滤器阵列和所述第二空间离散过滤器阵列对所述光的不同特性进行过滤。所述光的特性可以选自由颜色、偏振和强度构成的组。
26.所述系统还包括：被布置在所述全光相机组件的所述光瞳处的光学组件，其被配置为组合从所述头戴式显示器模块的所述出射光瞳的多个不同位置发射的光，以在所述全光相机组件的传感器处形成多个重叠图像，所述多个重叠图像中的每一个重叠图像对应于所述头戴式显示器模块的不同用户视图。
27.所述光学组件可以包括：被布置在所述头戴式显示器模块的出射光瞳中的不同位置处的一个或多个偏振光束分束器，以及被布置在所述全光相机组件的所述光瞳中的光束组合器，所述光束组合器被布置成接收来自所述偏振光束分束器中的每一个偏振光束分束器的光，并沿着公共路径将来自每个偏振光束分束器的光引导到所述相机透镜。
28.根据说明书、附图和权利要求，其他特征和优点将变得显而易见。
附图说明
29.图1是可穿戴式头戴式显示器的示例测量和校准系统的示意图。
30.图2a是在图1所示的系统中使用的示例滤色器阵列的平面图。
31.图2b是在图1所示的系统中使用的示例中性密度过滤器阵列的平面图。
32.图2c是在图1所示的系统中使用的示例偏振过滤器阵列的平面图。
33.图3是示例光学组件的示意图，该示例光学组件将全光相机的入射光瞳延伸以包括多个用户瞳孔位置。
34.图4是示出可穿戴式头戴式显示器系统的示例的示意图。
35.在图中，相同的符号表示相同的元件。
具体实施方式
36.参考图1，可穿戴式头戴式显示器150(例如，目镜)的示例测量和校准系统100包括全光相机组件101、过滤器模块120和用于支撑显示器150并相对于全光相机组件101定位显示器150的载物台130。具体地，显示器150被布置成使得显示器150的出射光瞳与全光相机组件101的入射光瞳103重合。与全光相机组件101和显示器150通信的系统控制器110(例如，计算机控制器)被编程为控制相机组件101和显示器150的操作，以从显示器获取图像并分析图像，以便校准显示器。
37.通常，入射光瞳103位于不属于系统100的成像光学器件的部分的其他光学组件可
访问的位置。例如，如图1所示，入射光瞳103位于全光相机组件101的外部并在相机组件和显示器150之间的空间中。
38.过滤器模块120位于入射光瞳103处。过滤器模块120包括三个空间离散过滤器120a、120b和120c，每个过滤器位于相对于轴线102的同一位置。过滤器在空间上是离散的，因为它们占据入射光瞳103的非重叠区域。支架121将过滤器阵列120定位在沿轴线102的适当位置。
39.全光相机组件101包括传感器106、微透镜阵列105和相机透镜104，它们沿着相机组件的轴线102依次排列。传感器106、微透镜阵列105和相机透镜104被容纳在公共壳体中，该壳体具有安装元件，以维持每个部件的相对位置并保护每个部件免受环境影响。
40.载物台130支撑显示器150，从而使显示器150面向全光相机组件101，使得来自显示器150投影的图像的光160沿着轴线102被相机组件接收。相机透镜104将显示器150成像到图像平面108。微透镜阵列105中的每个微透镜将显示器的图像中继到传感器，然而，传感器106处的每个图像除了强度之外还捕获与光的方向有关的信息。请注意，通常传感器中的像素数量远大于微透镜阵列105中的透镜数量，从而允许每个微透镜在传感器的不同区域处形成图像。传感器106通常是包括常规像素阵列的固态图像传感器装置。例如，传感器106可以是电荷耦合装置(ccd)或有源像素传感器(cmos)。从传感器106读取的最终图像对应于微图像阵列，每个微图像对应于被成像的对象(在这种情况下为显示器150)的稍微不同的角度视角。
41.尽管相机透镜104被描绘为单个透镜元件，但通常相机透镜104为复合透镜，其包括共同将显示器成像到图像平面108的两个或更多个透镜元件。通常，相机透镜104可以包括球面、非球面、圆锥或变形透镜元件或其任何组合，以提供适合于系统100的足够低的像差成像。
42.在操作期间，全光相机组件101捕获从头戴式显示器模块的显示器150投影的光场图像，以供系统控制器110处理。系统控制器110可以使用数字电子电路实现，或者以计算机软件、固件或硬件实现，或者以其中一者或多者的组合实现。例如，在一些情况下，系统控制器110可以至少部分地实现作为一个或多个计算机程序，(例如，计算机程序指令的一个或多个模块，其被编码在计算机存储介质上，以用于由数据处理装置执行或控制数据处理装置的操作)。计算机存储介质可以是或可以包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或者它们中的一者或多者的组合。术语“处理设备”涵盖用于处理数据的所有类型的设备、装置和机器，包括例如可编程处理器、计算机、片上系统，或前述中的多个或组合。该设备可以包括专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。除了硬件之外，该设备还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中一个或多个的组合的代码。设备和执行环境可以实现各种不同的计算模型基础结构，例如web服务、分布式计算和网格计算基础结构。
43.通常，可以使用各种不同类型的过滤器阵列作为过滤器模块120。例如，在一些实施例中，过滤器120a、120b和120c是各自具有不同衰减的中性密度过滤器。例如，过滤器120a、120b和120c可以使来自显示器150的光衰减不同量。因此，在单次捕获中，传感器106可以在大动态范围内从显示器150获取图像体积，而不是必须用不同的体积捕获来捕获不
同的强度水平。
44.虽然图1所示的过滤器模块120包括三个不同的过滤器阵列，但其他过滤器阵列布置也是可能的。此外，在一些实施例中，多个过滤器阵列可以沿着轴线102顺序排列。例如，参考图2a和2b，滤色器阵列220和中性密度过滤器阵列222被设计为沿着轴线顺序排列，使得测量和校准系统可以获取光场图像，该光场图像包括来自显示器的不同光谱轮廓的信息，以及在大动态范围内的每个光谱轮廓的信息。在该示例中，过滤器阵列220是具有三个不同滤色器220a、220b和220c的滤色器阵列。例如，过滤器220a可以是cie 1931颜色匹配函数x的过滤器，过滤器220b可以是cie1931颜色匹配函数y的过滤器，以及过滤器220c可以是cie 1931颜色匹配函数z的过滤器。其他光谱过滤器阵列也是可能的。过滤器阵列以平面视图示出，并被布置在系统100中，使得轴线102垂直于页平面。
45.过滤器阵列222由三个中性密度过滤器(例如，50％或更多衰减、80％或更多衰减、90％或更多衰减)222a、222d和222e以及三个透明窗222b、222c和222f(即，提供很少或没有光衰减)构成。过滤器阵列220和222的尺寸和形状被确定为使得当被定位在系统100的过滤器模块中时，滤色器220a与中性密度过滤器222a和透明窗222b重叠。类似地，滤色器220b与中性密度过滤器222d和透明窗222c重叠，以及滤色器220c与中性密度过滤器222e和透明窗222f重叠。
46.因此，当在系统100中被布置在一起时，过滤器阵列220和222提供光场捕获，其中入射光瞳的部分在由中性密度过滤器提供的大动态范围内对三种不同光谱成分的光进行采样。
47.图2c示出了可以在系统100中使用的过滤器阵列的另一示例。过滤器阵列224包括四个过滤器224a、224b、224c和224d，每个过滤器分别由具有不同通过轴取向的线性偏振器构成。替代地，在一些实施例中，四个偏振过滤器可以包括两个具有正交轴的线性偏振器和两个关于正交圆偏振状态的圆偏振器。使用偏振过滤器阵列获取的光场图像可用于评估待测试的显示器的不同部件的特性，诸如双折射。
48.其他过滤器阵列布置也是可能的。例如，偏振过滤器阵列可以包括24个过滤器，这些过滤器被布置成使得四个偏振过滤器与过滤器阵列222中的每个过滤器重叠。利用这种布置，单个光场图像可以包含大动态范围内的颜色和偏振信息。
49.作为过滤器模块的替换或补充，其他部件可以被定位在全光相机组件101的入射光瞳中，以向系统100提供附加功能。例如，在一些实施例中，在单个光场捕获中可以使用多路复用组件捕获跨多个用户瞳孔位置的光场。图3示出了这种组件的示例，该图描绘了被布置在全光相机组件101的外部入射光瞳103处的光学组件300，以延伸光瞳平面并捕获待测试的显示器的出射光瞳320的较大部分。光学组件300包括被固定在正交棱镜302的相对侧上的两个偏振光束分束器(pbs)304a和304b。两个高延迟膜306a和306b分别位于两个偏振光束分束器304a和304b与待测试的显示器之间。可选地，线性偏振器308位于正交棱镜302和相机组件101之间。
50.通常，头戴式显示器的出射光瞳320可以显著大于用户的瞳孔，从而适应与用户的眼睛运动相对应的多个不同的用户瞳孔位置。图3所示的组件300将全光相机组件101的入射光瞳扩展为与三个不同的用户瞳孔位置共同延伸。特别地，箭头310a、310b和310c表示来自显示器的三个不同光瞳处的光。在pbs 304a将具有第一偏振状态的光310a的分量引向正
交棱镜302之前，使光310a穿过延迟膜306a。类似地，在pbs 304b将具有第二偏振状态的光310c的分量引向正交棱镜302之前，使光310c穿过延迟膜306b。延迟膜306a和306b可以具有使来自待测试的显示器的光的偏振随机化的效果。第一和第二偏振状态可以是相同的。光310b可以是第一和第二偏振状态的组合，也可以是正交的。
51.正交棱镜302将来自pbs 304a和304b的光与光310b组合，从而将该光引向全光相机组件101。正交棱镜302的表面可以是50％反射的(例如，50％透射的)，或者可以被调谐以产生通过三个光路的类似透射。请注意，pbs和正交棱镜的反射表面是平面表面，从而保持了表示出射光瞳320处的光场的光线的方向特性。因此，进入相机组件的光由来自三个不同光瞳的光组成，从该光捕获的光场图像包括来自这些光瞳中的每一个光瞳的信息。因此，可以基于单个光场图像来评估三个光瞳位置的总和的性能。
52.组件300一般通过允许组件在入射光瞳103处精确定位的安装设备(例如，光学机械支架)而被定位在显示器和全光学相机组件之间的光路中。在一些实施例中，可以使用一个或多个致动器来自动关闭入射光瞳103处的各种光学部件。一个例子是过滤轮，它可以将不同的过滤器阵列旋转进出光路。也可以手动更换这些部件。
53.通常，系统100可以包括与上述部件组合的附加部件。例如，在一些实施例中，该系统可以包括在载物台和全光相机组件之间的无焦光学中继系统。这种中继系统可以在光学路径中提供附加空间，而不会对光学器件的成像特性产生显著影响。替代地或附加地，可以使用一个或多个折叠镜来折叠系统的光路，例如以便为系统提供更紧凑的形状因子。
54.通常，系统100可用于表征与显示器相关联的各种不同性能参数。这些性能参数可以包括但不限于辐射率、亮度、颜色、几何失真、虚拟图像距离和场曲率。可以使用常规的光场分析技术来表征显示器的性能。
55.在一些实现方式中，使用超分辨率技术来增强像素位置的准确性。例如，几何校正可能需要非常准确的像素位置测量，并且可以受益于超分辨率技术的使用。
56.可以通过比较跨显示器出射光瞳的一个或多个性能参数的均匀性和/或将性能参数与标准进行比较来执行显示器校准。显示器的操作可以基于测量和为评估调节而执行的附加测量来调节。可以重复测量和调节序列，直到性能参数在预先设定的阈值内。
57.系统100可用于测量性能参数并校准适合于增强现实头戴式显示器系统的显示器。图4示出了这样的系统的示例，该图示出了示例头戴式显示器系统60，其包括显示器(或目镜)70以及支持该显示器70的功能的各种机械和电子模块以及系统。显示器70被容纳在框架80内，该框架可以由显示系统用户20佩戴并且被配置为将显示器70定位在用户20的眼睛前方。在一些实施例中，显示器70可以被认为是眼镜。观看世界的(例如，面向用户的环境并具有类似的视场)相机81安装在框架80中。在一些实施例中，扬声器90被耦接到框架80并且被定位在用户20的耳道附近。显示系统还可以包括一个或多个麦克风112以检测声音。麦克风112可以允许用户向系统60提供输入或命令(例如，语音菜单命令、自然语言问题等的选择)和/或可以允许与其他人(例如，与其他类似显示系统的用户)的音频通信。麦克风112还可以从用户的周围环境收集音频数据(例如，来自用户和/或环境的声音)。在一些实施例中，显示系统还可以包括外围传感器122a，其可以与框架80分离并且附接到用户20的身体(例如，头部、躯干、四肢等上)。在一些实施例中，外围传感器122a可以获取表征用户20的生理状态的数据。
58.显示器70可操作地通过通信链路132(诸如通过有线引线或无线连接)被耦接到本地数据处理和模块140，本地数据处理和模块140可以以各种配置安装，诸如被固定地附到框架80上、被固定地附到由用户佩戴的头盔或帽子上、被嵌入头戴耳机内、或者可拆卸地附到用户20(例如，以背包式配置或者以带耦接式配置)。类似地，传感器122a可以通过通信链路122b(例如通过有线引线或无线连接)可操作地耦接到本地处理和数据模块140。本地处理和数据模块140可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器或硬盘驱动器)的数字存储器，这两者都可用于辅助处理、高速缓存和存储数据。该数据可以包括：1)从传感器(其例如可以可操作地耦接到框架80或者其他的可操作地附到用户20)捕获的数据，所述传感器例如为图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、gps单元、无线电装置、陀螺仪和/或本文公开的其他传感器；以及/或2)使用远程处理模块152和/或远程数据储存库162(其包括与虚拟内容相关的数据)获取和/或处理的数据，这些数据可以在这样的处理或检索之后被传送到显示器70。本地处理和数据模块140可以诸如经由有线或无线通信链路可操作地通过通信链路170、180耦接到远程处理模块152和远程数据储存库162，使得这些远程模块152、162可操作地彼此耦接并且可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括图像捕获装置、麦克风、惯性测量单元、加速度计、罗盘、gps单元、无线电装置和/或陀螺仪中的一个或多个。在一些其他实施例中，这些传感器中的一个或多个可以附到框架80或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立装置。
59.远程处理模块152可以包括一个或多个处理器，以分析和处理诸如图像和音频信息的数据。在一些实施例中，远程数据储存库162可以是数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其他网络配置而可用。在一些实施例中，远程数据储存库162可以包括一个或多个远程服务器，这些远程服务器向本地处理和数据模块140和/或远程处理模块152提供信息(例如，用于生成增强现实内容的信息)。在其他实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许从远程模块完全自主的使用。
60.其他实施例在以下权利要求中。