图像显示装置及图像显示方法
【专利摘要】公开了图像显示装置及图像显示方法。显示器显示包括要素像素的合成图像。通过沿一个方向对从具有不同视点的图像中分别提取的像素进行布置而形成每个要素像素。第一光学元件包括沿该方向排列以对应于要素像素的透镜，并且针对特定图像，第一光学元件平行发射从分别包括在要素像素中的像素发射的光线。第二光学元件聚集光线。输出电路选择包括在特定要素像素中的特定图像的像素，并且将其像素值输出至显示器。此时，随着第一光学元件与第二光学元件之间的距离变得比第二光学元件的焦距更小，选择在特定图像中沿着该方向距离第二光学元件的光轴更远的像素。
【专利说明】图像显示装置及图像显示方法
【技术领域】
[0001]本文所讨论的实施方式涉及图像显示装置和图像显示方法。
【背景技术】
[0002]在可穿戴计算中，已知头戴式显示器(HMD)作为安装在人体上的显示装置。在将HMD安装在人的头上时，人可空出他/她的手。因此，期待HMD作为操作者辅助显示装置。
[0003]HMD的主要部件是显示运动图像或静止图像的显示器和扩展显示器的清晰视力范围的目镜。HMD具有针对每个左眼和右眼的一对显示器和目镜的组合，并且使左眼和右眼能够观看独立的图像。在HMD针对左眼和右眼二者显示单个相同的图像时，HMD用作为二维显示器，并且在HMD将其间具有视差的单独的图像显示为针对左眼的图像和针对右眼的图像时，HMD用作为三维显示器，其通过双眼视差允许深度识别。
[0004]然而，不管是否使用HMD，利用双眼视差的立体3D显示器已知有以下问题:观察者可能感觉不自然，并且经受极大的眼疲劳。作为该问题的解决方案，提出了多视角3D显示系统和超多视角3D显示系统(参见例如非专利文献I)。
[0005]图1示出了多视角3D显示系统的示例。多视角3D显示系统是表达“运动视差”的技术，“运动视差”通过生成与空间中的观察位置对应的多个视点图像并且更接近自然地显示3D图像来指示随着头部转动的视野中的变化。图1中的多视角3D显示装置包括显示器
101和三维滤波器102，并且具有以与目间距离对应的间隔放置的多组视点图像I至4。利用这种配置，可见立体图像根据观察位置而变化，并且表达了运动视差。
[0006]图2A和图2B示出了多视角3D显示系统与超多视角3D显示系统之间的差异。在自然世界中，用作为人感知三维空间的引导的光线是来自实际物体的连续光线中的通过了左眼和右眼的瞳孔的光线。在这种连续的光线将被采样以显示3D图像时，例如采用具有设置在显示器表面上的凸透镜201的配置，如图2A中所示出的多视角3D显示系统中那样。然而，在多视角3D显示系统中的凸透镜201中，针对要生成的视点图像的采样间隔太宽。
[0007]为此，期望的是，使针对将由凸透镜202生成的视点图像的采样间隔小于人的瞳孔直径dp，如图2B中所示出的超多视角3D显示系统中那样。在用右眼观看对象点P时，通过例如给出与从凸透镜202发射的光线对应的、并且进入眼球203的视点图像Pki和视点图像Pk2之间的微小视差，来减轻立体图像的不自然。
[0008]图3A和图3B示出了由超多视角3D显示系统导致的眼球的调节。如果眼球203聚焦在凸透镜202上，如图3A所示，那么在视点图像Pki和视点图像Pk2的光线同时进入眼球203时，两个视点图像作为双图像而投影到视网膜的不同位置上。在这种情况下，视点图像Pki和视点图像Pk2被认为是视网膜上的模糊。
[0009]然后，避免视力模糊的大脑功能引起对眼球203的调节性刺激，以使得两个视点图像被投影到视网膜上的一个点上。如果眼球203聚焦在根据双眼视差而感知的空间位置上，如图3B所示，那么在视觉上识别出自然的立体图像。
[0010]类似地，在观察者观看自然世界中的对象时，由于避免视力模糊的大脑功能，试图聚焦在通过双眼会聚而感知的对象的空间位置上的眼球调节起作用。如果通过眼球的调节，眼球聚焦在利用图像之间的双眼视差而感知的空间位置上，那么在观看图像的状态与自然世界中观看对象的状态之间不再有任何区别，这允许视觉识别自然3D图像。
[0011]也知道在2D显示与3D显示之间可切换的HMD的配置中，通过在显示器与目镜透镜之间设置凸透镜而将左图像光束和右图像光束分配到不同的方向(参见例如专利文献I)。
[0012]专利文献1:日本公开特许公报第2011-145488号
[0013]非专利文献1:【2013年2月5日检索的】1997年9月9日，日本电信发展组织，第 144-201 页，“Report on the Final Results of the Advanced3_D ImageTelecommunication Project”【在线】。从因特网检索:〈URL:http://seika_koka1.nict.g0.jp/doc/result/199611005/199611005_houkoku-04.pdf>
【发明内容】
[0014]本发明的一方面的目的是通过两个光学元件显示正确的立体图像。
[0015]根据本发明的一个方面，图像显示装置包括显示器、第一光学元件、第二光学元件以及输出电路。
[0016]显示器显示包括多个要素像素的合成图像。通过沿一个方向对从多个图像分别提取的多个像素进行布置而形成每个要素像素，所述多个图像具有彼此不同的多个视点。
[0017]第一光学元件包括沿所述方向排列以对应于所述多个要素像素的多个透镜。针对多个图像中的特定图像，透镜平行发射从分别包括在多个要素像素中的多个像素发射的多条光线。第二光学元件聚集从第一光学元件发射的多条光线。
[0018]输出电路基于选择逻辑来选择多个要素像素中的特定要素像素中所包括的特定图像的像素。选择逻辑用于随着第一光学元件与第二光学元件之间的元件至元件的距离变得比第二光学元件的焦距更小，来选择特定图像中这样的像素:在所述方向上，该像素的位置相对与第二光学元件的光轴对应的位置的距离更远。所述输出电路将所选择的像素的像素值输出至显示器。
【专利附图】
【附图说明】
[0019]图1示出了多视角3D显示系统；
[0020]图2A和图2B示出了多视角3D显示系统与超多视角3D显示系统之间的差异；
[0021]图3A和图3B示出了由超多视角3D显示系统引起的眼球的调节动作；
[0022]图4是图像显示装置的配置图；
[0023]图5是HMD的配置图；
[0024]图6示出了 HMD的外观；
[0025]图7是输出电路的配置图；
[0026]图8是图像选择电路的配置图；
[0027]图9是像素选择电路的配置图；
[0028]图10示出了凸透镜与视点图像之间的对应关系；
[0029]图11示出了距元件透镜中心的偏离量与聚集位置的位移量之间的关系；[0030]图12示出了使凸透镜更接近目镜透镜的情况；
[0031]图13示出了多个虚拟相机；
[0032]图14示出了虚拟图像位置与透镜至透镜的距离之间的关系；
[0033]图15示出了目镜透镜的位置处的观看区域；
[0034]图16示出了观察位置处的观看区域；
[0035]图17示出了多视点图像的生成；
[0036]图18示出了光线的发射方向与光线的入射方向之间的关系；
[0037]图19示出了凸透镜的节距位置(pitch position)；
[0038]图20示出了 d=fI时光线的轨迹；
[0039]图21示出了 d〈fl时光线的扩散宽度；
[0040]图22示出了 d〈fI时光线的轨迹；
[0041]图23是示出了输出电路的操作的流程图；
[0042]图24示出了显示器的像素与视点图像的像素之间的关系；
[0043]图25A和图25B示出了光线的光学路径；
[0044]图26A和图26B示出了元件透镜的宽度与观察观看区域之间的关系；
[0045]图27A和图27B示出了分别针对多个视点图像的光线的理想状态和可允许限度；
[0046]图28A和图28B示出了透镜至透镜的距离与光线的扩散宽度之间的关系；以及
[0047]图29示出了用于观察的狭缝。
【具体实施方式】
[0048]以上所述的传统的HMD经受以下问题。
[0049]在HMD中，两个眼睛相对于内置显示器的位置不变化。因此，除了在个体之间存在有目间距离的变化之外，认为不是必须要表达运动视差。如果尽管在HMD中缺乏该需要仍然使用超多视角3D显示系统来显示3D图像，那么可以期望3D图像的自然视觉识别，如以上所述。
[0050]然而，尚没有下述技术:在例如HMD的图像显示装置中在显示器与目镜透镜之间设置凸透镜的情况下，基于凸透镜和目镜透镜的布局来显示正确的3D图像，所述图像显示装置具有光学系统，在所述光学系统中通过目镜透镜在视觉上识别虚拟图像。
[0051]请注意，问题不限于凸透镜被设置在HMD的显示器与目镜透镜之间的情况，而且还发生在通过两个光学元件显示3D图像的不同的图像显示装置中。
[0052]下文将参考附图来详细描述实施方式。
[0053]图4示出了根据实施方式的图像显示装置的配置的示例。图4中的图像显示装置401包括输出电路411、显不器412、第一光学兀件413以及第二光学兀件414。
[0054]显示器412显示包括多个要素像素的合成图像。每个要素像素是通过沿一个方向布置从多个图像分别提取的多个像素而形成的，所述多个图像具有彼此不同的多个视点。
[0055]第一光学元件413包括沿该方向排列以对应于多个要素像素的多个透镜。透镜针对多个图像中的特定图像平行发射从多个像素发射的多条光线，所述多个像素分别包括在多个要素像素中。第二光学元件414聚集从第一光学元件413发射的多条光线。
[0056]输出电路411基于选择逻辑来选择多个要素像素中的特定要素像素中所包括的特定图像的像素。选择逻辑的特征是，在限定光学系统需求之后，选择逻辑根据两个光学系统需求、第一光学元件413与第二光学元件414之间的元件至元件的距离、以及第二光学元件414的焦距而变化。也就是说，随着第一光学元件413与第二光学元件414之间的元件至元件的距离变得小于第二光学元件414的焦距，选择逻辑将选择在特定图像中沿着该方向距离与第二光学元件414的光轴对应的位置更远的位置处的像素。所述输出电路411将所选择的像素的像素值输出至显示器412。
[0057]根据该图像显示装置，可以通过第一光学元件413和第二光学元件414显示正确的3D图像。
[0058]图5示出了作为图4中的图像显示装置401的一个示例的HMD的配置的示例。图5中的HMD501是能够利用超多视角3D显示系统显示3D图像的图像显示装置。
[0059]HMD501包括外壳502、输出电路411、显示器511、凸透镜512、目镜透镜513、显示器521、凸透镜522以及目镜透镜523。在部件中，显示器511、凸透镜512和目镜透镜513形成用于左眼的光学系统，而显不器521、凸透镜522和目镜透镜523形成用于右眼的光学系统。
[0060]显示器511和显示器521与图4中的显示器412对应；凸透镜512和凸透镜522与第一光学元件413对应；而目镜透镜513和目镜透镜523与第二光学元件414对应。
[0061]凸透镜512和凸透镜522接结到显示器511和显示器521的各自的显示表面。目镜透镜513和目镜透镜523分别与凸透镜512和凸透镜522间隔开。
[0062]例如，液晶显示器、有机电致发光显示器等可以用作为显示器511和显示器521中的每个显示器。目镜透镜513和目镜透镜523用来通过使观察者观察虚拟图像来虚拟地延长到显不器511和显不器521的短距离。
[0063]凸透镜512和凸透镜522是具有多个细长的元件透镜的光学元件，以元件透镜的宽度方向布置所述多个细长的元件透镜。每个元件透镜具有通常半圆形的横截面，并且具有与N个像素对应的宽度，在显示器511 (或显示器521)的显示表面内以元件透镜的宽度方向布置所述N个像素。这里数量N是立体图像的视点的数量，并且是不小于2的整数。
[0064]在用于左眼的光学系统中，将目镜透镜513放置得比凸透镜512更靠近左眼。在用于右眼的光学系统中，将目镜透镜523放置得比凸透镜522更靠近右眼。凸透镜512和凸透镜522中的多个元件透镜以HMD501的横向方向来排列。
[0065]请注意，可以使用任何其他光学元件，例如复眼(fly-eye)透镜，来代替凸透镜512和凸透镜522中的每个凸透镜。可以使用在观察者的两只眼睛的位置处聚集多条光线的任何其他光学元件来代替目镜透镜513和目镜透镜523。
[0066]图6示出了 HMD501的外观。在HMD501被安装在观察者的头上时接触观察者的鼻子的鼻垫601附接到HMD501的外壳502。如图5所示，输出电路411被放置在外壳502内部用于左眼的光学系统与用于右眼的光学系统之间，并且显示器511和显示器521连接到输出电路411。
[0067]设置鼻垫601以使从目镜透镜513和目镜透镜523到观察者的两只眼睛的观察距离几乎与目镜透镜513和目镜透镜523的焦距fl 一致。可以使用不同的构件，例如衬垫来代替鼻垫601，以围绕目镜透镜513 (或目镜透镜523)的环形形状在外壳502的外表面上设置该衬垫，并且在观察者穿戴HMD501时该衬垫接触眼睛周围的皮肤。[0068]图7示出了图5中的输出电路411的配置的示例。图7中的输出电路411包括存储器701、图像选择电路711、像素选择电路712、图像选择电路721以及像素选择电路722。在部件中，存储器701是例如帧存储器，并且图像选择电路711、像素选择电路712、图像选择电路721以及像素选择电路722可以被实现为例如集成电路。作为每个集成电路，可以使用可编程集成电路，例如现场可编程门阵列。
[0069]将用于左眼和右眼的运动图像数据从例如运动图像再现装置经由接口 702输入到存储器701，并且存储器701存储所输入的运动图像数据。每条运动图像数据包括沿着横向方向具有彼此不同的视点位置的N条运动图像数据。N条运动图像数据中的每条运动图像数据包括按时间顺序的多个帧。
[0070]图像选择电路711从存储器701读出用于左眼的N条运动图像数据，选择所读出的运动图像数据的各个帧中所包括的N个视点图像中的一个视点图像，并且将该一个视点图像输出至像素选择电路712。图像选择电路721从存储器701读出用于右眼的N条运动图像数据，选择所读出的运动图像数据的各个帧中所包括的N个视点图像中的一个视点图像，并且将该一个视点图像输出至像素选择电路722。
[0071]像素选择电路712在从图像选择电路711输出的视点图像中所包括的多个像素之中选择与显示器511的每个像素对应的像素，并且将该像素的像素值输出至显示器511。像素选择电路722在从图像选择电路721输出的视点图像中所包括的多个像素之中选择与显示器521的每个像素对应的像素，并且将该像素的像素值输出至显示器521。
[0072]图8示出了图7中的图像选择电路711和图像选择电路721中的每个图像选择电路的配置的示例。图8中的图像选择电路包括低通滤波器(LPF)SOl-1至801-N、下采样电路802-1至802-N、开关电路803-1至803-N以及控制电路804。
[0073]LPF801-1 (i=l至N)在从存储器701读出的第i条运动图像数据的每帧中所包括的视点图像811-1中移除高频分量。下采样电路802-1通过在视点图像的横向方向上使视点图像的像素变细到1/N，来将从LPF801-1输出的视点图像的分辨率降低到1/N。开关电路803-1基于来自控制电路804的控制信号，将从下采样电路802-1输出的视点图像输出至像素选择电路。
[0074]控制电路804执行下述控制:通过输出使开关电路803-1至803-N中的任一开关电路接通并且使其他开关电路断开的控制信号，来选择一个视点图像。
[0075]图9示出了像素选择电路712和像素选择电路722中的每个像素选择电路的配置的示例。图9中的像素选择电路包括光线方向选择电路901和像素值确定电路902。
[0076]像素选择电路712中的光线方向选择电路901在从显示器511的每个像素发射的光线通过凸透镜512和目镜透镜513并且到达视点位置时选择光线方向，并且将所选择的光线方向的信息输出至像素值确定电路902。像素值确定电路902从图像选择电路711所输出的视点图像中选择与从光线方向选择电路901输出的光线方向对应的像素，并且将该像素的像素值输出至显示器511。
[0077]同样的情况也应用于像素选择电路722中的光线方向选择电路901和像素值确定电路902。
[0078]利用图像选择电路711和像素选择电路712，可以通过从用于左眼的N条运动图像数据的对应N个视点图像中的每个视点图像中提取一个像素，并且在横向方向上将所提取的N个像素布置在显示器511的显示表面上，来形成一个要素像素。通过针对N个视点图像的所有像素执行该处理，生成了包括多个要素像素的一个帧的合成图像。
[0079]多个要素像素每个都是一组N个像素，并且在显示器511的显示表面上与凸透镜512的元件透镜对应的区域中形成。在每个要素像素中排列N个像素的顺序与沿着视点图像的横向方向的视点位置的顺序相反，从所述视点图像中提取了所述N个像素。
[0080]利用图像选择电路721和像素选择电路722，可以通过从用于右眼的N条运动图像数据的对应N个视点图像中的每个视点图像中提取一个像素，并且在横向方向上将所提取的N个像素布置在显示器521的显示表面上，来形成一个要素像素。通过针对N个视点图像的所有像素执行该处理，生成了包括多个要素像素的一个帧的合成图像。
[0081]在图5的HMD501中，为了实现超多视角3D显示系统的目的，凸透镜512和凸透镜522分别连结到显示器511和显示器521的显示表面。利用这种配置，从与每个凸透镜的每个元件透镜对应的单个要素像素中所包括的N个像素发射的光线的方向是彼此不同的。来自位于每个元件透镜中心处的像素的光线被笔直地发射，而来自偏离元件透镜中心的位置处的像素的光线被以下述角度发射:所述角度与对元件透镜中心的偏离相对应。
[0082]图10示出了 N=5时凸透镜与N个视点图像之间的对应关系的示例。图10中的凸透镜1000与图5中的凸透镜512或凸透镜522对应，并且凸透镜1000中的每个元件透镜包括从五个视点图像中提取的五个像素列。
[0083]正好在显示器的前方观察具有所连结的凸透镜1000的显示器时的视点是位于视点#1至#5的中心处的视点#3。视点#3处所形成的视点图像包括分别位于凸透镜1000的元件透镜的中心处的像素列1001C、1002C、1003C、1004C及1005C。
[0084]在左边挨着视点#3的视点#4处所形成的视点图像包括像素列1001DU002D、1003D、1004D及1005D，该像素列1001D、1002D、1003D、1004D及100?分别在右边挨着凸透镜1000的元件透镜的中心处的像素列。
[0085]在左端处的视点#5处所形成的视点图像包括分别位于凸透镜1000的元件透镜的右端处的像素列 1001E、1002E、1003E、1004E 及 1005E。
[0086]在右边挨着视点#3的视点#2处所形成的视点图像包括像素列1001BU002B、1003B、1004B及1005B，该像素列1001B、1002B、1003B、1004B及1005B分别在左边挨着凸透镜1000的元件透镜的中心处的像素列。
[0087]在右端处的视点#1处所形成的视点图像包括分别位于凸透镜1000的元件透镜的左端处的像素列 1001A、1002A、1003A、1004A 及 1005A。
[0088]在视点位置变化时，如上所述，观察合成图像的方向变化，这改变了要观察的视点图像。发射光线的方向，即视点，根据与每个元件透镜对应的N个像素中的每个像素的位置而变化。每个视点图像中的一个像素与凸透镜1000的一个元件透镜对应，从与凸透镜1000的单个元件透镜对应的像素所发射的光线形成视点图像中相同位置处的像素。例如，在图10中在视点#1至#5处分别位于视点图像的中心处的像素列1003A至1003E是与凸透镜1000的中心处的元件透镜对应的像素列。
[0089]将参考图11和图12来描述要通过目镜透镜观察的视点图像的变化。图11示出了距凸透镜的元件透镜的中心的偏离量Ax与目镜透镜的聚集位置的位移量u之间的关系。
[0090]图11中的显示器1101与图5中的显示器511或显示器521对应，凸透镜1102与凸透镜512或凸透镜522对应，而目镜透镜1103与目镜透镜513或目镜透镜523对应。
[0091]从凸透镜1102以发射角Θ的方向发射平行光束，所述发射角Θ与距每个元件透镜的中心的偏离量ΛΧ对应。这里假设凸透镜1102的焦点位置与显示器1101的显示表面—致。
[0092]目镜透镜1103将来自凸透镜1102的平行光束聚集在观察位置1104上的以下位置处，所述位置根据入射角Θ从光轴位移了位移量U，所述观察位置1104与目镜透镜1103间隔开焦距H。这允许观察者通过目镜透镜1103观察视点图像的虚拟图像。
[0093]例如，由虚线1111包围的范围与在视点A处观察到的视点图像1121对应，而由交替的长短虚线1112包围的范围与在中心处在视点B处观察到的视点图像1122对应。如上所述，眼睛位置的偏离改变要观察的视点图像。在这种情况下，显示器1101的显示表面上凸透镜1102的M (M是不小于2的整数)个元件透镜中的第j (j=l至Μ)个元件透镜与构成视点图像的第j个像素对应。每个元件透镜中的偏离量ΛΧ与平行光束的发射角Θ和视点位置对应。
[0094]图12示出了使图11中的凸透镜1102更接近目镜透镜1103的情况。在这种情况下，由虚线1201包围的范围与在视点A处观察到的视点图像1211对应，而由交替的长短虚线1202包围的范围与在中心处在视点B处观察到的视点图像1212对应。
[0095]在每个视点处观察到的视点图像是由与以下位置处的元件透镜对应的像素形成的图像:在所述位置处，来自视点的光线的轨迹到达凸透镜1102。与图11中来自视点A的光线的轨迹相比，图12中来自视点A的光线的轨迹到达在左边挨着一个元件透镜的元件透镜，而不是凸透镜1102的同一元件透镜。
[0096]因此，在图12中在视点A处观察到视点图像1211，所述视点图像1211由与在左边挨着的元件透镜对应的像素形成。如虚线所指示的，视点图像1211是向右偏移的图像，并且视点图像1211与视点图像1212之间的视差是不适当的。
[0097]将参考图13至图22来考虑图像显示方法，即使将凸透镜1102更靠近目镜透镜1103，该图像显示方法也可以生成适合于光学系统布局的合成图像。在下文中合成图像也被称为多视点图像。
[0098]图13示出了放置在图11中的观察位置处的多个虚拟相机。参考图13，观察位置1104与目镜透镜1103之间的距离与目镜透镜1103的焦距fl 一致。此外，凸透镜1102与目镜透镜1103之间的距离与焦距fl 一致。
[0099]将虚拟相机1301-1至1301-5平行放置在观察位置1104处。在这种情况下可想到的是，通过反向跟踪到达每个虚拟相机的光线以将由虚拟相机拍摄的图像投射到显示器1101的显示表面上，在观察者的眼前再现在实际观察三维对象时所获得的相同的光线状态。在目镜透镜1103与凸透镜1102之间的透镜至透镜的距离变化时，光线的轨迹也会变化。发明人已经发现，通过考虑透镜至透镜的距离，显示器1101的像素的像素值可以适应于光学系统布局。
[0100]图14示出了与视点图像对应的虚拟图像的位置和凸透镜1102与目镜透镜1103之间的透镜至透镜的距离之间的关系。虚拟图像位置1401与观察位置1402分隔开距离Dv0令k为虚拟图像的放大率，距离Dv是目镜透镜1103的焦距Π的k倍。如果观察位置1402与目镜透镜1103之间的距离等于焦距fl，那么虚拟图像位置1401与目镜透镜1103之间的距离是(k-1).H。
[0101]在这种情况下，根据透镜方程，目镜透镜1103与凸透镜1102之间的透镜至透镜的距离的理想值D由以下表达式给出:
[0102]l/fl=l/D-l/{(k-l).fl}
[0103]D=(l-l/k).fl (I)
[0104]图15示出了目镜透镜1103的位置处的观看区域。通过凸透镜1102与观察位置1402处的视点#1至#5之间的五条光线的扩散宽度Wv'来表达目镜透镜1103的位置处的观看区域，如实线所指示的。
[0105]如果D=fl，那么目镜透镜1103与视点#1至#5之间的五条光线是平行的，并且扩散宽度WV等于观察位置1402处的光线的扩散宽度Wv，如虚线所指示的。
[0106]如果D〈fl，那么根据具有点1501、点1502和点1503作为顶点的三角形和具有点1511、点1512和点1513作为顶点的三角形之间的几何相似性，得出以下表达式，并且表达式(I)为:
[0107]Wv' =(D/fl).Wv
[0108]=(l-l/k).Wv (2)
[0109]将考虑在观察位置1402处从扩散宽度WV增加的扩散宽度会变得多宽。如图16所示，光线的方向等于来自点光源的光线的方向，所述点光源被放置在虚拟图像位置1401处的点1601上。由于具有点1601、点1602和点1603作为顶点的三角形和具有点1601、点1611和点1612作为顶点的三角形是几何相似的，所以观察位置1402处的光线的扩散宽度Wv*由以下表达式给出:
[0110]Wv*= {k/(k_l)} H (3)
[0111]将表达式(2)代入表达式(3)中的Wv'中，给出以下表达式:
[0112]Wv*= {k/ (k-1)}.(1-1/k).Wv
[0113]=Wv (4)
[0114]根据表达式(4)可以看出，不管放大率k如何，D=f I时扩散宽度W/等于扩散宽度Wv0
[0115]根据以上考虑可以看出，如图17所示，通过在与观察位置1402分隔开距离Dv的虚拟图像位置1401处放置虚拟屏幕，并且生成多视点图像，能够生成适合于光学系统布局的多视点图像，其中不管透镜至透镜的距离D，利用具有宽度Wv的观看区域通过观察来获得所述多视点图像。由被布置成适合宽度Wv的虚拟相机来生成这种多视点图像。如果D=fl，那么使用在相机被放置成使光轴平行时所拍摄的图像。如果D〈fl，那么使用在相机被放置成使光轴会聚在距离Dv处的时候所拍摄的图像。
[0116]将基于考虑结果来讨论要分配给显示器1101的每个像素的像素值。在前述考虑结果中，将相机的会聚角包括在视点图像中作为参数。相反地，这里假设相机被并行放置，并且采用以下表达式，所述表达式具有统一的参数，光线进入相机的方向。请注意，在以下考虑中使用实际的透镜至透镜的距离d，代替于目镜透镜1103与凸透镜1102之间的透镜至透镜的距离d的理想值D。
[0117]图18示出了从凸透镜1102发射的光线的发射方向与观察位置1402上的视点1801处的光线的入射方向之间的关系。包括显不器1101和凸透镜1102的多视点光学系统被放置在与目镜透镜1103分隔开距离d的位置处，并且X轴被设置成在显示器1101的显不表面上以从左向右的方向延伸。X轴的原点对应于目镜透镜1103的光轴和显不器1101的显示表面的交叉点，并且坐标X指示凸透镜1102的每个元件透镜的位置。在下文中每个元件透镜的位置可以被称为节距位置。
[0118]u轴被设置成在观察位置1402处以从右向左的方向延伸。u轴的原点是目镜透镜1103的光轴和观察位置1402处的平面的交叉点，并且坐标u指示在观察位置1402处视点1801的位置。
[0119]这里，由L1W, θ，χ)表示以角度Θ的发射方向从节距位置X发射的光线，并且由Le(U，Φ)表示以角度Φ的入射方向在视点位置u处入射的光线。如图19所示，由L1 (d, Θ , Xj.)表示从凸透镜1102的节距位置Xj处的第j (j=l至Μ)个元件透镜以角度Θ发射的光线。
[0120]如果d=fl，如图20所示，聚焦在具有点2001、点2003和点2005作为顶点的直角三角形上给出了以下表达式:
[0121]u=f I.tan θ (5)
[0122]聚焦在具有点1801、点2003和点2004作为顶点的直角三角形和具有点2001、点2002、点2003和点2004作为顶点的平行四边形上给出了以下表达式:
[0123]x=f I.tan Φ(6) [0124]因此，根据从点2004向点1801的虚线箭头所指示的光线的轨迹得出以下表达式:
[0125]L1 (fl, θ , χ) =Le (fI.tan θ , arctan (χ/fI)) (7)
[0126]为此，与在表达式(5)所表示的视点位置u处以表达式(6)所表示的角度Φ入射的光线对应的像素值可以被给予与从节距位置X以角度Θ发射的光线对应的像素。
[0127]如果d〈fl，那么不管透镜至透镜的距离d如何，表达式(5)对于视点位置U与角度Θ之间的关系是成立的。这是因为视点位置u是由来自凸透镜1102的光线的发射方向确定的。因此，以下表达式成立:
[0128]L1 (d, θ，χ) =Le (fl.tan θ，φ) (8)
[0129]如果d〈fl，那么从凸透镜1102的中心发射的五条光线即使在通过目镜透镜1103之后也不变成平行的而是扩散，如图21中实线所指示的。为此，虽然视点位置u不取决于透镜至透镜的距离d而变化，但是光线的扩散角取决于透镜至透镜的距离d而变化。扩散角等于来自于放置在虚拟图像位置1401上的点1601处的点光源的光线的扩散角。
[0130]如图22所示，令Λ φ为来自于放置在点1601处的点光源的光线的扩散角，并且从入射角Φ减去扩散角Λ φ之后剩余的角度与节距位置χ有关。
[0131]由于具有点2201、点2202、点2203和点2204作为顶点的平行四边形的四个边中的、连接点2201和点2202的边的长度为X，所以连接点2203和点2204的边的长度也为χ。在这种情况下聚焦在具有点1801、点2205和点2204作为顶点的直角三角形和具有视点1801、点2205和点2203的直角三角形上给出了以下表达式:
[0132]x=f I.tan Φ -f I.tan Δ φ(9)
[0133]m tan Δ φ =u/ (k.f I) > u=f I.tan Θ 和 k=f I/(f l_d)代入表达式(9)中给出以下表达式:[0134]x=fl.[tan Φ - {(f 1-d) /f 1}.tan Θ ] (10)
[0135]根据表达式(10)，由以下表达式给出入射角Φ:
[0136]Φ =arctan [ {x+ (f 1-d).tan θ } /f I] (11)
[0137]如上所述，使用在视点位置处入射的光线，由表达式(8)和表达式(11)给出了在d<fl时从节距位置χ以角度Θ发射的光线。因此可以看出，基于四个参数:节距位置χ、发射角Θ、焦距f I和透镜至透镜的距离d，来确定与从节距位置χ以角度Θ发射的光线对应的像素所要显示的光线。基于发射角Θ和焦距Π确定光线的视点位置U，并且基于节距位置X、发射角Θ、焦距Π和透镜至透镜的距离d来确定入射角Φ。
[0138]请注意，由于在d>fl的情况下通过目镜透镜1103不能观察到虚拟图像，所以从讨论中排除了这种情况。
[0139]将描述基于表达式(8 )和表达式(Il)WN个视点图像的像素中选择每个要素像素中所包括的每个像素的图7中输出电路411的操作。
[0140]图23是示出了输出电路411的操作的示例的流程图。这里将描述用于左眼的图像选择电路711和像素选择电路712的操作作为示例。
[0141]图像选择电路711的控制电路804首先针对与N个视点图像对应的N个发射角Θ中的每个发射角Θ基于表达式(5)来计算视点位置u(步骤2301)。控制电路804将用于选择与每个所获得的视点位置u对应的视点图像的控制信号输出至开关电路803-1至803-N。利用该操作，将与每个发射角Θ对应的视点图像从图像选择电路711输出至像素选择电路712。
[0142]像素选择电路712的光线方向选择电路901针对M个节距位置χ之一和N个发射角Θ之一的组合中的每个组合基于表达式(11)来计算入射角Φ (步骤2302)。光线方向选择电路901将由每个所获得的入射角Φ指示的光线方向的信息输出至像素值确定电路902。
[0143]像素值确定电路902从由图像选择电路711输出的视点图像中选择与由光线方向选择电路901输出的光线方向对应的像素，并且将该像素的像素值输出至显示器511 (步骤2303)。更具体地，像素值确定电路902通过将入射角Φ与视点图像中的像素的位置相关联来确定要输出的像素值。
[0144]如图24所示，将视点图像2401的中心设定为原点2411，分别由s和t表示横向方向(水平方向)上的坐标和垂直方向上的坐标，并且由C(s，t)表示点(s，t)处的像素的像素值。如图10所示的，原点2411的坐标s与凸透镜512的元件透镜中的中心元件透镜的节距位置χ对应，目镜透镜513的光轴通过所述中心元件透镜。原点2411的坐标t与显示器511的显示表面上的图18中的χ轴的原点位置对应。
[0145]令ΨΗ为将生成视点图像2401的虚拟相机的视野的水平角，并且令Wh为水平分辨率，由以下表达式给出坐标s与入射角Φ之间的关系:
[0146]S= {tan Φ /tan ( Ψ H/2)}.WH/2 (12)
[0147]不管入射角Φ如何，坐标t与显示器511的显示表面上的垂直坐标一致。像素值确定电路902基于表达式(12)来计算与显示器511的像素2402对应的视点图像2401上的点(s，t)，并且将该位置处的像素的像素值C (s，t)作为像素2402的像素值输出至显示器511。通过针对发射角Θ之一、节距位置χ之一和显示器511的垂直坐标值之一的组合中的每个组合执行以上所述的操作，来确定包括在所有要素像素中的所有像素的像素值，并且生成多视点图像。
[0148]请注意，如果在观察位置1402处视野的水平角ΨΗ与用于显示器511的视野的观察角一致，并且显示器511的像素数目与要应用表达式(12)时视点图像的像素数目一致，则关联是容易的。可以通过适当地修整和缩放视点图像来使视角和像素数目一致。
[0149]图像选择电路721和像素选择电路722的操作与图像选择电路711和像素选择电路712的操作相似。
[0150]如果tan Θ不为0，表达式(11)意指像素选择逻辑根据作为硬件需求的两个参数(即透镜至透镜的距离d和焦距Π)的值而变化。这两个参数通常取硬件配置时的已知值。随着透镜至透镜的距离d变得比焦距Π更小，入射角Φ变得更大。根据表达式(12)，随着入射角Φ变得更大，坐标s的值变得更大。根据基于表达式(11)和表达式(12)的选择逻辑，随着透镜至透镜的距离d变得比焦距fl更小，选择了视点图像2401中沿着横向方向距离原点更远的位置处的像素。这允许生成适于透镜至透镜的距离d的多视点图像。
[0151]请注意，用于从视点图像2401选择像素的选择逻辑不限于基于表达式(11)和表达式(12)的选择逻辑。只要选择逻辑是随着透镜至透镜的距离d变得比焦距Π更小而选择在视点图像2401中沿着横向方向距离原点更远的位置处的像素，就可以使用任何其他的选择逻辑。
[0152]在制造HMD501时，外壳502等的尺寸方面存在容差。将考虑为HMD501的光学系统布局所允许的容差条件。
[0153]图25A和图25B示出了由显示器1101、凸透镜1102及目镜透镜1103形成的光线的光学路径。如图25A所示，凸透镜1102的作用是根据与每个元件透镜的中心位置的偏离量Λ χ来控制作为平行光从位于显示器1101的显示表面上的像素发射的每条光线的发射角Θ。
[0154]聚焦在图25Α中由粗线指示的直角三角形上给出了偏离量Λ χ与发射角Θ之间的关系如以下表达式:
[0155]Δ x=f0.tan θ (13)
[0156]在表达式(13)中，f0是凸透镜1102的每个元件透镜的焦距。如图25B所示，目镜透镜1103的作用是根据角Θ，将以角Θ入射的平行光聚集到从目镜透镜1103的光轴偏离了位移量u的位置上。聚焦在图25B中由粗线指示的直角三角形上给出了如以上表达式
(5)所述的角Θ与位移量u之间的关系。
[0157]从与目镜透镜1103分离开焦距Π的观察位置1402进行观察使得观察者能够通过目镜透镜1103观察到从凸透镜1102发射的平行光所形成的视点图像，作为虚拟图像。
[0158]图26A和图26B示出了凸透镜1102的每个元件透镜的宽度与观察观看区域之间的关系。假定凸透镜1102的视角是2α，那么光线的发射角Θ的最大值是α。如图26Α所示，令P为凸透镜1102的每个元件透镜的宽度，那么由粗线指示的直角三角形的底边的长度是Ρ/2。据此，以下表达式成立:
[0159]p/2=f0.tan α (14)
[0160]令Wv为如图26Β所示的观察位置1402处的光线的扩散宽度，那么由粗体指示的直角三角形的底边的长度是Wv/2。据此，以下表达式成立:[0161]ffv/2=f I.tan a (15)
[0162]从表达式(14)和表达式(15)中消去tana给出了以下表达式:
[0163]Wv=(fl/f0).ρ (16)
[0164]由于扩散宽度Wv与观察观看区域对应，所以表达式(16)表示了凸透镜1102的每个元件透镜的宽度与观察观看区域之间的关系。
[0165]将得出用于透镜至透镜的距离d的条件。图27A和图27B分别示出了针对从凸透镜1102的单个元件透镜发射的多个视点图像的光线的理想状态和可允许限度。在图27A所示的理想状态中，从视点图像的像素发射的光线通过元件透镜的中心。相反地，关于图27B所示的可允许限度，从与元件透镜对应的像素中的最外面像素发射的光线通过元件透镜的边缘位置。
[0166]图28A和图28B示出了在可允许限度的状态下透镜至透镜的距离d与目镜透镜1103的位置处的扩散宽度Wv'之间的关系。在图28A所示的第一情况下，从凸透镜1102以发射角Θ的最大值α发射的光线在与发射光线的元件透镜偏离d ^tana的位置处进入目镜透镜1103。以由粗线指示的方式跟随来自观察位置1402处的观察观看区域的端点的光线的轨迹，轨迹偏离了上述量并且到达凸透镜1102。如果轨迹到达正确的元件透镜，则光线的轨迹没有重要关系，但是如果轨迹到达相邻的元件透镜，则光线的轨迹有重要关系。 [0167]由以下表达式给出了光线的轨迹到达正确的元件透镜的条件:
[0168]Wv' /2-d.tan α≤ p/2 (17)
[0169]通过使用表达式(15)从表达式(17)中消去tana给出了以下表达式:
[0170]Wv' /2-(ffv/2).(d/fl) ≤p/2 (18)
[0171]将表达式(2)代入表达式(18)中的Wv'给出了以下表达式:
[0172](l-1/k).(ffv/2) - (ffv/2).(d/fl)≤ p/2 (19)
[0173]表达式(19)的两边乘以2/Wv给出了以下表达式:
[0174]1-1/k-d/f I ≤ p/ffv (20)
[0175]通过使用表达式(16)重写表达式(20)的右边给出了以下表达式:
[0176]1-1/k-d/fl ≤fO/fl
[0177](l-1/k).f 1-d ≤ f0 (21)
[0178]根据表达式(I)和表达式(21)，得出了以下表达式:
[0179]d ≤ D-fO (22)
[0180]在图28B所示的第二情况下，由以下表达式给出了光线的轨迹到达正确的元件透镜的条件:
[0181]d.tana-Wv' /2 ^ p/2 (23)
[0182]以对于表达式(17)的相同方式对表达式(23)进行变形给出了以下表达式:
[0183]d ≤ D+fO (24)
[0184]根据表达式(22)和表达式(24)，由以下表达式给出了透镜至透镜的距离d的条件:
[0185]D-fO ≤ d ≤ D+f0 (25)
[0186]根据表达式(25)可以看出，希望透镜至透镜的距离d的容差不大于凸透镜1102的每个元件透镜的焦距fO的两倍。添加条件fl以观察虚拟图像。因此，透镜至透镜的距离d的上限是fl和D+fO中较小的一个。
[0187]图29示出了设置在观察位置1402处的用于观察的狭缝2901。期望狭缝2901的开口的尺寸基于表达式(16)中的扩散宽度Wv而确定。例如，如果开口的形状是以观察位置1402处的平面与目镜透镜1103的光轴的交叉点为中心的圆，那么可以使用(fl/fO).P作为该圆的直径。观察者可以通过经由狭缝2901观察多视点图像来阻挡到达观察位置1402处的过多的光。
[0188]虽然通过以图5中的HMD501为例在以上实施方式中描述了图像显示装置的配置和操作，但是图像显示装置的配置不限于图5至图9中所示的配置。可以根据图像显示装置的目的和条件而省略或改变图5至图9中所示的配置中的一些部件。图23中的流程图仅仅是一个示例，并且可以根据图像显示装置的配置和条件而省略或改变一些处理。
[0189]例如，还可以在不同于外壳502的外壳内设置输出电路411，并且通过通信线路连接输出电路411和显示器511，而不是在像显示器511和显示器521的外壳502内设置输出电路411。
[0190]如果不需要设置针对左眼和右眼的两个光线系统，那么可以省略两个光学系统中的一个光学系统，如果视点图像的分辨率不需要被降低到1/N，那么可以省略图8中的下采样电路802-1至802-N。
[0191]通过使用表达式(11)从表达式(12)中消去入射角Φ给出了以下表达式:
[0192]S= [ {x+(fl-d).tan θ } / {fl.tan ( ΨΗ/2)} ].WH/2 (26)
[0193]图9中的像素值确定电路902还可以在不计算入射角Φ的情况下基于表达式
(26)直接计算视点图像2401的坐标S，并且选择相应的像素。如果使用了基于表达式(26)的选择逻辑，那么可以省略图9中的光线方向选择电路901和图23中的步骤2302中的处理。
[0194]如果图像显示装置不被用作HMD501，那么可以采用不同的形状作为图5和图6中所示的外壳502的形状。可以使用根据实施方式的图像显示装置来不仅显示运动图像而且显示静止图像。
【权利要求】
1.一种图像显示装置，包括: 显示器，所述显示器显示包括多个要素像素的合成图像，所述多个要素像素中的每个要素像素是通过沿一个方向布置从多个图像分别提取的多个像素来形成的，所述多个图像具有彼此不同的多个视点； 第一光学元件，所述第一光学元件包括沿所述方向排列以对应于所述多个要素像素的多个透镜，针对所述多个图像中的特定图像，所述多个透镜平行发射从分别包括在所述多个要素像素中的多个像素发射的多条光线； 第二光学元件，所述第二光学元件聚集从所述第一光学元件发射的所述多条光线；以及 输出电路，所述输出电路基于选择逻辑来选择所述多个要素像素中的特定要素像素中所包括的所述特定图像的像素，所述选择逻辑随着所述第一光学元件与所述第二光学元件之间的元件至元件的距离变得比所述第二光学元件的焦距更小而选择所述特定图像中这样的像素:在所述方向上，该像素的位置相对与所述第二光学元件的光轴对应的位置的距离更远，并且所述输出电路将所选择的像素的像素值输出至显示器。
2.根据权利要求1所述的图像显示装置，其中，所述输出电路包括像素选择电路，所述像素选择电路基于所述第二光学元件的焦距与所述元件至元件的距离之间的差、沿着所述方向从所述第一光学元件的所述多个透镜中的第一透镜至第二透镜的距离、从所述第一光学元件发射所述多条光线的发射方向、以及所述第二光学元件的焦距，来选择所述特定图像的像素，所述第一透镜与所述第二光学元件的光轴对应，并且所述第二透镜与所述特定要素像素对应。
3.根据权利要求1或2所述的图像显示装置，其中，所述输出电路包括图像选择电路，所述图像选择电路基于所述第二光学元件的焦距和从所述第一光学元件发射所述多条光线的发射方向，从所述多个图像中选择所述特定图像。
4.根据权利要求1或2所述的图像显示装置，其中，所述元件至元件的距离的容差不大于与所述特定要素像素对应的透镜的焦距的两倍。
5.一种利用第一光学元件和第二光学元件的图像显示方法，所述图像显示方法包括: 基于选择逻辑来选择多个图像中的特定图像的像素，所述多个图像具有彼此不同的多个视点，其中，所述像素被包括在多个要素像素的特定要素像素中，所述多个要素像素中的每个要素像素是通过沿一个方向布置从所述多个图像分别提取的多个像素来形成的，所述选择逻辑随着所述第一光学元件与所述第二光学元件之间的元件至元件的距离变得比所述第二光学元件的焦距更小，来选择所述特定图像中这样的像素:在所述方向上，该像素的位置相对与所述第二光学元件的光轴对应的位置距离更远，以便显示包括多个要素像素的合成图像； 将所选择的像素的像素值输出至显示器； 通过使用所述显示器来显示所述合成图像； 通过使用多个透镜，针对所述特定图像，平行发射从分别包括在所述多个要素像素中的多个像素发射的多条光线，所述多个透镜被包括在所述第一光学元件中，并且沿所述方向排列以对应于所述多个要素像素；以及 通过使用所述第二光学元件来聚集从所述第一光学元件发射的所述多条光线。
【文档编号】G02B27/01GK103995359SQ201410046256
【公开日】2014年8月20日 申请日期:2014年2月10日 优先权日:2013年2月20日
【发明者】佐藤辉幸, 觉幸典弘 申请人:富士通株式会社