专利名称：三维图像显示方法、三维图像捕获方法以及三维显示装置的制作方法
技术领域：
本发明涉及一种显示三维图像的方法，一种捕获三维图像的方法以及一种显示三维图像的装置。
背景技术：
许多系统已知为显示三维图像并且可以显示动画，也就是三维显示的装置。近年来，已经存在特别地对于不需要使用特殊观察专用玻璃等的平板型系统的增长需求。一些这种三维动画显示装置利用全息摄影原理，其难以进入实际使用。在一种可以相对容易地显示三维图像的已知系统中，视差栅栏(也称作光线控制元件)安装在紧靠具有固定像素位置的直视或投影式显示装置，例如显示板(显示装置)例如液晶显示装置或等离子显示装置之前；视差栅栏控制来自显示板的光线使得光线指向观察者。
视差栅栏控制光线使得不同图像可以通过改变角度甚至在视差栅栏上的相同位置来观察。特别地，隙缝或棱镜片(柱面透镜阵列)用来提供仅横向视差(水平视差)。针孔阵列或透镜阵列用来提供除横向视差之外的垂直视差。使用视差栅栏的系统进一步分类成双眼系统，多眼系统，超多眼系统(超多眼条件增加到其上的多眼系统)，以及集成成像系统(integral imaging system，下面简称为II系统)。这些系统的基本原理基本上与大约十年前发明的并且用于三维摄影的系统的原理相同。
集成成像系统(II系统)使用三维摄影的术语来描述。因此，一些文献将它称为全影摄影术(integral photography，下面也称作IP)。
II系统其特征在于具有观察点位置的高自由度并且能够容易的三维观察。具有高分辨率的显示装置可以使用仅具有水平视差而不具有垂直视差的II系统(简称为一维II系统或1D-II系统)相对容易地实现。相反地，双眼或多眼系统仅提供观察者可以三维地观察图像的窄范围的观察点位置，也就是窄的可视范围。因此，不利地，该系统不能使得观察者容易地看到图像。但是，双眼或多眼系统是三维图像显示装置的最简配置。该系统也具有使得显示图像容易创建的优点。
通常，II系统和棱镜片(LS)系统之间的差别在于像素存在于其上的平面，也就是图像平面或焦平面。但是，在实际设计中，特别是具有大量像素，图像平面和焦平面之间的差至多为0.1mm甚至没有任何像差。因此，因精确度的限制而难以区分图像平面和焦平面。因精确度的限制同样难以确定光线是否会聚在视距处。术语II系统，如在本说明书中使用的，意思是不涉及基于图像平面上和焦平面上像素位置的差别但是使用标准三维图像在视距处可见的任意(连续)横向(基本上水平)观察点位置的系统。此外，术语多眼系统意思是不等价于LS系统(不需要光线的会聚)并且在视距处标准三维图像使用其在基于眼基距确定的横向观察点位置处可见的系统。
使用II系统或多眼系统，视距通常有限。因此，显示图像被创建使得在该视距处透视投影图像实际可见。使用仅提供水平视差而不提供垂直视差的II系统，如果视差栅栏的水平间距是视差栅栏垂直间距的整数倍，一组平行光线产生(下面称作平行光线II)。此外，平行光线II系统通过将视差合成图像显示在显示表面上来提供正确投影的三维图像，其中视差合成图像通过将视差分量图像分割成与各个像素阵列相对应的片断，视差分量图像在垂直方向上在指定视距处透视投影并在水平方向上正射投影，然后适当地排列这些片断而获得。
难以实现通过改变投影方法以及垂直方向与水平方向之间的投影中心距离来摄影图像的图像捕获装置，因为特别地，正射投影需要具有与主体相同大小的照相机或透镜。因此，为了通过图像捕获来获得正射投影数据，将透视投影图像捕获数据转换成分割并排列的图像数据是可行的。另外例如，使用EPI(极上表面)内插图像数据的方法是已知的。
使用II系统，如J.Opt.Soc.Am.A vol.15，p.2059(1998)中公开的，三维图像显示装置的前侧和后侧可再现范围相对狭窄；典型的值大约为每个方向10cm。但是，为了消除对待显示物体位置的限制，必须增加三维图像显示装置的前侧和后侧可再现范围的自由度。综合透视投影图像以形成三维图像的一些多眼系统显示透视投影三维图像，其中前侧和后侧被强调(在后侧方向上被压缩并且接近照相机具有零位的三维图像)。但是，使用将正射投影图像形成三维图像的平行光线II系统，没有三维图像例如上述那些被创建并且没有创建这种图像的方法被发现。
平行光线II系统有利地提供比双眼系统容易看到的图像。但是，平行光线II系统使用根据投影方法或分割和排列方法的复杂图像格式。双眼和多眼系统执行三维图像的最简单显示因此使用简单的图像格式。对于实际摄影，按照原状将使用在水平方向上排列的两个照相机捕获的视差分量图像相结合是可能的。因为一些内容为双眼系统而设计，平行光线II系统的显示装置可以期望地处理透视投影双像图像格式，也就是期望地具有向上兼容性。为了处理该格式，内插双眼数据以对II系统显示容易看到的图像是可能的。但是，难以基于双眼系统的少量，也就是两个视差分量图像来内插或外插视差分量图像的大量实例。没有已知的方法使得平行光线II系统的显示装置能够基本上按照原状显示双眼数据。
如上所述，平行光线II系统的常规三维图像显示装置不能适当地处理多种图像格式的内容，特别是通过透视投影获得的内容。
发明内容
本发明的目的在于提供一种三维图像显示装置，其可以显示双眼或多眼系统等的透视投影图像，并且可以显示在后侧方向上压缩的三维图像或者在前侧和后侧上在垂直和水平方向上强调的三维图像。
根据本发明，提供一种三维图像显示装置，包括显示模块，包括具有垂直方向和水平方向的显示表面，其中每个具有预先确定宽度的像素以行和列排列；视差栅栏，安装在显示模块的前面并且具有每个基本上线性地延伸且以等于像素预先确定宽度整数倍的水平间距排列的光学孔径，光学孔径如此控制来自像素的光线以便在显示表面上定义每个具有依赖于观察参考视距确定的宽度的单元图像；第一处理部分，配置以将视差分量图像分割成与正常显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直方向上经受基本上由视距确定的透视投影和在水平方向上经受正射投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像；以及第二处理部分，配置以将视差分量图像分割成与压缩和强调显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像，其中主体图像在深度方向上压缩并且在垂直和水平方向上强调。
该三维显示装置还包括第三处理部分，其配置以将视差分量图像分割成与多眼兼容模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，单元图像的每个预先确定范围分配给多个相邻列作为相同视差信息并且显示在显示模块上以产生具有多个观察点的三维图像。
根据本发明，提供一种在三维图像显示装置上显示三维图像的方法，其中三维图像显示装置包括显示模块，包括具有垂直方向和水平方向的显示表面，其中每个具有预先确定宽度的像素以行和列排列；视差栅栏，安装在显示模块的前面并且具有每个基本上线性地延伸且以等于像素预先确定宽度整数倍的水平间距排列的光学孔径，光学孔径控制来自像素的光线，并且在显示表面上定义每个具有依赖于观察参考视距确定的宽度的单元图像；以及第一处理部分，配置以将视差分量图像分割成与正常显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直方向上经受基本上由视距确定的透视投影和在水平方向上经受正射投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像；显示三维图像的所述方法包括将视差分量图像分割成与各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，将每列分配给单元图像的相应预先确定范围，并且在显示模块上显示列以显示具有连续观察点的三维图像，其中主体图像使用压缩和强调显示模式在深度方向上压缩并且在垂直和水平方向上强调，其中基于摄影参考条件，即每个视差分量的透视投影摄影的水平间隔依赖于像素经由视距处视差栅栏投影的位置的水平间隔而确定，广角投影处理通过将摄影位置和投影平面之间的距离设置为基于参考条件的视距的q倍长并且将每个视差分量的透视投影摄影的水平间隔设置为参考条件的至多b/q来执行，以便在深度方向上以因子b压缩主体。
此外，根据本发明，提供一种在三维图像显示装置上显示三维图像的方法，其中三维图像显示装置包括显示模块，包括具有垂直方向和水平方向的显示表面，其中每个具有预先确定宽度的像素以行和列排列；视差栅栏，安装在显示模块的前面并且具有每个基本上线性地延伸且以等于像素预先确定宽度整数倍的水平间距排列的光学孔径，光学孔径控制来自像素的光线，并且在显示表面上定义每个具有依赖于观察参考视距确定的宽度的单元图像；以及第一处理部分，配置以将视差分量图像分割成与正常显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直方向上经受基本上由视距确定的透视投影和在水平方向上经受正射投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像；显示三维图像的所述方法包括将视差分量图像分割成与各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，将每列分配给单元图像的相应预先确定范围，并且在三维图像显示装置的显示模块上显示列以显示具有连续观察点的三维图像，其中主体图像使用压缩和强调显示模式在深度方向上压缩并且在垂直和水平方向上强调，其中基于摄影参考条件，即每个视差分量的透视投影摄影的水平间隔依赖于像素经由视距处视差栅栏投影的位置的水平间隔而确定，广角投影处理通过将摄影位置和主体的注视点之间的距离设置为基于参考条件的视距的q倍长并且将每个视差分量的透视投影摄影的水平间隔设置为参考条件的至多b/q来执行，以便在深度方向上以因子b压缩主体。
此外，根据本发明，提供一种三维图像显示装置，包括显示模块，包括具有垂直方向和水平方向的显示表面，其中每个具有预先确定宽度的像素以行和列排列；视差栅栏，安装在显示模块的前面并且具有每个基本上线性地延伸且以等于像素预先确定宽度整数倍的水平间距排列的光学孔径，光学孔径控制来自像素的光线，并且在显示表面上定义每个具有依赖于观察参考视距确定的宽度的单元图像；第一处理部分，配置以将视差分量图像分割成与正常显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直方向上经受基本上由视距确定的透视投影和在水平方向上经受正射投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像；以及第二处理部分，配置以将视差分量图像分割成与多眼兼容模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，单元图像的每个预先确定范围分配给多个相邻列作为相同视差信息并且显示在显示模块上以产生具有多个观察点的三维图像。
图1是显示根据本发明实施方案的三维图像显示装置中模式转换处理的流程图；图2是显示根据本发明实施方案的三维图像显示装置中模式转换处理的框图；图3是显示图1和2中所示三维图像显示装置的模式比较的图；图4是显示图3中所示三维图像显示装置的视差图像排列表以及根据比较实例的三维图像显示装置的视差图像排列表的表格；图5A和5B是显示使用根据本发明实施方案的三维图像显示装置和方法投影视差分量图像的方法的透视图；图6A，6B和6C是显示在根据本发明实施方案的三维图像显示装置和方法中投影视差分量图像的方法以及与投影方法相关的捕获三维图像的方法的平面图；图7是说明在根据本发明实施方案捕获三维图像的方法中照相机位置之间参考间隔的平面图；图8A和8B是显示在根据本发明实施方案的三维图像显示方法和装置以及图像显示方法中前侧和后侧方向上的压缩比与照相机位置之间的适当间隔之间的关系的图；图9A和9B是示意地显示在根据本发明实施方案的三维图像显示方法和装置以及图像显示方法中在正常模式与压缩和强调模式之间连续转换的方法的图；图10A和10B是显示在根据本发明实施方案的三维图像显示装置以及图像显示方法中双眼和多眼模式中视差图像排列的表格；图11A和11B是示意地显示在根据本发明实施方案的三维图像显示装置中提供的视差栅栏的实例的透视图；图12是示意地显示根据本发明实施方案的三维图像显示装置的透视图；
图13A，13B和13C是显示图12中所示三维图像显示装置中的单元图像间距Pe，视差栅栏间距Ps，视差栅栏间隙d，视距L，以及可视范围宽度W之间关系的示意图；图14A，14B和14C是示意地显示在图12中所示三维图像显示装置的正常显示模式中，投影视差分量图像的方法以及在视差合成图像中分割地排列视差分量图像的方法的示意图；图15是显示在图12中所示三维图像显示装置的正常显示模式中以及压缩和强调显示模式中，视差分量图分割地排列在视差合成图像中的实例的表格；图16是显示在图15中所示三维图像显示装置中，一个视差分量图像所需的数据范围的实例以及视差分量图像分割地排列在视差合成图像中的实例的图；图17是显示在与图12中所示三维图像显示装置具有相同视差实例数的普通多眼三维显示装置中，视差分量图像分割地排列在视差合成图像中的实例的表格；图18是示意地显示在图12中所示三维图像显示装置的部分中，像素和单元图像与根据平行光线一维集成成像系统的视差栅栏之间位置关系的透视图；图19是示意地显示在图18中所示三维图像显示装置的部分中，在正常显示模式中以及在压缩和强调显示模式中，像素阵列和视差图像排列的正视图；图20是示意地显示在与图19中所示部分不同的图18中所示三维图像显示装置的部分中，在正常显示模式中以及在压缩和强调显示模式中，像素阵列和视差图像排列的正视图；图21是示意地显示在与图19中所示部分相同的图18中所示三维图像显示装置的部分中，在双眼和多眼兼容显示模式中像素阵列和视差图像排列的正视图；图22是示意地显示在与图20中所示部分相同的图18中所示三维图像显示装置的部分中，在双眼和多眼兼容显示模式中像素阵列和视差图像排列的正视图；图23是示意地显示在图12中所示三维图像显示装置中，像素和单元图像与根据平行光线一维集成成像系统的视差栅栏之间位置关系的示意图；图24是示意地显示在图12中所示三维图像显示装置中，像素和单元图像与根据平行光线一维集成成像系统的视差栅栏之间位置关系的示意图；图25是示意地显示在图12中所示三维图像显示装置中根据平行光线一维集成成像系统在视差合成图像(显示表面)中重新排列视差分量图像的方法的示意图；图26是示意地显示根据本发明实施方案捕获三维图像的方法以及投影平面与主体之间位置关系的平面图；以及图27A和27B是显示在根据本发明实施方案捕获三维图像的方法中在摄影之前执行的处理的流程图。
具体实施例方式
参考附图，将给出根据本发明实施方案的三维图像显示装置和方法的详细描述。
如在说明书中使用的术语“列”指水平方向上像素的最小单位列。该列指普通液晶显示装置中的子像素行，其中每个像素分割成在水平方向上排列的三种颜色(R，G和B)的子像素。
首先，参考图1和2，将给出在三维图像显示装置中的三种模式中显示三维图像的过程的描述。图1和2显示适用于根据本发明实施方案的三维图像显示装置和方法的流程图和框图。
图1中所示的流程图显示平行光线II系统的显示模块(显示器)可以在(a)正常显示模式，(b)压缩和强调显示模式，以及(c)双眼和多眼兼容显示模式的任意一种中显示三维图像的过程。
图2中所示的框图与图1中所示的流程图相对应。图2显示可以在(a)正常显示模式，(b)压缩和强调显示模式，以及(c)双眼和多眼兼容显示模式的任意一种中显示三维图像的显示装置的构造。
如图3和4中的表格中所示，在正常显示模式中，II系统的图像数据(基于平行光线II系统创建并且指示在水平方向上正射投影和在垂直方向上透视投影的视差分量图像的视差分量图像数据)根据II系统的视差图像排列表分布在II系统的显示模块中以显示三维图像。在压缩和强调显示模式中，下面的数据根据II系统的视差图像排列表分布在II系统的显示模块中以显示前侧和后侧被压缩且垂直和水平方向被强调(零位接近照相机)的三维图像具有大量视差实例的多眼数据和指示在水平和垂直方向上透视投影的视差分量图像的视差分量图像数据。在双眼和多眼兼容显示模式中，具有少量视差实例的多眼数据根据多眼兼容视差图像排列表分布在II系统的显示模块中以显示三维图像。如已经描述的，术语II系统，如在说明书中使用的，意思是在视距处，标准三维图像在任意(连续)横向(基本上水平)观察点位置处可见。术语双眼和多眼系统意思是在视距处，标准三维图像在基于眼基距确定的横向观察点位置处可见(该观察点位置包括多个观察点并且是离散的)。
视差排列表显示视差分量图像如何排列于在显示表面上显示的视差合成图像(由大量单元图像组成)的单元图像中。II系统视差图像排列表在显示表面上的相同视差数据(视差分量图像，也就是在单个照相机位置投影的图像)的排列范围或间隔以及占据每个单元图像的列数方面不同于多眼兼容视差图像排列表，如图4中所示。但是，使用II系统视差图像排列和多眼兼容视差图像排列，单元图像具有共同的位置和宽度(只要观察参考视距固定)；唯一的差别是在单元图像中重新排列视差分量图像的方法。如果隙缝或棱镜中的光学孔径形状类似纵条纹，行具有相同的视差排列(但是，如果滤色镜阵列依赖于行而变化，仅颜色分量变化)。因此，将视差分量图像分割成与各个列相对应的片断并且在视差合成图像中排列片断的过程可以在一列上(在所有行上)集体执行。如果光学孔径具有倾斜或其它复杂形状或者像素以三角阵列排列在显示表面上，视差排列依赖于行而变化。但是，相同的视差排列用于光学孔径的水平位置以及像素位置具有相同垂直位置关系的行。因此，将视差分量图像分割成与各个列相对应的片断并且在视差合成图像中排列片断的过程可以在具有相同垂直位置关系的行上集体执行。这样，视差排列表确定将在显示模块331的垂直方向上排列的像素行以及将在显示模块331的水平方向上排列的列。视差分量图像数据分布地排列在确定的像素行和列中。
图4显示作为比较实例的普通多眼系统三维显示装置的视差排列表。根据比较实例的硬件构造(视差栅栏间距和像素宽度之间的关系)以及单元图像的位置和宽度与根据本发明的不同。
如图1中的流程图和图2中的框图中所示，三维图像的图像信号(3D图像信号)由信号源101开始输入，如步骤S11中所示。然后，装置首先确定包含在该图像信号中的图像数据是否是具有少量视差实例的双眼或多眼图像数据(确定部分102和步骤S12)。3D图像信号通过以一定格式综合构成一帧显示图像的视差分量图像而获得。该格式可以用于确定。如果包含在图像信号中的图像数据是具有少量视差实例的双眼或多眼图像数据，多眼图像处理部分105处理图像数据(步骤S13)并且根据多眼兼容排列表分布视差分量图像(步骤S13c)。显示模块331然后显示图像(步骤S21)。特别地，如随后详细描述的，相同的视差分量图像为多个图像列组而提供。黑色或预先确定颜色的显示在提供有相同视差分量图像的列组中的列中提供。对于由隙缝或棱镜的水平间距确定的水平分辨率不同于由显示模块的垂直像素间距确定的最大垂直分辨率的II显示装置，如果输入的双眼或多眼数据的水平和垂直分辨率不同于II显示装置，分辨率根据需要转换(步骤S13a和S13b)。基于视差分量图像数据的排列，视差合成图像二维地显示在显示模块331中。视差合成图像然后经过视差栅栏以使得观察者能够根据装置前面的多眼系统观察三维图像。多眼数据中视差实例数大还是小意味着它是否是由为II显示固有设计的三维显示装置提供的II显示中视差实例数(视差栅栏水平间距/(子)像素水平间距)的至少大约一半。如果多眼数据中视差实例数为II显示中的至少大约一半，允许基于视差内插的多个观察点的使用相对容易。因此，内插的II视差排列表适合用于压缩和强调显示模式中。相反地，双眼和多眼兼容显示模式的使用不适当，因为这可能引起明显的垂直带状的区域分离。如果多眼数据中视差实例数不为II显示中的至少大约一半，双眼和多眼兼容显示模式适当，因为允许基于视差内插的多个观察点的使用是困难的。
在步骤S12中，如果图像数据是具有大量视差实例的多眼图像数据或者为II系统而设计，确定部分102在步骤S16中确定图像数据是将以压缩和强调显示模式显示还是透视投影多眼数据。如果两种情况都不成立，例如，如果图像数据为II系统而设计并且使用II系统正常显示，那么正常处理部分103在步骤S17中执行正常处理。确定部分在步骤S17a中确定II系统图像数据是否需要内插。所需视差实例数基于平行光束II系统显示装置的构造(视差栅栏水平间距为列间距的多少倍大)和估计视距来确定。如果需要内插或重新确定大小，例如，如果输入数据中的视差实例数小于固有所需值，内插或外插的视差分量图像信息基于相邻视差而获得以创建具有内插或外插视差分量的图像数据(步骤S17b)。作为选择，对于由隙缝或棱镜的水平间距确定的水平分辨率不同于由显示模块的垂直像素间距确定的最大垂直分辨率的II显示装置，如果输入的II数据的水平和垂直分辨率不同于II显示装置，分辨率根据需要转换(步骤S17c和S17d)。随后，视差分量图像根据1D-II排列表分布(步骤S17e)。视差合成图像然后显示在显示模块331中(步骤S21)。结果，三维图像经由视差栅栏形成以便具有从装置的前侧方向(相对于装置较接近观察者的区域)到后侧方向(位于装置后面并且与观察者相对的区域)的连续视差。三维图像由观察者观察。
在步骤S16中，如果图像数据必须以压缩和强调模式显示或者是透视投影多眼数据，强调处理部分104如步骤S18中所示执行压缩和强调显示处理。这里，当主体具有防止在摄影期间实际获得的主体图像清晰地显示在位于装置前面且在视距上延伸的空间中或者位于装置后面的空间中的这种前侧和后侧时，如随后描述的，压缩和强调显示是必需的。在这种情况下，与主体图像相对应的透视投影视差分量图像数据被内插并且具有根据需要转换的分辨率，使得照相机间隔(摄影间隔)小于相应的参考条件并且使得主体像在使用广角透镜的情况下一样被摄影。数据从而转换成适合于压缩和强调显示的图像数据(步骤S18a～S18e)。转换的视差分量图像根据1D-II排列表分布(步骤S18f)。视差合成图像显示在显示模块331中(步骤S21)。结果，三维图像清晰地观察，其已经在到装置的前侧和后侧限制距离内的区域内压缩并且其已经在垂直和水平方向上强调。当压缩比在压缩和强调处理中最大化时，图像数据转换成不显示主体后侧方向的平面数据(二维数据)。如果这种转换后的图像数据提供给显示模块331，三维图像不显示而仅简单的二维图像(二维投影的图像)被显示。在这种情况下，压缩和强调处理不仅包括纵向上主体图像的压缩而且包括到二维图像的转换。该转换使用基本上一个视差分量图像作为全部视差分量图像。
在输入到装置的图像数据中，步骤S11中所示的三维图像信号可能伴随有可以被参考的主体上的对象数据或位置数据(步骤S19)。在这种情况下，对象的范围根据对象将显示的方向来检测。关于范围的数据被提取。存在范围信息传输到步骤S16和S18中的处理(步骤S20)。
在上面的处理中，步骤S12中双眼和多眼数据的确定基于数据的属性或格式。但是，确定可能使用模式开关111由模式选择指令预先指定(步骤S22)。例如，如果图像在实际摄影期间显示，摄影者可以指定双眼和多眼数据的使用。作为选择，如果三维图像数据存储在介质中，当介质安装在驱动设备中时，模式转换信号可以产生。这消除对步骤S12中确定的需要。
作为选择，步骤S16中的确定可以类似地使用模式开关111由模式选择指令预先指定(步骤S22)。此外，可以由观察者操作的开关可能安装在装置上以便手工地操作。
作为选择，可能使用与显示装置独立提供的图像产生装置，以执行上面的处理而不需要安装模式转换装置例如上述的那个作为显示装置的一部分。
图5A和5B是示意地说明适用于根据本发明实施方案显示图像的方法的投影方法的透视图。图6A，6B和6C是示意地说明捕获和投影三维图像的方法的平面图，该方法适用于如图5A和5B中所示显示图像的方法中。图5A显示在正常显示模式(固有地用于平行光线1D-II系统的显示模式)中投影在垂直方向上透视投影而在水平方向上正射投影的每个视差分量图像以便形成三维图像的方法。图5B显示在压缩和强调显示模式(对于II或多眼图像数据)中或在双眼和多眼兼容模式中投影在垂直和水平方向上都透视投影的每个视差分量图像以便形成三维图像的方法。图6A显示图像捕获和投影的方法，使用该方法，每个视差分量图像在正常显示模式中由水平方向上的正射投影(垂直方向上透视投影)摄影和投影。图6B显示图像捕获和投影的方法，使用该方法，每个视差分量图像由广角透视投影摄影和投影，其中压缩和强调显示模式中照相机429的运动间隔设置为小于从装置构造中固有确定的间隔P(下面也称作基于标准或参考条件的照相机429的位置和间隔)的值P’。图6C显示图像捕获和投影的方法，使用该方法，每个视差分量图像由广角透视投影摄影和投影，其中双眼和多眼兼容模式中照相机429的运动间隔设置为大于标准照相机间隔P的眼基距间隔Pm。
在图5A和5B中，参考数字421表示待摄影的主体(也为待显示的物体图像)。
在正常显示模式中，投影在投影平面422(对应于视差栅栏表面)上的主体421的投影图像424构成一个视差分量图像，如图5A中所示。这样获得的视差分量图像排列在视差合成图像中。视差合成图像显示在显示表面上。当主体421的图像从设置在视距处的投影中心线423(参考线)观察时，主体421的三维图像被看到在装置后面。在正常显示模式中，投影图像424对应于主体421在垂直方向上经受透视投影和在水平方向上经受正射投影的二维图像。因此，投影图像424的投影线425都会聚在投影中心线423。
在双眼和多眼兼容模式中，投影在投影平面422(对应于视差栅栏表面)上的主体421的投影图像424类似地构成一个视差分量图像，如图5B中所示。这样获得的视差分量图像排列在视差合成图像中。视差合成图像显示在显示表面上。当主体421的图像从设置在视距处的投影中心线423(参考线；由平行排列的视差分量的投影中心点形成的线)观察时，主体421的三维图像被看到在装置后面。在双眼和多眼兼容模式中，图像在垂直和水平方向上经受透视投影。因此。投影线425都会聚在投影中心线423(参考线)上的投影中心点。在双眼和多眼兼容模式中，观察者瞳孔的一个位于投影中心线423上的投影中心点处。当观察者的另一个瞳孔位于投影中心线423上的另一个投影中心点时，观察者使用双眼观察投影图像对424。结果，主体421的三维图像被看到在装置后面。但是，因为II显示的三维显示装置错误地执行多眼显示，显示期间发射的光线会聚在投影中心点之前而不精确地会聚在一点。
在压缩和强调显示模式中，投影在投影平面422(对应于视差栅栏平面)的主体421的投影图像构成一个视差分量图像，也如图5B中所示。显示期间视差分量图像的排列与例如图5A中所示投影方法的情况中相同。当主体421的图像从设置在视距处的投影中心线423(参考线)观察时，三维图像被看到在装置后面，图像已经通过在主体421的后侧方向上压缩它并且在垂直和水平方向上强调它而略微地变形。在压缩和强调显示模式中，图像在投影期间在垂直和水平方向上经受透视投影。因此，投影线425都会聚在投影中心线423(参考线)上的投影中心点。但是，在显示期间，投影图像424的投影线425都会聚在如图5A中所示投影中心线423上而不是如图5B中所示任意投影中心点。
图5A中所示的投影图像使用图6A中所示的摄影方法获取。图5B中所示的投影图像使用图6B或6C中所示的摄影方法获取。特别地，使用图6A中所示并且对应于平行光线1D-II系统的正常显示模式的摄影方法，主体在垂直方向上使用透视投影而在水平方向上使用正射投影来摄影。使用图6B中所示并且对应于压缩和强调显示模式的摄影方法以及图6C中所示并且对应于双眼和多眼兼容模式的摄影方法，主体在垂直和水平方向上都使用透视投影来摄影。
图7说明从装置构造中固有确定的标准(参考条件)照相机间隔P。标准(参考条件)照相机距离(投影平面与位于投影平面前面的照相机之间的距离)与观察参考视距L相同。标准(参考条件)照相机间隔P由图像间距Pp和相对于投影平面422的显示屏上的观察参考视距L，以及显示表面与视差栅栏中每个光学孔径之间的间隙d来确定。在这种情况下，图7中的d假设介质完全由空气组成并且主光线不折射而绘制。但是，如果使用玻璃衬底或透镜，它的折射率使得主光线折射。因此，在实际尺寸中，d具有转换值。观察参考视距L确定单元图像的宽度(视差分量图像的分割和排列表)。如果显示模块的屏幕大小不同于实际摄影平面(投影平面)范围的大小，L和P与该比值成比例地增大或减小。结果是用于实际摄影的参考照相机距离和参考照相机间隔。这也适用于随后描述的前侧和后侧限制距离zn和zf。如果显示模块的屏幕大小不同于实际摄影平面(投影平面)范围的大小，zn和zf与该比值成比例地增大或减小。结果是用于实际摄影的限制距离。每个视差的投影和摄影的水平间隔基于像素经由观察参考视距处的视差栅栏投影的位置的水平间隔确定为摄影参考条件。
如果在压缩和强调显示模式中进行设置使得图像使用广角透视投影在后侧方向上以因子b压缩，下面的条件是必需的。(1)主体在垂直和水平方向上使用透视投影摄影。也就是，主体使用标准透视投影照相机429以及如图6B中所示的透视投影来摄影。(2)照相机距离L’设置为观察参考视距(参考照相机距离)L的q(在大多数情况下，q＜1但q＞＝1是允许的)倍长。换句话说，主体421像如图6B中所示使用广角透镜的情况下一样被摄影。(3)每个视差分量的照相机间隔P’设置为小于参考照相机间隔P的q/b(P’＜＝P·q/b)。该处理抑制所显示三维图像的模糊和变形。(4)用来在显示表面上排列视差分量图像的表格基于使用观察参考视距L计算的单元图像的宽度来创建。
将给出基于这些条件的条件表达式推导的简单描述。为了简化条件表达式的形式，观察参考视距(参考照相机距离)和主体前照相机的位置分别设置为1和(0，0，1)，投影平面定义为xy平面。即使在这些假设下条件表达式的一般性不会丢失。两个透视投影照相机429将主体的坐标(x1，y1，z1)固有地投影在投影平面上的(xr1，yr1，0)和(x11，y11，0)。但是，为了强调，照相机间隔和距离分别乘以a和q，(a＜q＜＝1)以将坐标投影在(xr2，yr2，0)和(x12，y12，0)。然后，图像被再现，好像它用照相机间隔P和照相机距离1投影一样。因此，三维图像好像在(x2，y2，z2)处。在使用透视投影照相机429(多眼)的光线再现的情况下，变换如下。
z2＝az1/(q-z1+az1)x2＝qx1/(q-z1+az1)y2＝qy1/(q-z1+az1)在使用正射投影照相机429(具有仅水平视差的平行光线II系统1D-II)的光线再现的情况下，变换如下。
z2＝az1/(q-z1)x2＝qx1/(q-z1)y2＝qy1(q-z1-az1)/(q-z1)II系统的固有前侧和后侧再现范围由像素间距、棱镜间距、以及光学孔径与像素之间的有效间隙来确定(J.Opt.Soc.Am.A vol.15，p.2059(1998))。如果前侧限制的z坐标为Zn，后侧限制的坐标为zf，并且位于固有前侧和后侧再现范围b倍大的范围内的物体在z方向上压缩，那么照相机间隔可能乘以a(＜1)以便在相对于视距l的照相机距离q(＜＝1)处以因子b(＞1)增大前侧再现范围Zn0(＝Zn/L)。对于z1＝bzn0和z2＜＝zn0，在使用透视投影照相机429的光线再现的情况下，下面的表达式被给出。
a＜＝(q-bzn0)/(b-bzn0)在使用正射投影照相机429(平行光线1D-II)的光线再现的情况下，下面的表达式被给出。
a＜＝(q-bzn0)/b近似使得能够将表达式看作a＜＝q/b。也就是，没有变形或模糊的三维图像可以通过将照相机间隔P’比P的比值a设置为至多q/b来显示。将照相机间隔P’减小到固有值P之下并且将P’比P的比值a从q/b朝向零而减小意味着图像变得接近于二维图像。将a设置为接近q/b的值意味着三维图像可以显示。
图8A和8B是显示基于上面计算的a，b，q，zn和zf(后侧再现范围)之间关系的图表。在图8A和8B中，横坐标轴指示后侧方向压缩比b。纵坐标轴指示照相机间隔的系数a。粗实线指示a＝q/b。实线(1D-IP(前))显示前侧范围的曲线。虚线(1D-IP(后))显示后侧范围的曲线。图8A显示zn/L＝0.05且q＝0.3的情况。图8B显示zn/L＝0.05且q＝1.0的情况。如从图8A和8B中显然，照相机间隔(系数a)的减小增加后侧限制的z坐标zf，与前侧限制的z坐标zn相比较。例如，对于0.7m(＝L)的观察参考视距，0.21m(＝Lq)的照相机距离，以及0.035m(＝zn＝Lzn0)的前侧再现范围，q＝0.3，zn0＝+0.05，和b＝2被设置(具有+0.07的前侧量的图像将被压缩地显示)。然后，如图8A中虚线箭头所示，照相机间隔可以设置在范围a＜＝q/b＝0.15内。如由实线箭头所示设置a＝0.1保证模糊和变形可以在前侧范围内抑制并且防止三维性的损失。在这种情况下，在后侧方向上，后侧范围可以没有模糊地显示高达b＝3，也就是高达0.105m。在另一个实例中，对于0.7m(＝L)的观察参考视距，0.7m(＝Lq)的照相机距离，以及0.035m(＝zn＝Lzn0)的前侧再现范围，q＝1，zn0＝+0.05，和b＝3被设置(具有+0.105m的前侧量的图像将被压缩地显示)。然后，如图8B中实线箭头所示，照相机间隔可以设置在范围a＜＝q/b＝0.33内。如实线箭头所示设置a＝0.29保证模糊和变形可以在前侧范围内抑制并且防止三维性的损失。在这种情况下，在后侧方向上，后侧范围可以没有模糊地显示高达b＝4，也就是高达0.14m。
相对于观察参考视距L的实际照相机距离是任意的。照相机距离与L的比率q可以等于或大于1。该条件包括零的照相机间隔P’，其对应于具有透视投影图像而没有任何视差的2D显示模式(q任意，b无限)。
上面的方法使得能够通过直接显示透视投影数据而不将图像数据转换成水平方向上的正射投影数据来在II系统显示上显示三维图像，且几乎没有变形或模糊被观察到或者其三维性被强调。因为透视投影数据可以按照原状被利用从而可以高速处理，上面的方法适合于显示实际摄影的图像，特别是实时地。因此，压缩和强调显示模式总是可以被利用以显示实际摄影的数据。
在压缩和强调显示模式中，三维性被强调使得前侧的大小在垂直和水平方向上增大而后侧的大小在垂直和水平方向上减小。放大和减小比率在垂直方向和水平方向上几乎相等。但是，严格地讲，在前侧上，比率在水平方向上稍微大。在后侧上，比率在垂直方向上稍微大。因此，变形可以通过显示在垂直方向上以大约百分之几到几十放大的视差合成图像，如果图像包含大量前侧物体，或者显示在垂直方向上以大约百分之几缩小的视差合成图像，如果图像包含仅后侧物体来校正。视差合成图像可以通过例如当视差分量图像创建时调节投影平面的大小来在垂直方向上放大或缩小，或者放大或缩小可以在图1中S18(压缩和强调显示处理)中的分辨率转换期间执行。参考照相机间隔也等于II三维系统显示装置的光线间隔(来自水平相邻像素的两个光线之间的间隔，如果光学孔径形状类似纵条纹)。但是，较小的光线间隔使得变形更容易防止。观察参考视距的减小也使得变形更容易防止，因为它减小光线间隔。但是，光线间隔的减小缩小观察者可以观察标准三维图像的可视范围宽度(光线间隔和视差实例数的乘积)。因此，必须保证大约100～200mm的最小可视范围宽度(宽度增加，如果大量串音发生)，其比眼基距稍微大；光线间隔不能设置得小于最小可视范围宽度。对于一些应用，投影平面的大小可能改变，使得前侧限制位置处的投影平面(前投影平面)总是具有相同的大小或宽度。这防止前侧主体从屏幕中突出。但是，突出主体的大小保持不变。
图9A和9B显示，作为实例，如何改变照相机间隔P，照相机距离L(Lx表示水平方向且Ly表示垂直方向)，以及景深Df以便从压缩和强调显示模式连续地转换成正常显示模式。虚线的左侧对应于压缩和强调显示模式。虚线的右侧对应于正常显示模式。箭头代表连续转换的临时步骤(相反的临时步骤也是可能的)。如果照相机间隔P在转换模式之前不改变，图像的变化(坐标的明显运动)稍微明显。当具有减小的照相机间隔P(对应于位于图9A中虚线前面和左侧的区域)的压缩和强调显示模式被内插以便抑制图像的变化时，分辨率仅在该点增加。这看起来稍微不自然。因此，通过减小仅该点处照相机429的景深Df以模糊图像，能够实现连续、自然的转换。该方法的实例在图9A中显示并且适用于实际的摄影。另一种方法是使用从正射投影(无限视距处的透视投影)连续变化成透视投影(有限视距处的透视投影)的照相机429投影图像。该方法在图9(B)中显示并且适用于计算机图形学。
图10(a)是显示双眼数据排列宽度和间隔分布在具有II系统显示的双眼和多眼兼容显示模式中的单元图像中的实例的表格。该分布考虑到相邻像素之间的光线间隔(形状类似纵条纹的光学孔径的水平相邻像素或者与倾斜光学孔径的相邻视差相对应的像素)以及眼基距而确定。但是，关于II系统，串音(在一个柱面透镜中，来自相邻像素的光线的混合)可能在相邻像素之间发生。因此，对于双眼和多眼兼容显示，相同的视差分量数据必须提供给至少三列。在图10(a)中所示表格中的实例2-1～2-13中，视差实例数、观察参考视距，以及观察参考视距处的相邻视差光线间隔假设分别为18，700和17mm。相同的视差分量数据提供给三到九列。此外，为了防止与右和左侧视差分量图像的串音，可能期望在中心放置黑色(或单色)列。特别地，关于双眼系统，当位于相对端并且对应于单元图像边界的多余列以黑色显示时，相反的三维观察有利地被防止。此外，有利地容易确定与可视范围的偏离。黑色列具有两种类型的宽度，因为II系统的单元图像固有地具有两种类型的宽度。与II系统三维显示装置的设计相结合，较小的光线间隔使得横向视差间串音更容易对双眼显示而防止。观察参考视距的减小也使得串音能够更容易地防止，因为它减小光线间隔。图10A中的黑色显示部分不需要是黑色，而优选地白色，假如原始图像基于黑色。这些部分可能具有与整个图像基于的颜色(平均色)互补的颜色。图10B显示作为多眼兼容系统实例的四眼系统的单元图像中列数分布的实例。
图10A和10B是视差排列表的种类。向这些表格提供关于单元图像宽度的数据导致多眼兼容排列表的足够信息量。也就是，所有视差分量可以基于表格在整个显示表面上排列。如随后描述的，II视差排列表具有如图15中所示的不同形式，因为它的不同排列规则性。
即使棱镜片中的柱面透镜倾斜地延伸，双眼和多眼兼容显示模式可以通过对每一行使用类似于图10A和10B中所示的方法来实现。倾斜的棱镜片需要更复杂的处理。但是，垂直分辨率的降低使得水平分辨率指定给垂直方向。即使棱镜片中的柱面透镜在垂直方向上延伸并且像素以三角阵列排列，双眼和多眼兼容显示模式可以通过使用每行的类似方法来实现。对于三角阵列，黑色(或单色)列特别期望地放置在右和左侧视差实例之间。
上面的方法使得双眼和多眼数据能够使用II系统显示在兼容模式中显示。水平分辨率与II系统的正常模式中相同。但是，II系统显示可以用作双眼和多眼系统的向上兼容显示。
现在，参考图11A～图25，将给出使用II系统视差图像排列的三维图像显示的描述。图11～25中所示的三维图像的显示结合参考图1～10B描述的显示装置和方法来实现。
关于II系统或者关于多眼系统，视距通常是有限的。因此，显示图像，也就是视差合成图像被创建，使得观察参考视距处的透视投影图像实际可见。通常，透视投影图像通过对连接像素和隙缝的直线经过观察参考视距平面上的水平线(观察点高度位置)的每个交叉点执行图像处理(给予计算机图形学)来创建。在这种情况下，透视投影图像可以对每个像素以及对连接列而不是像素与隙缝的平面经过观察参考视距平面上的水平线的每个交叉点(观察点)而创建。
图11A显示作为具有光学孔径的视差栅栏(光线控制元件)实例的棱镜片334的透视图。图11B显示作为具有光学孔径的视差栅栏(光线控制元件)实例的隙缝333的透视图。
图12是示意地显示整个三维图像显示装置的透视图。在图12中所示的三维图像显示装置中，独立的扩散片301提供在视差栅栏332和显示二维图像的显示模块331之间。扩散片301对于三维图像显示装置不一定是必需的因此可能省略。此外，如果二维图像显示模块331是液晶显示单元，扩散片301可能由提供在单元中起偏振片表面中的扩散层组成。而且，如果视差栅栏332由棱镜片组成，它的黑色表面可能具有扩散特性并且扩散光线。
图13A，13B和13C是使用图12中所示三维图像显示装置的显示模块作为参考，示意地显示垂直和水平平面中位置关系的展开。图13A显示二维图像显示模块331和视差栅栏332的正视图。图13B是显示单元图像如何在三维图像显示装置中排列的平面图。图13C显示三维图像显示装置的侧视图。如图12和13A～13C中所示，三维图像显示装置包括由液晶显示元件组成的二维图像显示模块331，和具有光学孔径的视差栅栏332。视差栅栏332由棱镜片334或隙缝333组成，其被成形使得例如光学孔径在垂直方向上线性延伸并且在水平方向上周期性地排列，如图13A和13B中所示。使用三维图像显示装置，在如图12中所示的水平视角341和垂直视角342的范围内，观察者可以从他或她眼睛的位置经由视差栅栏332观察二维图像显示模块331前面(更接近观察者)和后面空间中的三维图像。
在这种情况下，假设如果每个形成正方形的最小单位像素组被计数，二维图像显示模块331在水平方向上具有例如1,920个像素且在垂直方向上具有1,200个像素。此外，每个最小单位像素组假设包含红(R)，绿(G)和蓝(B)像素(子像素)。
在图13B中，一旦视差栅栏332与观察参考视距平面343之间的视距L，视差栅栏间距Ps，以及视差栅栏间隙d被确定，单元图像的间距Pe由视距平面343上的观察点与投影在显示表面上的每个光学孔径(出射光瞳、隙缝或棱镜)的中心之间的间隔确定。参考数字346表示连接观察参考视距L上的观察点位置与每个孔径的中心的直线。可视范围宽度W基于单元图像在显示装置中的显示表面上彼此不重叠的条件来确定。即使视差栅栏或显示装置中介质的折射率使得光线被折射，直线346被看作光线，并且P，e和W类似地考虑到折射而确定。当然，W可能在d之前确定。
应当注意，关于一维II系统，直线346不总是经过显示装置的显示表面上每个像素的中心。相反地，关于多眼系统，连接观察点位置和每个孔径中心的线经过相应像素的中心。该线与光线的轨迹一致。如果孔径的水平间距Ps是像素的水平间距的整数倍，单元图像的间距Pe具有分数，其使得间距Pe显著偏离像素间距Pp的整数倍。即使孔径的水平间距不是像素间距Pp的整数倍，关于一维II系统，单元图像的间距Pe具有分数，其使得间距Pp偏离像素间距Pp的整数倍。相反地，关于多眼系统，单元图像的间距Pe是像素间距Pp的整数倍。
图14A～14C显示给定由图12中所示的显示装置提供的一组平行光线，形成一维II系统的视差分量图像和视差合成图像的方法。如图14A中所示待显示的物体(主体)421投影在投影平面422上与三维显示装置的视差栅栏332位于的平面相同的位置。在这种情况下，在正常模式中，物体421在垂直方向上经受透视投影(在附图中简称为pers)而在水平方向上经受正射投影(在附图中简称为ortho)。因此，主体421的图像424在投影平面424上创建；图像424已经在垂直方向上经受透视投影和在水平方向上经受正射投影。在这种情况下，投影线425在水平方向上不穿过而在垂直方向上穿过投影中心线423；投影中心线423存在于观察参考视距平面中。此外，如从其投影方法中显然，投影中心线423沿着且平行于投影平面422而延伸。原则上，投影中心线423在垂直方向上与投影平面422的中心相对。该投影方法类似于市场上可买到的三维计算机图形学产生软件中的光栅化和彩现处理，除了投影方法在垂直方向和水平方向上变化之外。位于投影平面422中心的垂线垂直地穿过投影中心线423。但是，垂线不需要穿过投影中心线423，如果例如作为结果的三维图像的投影平面422将被定位使得观察者可以在作为主体421的地面表面处垂直向下观看。
一个方向的图像(视差分量图像)426如图14B中所示分割成与在垂直方向上延伸的各个列相对应的片断；图像426已经在垂直方向上透视地且在水平方向上正射地投影在投影平面422上。然后，如图14C中所示，列以等于光学孔径间距(孔径间距)的间隔(每个对应于指定列数)独立地排列在显示装置的显示表面427(视差合成图像)上。
上面的投影和图像分布处理对于图14A中所示的其它投影方向428重复。这完成将在显示表面427上显示的整个图像(视差合成图像)。图14A显示仅八个投影方向428，-4，-3，-2，-1，1，2，3，和4。但是，几十个方向基于视距而需要。图15显示34个方向的实例。投影图像426可能使用仅所需范围的列来创建。图15中的表格显示所需的范围。图15中的表格显示对应于34个投影方向的从-17～1和+1～+17的视差编号。在图16A和16B中，阴影部分指示视差分量图像-17号的最小所需投影范围(隙缝或棱镜编号和3D图像编号)以及视差合成图像中视差分量图像的排列范围(LCD图像编号和LCD子像素编号)。方向248不由等角分隔但是被设置以便在视距平面(投影中心线423)上以相等的间隔定位。也就是，每个视差分量图像通过以相等的间距(方向固定)在投影中心线上平行地移动照相机429来摄影。此外，投影平面422的方向和位置固定而不管投影方向。
图17显示不是本发明而是比较实例的典型多眼显示装置的视差排列表的实例；该多眼显示装置与根据本发明的装置具有相同的视差实例数并且具有单元图像间距是像素间距整数倍的普通配置。如表中所示，视差分量图像均匀地排列在显示表面上(整个视差合成图像)。这不适用于也如图4中所示的双眼和多眼兼容显示模式的视差图像排列表。
图18是示意地显示图12～16中所示三维图像显示装置的视差栅栏(在这种情况下，棱镜片334)的排列的局部放大视图。如图18中所示，棱镜片334位于二维地显示视差图像的显示表面例如液晶板前面；棱镜片334由每个具有在垂直方向上延伸的主轴的大量柱面透镜构成并且用作具有光学孔径的视差栅栏。光学孔径可能倾斜地延伸或者形成类似台阶。每个具有3∶1纵横比的像素32沿着水平和垂直方向以矩阵排列。在相同的像素行和相同的列中，红、绿和蓝像素交替地排列。像素(典型的液晶显示装置中的子像素)的排列通常称作镶嵌幕序列。参考数字43表示作为当三维图像显示时用来分布18个视差分量图像的单元的有效像素(一个有效像素43由图18中的黑色框显示)。有效像素可能如该实例中所示为正方形或者具有正方形43两倍垂直分辨率的矩形(通过将正方形43在垂直方向上分割成两个而获得)以便遵循最小垂直周期(R，G和B的周期)。
图19显示包含在图18中所示有效像素43中的像素排列的实例。在图15中，视差编号-10出现在棱镜编号-10之前而视差编号10出现在棱镜编号10之后。因此，图19，显示视差编号-9～9，对应于棱镜编号-9～1和1～9。相邻的视差编号指定给相邻的列。像素行的垂直周期设置为列的水平周期Pp的三倍。每个像素34具有像素开口或发光像素部分，其具有指定面积比。像素开口由黑色矩阵35包围。以这种方法，像素开口和黑色矩阵35构成水平方向上的像素周期。因此，放置在显示表面前面的棱镜片334具有以像素周期Pp整数倍的水平周期排列的光学孔径。也就是，棱镜片中的柱面透镜被排列使得棱镜的光轴位于与像素周期Pp的整数倍相对应的位置。如果具有光学孔径的视差栅栏332是隙缝而不是棱镜片，光学孔径的中轴位于与像素周期Pp的整数倍相对应的位置。
关于整个显示屏幕，该整数倍排列可能导致莫尔条纹或彩色莫尔条纹。为了抑制莫尔条纹，在起偏振片的表面中提供的扩散层可能执行比由在典型液晶显示装置中的起偏振片的表面中提供的扩散层执行的更有效的扩散处理(模糊)以便防止镜面反射。扩散层可能与液晶显示装置的起偏振片的表面或与棱镜片的背面集成或者可能照射独立的扩散片。
关于显示模块的排列，其中18列6行的像素34如图18中所示构成一个有效像素43，显示三维图像同时在水平方向上提供18个视差是可能的。该显示排列为多眼系统提供18只眼睛。在有效像素43中显示的单元图像具有18像素的间距。视差栅栏的水平间距小于18像素。
对于Ⅱ系统，单元图像类似地显示在有效图像43中。此外，例如，视差栅栏间距Ps等于18像素以便提供一组平行光线。关于该II系统设计，单元图像边界以稍微大于18像素(例如18.02)的间隔出现。因此，有效像素的宽度依赖于显示表面中的位置等于18或19列。也就是，单元图像间距的平均值大于18像素的宽度Pp。此外，视差栅栏332的水平间距等于18像素。有效像素43具有1∶1的纵横比并且具有正方形排列。因此，垂直方向可以使用与水平方向上基本上相同的有效分辨率来显示。
图20显示图18中所示有效像素43中像素排列的一部分的实例，该部分与图19中所示的部分不同。在图15中，视差编号-10和9仅在棱镜编号-10处出现。因此，图20对应于棱镜编号-10。编号-10～0表示视差，并且相邻的视差编号指定给相邻的列。也就是，图20显示有效像素的宽度等于19列的实例。因此，关于II系统，一些有效像素(单元图像)具有等于19列的宽度。因此，单元图像中视差编号的范围从中心朝向屏幕的右或左端而变化。相反地，关于典型多眼系统显示，图19中所示视差编号的范围在整个屏幕上保持。
图21显示图18中所示有效单元43中像素排列的双眼兼容模式的实例。这对应于图10A中的实例2-10。视差编号-1和1分别表示右和左眼视差分量。参考字符K表示用于视差分离的黑色图像。
图22，像图21一样，显示图19中所示有效单元43中像素排列的双眼兼容模式的实例(对应于图10A中的实例2-10)。因此，即使在双眼兼容模式中，有效像素在相同棱镜编号(3D像素编号)处具有等于19列的宽度。
在下面的描述中，假设如果每个形成正方形的最小单位像素组被计数，二维图像显示装置在水平方向上具有例如1,920个像素(对应于LCD像素编号1～1920)而在垂直方向上具有1,200个像素，如图15中所示。此外，每个最小单位像素组假设包含红、绿和蓝子像素(RGB)。这些子像素对应于LCD子像素编号1～5,760，如图15中所示。
图23或24示意地显示三维图像显示装置的显示模块的水平横截面。如图23或24中所示，隙缝333或棱镜片334中的柱面透镜的水平间距Ps(周期)精确地设置为像素水平间距Pp的整数倍。也就是，像素边界假设由经过隙缝333中相邻光学孔径之间的中心的中轴351(垂直于显示表面)或者经过相邻柱面透镜之间的边界的参考轴352(垂直于显示表面)穿过。整数个像素排列在中轴351或参考轴352之间的区域中。中轴351或参考轴352的水平间距Ps(周期)设置为指定值。在图23或24中所示的实例中，间距Ps等于18个像素。显示装置的显示表面331与对应于光学孔径的视差栅栏333或334的部分之间的间隙d或d’，考虑到显示装置的玻璃衬底材料或者提供有隙缝或棱镜片的玻璃衬底材料的折射率而有效地设置为大约2mm。如上所述，关于一维整体成像，视差栅栏的间距Ps(不是作为距离差的结果而可见的间距Ps而是视差栅栏的实际间距Ps)是像素间距Pp的整数倍。相反地，关于多眼系统，单元图像间距Pe通常为像素间距Pp的整数倍。
图25是如从显示模块331前面观察的，在平行光线II系统的显示装置的显示表面中重新排列图像的方法的概念绘图。显示模块331的显示表面分割成与各个孔径(视差栅栏的光学孔径)相对应的、显示单元图像370(由粗框包围)的像素组。关于II系统，单元图像的每个显示在由18或19列构成的像素组中(它的宽度由Pe表示)。视差可以分配的列的总数为5,760，因为每个LCD像素由三个LCD子像素构成。孔径的数目为320(在图25中，由参考数字364表示的区域中显示的孔径编号(棱镜或隙缝编号)的范围为#-160～#-1和#1～#160)。孔径间距Ps等于18列的宽度。在图25中，在每列365中，相应视差编号作为项目显示在由参考数字363所示的区域中(在该实例中，也如图15中所示的34个方向的像素编号-17～1和1～17的一个)。具有孔径编号#1的单元图像由具有视差编号-9～1和1～9的18个视差分量构成。具有孔径编号#-159的单元图像由具有视差编号-17～1和1的18个视差分量构成。每个单元图像的宽度稍微大于18列的宽度。因此。当相邻单元图像之间的边界与最接近的列边界对准时(标准A-D转换方法)，每个孔径的列数对于大多数孔径为18，而对于一些孔径为19。在与19列相对应的每个孔径编号处，孔径中视差编号的范围偏移一个。与19列相对应的孔径编号是#10，#30，#49，#69，#88，#107，#127，和#146(以及每个具有负号的相同编号)(视距700mm)。
图15显示每个方向上视差分量图像的排列开始和结束的孔径编号(表格中的隙缝(棱镜)编号)。该表格也显示基于当相应三维图像显示时获得的水平分辨率的列编号(3D像素编号)，以及视差合成图像显示模块上的子列编号(LCD子像素编号)和列编号(LCD像素编号)。三维图像通过如上所述分配视差分量图像来显示。在图16中，阴影部分指示视差分量图像-17号的最小投影范围(隙缝或棱镜编号和3D像素编号)以及视差合成图像中的视差分量图像的排列范围(LCD像素编号和LCD子像素编号)。图16左侧中的视差分量图像仅使用阴影部分。但是，不特别为II系统显示装置提供的公共输入数据可能使用全部范围而不仅仅阴影部分。这不产生任何问题。该实例中的阴影部分根据3D像素编号或隙缝(棱镜)编号对应于14列的范围(15-2+1或(-146)-(-159)+1)。在图16右侧中的视差合成图像中，上面的14列每18列分割地排列在阴影范围内。在这种情况下，列数和视差实例数都是18。因为视差分量图像中的14列以每18列而排列，LCD子像素编号的范围对应于235列(245-11+1等于18×(14-1)+1)。LCD像素编号的范围对应于79列(82-4+1)，其大约为LCD子像素编号范围的三分之一(LCD子像素编号11和245属于LCD像素编号4和82)。图15显示对于全部视差编号，在图16中说明性描述的这些列范围。
不仅在压缩和强调显示模式中而且在正常显示模式以及双眼和多眼兼容模式中，确定单元图像宽度的观察参考视距不一定需要与用作透视投影参考的距离(投影中心线与投影平面之间的距离)相同。没有特殊的问题出现，假定距离具有大约近似值(距离的比值为大约1/2～2)。
如上所述，对于平行光线II系统，根据本发明实施方案的三维显示装置可以显示双眼和多眼系统等的透视投影图像以及在前侧和后侧上压缩并且在垂直和水平方向上强调的三维图像。
图26示意地显示根据本发明实施方案捕获三维图像的方法。图27A和27B显示用于捕获三维图像的方法的处理程序的流程图，该方法在图26中显示。如图26中所示，主体位置检测器431安装在以相等间隔在水平方向上排列的一行照相机429的中间位置中。所有照相机429被调节，使得包含主体421a和421b的图像通过将它投影在投影平面422上来捕获。在这种情况下，焦点在位置接近投影平面的421b上。基于显示装置的构造预先确定的值对前侧限制的z坐标zn，后侧限制的z坐标zf，观察参考视距(标准照相机距离)L，以及适当的照相机间隔(标准照相机间隔)P而输入。这允许关于照相机间隔比适当照相机间隔的比值a，深度压缩比例因子b，照相机距离比观察参考视距的比值q，前侧限制的z坐标zn，以及后侧限制的z坐标zf的关系表达式的导出。
在图27A中所示的实例中，检测器431检测到主体421a最接近照相机429的一部分的位置的距离。检测器431也使用自动聚焦功能和手工聚焦功能来检测到照相机将聚焦于其上的主体421b的距离。此外，摄影平面(投影平面)大小信息(摄影平面大小比显示表面大小的比值)基于使用缩放功能检测的视角而获得。基于这些数据，压缩比b被确定(步骤S30，S31，和S32)。照相机距离比q也被确定(步骤S30和S33)。随后，最佳照相机429间隔比a从关于照相机间隔比a，比例因子b，照相机距离比q，前侧限制的z坐标zn，和后侧限制的z坐标zf的关系表达式中确定(步骤S34和S35)。最佳照相机429间隔比a被显示，或者摄影者被警告照相机429间隔不满足条件(步骤S36和S37)。照相机可能具有将照相机429间隔自动调节到最佳值的功能。照相机429间隔可能机械地改变或使用光学系统或电路处理等价地改变。作为选择，可能选择接近地安装在对应于最佳间隔的直线上的大量照相机429中的一个。在图27B中所示的实例中，检测器431使用自动聚焦功能或手工聚焦功能来检测到照相机将聚焦于其上的主体421b的距离。此外，摄影平面(投影平面)大小信息(摄影平面大小比显示表面大小的比值)基于使用缩放功能检测的视角来获得。基于这些数据，照相机距离比q也被确定(S40和S41)。随后，基于例如手工预先设置(步骤S42和S43)的照相机429间隔比a和压缩比b，装置确定到由检测器431检测(步骤S44)的最近主体421a的距离是否超过前侧或后侧限制范围zn或zf(步骤S46)。如果距离超过前侧或后侧限制范围zn或zf，警告给出或者最佳照相机429间隔a被显示(步骤S47和S48)。
上面捕获三维图像的方法抑制因过度接近等而产生的图像的模糊或变形。该方法也使得图像能够以适合于根据本发明显示三维图像的装置和方法的方式来捕获。
本发明并不局限于上述实施方案。在实现中，实施方案的任何部分可以改变而不背离本发明的本质。
此外，各种发明可以通过适当地组合在上面实施方案中公开的多个部分来形成。例如，实施方案中所示的任何部分可以删除。而且，上面实施方案的部分可能与根据不同实施方案的部分相结合。
另外的优点和修改将容易由本领域技术人员想到。因此，本发明在其更广泛的方面并不局限于这里显示并描述的具体细节和代表实施方案。因此，可以不背离由附加的权利要求及其等价物所定义的一般发明概念的本质或范围而做各种修改。
权利要求
1.一种三维图像显示装置，包括显示模块，包括具有垂直方向和水平方向的显示表面，其中每个具有预先确定宽度的像素以行和列排列；视差栅栏，安装在显示模块的前面并且具有每个基本上线性地延伸且以等于像素预先确定宽度整数倍的水平间距排列的光学孔径，光学孔径如此控制来自像素的光线以便在显示表面上定义每个具有依赖于观察参考视距确定的宽度的单元图像；第一处理部分，配置以将视差分量图像分割成与正常显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直方向上经受基本上由视距确定的透视投影和在水平方向上经受正射投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像；以及第二处理部分，配置以将视差分量图像分割成与压缩和强调显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像，其中主体图像在深度方向上压缩并且在垂直和水平方向上强调。
2.根据权利要求1的三维显示装置，还包括第三处理部分，其配置以将视差分量图像分割成与多眼兼容模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，单元图像的每个预先确定范围分配给多个相邻列作为相同视差信息并且显示在显示模块上以产生具有多个观察点的三维图像。
3.根据权利要求1的三维显示装置，还包括配置以选择第一和第三处理部分中一个的选择部分。
4.根据权利要求2的三维显示装置，还包括配置以选择第一，第二和第三处理部分中一个的选择部分。
5.根据权利要求1的三维显示装置，其中当通过实际摄影主体而获得的图像显示时选择部分选择第一和第三处理部分中的一个。
6.根据权利要求2的三维显示装置，其中第三处理部分被配置以通过使用高压缩比在深度方向上压缩主体图像来显示二维图像而不是三维图像。
7.根据权利要求1的三维显示装置，其中第三处理部分被配置以在视差分量图像之间的列中显示黑色或预先确定的颜色。
8.一种在三维图像显示装置上显示三维图像的方法，该三维图像显示装置包括显示模块，包括具有垂直方向和水平方向的显示表面，其中每个具有预先确定宽度的像素以行和列排列；视差栅栏，安装在显示模块的前面并且具有每个基本上线性地延伸且以等于像素预先确定宽度整数倍的水平间距排列的光学孔径，光学孔径控制来自像素的光线，并且在显示表面上定义每个具有依赖于观察参考视距确定的宽度的单元图像；以及第一处理部分，配置以将视差分量图像分割成与正常显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直方向上经受基本上由视距确定的透视投影和在水平方向上经受正射投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像；显示三维图像的所述方法包括将视差分量图像分割成与各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，将每列分配给单元图像的相应预先确定范围，并且在显示模块上显示列以显示具有连续观察点的三维图像，其中主体图像使用压缩和强调显示模式在深度方向上压缩并且在垂直和水平方向上强调，其中基于摄影参考条件，即每个视差分量的透视投影摄影的水平间隔依赖于像素经由视距处视差栅栏投影的位置的水平间隔而确定，广角投影处理通过将摄影位置和投影平面之间的距离设置为基于参考条件的视距的q倍长并且将每个视差分量的透视投影摄影的水平间隔设置为参考条件的至多b/q来执行，以便在深度方向上以因子b压缩主体。
9.根据权利要求8的显示三维图像的方法，其中正常显示模式以及压缩和强调显示模式通过连续地改变垂直方向上的透视投影中心距离来连续地转换。
10.根据权利要求8的显示三维图像的方法，其中正常显示模式以及压缩和强调显示模式被转换，该转换通过减小透视投影摄影的间隔同时减小景深来连续地执行。
11.根据权利要求8的显示三维图像的方法，其中正常显示模式以及压缩和强调显示模式通过检测主体的位置而自动地转换。
12.一种在三维图像显示装置上显示三维图像的方法，该三维图像显示装置包括显示模块，包括具有垂直方向和水平方向的显示表面，其中每个具有预先确定宽度的像素以行和列排列；视差栅栏，安装在显示模块的前面并且具有每个基本上线性地延伸且以等于像素预先确定宽度整数倍的水平间距排列的光学孔径，光学孔径控制来自像素的光线，并且在显示表面上定义每个具有依赖于观察参考视距确定的宽度的单元图像；以及第一处理部分，配置以将视差分量图像分割成与正常显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直方向上经受基本上由视距确定的透视投影和在水平方向上经受正射投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像；显示三维图像的所述方法包括将视差分量图像分割成与各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，将每列分配给单元图像的相应预先确定范围，并且在三维图像显示装置的显示模块上显示列以显示具有连续观察点的三维图像，其中主体图像使用压缩和强调显示模式在深度方向上压缩并且在垂直和水平方向上强调，其中基于摄影参考条件，即每个视差分量的透视投影摄影的水平间隔依赖于像素经由视距处视差栅栏投影的位置的水平间隔而确定，广角投影处理通过将摄影位置和主体的注视点之间的距离设置为基于参考条件的视距的q倍长并且将每个视差分量的透视投影摄影的水平间隔设置为参考条件的至多b/q来执行，以便在深度方向上以因子b压缩主体。
13.根据权利要求12的显示三维图像的方法，其中透视投影摄影的水平间隔通过检测从照相机到主体最接近照相机的部分的距离以及透视投影摄影的照相机焦距来自动地控制。
14.根据权利要求12的显示三维图像的方法，其中通过检测从照相机到主体最接近照相机的部分的距离以及透视投影摄影的照相机焦距，透视投影摄影的适当水平间隔范围被显示，或者摄影者被警告水平间隔超过适当的范围。
15.一种三维图像显示装置，包括显示模块，包括具有垂直方向和水平方向的显示表面，其中每个具有预先确定宽度的像素以行和列排列；视差栅栏，安装在显示模块的前面并且具有每个基本上线性地延伸且以等于像素预先确定宽度整数倍的水平间距排列的光学孔径，光学孔径控制来自像素的光线，并且在显示表面上定义每个具有依赖于观察参考视距确定的宽度的单元图像；第一处理部分，配置以将视差分量图像分割成与正常显示模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直方向上经受基本上由视距确定的透视投影和在水平方向上经受正射投影来获得，单元图像的每个预先确定范围分配给一列并且显示在显示模块上以产生具有连续观察点的三维图像；以及第二处理部分，配置以将视差分量图像分割成与多眼兼容模式中的各个列相对应的片断，该视差分量图像通过使得主体在垂直和水平方向上经受基本上由视距确定的透视投影来获得，单元图像的每个预先确定范围分配给多个相邻列作为相同视差信息并且显示在显示模块上以产生具有多个观察点的三维图像。
16.根据权利要求15的三维显示装置，还包括配置以选择第一和第二处理部分中一个的选择部分。
17.根据权利要求15的三维显示装置，其中第二处理部分在视差分量图像之间的列中显示黑色或预先确定的颜色。
全文摘要
在一种显示装置中，视差栅栏安装在显示模块前面，其中光学孔径以等于模块中每个像素宽度的整数倍的水平间距排列。在显示表面上，各个单元图像被定义，每个单元具有由观察参考视距确定的宽度。在正常图像显示模式中，视差分量图像分割成与视差合成图像的各个列相对应的片断；视差分量图像通过使得主体在垂直方向上经受与视距相对应的透视投影并且在水平方向上经受正射投影来获得。在多眼兼容显示模式中，视差分量图像分割成与视差合成图像的各个列相对应的片断，使得相同的片断提供给视差合成图像的多个相邻列；视差分量图像通过使得主体在垂直和水平方向上都经受透视投影来获得。
文档编号H04N13/04GK1700776SQ200510072788
公开日2005年11月23日 申请日期2005年5月20日 优先权日2004年5月21日
发明者最首达夫, 平山雄三, 平和树, 福岛理惠子 申请人:株式会社东芝