专利名称：三维影像显示装置和方法及三维显示用影像数据生成方法
技术领域：
本发明涉及立体地显示图像的三维影像显示装置和显示三维影像的方法以及生成三维显示用影像数据的方法，特别是，涉及即使对水平和垂直方向也能够给出立体视差的三维影像显示装置和显示三维影像的方法以及生成三维显示用影像数据的方法。
背景技术：
对于能够立体地显示动画的立体视觉图像显示装置，也就是所谓的三维显示器，已知有多种方式。近年来，对这种立体视觉图像显示装置，特别是平板型的且不需要专用眼镜等的方式的需求变高。这样的类型的立体动画显示装置中，也有利用全息摄影术的原理的技术方案，但是难于实用化。与此相对，已知，在直视型或者投影型的液晶显示装置或者等离子显示装置等的像素位置固定的显示面板(显示装置)的前面设置光线控制元件的方式，是一种能够比较容易地实现立体动画的显示的方式。
光线控制元件，一般也称为视差挡板，是一种即使在同样的位置但是根据角度不同也能看见不同的图像的构造。具体地，仅提供左右视差(水平视差)的构造使用狭缝或者双凸透镜，在提供左右视差(水平视差)的同时还附加提供上下视差(垂直视差)的构造使用针孔或者透镜阵列。使用视差挡板的方式，分类为2眼式、多眼式、超多眼式、集成摄像的方式。集成摄像的方式最近多称为集成成像法(下面简称为II)。其基本原理，与100年前发明的立体照相所用的原理实质上相同。
在最简单的2眼式中，固定某观察点，以使得在该位置用右眼和左眼看见不同的图像的方式，来配置显示面板和视差挡板。在显示面板中，在从观察点到显示面板的距离上具有投影面，将在右眼和左眼位置上具有各自透视中心的2幅透视投影图像在显示面板的每1列像素上按照纵向分割的方式交替配置。该2眼式的实现是比较容易的，但是在预定的位置以外，不能看见立体的图像，另外存在观察领域非常狭窄的问题。该2眼式，还存在从以左右两眼的距离的大小移动的位置看见逆立体视图的较大缺点，即，形成向外和向内所见相反的异常的图像。但是2眼式还具有在二维显示和三维显示之间切换比较简单的优点，所以2眼式保留有作为小型显示器等的轻便的用途。
在多眼式中，视差数增加了4到8的程度，同时增加了能够正常观察的位置。运动视差，即，观察者沿横向移动改变观点角度的场合中，所看见的与运动视差相应的立体显示一样的来自不同的角度的图像，均不连续，称为翻转(flipping)，也存在暗转之后出现急剧角度变化的图像的问题。另外，在多眼式中，即使视差数增加了也依然存在产生逆立体视图的问题。
在超多眼式中，视差图像不是每两眼距离的，而是形成得非常精细的，使得多个视差图像的光线进入瞳孔。通过将多个视差图像入射到眼睛，避免了翻转，显示比较自然的图像。然而，超多眼式，由于与多眼相比图像信息处理量飞跃的增加，存在实现困难的问题。多眼式或者超多眼式中，具有不仅包括水平视差还包括垂直视差的场合，依然因为图像信息处理量飞跃的增加，而导致实现困难。
集成成像方式(II方式)，也称作集成摄像方式(IV方式)或者集成摄影方式(IP方式)，是将类似昆虫的复眼那样的透镜(蝇眼透镜)作为视差挡板利用，将与各个透镜对应的要素像素，即，图像要素在透镜的背后一并显示的方法。该集成成像方式(II方式)，形成没有翻转的完全连续的运动视差，能够在水平方向、垂直方向、倾斜方向上都再现与实物相近的光线，是即使将脸横着和斜着观察也能够看见正常的立体视图的理想方式。在图像要素是用液晶显示元件那样的离散的像素的集合来形成的场合中，需要使用像素间距的精细度高的方案，实际中形成为100×100程度的像素数量。
与此相对，没有垂直视差的II方式的一维II方式，由于得到水平方向连续的运动视差，与2眼和多眼相比能够实现高显示质量的立体视图，而且，能够用比超多眼方式的图像信息处理量少的方式实现。然而，在垂直方向中，由于没有视差不能从上下方向上看见立体图像。
而且，多眼中视差数较多的16眼程度的场合，用多眼在可视区域以外的前后方向的区域，尽管说图像扭曲了但是可以实现与一维II实质上相同的立体视图。换句话说，也可以将多眼方式称作一维II的特例。二维II中，由于看见的是在纵方向和横方向上相应的观察距离都正确的透视投影的三维图像，不会发生扭曲，与一维II或者多眼相比前后方向的观察区域变大了。图像要素通过离散像素构成的一维II中，定义中包含多眼。换句话说，一维II方式之中，图像要素由比较少的整数列的象素构成，透镜精度高，从任何孔都能整齐的看见n视差之中的特定的m连接部分的像素，连结像素列和孔的面和观察距离面的交线的会聚间隔与眼间距离(62-65mm)相等的特定场合，相当于多眼方式。其中，观察点(单眼)的位置固定为标准位置，将从真正面的一个的孔和它的相邻的孔看见的像素之间的列数差定义为图像要素附近的图像列数(不是整数的小数也可以)。这样，例如非专利文献1所述的，图像要素的间距，通过从观察点将狭缝中心投影到显示元件上的间隔来决定，而不是根据显示元件的像素间距来决定。多眼中，两眼和全体孔(例如，狭缝)的延长部分上的各个显示元件的像素中心，必须要求高设计精度。眼的位置左右偏离，使得各个像素之间的遮光部(黑矩阵)处于可见位置，尤其是，由于偏离看见相邻的像素(翻转现象)。
与此相对，一维II中，在两个眼睛和各个孔的延长部分上，同时观察到显示元件的像素和黑矩阵的时候，看见各个像素的不同的位置。孔间距和像素宽度，互相无关的，对设计精度的需求大大提高。其中，孔间距和像素宽度无关，理想的情况下拍摄那样的设想的无像素全显示。即使眼睛的位置偏离，由于看见开口部的像素和看见黑矩阵的像素的比相同，没有翻转。但是，因为从眼睛的位置观察的场合的孔间距不是像素间距的整数倍，特别是使用了狭缝时，在不能够无视黑矩阵的场合会看见干涉条纹。
本说明书所述的三维影像显示装置在水平方向上不包含多眼。除去了多眼方式的一维II，(1)图像要素的像素列数不是整数，或者，精细的数量多到可以看作无限的程度，(2)即使在连结像素列和孔的面存在形成交线的会聚的位置，它的会聚间隔定义为与眼睛之间的间隔(62-65mm)不等，与观察距离也不同。多眼的场合，左右眼看见相邻的像素列，超多眼的场合，不相邻也是好的，看见特定的像素。与此相对，II中，无论观察相邻的像素列还是不相邻的像素列都可以。原来II中，是因为设想作为像素群的图像要素内的无像素全图像。无论多眼还是II，关于正确的设计，将像素群(图像要素)周期和作为控制光线的光瞳的孔或者狭缝的周期(简单的称作孔周期)相比，必须使得后者(孔周期)比像素群周期短。但是，对于观察距离无限远的场合、画面无限小的场合等的与实用没有关系的极限条件来说两者相同。在狭缝接近显示元件，观察距离比较远的场合中，两者为很接近的值。例如，观察距离1m，狭缝间距0.7mm，间隔1mm的场合，图腓周期为0.7007mm，比狭缝间距长0.1％。横方向像素数为640的话，狭缝整体宽度和像素显示部的整体宽度偏离0.448mm。由于该偏离比较小，即使将像素群周期和孔周期相同的设计，在中央附近没有出现图像的场合(例如，两端为素色背景)，和画面尺寸分割的很小的观察距离很远的场合中，能够正常地看见形式上的图像。但是，到画面的两端就不能正确地观察。而且，综上所述，无论多眼还是II，对于正确的设计，图像要素周期(间距)和孔周期(间距)相比，有0.1％程度的微小差异，必须是后者短。无论II方式还是多眼方式，由于通常观察距离有限，应该使得象实际上看到该观察距离中的透视投影图像那样地生成显示图像。一般的方法是在每个连结像素(像素列)和狭缝的线(面)与观察距离面的交点(交线)(每个观察点和像素)上生成透视投影图像。
多眼的场合，由于如果说连结像素列和狭缝的面与观察距离面之间的交线是16眼就会聚16束，仅作成16幅透视投影图像(表面)。然而，因为一般的II的场合不进行会聚，必须对全体像素列数作成透视投影图像(不是各个完整面而是一列也可以)。如果生成了运算程序的话，运算量自身理应没有比多眼有太大变化，过程相当复杂。但是，即使是在II之中狭缝间距形成为像素间距的整数倍(例如，16倍)的特殊的情况(即使该场合，图像要素的间距比狭缝间距的长，不是像素间距的整数倍)，通过生成16幅平行投影图像，针对每个像素列分割生成显示图像，可以看见从实际的观察点看的关于水平方向的透视投影图像。然而，通过该生成方法看见的图像，形成被称为在水平方向透视投影、而在垂直方向平行投影的奇妙的图像。其是，透视投影沿着向一点(观察点)会聚的线投影在一定面上而平行投影沿着不会聚的平行线投影在一定面上的投影方法，该“水平透视和垂直平行投影”中，形成为沿着向一条垂直线会聚的(在水平方向上会聚，在垂直方向上不会聚)线投影在一定面上。一维II中，形成水平方向与观察距离相应的透视投影图像，因为没有垂直视差，对于垂直方向必须以某观察距离作为前提的显示透视投影图像。因此，合并垂直方向和水平方向，存在在预先决定的观察距离以外的像会发生扭曲的问题。在2眼和多眼中，对于前后方向的观察范围之外形成了伪像导致不能立体的观察的情况，结果是在一维II中，具有能够在广阔的前后范围内进行立体的观察的优点，但是由于会出现扭曲成为该优点的一个遗憾。
J.Opt.Soc.Am.A vol.15，p.2059(1998)发明内容根据上面的详细叙述，二维II中在水平和垂直方向上有视差，难于实现高精细化。而在一维II中，高精细化比较容易，由于没有垂直视差，具有不能实现在上下方向上的观察的问题。
本发明考虑到上述情况，目的在于提供一种与水平和垂直方向的观察者的移动对应，能够观察自然且高精细的立体图像的三维影像显示装置和显示三维影像的方法以及生成三维显示用影像数据的方法。
根据本发明，提供一种三维影像显示装置，其特征在于包括在平面状的显示面内将像素以固定的水平和垂直方向的间距矩阵状地配置的显示部；配置在该显示部前面的光线控制部，该光线控制部具有分别在水平方向和垂直方向上以第1和第2间距配置的、对来自上述像素的光线分别在水平和垂直方向上施加制约的第1和第2光学孔，上述第1间距定为上述像素的水平方向间距的整数倍，上述第2间距比上述像素的垂直间距小，在垂直方向上上述第2光学孔在某观察距离处进行光线会聚；以及显示驱动部，该显示驱动部提供由向沿着与上述每个第1光学孔对应的水平方向的多个像素群分别平行投影得到的图像作成的图像要素，并提供在垂直方向上把透视投影图像交织了的图像段。
对于这样的三维影像显示装置，即使观察者在水平方向上移动也能够观察到自然的立体影像，另外，在观察者在垂直方向上移动的场合中，能够观察到虽然存在不连续的但是与观察位置大致对应的三维影像。
上述的三维影像显示装置的实施例中，第1光学孔，包含双凸透镜板，第1光学孔，包含狭缝。在一般的视差数较多的水平方向上，作为第1光学孔通过使用双凸透镜板大致不会产生亮度的降低。因为垂直方向的视差数可以较少，即使使用狭缝作为第2光学孔，亮度的降低也不会达到极端。另外，通过使用狭缝的方法能够高精度的制造光线的控制部。这样，制造方法容易而且同时能够获得优秀的性能。
另外，根据本发明，提供一种三维影像显示方法，其特征在于包括在平面状的显示面内将像素以固定的水平和垂直方向的间距矩阵状地配置的显示部；以及配置在该显示部前面的光线控制部，该光线控制部具有分别在水平方向和垂直方向上以第1和第2间距配置的、对来自上述像素的光线分别在水平和垂直方向上施加制约的第1和第2光学孔，上述第1间距定为上述像素的水平方向间距的整数倍，上述第2间距比上述像素的垂直间距小，在垂直方向上上述第2光学孔在某观察距离处进行光线会聚，其中，提供从向沿着与上述每个第1光学孔对应的水平方向的多个像素群分别平行投影得到的图像作成的图像要素，并提供在垂直方向上把透视投影图像交织了的图像段。
进而，根据本发明，提供一种三维显示用影像数据生成方法，其特征在于是将水平方向上是平行投影的图像按照每个上述像素列分割配置，并在垂直方向上将透视投影图像交织了的图像进行配置的方法，对应于观察点位置反复进行多次如下处理将作为电脑绘图的数据的对象的空间坐标(x，y，z)的点进行透视投影行列式变换的处理，和对除了坐标x以外的各行列要素进行除以(1-z/d)(d为投影中心的坐标)的除法运算的处理。
根据这样的算法，能够非常简便地得到水平方向是平行投影，垂直方向是透视投影的图像。
而且，本说明书中，光学孔，不单表示孔，还包含作为在光学上控制光线的光学部件的狭缝、孔、或者透镜元件或者衍射光栅等。
根据上述详细的叙述，根据本发明的立体显示装置，对应于水平和垂直方向的观察者的移动观察自然且高精细的立体图像。
图1概略地示出根据本发明的实施例的三维影像显示装置的水平面内的配置的平面图。
图2概略地示出根据本发明的实施例的三维影像显示装置的垂直面内的配置的平面图。
图3概略地示出图1和图2中所示的三维影像显示装置的斜视图。
图4示出图1-图3中所示的显示面板上显示的全部图像的生成步骤的流程图。
101液晶面板102视差挡板103观察者201液晶面板202双凸透镜203狭缝301对象数据生成部302显示数据变换部303显示面板驱动部具体实施方式
下面，参照附图对本发明的立体显示装置的实施例进行详细说明。
(第1实施例)参照图1和图2，对根据本发明的第1实施例的立体显示装置进行说明。
图1是概略示出根据本发明的第1实施例的立体显示装置的水平面内的配置的平面图。图2是概略示出图1所示的立体显示装置的垂直面内的配置的平面图。如图1和图2所示，立体显示装置，包括作为平面显示装置的、显示应立体显示整个图像的要素像素的液晶面板101；和控制从液晶面板101发出的光线的视差挡板102(光线控制部)。液晶面板101，可以是将像素矩阵状固定地配置的显示类型，也可以是直视型或者投影型的液晶显示装置、等离子显示装置、场致发光型显示装置、或者有机EL显示装置等。
关于图1和图2所示的立体显示装置，直视型的为对角20.8英寸，像素数横向为3200，纵向为2400。各个像素，纵向上每1/3分成红、绿、蓝(RGB)的子像素。换句话说，各个像素由红、绿、蓝(RGB)的子像素构成，该子像素连续地沿着纵方向配置。子像素，使用间距44微米。作为视差挡板，使用沿着大致垂直方向延伸的、在大约水平方向(水平面内)上具有周期结构的狭缝或者双凸透镜(光学孔)。该水平方向的狭缝的间距(周期)，能够正确的按照16个子像素划分为0.704mm。作为显示装置的液晶面板的显示面(玻璃基板的内表面)和视差挡板之间的间隙，考虑到玻璃基板和透镜材质的折射率，有效地形成为大约2mm。这样，使得视差挡板的(根据距离的差，眼睛看见的间距不同)实际间距形成为像素间距的整数倍的方案，如已经说明的那样，一般不适用于多眼而是适用于一维集成成像。在本例的配置中，虽然光线在显示面板101的附近会聚，但是实际使用中眼睛不能处于该位置，另外，会聚间隔不能与眼睛之间的距离相等，尤其是，在显示面板101的附近之外的观察距离中，因为光线不能会聚，如图1所示那样的在水平面内的配置，不能分类为多眼方式，而是分类成一维集成成像。在该一维集成成像中，与水平方向上有视差的观察点位置对应地，使图像变化。
另一方面，如图3所示，在垂直方向(垂直面内)中，连结观察点位置和孔中心的线通过像素中心。换句话说，在垂直面内，孔的垂直间距不是像素的整数倍，在水平面内，图像要素(向像素群赋予的图像)的间距形成为像素的整数倍。
如图3所示，作为在水平方向(水平面内)的光线控制元件，取代狭缝而使用双凸透镜板202，作为垂直方向上(垂直面内)的光线控制元件，使用设置了多个开口部的狭缝203。换句话说，通过双凸透镜板202和狭缝203(光学孔)构成视差挡板102。狭缝的间隔(光学孔的间隔)设定为，例如，比4像素大小的528微米稍微小一点。通过这样的设定，能够在观察距离附近关于垂直方向上将光线会聚。在该场合中，在垂直方向的4个位置进行光线会聚，形成能够从光线会聚点附近看见关于垂直方向的1幅图像。由此能够与观察者的头部的垂直位置相应地对来自最近的光线会聚点的图像进行切换来观察。这样的结构的立体显示装置中，即使观察者在水平和垂直方向上移动也能够观察到自然的立体影像。
(第2实施例)在显示面板102上显示的图像，能够用电脑绘图来生成。换句话说，准备在图3中所示的对象数据生成部301，例如，图形发生器中生成对象数据(多边形数据)的图中未示出的存储器。该对象数据，供给到显示数据变换部302，在该显示数据变换部302中，从对象数据仅作成视差数大小的垂直方向透视投影和水平方向平行投影图像。在该显示数据变换部302中，能够通过将对象数据的空间上的坐标(x，y，z，1)的点进行以下的变换，变换到水平方向是平行投影，垂直方向是透视投影的点的坐标，生成面板显示数据。参照图4，对图3中所示的显示数据变换部302中处理的步骤进行说明。
处理从步骤S1开始，对于最初的步骤S2，在水平面内设定观察范围，在垂直面内设定多个观察点(例如，3-4个观察点)。完成该设定之后，将对象数据供给到显示数据变换部302，开始关于在设定的观察范围内的某1个观察点的运算。换句话说，在步骤S3中，对象数据的某坐标(x，y，z，1)按照下式(1)中所示的透视投影行列式进行操作。根据该运算操作得到(x，y，0，1-z/d)。其中，d表示投影中心的坐标。
具体地说，透视投影行列式为下面的行列式。
10000100000-1/d0001]]>透视投影行列式继续该运算，如步骤S4所示，除了x以外的各个要素除以(1-z/d)。根据该运算得到(x，dy/(d-z)，0，1)。该运算结果，相当于x，y，z在水平方向平行投影，在垂直方向透视投影的点的坐标。该运算数据贮存在图中未示出的存储器中。
然后，在步骤S5中，确认对于全部对象数据的坐标(x，y，z，1)的步骤S3和步骤S4的运算是否已完成。没有完成时，反复进进行步骤S3和步骤S4。在步骤S5中，完成全部的运算时，在步骤S6中，确认关于全部的观察点的运算是否完成。在步骤S6中，存在没有结束运算的观察点时，开始关于新的观察点的运算。换句话说，垂直方向(垂直面内)的观察点位置变化的同时，反复进行步骤S3-S5的运算。在关于全部的观察点的运算结束时，通过从存储器中贮存的多个图像向像素映射(mapping)得到应显示在面板102上的整个图像。换句话说，决定应分配在显示面板102上的像素上的影像数据，该影像数据贮存在贮存一帧的帧存储器(图中未示出)中，将该影像数据供给到显示面板驱动部，在显示面板102上显示具有立体视觉的一帧影像。通过准备多幅帧数据，将可以表现立体视觉的动画图像显示在该显示面板上。通过这样的简便的方法，能够得到立体显示中必需的图像，能够通过立体显示装置显示立体的动画图像。
另外，本发明不限于上述实施例中原样限定的方式，在实施阶段中，能够在不脱离该要旨的范围内对构成要素进行变化来实施。
另外，根据上述实施例中示出的多个构成要素的适当组合能够形成各种发明。例如，还可以从实施例中所示的全体构成要素中除去几个构成要素。特别是，还可以对涉及不同实施例的构成要素进行适当的组合。
权利要求
1.一种三维影像显示装置，其特征在于包括在平面状的显示面内以固定的水平和垂直方向的间距矩阵状地配置有像素的显示部；配置在该显示部前面的光线控制部，该光线控制部具有分别在水平方向和垂直方向上以第1和第2间距配置的、对来自上述像素的光线分别在水平和垂直方向上施加制约的第1和第2光学孔，上述第1间距定为上述像素的水平方向间距的整数倍，上述第2间距比上述像素的垂直间距小，在垂直方向上上述第2光学孔在某观察距离处进行光线会聚；以及显示驱动部，该显示驱动部提供由向沿着与上述每个第1光学孔对应的水平方向的多个像素群分别平行投影得到的图像作成的图像要素，并提供在垂直方向上把透视投影图像交织了的图像段。
2.如权利要求1所述的三维影像显示装置，其特征在于上述第1光学孔包含双凸透镜板，上述第2光学孔包含狭缝。
3.如权利要求1所述的三维影像显示装置，其特征在于，上述显示驱动部具有对应该显示的对象的空间坐标(x，y，z)的点进行透视投影行列式变换的第1处理部；对除了坐标x以外的各行列要素进行除以(1-z/d)(其中，d为投影中心的坐标)的除法运算的第2处理部；以及对上述第1和第2处理部反复进行连续多次上述光线会聚位置的变更的第3处理部。
4.一种三维影像显示方法，其特征在于包括在平面状的显示面内以固定的水平和垂直方向的间距矩阵状地配置有像素的显示部；以及配置在该显示部前面的光线控制部，该光线控制部具有分别在水平方向和垂直方向上以第1和第2间距配置的、对来自上述像素的光线分别在水平和垂直方向上施加制约的第1和第2光学孔，上述第1间距定为上述像素的水平方向间距的整数倍，上述第2间距比上述像素的垂直间距小，在垂直方向上上述第2光学孔在某观察距离处进行光线会聚，其中提供由向沿着与上述每个第1光学孔对应的水平方向的多个像素群分别平行投影得到的图像作成的图像要素，并提供在垂直方向上把透视投影图像交织了的图像段。
5.如权利要求4所述的三维影像显示方法，其特征在于上述第1光学孔包含双凸透镜板，上述第2光学孔包含狭缝。
6.如权利要求4所述的三维影像显示方法，其特征在于对应显示的对象的空间坐标(x，y，z)的点进行透视投影行列式变换，对除了坐标x以外的各行列更素进行除以(1-z/d)(其中，d为投影中心的坐标)的除法运算，以及连续多次反复进行变更上述光线会聚位置和上述运算。
7.一种三维显示用影像数据生成方法，其特征在于是将水平方向上是平行投影的图像按照每个上述像素列分割配置，并在垂直方向上配置将透视投影图像交织了的图像的方法，对应于观察点位置反复进行多次如下处理将作为电脑绘图的数据的对象的空间坐标(x，y，z)的点进行透视投影行列式变换的处理；以及对除了坐标x以外的各行列要素进行除以(1-z/d)(d为投影中心的坐标)的除法运算的处理。
全文摘要
提供一种三维影像显示装置和方法及三维显示用影像数据生成方法，在水平和垂直面内有视差，且能够高精细地显示。视差挡板的水平方向间距是上述像素的水平方向间距的整数倍，在垂直方向上在某一定观察距离中进行光线会聚的挡板的垂直方向间距比像素的垂直间距小，水平方向是平行投影的图像按照每个上述像素列进行分割配置，在垂直方向上将把透视投影图像交织了图像进行配置。这样，可以观察对应于水平和垂直方向的观察者的移动自然且高精细的立体图像。
文档编号H04N13/00GK1620152SQ20041010239
公开日2005年5月25日 申请日期2004年9月3日 优先权日2003年9月4日
发明者平山雄三, 福岛理惠子, 最首达夫, 平和树 申请人:株式会社东芝