专利名称：立体图像生成方法和立体图像显示装置的制作方法
技术领域：
本发明涉及即使不使用眼镜也能视认立体像的多视点型立体图像显示方式的立体图像生成方法和立体图像显示装置。
背景技术：
作为使用显示二维图像的图像显示元件显示立体图像的方法，提出设置了将来自多个视线方向的图像合成显示在图像显示面上，按照观侧者的视点位置有选择的视认对应图像的光学图像选择单元的多视点型立体图像显示装置(例如参照非专利文献1)。此显示手法在不用眼镜的立体显示方式方面是优良的。按照观测者的视点选择性的视认对应图像的原理，使用由缝隙、针孔或双凸透镜等透镜阵列构成的光线方向限定元件作为光学地选择图像的单元，就能认观测者的视点限定能视认的图像。通过适当地设定光线方向限定元件和图像显示元件的几何尺寸、相对位置，将与从图像显示元件的各像素射出并通过光线方向限定元件开口部的光线方向对应的单位信息分配给各像素，就能显示包括从多个不同视点观测的图像信息的立体图像。这里，将从某个视点观测规定方向时得到的图像定义为“视点图像”。上述的立体图像包括多个视点图像。
上述方式的立体图像显示方法按其显示原理称为积分照相方式或积分成像方式。在积分照相方式中将光线集中到多个设置的观测者的视认位置的条件的显示方式特别称为多眼式。在与只包括左右两眼的2视点信息的二眼式的对比中，将积分照相方式总体称为广义(无眼镜)多眼式时，也有将积分照相方式如上述条件的多眼式作为别外方式使用的情况，但在本说明书中规定多眼式包括在积分照相方式中，与积分照相方式一起使用。
积分照相方式的立体图像成为将视点图像按每多个单位信息进行组合，在空间并置的显示图像。对并置多个视点图像信息的方向来说，认为有画面水平方向和垂直方向两个方向时，有只看作画面水平方向的情况。由于也有指示将多个视点图像信息提供给水平垂直方向的方式，称为积分照相方式的情况，所以也存在将只对画面的水平方向提供多个视点图像信息的方式特别作为一元积分照相方式等进行区别的情况。
这样生成的立体图像顺序分配在每个光线方向限定元件构成单位不同的视点位置(视线方向)的单位信息。由分配给该光线方向限定元件的构成单位的视点位置(视线方向)1个周期部分构成的图像称为要素图像。即，立体图像由多个要素图像(要素图像群)构成。
另一方面，能显示彩色的图像显示元件的一像素按照通常加法混色的原理，由三原色，红(R)、绿(G)、蓝(B)的像素点构成。在各要素像素中，大致稠密地配置分配了视点图像信息的单位信息的组，为了能包括多个在每个视点移动距离即单位视角中包括的图像信息，提高立体图像的显示品位，提出视点图像信息的分配单位不是像素单位而是像素点(彩色像素点、子图像)单位的方法(例如，参照专利文献1)。
按图像显示元件和光线方向限定元件的关系提供的光线方向虽然在原理上能任意提供，但离散地设定视点，使光线集中在视点这样进行设定(狭义的多眼式)，或者平行地设定光线方向，从立体图像生成效率来看是较好的。视点图像从光线方向的关系来看，前者的情况使用透视投影像，后者的情况使用平行投影像是适当的。在平行地设定光线方向的设计中，提出通过按画面内的显示位置变更视点图像组，提供更适当的视线的方法(例如，参照专利文献2)。
H.Hoshino，F.Okano，H.Isono and I.Yuyama“Analysis ofresolution limitation of integral photography”，J.Opt.Soc.Am，A15(1998)2059-2065。
特开2002-97048号[专利文献2]特开2002-382389号发明内容由于用多个视点图像合成来生成现有方式的立体图像，在原理上生成立体图像所要的时间要长。或者需要并列处理方法，存在图像生成成本高的问题。
本发明的目的就是鉴于上述情况，提供一种能高效生成图像的立体图像生成装置。
本发明第1实施方式的一种立体图像生成方法，其特征在于，包括输入由具有由三原色信息构成的像素数据、由多个不同视点生成的视点图像的步骤；和基于构成显示两维图像的显示画面的像素的彩色像素点的排列信息，合成上述各视点图像的上述三原色信息的一部分，将不同的上述视点图像的上述三原色信息分配到上述显示画面的画面水平方向的邻接的上述彩色像素点的步骤，生成在显示立体图像的空间的水平方向包括多个不同视点图像信息的立体图像。
本发明第2实施方式的一种立体图像生成方法，其特征在于，包括输入由具有由原色信息构成的像素数据、由多个不同视点生成的视点图像的步骤；和基于构成显示两维图像的显示画面的像素的彩色像素点的排列信息，相对于显示对应的色信息的上述彩色像素点，将上述各视点图像的上述三原色信息分配到上述显示画面的画面大略垂直方向，而且将不同的上述视点图像的上述三原色信息分配到上述显示画面的画面水平方向的邻接的上述彩色像素点，生成在显示立体图像的空间的水平方向包括多个不同视点图像信息的立体图像。
上述分配步骤也可以根据要素图像宽度与上述彩色像素点的点距之此，将上述各视点图像的上述三原色信息分配给上述彩色像素点这样来构成。
在n为大于等于3的自然数时，也可以包括在上述显示画面的画面水平方向及垂直方向分别将上述多个各视点图像倍增n倍的步骤这样来构成。
在n为大于等于3的自然数，m为正整数，使s成为0≤s≤2的整数，n＝3×m+s时，也可以包括在水平方向将上述多个各视点图像放大n倍的步骤，如在垂直方向将上述各视点图像放大3xm倍，对每3列附加在垂直方向沿s列的水平方向放大n倍的上述像素数据的步骤这样来构成。
上述彩色像素点排列可以是带状排列。
上述彩色像素点排列可以是嵌镶结构排列。
还可以包括生成上述多个视点图像的步骤这样构成。
上述多个视点图像可以用平行投影生成。
上述多个视点图像可以用透视投影生成。
生成上述多个视点图像的步骤可以包括在上述各视点图像生成时随着注视点和视点的平行移动进行多项几何学变换的步骤这样来构成。
本发明第3实施方式的一种立体图像显示装置，其特征在于，包括排列了多个彩色像素点的图像显示元件；设置在上述图像显示元件的前方或后方，限定从上述图像显示元件射出的或者入射到上述图像显示元件的光线方向的光线方向限定元件；图像显示元件驱动装置，驱动上述图像显示元件以根据上述图像显示元件的彩色像素点排列信息，合成由具有由三原色信息构成的像素数据、由多个不同视点生成的视点图像的上述三原色信息的一部分，将不同的上述视点图像的上述三原色信息分配到与上述图像显示元件的水平方向邻接的上述彩色像素点，显示在显示立体图像的空间的水平方向包括多个不同的视点图像信息的立体图像。
本发明第4实施方式的一种立体图像显示装置，其特征在于，包括排列多个彩色像素点的图像显示元件；设置在上述图像显示元件的前方或后方，限定从上述图像显示元件射出的或者入射到上述图像显示元件的光线方向的光线方向限定元件；图像显示元件驱动装置，驱动上述图像显示元件以按照上述图像显示元件的彩色像素点的排列信息，将由具有由三原色信息构成的像素数据、由多个不同视点生成的视点图像的上述三原色信息，相对于显示对应的色信息的上述彩色像素点，在上述显示画面的画面大致垂直方向进行分配，而且将不同的上述视点图像的上述三原色信息分配到与上述显示画面的画面水平方向邻接的上述彩色像素点，显示在显示立体图像的空间的水平方向显示包括多个不同的视点图像信息的立体图像。
也可以根据上述图像宽度与上述彩色像素点的点距比，显示在上述图像显示元件的画面水平方向包括多个不同视点图像信息的立体图像。
上述图像显示元件也可以是显示板。
上述光线方向限定元件可以是有多个缝隙开口部的缝隙阵列，上述缝隙开口部长边方向成为上述图像显示元件的画面垂直方向来构成。
上述光线方向限定元件可以是在上述图像显示元件的画面垂直方向有棱线的双凸透镜陈列，并设置在上述图像显示元件的前方来构成。
按照本发明能高效地生成立体图像。
图1是表示本发明第1实施方式的立体图像图像生成方法的构成的图。
图2是表示本发明第2实施方式的立体图像生成方法的方框图。
图3是表示本发明第3实施方式的立体图像生成方法的方框图。
图4是表示本发明第4实施方式的立体图像生成方法的方框图。
图5是说明视点图像的图像格式的图。
图6是表示本发明实施例1的处理流程的流程图。
图7是素示本发明实施例1的视点图像的图像信息的图。
图8是在本发明实施例1中表示选择的视点图像的图像信息的图。
图9是在本发明实施例1中表示在图像显示元件上映射的立体图像的图。
图10是表示本发明实施例2的处理流程的流程图。
图11是表示本发明实施例2的视点图像的图像信息的图。
图12是在本发明实施例2中表示视点图像的放大方法和像素信息的图。
图13是在本发明实施例2中表示在图像显示元件映射的立体图像的图。
图14是表示本发明实施例3的处理流程的流程图。
图15是在本发明实施例3中表示视点图像放大方法和像素信息的图。
图16是在本发明实施例1～实施例3中表示视点图像缩小率与选择率、内插率的关系的图。
图17是在本发明实施例1～实施例3中表示视点图像数(视差数)与选择率的关系的图。
图18是在本发明实施例1～实施例3中表示视点图像数(视差数)与内插率的关系的图。
图19是说明摄像机参数的图。
图20是说明多眼方式的摄像机配置与摄影图像的关系的图。
图21是说明多眼方式的现有的摄像机配置与得到的摄影图像的关系的图。
图22是说明本发明实施例5的图。
图23是说明多眼方式的摄影图像、视点图像、要素图像的对应关系的图。
图24是说明由平行光线群构成的积分成像的光线分布的图。
图25是说明由平行光线群构成的积分成像方式的摄影图像、视点图像、要素图像的对应关系的图。
图26是说明本发明实施例6的图。
图27是在由平行光线群构成的积分成像中说明视点图像编号与摄影图像编号的对应的图。
图28是在由平行光线群构成的积分成像中表示最适化的视域范围的图。
图29是说明本发明实施例7的图。
图30是素示立体图像显示装置的构成的图。
图31是表示立体图像显示装置的构成例的图。
图32是说明图像显示元件的纵带排列的图。
图33是说明图像显示元件的横带排列的图。
图34是说明图像显示元件的带状排列、嵌镶(mosaic)彩色像素点排列的图。
图35是说明图像显示元件的δ排列的图。
图36是说明图像显示元件的δ排列、嵌镶彩色像素点排列的图。
图37是表示将缝隙设置在图像显示元件前面的构成的多眼方式立体图像显示装置的显示原理的图。
图38是表示将双凸透镜设置在图像显示装置前面的构成的多眼方式立体图像显示装置的显示原理的图。
图39是表示将缝隙设置在图像显示元件的背面的构成的多眼方式立体图像显示装置的显示原理的图。
图40是说明在光线限定元件使用缝隙时的要素图像与观视条件的对应关系的图。
图41是说明在光线限定元件使用双凸透镜时的要素图像与观视条件的对应关系的图。
图42是表示有带状排列和直线状开口的缝隙的配置与视点图像编号的关系的图。
图43是表示有带状排列和台阶状开口的缝隙的配置与视点图像编号关系的图。
图44是表示在画面垂直方向彩色像素点偏移1/2间距的配置例的图。
图45是表示在画面垂直方向彩色像素点偏移1/2间距的又一配置例的图。
具体实施例方式
首先在说明本发明的实施例之前，对于与本发明的立体图像生成方法和立体图像显示装置有关连的各构成要素的关系，使用多个实例详细进行说明。
(立体图像显示装置的基本构成、原理)
图30是表示与本发明有关的立体图像显示装置的基本构成的图。由备有按二元平面状排列多个的彩色像素点、能显示彩色图像的图像显示元件401，和通过限定从彩色像素点射出的光线方向限制水平方向的可视认的角度的光线方向限定元件402构成。
上述图像显示元件401由于画面内的彩色像素点的位置偏移对光线的射出方向影响大，所以在二维上矩阵排列像素点的所谓平面面板也比CRT、投影仪好，作为这样的显示方式可以例举出非发光型液晶板(LCD)、发光型等离子显示板(PDP)、有机EL(场致发光)板等。光线方向限定元件402可以使用在画面垂直方向有母线的双凸透镜或缝隙。如后所述，由于其目的是沿画面水平方向限定光线方向，在画面上下(列方向)全面跨越双凸透镜的母线或缝隙开口部也可以不必是连续直线的形状，相对列方向以每1列或数列的断续直线形成以适合彩色像素点的排列也无妨。
图31示出表示这些图像显示元件401和光线方向限定元件402配置的前后关系的侧面图。在非发光型LCD中，用在背面有后灯进行照明的透过型，能将由缝隙构成的光线方向限定元件402配置在后灯与LCD之间(图31(c))。此外将非发光型与后灯看做一体，如果同样视为非发光型，大致进行区别，分类为将缝隙3003设置在图像显示元件401的前面的图31(b)、(d)结构和将双凸透镜3004设置在图像显示元件401前面的图31(a)、(e)的结构。
(多眼)在有上述结构的立体图像显示装置中，显示立体图像的原理示于图37。图37是使用将缝隙3003设置在图像显示元件401前面的图31(b)(d)的结构，设置5处视点2005的多眼(5眼)型立体图像显示装置的俯视图。为简单起见，彩色像素点3601被看作进行带状排列。为了隔着设置在前面的缝隙3003的开口部3004观察彩色像素点3601，能观察各彩色像素点的方向限制在用光线3606表示的这样极狭窄的范围。这里由图可知，通过适当设定缝隙3003的开口部3004的间距及缝隙3003与彩色像素点3601间距离，能看作射出彩色像素点的光线在观测者的视点2005以每多个像素点(这里是5点)进行聚光这样的条件。因此，通过在各彩色像素点显示用编号0～4表示视点图像的五种图像，能在视点2005中视认对应的图像Pv(0)～Pv(4)。在视点图像间设置适当的视差，在不同的视点2005配置观测者的右眼和左眼，能视认立体图像。
图38示出使用双凸透镜3004与图37同样结构的例子。在图38为了说明原理，模式地示出双凸透镜作为单透镜的集合体。如图38(b)所示，最好将双凸透镜3004的焦点设置在彩色像素点上，射出彩色像素点的光线作为平行光射出，能限定与设置缝隙时相同的光线方向。
图39是将缝隙3003设置在彩色像素点3601背面的例子。在缝隙3003的开口部3004限定后灯3005的照明光的角度，通过用规定的条件照明彩色像素点3601，能构成同样的立体图像显示装置。
(积分成像)在至此所述的多眼式中，虽成为对视点使光线聚光的设计，但即使不将光线聚光到视点位置也能显示立体图像，通过称为积分照像(integral photograph)方式、积分成像(integral imaging)方式。这时对光线方向虽无必须特别规定的条件，但使光线方向限定元件的间距为彩色像素点间距的整数倍，即与彩色像素点组的间距相等，用平行的光线群构成，在生成视点图像方面实用上是有效的。图24示出这样的例子。在本构成中，由于作为对任意视点位置入射的光线群的集合体显示图像，视点图像与视认的图像没有一一对应的关系。即，对观测者来说合成多个视点图像的一部分作为一个视差图像来视认。
(有关图像显示元件的彩色像素点的排列)图像显示元件401的彩色像素点的排列信息由像素的形状和彩色像素点的排列方法决定。像素的形状通常是使彩色像素点的水平方向与垂直方向的尺寸比为1∶3，将RGB三色的彩色像素点作为1个像素沿水平方向排列的形状。将此1个像素按两维排成格子状称为带状排列。这里如果不改换彩色像素点的颜色顺序，在图像显示元件的行方向(水平方向)彩色像素点按R、G、B、R、G、B...的顺序排列，在列方向(垂直方向)排列同色的彩色像素点。这种排列作为图像显示元件的彩色像素点排列信息是最一般的纵带排列。图32示出纵带排列的例子。
在带状排列中，使行方向(水平方向)的彩色像素的色排列与纵带排列相同，在行方向邻接的彩色像素点间排列不同的颜色，而且即使对3行1列的彩色像素点组，也能得到R、G、B三原色的组。图34示出带状排列、嵌镶(mosaic)彩色像素点排列时的例子。
将3行1列的彩色像素点细作为1个像素，也可以在同一行配同色的彩色像素点(横带排列)。将尺寸比设定为1∶3时，1个像素虽非正方像素形状，但由于能细小地设定行方向的点距，所以能稠密地配置视点图像，即由于能使射出光线稠密，所以作为立体图像显示装置的图像显示元件是很合适的。图33示出横带排列的例子。
进而在小于等于彩色像素点距的范围使列方向的像素配置沿水平方向错开的排列也是可能的。错开1/2间距的排列是δ排列，图35示出δ排列的例子。通常按δ排列使彩色像素点呈正方形状的情况居多，这里如前所述，因在水平方向比垂直方向需要更稠密地配置彩色像素点，示出了尺寸比1∶3的例子。
在上述例子中，在彩色像素点位置相等的奇数行、偶数行，沿画面垂直方向排列同色彩色像素点，但使此排列前面说过的嵌镶排列同样，对3行1列的彩色像素点的组，能获得R、G、B的三原色的组。图36示出这样的δ排列、嵌镶彩色像素点排列的例子。
(像素排列与光线方向限定元件的关系)对于上述的图像显示元件的排列结构和光线方向限定元件，对于画面内的关系进行详细说明。为简单起见，与色排列有关的信息省略。
在具有带状排列的像素显示元件的前面配置了缝隙的光线方向限定元件的图37构成中，在图42示出看见显示画面的例子。在图42中，通过使用在画面垂直方向有直线状开口部3004的缝隙，能视认显示与视点图像编号3602的第2个相当的图像信息的彩色像素点。最好沿与画面平行方向移动视点位置，视认不同的视点图像。
图43是设置使开口部对列方向错开1个像素点距的形状的缝隙的例子。通过考虑彩色滤色器排列选择适当的缝隙形状，不但在同一列内在不同列内也能分配同一视点图像编号。
图44、图45是通过以彩色像素点的1/2单位错开彩色像素点排列或缝隙开口部位置，跨越2行设置光线射出方向的例子。图44上段和图45是在带状排列缝隙错开1/2间距的例子，图44下段是对δ排列组合直线开口缝隙的例子。通过在画面平行、水平方向错开视点，判断为跨越奇数行与偶数行2行视点图像编号错位。在上述例中，虽是对彩色像素点的水平间距错开1/2的例子，但可知通过错开1/n，跨越n行使光线方向分散也是可能的。通过采取这样的结构，图像的垂直分辨率虽劣化，但由于光线方向分散为多行使之稠密，或者相对于视点移动，像素开口部与黑色矩陈的显示分散在面内，因而获得减少干涉条纹的效果。
以上示出使用缝隙的例子，但在原理上显然即使用双凸透镜时也是同样的。
(有关视点图像的生成)视点图像显示立体图像时，需要正确反映视差信息。视点图像由用摄像机或CG空间的假想摄像机摄影的摄影图像构成。
在图19示出(假想)摄像机2001的参数。对生成摄影图像来说，设定成为摄像机摄影位置的视点2005，决定摄影基准面202，将注视点204设定在摄影基准面上。
在图20示出表示与图37～图39的多眼方式的结构对应的摄像机各参数的例子。由图37～38的立体图像显示装置的光线3604的分布形状可知，观测者的视点与摄像机的视点相当，注视点2004成为立体图像显示装置的画面中心，摄影基准面2002成为光线方向限定元件的瞳孔位置。摄影图像2006与视点图像唯一对应。摄像机按透视投影摄影或者进行CG透视图。摄像机2001正对摄影基准面2002，摄像机位置沿水平移动。
在图23示出对图20与图37的关系更直接表示的例子。在5个视点借助透视影在摄像机2001的摄影像面上摄影摄影图像2006、Pc(0)～Pc(4)。构成摄影图像的像素点信息与彩色像素点3601的哪个位置对应，可用光线3606的轨迹明显地显示其对应关系。在各摄像机位置的摄影图像2006、Pc(0)～Pc(4)与彩色像素点上的视点图像104、Pv(0)～Pv(4)的组一一对应，各视点图像的像素点信息按每1像素点分散地分配给每个缝隙3003。由对缝隙3003的1个开口部3004分配的多个视点图像构成的像素点信息构成称为要素图像2303的图像单位。这样一来，对于分配到彩色像素点3601的立体图像信息，由与摄像机的摄影画面相当的视点图像构成要素图像，作为由多个要素图像构成的要素图像群而构成。
图21是使用更一般的摄像机进行图像摄像的例子。使摄像机2001正对摄影基准面2002并相对摄影基准面平行移动，注视点2004随着摄像机的视点移动而平行移动。因此，使用广角摄像机进行按图21的摄影，只取出与立体图像显示装置的显示面相当的范围2201相当的图像信息作为视点图像。
另一方面，在积分成像方式中，使用平行光线群的结构的(假想)摄像机的摄影方法，按图24的光线射出分布，为避免失真，有必要平行投影用无限远的摄影距离进行摄影。在实际的摄像机摄影中，虽然难以用无限远的视距离进行摄影，但用CG空间的假想摄像机的描绘(rendering)是容易的。
进而在积分成像式中，在图25示出更直接表示摄影图像与立体图像的关系的例子。摄像机2001的摄影方法与除平行投影以外基本上是多眼情况的图23相同。
在图25中，因摄影距离是无限远的条件，摄影图像与视点图像一一对应，分配给摄影图像的编号与分配给视点图像编号的编号的对应关系在全部要素图像中是同一的。另一方面，通过以有限的摄影距离摄影比视点图像更多的摄影图像，能扩大立体图像可以被视认的范围、视域。在图27示出1个要素图像中的视点图像数为5、摄影图像数为9时的对应关系的一例。由于彩色像素点3601的组与缝隙3003的开口间隔等间距，光线3606的出射分布相互成为平行线。这里，通过按照画面的水平位置，错开分配用0～4的视点图像编号3602表示的5个视点图像的彩色像素点组，能将缝隙开口部与应通过该开口部视认的彩色像素点的位置关系作为透视投影的关系。因此，通过时各视点图像编号分配与各光线的射出方向对应的用0～8摄影图像编号2601表示的摄影图像中的5个图像，能视认正确的立体图像。在图28示出这时的视域2701。与摄影图像和视点图像的数目相等的情况相比，可知视域扩大了。这时的视点图像数因需要错开彩色像素点，所以增加到6处。
如上所述，由于摄影图像与视点图像有不一一对应的情况，所以要注意。在本说明书中将应分配给彩色像素点的图像区分为视点图像和摄影图像。
下面参照附图详细说明本发明的实施例。但本发明的构成不限于下述实施例，不言而喻能采用将在本发明的实施方式和实施例中所述的构成的各部分进行了各种各样组合的形态。为简化说明，对同一部件在多个图中给予同一编号。
(第1实施方式)图1示出本发明第1实施方式的立体图像生成方法的基本构成。此立体图像生成方法有输入用Pi(0)～Pi(4)表示的5种视点图像104的组的步骤101；有根据彩色像素点的排列信息105，经生成用Po表示的立体图像106的步骤102进行输出的步骤103。所谓彩色像素点排列信息105指的是表示用以显示彩色图像信息的图像显示元件的3原色彩色像素点即红(R)、绿(G)、蓝(B)的彩色像素点的排列顺序的信息。
在立体图像生成步骤102中，组合构成视点图像104的每个点的三原色信息的一部分或全部，参照彩色像素点排列信息105，生成按照规定的格式的立体图像。在本步骤中，图中虽未示出，但进一步参照视点图像的附加信息(表明视点图像间的关系的视线方向、摄影或CG生成条件、或者符合这些条件的整理编号、文件名)、或立体图像显示装置的光线方向限定元件的追加信息(间距或角度、表示与图像显示元件的安装位置关系的信息)也生成立体图像的情况。即，如果能正确规定立体图像显示装置的图像显示元件中的各彩色像素点的色信息和能在哪个方向视认上述像素点，以及观测者视认的方向与图像的对应关系，也是可以的，而不管在生成步骤102中是否明显地参照这些信息。例如，在视点图像输入步骤101中，按顺序指定的视点图像的顺序如规定视线方向顺序那样决定，也可以按照彩色像素点信息使其固定组合。
下面对视点图像与彩色像素点信息的关系等本实施方式的构成要素、立体图像生成的具体手法进行说明。
(第2实施方式)图2是表示本发明第2实施方式的立体图像生成方法的构成的图。本实施方式的特征是除第1实施方式外包括生成视点图像的步骤201的立体图像生成方法。对于视点图像生成的详细手法将在后面说明，但借助原先的CG描绘的计算能实现摄像机等的摄像单元或者3维模型。
(第3实施方式)图3是表示本发明第3实施方式的立体图像生成方法的构成的图。本实施方式是其特征在于，包括将在第1实施方式中生成的立体图像106保存在立体图像记录单元302中的立体图像保存步骤301的立体图像生成方法。在本实施方式中，例如以流形式变换并保存现有的视点图像信息的变换工具成为可能。能实现将通过发送等配送的视频信息变换记录为立体图像的视频记录置，通过与第2实施方式的组合包括视点图像的摄像、生成单元的记录例如立体摄像摄像机等。
(第4实施方式)图4是表示本发明第4实施方式的立体图像显示装置的构成的框图。本实施方式是将由第1实施方式生成的立体图像106借助图像显示元件驱动单元403显示在图像显示元件401上进行立体图像显示的立体图像显示装置。立体图像显示装置备有后述的光线方向限定元件402，通过光线方向限定元件402观测在图像显示元件401显示的立体图像106，能观测立体图像。在本实施方式中，立体图像生成时参照的彩色像素点排列信息105是与图像显示元件401对应的信息。也可以如显示驱动器那样，借助电缆连接，通过图像显示元件401和光线方向限定元件402的变更，更新彩色像素点排列信息105。特别是为了能与未图示的光线限定元件402的交换、显示状态的变化对应，也有在立体图像生成时参照与光线方向限定元件有关信息的情况。这里对所说的彩色像素点排列信息105来说，也可以包含与后述的要素图像宽度和彩色像素点间距之比有关的信息(或者与其等价的信息)。
下面根据上述的实施方式说明本发明的立体图像生成方法和立体图像显示装置的实施例。
(实施例1)图6是表示本发明的立体图像生成方法的实施例1的构成的流程图，示出立体图像生成步骤102的具体流程。在本实施例中，其特征在于，各视点图像尺寸与生成的立体图像尺寸大致等倍，只使用视点图像中包含的1个像素的彩色信息的一部分合成立体图像。
在本实施例中设想的图像显示元件有带状排列、嵌镶彩色像素点排列、考虑在图42所示的列方向有同一视差这样的光线方向限定元件的组合。用Pi表示的视点图像104的图像格式如图5所示，由表示像素的位置的(x，y)坐标(图5左)和各坐标的RGB三原色信息构成(图5右)。使图像尺寸为SXGA(1280×1024)，对各视点图像由上往下写图像信息后成为图7所示。用正方格子包围的部分表示1个像素，从上起表示视点图像编号、画面内坐标、彩色信息。在彩色信息中，记载为RGB时，指示对该该像素全部保持三原色信息。
按照图6，依次在每行读入各视点图像，一边参照预先取得的彩色像素点排列信息，一边借助滤波处理判别必要的图像信息，输出到立体图像生成用的帧缓冲器。彩色像素点排列信息是带状排列、嵌镶彩色像素点排列。视点图像编号对于每个彩色像素点在水平方向进行分配，因为同一列有相同的视点图像编号，所以在各视点图像选择的像素信息成为如图8所示。X印表示在立体图像完全不采用的像素。这里，在各像素中，最早不全部保持彩色信息，例如在该0行0列像素只保持R信息。即，在各像素中，要注意到色破坏。例如表示具有在用列方向的像素点间距规定的奎斯特频率成分附近的频率的图像信息时，色破坏产生色渗透。然后对于只在水平方向给予视差信息的立体图像显示装置来说，由于水平分辨率对垂直分辨率显著劣化(在本实施例中因视点图像数是5，所以垂直分辨率相对于水平分辨率是5/3倍)，所以实用上看到那样的色破坏症状很少。
图9示出对图像显示元件的彩色像素点进行映射的立体图像信息。由于本实施例是单纯的算法，所以能高速地由视点图像组生成立体图像。特别是在已有视点图像而且与立体图像尺寸有相同尺寸时，是合适的。
(实施例2)图10是表示本发明的图像生成方法的实施例2的处理流程图。本实施例的特征是具有，通过将视点图像尺寸在水平、垂直方向进行等倍扩大处理，在画面垂直方向高效且高速地分配视点图像的图像信息的步骤。例如，以SXGA为立体图像尺寸视点图像尺寸为水平垂直方向1/3的427×342像素。使视点图像数为9，为对每个彩色像素点分配视点图像编号，即使将视点图像展开3倍，对立体图像不采用同一图像信息。图12示出将视点图像放大3×3倍的样子。在立体图像的坐标中，同一像素信息虽分配到从(0，0)到(2，2)的像素，但其中立体图像采用的图像信息只是像素点的第1列，由于废弃其余而不产生数据的重复。进而彩色像素点排列信息如图13所示，嵌镶排列时获得在画面垂直方向重新排列视点图像保持的RGB彩色信息这样的效果。
如按照图10，与实施例1同样，依次输入点图像，在每行沿水平、垂直方向进行放大处理，通过滤波操作能生成立体图像。即使进行帧处理也没关系，但如是在每行进行处理，由于确保行缓冲器，所以能削减存储器。在图11、图13分别示出对视点图像、图像显示元件的彩色像素点进行了映射后的立体图像信息。
在本实施例中，虽预先提供了视点图像尺寸和立体图像尺寸，但在有第2实施方式的视点图像生成步骤的情况下，能由视点图像数和立体图像尺寸选择应摄影(生成)的最佳视点图像尺寸。
(实施例3)
图14是表示本发明的立体图像生成方法的实施例3的处理程序的图。本实施例的特征是在实施例2的构成中对每个规定的行具有内插处理。例如，n为大于等于3的自然数，视点图像尺寸相对立体图像尺寸成为1/n×1/n尺寸时，在水平方向将视点图像尺寸放大n倍，在垂直方向用n＝3×m+s(这里m是自然数，s是0≤s≤2的整数)表示时，在垂直方行进行放大3m倍，进而有通过内插追加s行的处理流程。
通过使用这样的处理流程，视点图像的放大倍率为3m以外时，能降低上下行间的不匹配。特别是彩色像素点排列信息为嵌镶排列时，由于垂直方向每3行出现RGB组，所以在3m以外的场合产生色信息破坏这样的情况。为补偿此问题，本实施例是较好的。在图15示出n＝4，m＝1，s＝1，在水平方向放大4倍，在垂直方向放大3倍，将1行作为内插行进行附加的例子。在行内插的步骤中包括将灰度特性不变这样被非线形量子化的像素信息进行线形量子化的步骤。
如以上说明过的那样，适宜使用实施例1～实施例3，特别是如第2实施方式那样在包括生成视点图像步骤的立体图像显示方法中，能对任意视点图像数选择效率最佳的视点图像尺寸。图16是视点图像素为9，立体图像尺寸为SXGA，相对视点图像数的倍率(作1/n的n作为缩小率表示)，将各视点图像的选择率与内插率示于表中。这里，所谓选择率在各视点图像中，所谓立体图像中采用的像素信息数的比例(＞100％)时，表示在立体图像信息的不同的坐标位置多次选择同一视点图像信息)、内插率是通过内插从视点图像信息新生成的像素信息数的比例。图16的场合，在缩小率为3的情况下全部采用视点图像信息，由于不产生内插，可知效率最佳。
图17示出视差数(视点图像数)为6，9，15，21，27时的视点图像缩小率与选择率的关系，图18示出内插率的曲线图。在立体图像生成步骤中，最希望选择有选择率接近1，内插率接近0的条件的视视图像尺寸。上述选择率、内插率在视点图像涉及全部像素显示元件并固定分配时(多眼式，通常的积分成像)成立。在使视域最佳化的示于图27、图28的积分成像方式中，由于只在图像显示元件的一部分区域产生选择视点图像的情况，所以值多少有些变化。上述实施例虽然只对带状排列、嵌镶彩色像素点排列的情况进行了描述，但即使在其它彩色像素点排列、在垂直方向视点图像编号的分配变化的图43这样的构成中，采用适合于其构成的彩色像素点排列信息和视点图像的分配并进行滤过处理，显然能得到同样的效果。
(实施例4)在本发明中虽然分别使用借助平行投影显示立体图像的积分成像方式和借助透视投影显示立体图像的多眼方式两种，进而作为光线方向限定元件分别使用透镜和缝隙两种，但在生成立体图像时，不必区分在将输入的视点图像看作平行投影还是看作透视投影以外的生成方法。如果光线方向限定元件相对画像显示元件位于其前后某一边，如果有要素图像宽度与彩色像素点的点距比或者与其等价的信息(例要素图像的宽度及像素点距的信息等)，就能用统一的步骤生成立体图像。
在本实施例中，首先说明要素图像宽度与观察条件的关系，示出积分成像方式与多眼方式的要素图像宽度与彩色像素点的点距的关系。随后对由要素图像宽度与彩色像素点的点距比统一生成立体图像的步骤进行说明。
图40是表示立体图像的要素图像宽度Px3811、3812、与作为光线限定元件的缝隙3003和彩色像素点间距离g3814、g′3815及视距离、视域等观察条件的关系的图。在此图中同时图示出彩色像素点位于缝隙前时和缝隙背后时两种情况。将观测者观察标准立体图像的距离作为视距离L，在视距离L将正常看立体图像的范围作为视域(宽度)Wv，由图可知下列式(1)、式(2)成立L/Wv＝g′/P′x＝g/Px (1)L/P＝(L-g′)/P′x＝(L+g)/Px (2)因而光线方向限定元件位于图像显示元件的前面时，Px＝WvP/(Wv-P) g＝LP/(Wv-P) (3)光线方向限定元件位于图像显示元件背面时，P′x＝WvP/(Wv+P) g′＝LP/(Wv+P) (4)分别成立。
图41是在光线方向限定元件是双凸透镜时，表示透镜及图像显示元件的构成部件的折射率为n时的要素图像宽度Px3811、与透镜间距为P的双凸透镜3004和彩色像素点间距g3814及视距离L、视域Wv等观察条件的关系的图。
由图可知Sinθ＝nSinθ′ (5)SinΦ＝nSinΦ′ (6)
2gtanθ＝Px (7)2Ltanθ＝Wv (8)2LtanΦ＝P (9)P+2gtanΦ′＝Px (10)成立，如θ和Φ假定微小角的近轴区域则得到Px＝WvP/(Wv-P)g＝nLP/(Wv-P) (11)从与图38(b)的对比可知，(11)式的间隙g与双凸透镜的焦点距离相当。
由以上得到的表达式可知，要素图像宽度Px是由视距离为L视域宽度为Wv及缝隙间距或者透镜间距规定的量，是与光线方向限定元件的种类无关的量。即使对间隙g，由图像显示元件及光线限定光件的折射率n与视距离L、视域Wv规定，将缝隙配置在前面使用的情况下，如果缝隙与图像显示元件间用折射率n充填，用(11)式规定的间隙g成为适当的距离。这样，要素图像宽度与间隙是由观视条件规定的量，表示提供视距离L、视域宽度Wv(或视域角2θ)等也与提供要素图像宽度的信息等价。
其次，要素图像与彩色像素点的间距的关系只是将多眼时彩色像素点间距的整数(＝每个要要素图像的视点图数-1)倍作为要素图像宽度。例如在图23中如果观察注视点2004的摄像机设置范围与要素图像宽度、在同一摄像机视点向邻接的缝隙的光线开角的关系是很明确的。因而，提供要素图像宽度与彩色像素点间距之比后，能直接导出视点数即必要的视点图像数(＝摄影图像数)。
另一方面，在使用平行光线群的积分成像的场合，因将光线方向限定元件的间距设定为彩色像素点间距的整数倍，要素图像宽度的值不成为彩色像素点间距的整数倍。然而，由实际观视条件与彩色像素点间距的关系，要素图像宽度与彩色像素间距的整数倍的差成为非常小的值。例如，在视域宽度Wv＝500mm，间距P＝1.0mm的条件下，由(3)式可知要素图像宽度Px＝1.002，成为仅比间距大0.2％的值。因而在实用上，通过提供要素图像宽度与彩色像素点间距的比，能直接从比的整数值导出必要的视点图像数。
由以上可知，通过提供要素图像宽度与彩色像素点间距之比，能获得必要的视点图像数和与其配置方法有关的信息。如果必要，能进行比是否是整数、是否是多眼式、是否是积分成像方式的区别。作为生成立体图像的具体步骤，因为得到必要的视点图像数，按照实施例1～实施例3的步骤，将画面中央作为要素图像的基点，可以依次向画面两端配置视点图像(由于要素图像宽度与彩色像素点间距之比是整数，在分配要素图像宽度的区域和像素点的位置不产生偏差)。
在积分成像方式中，如果只使用要素图像宽度与彩色像素点间距比的整数值信息，则与图24、图25中所示这样的视距离无限远的条件相当，视点图像与摄影图像组跨越整个画面生成一致的立体图像。通过正确地加法处理端数，一边考虑要素图像宽度与彩色像点的位置偏差，一边配置视点图像后，借助端数的积累对光线限定元件的缝隙开口部或者透镜分配的要素图像的区域向画面端部方向偏移。因而，大于等于半像素点的偏移如图27所示，一边变更光线方向(即视点图像编号)的分配一边相对像素点移位分配要素图像的区域，使图28所示这样的视域最适当化处理也是可能的。总之，即使在多眼方式中，在积分成像方式中，由要素图像宽度与彩色像素点间距之比导出视点图像数，从画面的中内向两端对彩色像素点分配适当的视点图像的生成步骤是共用的。
对彩色像素点的排列在列方向错开1/2像素点的δ结构来说，考虑像素点的移位部分，如将要素图像的基对每行错开1/2像素点是可以的，这是很显然的，这时在要素图像宽度与彩色像素点间距之比包括0.5的值，如先前的实例所示，在实用的观视条件下，由于来源于平行投影的积分成像方式的构成的要素图像宽度与彩色像素点间距的整数倍值的偏移小于等于1％，能利用是否包含0.5的值，是否是δ结构的判别来进行处理。
(实施例5)本实施例涉及第2实施方式的视点图像生成的步骤。图22是模式地表示本实施例的原理的图。在以往如图21所示，摄像机数(摄影图像数)增加后，相对各摄像机的摄影范围，存在能作为摄影图像采用的范围(显示范围)的面积比例减少这样的问题。在图22中，其特征在于，相对摄像机透镜2302依次移位摄像机的摄影像面(胶片面)2301。通过设置这样的移位结构能将注视点固定在立体图像显示范围的中央，结果能不浪费地使用已摄影的图像区域。在实际摄影时，本实施例的摄像机相当于有所谓斜拍透镜功能。图22虽表示用透视投影的摄影例，但用假想摄像机的平行投影的摄影也同样。
(实施例6)本实施例涉及第2实施方式的视点图像生成步骤。对图24示出的用平行光线群的积分成像的构成来说，虽希望用平行投影摄影，但在只在画面的水平方向设置视差的立体图像显示装置中，使用用平行投影拍摄的视点图像显示立体图像后，成为画面垂直方向也用平行投影摄影的显示，显示变得失真。虽希望(假想)摄像机在画面水平方向能平行投影，在画面垂直方向能透视投影，但对实拍摄像机来说是透视投影，即使在假想摄像机，对广泛使用的描绘引擎来说，选择透视投影还是平行投影的某一种的情况也校多。
因此，如图26所示，在本实施例中其特征在于，通过使摄像机的摄影范围(像角)充分变窄，用透视投影多次进行部分摄像，合成各摄影图像得到摄影图像。在本实施例中包括使摄像机正对摄影基准面并相对摄影基准面平行移动进行摄影的步骤(图26(a))和固定注视点，移动摄像机的视点(图26(b))的步骤等两个步骤。在假想摄像机，通过多次几何变换和反复透视投影，能得到上述摄影图像。
(实施例7)本实施例涉及实施方式2的视点图像生成步骤。在图44、图45所示的图像显示元件和光线方向限定元件的关系中，按奇数行与偶数行光线方向成为重套(入ち子)。因此，作为与该结构对应的实施例，图29示出视点图像生成的摄像机的配置。在本实施例中，通过将视定图像数设定为偶数能完全分离摄影图像组。例如，摄影图像Pc(0)、Pc(2)、Pc(4)图像显示元件的偶数行有关视点图像组，摄影图像Pc(1)、Pc(3)、Pc(5)是与奇数行有关的视点图像组。因而在生成立体图像的步骤中，通过并列处理奇数行与偶数行，能将立体图像生成效率提高2倍。摄像机是假想摄像机，描绘尺寸比变更为1∶2时，将垂直方向的摄影图像尺寸设定为通常的1/2，能把描绘时间缩短到1/2。
如上所述，如按照本发明的实施方式，能提供生成效率高的立体图像生成方法和立体图像显示装置。
权利要求
1.一种立体图像生成方法，其特征在于，包括输入由具有由三原色信息构成的像素数据、由多个不同视点生成的视点图像的步骤；和基于构成显示两维图像的显示画面的像素的彩色像素点的排列信息，合成上述各视点图像的上述三原色信息的一部分，将不同的上述视点图像的上述三原色信息分配到上述显示画面的画面水平方向的邻接的上述彩色像素点的步骤，生成在显示立体图像的空间的水平方向包括多个不同视点图像信息的立体图像。
2.一种立体图像生成方法，其特征在于，包括输入由具有由原色信息构成的像素数据、由多个不同视点生成的视点图像的步骤；和基于构成显示两维图像的显示画面的像素的彩色像素点的排列信息，相对于显示对应的色信息的上述彩色像素点，将上述各视点图像的上述三原色信息分配到上述显示画面的画面大略垂直方向，而且将不同的上述视点图像的上述三原色信息分配到上述显示画面的画面水平方向的邻接的上述彩色像素点，生成在显示立体图像的空间的水平方向包括多个不同视点图像信息的立体图像。
3.按照权利要求1所说的立体图像生成方法，其特征在于，上述分配步骤按照要素图像宽度与上述彩色像素点的点距比，将上述各视点图像的上述三原色信息分配给上述彩色像素点。
4.按照权利要求3所说的立体图像生成方法，其特征在于，包括当n为大于等于3的自然数时，将上述多个各视点图像在上述显示画面的画面水平方向和垂直方向分别倍增n倍的步骤。
5.按照权利要求3所说的立体图像生成方法，其特征在于，n为包括当大于等于3的自然数，m为正整数，s为0≤s≤2的整数，n＝3×m+s时，将上述多个各视点图像在水平方向倍增n倍的步骤，和将上述各视点图像在垂直方向进行3×m倍，对每3行在垂直方向附加在s行的水平方向已倍增了n倍的上述像素数据。
6.按照权利要求1或2所说的立体图像生成方法，其特征在于，上述彩色像素点的排列是带状排列。
7.按照权利要求1或2所说的立体图像生成方法，其特征在于，上述彩色像素点排列是嵌镶排列。
8.按照权利要求1或2所说的立体图像生成方法，其特征在于，还包括生成上述多个视点图像的步骤。
9.按照权利要求8所说的立体图像生成方法，其特征在于，借助平行投影生成上述多个视点图像。
10.按照权利要求8所说的立体图像生成方法，其特征在于，借助透视投影生成上述多个视点图像。
11.按照权利要求10所说的立体图像生成方法，其特征在于，生成上述多个视点图像的步骤包括在上述各视点图像生成时随着注视点和视点的平行移动进行多次几何学变换的步骤。
12.一种立体图像显示装置，其特征在于，包括排列了多个彩色像素点的图像显示元件；设置在上述图像显示元件的前方或后方，限定从上述图像显示元件射出的或者入射到上述图像显示元件的光线方向的光线方向限定元件；图像显示元件驱动装置，驱动上述图像显示元件以根据上述图像显示元件的彩色像素点排列信息，合成由具有由三原色信息构成的像素数据、由多个不同视点生成的视点图像的上述三原色信息的一部分，将不同的上述视点图像的上述三原色信息分配到与上述图像显示元件的水平方向邻接的上述彩色像素点，显示在显示立体图像的空间的水平方向包括多个不同的视点图像信息的立体图像。
13.一种立体图像显示装置，其特征在于，包括排列多个彩色像素点的图像显示元件；设置在上述图像显示元件的前方或后方，限定从上述图像显示元件射出的或者入射到上述图像显示元件的光线方向的光线方向限定元件；图像显示元件驱动装置，驱动上述图像显示元件以按照上述图像显示元件的彩色像素点的排列信息，将由具有由三原色信息构成的像素数据、由多个不同视点生成的视点图像的上述三原色信息，相对于显示对应的色信息的上述彩色像素点，在上述显示画面的画面大致垂直方向进行分配，而且将不同的上述视点图像的上述三原色信息分配到与上述显示画面的画面水平方向邻接的上述彩色像素点，显示在显示立体图像的空间的水平方向显示包括多个不同的视点图像信息的立体图像。
14.按照权利要求12或13所说的立体图像显示装置，其特征在于，根据要素图像宽度与上述彩色像素点的点距之比，显示在上述图像显示元件的画面水平方向包括多个不同的视点图像信息的立体图像。
15.按照权利要求12或13所说的立体图像显示装置，其特征在于，上述图像显示元件是液晶板。
16.按照权利要求12或13所说的立体图像显示装置，其特征在于，上述光线方向限定元件是有多个缝隙开口部的缝隙阵列，上述缝隙开口部的长边方向成为上述图像显示元件的画面垂直方向。
17.按照权利要求12或13所说的立体图像显示装置，其特征在于，上述光线方向限定元件是在上述图像显示元件的画面垂直方向有棱线的双凸透镜阵列，并设置在上述图像显示元件前方。
全文摘要
本发明能高效地生成立体图像。输入由具有由三原色信息构成的像素数据的在多个不同视点生成的视点图像，根据构成显示两维图像的显示画面的像素的彩色像素点的排列信息，合成上述各视点图像的上述三原色信息的一部分，将不同的上述视点图像的上述三原色信息分配给与上述显示画面的画面水平方向邻接的上述彩色像素点，在显示立体图像的空间的水平方向生成包括多个不同的视点图像信息的立体图像。
文档编号G09F9/00GK1619359SQ20041010479
公开日2005年5月25日 申请日期2004年9月29日 优先权日2003年9月30日
发明者平和树, 平山雄三, 最首达夫, 福岛理惠子, 山内康晋, 柳川新悟 申请人:株式会社东芝