立体图像显示装置、图像处理装置及图像处理方法
立体图像显示装置、图像处理装置及图像处理方法
【专利摘要】本发明涉及立体图像显示装置、图像处理装置以及图像处理方法。一种立体图像显示装置，利用所述立体图像显示装置减轻了3D串扰引起的CT-图像的影响，使得即使当观察者的观察位置移位时，所述观察者也不会感觉到不适。所述立体图像显示装置包括图像处理单元，所述图像处理单元包括：相对位置计算单元，所述相对位置计算单元计算立体显示面板相对于观察者的观察位置的相对位置；图像滤波器值计算单元，所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对图像数据执行图像滤波处理。
【专利说明】立体图像显示装置、图像处理装置及图像处理方法
[0001]相关申请的交叉引用
[0002]本申请基于且要求2012年7月31号递交的第2012-170645号以及2013年4月22日递交的第2013-089532号日本专利申请的优先权的权益，所述日本专利申请的全部内容通过引用并入本文。
【技术领域】
[0003]本发明涉及ー种立体图像显示技木。更具体地，本发明涉及用于将图像转换为即使观察者改变其位置也不会感到有不适感的立体图像的立体图像显示装置等。
【背景技术】
[0004]近来，一般市场上出售能够观看立体图像的电视机。伴随于此，立体图像内容量增カロ，且用于观看立体图像的环境逐步地进入良好的状态。通常，观察者配戴用于显示立体图像的眼镜，不同视差的图像被投影到左眼和右眼，使得观察者可以在立体图像电视机上观看立体图像。然而，许多观察者对于配戴用于显示立体图像的眼镜感到不悦，期望获得不需要这样的眼镜的立体图像显示装置。此外，当眼镜式立体图像显示装置被用作移动装置吋，由于立体图像显示装置和用于显示立体图像的眼镜需要被携帯到外面，多有不便。因此，对于移动用途而言，更强烈地期望获得不需要眼镜的立体图像显示装置。
[0005]作为不需要用于显示立体图像的眼镜的立体图像显示装置，通常使用的是这样一种类型的立体图像显示装置:该立体图像显示装置划分用于投影立体图像的空间区域，且将不同视差的图像投影到所划分的各个空间区域，以便将不同视差的图像投影到观察者的左眼和右眼。通过在立体图像显示装置的立体显示面板上设置柱状透镜和视差屏障，将不同视差的图像投影到所划分的各个空间区域。
[0006]利用这种类型的立体图像显示装置，不需要配戴用于显示立体图像的眼镜。因此，从避免配戴眼镜造成麻烦来说，这是极好的且尤其期望用在移动用途上。然而，使用这种类型的立体图像显示装置，由于将不同视差的图像空间分离而进行投影，因此观察者可以正确地视觉识别立体图像的空间区域变得有限。观察者可以正常地视觉识别立体图像的空间区域限于这样一种情况:观察者的左眼的位置在左眼图像所被投影的空间区域内且观察者的右眼的位置在右眼图像所被投影的空间区域内。当观察者的左眼和右眼的位置从这些空间区域移位时，左眼图像和右眼图像彼此重叠，这导致将3D串扰图像(CT-图像)的视频投影至观察者。
[0007]现在，将參照附图描述被立体显示面板划分的空间区域。首先，所描述的是在视差屏障用于立体显示面板的情况下的空间区域。图84示出利用视差屏障式的立体图像显示装置将不同视差的图像投影至观察者的左眼和右眼的光学模型的ー个示例。图84是从观察者的头部上方观察到的剖视图，其中，观察者的双眼(右眼55R和左眼55L)位于与显示装置的显示平面相距最佳观察距离OD的距离处的观察平面30上，观察者的双眼的中心与显示面板的中心相互匹配。[0008]图像显示面板(例如液晶面板)(未示出)由一组光调制器构成，该光调制器是排列成矩阵的像素。在图84中，在交替排列的右眼像素4R和左眼像素4L中，仅示出在图像显示面板的两端和中心的像素。用作划分空间区域且投影图像的部件的视差屏障6被设置在显示面板的离观察者较远的远侧。视差屏障6是形成有大量的细竖条纹狭缝6a的屏障(遮光板)，并且该视差屏障6以这样的方式设置:屏障本身的纵向方向垂直于图像显示面板的左眼像素4L和右眼像素4R所排列的方向。在视差屏障的更远侧设置有光源(未示出:所谓的背光源)。从光源发出的光通过狭缝6a传送，且在图像显示面板内的像素中其强度被调节的同时被朝向观察者投影。由于狭缝6a的存在，会限制右眼像素4R和左眼像素4L的投影方向。
[0009]当从各个狭缝6a发出的光中经过最近的像素的光的轨迹图示为光线20时，可以获得右眼区域70R (右眼图像所投影的空间区域)和左眼区域70L (左眼图像所投影的空间区域)，在右眼区域70R中，所有的右眼像素4R的投影图像重叠，在左眼区域70L中，所有的左眼像素4L的投影图像重叠。在右眼区域70R中仅可观察到来自右眼像素4R的投影图像，在左眼区域70L中仅可观察到来自左眼像素4L的投影图像。因此，如果在观察者的右眼55R位于右眼区域70R内且左眼55L位于左眼区域70L内时将视差图像投影至左眼和右目艮，则观察者将该视差图像视觉识别为立体图像。换句话说，当右眼55R位于右眼区域70内且左眼55L位于左眼区域70L内时，观察者可以观察到预期的立体图像。
[0010]图84所示的显示装置被设计为:右眼像素4R和左眼像素4L (宽度P)中的每一个的最佳观察距离OD处的投影图像(宽度P’ )全部彼此重叠，使得右眼区域70R和左眼区域70L的在观察平面30上的宽度最大。投影图像的宽度P’可主要基于狭缝6a和像素之间的距离h、像素间距P和最佳观察距离OD来确定。当宽度P’变宽时，右眼区域70R和左眼区域70L的宽度变宽。然而，不可能将观察者的双眼分别置于任意的位置，从而可以观看立体图像的立体区域不一定能被扩大。如果双眼之间的距离为e，则宽度P’优选地被设计为等于双眼之间的距离e。在宽度P’小于双眼之间的距离e的情况下，可进行立体观察的区域被限于宽度P’。然而，在宽度P’大于双眼之间的距离e的情况下，仅增大了双眼都位于右眼区域70R或左眼区域70L中的区域。应当注意，在图84中记录了远观察距离FD、近观察距离ND和狭缝宽度S。
[0011]此外，图85示出当从观察者处观看时视差屏障6位于显示面板的前侧的情况下的光学模型。如同在从观察者处观看时屏障位于显示面板的远侧的情况下，其被设计为:观察者位于最佳观察距离OD处，且在观察平面30中左眼像素和右眼像素(宽度P)中的每一个的投影图像(宽度P’)彼此重叠。当从各个像素发出的光中通过最近的狭缝6a的光的轨迹图示为光线20时，可以获得右眼区域70R和左眼区域70L，在右眼区域70R中，所有的右眼像素4R的投影图像重叠，在左眼区域70L中，所有的左眼像素4L的投影图像重叠。
[0012]然后，图86示出当使用柱状透镜代替视差屏障时所划分的空间区域。在图86中，仅是将图85的视差屏障6更换为柱状透镜3。应当注意，在图86中记录了柱面透镜宽度L0
[0013]然后，将通过使用柱状透镜型光学模型来研究如下情况:观察者不在其可以正常地视觉识别立体图像的区域(立体观看空间)而位于3D串扰观看空间中。图87是当观察者移动至右侧使得右眼55R位于右眼区域70R和左眼区域72L之间的边界处且左眼55L位于右眼区域70R和左眼区域70L之间的边界处时，从观察者的头部上方观察到时的剖视图。
[0014]在这种情况下，在从右眼像素4R发出的光中经过最近的柱面透镜3a的主点(顶点)的光线20和在从左眼像素4L发出的光中经过第二近的柱面透镜3b的主点(顶点)的光线21都被投影至观察者的右眼55R的位置。即，在图87中，观察者利用右眼55R观察来自右眼像素4R和左眼像素4L的投影图像。因此，当观察立体图像时，右眼像素4R和左眼像素4L重叠而产生双像(所谓的3D串扰图像(CT-图像))。因此，不能看见预期的立体图像。此处应当注意，右眼区域70R和左眼区域72L之间的边界区域以及右眼区域70R和左眼区域70L之间的边界区域是3D串扰观看空间。
[0015]如上所述，不需要用于显示立体图像的眼镜的立体图像显示装置具有根据观察者的观察位置而产生由3D串扰引起的CT-图像的问题。因此，观察者感到不适，这是阻碍立体图像显示装置普及的ー个原因。
[0016]为了克服上述问题，提出了这样ー种方法:在时分型立体图像显示装置中，通过将黑侧校正数据或白侧校正数据添加至如下的图像区域，来减轻3D串扰的影响，在该图像区域中，由于由液晶的延迟产生的3D串扰，立体图像内容的左眼图像(L图像)和右眼图像(R图像)内的亮度值改变。此外，还提出这样ー种方法:通过对黑侧校正数据和白侧校正数据实施图像模糊处理(诸如低通滤波等)而添加平滑的校正数据，使得CT-图像变得难以被人眼识别，来减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2011-166744(专利文献I))。
[0017]此外，还提出了这样的方法:通过生成减去了由3D串扰混入的图像分量得到的图像数据并显示所获得的数据，来减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2001-298754 (专利文献2)、日本未经审查的专利公开2002-095010 (专利文献3))。当通过3D串扰使R图像的a %的图像分量混入L图像中时，通过使用下式I来进行图像数据的校正处理。
[0018]Lf (x, y) =Lc (x, y) - a X Rc (x, y)式 I
[0019]此处应当注意，Lf (x, y)表示进行校正处理后的L图像的亮度值，而Le(X，y)表示作为原始数据的立体图像内容的L图像的亮度值。此外，a表示3D串扰量(将要混入的图像分量的比例)，且Re(x，y)表示作为原始数据的立体图像内容的R图像的亮度值。
[0020]此外，还提出这样ー种方法:在由3D串扰产生的CT-图像所被投影的观察位置处，将双视点的图像数据中的一个图像数据转换成黑色图像且仅投影另ー个图像数据，来减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2008-089787 (专利文献4))。
[0021]此外，还提出这样ー种立体图像显示装置:其通过测量观察者的观察位置且根据观察位置在生成多视点视差图像的 子像素内进行亮度调整处理，来减轻由3D串扰引起的 CT-图像的影响(Juyong Park 等的“Active Crosstalk Reduction on Mult1-ViewDisplays Using Eye Detection” SID2011, 61.4，第 920-923 页(非专利文献 I ))。
[0022]此外，还提出这样ー种方法:利用液晶遮闭眼镜型立体图像显示装置，基于视差量，对立体图像内容的左眼图像(L图像)和右眼图像(R图像)应用图像模糊处理(诸如低通滤波等)，来减轻由眼镜的遮闭切换时的延迟产生的3D串扰引起的CT-图像的影响(日本未经审查的专利公开2011-040946 (专利文献5))。
[0023]此外，还提出这样ー种方法:在液晶遮闭眼镜型立体图像显示装置中，为了减轻由眼镜遮闭的时刻、液晶面板的时刻和背光源的时刻的偏移而生成的3D串扰所引起的CT-图像的影响，扩大图像数据的亮度值的动态范围，来缩短用于显示由3D串扰引起的CT-图像的时间(Yuki Iwanaka 等的“Image Processing-based Crosstalk Reduction forStereoscopic Displays with Shutter Glasses”SID2011, 55.4，第 816-819 页(非专利文献 2))。
[0024]此外，还提出这样ー种方法:根据立体图像显示装置的显示类型(液晶遮闭眼镜类型、偏光眼镜类型)，通过将图像切換为减轻由3D串扰引起的CT-图像的影响的图像数据，即使在使用各种显示类型的立体图像显示装置的情况下，也可减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2012-039592 (专利文献6))。
[0025]此外，即使在显示相同视差的立体图像内容的情况下，观察者观察立体图像内容的视差也根据立体图像显示装置和观察者的观察位置之间的距离而变化。还提出这样ー种方法:当根据立体图像显示装置和观察者的观察位置之间的距离过近时，立体图像内容的视差变大，为了解决无法识别立体图像的问题，根据立体图像显示装置和观察者的观察位置之间的距离来调整立体图像内容的视差以显示立体图像(日本未经审查的专利公开2012-044308 (专利文献 7))。
[0026]此外，当弹出式显示的立体图像内容被隐藏在图像框中而被部分地显示时，立体图像显示装置使观察者具有称作图像框扭曲的不适感。在平面图像显示的情况下，图像内容在相对于图像框的后方位置中，因此观察者视觉识别为:看不到内容的整个场景。然而，在立体图像显示的情况下，即使当立体图像被显示在相对于图像框的前侧，由于图像框，立体图像内容部分地被隐藏地显示，因此观察者感到不适。因此，为了克服在多视点型立体图像显示装置中图像框扭曲的问题，提出这样ー种方法:其使作为图像框扭曲的原因的在立体显示区域外显示的立体图像内容变得透明而不被显示，(日本未经审查的专利公开2005-252459 (专利文献 8))。
[0027]此外，为了减轻由观看立体图像引起的疲劳，还提出对构成立体图像的图像数据进行模糊处理的方法:(日本未经审查的专利公开2011-082829 (专利文献9))。
[0028]此外，由于人眼具有聚焦功能，因此当观看远距离处的物体时发生由于人眼的聚焦功能而引起的离焦状态。然而，当在立体图像显示装置上显示立体图像的情况下，由于从相同平面上的面板投影立体图像，因此不会发生由于人眼的聚焦功能而引起的离焦状态。为了减轻该状态，提出这样ー种方法:測量观察者的观察位置且对构成立体图像的图像数据进行模糊处理(日本未经审查的专利公开2011-244349 (专利文献10))。
[0029]对于不需要用于显示立体图像的眼镜的裸眼立体图像显示装置，根据观察者的观察位置由3D串扰引起的CT-图像的影响较大。这不仅使观察者具有不适感，而且在低画质的立体图像显示装置的情况下成为引起生理的不稳定(诸如，感觉视频晕眩或眼睛疲劳)的因素之一，这是阻碍裸眼立体图像显示装置普及的原因。
[0030]作为用于克服这样的问题的方法，提出了专利文献I。然而，专利文献I的方法不能考虑观察者的观察位置来调整图像数据的模糊量，因此，当观察者的观察位置移动时，不能进行图像模糊处理以减轻由3D串扰引起的CT-图像的影响的。
[0031]此外，专利文献2和专利文献3的方法通过从图像数据中减去由于3D串扰混入的图像分量，来减轻由3D串扰引起的CT-图像的影响。然而，只有当3D串扰量小且待混入的图像分量的量小时，才可以应用通过减法执行的图像处理方法。当3D串扰量大时，不能从原图像数据中减去将要混入的图像分量。因此，出现不能完全去除混入的图像分量的图像区域。因此，当观察者的观察位置移动且3D串扰量增加时，不能减轻由3D串扰引起的CT-图像的影响。
[0032]此外，利用专利文献4的方法，可以通过将一个图像数据转换成黑色图像来去除由3D串扰引起的CT-图像的影响。然而，仅另一个图像数据被朝向观察者投影，使得朝向观察者投影的图像数据的亮度值下降。此外，虽然在专利文献4中描述了增加背光源的输出作为亮度值下降的对策，但这会引起功耗的增加、背光源寿命的缩短等。此外，在朝向观察者投影双视点图像数据(右眼图像和左眼图像)的立体图像显示装置中，当其中一个图像数据被转换为黑色图像时，可能仅黑色图像被投影至观察者的另一只眼睛。因此，不能应用专利文献4的图像处理方法。
[0033]利用非专利文献1，可以通过测量观察者的观察位置且根据观察位置对生成多视点视差图像的子像素进行亮度调整处理，来减轻由3D串扰引起的CT-图像的影响。然而，需要按照子像素的顺序进行亮度调整处理，使得处理变得复杂。此外，如同专利文献4的情况，利用朝向观察者投影双视点图像数据(右眼图像和左眼图像)的立体图像显示装置，当通过对子像素进行的亮度调整处理使亮度值下降时，可能仅将亮度值下降的子像素被投影到观察者的另一只眼睛。因此，不能应用非专利文献I的图像处理方法。
[0034]此外，利用专利文献5和非专利文献2，在液晶遮闭眼镜型立体图像显示装置中可以减轻由3D串扰引起的CT-图像的影响。然而，没有考虑关于在裸眼型立体图像显示装置中生成的3D串扰的对策，且没有通过考虑观察者的观察位置来调整图像数据的模糊量。因此，当观察者的观察位置移动时，不能进行图像模糊处理以减轻由3D串扰引起的CT-图像的影响。
[0035]此外，专利文献6公开了如下方法:根据立体图像显示装置的显示方式，通过将图像转换为减轻3D串扰的影响的图像数据来显示图像的方法。然而，该方法没有考虑裸眼型立体图像显示装置的显示方式，使得不可能利用裸眼型立体图像显示装置来减轻3D串扰的影响。
[0036]此外，专利文献7公开了根据立体图像显示装置和观察者的观察位置之间的距离对立体图像内容进行视差调整处理的方法。然而，裸眼型立体图像显示装置通过使用柱状透镜或视差屏障，将图像在空间上分离成右眼图像和左眼图像从而投影图像，该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(视差调整量计算方法)，从而不能减轻由3D串扰引起的CT-图像的影响。
[0037]此外，专利文献8提出了使显示在立体显示区域外的立体图像内容(其为图像框扭曲的原因)变得透明从而不被显示的方法。然而，裸眼型立体图像显示装置通过使用柱状透镜或视差屏障，将图像在空间上分离成右眼图像和左眼图像从而投影图像，该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(使图像透明从而不被显示的方法)。因此，不能减轻由3D串扰引起的CT-图像的影响
[0038]此外，专利文献9提出了对将成为立体图像的图像数据进行模糊处理的方法。然而，裸眼型立体图像显示装置通过使用柱状透镜或视差屏障将图像在空间上分离成右眼图像和左眼图像从而投影图像，该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(图像模糊)，从而不能减轻由3D串扰引起的CT-图像的影响。
[0039]此外，专利文献10提出了测量观察者的观察位置且对将成为立体图像的图像数据进行模糊处理的方法。然而，裸眼型立体图像显示装置通过使用柱状透镜或视差屏障，将图像在空间上分离成右眼图像和左眼图像从而投影图像，该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(图像模糊)，从而不能减轻由3D串扰引起的CT-图像的影响。
【发明内容】
[0040]因此，本发明的示例性目的是克服上述问题且提供如下的立体图像显示装置等，利用该立体图像显示装置等，即使利用裸眼型立体图像显示装置，也可减轻由3D串扰引起的CT-图像的影响，使得即使当观察者的观察位置移动时，观察者也不会感到不适。
[0041]根据本发明的示例性方面的立体图像显示装置，其特征在于，所述立体图像显示装置包括:
[0042]立体显示面板，所述立体显示面板包括:光分离模块，所述光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在该立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到所述观察者的左眼而显示立体图像；反向立体观看空间，在该反向立体观看空间中所述左眼图像被投影到所述右眼且所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及3D串扰观看空间，在该3D串扰观看空间中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述3D串扰观看空间在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间；
[0043]观察者位置测量单元，所述观察者位置测量单元测量观察者的观察位置；
[0044]相对位置计算单元，所述相对位置计算单元计算所述立体显示面板相对于所測量的所述观察位置的相对位置；
[0045]图像滤波器值计算単元，所述图像滤波器值计算単元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及
[0046]图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对图像数据进行图像滤波处理。
[0047]根据本发明的另ー示例性方面的图像处理装置，其特征在于，图像处理装置将图像数据输出至立体显示面板，所述立体显示面板包括:光分离模块，所述光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，在存在:立体观看空间，在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像；反向立体观看空间，在所述反向立体观看空间中所述左眼图像被投影到所述右眼且所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及串扰区域，在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述串扰区域在所述第一方向上位于立体观看空间和反向立体观看空间之间，所述图像处理装置包括:
[0048]相对位置计算单元，所述相对位置计算单元计算所述立体显示面板相对于观察者的观察位置的相对位置；
[0049]图像滤波器值计算单元，所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及
[0050]图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对所述图像数据进行图像滤波处理。
[0051]根据本发明的另一示例性方面的立体图像处理方法，其特征在于，该立体图像处理方法使用立体显示面板，所述立体显示面板包括:光分离模块，该光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像；反向立体观看空间，在所述反向立体观看空间中所述左眼图像被投影到所述右眼且所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及串扰区域，在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述串扰区域在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间，所述方法包括:
[0052]测量观察者的观察位置；
[0053]计算所述立体显示面板相对于所述观察位置的相对位置；
[0054]根据所述相对位置计算用于调节图像模糊量的图像滤波器值；
[0055]按照所述图像滤波器值对所述图像数据进行图像滤波处理；以及
[0056]将执行了图像滤波处理的图像数据输出到所述立体显示面板。
【专利附图】
【附图说明】
[0057]图1为示出根据第一示例性实施方式的立体图像显示装置的方框图；
[0058]图2为立体图像显示装置的外观图；
[0059]图3为示出关于观察者的观察位置和立体显示面板的相对位置的坐标系的示意图；
[0060]图4是示出立体图像显示装置的3D串扰特性数据的曲线图；
[0061]图5是示出3D串扰特性数据和光学模型的关系图；
[0062]图6是示出3D串扰特性数据和光学模型的关系图；
[0063]图7是光学模型的放大图；
[0064]图8是立体观看空间、反向立体观看空间、3D串扰观看空间的宽度和视角的关系图；
[0065]图9是示出高斯滤波器的形状的图；
[0066]图10是示出图像滤波器(高斯滤波器)的图表；
[0067]图11是示出图像滤波器(高斯滤波器)的图表；
[0068]图12是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0069]图13是不出关于相对于3D串扰量的、各种值的关系表的不意图；
[0070]图14是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；[0071]图15是示出立体图像显示装置的3D串扰特性数据的曲线图；
[0072]图16是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0073]图17是示出立体图像显示装置的3D串扰特性数据的曲线图；
[0074]图18是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0075]图19是示出保存在图像数据保存单元内的图像数据的示意图；
[0076]图20是立体图像处理方法的流程图；
[0077]图21是立体图像显示装置的外观图；
[0078]图22是图像处理装置的方框图；
[0079]图23是示出具有八个视点的光学模型的示意图；
[0080]图24是示出具有四个视点的光学模型的示意图；
[0081]图25是根据第二示例性实施方式的立体图像显示装置的方框图；
[0082]图26A是示出在3D装置特性数据中立体图像显示装置的亮度特性数据的曲线图；
[0083]图26B是示出在3D装置特性数据中立体图像显示装置的3D串扰特性数据的曲线图；
[0084]图27是示出图像滤波器相对于R图像的视角的窗口宽度值的曲线图；
[0085]图28是示出图像滤波器相对于L图像的视角的窗口宽度值的曲线图；
[0086]图29是不出相对于3D串扰量的、各种值的关系表的不意图；
[0087]图30是示出相对于R图像的视角的、图像滤波器的窗口宽度值的曲线图；
[0088]图31是示出相对于L图像的视角的、图像滤波器的窗口宽度值的曲线图；
[0089]图32是示出与观察者的双眼的相对位置对应的图像滤波器值计算条件表的示意图；
[0090]图33是示出相对于R图像的视角的、图像滤波器的窗口宽度值的曲线图；
[0091]图34是示出相对于L图像的视角的、图像滤波器的窗口宽度值的曲线图；
[0092]图35是示出由3D串扰生成的CT-图像的图像显示状态的示意图；
[0093]图36是示出通过执行根据第一示例性实施方式的图像滤波处理来减轻CT-图像的图像显示状态的示意图；
[0094]图37是示出通过执行根据第二示例性实施方式的图像滤波处理来减轻CT-图像的图像显示状态的示意图；
[0095]图38是立体图像处理方法的流程图；
[0096]图39是根据第三实施方式的立体图像显示装置的方框图；
[0097]图40示出在相对位置处出现CT-图像的图像区域的示意图；
[0098]图41是示出图像滤波处理的实施判断表的示意图；
[0099]图42示出投影至观察者的右眼和左眼上的图像显示状态的示意图；
[0100]图43A示出分别投影至左眼和右眼的立体图像内容的图像显示状态；
[0101]图43B示出立体图像内容的图像显示状态，其示出应用于L图像和R图像的滤波处理内容；
[0102]图43C示出立体图像内容的图像显示状态，其示出分别投影至左眼和右眼上的滤波处理后的图像显示状态；[0103]图44示出投影至观察者的右眼和左眼上的图像显示状态；
[0104]图45示出关于图像显示状态和3D串扰特性数据的关系图；
[0105]图46是立体图像处理方法的流程图；
[0106]图47是根据第四示例性实施方式的立体图像显示装置的方框图；
[0107]图48是示出由于温度降低引起的光学模型的变化的示意图；
[0108]图49是示出由于温度升高引起的光学模型的变化的示意图；
[0109]图50是示出在低温下立体图像显示装置的3D串扰特性数据的曲线图；
[0110]图51是示出由于温度降低引起的光学模型的变化的示意图；
[0111]图52是在低温下光学模型的放大图；
[0112]图53是关于立体观看空间、反向立体观看空间、3D串扰观看空间和视角的关系图；
[0113]图54是立体图像处理方法的流程图；
[0114]图55是根据第五示例性实施方式的立体图像显示装置的方框图；
[0115]图56是视差图像和视差值之间的关系图；
[0116]图57是视差值和LR图像之间的关系图；
[0117]图58示出根据视差图像计算出的权重值的图；
[0118]图59是立体图像处理方法的流程图；
[0119]图60是根据第六示例性实施方式的立体图像显示装置的方框图；
[0120]图61示出球状物体弹出式显示在立体图像的中心部分的时的L图像和R图像的示意图；
[0121]图62是示出由通过图61的L图像和R图像的混合生成的3D串扰引起的CT-图像的不意图；
[0122]图63是示出应用于L图像的图像滤波器的形状的示意图；
[0123]图64是示出应用于R图像的图像滤波器的形状的示意图；
[0124]图65是示出应用于L图像的图像滤波器值的图表；
[0125]图66是示出应用于R图像的图像滤波器值的图表；
[0126]图67是示出应用于L图像的图像滤波器值的图表；
[0127]图68示出应用了横向非対称图像滤波处理的L图像和R图像的示意图；
[0128]图69是示出由通过图68的L图像和R图像的混合生成的3D串扰引起的CT-图像的不意图；
[0129]图70示出应用了横向对称图像滤波处理的L图像和R图像的示意图；
[0130]图71是示出由通过图70的L图像和R图像的混合生成的3D串扰引起的CT-图像的不意图；
[0131]图72是基于位移传感器的虚拟摄像机的布局图；
[0132]图73是基于束角(toe-1n)的虚拟摄像机的布局图；
[0133]图74是示出应用于L图像的图像滤波器的形状的示意图；
[0134]图75是示出应用于R图像的图像滤波器的形状的示意图；
[0135]图76是立体图像处理方法的流程图；
[0136]图77是根据第七示例性实施方式的立体图像显示装置的方框图；[0137]图78是示出相对于视角的视差容许值的曲线图；
[0138]图79是不出相对于3D串扰量的、各种值的关系表的不意图；
[0139]图80A是示出相对于视角的视差容许值的曲线图；
[0140]图80B是示出相对于视角的、内容的视差最大值的曲线图；
[0141]图80C是示出相对于视角的在执行视差调整处理后的视差最大值的曲线图；
[0142]图81是通过视差调整量而改变的视差图像数据组的曲线图；
[0143]图82是由像素移动而产生的R’图像的示意图；
[0144]图83是立体图像处理方法的流程图；
[0145]图84是视差屏障的光学模型图；
[0146]图85是视差屏障的光学模型图；
[0147]图86是柱状透镜的光学模型图；
[0148]图87是用于描述3D串扰观看空间的光学模型图；
[0149]图88是示出根据第八示例性实施方式的立体图像显示装置的方框图；
[0150]图89是示出相对于视角的虚拟摄像机视点位置的曲线图；
[0151]图90是立体图像内容和虚拟摄像机视点位置的概念图；
[0152]图91是立体图像显示装置和视角的概念图；
[0153]图92是示出相对于视角的虚拟摄像机视点位置的曲线图；
[0154]图93是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0155]图94是示出相对于视角的虚拟摄像机视点位置的示意图；
[0156]图95是示出相对于视角的虚拟摄像机视点位置的示意图；
[0157]图96是示出相对于视角的、四视点虚拟摄像机的视点位置的曲线图；
[0158]图97是立体图像处理方法的流程图；
[0159]图98是示出相对于视角的虚拟摄像机视点位置的曲线图；
[0160]图99是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0161]图100是示出相对于视角的虚拟摄像机视点位置的曲线图；以及
[0162]图101是示出相对于视角的虚拟摄像机视点位置的曲线图；
【具体实施方式】
[0163]下文，将参照【专利附图】
【附图说明】用于实施本发明的方式(以下称为“示例性实施方式”)。
[0164](第一不例性实施方式)
[0165]下面将描述根据第一实施方式的立体图像显示装置的结构。图1是立体图像显示装置11的方框图。立体图像显示装置11包括:观察者位置测量单元101 ;相对位置计算单元102 ;装置特性数据保存单元103 ;图像滤波器值计算单元104 ;图像数据保存单元105 ；图像滤波处理单元106 ;以及立体显示面板单元107。此外，集成了相对位置计算单元102、图像滤波器值计算单元104和图像滤波处理单元105的处理单元被称为图像处理单元151。
[0166]图2示出立体图像显示装置11的外观。图3示出关于观察者10的观察位置和立体显示面板107a的相对位置的坐标系。立体显示面板107a为立体显示面板单元107的一部分，摄像机IOla为观察者位置测量单元101的一部分。在立体图像显示装置11中，摄像机IOla被设置在立体显示面板107a的上侧，通过由摄像机IOla拍摄观察者10来测量观察者10的观察位置。此外，由于摄像机IOla和立体显示面板107a的设置位置是固定的，因此通过使用摄像机IOla拍摄观察者10，能够计算出观察者10的观察位置和立体显示面板107a之间的相对位置。
[0167]立体显示面板107a包括:作为光电模块的显示面板，在该显示面板中，至少包括用于显示用于第一视点的图像的子像素和用于显示用于第二视点的图像的子像素的多个像素排列成矩阵；以及光分离模块，该光分离模块能够使各个图像在指定的不同方向上分离。可以被用作光电模块的显示面板的示例为液晶类型、有机EL类型、等离子类型等。可被使用的光分离模块的示例为柱状透镜、视差屏障、液晶透镜等。将通过使用显示面板2和柱状透镜3的组合来描述该示例性实施方式(參见图5)。此处应当注意，在本发明的示例性实施方式中所描述的“第一方向”的不例为图3中所不的X-轴方向，并且,在不例性实施方式中所描述的“光学模块“的示例为上文所述的光分离模块。
[0168]此外，实现图像处理单元151、装置特性数据保存単元103和图像数据保存単元105的功能的计算器150被放置在立体显示面板107a的后部。
[0169]下文，将描述包括在立体图像显示装置11中的各单元的功能。
[0170]观察者位置测量单元101的功能为测量观察显示在立体显示面板107a上的立体图像内容的观察者的位置。为了测量观察者位置，通过利用设置在立体显示面板107a的上侧的摄像机IOla拍摄观察者，来测量观察者10的右眼和左眼的位置。为了测量观察者10的观察位置，不仅在摄像机IOla的拍摄平面上測量水平方向(X轴、Y轴)的位置，还测量相对于摄像机IOla在深度方向(Z轴)上的位置。现在用于测量相对于摄像机IOla在深度方向上的距离的多种方法被提出。
[0171]所述方法中的ー种方法是光学图案投影方法，利用该方法，从与摄像机不同的视点朝向观察者投影红外线等的光学图案，并且基于三角測量原理由位移量測量深度距离。采用光学图像投影方法的測量设备近年来已经作为家用游戏机和计算机周边设备而被产品化。
[0172]第二种方法是飞行时间法(Time of Flight)，利用该方法，从摄像机向观察者照射近红外正弦波光，并且根据观察者反射的正弦波光到达摄像机之前的光飞行的时间间隔来測量深度距离。近年来，TOF传感器的性能的改善是显著的，从而使得逐渐可以利用小而便宜的摄像机来測量深度距离。
[0173]第三种方法是多视点摄像机方法，利用该方法，将两个或更多个摄像机设置在不同的视点处。为了测量深度距离，从任意视点的图像中检测观察者的特征点，并且从不同视点的图像中捜索对应于特征点的点，以基于三角測量原理计算深度距离。
[0174]第四种方法使用透镜焦点信息，利用该方法，从利用不同的被拍摄视野深度的光学系统透镜在各个焦点处拍摄到的多焦点图像组测量观察者的深度距离。
[0175]上文描述了用于测量深度距离的四种方法。第一示例性实施方式可以采用这些方法中的任一方法。此外，可以采用任何其他的測量方法。例如，可以通过预先保存观察者的面部尺寸并且将该面部尺寸与由摄像机拍摄的观察者的面部图像尺寸进行比较，来測量深度距离。
[0176]关于用于从所拍摄的图像检测观察者的脸的处理，预先基于面部图像的特征量(眼睛、鼻子、嘴、下巴等)生成模板数据，并且通过使所拍摄的图像与模板数据相匹配来检测观察者的面部。通过使用机械学习方法(诸如，支持向量机(SVM)和向量量化)，基于观察者的面部图像来生成模板数据。作为面部检测功能，还可以使用多功能软件。此外，面部检测功能软件还可以通过利用深度信息，考虑观察者面向的方向，来实现面部检测处理。因此，进一步提闻了检测精度。
[0177]利用上述处理，通过检测观察者10的面部，来测量右眼和左眼的位置。作为另一示例，还可以使用加速度传感器和陀螺仪传感器，而不使用摄像机。将各种传感器预先设置在立体图像显示装置11中，且参考从传感器获得的位置信息，来测量观察者10的观察位置。
[0178]相对位置计算单元102的功能为计算从立体显示面板107a到观察者10的观察位置的相对位置。如图3所示，假设相对于立体显示面板107a的平面的横向方向是X-轴，相对于立体显示面板107a的平面的纵向方向为Y-轴，以及与立体显示面板107a的平面垂直方向为Z-轴，计算观察者的观察位置相对于立体显示面板107a的中心(作为原点)的相对位置。从由观察者位置测量单元101所测量到的观察者的右眼和左眼的位置中减去从摄像机IOla的设置位置到立体显示面板107a的设置位置的距离，来计算上述相对位置。此外，基于相对位置(X-轴、Y-轴、Z轴的坐标值)计算视角Θ。视角Θ和X-轴、Y-轴、Z轴的坐标值之间的关系式为式2，从而可以根据式3来计算视角Θ。
[0179]tan θ =X/Z式 2
[0180]Θ =tan_1 (X/Z) 式 3
[0181]装置 特性数据保存单元103的功能为保存相对于立体显示面板107a的视角的3D串扰数据。图4示出3D串扰特性数据的示 例。3D串扰特性数据的横轴表示视角Θ，且纵轴表不3D串扰量。3D串扰量表不左眼图像(L图像)混合在右眼图像(R图像冲的比例(还示出反向混合的情况:R图像混合在L图像中的比例)。3D串扰特性数据根据立体显示面板107a的装置特性而为不同的值，并且该值可以基于立体显示面板107a的设计条件和制造条件而计算出。此外，即使通过利用用于3D串扰的评估装置测量立体显示面板107a也能够获得3D串扰特性数据。在这种情况下，期望不仅在作为立体显示面板107a的中心的X-轴原点处(参见图3的坐标系)，而且在面板外部的指定的±X点(稍后将描述的图5的距离WP)进行计算或测量。下文，在说明书中，将通过使用3D串扰特性数据的曲线图进行说明。应当注意，为了便于说明，将基于X-轴原点的曲线图进行说明。
[0182]在立体图像显示装置11中，根据3D串扰特性数据，确定右眼区域、左眼区域和3D串扰观看空间。以示例的方式定义:观察者10可以正常地识别立体图像的3D串扰量的阈值为β2或更小，视角Qtl至视角Q1的区域为右眼区域，视角θ2至视角04的区域为3D串扰观看空间，视角θ5至视角θ6的区域为左眼区域。
[0183]图5示出了这种情况的立体图像显示装置11中将右眼图像和左眼图像投影至观察者10的右眼和左眼的光学模型。在图5中，由于视角θ2至视角θ4的部分构成3D串扰观看空间，因此右眼区域70R和左眼区域70L与图86的右眼区域70R和左眼区域70L相比较窄。对于右眼55R，右眼区域70R是立体观看空间，左眼区域70L和左眼区域72L是反向立体观看空间，其他的区域为3D串扰观看空间。在图5中，记录了最佳观看距离0D、远观看距离FD、近观看距离ND、柱面透镜宽度L、像素宽度P、立体显示面板的中心像素的位置与两端像素的位置之间的宽度WP等。[0184]作为另ー示例，如果将3D串扰量的阈值定义为P1或更小，则基于图4，视角S1至视角05的区域构成3D串扰观看空间，其他区域构成右眼区域和左眼区域。图6示出了这种情况的立体图像显示装置11的光学模型。在图6中，由于视角Q1至视角9 5的部分构成3D串扰观看空间，因此右眼区域70R和左眼区域70L相对于图5的右眼区域70R和左眼区域70L进ー步变窄。对于右眼55R，如图5的情况，右眼区域70R为立体观看空间，左眼区域70L和左眼区域72L为反向立体观看空间，其他区域为3D为串扰观看空间。如上所述，示出了根据3D串扰特性数据来确定立体观看空间、反向立体观看空间和3D串扰观看空间。
[0185]可以通过立体图像显示装置11的光学測量和主观评估来确定3D串扰量的阈值。作为可以以光学方式測量3D串扰的装置，具有各种类型，诸如，锥光偏振仪型、角度仪类型以及傅立叶类型。可以通过利用这些类型的測量装置来測量相对于视角的亮度分布，并且可以通过下式4来计算3D串扰量(3DCT (0))。
[0186]3DCT ( 9 ) = (Y (LBRff) - Y (LBRB)) / (Y (LffRB) - Y (LBRB)) 式 4
[0187]此处应当注意，Y(LBRff)是在左眼图像是黑的且右眼图像是白的时的条件下的亮度，Y(LBRB)是在左眼图像是黑的且右眼图像是黑的时的条件下的亮度，且Y(LWRB)是在左眼图像是白的且右眼图像是黑的时的条件下的亮度。
[0188]当通过上述的測量装置中的任一測量装置测量时，定性结果没有大的差异。然而，由此获得的定量数值根据測量方式和装置规格而不同。比对典型的測量结果和主观立体区域评估结果，可以发现:当3D串扰量约为10%或更少时，可以实现立体视觉。该值可以用作上文所述的3D串扰量的阈值。
[0189]图7示出图6所示的区域80的放大图。Z-轴上的任意值Z1和Z2处的右眼区域70R的区域宽度、左眼区域72L的区域宽度和3D串扰观看空间的区域宽度是不同的。立体观看空间的区域宽度、反向立体观看空间的区域宽度和3D串扰观看空间的区域宽度根据在Z轴上的位置而改变。
[0190]此外，图8示出在Z-轴上的任意点rL'处的立体观看空间、反向立体观看空间、3D串扰观看空间的区域宽度与视角之间的关系图。关于右眼55R (作为基准)，视角Qtl至视角Q1的区域为反向立体观看空间，视角Q1至视角e5的区域为3D串扰观看空间，视角05至视角e6的区域为立体观看空间。此外，3D串扰量在视角e3的位置处最大，根据图4，视角e2至视角e4的区域是3D串扰量为P2或更大的区域。
[0191]图像滤波器值计算単元104的功能为基于装置特性数据针对视角计算出适于立体图像显示的图像滤波器值。对于图像滤波器值，应用用于实施立体图像内容的图像数据的模糊处理(也称为平滑处理、低通滤波处理等)的滤波器形状。用于实施图像模糊处理的典型的滤波器形状可以是平均滤波器、中值滤波器、高斯滤波器等。在下面提供的示例中，将描述使用高斯滤波器的情況。
[0192]图9示出应用于立体图像内容的图像数据的高斯滤波器形状。图9示出了二维高斯滤波器形状，其中，X轴对应于图像数据的横轴方向，Y轴对应于图像数据的纵轴方向。由高斯分布函数的式4计算高斯滤波器。此处应当注意，方差O2是任意值。当0的值大吋，高斯滤波器形状平缓且图像模糊处理的效果也增强。
[0193]【表达式I】
【权利要求】
1.一种立体图像显示装置，所述立体图像显示装置包括: 立体显示面板单元，所述立体显示面板单元包括:光分离模块，所述光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在所述立体观看空间中，通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到所述观察者的左眼而显示立体图像；反向立体观看空间，在该反向立体观看空间中，所述左眼图像被投影到所述右眼而所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及，3D串扰观看空间，在该3D串扰观看空间中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左目艮，所述3D串扰观看空间在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间； 观察者位置测量单元，所述观察者位置测量单元测量观察者的观察位置； 相对位置计算单元，所述相对位置计算单元计算所述立体显示面板单元相对于测量到的所述观察位置的相对位置； 图像滤波器值计算单元，所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及 图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对图像数据执行图像滤波处理。
2.如权利要求1所述的立体图像显示装置，其中， 在所述第一方向上存在的多个所述反向立体观看空间之间包括至少两个或更多个所述立体观看空间，且所述3D串扰观看空间不仅存在于所述反向立体观看空间和所述立体观看空间之间，还存在于所述立体观看空间之间。
3.如权利要求1所述的·立体图像显示装置，还包括: 装置特性数据保存单元，所述装置特性数据保存单元保存装置特性数据，所述装置特性数据包含所述立体显示面板单元的针对所述相对位置的显示特性；以及 图像数据保存单元，所述图像数据保存单元保存或接收所述图像数据，其中， 所述图像滤波器值计算单元基于所述相对位置和所述装置特性数据，计算适于立体图像显示的所述图像滤波器值。
4.如权利要求3所述的立体图像显示装置，其中， 所述相对位置为所述观察者的观察位置与所述立体显示面板单元的显示平面之间的视角。
5.如权利要求3所述的立体图像显示装置，其中， 所述装置特性数据为3D串扰特性数据， 基于所述3D串扰特性数据计算所述图像滤波器值。
6.如权利要求5所述的立体图像显示装置，其中， 在所述3D串扰特性数据中，在将3D串扰量超过规定值的区域定义为3D串扰观看空间、将3D串扰量等于或小于所述规定值的区域定义为非3D串扰区域时，所述3D串扰观看空间的图像滤波器值大于所述非3D串扰区域的所述图像滤波器值。
7.如权利要求1所述的立体图像显示装置，其中， 所述图像滤波器值计算单元计算针对每个所述图像数据不同的图像滤波器值，以抑制由图像滤波处理引起的图像质量劣化。
8.如权利要求3所述的立体图像显示装置，还包括3D串扰图像区域计算单元，所述3D串扰图像区域计算单元基于所述相对位置和所述装置特性数据来计算3D串扰图像区域，其中 所述图像滤波处理单元按照所述图像滤波器值对所述图像数据中的所述3D串扰图像区域执行所述图像滤波处理。
9.如权利要求3所述的立体图像显示装置，还包括温度测量单元，所述温度测量单元测量环境温度，其中， 所述图像滤波器值计算単元基于对应于所述相对位置和由所述温度測量单元测量的环境温度的所述装置特性数据，计算适于立体图像显示的图像滤波器值。
10.如权利要求3所述的立体图像显示装置，其中， 所述图像滤波器值计算単元基于所述相对位置、所述装置特性数据以及所述图像数据的视差值，计算适于立体图像显示的图像滤波器值。
11.如权利要求1所述的立体图像显示装置，其中， 所述图像滤波器值计算単元通过使用适于出现由3D串扰引起的3D串扰图像的图像区域的方向性特征的横向非対称图像滤波器形状，计算所述图像滤波器值。
12.如权利要求11所述的立体图像显示装置，其中 所述图像滤波器值计算単元通过參照所述图像数据所保持的视差值，使用在以弹出式方向显示的图像区域与以深度方向显示的图像区域内所述图像滤波器形状的左侧方向和右侧方向彼此相反的横向非 対称图像滤波器形状，计算所述图像滤波器值。
13.如权利要求3所述的立体图像显示装置，还包括: 视差调节值计算单元，所述视差调节值计算单元基于所述相对位置和所述装置特性数据计算适于立体图像显示的视差调节值；以及 视差调节处理単元，所述视差调节处理单元按照所述视差调节值对所述图像数据执行视差调节处理。
14.如权利要求1所述的立体图像显示装置，其中， 所述图像滤波器值计算単元根据所述相对位置将区域划分成:立体观看空间、反向立体观看空间以及3D串扰观看空间，在所述立体观看空间中，左眼立体图像被投影到所述左眼而右眼立体图像被投影到所述右眼，在所述反向立体观看空间中，右眼立体图像被投影到所述左眼而所述左眼立体图像被投影到所述右眼，在所述3D串扰观看空间中，右眼立体图像和左眼立体图像被投影到所述左眼，或者左眼立体图像和右眼立体图像被投影到所述右眼；以及 当所述观察者从所述立体观看空间移动到所述反向立体观看空间时，所述图像滤波器值计算单元对于所述3D串扰观看空间的图像数据赋予大于所述立体观看空间或所述反向立体观看空间的图像滤波器值的图像滤波器值。
15.ー种立体图像显示装置，包括: 立体显示面板単元，所述立体显示面板単元包括光分离模块，所述光分离模块将光线分配到至少两个不同的视点 方向，且所述立体显示面板单元仅包括通过将不同视点的图像分别投影到观察者的双眼而显示立体图像的立体观看空间；观察者位置测量单元，所述观察者位置测量单元测量所述观察者的观察位置； 相对位置计算单元，所述相对位置计算单元计算所述立体显示面板单元相对于所述观察位置的相对位置； 图像滤波器值计算单元，所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及 图像滤波处理单元，所述图像滤波处理单元根据所述图像滤波器值对图像数据执行图像滤波处理。
16.如权利要求15所述的立体图像显示装置，其中， 所述相对位置是所述观察者的观察位置与所述立体显示面板单元的显示平面之间的视角。
17.如权利要求15所述的立体图像显示装置，其中， 所述图像滤波器值计算单元计算对于各所述图像数据不同的图像滤波器值，以抑制由所述图像滤波处理引起的图像质量劣化。
18.如权利要求15所述的立体图像显示装置，还包括温度测量单元，所述温度测量单元测量环境温度，其中， 所述图像滤波器值计算单元通过对应于所述相对位置和由所述温度测量单元测量的环境温度，来计算适于立体图像显示的图像滤波器值。
19.如权利要求15所述的立体图像显示装置，其中， 所述图像滤波器值计算单元·基于所述相对位置和所述图像数据的视差值，计算适于立体图像显示的所述图像滤波器值。
20.如权利要求15所述的立体图像显示装置，其中， 所述图像滤波器值计算单元通过参照由所述图像数据保持的视差值，使用在以弹出式方向显示的图像区域与以深度方向显示的图像区域内所述图像滤波器形状的左侧方向和右侧方向彼此相反的横向非对称图像滤波器形状，计算所述图像滤波器值。
21.如权利要求15所述的立体图像显示装置，还包括: 视差调节值计算单元，所述视差调节值计算单元基于所述相对位置计算适于立体图像显示的视差调节值；和 视差调节处理单元，所述视差调节处理单元按照所述视差调节值对所述图像数据执行视差调节处理。
22.如权利要求1所述的立体图像显示装置，包括任意视点图像产生单元，所述任意视点图像产生单元的功能为:通过参照所述相对位置计算单元计算出的相对位置，计算两个或更多个虚拟摄像机的视点位置，其中， 所述图像滤波处理单元按照由所述图像滤波器值计算单元计算出的图像滤波器值，对从所述摄像机拍摄到的图像数据执行所述图像滤波处理，并且将处理后的图像数据作为显示目标。
23.如权利要求22所述的立体图像显示装置，所述立体图像显示装置具有N个视点，N为3或更大，其中， 所述任意视点图像产生单元通过参照由所述相对位置计算单元计算出的相对位置，从N视点的虚拟摄像机中检测拍摄未被投影至观察者的图像的虚拟摄像机，并且在所述相对位置中不连续地移动所检测到的虚拟摄像机的视点位置。
24.如权利要求22所述的立体图像显示装置，其中， 所述任意视点图像产生单元从保存在所述图像数据保存単元中的多个图像数据中參照视点位置，来指定位于视点位置之间的任意视点位置；以及 根据由所述相对位置计算单元计算出的相对位置，反复显示从位于视点位置之间的任意视点位置拍摄到的图像数据。
25.如权利要求24所述的立体图像显示装置，其中， 保存在所述图像数据保存単元中的图像数据为总共两个视点的图像数据，所述图像数据为右眼图像数据和左眼图像数据； 所述任意视点图像产生单元从所述右眼图像数据和所述左眼图像数据中參照总共两个视点，来指定位于所述两个视点位置之间的任意视点位置， 根据由所述相对位置计算单元计算出的相对位置，反复显示从位于两个视点位置之间的任意视点位置拍摄到的图像数据。
26.如权利要求25所述的立体图像显示装置，其中， 所述任意视点图像产生单元在所述立体显示面板単元的所述立体观看空间中根据所述相对位置，反复显示从位于两个视点位置之间的任意视点位置拍摄到的图像数据。
27.一种将图像数据输出到立体显示面板単元的图像处理装置，所述立体显示面板单元包括:光分离模 块，所述光分离模块将光线分配至至少两个不同的视点方向；如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼来显示立体图像；反向立体观看空间，在所述反向立体观看空间中所述左眼图像被投影到所述右眼而所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上离开所述立体观看空间的位置处；以及串扰区域，在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述串扰区域在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间，所述图像处理装置包括: 相对位置计算单元，所述相对位置计算单元计算所述立体显示面板単元相对于所述观察者的观察位置的相对位置； 图像滤波器值计算単元，所述图像滤波器值计算単元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及 图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对图像数据执行图像滤波处理。
28.如权利要求27所述的图像处理装置，还包括: 观察者位置测量单元，所述观察者位置測量单元测量所述观察者的观察位置； 图像数据接收単元，所述图像数据接收単元接收执行图像滤波处理之前的所述图像数据；以及 图像数据发送単元，所述图像数据发送単元输出执行了所述图像滤波处理的所述图像数据。
29.如权利要求27所述的图像处理装置，还包括: 装置特性数据保存単元，所述装置特性数据保存単元保存包含立体显示面板単元的针对所述相对位置的显示特性的装置特性数据，其中 所述图像滤波器值计算单元基于所述装置特性数据和所述相对位置计算所述图像滤波器值。
30.一种使用立体显示面板单元的立体图像处理方法，所述立体显示面板单元包括:光分离模块，该光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像；反向立体观看空间，在所述反向立体观看空间中所述左眼图像被投影到所述右眼而所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及串扰区域，在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述串扰区域在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间，所述方法包括: 测量所述观察者的观察位置； 计算所述立体显示面板单元相对于所述观察位置的相对位置； 根据所述相对位置计算用于调节图像模糊量的图像滤波器值； 按照所述图像滤波器值对所述图像数据执行图像滤波处理；以及 将执行了所述图像滤波处理的所述图像数据输出到所述立体显示面板单元。
31.如权利要求30所述的立体图像处理方法，包括: 获取包含所述立体显示面板单元的针对所述相对位置的显示特征的装置特性数据； 当计算所述图像滤波器值时，基于所述装置特性数据以及所述相对位置计算所述图像滤波器值； 在执行所述图像滤波处理之前获取所述图像数据；以及 当对所述图像数据执行所述图像滤波处理时对所获取到的图像数据执行所述图像滤波处理。
32.如权利要求31所述的立体图像处理方法，包括: 基于所述相对位置和所述装置特性数据，计算3D串扰图像区域；和 当对所述图像数据执行所述图像滤波处理时，对所述图像数据中的所述3D串扰图像区域执行所述图像滤波处理。
【文档编号】H04N13/04GK103595988SQ201310326072
【公开日】2014年2月19日 申请日期:2013年7月30日 优先权日:2012年7月31日
【发明者】长谷川雄史, 重村幸治 申请人:Nlt科技股份有限公司
【专利摘要】本发明涉及立体图像显示装置、图像处理装置以及图像处理方法。一种立体图像显示装置，利用所述立体图像显示装置减轻了3D串扰引起的CT-图像的影响，使得即使当观察者的观察位置移位时，所述观察者也不会感觉到不适。所述立体图像显示装置包括图像处理单元，所述图像处理单元包括：相对位置计算单元，所述相对位置计算单元计算立体显示面板相对于观察者的观察位置的相对位置；图像滤波器值计算单元，所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对图像数据执行图像滤波处理。
【专利说明】立体图像显示装置、图像处理装置及图像处理方法
[0001]相关申请的交叉引用
[0002]本申请基于且要求2012年7月31号递交的第2012-170645号以及2013年4月22日递交的第2013-089532号日本专利申请的优先权的权益，所述日本专利申请的全部内容通过引用并入本文。
【技术领域】
[0003]本发明涉及ー种立体图像显示技木。更具体地，本发明涉及用于将图像转换为即使观察者改变其位置也不会感到有不适感的立体图像的立体图像显示装置等。
【背景技术】
[0004]近来，一般市场上出售能够观看立体图像的电视机。伴随于此，立体图像内容量增カロ，且用于观看立体图像的环境逐步地进入良好的状态。通常，观察者配戴用于显示立体图像的眼镜，不同视差的图像被投影到左眼和右眼，使得观察者可以在立体图像电视机上观看立体图像。然而，许多观察者对于配戴用于显示立体图像的眼镜感到不悦，期望获得不需要这样的眼镜的立体图像显示装置。此外，当眼镜式立体图像显示装置被用作移动装置吋，由于立体图像显示装置和用于显示立体图像的眼镜需要被携帯到外面，多有不便。因此，对于移动用途而言，更强烈地期望获得不需要眼镜的立体图像显示装置。
[0005]作为不需要用于显示立体图像的眼镜的立体图像显示装置，通常使用的是这样一种类型的立体图像显示装置:该立体图像显示装置划分用于投影立体图像的空间区域，且将不同视差的图像投影到所划分的各个空间区域，以便将不同视差的图像投影到观察者的左眼和右眼。通过在立体图像显示装置的立体显示面板上设置柱状透镜和视差屏障，将不同视差的图像投影到所划分的各个空间区域。
[0006]利用这种类型的立体图像显示装置，不需要配戴用于显示立体图像的眼镜。因此，从避免配戴眼镜造成麻烦来说，这是极好的且尤其期望用在移动用途上。然而，使用这种类型的立体图像显示装置，由于将不同视差的图像空间分离而进行投影，因此观察者可以正确地视觉识别立体图像的空间区域变得有限。观察者可以正常地视觉识别立体图像的空间区域限于这样一种情况:观察者的左眼的位置在左眼图像所被投影的空间区域内且观察者的右眼的位置在右眼图像所被投影的空间区域内。当观察者的左眼和右眼的位置从这些空间区域移位时，左眼图像和右眼图像彼此重叠，这导致将3D串扰图像(CT-图像)的视频投影至观察者。
[0007]现在，将參照附图描述被立体显示面板划分的空间区域。首先，所描述的是在视差屏障用于立体显示面板的情况下的空间区域。图84示出利用视差屏障式的立体图像显示装置将不同视差的图像投影至观察者的左眼和右眼的光学模型的ー个示例。图84是从观察者的头部上方观察到的剖视图，其中，观察者的双眼(右眼55R和左眼55L)位于与显示装置的显示平面相距最佳观察距离OD的距离处的观察平面30上，观察者的双眼的中心与显示面板的中心相互匹配。[0008]图像显示面板(例如液晶面板)(未示出)由一组光调制器构成，该光调制器是排列成矩阵的像素。在图84中，在交替排列的右眼像素4R和左眼像素4L中，仅示出在图像显示面板的两端和中心的像素。用作划分空间区域且投影图像的部件的视差屏障6被设置在显示面板的离观察者较远的远侧。视差屏障6是形成有大量的细竖条纹狭缝6a的屏障(遮光板)，并且该视差屏障6以这样的方式设置:屏障本身的纵向方向垂直于图像显示面板的左眼像素4L和右眼像素4R所排列的方向。在视差屏障的更远侧设置有光源(未示出:所谓的背光源)。从光源发出的光通过狭缝6a传送，且在图像显示面板内的像素中其强度被调节的同时被朝向观察者投影。由于狭缝6a的存在，会限制右眼像素4R和左眼像素4L的投影方向。
[0009]当从各个狭缝6a发出的光中经过最近的像素的光的轨迹图示为光线20时，可以获得右眼区域70R (右眼图像所投影的空间区域)和左眼区域70L (左眼图像所投影的空间区域)，在右眼区域70R中，所有的右眼像素4R的投影图像重叠，在左眼区域70L中，所有的左眼像素4L的投影图像重叠。在右眼区域70R中仅可观察到来自右眼像素4R的投影图像，在左眼区域70L中仅可观察到来自左眼像素4L的投影图像。因此，如果在观察者的右眼55R位于右眼区域70R内且左眼55L位于左眼区域70L内时将视差图像投影至左眼和右目艮，则观察者将该视差图像视觉识别为立体图像。换句话说，当右眼55R位于右眼区域70内且左眼55L位于左眼区域70L内时，观察者可以观察到预期的立体图像。
[0010]图84所示的显示装置被设计为:右眼像素4R和左眼像素4L (宽度P)中的每一个的最佳观察距离OD处的投影图像(宽度P’ )全部彼此重叠，使得右眼区域70R和左眼区域70L的在观察平面30上的宽度最大。投影图像的宽度P’可主要基于狭缝6a和像素之间的距离h、像素间距P和最佳观察距离OD来确定。当宽度P’变宽时，右眼区域70R和左眼区域70L的宽度变宽。然而，不可能将观察者的双眼分别置于任意的位置，从而可以观看立体图像的立体区域不一定能被扩大。如果双眼之间的距离为e，则宽度P’优选地被设计为等于双眼之间的距离e。在宽度P’小于双眼之间的距离e的情况下，可进行立体观察的区域被限于宽度P’。然而，在宽度P’大于双眼之间的距离e的情况下，仅增大了双眼都位于右眼区域70R或左眼区域70L中的区域。应当注意，在图84中记录了远观察距离FD、近观察距离ND和狭缝宽度S。
[0011]此外，图85示出当从观察者处观看时视差屏障6位于显示面板的前侧的情况下的光学模型。如同在从观察者处观看时屏障位于显示面板的远侧的情况下，其被设计为:观察者位于最佳观察距离OD处，且在观察平面30中左眼像素和右眼像素(宽度P)中的每一个的投影图像(宽度P’)彼此重叠。当从各个像素发出的光中通过最近的狭缝6a的光的轨迹图示为光线20时，可以获得右眼区域70R和左眼区域70L，在右眼区域70R中，所有的右眼像素4R的投影图像重叠，在左眼区域70L中，所有的左眼像素4L的投影图像重叠。
[0012]然后，图86示出当使用柱状透镜代替视差屏障时所划分的空间区域。在图86中，仅是将图85的视差屏障6更换为柱状透镜3。应当注意，在图86中记录了柱面透镜宽度L0
[0013]然后，将通过使用柱状透镜型光学模型来研究如下情况:观察者不在其可以正常地视觉识别立体图像的区域(立体观看空间)而位于3D串扰观看空间中。图87是当观察者移动至右侧使得右眼55R位于右眼区域70R和左眼区域72L之间的边界处且左眼55L位于右眼区域70R和左眼区域70L之间的边界处时，从观察者的头部上方观察到时的剖视图。
[0014]在这种情况下，在从右眼像素4R发出的光中经过最近的柱面透镜3a的主点(顶点)的光线20和在从左眼像素4L发出的光中经过第二近的柱面透镜3b的主点(顶点)的光线21都被投影至观察者的右眼55R的位置。即，在图87中，观察者利用右眼55R观察来自右眼像素4R和左眼像素4L的投影图像。因此，当观察立体图像时，右眼像素4R和左眼像素4L重叠而产生双像(所谓的3D串扰图像(CT-图像))。因此，不能看见预期的立体图像。此处应当注意，右眼区域70R和左眼区域72L之间的边界区域以及右眼区域70R和左眼区域70L之间的边界区域是3D串扰观看空间。
[0015]如上所述，不需要用于显示立体图像的眼镜的立体图像显示装置具有根据观察者的观察位置而产生由3D串扰引起的CT-图像的问题。因此，观察者感到不适，这是阻碍立体图像显示装置普及的ー个原因。
[0016]为了克服上述问题，提出了这样ー种方法:在时分型立体图像显示装置中，通过将黑侧校正数据或白侧校正数据添加至如下的图像区域，来减轻3D串扰的影响，在该图像区域中，由于由液晶的延迟产生的3D串扰，立体图像内容的左眼图像(L图像)和右眼图像(R图像)内的亮度值改变。此外，还提出这样ー种方法:通过对黑侧校正数据和白侧校正数据实施图像模糊处理(诸如低通滤波等)而添加平滑的校正数据，使得CT-图像变得难以被人眼识别，来减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2011-166744(专利文献I))。
[0017]此外，还提出了这样的方法:通过生成减去了由3D串扰混入的图像分量得到的图像数据并显示所获得的数据，来减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2001-298754 (专利文献2)、日本未经审查的专利公开2002-095010 (专利文献3))。当通过3D串扰使R图像的a %的图像分量混入L图像中时，通过使用下式I来进行图像数据的校正处理。
[0018]Lf (x, y) =Lc (x, y) - a X Rc (x, y)式 I
[0019]此处应当注意，Lf (x, y)表示进行校正处理后的L图像的亮度值，而Le(X，y)表示作为原始数据的立体图像内容的L图像的亮度值。此外，a表示3D串扰量(将要混入的图像分量的比例)，且Re(x，y)表示作为原始数据的立体图像内容的R图像的亮度值。
[0020]此外，还提出这样ー种方法:在由3D串扰产生的CT-图像所被投影的观察位置处，将双视点的图像数据中的一个图像数据转换成黑色图像且仅投影另ー个图像数据，来减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2008-089787 (专利文献4))。
[0021]此外，还提出这样ー种立体图像显示装置:其通过测量观察者的观察位置且根据观察位置在生成多视点视差图像的 子像素内进行亮度调整处理，来减轻由3D串扰引起的 CT-图像的影响(Juyong Park 等的“Active Crosstalk Reduction on Mult1-ViewDisplays Using Eye Detection” SID2011, 61.4，第 920-923 页(非专利文献 I ))。
[0022]此外，还提出这样ー种方法:利用液晶遮闭眼镜型立体图像显示装置，基于视差量，对立体图像内容的左眼图像(L图像)和右眼图像(R图像)应用图像模糊处理(诸如低通滤波等)，来减轻由眼镜的遮闭切换时的延迟产生的3D串扰引起的CT-图像的影响(日本未经审查的专利公开2011-040946 (专利文献5))。
[0023]此外，还提出这样ー种方法:在液晶遮闭眼镜型立体图像显示装置中，为了减轻由眼镜遮闭的时刻、液晶面板的时刻和背光源的时刻的偏移而生成的3D串扰所引起的CT-图像的影响，扩大图像数据的亮度值的动态范围，来缩短用于显示由3D串扰引起的CT-图像的时间(Yuki Iwanaka 等的“Image Processing-based Crosstalk Reduction forStereoscopic Displays with Shutter Glasses”SID2011, 55.4，第 816-819 页(非专利文献 2))。
[0024]此外，还提出这样ー种方法:根据立体图像显示装置的显示类型(液晶遮闭眼镜类型、偏光眼镜类型)，通过将图像切換为减轻由3D串扰引起的CT-图像的影响的图像数据，即使在使用各种显示类型的立体图像显示装置的情况下，也可减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2012-039592 (专利文献6))。
[0025]此外，即使在显示相同视差的立体图像内容的情况下，观察者观察立体图像内容的视差也根据立体图像显示装置和观察者的观察位置之间的距离而变化。还提出这样ー种方法:当根据立体图像显示装置和观察者的观察位置之间的距离过近时，立体图像内容的视差变大，为了解决无法识别立体图像的问题，根据立体图像显示装置和观察者的观察位置之间的距离来调整立体图像内容的视差以显示立体图像(日本未经审查的专利公开2012-044308 (专利文献 7))。
[0026]此外，当弹出式显示的立体图像内容被隐藏在图像框中而被部分地显示时，立体图像显示装置使观察者具有称作图像框扭曲的不适感。在平面图像显示的情况下，图像内容在相对于图像框的后方位置中，因此观察者视觉识别为:看不到内容的整个场景。然而，在立体图像显示的情况下，即使当立体图像被显示在相对于图像框的前侧，由于图像框，立体图像内容部分地被隐藏地显示，因此观察者感到不适。因此，为了克服在多视点型立体图像显示装置中图像框扭曲的问题，提出这样ー种方法:其使作为图像框扭曲的原因的在立体显示区域外显示的立体图像内容变得透明而不被显示，(日本未经审查的专利公开2005-252459 (专利文献 8))。
[0027]此外，为了减轻由观看立体图像引起的疲劳，还提出对构成立体图像的图像数据进行模糊处理的方法:(日本未经审查的专利公开2011-082829 (专利文献9))。
[0028]此外，由于人眼具有聚焦功能，因此当观看远距离处的物体时发生由于人眼的聚焦功能而引起的离焦状态。然而，当在立体图像显示装置上显示立体图像的情况下，由于从相同平面上的面板投影立体图像，因此不会发生由于人眼的聚焦功能而引起的离焦状态。为了减轻该状态，提出这样ー种方法:測量观察者的观察位置且对构成立体图像的图像数据进行模糊处理(日本未经审查的专利公开2011-244349 (专利文献10))。
[0029]对于不需要用于显示立体图像的眼镜的裸眼立体图像显示装置，根据观察者的观察位置由3D串扰引起的CT-图像的影响较大。这不仅使观察者具有不适感，而且在低画质的立体图像显示装置的情况下成为引起生理的不稳定(诸如，感觉视频晕眩或眼睛疲劳)的因素之一，这是阻碍裸眼立体图像显示装置普及的原因。
[0030]作为用于克服这样的问题的方法，提出了专利文献I。然而，专利文献I的方法不能考虑观察者的观察位置来调整图像数据的模糊量，因此，当观察者的观察位置移动时，不能进行图像模糊处理以减轻由3D串扰引起的CT-图像的影响的。
[0031]此外，专利文献2和专利文献3的方法通过从图像数据中减去由于3D串扰混入的图像分量，来减轻由3D串扰引起的CT-图像的影响。然而，只有当3D串扰量小且待混入的图像分量的量小时，才可以应用通过减法执行的图像处理方法。当3D串扰量大时，不能从原图像数据中减去将要混入的图像分量。因此，出现不能完全去除混入的图像分量的图像区域。因此，当观察者的观察位置移动且3D串扰量增加时，不能减轻由3D串扰引起的CT-图像的影响。
[0032]此外，利用专利文献4的方法，可以通过将一个图像数据转换成黑色图像来去除由3D串扰引起的CT-图像的影响。然而，仅另一个图像数据被朝向观察者投影，使得朝向观察者投影的图像数据的亮度值下降。此外，虽然在专利文献4中描述了增加背光源的输出作为亮度值下降的对策，但这会引起功耗的增加、背光源寿命的缩短等。此外，在朝向观察者投影双视点图像数据(右眼图像和左眼图像)的立体图像显示装置中，当其中一个图像数据被转换为黑色图像时，可能仅黑色图像被投影至观察者的另一只眼睛。因此，不能应用专利文献4的图像处理方法。
[0033]利用非专利文献1，可以通过测量观察者的观察位置且根据观察位置对生成多视点视差图像的子像素进行亮度调整处理，来减轻由3D串扰引起的CT-图像的影响。然而，需要按照子像素的顺序进行亮度调整处理，使得处理变得复杂。此外，如同专利文献4的情况，利用朝向观察者投影双视点图像数据(右眼图像和左眼图像)的立体图像显示装置，当通过对子像素进行的亮度调整处理使亮度值下降时，可能仅将亮度值下降的子像素被投影到观察者的另一只眼睛。因此，不能应用非专利文献I的图像处理方法。
[0034]此外，利用专利文献5和非专利文献2，在液晶遮闭眼镜型立体图像显示装置中可以减轻由3D串扰引起的CT-图像的影响。然而，没有考虑关于在裸眼型立体图像显示装置中生成的3D串扰的对策，且没有通过考虑观察者的观察位置来调整图像数据的模糊量。因此，当观察者的观察位置移动时，不能进行图像模糊处理以减轻由3D串扰引起的CT-图像的影响。
[0035]此外，专利文献6公开了如下方法:根据立体图像显示装置的显示方式，通过将图像转换为减轻3D串扰的影响的图像数据来显示图像的方法。然而，该方法没有考虑裸眼型立体图像显示装置的显示方式，使得不可能利用裸眼型立体图像显示装置来减轻3D串扰的影响。
[0036]此外，专利文献7公开了根据立体图像显示装置和观察者的观察位置之间的距离对立体图像内容进行视差调整处理的方法。然而，裸眼型立体图像显示装置通过使用柱状透镜或视差屏障，将图像在空间上分离成右眼图像和左眼图像从而投影图像，该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(视差调整量计算方法)，从而不能减轻由3D串扰引起的CT-图像的影响。
[0037]此外，专利文献8提出了使显示在立体显示区域外的立体图像内容(其为图像框扭曲的原因)变得透明从而不被显示的方法。然而，裸眼型立体图像显示装置通过使用柱状透镜或视差屏障，将图像在空间上分离成右眼图像和左眼图像从而投影图像，该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(使图像透明从而不被显示的方法)。因此，不能减轻由3D串扰引起的CT-图像的影响
[0038]此外，专利文献9提出了对将成为立体图像的图像数据进行模糊处理的方法。然而，裸眼型立体图像显示装置通过使用柱状透镜或视差屏障将图像在空间上分离成右眼图像和左眼图像从而投影图像，该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(图像模糊)，从而不能减轻由3D串扰引起的CT-图像的影响。
[0039]此外，专利文献10提出了测量观察者的观察位置且对将成为立体图像的图像数据进行模糊处理的方法。然而，裸眼型立体图像显示装置通过使用柱状透镜或视差屏障，将图像在空间上分离成右眼图像和左眼图像从而投影图像，该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(图像模糊)，从而不能减轻由3D串扰引起的CT-图像的影响。
【发明内容】
[0040]因此，本发明的示例性目的是克服上述问题且提供如下的立体图像显示装置等，利用该立体图像显示装置等，即使利用裸眼型立体图像显示装置，也可减轻由3D串扰引起的CT-图像的影响，使得即使当观察者的观察位置移动时，观察者也不会感到不适。
[0041]根据本发明的示例性方面的立体图像显示装置，其特征在于，所述立体图像显示装置包括:
[0042]立体显示面板，所述立体显示面板包括:光分离模块，所述光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在该立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到所述观察者的左眼而显示立体图像；反向立体观看空间，在该反向立体观看空间中所述左眼图像被投影到所述右眼且所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及3D串扰观看空间，在该3D串扰观看空间中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述3D串扰观看空间在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间；
[0043]观察者位置测量单元，所述观察者位置测量单元测量观察者的观察位置；
[0044]相对位置计算单元，所述相对位置计算单元计算所述立体显示面板相对于所測量的所述观察位置的相对位置；
[0045]图像滤波器值计算単元，所述图像滤波器值计算単元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及
[0046]图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对图像数据进行图像滤波处理。
[0047]根据本发明的另ー示例性方面的图像处理装置，其特征在于，图像处理装置将图像数据输出至立体显示面板，所述立体显示面板包括:光分离模块，所述光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，在存在:立体观看空间，在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像；反向立体观看空间，在所述反向立体观看空间中所述左眼图像被投影到所述右眼且所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及串扰区域，在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述串扰区域在所述第一方向上位于立体观看空间和反向立体观看空间之间，所述图像处理装置包括:
[0048]相对位置计算单元，所述相对位置计算单元计算所述立体显示面板相对于观察者的观察位置的相对位置；
[0049]图像滤波器值计算单元，所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及
[0050]图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对所述图像数据进行图像滤波处理。
[0051]根据本发明的另一示例性方面的立体图像处理方法，其特征在于，该立体图像处理方法使用立体显示面板，所述立体显示面板包括:光分离模块，该光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像；反向立体观看空间，在所述反向立体观看空间中所述左眼图像被投影到所述右眼且所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及串扰区域，在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述串扰区域在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间，所述方法包括:
[0052]测量观察者的观察位置；
[0053]计算所述立体显示面板相对于所述观察位置的相对位置；
[0054]根据所述相对位置计算用于调节图像模糊量的图像滤波器值；
[0055]按照所述图像滤波器值对所述图像数据进行图像滤波处理；以及
[0056]将执行了图像滤波处理的图像数据输出到所述立体显示面板。
【专利附图】
【附图说明】
[0057]图1为示出根据第一示例性实施方式的立体图像显示装置的方框图；
[0058]图2为立体图像显示装置的外观图；
[0059]图3为示出关于观察者的观察位置和立体显示面板的相对位置的坐标系的示意图；
[0060]图4是示出立体图像显示装置的3D串扰特性数据的曲线图；
[0061]图5是示出3D串扰特性数据和光学模型的关系图；
[0062]图6是示出3D串扰特性数据和光学模型的关系图；
[0063]图7是光学模型的放大图；
[0064]图8是立体观看空间、反向立体观看空间、3D串扰观看空间的宽度和视角的关系图；
[0065]图9是示出高斯滤波器的形状的图；
[0066]图10是示出图像滤波器(高斯滤波器)的图表；
[0067]图11是示出图像滤波器(高斯滤波器)的图表；
[0068]图12是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0069]图13是不出关于相对于3D串扰量的、各种值的关系表的不意图；
[0070]图14是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；[0071]图15是示出立体图像显示装置的3D串扰特性数据的曲线图；
[0072]图16是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0073]图17是示出立体图像显示装置的3D串扰特性数据的曲线图；
[0074]图18是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0075]图19是示出保存在图像数据保存单元内的图像数据的示意图；
[0076]图20是立体图像处理方法的流程图；
[0077]图21是立体图像显示装置的外观图；
[0078]图22是图像处理装置的方框图；
[0079]图23是示出具有八个视点的光学模型的示意图；
[0080]图24是示出具有四个视点的光学模型的示意图；
[0081]图25是根据第二示例性实施方式的立体图像显示装置的方框图；
[0082]图26A是示出在3D装置特性数据中立体图像显示装置的亮度特性数据的曲线图；
[0083]图26B是示出在3D装置特性数据中立体图像显示装置的3D串扰特性数据的曲线图；
[0084]图27是示出图像滤波器相对于R图像的视角的窗口宽度值的曲线图；
[0085]图28是示出图像滤波器相对于L图像的视角的窗口宽度值的曲线图；
[0086]图29是不出相对于3D串扰量的、各种值的关系表的不意图；
[0087]图30是示出相对于R图像的视角的、图像滤波器的窗口宽度值的曲线图；
[0088]图31是示出相对于L图像的视角的、图像滤波器的窗口宽度值的曲线图；
[0089]图32是示出与观察者的双眼的相对位置对应的图像滤波器值计算条件表的示意图；
[0090]图33是示出相对于R图像的视角的、图像滤波器的窗口宽度值的曲线图；
[0091]图34是示出相对于L图像的视角的、图像滤波器的窗口宽度值的曲线图；
[0092]图35是示出由3D串扰生成的CT-图像的图像显示状态的示意图；
[0093]图36是示出通过执行根据第一示例性实施方式的图像滤波处理来减轻CT-图像的图像显示状态的示意图；
[0094]图37是示出通过执行根据第二示例性实施方式的图像滤波处理来减轻CT-图像的图像显示状态的示意图；
[0095]图38是立体图像处理方法的流程图；
[0096]图39是根据第三实施方式的立体图像显示装置的方框图；
[0097]图40示出在相对位置处出现CT-图像的图像区域的示意图；
[0098]图41是示出图像滤波处理的实施判断表的示意图；
[0099]图42示出投影至观察者的右眼和左眼上的图像显示状态的示意图；
[0100]图43A示出分别投影至左眼和右眼的立体图像内容的图像显示状态；
[0101]图43B示出立体图像内容的图像显示状态，其示出应用于L图像和R图像的滤波处理内容；
[0102]图43C示出立体图像内容的图像显示状态，其示出分别投影至左眼和右眼上的滤波处理后的图像显示状态；[0103]图44示出投影至观察者的右眼和左眼上的图像显示状态；
[0104]图45示出关于图像显示状态和3D串扰特性数据的关系图；
[0105]图46是立体图像处理方法的流程图；
[0106]图47是根据第四示例性实施方式的立体图像显示装置的方框图；
[0107]图48是示出由于温度降低引起的光学模型的变化的示意图；
[0108]图49是示出由于温度升高引起的光学模型的变化的示意图；
[0109]图50是示出在低温下立体图像显示装置的3D串扰特性数据的曲线图；
[0110]图51是示出由于温度降低引起的光学模型的变化的示意图；
[0111]图52是在低温下光学模型的放大图；
[0112]图53是关于立体观看空间、反向立体观看空间、3D串扰观看空间和视角的关系图；
[0113]图54是立体图像处理方法的流程图；
[0114]图55是根据第五示例性实施方式的立体图像显示装置的方框图；
[0115]图56是视差图像和视差值之间的关系图；
[0116]图57是视差值和LR图像之间的关系图；
[0117]图58示出根据视差图像计算出的权重值的图；
[0118]图59是立体图像处理方法的流程图；
[0119]图60是根据第六示例性实施方式的立体图像显示装置的方框图；
[0120]图61示出球状物体弹出式显示在立体图像的中心部分的时的L图像和R图像的示意图；
[0121]图62是示出由通过图61的L图像和R图像的混合生成的3D串扰引起的CT-图像的不意图；
[0122]图63是示出应用于L图像的图像滤波器的形状的示意图；
[0123]图64是示出应用于R图像的图像滤波器的形状的示意图；
[0124]图65是示出应用于L图像的图像滤波器值的图表；
[0125]图66是示出应用于R图像的图像滤波器值的图表；
[0126]图67是示出应用于L图像的图像滤波器值的图表；
[0127]图68示出应用了横向非対称图像滤波处理的L图像和R图像的示意图；
[0128]图69是示出由通过图68的L图像和R图像的混合生成的3D串扰引起的CT-图像的不意图；
[0129]图70示出应用了横向对称图像滤波处理的L图像和R图像的示意图；
[0130]图71是示出由通过图70的L图像和R图像的混合生成的3D串扰引起的CT-图像的不意图；
[0131]图72是基于位移传感器的虚拟摄像机的布局图；
[0132]图73是基于束角(toe-1n)的虚拟摄像机的布局图；
[0133]图74是示出应用于L图像的图像滤波器的形状的示意图；
[0134]图75是示出应用于R图像的图像滤波器的形状的示意图；
[0135]图76是立体图像处理方法的流程图；
[0136]图77是根据第七示例性实施方式的立体图像显示装置的方框图；[0137]图78是示出相对于视角的视差容许值的曲线图；
[0138]图79是不出相对于3D串扰量的、各种值的关系表的不意图；
[0139]图80A是示出相对于视角的视差容许值的曲线图；
[0140]图80B是示出相对于视角的、内容的视差最大值的曲线图；
[0141]图80C是示出相对于视角的在执行视差调整处理后的视差最大值的曲线图；
[0142]图81是通过视差调整量而改变的视差图像数据组的曲线图；
[0143]图82是由像素移动而产生的R’图像的示意图；
[0144]图83是立体图像处理方法的流程图；
[0145]图84是视差屏障的光学模型图；
[0146]图85是视差屏障的光学模型图；
[0147]图86是柱状透镜的光学模型图；
[0148]图87是用于描述3D串扰观看空间的光学模型图；
[0149]图88是示出根据第八示例性实施方式的立体图像显示装置的方框图；
[0150]图89是示出相对于视角的虚拟摄像机视点位置的曲线图；
[0151]图90是立体图像内容和虚拟摄像机视点位置的概念图；
[0152]图91是立体图像显示装置和视角的概念图；
[0153]图92是示出相对于视角的虚拟摄像机视点位置的曲线图；
[0154]图93是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0155]图94是示出相对于视角的虚拟摄像机视点位置的示意图；
[0156]图95是示出相对于视角的虚拟摄像机视点位置的示意图；
[0157]图96是示出相对于视角的、四视点虚拟摄像机的视点位置的曲线图；
[0158]图97是立体图像处理方法的流程图；
[0159]图98是示出相对于视角的虚拟摄像机视点位置的曲线图；
[0160]图99是示出相对于视角的、图像滤波器的窗口宽度值的曲线图；
[0161]图100是示出相对于视角的虚拟摄像机视点位置的曲线图；以及
[0162]图101是示出相对于视角的虚拟摄像机视点位置的曲线图；
【具体实施方式】
[0163]下文，将参照【专利附图】
【附图说明】用于实施本发明的方式(以下称为“示例性实施方式”)。
[0164](第一不例性实施方式)
[0165]下面将描述根据第一实施方式的立体图像显示装置的结构。图1是立体图像显示装置11的方框图。立体图像显示装置11包括:观察者位置测量单元101 ;相对位置计算单元102 ;装置特性数据保存单元103 ;图像滤波器值计算单元104 ;图像数据保存单元105 ；图像滤波处理单元106 ;以及立体显示面板单元107。此外，集成了相对位置计算单元102、图像滤波器值计算单元104和图像滤波处理单元105的处理单元被称为图像处理单元151。
[0166]图2示出立体图像显示装置11的外观。图3示出关于观察者10的观察位置和立体显示面板107a的相对位置的坐标系。立体显示面板107a为立体显示面板单元107的一部分，摄像机IOla为观察者位置测量单元101的一部分。在立体图像显示装置11中，摄像机IOla被设置在立体显示面板107a的上侧，通过由摄像机IOla拍摄观察者10来测量观察者10的观察位置。此外，由于摄像机IOla和立体显示面板107a的设置位置是固定的，因此通过使用摄像机IOla拍摄观察者10，能够计算出观察者10的观察位置和立体显示面板107a之间的相对位置。
[0167]立体显示面板107a包括:作为光电模块的显示面板，在该显示面板中，至少包括用于显示用于第一视点的图像的子像素和用于显示用于第二视点的图像的子像素的多个像素排列成矩阵；以及光分离模块，该光分离模块能够使各个图像在指定的不同方向上分离。可以被用作光电模块的显示面板的示例为液晶类型、有机EL类型、等离子类型等。可被使用的光分离模块的示例为柱状透镜、视差屏障、液晶透镜等。将通过使用显示面板2和柱状透镜3的组合来描述该示例性实施方式(參见图5)。此处应当注意，在本发明的示例性实施方式中所描述的“第一方向”的不例为图3中所不的X-轴方向，并且,在不例性实施方式中所描述的“光学模块“的示例为上文所述的光分离模块。
[0168]此外，实现图像处理单元151、装置特性数据保存単元103和图像数据保存単元105的功能的计算器150被放置在立体显示面板107a的后部。
[0169]下文，将描述包括在立体图像显示装置11中的各单元的功能。
[0170]观察者位置测量单元101的功能为测量观察显示在立体显示面板107a上的立体图像内容的观察者的位置。为了测量观察者位置，通过利用设置在立体显示面板107a的上侧的摄像机IOla拍摄观察者，来测量观察者10的右眼和左眼的位置。为了测量观察者10的观察位置，不仅在摄像机IOla的拍摄平面上測量水平方向(X轴、Y轴)的位置，还测量相对于摄像机IOla在深度方向(Z轴)上的位置。现在用于测量相对于摄像机IOla在深度方向上的距离的多种方法被提出。
[0171]所述方法中的ー种方法是光学图案投影方法，利用该方法，从与摄像机不同的视点朝向观察者投影红外线等的光学图案，并且基于三角測量原理由位移量測量深度距离。采用光学图像投影方法的測量设备近年来已经作为家用游戏机和计算机周边设备而被产品化。
[0172]第二种方法是飞行时间法(Time of Flight)，利用该方法，从摄像机向观察者照射近红外正弦波光，并且根据观察者反射的正弦波光到达摄像机之前的光飞行的时间间隔来測量深度距离。近年来，TOF传感器的性能的改善是显著的，从而使得逐渐可以利用小而便宜的摄像机来測量深度距离。
[0173]第三种方法是多视点摄像机方法，利用该方法，将两个或更多个摄像机设置在不同的视点处。为了测量深度距离，从任意视点的图像中检测观察者的特征点，并且从不同视点的图像中捜索对应于特征点的点，以基于三角測量原理计算深度距离。
[0174]第四种方法使用透镜焦点信息，利用该方法，从利用不同的被拍摄视野深度的光学系统透镜在各个焦点处拍摄到的多焦点图像组测量观察者的深度距离。
[0175]上文描述了用于测量深度距离的四种方法。第一示例性实施方式可以采用这些方法中的任一方法。此外，可以采用任何其他的測量方法。例如，可以通过预先保存观察者的面部尺寸并且将该面部尺寸与由摄像机拍摄的观察者的面部图像尺寸进行比较，来測量深度距离。
[0176]关于用于从所拍摄的图像检测观察者的脸的处理，预先基于面部图像的特征量(眼睛、鼻子、嘴、下巴等)生成模板数据，并且通过使所拍摄的图像与模板数据相匹配来检测观察者的面部。通过使用机械学习方法(诸如，支持向量机(SVM)和向量量化)，基于观察者的面部图像来生成模板数据。作为面部检测功能，还可以使用多功能软件。此外，面部检测功能软件还可以通过利用深度信息，考虑观察者面向的方向，来实现面部检测处理。因此，进一步提闻了检测精度。
[0177]利用上述处理，通过检测观察者10的面部，来测量右眼和左眼的位置。作为另一示例，还可以使用加速度传感器和陀螺仪传感器，而不使用摄像机。将各种传感器预先设置在立体图像显示装置11中，且参考从传感器获得的位置信息，来测量观察者10的观察位置。
[0178]相对位置计算单元102的功能为计算从立体显示面板107a到观察者10的观察位置的相对位置。如图3所示，假设相对于立体显示面板107a的平面的横向方向是X-轴，相对于立体显示面板107a的平面的纵向方向为Y-轴，以及与立体显示面板107a的平面垂直方向为Z-轴，计算观察者的观察位置相对于立体显示面板107a的中心(作为原点)的相对位置。从由观察者位置测量单元101所测量到的观察者的右眼和左眼的位置中减去从摄像机IOla的设置位置到立体显示面板107a的设置位置的距离，来计算上述相对位置。此外，基于相对位置(X-轴、Y-轴、Z轴的坐标值)计算视角Θ。视角Θ和X-轴、Y-轴、Z轴的坐标值之间的关系式为式2，从而可以根据式3来计算视角Θ。
[0179]tan θ =X/Z式 2
[0180]Θ =tan_1 (X/Z) 式 3
[0181]装置 特性数据保存单元103的功能为保存相对于立体显示面板107a的视角的3D串扰数据。图4示出3D串扰特性数据的示 例。3D串扰特性数据的横轴表示视角Θ，且纵轴表不3D串扰量。3D串扰量表不左眼图像(L图像)混合在右眼图像(R图像冲的比例(还示出反向混合的情况:R图像混合在L图像中的比例)。3D串扰特性数据根据立体显示面板107a的装置特性而为不同的值，并且该值可以基于立体显示面板107a的设计条件和制造条件而计算出。此外，即使通过利用用于3D串扰的评估装置测量立体显示面板107a也能够获得3D串扰特性数据。在这种情况下，期望不仅在作为立体显示面板107a的中心的X-轴原点处(参见图3的坐标系)，而且在面板外部的指定的±X点(稍后将描述的图5的距离WP)进行计算或测量。下文，在说明书中，将通过使用3D串扰特性数据的曲线图进行说明。应当注意，为了便于说明，将基于X-轴原点的曲线图进行说明。
[0182]在立体图像显示装置11中，根据3D串扰特性数据，确定右眼区域、左眼区域和3D串扰观看空间。以示例的方式定义:观察者10可以正常地识别立体图像的3D串扰量的阈值为β2或更小，视角Qtl至视角Q1的区域为右眼区域，视角θ2至视角04的区域为3D串扰观看空间，视角θ5至视角θ6的区域为左眼区域。
[0183]图5示出了这种情况的立体图像显示装置11中将右眼图像和左眼图像投影至观察者10的右眼和左眼的光学模型。在图5中，由于视角θ2至视角θ4的部分构成3D串扰观看空间，因此右眼区域70R和左眼区域70L与图86的右眼区域70R和左眼区域70L相比较窄。对于右眼55R，右眼区域70R是立体观看空间，左眼区域70L和左眼区域72L是反向立体观看空间，其他的区域为3D串扰观看空间。在图5中，记录了最佳观看距离0D、远观看距离FD、近观看距离ND、柱面透镜宽度L、像素宽度P、立体显示面板的中心像素的位置与两端像素的位置之间的宽度WP等。[0184]作为另ー示例，如果将3D串扰量的阈值定义为P1或更小，则基于图4，视角S1至视角05的区域构成3D串扰观看空间，其他区域构成右眼区域和左眼区域。图6示出了这种情况的立体图像显示装置11的光学模型。在图6中，由于视角Q1至视角9 5的部分构成3D串扰观看空间，因此右眼区域70R和左眼区域70L相对于图5的右眼区域70R和左眼区域70L进ー步变窄。对于右眼55R，如图5的情况，右眼区域70R为立体观看空间，左眼区域70L和左眼区域72L为反向立体观看空间，其他区域为3D为串扰观看空间。如上所述，示出了根据3D串扰特性数据来确定立体观看空间、反向立体观看空间和3D串扰观看空间。
[0185]可以通过立体图像显示装置11的光学測量和主观评估来确定3D串扰量的阈值。作为可以以光学方式測量3D串扰的装置，具有各种类型，诸如，锥光偏振仪型、角度仪类型以及傅立叶类型。可以通过利用这些类型的測量装置来測量相对于视角的亮度分布，并且可以通过下式4来计算3D串扰量(3DCT (0))。
[0186]3DCT ( 9 ) = (Y (LBRff) - Y (LBRB)) / (Y (LffRB) - Y (LBRB)) 式 4
[0187]此处应当注意，Y(LBRff)是在左眼图像是黑的且右眼图像是白的时的条件下的亮度，Y(LBRB)是在左眼图像是黑的且右眼图像是黑的时的条件下的亮度，且Y(LWRB)是在左眼图像是白的且右眼图像是黑的时的条件下的亮度。
[0188]当通过上述的測量装置中的任一測量装置测量时，定性结果没有大的差异。然而，由此获得的定量数值根据測量方式和装置规格而不同。比对典型的測量结果和主观立体区域评估结果，可以发现:当3D串扰量约为10%或更少时，可以实现立体视觉。该值可以用作上文所述的3D串扰量的阈值。
[0189]图7示出图6所示的区域80的放大图。Z-轴上的任意值Z1和Z2处的右眼区域70R的区域宽度、左眼区域72L的区域宽度和3D串扰观看空间的区域宽度是不同的。立体观看空间的区域宽度、反向立体观看空间的区域宽度和3D串扰观看空间的区域宽度根据在Z轴上的位置而改变。
[0190]此外，图8示出在Z-轴上的任意点rL'处的立体观看空间、反向立体观看空间、3D串扰观看空间的区域宽度与视角之间的关系图。关于右眼55R (作为基准)，视角Qtl至视角Q1的区域为反向立体观看空间，视角Q1至视角e5的区域为3D串扰观看空间，视角05至视角e6的区域为立体观看空间。此外，3D串扰量在视角e3的位置处最大，根据图4，视角e2至视角e4的区域是3D串扰量为P2或更大的区域。
[0191]图像滤波器值计算単元104的功能为基于装置特性数据针对视角计算出适于立体图像显示的图像滤波器值。对于图像滤波器值，应用用于实施立体图像内容的图像数据的模糊处理(也称为平滑处理、低通滤波处理等)的滤波器形状。用于实施图像模糊处理的典型的滤波器形状可以是平均滤波器、中值滤波器、高斯滤波器等。在下面提供的示例中，将描述使用高斯滤波器的情況。
[0192]图9示出应用于立体图像内容的图像数据的高斯滤波器形状。图9示出了二维高斯滤波器形状，其中，X轴对应于图像数据的横轴方向，Y轴对应于图像数据的纵轴方向。由高斯分布函数的式4计算高斯滤波器。此处应当注意，方差O2是任意值。当0的值大吋，高斯滤波器形状平缓且图像模糊处理的效果也增强。
[0193]【表达式I】
【权利要求】
1.一种立体图像显示装置，所述立体图像显示装置包括: 立体显示面板单元，所述立体显示面板单元包括:光分离模块，所述光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在所述立体观看空间中，通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到所述观察者的左眼而显示立体图像；反向立体观看空间，在该反向立体观看空间中，所述左眼图像被投影到所述右眼而所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及，3D串扰观看空间，在该3D串扰观看空间中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左目艮，所述3D串扰观看空间在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间； 观察者位置测量单元，所述观察者位置测量单元测量观察者的观察位置； 相对位置计算单元，所述相对位置计算单元计算所述立体显示面板单元相对于测量到的所述观察位置的相对位置； 图像滤波器值计算单元，所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及 图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对图像数据执行图像滤波处理。
2.如权利要求1所述的立体图像显示装置，其中， 在所述第一方向上存在的多个所述反向立体观看空间之间包括至少两个或更多个所述立体观看空间，且所述3D串扰观看空间不仅存在于所述反向立体观看空间和所述立体观看空间之间，还存在于所述立体观看空间之间。
3.如权利要求1所述的·立体图像显示装置，还包括: 装置特性数据保存单元，所述装置特性数据保存单元保存装置特性数据，所述装置特性数据包含所述立体显示面板单元的针对所述相对位置的显示特性；以及 图像数据保存单元，所述图像数据保存单元保存或接收所述图像数据，其中， 所述图像滤波器值计算单元基于所述相对位置和所述装置特性数据，计算适于立体图像显示的所述图像滤波器值。
4.如权利要求3所述的立体图像显示装置，其中， 所述相对位置为所述观察者的观察位置与所述立体显示面板单元的显示平面之间的视角。
5.如权利要求3所述的立体图像显示装置，其中， 所述装置特性数据为3D串扰特性数据， 基于所述3D串扰特性数据计算所述图像滤波器值。
6.如权利要求5所述的立体图像显示装置，其中， 在所述3D串扰特性数据中，在将3D串扰量超过规定值的区域定义为3D串扰观看空间、将3D串扰量等于或小于所述规定值的区域定义为非3D串扰区域时，所述3D串扰观看空间的图像滤波器值大于所述非3D串扰区域的所述图像滤波器值。
7.如权利要求1所述的立体图像显示装置，其中， 所述图像滤波器值计算单元计算针对每个所述图像数据不同的图像滤波器值，以抑制由图像滤波处理引起的图像质量劣化。
8.如权利要求3所述的立体图像显示装置，还包括3D串扰图像区域计算单元，所述3D串扰图像区域计算单元基于所述相对位置和所述装置特性数据来计算3D串扰图像区域，其中 所述图像滤波处理单元按照所述图像滤波器值对所述图像数据中的所述3D串扰图像区域执行所述图像滤波处理。
9.如权利要求3所述的立体图像显示装置，还包括温度测量单元，所述温度测量单元测量环境温度，其中， 所述图像滤波器值计算単元基于对应于所述相对位置和由所述温度測量单元测量的环境温度的所述装置特性数据，计算适于立体图像显示的图像滤波器值。
10.如权利要求3所述的立体图像显示装置，其中， 所述图像滤波器值计算単元基于所述相对位置、所述装置特性数据以及所述图像数据的视差值，计算适于立体图像显示的图像滤波器值。
11.如权利要求1所述的立体图像显示装置，其中， 所述图像滤波器值计算単元通过使用适于出现由3D串扰引起的3D串扰图像的图像区域的方向性特征的横向非対称图像滤波器形状，计算所述图像滤波器值。
12.如权利要求11所述的立体图像显示装置，其中 所述图像滤波器值计算単元通过參照所述图像数据所保持的视差值，使用在以弹出式方向显示的图像区域与以深度方向显示的图像区域内所述图像滤波器形状的左侧方向和右侧方向彼此相反的横向非 対称图像滤波器形状，计算所述图像滤波器值。
13.如权利要求3所述的立体图像显示装置，还包括: 视差调节值计算单元，所述视差调节值计算单元基于所述相对位置和所述装置特性数据计算适于立体图像显示的视差调节值；以及 视差调节处理単元，所述视差调节处理单元按照所述视差调节值对所述图像数据执行视差调节处理。
14.如权利要求1所述的立体图像显示装置，其中， 所述图像滤波器值计算単元根据所述相对位置将区域划分成:立体观看空间、反向立体观看空间以及3D串扰观看空间，在所述立体观看空间中，左眼立体图像被投影到所述左眼而右眼立体图像被投影到所述右眼，在所述反向立体观看空间中，右眼立体图像被投影到所述左眼而所述左眼立体图像被投影到所述右眼，在所述3D串扰观看空间中，右眼立体图像和左眼立体图像被投影到所述左眼，或者左眼立体图像和右眼立体图像被投影到所述右眼；以及 当所述观察者从所述立体观看空间移动到所述反向立体观看空间时，所述图像滤波器值计算单元对于所述3D串扰观看空间的图像数据赋予大于所述立体观看空间或所述反向立体观看空间的图像滤波器值的图像滤波器值。
15.ー种立体图像显示装置，包括: 立体显示面板単元，所述立体显示面板単元包括光分离模块，所述光分离模块将光线分配到至少两个不同的视点 方向，且所述立体显示面板单元仅包括通过将不同视点的图像分别投影到观察者的双眼而显示立体图像的立体观看空间；观察者位置测量单元，所述观察者位置测量单元测量所述观察者的观察位置； 相对位置计算单元，所述相对位置计算单元计算所述立体显示面板单元相对于所述观察位置的相对位置； 图像滤波器值计算单元，所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及 图像滤波处理单元，所述图像滤波处理单元根据所述图像滤波器值对图像数据执行图像滤波处理。
16.如权利要求15所述的立体图像显示装置，其中， 所述相对位置是所述观察者的观察位置与所述立体显示面板单元的显示平面之间的视角。
17.如权利要求15所述的立体图像显示装置，其中， 所述图像滤波器值计算单元计算对于各所述图像数据不同的图像滤波器值，以抑制由所述图像滤波处理引起的图像质量劣化。
18.如权利要求15所述的立体图像显示装置，还包括温度测量单元，所述温度测量单元测量环境温度，其中， 所述图像滤波器值计算单元通过对应于所述相对位置和由所述温度测量单元测量的环境温度，来计算适于立体图像显示的图像滤波器值。
19.如权利要求15所述的立体图像显示装置，其中， 所述图像滤波器值计算单元·基于所述相对位置和所述图像数据的视差值，计算适于立体图像显示的所述图像滤波器值。
20.如权利要求15所述的立体图像显示装置，其中， 所述图像滤波器值计算单元通过参照由所述图像数据保持的视差值，使用在以弹出式方向显示的图像区域与以深度方向显示的图像区域内所述图像滤波器形状的左侧方向和右侧方向彼此相反的横向非对称图像滤波器形状，计算所述图像滤波器值。
21.如权利要求15所述的立体图像显示装置，还包括: 视差调节值计算单元，所述视差调节值计算单元基于所述相对位置计算适于立体图像显示的视差调节值；和 视差调节处理单元，所述视差调节处理单元按照所述视差调节值对所述图像数据执行视差调节处理。
22.如权利要求1所述的立体图像显示装置，包括任意视点图像产生单元，所述任意视点图像产生单元的功能为:通过参照所述相对位置计算单元计算出的相对位置，计算两个或更多个虚拟摄像机的视点位置，其中， 所述图像滤波处理单元按照由所述图像滤波器值计算单元计算出的图像滤波器值，对从所述摄像机拍摄到的图像数据执行所述图像滤波处理，并且将处理后的图像数据作为显示目标。
23.如权利要求22所述的立体图像显示装置，所述立体图像显示装置具有N个视点，N为3或更大，其中， 所述任意视点图像产生单元通过参照由所述相对位置计算单元计算出的相对位置，从N视点的虚拟摄像机中检测拍摄未被投影至观察者的图像的虚拟摄像机，并且在所述相对位置中不连续地移动所检测到的虚拟摄像机的视点位置。
24.如权利要求22所述的立体图像显示装置，其中， 所述任意视点图像产生单元从保存在所述图像数据保存単元中的多个图像数据中參照视点位置，来指定位于视点位置之间的任意视点位置；以及 根据由所述相对位置计算单元计算出的相对位置，反复显示从位于视点位置之间的任意视点位置拍摄到的图像数据。
25.如权利要求24所述的立体图像显示装置，其中， 保存在所述图像数据保存単元中的图像数据为总共两个视点的图像数据，所述图像数据为右眼图像数据和左眼图像数据； 所述任意视点图像产生单元从所述右眼图像数据和所述左眼图像数据中參照总共两个视点，来指定位于所述两个视点位置之间的任意视点位置， 根据由所述相对位置计算单元计算出的相对位置，反复显示从位于两个视点位置之间的任意视点位置拍摄到的图像数据。
26.如权利要求25所述的立体图像显示装置，其中， 所述任意视点图像产生单元在所述立体显示面板単元的所述立体观看空间中根据所述相对位置，反复显示从位于两个视点位置之间的任意视点位置拍摄到的图像数据。
27.一种将图像数据输出到立体显示面板単元的图像处理装置，所述立体显示面板单元包括:光分离模 块，所述光分离模块将光线分配至至少两个不同的视点方向；如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼来显示立体图像；反向立体观看空间，在所述反向立体观看空间中所述左眼图像被投影到所述右眼而所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上离开所述立体观看空间的位置处；以及串扰区域，在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述串扰区域在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间，所述图像处理装置包括: 相对位置计算单元，所述相对位置计算单元计算所述立体显示面板単元相对于所述观察者的观察位置的相对位置； 图像滤波器值计算単元，所述图像滤波器值计算単元根据所述相对位置计算用于调节图像模糊量的图像滤波器值；以及 图像滤波处理单元，所述图像滤波处理单元按照所述图像滤波器值对图像数据执行图像滤波处理。
28.如权利要求27所述的图像处理装置，还包括: 观察者位置测量单元，所述观察者位置測量单元测量所述观察者的观察位置； 图像数据接收単元，所述图像数据接收単元接收执行图像滤波处理之前的所述图像数据；以及 图像数据发送単元，所述图像数据发送単元输出执行了所述图像滤波处理的所述图像数据。
29.如权利要求27所述的图像处理装置，还包括: 装置特性数据保存単元，所述装置特性数据保存単元保存包含立体显示面板単元的针对所述相对位置的显示特性的装置特性数据，其中 所述图像滤波器值计算单元基于所述装置特性数据和所述相对位置计算所述图像滤波器值。
30.一种使用立体显示面板单元的立体图像处理方法，所述立体显示面板单元包括:光分离模块，该光分离模块将光线分配至至少两个不同的视点方向，如果将分配所述光线的方向定义为第一方向，则存在:立体观看空间，在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像；反向立体观看空间，在所述反向立体观看空间中所述左眼图像被投影到所述右眼而所述右眼图像被投影到所述左眼，所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处；以及串扰区域，在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼，所述串扰区域在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间，所述方法包括: 测量所述观察者的观察位置； 计算所述立体显示面板单元相对于所述观察位置的相对位置； 根据所述相对位置计算用于调节图像模糊量的图像滤波器值； 按照所述图像滤波器值对所述图像数据执行图像滤波处理；以及 将执行了所述图像滤波处理的所述图像数据输出到所述立体显示面板单元。
31.如权利要求30所述的立体图像处理方法，包括: 获取包含所述立体显示面板单元的针对所述相对位置的显示特征的装置特性数据； 当计算所述图像滤波器值时，基于所述装置特性数据以及所述相对位置计算所述图像滤波器值； 在执行所述图像滤波处理之前获取所述图像数据；以及 当对所述图像数据执行所述图像滤波处理时对所获取到的图像数据执行所述图像滤波处理。
32.如权利要求31所述的立体图像处理方法，包括: 基于所述相对位置和所述装置特性数据，计算3D串扰图像区域；和 当对所述图像数据执行所述图像滤波处理时，对所述图像数据中的所述3D串扰图像区域执行所述图像滤波处理。
【文档编号】H04N13/04GK103595988SQ201310326072
【公开日】2014年2月19日 申请日期:2013年7月30日 优先权日:2012年7月31日
【发明者】长谷川雄史, 重村幸治 申请人:Nlt科技股份有限公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1