图像生成装置、图像生成方法、数据结构以及程序与流程

文档序号:17585174发布日期:2019-05-03 21:15阅读:214来源:国知局
图像生成装置、图像生成方法、数据结构以及程序与流程

本发明涉及提示有外观的纵深的图像的技术。



背景技术:

两眼图像提示方法是用于对图像提供外观的纵深的有效的手段。在该方法中,对左右眼分别显示相互稍微偏差的图像信息。将该偏差称为两眼视差。该两眼视差在观察者的脑内被解释作为纵深,所以结果感觉如在平面的图像中附加了纵深(即,作为立体图像)。

在两眼图像提示方法中有各种方式(例如,参照非专利文献1,2)。

在分时方式中,操作观察者佩戴的具有液晶快门的护目镜(goggle)的左右镜头的透过率,时间性切换输入到各眼的图像信息。通过与该切换同步,时间性地切换显示附加了两眼视差的图像,可以对观察者的右眼和左眼提示附加了视差的图像。

在偏光方式中,在2台投影机的镜头前,分别设置一张偏光方向相互正交的偏光板。观察者佩戴具有与它们偏光方向相同的2张偏光板(偏光方向相互正交的2张偏光板)的护目镜。通过在该状态下从两个投影机相互投影附加了两眼视差的图像,可以对观察者的右眼和左眼提示附加了视差的图像。

彩色立体图方式中,将附加了两眼视差的两个图像设定到相互不同的颜色信道,作为一个图像(彩色立体图图像)显示。观察者佩戴具有与它们相同颜色信道的滤色器的护目镜,观察彩色立体图图像。由此,可以对观察者的右眼和左眼提示附加了视差的图像。

现有技术文献

非专利文献

【非专利文献1】didyk,p.,ritschel,t.,eisemann,e.,myszkowski,k.,&seidel,h.-p,“aperceptualmodelfordisparity,”july4,2011,acm,inacmsiggraph2011papers,pp.96:1–96:10.

【非专利文献2】scher,s.,liu,j.,vaish,r.,gunawardane,p.,&davis,j.,“3d+2dtv:3ddisplayswithnoghostingforviewerswithoutglasses,”june3,2013,acmtrans.graph.,32(3),21:1–21:10.



技术实现要素:

发明要解决的课题

但是,在以往方式中,佩戴了立体视觉用的护目镜等立体视觉用器具的观察者可以看到清楚的立体像,但是没有佩戴立体视觉用器具的观察者不能看到清楚的像。

例如在分时方式中,未佩戴护目镜的观察者在观察上述图像时,有两眼视差的区域的图像信息在观察者的脑内叠加,感觉双重模糊的图像。在偏光方式中也产生同样的现象。即使在彩色立体图方式中,在未佩戴护目镜的观察者观测彩色立体图图像时,在有两眼视差的区域中双重地重叠不同的颜色信道的图像,离本来的图像的偏差变大。

本发明的课题是使佩戴着立体视觉用器具的观察者感知立体像,使未佩戴立体视觉用器具的观察者感知清楚的图像。

用于解决课题的手段

根据原图像生成包含相位调制分量a的图像和包含相位调制分量b的图像。包含相位调制分量a的图像和包含相位调制分量b的图像是,用一只眼睛看原图像或者由原图像表现的对象和包含相位调制分量a的图像,用另一只眼睛看原图像或者对象和包含相位调制分量b的图像的人感知立体像,用相同的眼睛看原图像或者对象和包含相位调制分量a的图像、以及包含相位调制分量b的图像的人感知原图像的图像。相位调制分量a是,使原图像的空间频率分量的相位仅移动相当于第1相位的相位调制分量,相位调制分量b是,使原图像的空间频率分量的相位仅移动与第1相位不同的相位即相当于第2相位的相位调制分量。

发明效果

在本发明中,可以使佩戴立体视觉用器具的观察者感知立体像,使未佩戴立体视觉用器具的观察者感知清楚的像。

附图说明

图1是用于说明原理的图。

图2是用于说明原理的图。

图3a~图3c是用于说明原理的图。

图4a是与空间频率有关的贡献率图的例示。图4b是与方位有关的贡献率图的例示。任何一个垂直轴都表示垂直空间频率轴,水平轴表示水平空间频率轴。这里,空间频域中的垂直空间频率在空间区域中指水平方位,空间频域中的水平空间频率在空间区域指垂直方位。越接近中央,空间频率的绝对值越小(低空间频率),越远离中央,空间频率的绝对值越大(高空间频率)。

图5是例示了第1实施方式的图像生成装置1的功能结构的方框图。

图6是例示了第2、3实施方式的图像生成装置2、3的功能结构的方框图。

图7是用于说明第2实施方式的处理的图。

图8是用于说明第3实施方式的处理的图。

图9a以及图9b是用于说明第3实施方式的原理的图。图9a以及图9b的横轴表示空间频率,纵轴表示振幅。

图10是例示了第4实施方式的图像生成装置8的功能结构的方框图。

图11是例示了第5实施方式的图像生成装置9的功能结构的方框图。

图12是用于说明空间区域中的方位θμ的图。

图13是用于例示处理过程的图像的图。

图14是用于例示处理过程的图像的图。

图15a以及图15b是用于例示图像提示系统4,5的概念图。

图16a以及图16b是用于例示图像提示系统6,7的概念图。

具体实施方式

以下,说明本发明的实施方式。

[第1实施方式]

使用附图说明第1实施方式。

<基本原理>

在本方式中,不是利用位置变化,而是利用相位变化来实现希望的两眼视差。位置变化由于可以作为空间频域分量的相位变化而重新捕获,所以两眼视差可以变换为相位差(相位视差)。各空间频域分量中的规定方向的相位视差作为方位和空间频率的函数而被决定。因此,在有期望的两眼视差的情况下,可以将其变换为依赖于方位和空间频率的各空间频域分量的相位变化。在本方式中,在将基于使“原图像”的相位分别向正方向以及负方向变化的要素的相位调制图像(包含相位调制分量a的图像以及包含相位调制分量b的图像)分别加到“原图像”,生成了图像a以及图像b后,分别提供给左右眼。由此,可以对佩戴了护目镜等“立体视觉用器具”的观察者提供相位视差,使其感知有外观的纵深的图像。另一方面,利用基于反相的相位变化的空间图案在两眼图像提示方式被平均化后被感知,使未佩戴“立体视觉用器具”的观察者感知清楚的“原图像”。

以正弦波图像为例说明基本原理。如图1中例示的那样,原图像1000是由单一的空间频率分量构成的正弦波图像。原图像1000的垂直空间频率为零,水平空间频率为正值或者负值。准备使原图像1000的相位仅向水平方向变化了0.5π[rad]的(使相位向图1中的横方向变化的)相位调制图像1100(包含相位调制分量a的图像),以及,使原图像1000的相位仅向水平方向变化了-0.5π[rad]的相位调制图像1200(包含相位调制分量的图像)。关于如何决定相位变化量的问题在后所述。在原图像1000上加上(重叠)相位调制图像1100,得到相加图像1110(图像a),在原图像1000上加上相位调制图像1200,得到相加图像1210(图像b)。相加图像1110被显示在佩戴着“立体视觉用器具”的观察者i的一只眼睛(例如,右眼)中,相加图像1210被显示在该观察者i的另一只眼睛(例如,左眼)中。观察者i通过大脑利用产生了相位调制图像1100和相位调制图像1200的相位差的相加图像1110和相加图像1210的相位差作为两眼视差,观察者感知立体像。

在对于原图像1000的相位调制图像1100、1200的相位变化量分别为0.5π、-0.5π[rad]的情况下,相位调制图像1100、1200成为相位相互反转的正弦波图像。即,相位调制图像1100、1200相对于像素能够取的值的范围的中间值,像素值变动的向量成为相互相反方向。由此,在分时方式中,在高速切换了要显示的相加图像1110、1210的情况下,基于这些相位调制图像1100、1200的相位调制分量的图像强度在感知后被平均化或者抵消(被削弱)。因此,对未佩戴“立体视觉用器具”而用同一眼睛(单眼或者双眼)看相加图像1110、1210两方的观察者ii来说,基于相位调制图像1100、1200的分量被作为均匀的中间亮度图像感知。在偏光方式中,因为基于重叠的相位调制图像1100、1200的相位调制分量之间的亮度被平均化或者抵消,所以对观察者ii来说,基于相位调制图像1100、1200的分量被作为均匀的中间亮度图像感知。即,对未佩戴“立体视觉用器具”的观察者ii来说,基于相位调制图像1100、1200的图像分量未被感知,仅左右眼中显示的相加图像1110、1210的共同分量即原图像1000的图像分量被感知。在以往的彩色立体图方式的情况下,对未佩戴护目镜的观察者来说基于两个信道强度的颜色被原样看到。通过使用本方法,仅两个信道的平均强度的色调变化重叠在原图像1000上被感知。

这里,将对于原图像1000的相位调制图像1100以及1200的相位变化量分别设为0.5π以及-0.5π[rad]并不是必要条件。在希望提供较大的纵深的情况下,也可以设为比它大的相位变化量,在希望提供较小的纵深的情况下,也可以设为比它小的相位变化量。另一方面,相位调制图像1100以及1200的相位变化量越分别接近0.5π以及-0.5π[rad],观察者ii越难感知双重图像,通过将它们在脑内融合,得到越接近原图像1000的亮度以及颜色对比度的印象。

对原图像1000分别加上相位调制图像1100以及1200,得到相加图像1110以及1210。因此,相加图像1110以及1210的亮度对比度与原图像1000不一致。另一方面,若将对左右眼分别提供的相加图像1110、1210融合,其亮度对比度的不一致越是用单眼看的情况越不介意。推测这可能是因为在脑中存在一种忽略(补偿)亮度对比度的不一致的机构,以便在融合了相加图像1110、1210时与这些通过相位变化而感知的图像的纵深匹配。

<空间频率以及方位的贡献>

在图1中,示出对正弦波图像提供均匀的相位视差的方法。但是,在一般的图像中,包含各种空间频率和方位的图像分量。因此,难以不考虑各像素分量的空间频率和方位的影响而对图像提供希望的纵深的印象。从空间频率以及方位的两个方面论述这样考虑的根据。

《与空间频率有关的操作》

为了提供希望的相位视差,需要考虑与相位视差量有关的空间维度和相位维度的关系性。例如,为了提供2像素的视差,是需要0.05π的相位调制这样的关系性。该关系性根据空间频率而变化。例如,即使假设相位变化量相同,作为1周期64像素的正弦波的原图像的空间的移动量,大于作为1周期16像素的正弦波的原图像的空间的移动量(图2)。这是因为随着空间频率变高,空间波长变短。使1周期64像素的正弦波的相位变化相当于1波长时的空间的移动量,与使1周期16像素的正弦波的相位变化相当于4波长时的空间的移动量相等。由该点出发,考虑与相位视差量有关的空间维度和相位维度的关系性。例如为了对于1周期64像素的正弦波的原图像得到移动了2像素的相位调制图像,需要(2/64)×2π[rad],即,(1/16)×π[rad]的相位变化。另一方面,为了对于1周期16像素的正弦波的原图像得到移动了2像素的相位调制图像,需要(2/16)×2π[rad],即,(1/4)×π[rad]的相位变化。即,需要根据空间频率操作对于希望提供的视差量的相位变化量。

《与方位有关的操作》

在空间区域中为了将图像分量向水平方向移动一定量所需要的相位变化量,依赖于构成该图像分量的各空间频率分量的方位。即,在空间区域中的图像分量的水平方向的移动量可以考虑为构成该图像分量的各空间频率分量的移动向量的合成向量。因此,对图像分量的水平方向的移动的贡献度,依赖于各空间频率分量的方位。而且“空间频率分量的方位”意味着在空间频域中该空间频率分量的空间频率为零的方位(除了全方位的空间频率为零的情况)。换言之,“空间频率分量的方位”意味着,该空间频率分量构成的空间区域中的格子(即条纹)对于垂直方位的角度。在空间频率分量的方位为垂直方位的情况下,该空间频率分量的垂直空间频率为零。空间频率分量的方位为水平方位的情况下,该空间频率分量的水平空间频率为零。若将图像分量的水平方向的移动向量分解为构成该图像分量的各空间频率分量的每个方位,则垂直方位的空间频率分量的移动向量的大小(位置变化量)最大,方位越接近水平方位的空间频率分量,其移动向量的大小越小。

使用正弦波具体地说明(图3a~图3c)。垂直方位的正弦波的情况下(图3a),使包含该正弦波分量的像素向水平方向移动了a时的该正弦波的位置变化量b1与像素的位置变化量a一致(b1=a)。而且,在相对垂直方位倾斜了45°的方位的正弦波的情况下(图3b),使包含该正弦波分量的像素向水平方向移动a时的该正弦波的位置变化量b2小于像素的位置变化量a,为b2=acos0.25π[rad]。进而,在水平方位的正弦波的情况下(图3c),使包含该正弦波分量的像素向水平方向移动了a时的该正弦波的位置变化量b3为零(b3=0)。即,在使像素向水平方向移动的情况下,垂直方位的空间频率分量的相位变化量最大,越接近水平方位的空间频率分量,相位变化量越小,水平方位的空间频率分量的相位变化不被看到。由上述的点,为了通过相位调制提供希望的水平视差,需要考虑各空间频率分量的方位。

<与空间频率以及方位有关的具体的操作方法>

如图1中表示的那样,在本方式中,生成在原图像上分别重叠了相位调制图像(包含相位调制分量a的图像以及包含相位调制分量b的图像)的相加图像(图像a以及图像b)。进而,为了如上述那样作成在水平方向上具有希望的视差的相位调制图像,需要考虑各空间频率分量的方位和空间频率,作成相位调制图像。这里,说明为了在对原图像相加了相位调制图像时相加图像具有希望的视差,操作该相位调制图像的空间频率分量(例如,二维傅里叶分量)的振幅的方法,进而使用与该空间频率以及方位对应的权重操作空间频率以及方位的振幅的方法。

《相位调制图像的振幅和相加图像的相位的关系》

将原图像、相位调制图像(包含相位调制分量a的图像以及包含相位调制分量b的图像)、相加图像(图像a以及图像b)作为简单的正弦波考虑。在该情况下,原图像和相位调制图像的相加,可以作为相同的空间频率的两个正弦波的相加来捕捉。一般来说,两个正弦波的相加可以如以下那样记述。

c1sin(fx+α)+c2sin(fx+β)=c3sin(fx+γ)(1)

这里,c1,c2,c3分别是原图像、相位调制图像、相加图像的振幅。f是空间频率,α,β,γ分别是原图像、相位调制图像、相加图像的相位,x表示空间区域的水平坐标。在α=0,β=0.5π[rad](或者-0.5π[rad]),c1=c2=1的情况下,相加图像的振幅c3与2的平方根、γ与0.25π[rad](或者-0.25π[rad])相等。而且,在式(1)中,不考虑空间频率或方位的影响。以下,说明根据空间频率以及方位使相位调制图像中包含的相位调制分量的各空间频率分量的振幅变化,通过操作作为重叠了原图像和相位调制分量的结果而得到的相加图像的各空间频率分量的相位,在水平方向上提供一贯的视差的方法。

《与空间频率有关的贡献率图》

在对任意的原图像提供希望的一致视差的情况下,必须生成通过重叠使原图像的相位变化的相位调制图像和原图像,产生希望的视差量那样的相加图像。在空间维度中产生希望的视差量的相位变化量依赖于空间频率。即,如图2中例示的那样,即使是提供相同的视差量的情况,空间频率越低的空间频率分量,用于它的相位变化量越小。因此,需要对每个空间频率设定与希望的视差对应的相位变化量。在本方式中,通过在空间频域(例如,二维傅里叶空间)中调整相位调制图像的振幅来实现它。在式(1)中,若固定c1而使c2变化,则γ变化。具体地说,随着c2变得小于c1,γ变小,随着c2变得大于c1,γ变大。利用该性质,通过根据其空间频率调整相位调制图像的各空间频率分量的振幅,使得相加图像的各空间频率分量具有与希望的视差量对应的相位变化量。但是,存在不能通过相位变化而提供希望的视差量的空间频带。这是因为相位变化造成的空间区域中的移动量不能超过1波长。在可以通过相位的变化而提供希望的视差量的空间频率中最高的频率称为“临界空间频率(criticalfrequency)”。与临界空间频率相比空间频率低的分量的相位变化量必须小于临界空间频率的分量的相位变化量。因此,减小空间频率比临界空间频率低的相位调制图像分量的振幅。若将提供希望的视差量的相加图像的临界空间频率分量的相位变化量设为dπ[rad],则该相加图像的空间频率f(其中,|f|<cf)中的空间频率分量的相位变化量为d(f/cf)π[rad]。其中,cf为临界空间频率(cf>0)。因此,希望调整相位调制图像的振幅c2,使得相加图像的空间频率f中的空间频率分量的相位变化量为d(f/cf)π[rad]。若将相加图像的临界空间频率分量的相位变化量为d(f/cf)π[rad]的相位调制图像的振幅c2表现为c2(f=cf),将相加图像的空间频率f<cf中的空间频率分量的相位变化量为dπ[rad]的相位调制图像的振幅c2表现为c2(f<cf),则0≦c2(f<cf)<c2(f=cf)。为c2(f=cf)=ρtan(dπ),c2(f<cf)=ρtan(d(f/cf)π)。其中,ρ是根据c1,α,β而决定的值。例如,在c1=1,α=0,β=0.5π[rad]的情况下,ρ=1。另一方面,高于临界空间频率cf的空间频率f(其中,|f|>cf)的分量不为提供希望的视差做贡献。因此,空间频率f中的相位调制图像的振幅c2(|f|>cf)是任意的。其中,通过设定为c2(|f|>cf)=c2(f=cf),可以抑制空间频率f(其中,|f|>cf)的分量的相位偏差造成的图像模糊。

鉴于上述情况,根据空间频率设定调整相位调制图像的振幅的“与空间频率有关的贡献率图fmap”。fmap是,在要素(像素)中具有满足0≦i(u,v)≦1的i(u,v)的二维排列(二维浓淡图像)。其中,u表示水平空间频率,v表示垂直空间频率,满足umin≦u≦umax,vmin≦v≦vmax,umin<umax,vmin<vmax。i(u,v)表示与(u,v)的空间频率分量对应的权重(贡献率)。在图4a中例示fmap。在图4a中以颜色的浓淡表现i(u,v)的大小,颜色越亮i(u,v)越大(接近1)。图4a中的垂直轴表示水平方位分量的空间频率轴(垂直空间频率v的轴),水平轴表示垂直方位分量的空间频率轴(水平空间频率u的轴)。越向中央走越为低空间频率(绝对值小的空间频率),越向端部走越为高空间频率(绝对值大的空间频率)。在图4a的例子中,中央的(0,0)(空间频率为零)中的i(0,0)为0,u以及/或者v变大从而空间频率f越高,i(u,v)越大,在临界空间频率cf以上的空间频率f(其中,|f|≧cf)中i(u,v)=1。fmap在空间频域(例如,二维傅里叶空间)内被使用。

《与方位有关的贡献率图》

如前述那样,若以各种方位的空间频率分量考虑与水平方向的希望的视差对应的相位变化量,则垂直方位的空间频率分量的相位变化量最大,越接近水平方位的空间频率分量,相位变化量越小,看不到水平方位的空间频率分量的相位变化(图3)。因此,即使通过空间频率分量的方位也需要操作相位变化量。将空间频率分量的方位设为ori。ori从-0.5π[rad]至0.5π[rad]分布,将ori=0[rad]设为垂直方位。若将临界空间频率cf的空间频率分量中的、与希望的视差对应的相位变化量设为dπ[rad],则相加图像中的方位ori(其中,-0.5π≦ori≦0.5π)的空间频率分量的相位变化量γori如以下那样。

γori=dπ×cos(ori)(2)

而且,若将用于得到相位变化量γori的相位调制图像的振幅c2表现为c2ori,则为

c2ori=ηtan(γori)(3)

。其中,η是根据c1,α,β确定的值。例如,在c1=1,α=0,β=0.5π[rad]的情况下,η=1。

鉴于上述情况,根据方位设定调整相位调制图像的振幅的“与方位有关的贡献率图omap”。omap是,在要素(像素)中具有满足0≦j(u,v)≦1的j(u,v)的二维排列(二维浓淡图像)。j(u,v)表示与(u,v)的空间频率分量的方位对应的权重(贡献率)。在图4b中例示omap。在图4b中用颜色的浓淡表现j(u,v)的大小,颜色越亮j(u,v)越大(接近1)。图4b中的垂直轴表示水平方位分量的空间频率轴(垂直空间频率v的轴),水平轴表示垂直方位分量的空间频率轴(水平空间频率u的轴)。越向中央走越为低空间频率(绝对值小的空间频率),越向端部走越为高空间频率(绝对值大的空间频率)。在图4b的例子中,越为垂直空间频率v的绝对值接近零的方位(接近垂直方位的方位),j(u,v)越大,v=0时最大值j(u,0)=1。另一方面,越是水平空间频率u的绝对值接近零的方位(接近水平方位的方位),j(u,v)越小,在u=0时为最小值j(0,v)=0。

<贡献率图的适用>

本方式的图像生成装置使原图像m0的相位向水平轴的正方向变化,得到相位调制图像m1,使原图像m0的相位向水平轴的负方向变化,得到相位调制图像m2。接着,图像生成装置通过二维fft等,将相位调制图像m1以及相位调制图像m2变换为空间频域的图像fm1以及fm2。进而,图像生成装置得到对使图像fm1的相位向正方向变化(例如,将相位移动0.5π[rad])的图像乘以了fmap以及omap的图像fwm1,得到对使图像fm2的相位向负方向变化(例如,将相位移动-0.5π[rad])的图像乘以了fmap以及omap的图像fwm2。接着,图像生成装置通过二维fft逆变换等将图像fwm1以及fwm2变换到空间区域,得到相位调制分量wm1以及wm2。进而,图像生成装置得到在原图像m0上重叠了相位调制分量wm1以及wm2的相位调制图像add1=m0+wm1以及add2=m0+wm2。相加图像add1以及add2被显示在显示装置上,或者从投影装置投影在屏幕等上。其中,add1的m0分量和add2的m0分量的坐标相同,在这些分量间没有视差。佩戴了“立体视觉用器具”的观察者i用一只眼睛看相位调制图像add1,用另一只眼睛看相位调制图像add2。由此,观察者i感知外观有纵深的立体像。另一方面,未佩戴“立体视觉用器具”的观察者ii用同一眼(单眼或者两眼)看相位调制图像add1以及add2。观察者ii将add1的wm1分量和add2的wm2分量抵消或者平均化后进行感知。由此,观察者ii感知清楚的原图像m0的平面像。

<结构>

使用图5,例示基于上述的原理的图像生成装置1的结构。

如图5中例示的那样,图像生成装置1包括:存储单元11、空间频域变换单元12、相位操作单元13a、13b、加权单元14、合成单元15a、15b、空间区域变换单元16、以及重叠单元17a、17b。在本方式中,空间频域变换单元12、相位操作单元13a、加权单元14、以及空间区域变换单元16相当于“第1操作单元”,空间频域变换单元12、相位操作单元13b、加权单元14、以及空间区域变换单元16相当于“第2操作单元”。重叠单元17a相当于“第1重叠单元”,重叠单元17b相当于“第2重叠单元”。

图像生成装置1例如是具有cpu(centralprocessingunit)等处理器(硬件、处理器)以及ram(random-accessmemory)、rom(read-onlymemory)等存储器等的通用或者专用的计算机通过执行规定的程序构成的装置。该计算机可以具有1个处理器或存储器,也可以具有多个处理器或存储器。该程序既可以被安装在计算机中,也可以预先记录在rom等中。而且,也可以不是cpu那样通过读入程序实现功能结构的电子回路(circuitry),而使用不使用程序实现处理功能的电子回路来构成一部分或者全部处理单元。而且,构成1个装置的电子回路的也可以包含多个cpu。

<处理>

说明图像生成装置1的处理。

作为事前处理,将前述的“与空间频率有关的贡献率图fmap”以及“与方位有关的贡献率图omap”存储在存储单元11中。

在开始处理时,首先,原图像100被输入到空间频域变换单元12。原图像100既可以是静止图像,也可以是运动图像的各帧的图像,既可以从外部的存储装置读入,也可以从图像生成装置1具有的存储装置(未图示)读入。空间频域变换单元12通过二维fft等将原图像100变换为空间频域的原图像100’(步骤s12)。

相位操作单元13a以空间频域的原图像100’作为输入,得到表示将从其算出的各(u,v)(各方位中的各空间频率)中的相位分别移动(变化)了0.5π[rad]的各相位的第1相位信息。例如,相位操作单元13a对相位空间的第1,第4象限中存在的相位加0.5π[rad],对相位空间的第2,第3象限中存在的相位加-0.5π[rad]。相加后的相位在-0.5π~0.5π[rad]的范围外的情况下,相位操作单元13a通过相位连接(相位展开),将该相加后的相位变换为上述范围内的相位。相位操作单元13a输出表示这样得到的各(u,v)中的相位的第1相位信息(步骤s13a)。

相位操作单元13b以空间频域的原图像100’作为输入,得到表示使从其算出的各(u,v)中的相位分别移动(变化)了-0.5π[rad]的各相位的第2相位信息。例如,相位操作单元13b对相位空间的第1,第4象限中存在的相位加-0.5π[rad],对相位空间的第2,第3象限中存在的相位加0.5π[rad]。在相加后的相位为-0.5π~0.5π[rad]的范围外的情况下,相位操作单元13b通过相位连接,将该相加后的相位变换为上述范围内的相位。相位操作单元13b输出表示这样得到的各(u,v)中的相位的第2相位信息(步骤s13b)。

加权单元14将空间频域的原图像100’作为输入,对原图像100’的各(u,v)中的振幅乘以从存储单元11读入的fmap以及omap的各(u,v)中的要素,得到对各(u,v)的振幅赋予了权重的加权振幅。即,加权单元14对使原图像的相位变化而得到的图像的各空间频率分量赋予与各空间频率分量的空间频率对应的权重、和与各空间频率分量的方位对应的权重。如前述的那样,与某空间频率f1(第1空间频率)对应的权重小于与比空间频率f1高的空间频率f2(第2空间频率)(即,f2>f1)对应的权重(图4a)。而且,与某个方位o1(第1方位)对应的权重也小于与比方位o1更接近垂直方位(为垂直空间频率v=0的方位)的方位o2(第2方位)对应的权重(图4b)。与空间频率对应的权重(以下,权重m)与fmap对应,与方位对应的权重(以下,权重n)与omap对应。也可以将与比临界空间频率cf高的空间频带对应的权重m全部设为1。而且,权重n也可以设为0以上1以下。在与比临界空间频率cf高的空间频带对应的权重m为1的情况下,与某个空间频率f1(第1空间频率)对应的权重为与高于空间频率f1的空间频率f2(第2空间频率)(即,f2>f1)对应的权重以下。加权单元14输出表示各(u,v)中的加权振幅的加权振幅信息(步骤s14)。

合成单元15a将第1相位信息以及加权振幅信息作为输入,得到并输出合成图像110’。合成图像110’的各(u,v)中的要素具有由第1相位信息表示的相位,具有由加权振幅信息表示的振幅(步骤s15a)。同样,合成单元15b将第2相位信息以及加权振幅信息作为输入,得到并输出合成图像120’。合成图像120’的各(u,v)中的要素具有由第2相位信息表示的相位,具有由加权振幅信息表示的振幅(步骤s15b)。

空间区域变换单元16将合成图像110’作为输入,通过二维fft逆变换等将合成图像110’变换为空间区域的相位调制图像110(包含相位调制分量a的图像)后输出。同样,空间区域变换单元16将合成图像120’作为输入,通过二维fft逆变换等将合成图像120’变换为空间区域的相位调制图像120(包含相位调制分量b的图像)后输出(步骤s16)。如上述那样,相位调制图像110基于使原图像100的相位向正方向变化而得到的要素,相位调制图像120基于使原图像100的相位向负方向变化而得到的要素。在上述的例子中,对于原图像100的相位调制图像110的相位变化量是0.5π[rad],对于原图像100的相位调制图像120的相位变化量为-0.5π[rad]。即,对于原图像100的相位调制图像110的相位的相反相位或者其附近,与对于原图像100的相位调制图像120的相位相同。

重叠单元17a将原图像100以及相位调制图像110作为输入,对原图像100重叠相位调制图像110,得到并输出相加图像111(图像a)。相加图像111的各坐标(x,y)的像素值add1(x,y)是将原图像100的各坐标(x,y)的像素值m0(x,y)和相位调制图像110的各坐标(x,y)的像素值wm1(x,y)相加的值即(add1(x,y)=m0(x,y)+wm1(x,y))。在原图像100为彩色图像的情况下,在各颜色模式下进行与其相同的相加(步骤s17a)。

同样,重叠单元17b将原图像100以及相位调制图像120作为输入,对原图像100重叠相位调制图像120,得到并输出相加图像121(图像b)。相加图像121的各坐标(x,y)的像素值add2(x,y)是将原图像100的各坐标(x,y)的像素值m0(x,y)和相位调制图像120的各坐标(x,y)的像素值wm2(x,y)相加的值即(add2(x,y)=m0(x,y)+wm2(x,y))。在原图像100为彩色图像的情况下,在各颜色模式下进行与其相同的相加(步骤s17b)。

相加图像111、121被显示在显示装置上,或者从投影装置投影在屏幕等上。其中,add1(x,y)以及add2(x,y)被显示或者投影在相互相同的坐标上,或者被显示或者投影在附近的坐标上。佩戴了“立体视觉用器具”的观察者i用一只眼睛看相加图像111,用另一只眼睛看相加图像121。由此,观察者i感知外观有纵深的立体像。另一方面,未佩戴“立体视觉用器具”的观察者ii用相同的眼(单眼或者两眼)看相加图像111、121。观察者ii将相加图像111的相位调制图像110分量和相加图像121的相位调制图像120分量抵消或者平均化后感知。由此,观察者ii感知清楚的原图像100的平面像。

[第1实施方式的变形例1]

图像生成装置1也可以不是将相加图像111、121,而是将相位调制图像110作为“包含相位调制分量a的图像”输出,将相位调制图像120作为“包含相位调制分量b的图像”输出。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在显示或印刷的原图像100或者由原图像100表现的“对象”(例如,作为原图像的被摄体的立体物或平面物)上。在该情况下,观察者i也感知外观有纵深的立体像,观察者ii也感知清楚的“对象”的像。

[第1实施方式的变形例2]

“相位调制分量a”也可以仅包含相位调制图像110的亮度分量,“相位调制分量b”也可以仅包含相位调制图像120的亮度分量。例如,图像生成装置1也可以仅提取相位调制图像110的亮度分量,得到“相位调制分量a”,仅提取相位调制图像120的亮度分量,得到“相位调制分量b”。图像生成装置1也可以输出这样的“包含相位调制分量a的图像”,并输出“包含相位调制分量b的图像”。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在显示或印刷的原图像100或者由原图像100表现的“对象”(例如,作为原图像的被摄体的立体物或平面物)上。在该情况下,观察者i也可以感知外观有纵深的立体像,观察者ii也可以感知清楚的”对象”的图像。

[第2实施方式]

在本方式中,对原图像的每个图像区域提供不同的相位差,对每个图像区域提供不同的纵深。在希望对原图像的每个图像区域提供不同的纵深的情况下,需要明示对原图像提供什么样的纵深的“纵深图dmap”。dmap是在要素(像素)中具有d(x,y)的二维排列(二维浓淡图像)。其中,dmap的尺寸与原图像的尺寸相同,x表示空间区域的水平坐标,y表示空间区域的垂直坐标,满足xmin≦x≦xmax,ymin≦y≦ymax,xmin<xmax,ymin<ymax。d(x,y)是正值、负值、零的任意一个。在dmap中,越亮的区域,离观察者近的一侧的纵深越大,越暗的区域,离观察者远的一侧的纵深越大。即,d(x,y)>0的区域表示离观察者近的一侧的纵深,d(x,y)<0的区域表示离观察者远的一侧的纵深,绝对值|d(x,y)|越大纵深越深。通过使用这样的dmap,可以对每个图像区域提供希望的纵深。以下,以与第1实施方式的不同点为中心进行说明,对于共同的事项,使用已使用的参考标号,简化说明。

<结构>

如图6中例示那样,本方式的图像生成装置2包括:存储单元11、21、空间频域变换单元12、相位操作单元13a、13b、加权单元14、27、合成单元15a、15b、空间区域变换单元16、重叠单元17a、17b、以及分解单元22。在本方式中,空间频域变换单元12、相位操作单元13a、加权单元14、27、空间区域变换单元16、以及分解单元22相当于“第1操作单元”,空间频域变换单元12、相位操作单元13b、加权单元14、27、空间区域变换单元16、以及分解单元22相当于“第2操作单元”。图像生成装置2例如是通过前述的计算机执行规定的程序而构成的装置。

<处理>

说明图像生成装置2的处理。

作为事前处理,将上述的纵深图dmap(纵深图201)存储在存储单元21中。而且,对相位操作单元13a、13b分别设定提供与纵深图201的要素的绝对值|d(x,y)|的最大值对应的纵深的相位变化量。例如,将相位操作单元13a的相位变化量设定为0.5π[rad],将相位操作单元13b的相位变化量设定为-0.5π[rad]。

在开始处理时,图像生成装置2取代原图像100而对原图像200执行第1实施方式中说明的步骤s12,s13a,s13b,s14,s15a,s15b,s16的处理,取代相位调制图像110、120而得到相位调制图像210、220。而且,相位调制图像210是使原图像200的相位向正方向变化而赋予了权重的图像,相位调制图像220是使原图像200的相位向负方向变化而赋予了权重的图像(图7)。

分解单元22生成并输出在要素中具有从存储单元21读入的纵深图dmap的正分量d(x,y)>0的绝对值的正对比图260、和在要素中具有负分量d(x,y)<0的绝对值的负对比图270。正对比图260是将为d(x,y)>0的坐标(x,y)的像素值设为|d(x,y)|,将其它的坐标的像素值设为0的二维排列(二维图像)。负对比图270是将为d(x,y)<0的坐标(x,y)的像素值设为|d(x,y)|,将其它的坐标的像素值设为0是二维排列(二维图像)。正对比图260以及负对比图270的尺寸与dmap的尺寸相同(步骤s22)。

加权单元27将相位调制图像210、220、正对比图260、以及负对比图270作为输入,得到将相位调制图像210和正对比图260相乘后的相位调制图像210’,得到将相位调制图像220和负对比图270相乘后的相位调制图像220’。相位调制图像210’的坐标(x,y)的像素值是相位调制图像210的坐标(x,y)的像素值和正对比图260的坐标(x,y)的像素值的相乘结果。同样,相位调制图像220’的坐标(x,y)的像素值是相位调制图像220的坐标(x,y)的像素值和负对比图270的坐标(x,y)的像素值的相乘结果。进而,加权单元27将相位调制图像210’和相位调制图像220’相加而得到相位调制图像230。相位调制图像230的坐标(x,y)的像素值是相位调制图像210’的坐标(x,y)的像素值和相位调制图像220’的坐标(x,y)的像素值的相加结果。加权单元27将相位调制图像230送到重叠单元17a,将相位调制图像230的正负反转图像送到重叠单元17b。这里,相位调制图像230对应于对使原图像200的相位变化而得到的图像的各“第1区域”赋予与至少各“第1区域”对应的权重而得到的“包含相位调制分量a的图像”。相位调制图像230的正负反转图像相当于对使原图像200的相位变化而得到的图像的各“第2区域”赋予与至少各“第2区域”对应的权重而得到的“包含相位调制分量b的图像”(步骤s27)。

重叠单元17a将原图像200以及相位调制图像230作为输入,对原图像200重叠相位调制图像230,得到并输出相加图像211(图像a)(步骤s17a)。重叠单元17b将原图像200以及相位调制图像230的正负反转图像作为输入,对原图像200重叠相位调制图像230的正负反转图像,得到并输出相加图像221(图像b)(步骤s17b)。

[第2实施方式的变形例1]

图像生成装置2也可以不是将相加图像211,221,而是将相位调制图像230作为“包含相位调制分量a的图像”输出,将相位调制图像230的正负反转图像作为“包含相位调制分量b的图像”输出。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在与显示或印刷的原图像200或者原图像200对应的“对象”(由原图像200表现的对象)上。在该情况下,观察者i也感知外观有纵深的立体像,观察者ii感知清楚的“对象”的像。

[第2实施方式的变形例2]

也可以“包含相位调制分量a的图像”仅包含相位调制图像230的亮度分量,“包含相位调制分量b的图像”仅包含相位调制图像230的正负反转图像的亮度分量。例如,也可以图像生成装置2仅提取相位调制图像230的亮度分量,得到“包含相位调制分量a的图像”,仅提取相位调制图像230的正负反转图像的亮度分量,得到“包含相位调制分量b的图像”。也可以图像生成装置2输出这样的“包含相位调制分量a的图像”,输出“包含相位调制分量b的图像”。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在显示或印刷的原图像200或者与原图像200对应的“对象”(由原图像200表现的对象)上。在该情况下,观察者i也感知外观有纵深的立体像,观察者ii也感知清楚的“对象”的像。

[第2实施方式的变形例3]

也可以预先生成正对比图260以及负对比图270,存储在存储单元21中。在该情况下,能够省略分解单元22以及步骤s22。

[第3实施方式]

在本方式中,也对每个原图像的图像区域提供不同的相位差,对每个图像区域提供不同的纵深。其中,在本方式中,进行考虑了相位调制图像的空间频率和纵深图201的空间频率的对应关系后的处理。首先,说明考虑该对应关系的优点。

在使用具有比相位调制图像的空间频率高的空间频率的纵深图而进行了相位调制图像的加权的情况下,生成在原图像中不存在的高空间频率分量。若将这样的加权后的相位调制图像重叠在原图像中,有对原图像的外观产生不良影响的情况。以使用正弦波的纵深图进行正弦波的相位调制图像的加权的情况为例对其进行说明(图9a以及图9b)。在相位调制图像的空间频率比纵深图的空间频率高的情况下,相位调制图像的波长比纵深图的波长短(图9a)。在该情况下,计算使用纵深图进行相位调制图像的加权,在加权的前后相位调制图像的正负(对比)不反转。因此,通过将加权后的相位调制图像重叠在原图像上,可以使相位在空间上平滑地变化,可以感知希望的纵深。另一方面,在相位调制图像的空间频率比纵深图的空间频率低的情况下,相位调制图像的波长比纵深图的波长长(图9b)。在该情况下,若使用纵深图进行相位调制图像的加权,则在加权的前后产生相位调制图像的正负(对比)反转的区间。因此,若将该加权后的相位调制图像重叠在原图像上,则对比部分地反转。其结果,增加在原图像中不存在的高空间频率分量,存在原图像的外观变化的可能性。

为了避免该问题,在本方式中,将纵深图以及相位调制图像对于每个空间频带分离,利用高于纵深图的各空间频带的相位调制图像的空间频带,以相位表现纵深图的各空间频带。具体地说,不利用低于纵深图的各空间频带的相位调制图像的空间频带。由此解决上述的问题。但是,即使假设增加了在原图像中不存在的高空间频率分量,人的视觉系统对该变化不一定敏感。因此,也有如第2实施方式那样,不使用该方法也可以的情况。

<结构>

如图6中例示的那样,本方式的图像生成装置3包括:存储单元11、21、空间频域变换单元12、相位操作单元13a、13b、加权单元34、37、合成单元15a、15b、空间区域变换单元16、重叠单元17a、17b、以及分解单元32、33。在本方式中,空间频域变换单元12、相位操作单元13a、加权单元34、37、空间区域变换单元16、以及分解单元32、33相当于“第1操作单元”,空间频域变换单元12、相位操作单元13b、加权单元34、37、空间区域变换单元16、以及分解单元32、33相当于“第2操作单元”。图像生成装置3例如是,通过前述的计算机执行规定的程序而构成的装置。

<处理>

说明图像生成装置3的处理。

作为事前处理,将前述的纵深图201存储在存储单元21中。而且,对相位操作单元13a、13b分别设定用于提供与纵深图201的要素的绝对值|d(x,y)|的最大值对应的纵深的相位变化量。

在开始处理时,图像生成装置3取代原图像100,对原图像200执行第1实施方式中说明的步骤s12,s13a,s13b,得到第1相位信息以及第2相位信息。

接着,加权单元34取代步骤s14而执行步骤s34的处理。与步骤s34的步骤s14的不同点是,不进行与空间频率有关的贡献率图fmap的加权这一点。与空间频率有关的相位变化量的调整根据如后所述的纵深图执行。在加权单元34中,输入通过在步骤s12中将原图像200变换为空间频域而得到的空间频域的原图像200’。加权单元34对原图像200’的各(u,v)的振幅,乘以从存储单元11读入的omap的各(u,v)的要素,得到对各(u,v)的振幅赋予了权重的加权振幅。即,加权单元34对使原图像的相位变化而得到的图像的各空间频率分量赋予与各空间频率分量的方位对应的权重。加权单元34输出表示各(u,v)中的加权振幅的加权振幅信息(步骤s34)。

之后,图像生成装置3执行在第1实施方式中说明的步骤s14,s15a,s15b,s16的处理,取代相位调制图像110、120而得到相位调制图像310、320。而且,相位调制图像310是通过使原图像200的相位向正方向变化而赋予了权重的图像,相位调制图像320是使原图像200的相位向负方向变化而赋予了权重的图像(图8)。

接着,分解单元33输入相位调制图像310、320,对相位调制图像310进行多重分辨率表现,分解为空间频带不同的多个多重分辨率图像330-i后输出,对相位调制图像320进行多重分辨率表现,分解为空间频带不同的多个多重分辨率图像340-i(其中,i=1,···,max,max为2以上的正整数)后输出。其中,层号i是与各空间频带对应的正整数的索引。例如,分解单元32使用拉普拉斯金字塔法(参考文献1:burt,p.j.,&adelson,e.h.,“thelaplacianpyramidasacompactimagecode,”(1983),ieeetransactionsoncommunications,31(4),532–540.),对相位调制图像310、320进行5层的多重分辨率表现,得到5层多重分辨率图像330-1~5、340-1~5并输出。进而,分解单元33从存储单元21读入纵深图201,对纵深图201进行多重分辨率表现,得到空间频带不同的多个多重分辨率图像350-i(其中,i=1,···,max)。例如,分解单元33使用拉普拉斯金字塔法,对纵深图201进行5层的多重分辨率表现,得到并输出5层多重分辨率图像350-1~5。以下,将层号i的多重分辨率图像330的坐标(x,y)的像素值记述为pr1(i,x,y),将层号i的多重分辨率图像340的坐标(x,y)的像素值记述为pr2(i,x,y),将层号i的多重分辨率图像350的坐标(x,y)的像素值记述为pr3(i,x,y)(步骤s33)。

接着,分解单元32将多重分辨率图像350作为输入,生成并输出在要素中具有对于各个图像的正分量dpr3(i,x,y)>0的绝对值的正对比图360-i(其中,i=1,···,max)、以及在要素中具有负分量pr3(i,x,y)<0的绝对值的负对比图370-i(步骤s32)。

在加权单元37中,输入多重分辨率图像330-i、340-i、正对比图360-i、负对比图370-i(其中,i=1,···,max)。加权单元37将多重分辨率图像330-i和正对比图360-i和权重wi相乘,得到正对比图像380a-i,将多重分辨率图像340-i和负对比图370-i和权重wi相乘,得到负对比图像380b-i。其中,多重分辨率图像330-i的空间频带比正对比图360-i的空间频带高。即,以正对比图360-i的各像素表示的权重的空间频率(与各第1区域对应的权重的空间频率),低于被赋予该权重的多重分辨率图像330-i的像素的空间频率(各第1区域的各空间频率)。而且,多重分辨率图像340-i的空间频带高于负对比图370-i的空间频带。即,以负对比图370-i的各像素表示的权重的空间频率(与各第2区域对应的权重的空间频率),低于被赋予该权重的多重分辨率图像340-i的像素的空间频率(各第2区域的各空间频率)(图9a)。权重wi(其中,0≦wi≦1)与关于前述的空间频率的贡献率图同样,是用于对每个空间频率调整与希望的视差对应的相位变化量的权重。即,与层号i=ζ对应的权重wζ小于空间频带高于多重分辨率图像330-ζ,340-ζ的多重分辨率图像330-κ,340-κ的层号i=κ对应的权重wκ。可以将与高于临界空间频率cf的空间频带对应的权重wi全部设为1。在将与高于临界空间频率cf的空间频带对应的权重wi全部设为1的情况下,与层号i=ζ对应的权重wζ为空间频带高于多重分辨率图像330-ζ,340-ζ的多重分辨率图像330-κ,340-κ的层号i=κ对应的权重wκ以下。加权单元37将全部正对比图像380a-i以及负对比图像380b-i(其中,i=1,···,max)相加而得到相位调制图像390。加权单元37将相位调制图像390送到重叠单元17a,将相位调制图像390的正负反转图像送到重叠单元17b。这里,相位调制图像390对应于对使原图像200的相位变化而得到的图像的各“第1区域”至少赋予与各“第1区域”对应的权重而得到的“相位调制分量a”。相位调制图像390的正负反转图像相当于对使原图像200的相位变化而得到的图像的各“第2区域”至少赋予与各“第2区域”对应的权重而得到的“相位调制分量b”。其中,与各“第1区域”对应的权重的空间频率低于各“第1区域”的各空间频率,与各“第2区域”对应的权重的空间频率低于各“第2区域”的各空间频率(步骤s37)。

重叠单元17a将原图像200以及相位调制图像390作为输入,在原图像200上重叠相位调制图像390,得到并输出相加图像311(图像a)(步骤s17a)。重叠单元17b将原图像200以及相位调制图像390的正负反转图像作为输入,在原图像200上重叠相位调制图像390的正负反转图像,得到并输出相加图像321(图像b)(步骤s17b)。

[第3实施方式的变形例1]

图像生成装置3不将相加图像311、321,而是可以将相位调制图像390作为“包含相位调制分量a的图像”输出,将相位调制图像390的正负反转图像作为“包含相位调制分量b的图像”输出。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在显示或印刷的原图像200或者与原图像200对应的“对象”(由原图像200表现的对象)上。在该情况下,观察者i感知外观有纵深的立体像,观察者ii感知清楚的原图像200的平面像。

[第3实施方式的变形例2]

“包含相位调制分量a的图像”也可以仅包含相位调制图像390的亮度分量,“包含相位调制分量b的图像”也可以仅包含相位调制图像390的正负反转图像的亮度分量。例如,图像生成装置3也可以仅提取相位调制图像390的亮度分量,得到“包含相位调制分量a的图像”,仅提取相位调制图像390的正负反转图像的亮度分量,得到“包含相位调制分量b的图像”。图像生成装置3也可以将这样的“包含相位调制分量a的图像”作为输出,将“包含相位调制分量b的图像”作为输出。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在显示或印刷的原图像200或者与原图像200对应的“对象”(由原图像200表现的对象)上。在该情况下,观察者i感知外观有纵深的立体像,观察者ii感知清楚的原图像200的平面像。

[第3实施方式的变形例3]

也可以预先生成正对比图360-i以及负对比图370-i,存储在存储单元21中。在该情况下,能够省略分解单元32以及步骤s32。

[第4实施方式]

本方式是第2以及第3实施方式的变形,在本方式中也对原图像的每个图像区域提供不同的相位差,对每个图像区域提供不同的纵深。

<结构>

如图10中例示的那样,本方式的图像生成装置8包括:分解单元811、812、空间频域变换单元821、822、空间区域变换单元823、824、权重计算单元83、相位操作单元84、加权单元85、重构单元86、以及重叠单元87、88。在本方式中,分解单元811、812、空间频域变换单元821、822、空间区域变换单元823、824、权重计算单元83、相位操作单元84、加权单元85、重构单元86、以及重叠单元87相当于“第1操作单元”,分解单元811、812、空间频域变换单元821、822、空间区域变换单元823、824、权重计算单元83、相位操作单元84、加权单元85、重构单元86、以及重叠单元88相当于“第2操作单元”。图像生成装置8例如是通过前述的计算机执行规定的程序而构成的装置。

<处理>

说明图像生成装置8的处理。

在图像生成装置8中输入原图像ic(图13a)、以及前述的视差图dmap(图13b)。原图像ic是在要素(像素)中具有ic(x,y)的二维排列。原图像ic既可以是静止图像,也可以是运动图像的各帧的图像,既可以是从外部的存储装置读入的图像,也可以是从图像生成装置8具有的存储装置(未图示)读入的图像。视差图dmap是在要素(像素)中具有d(x,y)的二维排列(二维浓淡图像)。其中,dmap的尺寸与原图像ic的尺寸相同,x表示空间区域的水平坐标,y表示空间区域的垂直坐标,满足xmin≦x≦xmax,ymin≦y≦ymax,xmin<xmax,ymin<ymax。d(x,y)是正值、负值、零的任意一个。在dmap中,d(x,y)>0的区域表示与显示器面或者屏幕面相比能够在靠前侧看到的视差(交叉视差),d(x,y)<0的区域表示与显示器面或者屏幕面相比能够在后侧看到的视差(非交叉视差),绝对值|d(x,y)|越大视差越大。通过使用这样的dmap,可以对每个图像区域提供希望的视差。

原图像ic被输入到空间频域变换单元821。空间频域变换单元821将原图像ic变换为空间频域的原图像ic~,输出原图像ic~。其中,空间频域的原图像ic~是在要素中具有ic~(ωx,ωy)的二维排列。ωx表示水平方向的空间频率,ωy表示垂直方向的空间频率。在从原图像ic至原图像ic~的变换中,例如可以使用离散傅里叶变换。而且,“ic~”的上标的“~”本来应记载在“i”的正上方。但是,因说明书的记载记述的制约,有时在“ic”的右上记载“~”(步骤s821)。

空间频域的原图像ic~被输入到分解单元812。分解单元812对原图像ic~适用复数可操纵滤波器(complexsteerablefilters)列ψ,得到复数可操纵金字塔。其中,可操纵滤波器列ψ由与空间频带λ以及方位带μ对应的可操纵滤波器ψλ,μ构成。这里,λ是与具有规定的宽度的空间频带对应的整数的索引,μ是与具有规定的宽度的方位带对应的整数的索引。满足λmin≦λ≦λmax,μmin≦μ≦μmax,λmin<λmax,μmin<μmax。λ越小与越低的频率的频带对应。如以下那样,分解单元812通过对全部λ以及μ的组合,对原图像ic~乘以可操纵滤波器ψλ,μ,得到并输出与各空间频带λ以及各方位带μ对应的复数可操纵金字塔scλ,μ~。

而且,“scλ,μ~”的上标的“~”本来应记载在“s”的正上方(参照式(4))。但是,因说明书的记载记述的制约,有时在“scλ,μ”的右上记载“~”。而且,“scλ,μ~”的下标的“cλ,μ”本来应记载为“cλ,μ”(参照式(4))。但是,因说明书的记载记述的制约,有时记载为“cλ,μ”(步骤s812)。

复数可操纵金字塔scλ,μ~被输入到空间区域变换单元823。空间区域变换单元823将复数可操纵金字塔scλ,μ~变换为空间区域的复数可操纵金字塔scλ,μ,输出复数可操纵金字塔scλ,μ。在从复数可操纵金字塔scλ,μ~至复数可操纵金字塔scλ,μ的变换中,例如可以使用离散傅里叶逆变换。各复数可操纵金字塔scλ,μ是在要素(像素)中具有scλ,μ(x,y)的二维排列(步骤s823)。

空间区域的复数可操纵金字塔scλ,μ被输入到相位操作单元84。相位操作单元84提取各复数可操纵金字塔scλ,μ的虚数部分im[scλ,μ(x,y)],如以下那样,得到并输出与各空间频带λ以及各方位带μ对应的各相位偏移图像sc’λ,μ(图13c)。

其中,各相位偏移图像sc’λ,μ是在要素(像素)中具有sc’λ,μ(x,y)的二维排列。“sc’λ,μ”的下标的“c’λ,μ”本来应记载为“c’λ,μ”(参照式(5))。但是,因说明书的记载记述的制约,有时记载为“c’λ,μ”。θμ意味着在方位带μ中包含的方位中,与功率最强的分量对应的方位(峰值方位)。θμ的例子是方位带μ的中心的方位。如图12所示,θμ是某个空间频率分量构成的空间区域中的格子对于垂直方位形成的角度,满足0≦θμ≦π。相位偏移图像sc’λ,μ的相位为使与原图像ic的空间频带λ以及方位带μ对应的正弦波分量的相位向正方向偏移0.5π[rad]的相位。在式(5)中,在θμ>π/2的情况下使正负符号反转,这是为了在0≦θμ≦π/2的范围和π≧θμ>π/2的范围中使相位向相同的方向(正方向)偏移0.5π[rad](步骤s84)。

输入到图像生成装置8(图10)的视差图dmap被输入到分解单元811。分解单元811对视差图dmap适用高斯滤波器(gaussianfilters)列,得到并输出视差图dmap的高斯金字塔gdλ(x,y)(图13d)。高斯金字塔gdλ包含与空间频带λ以及比其低的空间频带对应的空间频率。即,gdλ(x,y)表示与ωλ对应的空间频带λ以及低于空间频带λ的空间频带对应的、视差图dmap的高斯金字塔的各坐标(x,y)的值。而且,“gdλ”的下标“dλ”本来应记载为“dλ”。但是,因说明书的记载记述的制约,有时记载为“dλ”(步骤s811)。

高斯金字塔gdλ(x,y)被输入到权重计算单元83。如以下那样,权重计算单元83得到并生成将各权重aλ,μ(x,y)设为要素的二维排列即权重图像aλ,μ。

其中,ωλ意味着在空间频带λ中包含的空间频率中,与功率最强的分量对应的空间频率(峰值空间频率)。ωλ的例子是空间频带λ的中心的空间频率(步骤s83)。

相位偏移图像sc’λ,μ以及权重图像aλ,μ被输入到加权单元85。如以下那样,加权单元85将权重图像aλ,μ的各权重aλ,μ(x,y)乘以相位偏移图像sc’λ,μ的各要素sc’λ,μ(x,y),得到并输出将各s^c’λ,μ(x,y)作为要素的二维排列即加权图像s^c’λ,μ。

而且“s^”的上标“^”本来应记载在“s”的正上方(参照式(7))。但是,因说明书的记载记述的制约,有时在“s”的右上记载“^”(步骤s85)。

加权图像s^c’λ,μ被输入到空间频域变换单元822。空间频域变换单元822将加权图像s^c’λ,μ变换为空间频域的加权图像s^~c’λ,μ,输出加权图像s^~c’λ,μ。而且,因说明书的记载记述的制约,虽然有时记述为“s^~c’λ,μ”,但是“s^~c’λ,μ”与

同义。而且,在从加权图像s^c’λ,μ至加权图像s^~c’λ,μ的变换中,例如可以使用离散傅里叶变换(步骤s822)。

加权图像s^~c’λ,μ被输入到重构单元86。如以下那样,重构单元86对加权图像s^~c’λ,μ适用前述的可操纵滤波器列ψ,得到并输出空间频域的相位调制图像id~(步骤s86)。

空间频域的相位调制图像id~被输入到空间区域变换单元824。空间区域变换单元824将空间频域的相位调制图像id~变换为空间区域的相位调制图像id,输出相位调制图像id(图13e)。其中,相位调制图像id是在要素(像素)中具有id(x,y)的二维排列。在从相位调制图像id~至相位调制图像id的变换中,例如可以使用离散傅里叶逆变换(步骤s824)。

重叠单元87将原图像ic以及相位调制图像id作为输入,对原图像ic重叠相位调制图像id的正负反转图像(相位调制分量a),得到并输出相加图像ir(图像a)(图13g)。在某个区域中视差图dmap的值为正(交叉视差)的情况下,对应的区域中的相位调制图像id的相位相对于原图像ic的相位向正方向偏移0.5π[rad]。因此,该区域中的相位调制图像id的正负反转图像(相位调制分量a)的相位成为将原图像ic的相位向负方向移动了0.5π[rad]分的相位。另一方面,在某个区域中视差图dmap的值为负的情况下,对应的区域中的相位调制图像id的相位相对于原图像ic的相位向负方向偏移0.5π[rad]。因此,该区域中的相位调制图像id的正负反转图像(相位调制分量a)的相位成为将原图像ic的相位向正方向移动了0.5π[rad]的相位。相加图像ir的各坐标(x,y)的像素值ir(x,y)是从原图像ic的各坐标(x,y)的像素值ic(x,y)减去了相位调制图像id的正负反转图像的各坐标(x,y)的像素值id(x,y)的值即(ir(x,y)=ic(x,y)-id(x,y))。而且,相位调制图像id的正负反转图像以及相加图像ir与对使原图像ic的相位变化而得到的图像的各“第1区域”至少赋予各“第1区域”对应的权重而得到的“包含相位调制分量a的图像”对应(步骤s87)。

重叠单元88将原图像ic以及相位调制图像id作为输入,将原图像ic和相位调制图像id(相位调制分量b)重叠,得到并输出相加图像il(图像b)(图13f)。相位调制分量b是相位调制分量a的相反相位图像。某个区域中视差图dmap的值为正(交叉视差)的情况下,对应的区域中的相位调制图像id的相位相对于原图像ic的相位向正方向偏移0.5π[rad]。因此,该区域中的相位调制分量b的相位成为将原图像ic的相位向正方向移动了0.5π[rad]的相位。另一方面,在某个区域中视差图dmap的值为负的情况下,对应的区域中的相位调制图像id的相位相对于原图像ic的相位向负方向偏移0.5π[rad]。因此,该区域中的相位调制分量b的相位成为将原图像ic的相位向负方向移动了0.5π[rad]的相位。相加图像il的各坐标(x,y)的像素值il(x,y)是将原图像ic的各坐标(x,y)的像素值ic(x,y)和相位调制图像id的各坐标(x,y)的像素值id(x,y)相加的值即(il(x,y)=ic(x,y)+id(x,y))。而且,相位调制图像id以及相加图像il相当于对使原图像ic的相位变化而得到的图像的各“第2区域”至少赋予与各“第2区域”对应的权重而得到的“包含相位调制分量b的图像”(步骤s88)。

[第4实施方式的变形例1]

从理论上说,相加图像ir、il间的视差的最大值为各波长的半波长。但是,为了得到半波长的偏差幅度,需要将前述的权重aλ,μ(x,y)无限增大,这不现实。因此,也可以将对于原图像ic的相加图像ir,il的相位偏移量的绝对值分别限制在π/4[rad]以下。在这样的限制下,权重aλ,μ(x,y)的绝对值为1以下,相加图像ir、il间的视差的绝对值不足π/(2ωλ|cosθμ|)。在该情况下,权重计算单元83(图10)取代式(6)而按照以下的式(9),得到并输出将各权重aλ,μ(x,y)设为要素的二维排列即权重图像aλ,μ。

其中,

。在适用了该变形例的情况下,若比较同一方位带中包含的空间频带的权重,则与在峰值中具有某个空间频率ωλ1的空间频带λ1(第1空间频带)对应的权重,为与在峰值中具有高于空间频带λ1的空间频率ωλ2的空间频带λ2(第2空间频带)(即,ωλ2>ωλ1)对应的权重以下。而且,若比较同一空间频带中包含的方位带的权重,则同样在峰值中具有每个方位θμ1的方位带μ1(第1方位带)对应的权重,为与在峰值中具有比方位带μ1接近垂直方位(0或者π)的方位θμ2的方位带μ2(第2方位带)(即,|θμ2-π/2|>|θμ1-π/2|)对应的权重以下。其它如在第4实施方式中说明的那样。

[第4实施方式的变形例2]

在第4实施方式中,通过将相位调制图像id的正负反转图像以及相位调制图像id分别重叠在原图像ic上,得到相互具有视差的相加图像ir以及il。这样得到的相加图像ir以及il的振幅大于原图像ic的振幅,有相加图像ir以及il超过规定的下限值bl以及/或者上限值bu的情况(bl<bu),即,超过规定的动态范围的情况。作为对于它的简单的对策,为了将相加图像ir以及il收敛在下限值bl和上限值bu之间的范围内,考虑将相加图像ir以及il的全体的强度线性压缩的方法。但是,在该简单的对策中,相加图像ir以及il的对比比原图像ic的小,图像的印象改变。而且,虽然还考虑在相加图像ir以及il中将超过了下限值bl以及/或者上限值bu的部分削除的对策,但是在该情况下相加图像ir以及il的视差分量不被相互抵消,在用两眼一次观察相加图像ir以及il的情况下,有双重地感知模糊的图像的可能性。因此,在本变形例2中,对与相加图像ir以及il中超过下限值bl或者上限值bu的部分对应的相位调制图像id进行限幅。

具体地进行说明。在本变形例2中,图像生成装置8还具有动态范围调整单元861(图10)。动态范围调整单元861将相位调制图像id以及重叠单元87、88中得到的相加图像ir、il作为输入,如以下的那样将相位调制图像id更新为相位调制图像id^并输出。

其中,相位调制图像id^是要素id^(x,y)构成的二维排列,为mu(x,y)=max(max(ir(x,y)-bu,0),max(il(x,y)-bu,0)),ml(x,y)=min(min(ir(x,y)-bl,0),min(il(x,y)-bl,0))。max(α1,α2)表示α1以及α2中较大一方的值,min(α1,α2)表示α1以及α2中较小一方的值。而且,“id^”的“^”本来应记载在“i”的正上方(参照式(10))。但是,因说明书的记载记述的制约,有时在“id”的右上记述“^”。

在该情况下,重叠单元87进一步将原图像ic以及相位调制图像id^作为输入,在原图像ic上重叠相位调制图像id^的正负反转图像(相位调制分量a),得到并输出相加图像ir(图像a)。相加图像ir的各坐标(x,y)的像素值ir(x,y)是从原图像ic的各坐标(x,y)的像素值ic(x,y)减去相位调制图像id^的各坐标(x,y)的像素值id^(x,y)的值(ir(x,y)=ic(x,y)-id^(x,y))。在该情况下,在前述的步骤s87中得到的相加图像ir不作为图像a输出。

重叠单元88进一步将原图像ic以及相位调制图像id^作为输入,将原图像ic和相位调制图像id^(相位调制分量b)重叠,得到并输出相加图像il(图像b)。相加图像il的各坐标(x,y)的像素值il(x,y)是将原图像ic的各坐标(x,y)的像素值ic(x,y)和相位调制图像id^的各坐标(x,y)的像素值id(x,y)相加的值即(il(x,y)=ic(x,y)+id^(x,y))。在该情况下,在前述的步骤s88中得到的相加图像il不作为图像b被输出。

[第4实施方式的变形例3]

图像生成装置8也可以不是将相加图像ir、il,而是将相位调制图像id的正负反转图像作为“包含相位调制分量a的图像”输出,将相位调制图像id作为“包含相位调制分量b的图像”输出。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在显示或印刷的原图像ic或者与原图像ic对应的“对象”(由原图像ic表现的对象)上。在该情况下,观察者i感知外观有纵深的立体像,观察者ii感知清楚的原图像ic的平面像。

[第4实施方式的变形例4]

“相位调制分量a”也可以仅包含相位调制图像id的正负反转图像的亮度分量,“相位调制分量b”也可以仅包含相位调制图像id的亮度分量。例如,图像生成装置8可以仅提取相位调制图像id的正负反转图像的亮度分量,得到“相位调制分量a”,仅提取相位调制图像id的亮度分量,得到“相位调制分量b”。图像生成装置8也可以输出这样的“包含相位调制分量a的图像”,输出“包含相位调制分量b的图像”。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在显示或印刷的原图像ic或者与原图像ic对应的“对象”(由原图像ic表现的对象)上。在该情况下,观察者i也可以感知外观有纵深的立体像,观察者ii也可以感知清楚的原图像ic的平面像。

[第4实施方式的变形例5]

在原图像ic为彩色图像的情况下,也可以对各颜色信道(r,g,b信道)分别执行第4实施方式的步骤s821,s812,s823,s84,s85,s822,s86,s824,s87,s88的处理,输出全部颜色信道的相加图像ir(图像a)以及相加图像il(图像b)。在原图像ic为彩色图像的情况下,也可以执行第4实施方式的变形例1~4,对各颜色信道执行在该情况下的变形例2、3的处理。

[第4实施方式的变形例6]

在第4实施方式中,使将原图像ic的相位向正方向偏移了0.5π[rad]的图像设为了相位偏移图像sc’λ,μ(式(5))。但是,也可以使将原图像ic的相位向正方向偏移了相当于0.5π的附近的量的图像设为相位偏移图像sc’λ,μ。在该情况下,与视差图dmap的值为正(交叉视差)的区域对应的相位调制图像id的正负反转图像(相位调制分量a)的区域的相位设为相对于原图像ic的相位向负方向偏移了相当于0.5π[rad]的附近的量的相位。另一方面,与视差图dmap的值为负的区域对应的相位调制图像id的正负反转图像(相位调制分量a)的区域的相位设为相对于原图像ic的相位向正方向偏移了相当于0.5π[rad]的附近的量的相位。与视差图dmap的值为正(交叉视差)的区域对应的相位调制图像id(相位调制分量b)的区域的相位设为相对于原图像ic的相位向正方向偏移了相当于0.5π[rad]的附近的量的相位。另一方面,与视差图dmap的值为负的区域对应的相位调制图像id(相位调制分量b)的区域的相位设为相对于原图像ic的相位向负方向偏移了相当于0.5π[rad]的附近的量的相位。而且,也可以取代将相位调制图像id的正负反转图像设为相位调制分量a,将相位调制图像id设为相位调制分量b,而将相位调制图像id的正负反转图像设为相位调制分量a,将相位调制分量a的相反相位附近的图像设为相位调制分量b。

[第5实施方式]

存在以往的两眼图像提示方法中使用的庞大的立体图像内容。在本方式中,说明将以往的立体图像内容变换为相加图像ir(图像a)以及相加图像il(图像b)的方法。简单的方法是,从具有以往的立体图像内容的两眼视差的图像计算视差图dmap,使用它进行第4实施方式的处理,得到相加图像ir(图像a)以及相加图像il(图像b)的方法。但是,在本方式中,更简便地不生成视差图dmap,从以往的立体图像内容得到相加图像ir(图像a)以及相加图像il(图像b)。

如图11中例示的那样,本方式的图像生成装置9包括:空间频域变换单元822、921、922、空间区域变换单元824、924、925、分解单元911、912、相位操作单元93、相位差计算单元94、权重计算单元95、加权单元85、重构单元86、以及重叠单元87、88。在本方式中,空间频域变换单元822、921、922、空间区域变换单元824、924、925、分解单元911、912、相位操作单元93、相位差计算单元94、权重计算单元95、加权单元85、重构单元86、以及重叠单元87相当于“第1操作单元”,空间频域变换单元822、921、922、空间区域变换单元824、924、925、分解单元911、912、相位操作单元93、相位差计算单元94、权重计算单元95、加权单元85、重构单元86、以及重叠单元88相当于“第2操作单元”。图像生成装置9例如是通过前述的计算机执行规定的程序而构成的装置。

<处理>

说明图像生成装置9的处理。

在图像生成装置9中输入原图像il’=ic(第1原图像:图14a)以及原图像ir’(第2原图像:图14b)。原图像il’以及原图像ir’是用于通过以往的两眼图像提示方法对图像提供外观的纵深的三维度图像内容。在原图像il’以及原图像ir’之间存在作为两眼视差被识别的相位差。换言之,在原图像il’以及原图像ir’之间存在作为两眼视差被识别的位置偏差。用一只眼睛(例如,右眼)看原图像ir’,用另一只眼睛(例如,左眼)看原图像il’,感知“立体图像”。另一方面,用两眼看原图像ir’以及原图像il’的两者,双重地感知模糊的图像。原图像ir’是在要素中具有ir’(x,y)的二维排列,原图像il’是在要素(像素)中具有il’(x,y)的二维排列。原图像ir’以及原图像il’既可以是静止图像,也可以是运动图像的各帧的图像,既可以从外部的存储装置读入,也可以从图像生成装置9具有的存储装置(未图示)读入。

原图像il’被输入到空间频域变换单元921,原图像ir’被输入到空间频域变换单元922。空间频域变换单元921将原图像il’变换为空间频域的原图像il’~,输出原图像il’~。空间频域变换单元922将原图像ir’变换为空间频域的原图像ir’~,输出原图像ir’~。在空间频域变换单元921,922中的变换中,例如可以使用离散傅里叶变换。而且,“il’~”“ir’~”的上标的“~”本来应记载在“i”的正上方。但是,因说明书的记载记述的制约,有时分别在“il’”“ir’”的右上记载“~”(步骤s921,s922)。

空间频域的原图像il’~被输入到分解单元911,空间频域的原图像ir’~被输入到分解单元912。分解单元911以及912分别如以下那样,对原图像il’~以及ir’~适用复数可操纵滤波器列ψ,分别得到与各空间频带λ以及各方位带μ对应的各复数可操纵金字塔sl’λ,μ~以及sr’λ,μ~并输出(步骤s911,s912)。

复数可操纵金字塔sl’λ,μ~以及sr’λ,μ~分别被输入到空间区域变换单元924以及925。空间区域变换单元924以及925分别将复数可操纵金字塔sl’λ,μ~以及sr’λ,μ~变换为空间区域的复数可操纵金字塔sl’λ,μ以及sr’λ,μ(图14c以及图14d),输出复数可操纵金字塔sl’λ,μ以及sr’λ,μ。在空间区域变换单元924以及925中的变换中,例如可以使用离散傅里叶逆变换。各复数可操纵金字塔sl’λ,μ是在要素(像素)中具有sl’λ,μ(x,y)的二维排列,各复数可操纵金字塔sr’λ,μ是在要素中具有sr’λ,μ(x,y)的二维排列(步骤s924,s925)。

复数可操纵金字塔sl’λ,μ以及sr’λ,μ被输入到相位差计算单元94。相位差计算单元94使用参考文献2(didyk,p.,sitthi-amorn,p.,freeman,w.,durand,f.,andmatusik,w.2013,“jointviewexpansionandfilteringforautomultiscopic3ddisplays,”acmtrans.graph.32,6737(nov.),221:1–221:8)中记载的方法,得到并输出sl’λ,μ(x,y)和sr’λ,μ(x,y)之间的相位差δλ,μ(x,y)。将以相位差δλ,μ(x,y)作为要素的集合记述为相位差δλ,μ。如在参考文献2中记载的那样,对于相位差超过了π/2[rad]的空间频带λ,将低1个空间频带λ-1中的相位差δλ-1,μ(x,y)的2倍的值设为相位差δλ,μ(x,y)。

δλ,μ(x,y)=2δλ-1,μ(x,y)

其中,空间频带λ的峰值空间频率ωλ是空间频带(λ-1)的峰值空间频率ωλ-1的2倍或者接近2倍(步骤s94)。

相位差δλ,μ被输入到权重计算单元95。权重计算单元95如以下那样得到并输出权重aλ,μ(x,y)(步骤s95)。

aλ,μ(x,y)=tan{δλ,μ(x,y)}

在空间区域变换单元924中得到的的复数可操纵金字塔sl’λ,μ被输入到相位操作单元93。相位操作单元93提取复数可操纵金字塔sl’λ,μ的虚数部分,设scλ,μ=sl’λ,μ,按照第4实施方式中示出的式(5),得到并输出与各空间频带λ以及各方位带μ对应的各相位偏移图像sc’λ,μ(步骤s924)。

此后,进行在第4实施方式中说明的步骤s85,s822,s86,s824的处理,空间区域变换单元824输出相位调制图像id(图14e)。进而,进行在第4实施方式中说明的步骤s87的处理,重叠单元87得到并输出相加图像ir(图像a)(图14g)。而且,进行在第4实施方式中说明的步骤s88的处理,重叠单元88得到并输出相加图像il(图像b)(图14f)。

[第5实施方式的变形例1]

如在第4实施方式的变形例1中说明的那样,可以将对于原图像il,=ic的相加图像ir,il的相位偏移量的绝对值分别限制在π/4[rad]以下。在该情况下,图像生成装置9(图11)进一步具有相位差限制单元941。相位差限制单元941将在相位差计算单元94中得到的相位差δλ,μ(x,y)作为输入,如以下那样将相位差δλ,μ(x,y)更新为δλ,μ(x,y)。

其中,τ是用于定标的正常数。通过减小τ的值,可以缩窄将相位差限幅在π/4[rad]的范围。

在该情况下,在步骤s95中,取代相位差δλ,μ(x,y)将δλ,μ(x,y)输入权重计算单元95。在该情况下,权重计算单元95如以下那样得到并输出权重aλ,μ(x,y)。

以下的处理如前述那样。

[第5实施方式的变形例2]

与第4实施方式的变形例2同样,图像生成装置9也可以进一步具有动态范围调整单元861(图11)。在该情况下,如在第4实施方式的变形例2中说明的那样,动态范围调整单元861将相位调制图像id更新为相位调制图像id并输出,重叠单元87在原图像il’=ic上重叠相位调制图像id^的正负反转图像(相位调制分量a),得到并输出相加图像ir(图像a),重叠单元88进一步将原图像il’=ic以及相位调制图像id作为输入,将原图像il’=ic和相位调制图像id(相位调制分量b)重叠,得到并输出相加图像il(图像b)。

[第5实施方式的变形例3]

图像生成装置9也可以不将相加图像ir,il,而将相位调制图像id的正负反转图像作为“包含相位调制分量a的图像”输出,将相位调制图像id作为“包含相位调制分量b的图像”输出。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在显示或印刷的原图像il’=ic或者与原图像il’=ic对应的“对象”(由原图像ic表现的对象)上。在该情况下,观察者i感知外观有纵深的立体像,观察者ii感知清楚的原图像ic的平面像。

[第5实施方式的变形例4]

也可以“相位调制分量a”仅包含相位调制图像id的正负反转图像的亮度分量,“相位调制分量b”仅包含相位调制图像id的亮度分量。例如,图像生成装置9也可以仅提取相位调制图像id的正负反转图像的亮度分量,得到“相位调制分量a”,仅提取相位调制图像id的亮度分量,得到“相位调制分量b”。图像生成装置9也可以仅输出这样的“包含相位调制分量a的图像”,输出“包含相位调制分量b的图像”。也可以将这样的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在显示或印刷的原图像il’=ic或者与原图像il’=ic对应的“对象”(由原图像ic表现的对象)上。在该情况下,观察者i感知外观有纵深的立体像,观察者ii感知清楚的原图像il’=ic的平面像。

[第5实施方式的变形例5]

在原图像il’=ic为彩色图像的情况下,也可以对各颜色信道(r,g,b信道)分别执行第5实施方式的步骤s921,s922,s911,s912,s924,s925,s95,s93,s85,s822,s86,s824,s87,s88的处理,输出全部颜色信道的相加图像ir(图像a)以及相加图像il(图像b)。步骤s94的处理仅任意一个信道即可。在原图像il’=ic为彩色图像的情况下,可以执行第5实施方式的变形例1~4,在该情况下的变形例2,3的处理对各颜色信道被执行。

[第5实施方式的变形例6]

在第5实施方式中,使将原图像il’=ic的相位向正方向偏移了0.5π[rad]的通信设为相位偏移图像sc’λ,μ(式(5))。但是,也可以使将原图像il’=ic的相位向正方向偏移了相当于0.5π的附近的量的图像设为相位偏移图像sc’λ,μ。在该情况下,与视差图的值为正(交叉视差)的区域对应的相位调制图像id的正负反转图像(相位调制分量a)的相位成为相对于原图像il’=ic的相位向负方向仅偏移了相当于0.5π[rad]的附近的量的相位,与视差图的值为正(交叉视差)的区域对应的相位调制图像id(相位调制分量b)的相位成为对于原图像il’=ic的相位向正方向偏移了相当于0.5π[rad]的附近的量的相位。而且,也可以取代将相位调制图像id的正负反转图像设为相位调制分量a,将相位调制图像id设为相位调制分量b,而将相位调制图像id的正负反转图像设为相位调制分量a,将相位调制分量a的相反相位附近的图像设为相位调制分量b。

[第6实施方式]

在本方式中,例示包含前述的图像生成装置的图像提示系统。

如图15a中例示的那样,本方式的图像提示系统4包括:显示器等显示装置41(图像提示单元)、图像生成装置1、按照前述的分时方式,时间性地切换并输出相加图像111(图像a)以及相加图像121(图像b)的显示控制装置43、以及护目镜等立体视觉用器具42。立体视觉用器具42包含透过单元421以及422。透过单元421(第1透过单元)是按照前述的分时方式进行控制,使得相加图像111(图像a)的透过量大于相加图像121(图像b)的透过量的液晶快门。优选透过单元421(第1透过单元)透过相加图像111(图像a),但不透过相加图像121(图像b)。透过单元422(第2透过单元)是按照前述的分时方式进行控制,使得相加图像121(图像b)的透过量也大于相加图像111(图像a)的透过量的液晶快门。优选透过单元422(第2透过单元)透过相加图像121(图像b),但不透过相加图像111(图像a)。

观察者i佩戴立体视觉用器具42,一只眼睛(例如,右眼)通过透过单元421看显示装置41,另一只眼睛(例如,左眼)通过透过单元422看显示装置41。观察者ii不佩戴立体视觉用器具42,用两眼看显示装置41。

从图像生成装置1输出的相加图像111、121被送到显示控制装置43。显示控制装置43按照分时方式,高速地交替重复第1时间区间中的处理和第2时间区间中的处理。在第1时间区间中,显示控制装置43从显示装置41显示相加图像111,同时使透过单元421透过,使透过单元422遮断。在第2时间区间中,显示控制装置43从显示装置41显示相加图像121,使透过单元422透过,使透过单元421遮断。其中,相加图像111、121被显示在相同的位置上。其结果,观察者i用一只眼睛看相加图像111,用另一只眼睛看相加图像121。由此,观察者i感知外观有纵深的立体像。另一方面,观察者ii用两眼看相加图像111、121。观察者ii将相加图像111的相位调制图像110分量和相加图像111的相位调制图像120分量抵消或者平均化后感知。由此,观察者ii感知清楚的原图像100的平面像。

而且,图像提示系统4中,也可以是图像生成装置1被置换为图像生成装置2、3、8、或者9,相加图像111、121可以被置换为相加图像211、221或者311、321或者相加图像ir、il的图像提示系统。

[第7实施方式]

例示基于偏光方式的图像提示系统。

如图15b中例示的那样,本方式的图像提示系统5包括:屏幕51、图像生成装置1、输出相加图像111(图像a)以及相加图像121(图像b)的显示控制装置53、通过水平偏转的偏光板投影图像的投影机52a(图像提示单元)、通过垂直偏转的偏光板投影图像的投影机52b(图像提示单元)、以及护目镜等立体视觉用器具52。立体视觉用器具52包含透过单元521以及522。透过单元521(第1透过单元)是相加图像111(图像a)的透过量大于相加图像121(图像b)的透过量的水平偏转的偏光板。优选透过单元521(第1透过单元)透过相加图像111(图像a),但不透过相加图像121(图像b)。透过单元522(第2透过单元)是相加图像121(图像b)的透过量大于相加图像111(图像a)的透过量的垂直偏转的偏光板。优选透过单元522(第2透过单元)透过相加图像121(图像b),但不透过相加图像111(图像a)。

观察者i佩戴立体视觉用器具52,一只眼睛(例如,右眼)通过透过单元521看屏幕51,另一只眼睛(例如,左眼)通过透过单元522看屏幕51。观察者ii不佩戴立体视觉用器具52,用两眼看屏幕51。

从图像生成装置1输出的相加图像111、121被送到显示控制装置53。显示控制装置53将相加图像111、121分别送到投影机52a,52b。投影机52a通过水平偏转的偏光板将相加图像111投影在屏幕51上。投影机52b通过垂直偏转的偏光板将相加图像121投影在屏幕51上。其中,相加图像111、121被投影在屏幕51的相同的位置。其结果,观察者i用一只眼睛看相加图像111,用另一只眼睛看相加图像121。由此,观察者i感知外观有纵深的立体像。另一方面,观察者ii用两眼看相加图像111、121。观察者ii感知清楚的原图像100的平面像。

而且,在图像提示系统5中,也可以将图像生成装置1置换为图像生成装置2、3、8、或者9,相加图像111、121也可以置换为相加图像211、221或者311、321或者相加图像ir、il。

[第8实施方式]

例示基于偏光方式的其它图像提示系统。

如图16a中例示的那样,本方式的图像提示系统6包括:壁61、固定在壁61上的照片等对象611、图像生成装置1、显示控制装置53、通过水平偏转的偏光板投影图像的投影机52a、通过垂直偏转的偏光板投影图像的投影机52b、以及护目镜等立体视觉用器具52。立体视觉用器具52包含透过单元521以及522。

观察者i佩戴立体视觉用器具52,一只眼睛(例如,右眼)通过透过单元521看对象611,另一只眼睛(例如,左眼)通过透过单元522看对象611。观察者ii不佩戴立体视觉用器具52,用两眼看对象611。

图像生成装置1如第1实施方式的变形例1中说明的那样输出相位调制图像110、120。输出的相位调制图像110、120被送到显示控制装置53。显示控制装置53将相位调制图像110、120分别送到投影机52a,52b。投影机52a将相位调制图像110通过水平偏转的偏光板投影在对象611上。投影机52b将相加图像121通过垂直偏转的偏光板投影在对象611上。其中,相位调制图像110、120和对象611被重叠,使得它们的边缘重合。优选相位调制图像110、120被投影在对象611的相同的位置。其结果,观察者i用一只眼睛看在对象611上重叠的相位调制图像110,用另一只眼睛看在对象611上重叠的相位调制图像120。由此,观察者i感知外观有纵深的立体像。另一方面,观察者ii用两眼看相加图像111、121。观察者ii感知清楚的对象611的像。

而且,在图像提示系统6中,也可以图像生成装置1置换为图像生成装置2、3、8、或者9,相位调制图像110、120置换为相位调制图像230、其反转图像、或者,相位调制图像390、其反转图像、或者,相位调制图像id、其正负反转图像。而且,图像提示系统6中,相位调制图像110、120也可以置换为相位调制图像110、120的亮度分量、相位调制图像230的亮度分量、相位调制图像230的反转图像的亮度分量、或者,相位调制图像390的亮度分量、相位调制图像390的反转图像的亮度分量、或者,相位调制图像id的亮度分量、相位调制图像id的正负反转图像的亮度分量。

[第9实施方式]

例示基于分时方式的其它图像提示系统。

如图16b中例示的那样,本方式的图像提示系统7包括:壁61、固定在壁61上的照片等对象611、透明显示器等透过型显示装置71、图像生成装置1、时间性地切换并输出相位调制图像110以及120的显示控制装置43、以及护目镜等立体视觉用器具42。

观察者i佩戴立体视觉用器具42,一只眼睛(例如,右眼)通过透过单元421看透过型显示装置71以及其背后的对象611,另一只眼睛(例如,左眼)通过透过单元422看透过型显示装置71以及其背后的对象611。观察者ii不佩戴立体视觉用器具42,用两眼看透过型显示装置71以及其背后的对象611。

从图像生成装置1输出的相位调制图像110、120被送到显示控制装置43。显示控制装置43按照分时方式,高速地交替重复第1时间区间中的处理和第2时间区间中的处理。在第1时间区间中,显示控制装置43将相位调制图像110从透过型显示装置71显示,同时使透过单元421透过,遮断透过单元422。在第2时间区间中,显示控制装置43使相位调制图像120从透过型显示装置71显示,同时使透过单元422透过,遮断透过单元421。其中,相位调制图像110、120被显示在相同的位置。其结果,观察者i用一只眼睛看相位调制图像110和对象611被重叠的状况,用另一只眼睛看相位调制图像120和对象611被重叠的状况。由此,观察者i感知外观有纵深的立体像。另一方面,观察者ii用两眼看相位调制图像110、120和对象611全部被重叠的状况。由此,观察者ii感知清楚的对象611的像。

而且,在图像提示系统7中,图像生成装置1也可以置换为图像生成装置2、3、8、或者9,相位调制图像110、120也可以置换为相位调制图像230、其反转图像、或者,相位调制图像390、其反转图像、或者,相位调制图像id、其正负反转图像。而且,在图像提示系统7中,相位调制图像110、120也可以置换为相位调制图像110、120的亮度分量、相位调制图像230的亮度分量、相位调制图像230的反转图像的亮度分量、或者,相位调制图像390的亮度分量、相位调制图像390的反转图像的亮度分量、或者,相位调制图像id的亮度分量、相位调制图像id的正负反转图像的亮度分量。

[要点总结]

总结以上的各实施方式1说明的内容。

第1~4实施方式的图像生成装置基于“原图像”生成图像。其中,基于“原图像的图像”包含“图像a”和“图像b”。“图像a”和“图像b”是用于用一只眼睛看“图像a”,用另一只眼睛看“图像b”的人感知“立体图像”,用相同的眼睛看“图像a”和“图像b”的人感知“原图像”的图像。该图像生成装置包含第1操作单元和第2操作单元,第1操作单元得到将使“原图像”的空间频率分量的相位移动了“第1相位”的“相位调制分量a”和“原图像”进行了重叠的图像,即“图像a”,第2操作单元得到将使“原图像”的空间频率分量的相位移动了与“第1相位”不同的相位即“第2相位”的“相位调制分量b”和“原图像”进行了重叠的图像,即“图像b”。

在第1~4实施方式的图像生成装置中,优选“基于原图像的图像”是“图像a”和“图像b”,“图像a”和“图像b”是,用一只眼睛看“图像a”,用另一只眼睛看“图像b”的人感知“立体像”,用相同的眼睛看“图像a”和“图像b”的人感知“原图像”(例如,仅原图像)的图像。该图像生成装置包括第1操作单元和第2操作单元,第1操作单元得到将使“原图像”的空间频率分量的相位移动了0.5π或者0.5π的附近的“第1相位”的“相位调制分量a”和“原图像”进行了重叠的图像,即“图像a”,第2操作单元得到将使“原图像”的空间频率分量的相位移动了“第1相位”的相反相位或者“第1相位”的相反相位的附近的“第2相位”的“相位调制分量b”和“原图像”进行了重叠的图像,即“图像b”。“ρ的附近”意味着ρ-δ1以上且ρ+δ2以下的范围。δ1以及δ2是零或者正实数,可以是δ1=δ2,可以是δ1<δ2,也可以是δ1>δ2。例如,δ1以及δ2可以是ρ的30%以下的值,可以是ρ的20%以下的值,也可以是ρ的10%以下的值。

第1操作单元通过将“原图像”和“相位调制分量a”重叠而生成“图像a”,第2操作单元通过将“原图像”和“相位调制分量b”重叠而生成“图像b”。由此,第1操作单元以及第2操作单元在“图像a”和“图像b”之间,带来能够作为两眼视差解释的相位差。其结果,用一只眼睛看“图像a”,用另一只眼睛看“图像b”的人感知“立体像”。另一方面,根据“相位调制分量a”和“相位调制分量b”的图像强度的反转关系,用相同的眼睛看“图像a”和“图像b”的人,因为错觉使得“相位调制分量a”和“相位调制分量b”相互抵消而感知“原图像”。换言之,将“相位调制分量a”和“相位调制分量b”重叠而得到的分量的平均振幅小于“相位调制分量a”的平均振幅,并且小于“相位调制分量b”的平均振幅,用一只眼睛看“图像a”,用另一只眼睛看“图像b”的人感知“立体像”,用相同的眼睛看“图像a”和“图像b”的人感知“原图像”。即,空间区域中的位置变化可以捕捉为空间频域分量(例如,二维傅里叶分量)的相位变化(也称为“相位调制”),两眼视差可以变换为相位差(相位视差)。因此,用左右的不同的眼睛看到将具有相位差的“相位调制分量a”以及“相位调制分量b”分别加到“原图像”的“图像a”以及“图像b”的人,通过大脑利用因“相位调制分量a”以及“相位调制分量b”的相位差而产生的“图像a”和“图像b”的相位差作为两眼视差,感知有纵深的“立体图像”。另一方面,因为“图像a”和“图像b”的相位差来源于具有相反方向或者其附近的相位变化的“相位调制分量a”以及“相位调制分量b”,所以用相同的眼睛(两眼同时,仅右眼,仅左眼)看了“图像a”和“图像b”的人感知“相位调制分量a”以及“相位调制分量b”的图像强度被相互减弱的“像”。因此,佩戴用于用左右各个(不同的)眼睛看“图像a”以及“图像b”的每一个的“立体视觉用器具”的人感知“立体像”,未佩戴“立体视觉用器具”的人可以感知清楚的“原图像”。而且“立体视觉用器具”包括“图像a”的透过量大于“图像b”的透过量的“第1透过单元”,和“图像b”的透过量大于“图像a”的透过量的“第2透过单元”。优选“第1透过单元”使“图像a”透过但遮断“图像b”,“第2透过单元”使“图像b”透过但遮断“图像a”。“立体视觉用器具”的例子是,具有以分时方式利用的液晶快门的护目镜,具有以偏光方式利用的、偏光方向相互正交的2张偏光板的护目镜等。而且,“相位”意味着空间频率的相位。而且,如上述那样,“图像a”的相位调制通过对“原图像”重叠“相位调制分量a”来实现。“图像b”的相位调制通过对“原图像”重叠“相位调制分量b”来实现。这时,“图像a”以及“图像b”的振幅与“原图像”的振幅不一致。但是,人用不同的眼睛观察“图像a”和“图像b”的人在两眼融像时缓和振幅的不一致的视觉功能起作用,所以不注意振幅的不一致,感知具有“原图像”的振幅那样的“像”。

“相位调制分量a”以及“相位调制分量b”是基于“原图像”的至少一部分区域的图像,“立体像”是对“原图像”的至少一部分区域或者由“原图像”表现的“对象”的至少一部分区域赋予了外观的纵深的像,“像”包含“原图像”或者由“原图像”表现的“对象”的像的至少一部分区域。“原图像”是二维图像(平面图像)。“原图像”可以是彩色图像,单色调图像,也可以是黑白图像。“原图像”可以是静止图像,也可以是运动图像的各帧的图像。“原图像”可以是拍摄的图像,可以是绘制的图像,也可以是用计算机创建的图像。由“原图像”表现的“对象”是由“原图像”表现的“对象”,是与“原图像”对应的“对象”。“对象”既可以是具有立体形状的物体(例如,花瓶,球,模型),也可以是平面(例如,纸,板,壁,屏幕)。在“对象”为平面的情况下,希望该平面中包含图案。作为在平面中包含的图案的例子,例如考虑在纸上印刷的照片、图像,在规定的平面上投影的照片、图像。在将“对象”设为显示器等的画面的情况下,作为图案的例子,举出在显示器等的画面上显示的图像等。

“相位调制分量a”以及“相位调制分量b”基于使“原图像”的相位变化(“调制”“移动”“偏移”)而得到的要素。例如,“相位调制分量a”根据使“原图像”的相位向正方向变化而得到的要素,“相位调制分量b”基于使“原图像”的相位向负方向变化而得到的要素。希望“相位调制分量a”相对于“原图像”的的相位变化量(称为“相位调制量”)的绝对值,与“相位调制分量b”相对于“原图像”的的相位变化量的绝对值相同,或者在“相位调制分量b”相对于“原图像”的相位变化量的绝对值的附近。在该情况下,“相位调制分量a”的相位为“相位调制分量b”的相位的相反相位或者该相反相位的附近。由此,不佩戴“立体视觉用器具”,用相同的眼睛看包含“相位调制分量a”的“图像a”和包含“相位调制分量b”的“图像b”的两方的人,感知这些“相位调制分量a”和“相位调制分量b”被大致抵消或者平均化后更清楚的“像”。优选希望“相位调制分量a”相对于“原图像”的相位变化量(第1相位)为“相位调制分量b”相对于“原图像”的相位变化量(第2相位)的相反相位或者该相反相位的附近。换言之,希望“相位调制分量a”的相位为“相位调制分量b”的相位的相反相位或者相反相位的附近。理想的是“相位调制分量a”相对于“原图像”的相位变化量(第1相位)为0.5π[rad]或者0.5π[rad]的附近,“相位调制分量b”相对于“原图像”的相位变化量(第2相位)为-0.5π[rad]或者-0.5π[rad]的附近。更优选“第1相位”为0.5π[rad]或者0.5π[rad]的附近,“第2相位”为“第1相位”的相反相位或者其附近。将相对“原图像”具有0.5π的相位变化量的“相位调制分量a”重叠在“原图像”上而得到的“图像a”只要不通过其它信息处理操作振幅,则相对“原图像”具有0.25π的相位变化量。将相对“原图像”具有-0.5π的相位变化量的“相位调制分量b”重叠在“原图像”上得到的“图像b”只要不通过其它信息处理操作振幅,则相对“原图像”具有-0.25π的相位变化量。这样“图像a”和“图像b”的相位差起到两眼视差的作用,结果给观察者带来“像”的纵深感知。

相位的变化对空间区域中的各分量的期望方向(例如水平方向)的位置变化产生贡献。但是,该位置变化量不仅依赖于相位变化量,还依赖于使相位变化的空间频率分量的空间频率以及方位。即,各空间频率分量的规定方向的位置变化量为与视差对应的相位变化量、空间频率、以及方位的函数值。因此,为了使各空间频率分量的规定方向的位置变化量一致,需要根据各空间频率分量的空间频率以及方位的调整。为了该调整,可以对使“原图像”的相位变化而得到的“图像”赋予权重而得到“相位调制分量a”,对使“原图像”的相位而得到的“图像”赋予权重而得到“相位调制分量b”。而且,希望为了得到“相位调制分量a”而对“图像”赋予的权重与为了得到“相位调制分量b”而对“图像”赋予的权重相等。但是,为了得到“相位调制分量a”而对“图像”的至少一部分“像素”赋予的权重也可以在为了得到“相位调制分量b”而对“图像”的上述“像素”赋予的权重的大小的附近。

首先,空间频率越高的分量,对于相位变化的位置变化量越小。由此,需要与空间频率相应的调整。在本方式中,对于使“原图像”的相位变化而得到的“相位调制分量a”和“相位调制分量b”的各空间频率分量的振幅,提供基于与各空间频率分量相应的权重的调制。由此,调整将该调制后的“相位调制分量a”重叠在“原图像”上的“图像a”,以及,将该调制后的“相位调制分量b”重叠在“原图像”上的“图像b”的各空间频带指导相位变化量,作为其结果,调整位置变化量。

而且,由于空间频率分量的方位,使各空间频率分量的相位变化时的空间区域中的移动方向是不同的。因此,为了在空间区域中在期望方向(例如水平方向)上得到期望量的两眼视差,需要各空间频率分量的位置变化量的调整。例如,在对使“原图像”的相位变化而得到的图像的各空间频率分量至少赋予与方位对应的权重而得到“相位调制分量a”、对使“原图像”的相位变化而得到的图像的各空间频率分量至少赋予与方位对应的权重而得到“相位调制分量b”的情况下,使对于更接近水平方位的方位的权重小于对于更接近垂直方位的方位的权重。

而且,这样的“相位调制分量a”以及“相位调制分量b”可以通过如上述那样对使“原图像”的相位变化而得到的图像赋予权重而得到,也可以使对“原图像”赋予权重而得到的图像的相位变化而得到,也可以在使“原图像”的相位变化的同时赋予权重而得到。总之,“相位调制分量a”包含对“原图像”赋予了“第1权重”的“第1分量”,“相位调制分量a”的相位相对于“原图像”的相位存在相当于“第1相位”的不同,“相位调制分量b”包含对“原图像”赋予了“第2权重”的“第2分量”,“相位调制分量b”的相位相对于“原图像”的相位存在相当于“第2相位”的不同。例如,“第1分量”是对“原图像”的各空间频率分量至少赋予了与“原图像”的各空间频率分量的空间频率对应的权重的分量,“第2分量”是对“原图像”的各空间频率分量至少赋予了与“原图像”的各空间频率分量的空间频率对应的权重的分量,与“第1空间频率”对应的“权重”可以为与高于“第1空间频率”的“第2空间频率”对应的“权重”以下(例如,与“第1空间频率”对应的“权重”可以小于与高于“第1空间频率”的“第2空间频率”对应的“权重”)。例如,“第1分量”是对“原图像”的各空间频率分量至少赋予了与“原图像”的各空间频率分量的方位对应的权重的分量,“第2分量”是对“原图像”的各空间频率分量至少赋予了与“原图像”的各空间频率分量的方位对应的权重的分量,与“第1方位”对应的权重可以为与比“第1方位”接近规定的方位的“第2方位”对应的权重以下(例如,与“第1方位”对应的权重可以小于与比“第1方位”接近规定的方位的“第2方位”对应的权重)。例如,“第1分量”可以是对“原图像”的各区域至少赋予了与“原图像”的各区域对应的权重的分量,“第2分量”可以是对“原图像”的各区域至少赋予了与“原图像”的各区域对应的权重的分量。

也可以不对“原图像”赋予一样的外观的纵深,而对“原图像”赋予不一样的外观的纵深。换言之,可以根据空间区域的图像区域改变纵深。例如,可以对使“原图像”的相位变化而得到的图像的各“第1区域”至少赋予与各“第1区域”对应的权重而得到“相位调制分量a”,对使“原图像”的相位变化而得到的图像的各“第2区域”至少赋予与各“第2区域”对应的权重而得到“相位调制分量b”。由此,可以赋予不一样的外观的纵深。如前述那样,“相位调制分量a”可以包含对“原图像”的各空间频率分量至少赋予与“原图像”的各空间频率分量的空间频率以及/或者方位对应的“权重”的“第1分量”,“相位调制分量b”可以包含对“原图像”的各空间频率分量至少赋予与“原图像”的各空间频率分量的空间频率以及/或者方位对应的“权重”的“第2分量”。如前述那样,“权重”根据视差图dmap、规定的多个空间频率ωλ、规定的多个方位θμ,对各像素,对ωλ和θμ的每个组而求出。视差图dmap表示与“原图像”的各像素对应的“规定的视差”,重叠了“原图像”和“相位调制分量a”的图像、与重叠了“原图像”和“相位调制分量b”的图像的视差,为该“规定的视差”。例如,“权重”可以对各坐标(x,y)的各像素,对ωλ和θμ每个组,根据前述的式(6)而求出,也可以根据前述的式(9)求出。

在“图像a”包含“相位调制分量a”以及“原图像”的分量,“图像b”包含“相位调制分量b”以及“原图像”的分量的情况下,通过将“图像a”以及“图像b”显示在不同的眼中,可以使其感知“立体像”以及“像”。即,在这样的“图像a”以及“图像b”被显示在显示器等显示装置中,或者从投影机等投影装置投影的情况下,佩戴“立体视觉用器具”而用一只眼睛看“图像a”,用另一只眼睛看“图像b”的人感知“立体像”。另一方面,未佩戴“立体视觉用器具”而用相同的眼睛看“图像a”以及“图像b”的人感知“相位调制分量a”以及“相位调制分量b”相互削弱,“原图像”突出的清楚的“像”。对“原图像”重叠“相位调制分量a”而得到包含“相位调制分量a”以及“原图像”的分量的“图像a”。对“原图像”重叠“相位调制分量b”而得到包含“相位调制分量b”以及“原图像”的分量的“图像b”。“图像a”是以“相位调制分量a”的边缘重叠在“原图像”的分量的边缘的方式重叠的图像,“图像b”是以“相位调制分量b”的边缘重叠在“原图像”的分量的边缘的方式重叠的图像。希望优选将以“原图像”的各坐标和与该各坐标对应的“相位调制分量a”的各坐标一致的方式在“原图像”上重叠“相位调制分量a”而得到的图像设为“图像a”,将以“原图像”的各坐标和图该各坐标对应的“相位调制分量b”的各坐标一致的方式在“原图像”上重叠“相位调制分量b”而得到的图像设为“相位调制图像b”。即,希望将在保持“相位调制分量a”相对于“原图像”的相位变化量的情况下在“原图像”上重叠“相位调制分量a”而得到的图像设为“图像a”,将在保持“相位调制分量b”相对于“原图像”的相位变化量的情况下在“原图像”上重叠“相位调制分量b”而得到的图像设为“图像b”。换言之,希望进行包含“相位调制分量a”以及“原图像”的分量的“图像a”以及包含“相位调制分量b”以及“原图像”的分量的“图像b”的显示,使得“图像a”的“原图像”分量和“图像b”的“原图像”分量一致。但是,只要人基本上不能感知“图像a”的“原图像”分量和“图像b”的“原图像”分量的偏差,则在多少存在偏差的状态下显示它们也没关系。即,“图像a”的“原图像”分量的坐标和“图像b”的“原图像”分量的坐标的偏差量为规定范围内即可。换言之,可以显示“图像a”以及“图像b”,使得“图像a”的“原图像”分量的各坐标为与该各坐标对应的“图像b”的“原图像”分量的各坐标的附近。也可以显示“图像a”以及“图像b”,使得“图像a”的“原图像”分量的边缘与“图像b”的“原图像”分量的边缘一致。

第1~3实施方式的变形例1、2,第4实施方式的变形例3、4、5的图像生成装置也生成基于“原图像”的图像。其中,基于“原图像的图像”包含“包含相位调制分量a的图像”和“包含相位调制分量b的图像”。“包含相位调制分量a的图像”和“包含相位调制分量b的图像”是用于使用一只眼睛看“原图像”或者由“原图像”表现的“对象”和“包含相位调制分量a的图像”、用另一只眼睛看“原图像”或者“对象”和“包含相位调制分量b的图像”的人感知“立体像”,用相同的眼睛看“原图像”或者“对象”和“包含相位调制分量a的图像”和“包含相位调制分量b的图像”的人感知“原图像”的图像。该图像生成装置包含:得到使“原图像”的空间频率分量的相位移动了相当于“第1相位”的“相位调制分量a”的第1操作单元;以及得到使“原图像”的空间频率分量的相位移动了相当于与“第1相位”不同的相位的“第2相位”的相位调制分量b的第2操作单元。而且“相位调制分量a”以及“相位调制分量b”可以是由多个颜色信道的强度来表现图像,也可以是仅包含亮度信道。

在第1~3实施方式的变形例1、2,第4实施方式的变形例3、4、5的图像生成装置中,更优选“基于原图像的图像”是“包含相位调制分量a的图像”和“包含相位调制分量b的图像”,“包含相位调制分量a的图像”和“包含相位调制分量b的图像”是用于使用一只眼睛看“原图像”或者“对象”和“包含相位调制分量a的图像”、用另一只眼睛看“原图像”或者“对象”和“包含相位调制分量b的图像”的人感知“立体像”,用相同的眼睛看“原图像”或者“对象”和“包含相位调制分量a的图像”和“包含相位调制分量b的图像”的人感知“原图像”(例如,仅原图像)的图像。该图像生成装置包含:得到使“原图像”的空间频率分量的相位仅移动0.5π或者0.5π的附近即“第1相位”的相位调制分量a的第1操作单元;得到使“原图像”的空间频率分量的相位移动“第1相位”的相反相位即“第2相位”的相位调制分量b的第2操作单元。

用一只眼睛看“原图像”或者由“原图像”表现的“对象”和“包含相位调制分量a的图像”、用另一只眼睛看“原图像”或者“对象”和“包含相位调制分量b的图像”的人感知“立体像”,是由于大脑利用“包含相位调制分量a的图像”和“包含相位调制分量b的图像”的相位差作为两眼视差。用相同的眼睛看“原图像”或者“对象”和“包含相位调制分量a的图像”和“包含相位调制分量b的图像”的人感知“原图像”,是由于根据相位调制分量a和相位调制分量b的图像强度的反转关系,产生了它们的分量相互抵消那样的错觉。

在这样的情况下,佩戴“立体视觉用器具”,用一只眼睛看“包含相位调制分量a的图像”重叠在“原图像”或者“对象”上的像,用另一只眼睛看“包含相位调制分量b的图像”被重叠在“原图像”或者“对象”上的像的人,感知对“原图像”或者“对象”赋予了外观的纵深的“立体像”。另一方面,未佩戴“立体视觉用器具”而用相同的眼睛看了“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在“原图像”或者“对象”上的像的人,通过“相位调制分量a”以及“相位调制分量b”相互削弱,感知“原图像”突出的清楚的“像”。而且,不限于将“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在“原图像”或者“对象”中的方法。例如,可以通过将“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”投影在“原图像”或者“对象”上,将“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在“原图像”或者“对象”上。或者,也可以在“原图像”或者”对象”的图像透过的位置配置透明显示器,在该透明显示器中显示“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”,使透过了透明显示器的“原图像”或者”对象”的图像和在透明显示器中显示的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠。其中,在透明显示器中显示的“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”是有透过性的图像。而且,希望以“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”的边缘与“原图像”或者“对象”的边缘重叠的方式,将“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在“原图像”或者“对象”上。例如,以“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”的边缘与“原图像”或者“对象”的边缘一致或者配置在附近的方式,将“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在“原图像”或者“对象”上。优选以“原图像”的各坐标和与该各坐标对应的“相位调制分量a”的各坐标一致的方式在“原图像”上重叠“包含相位调制分量a的图像”,以“原图像”的各坐标与该各坐标对应的“相位调制分量b”的各坐标一致的方式在“原图像”上重叠“包含相位调制分量b的图像”。希望在保持“相位调制分量a”相对于“原图像”的相位变化量的情况下,在“原图像”上重叠“包含相位调制分量a的图像”,在保持“相位调制分量b”相对于“原图像”的相位变化量的情况下,在“原图像”中重叠“包含相位调制分量b的图像”。

而且,即使在“包含相位调制分量a的图像”包含亮度分量构成的“相位调制分量a”但不包含“原图像”的分量,“包含相位调制分量b的图像”包含亮度分量构成的“相位调制分量b”但不包含“原图像”的分量的情况下,通过如上述那样将“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”重叠在“原图像”或者与“原图像”对应的“对象”上,也可以如上述那样,使人感知对“原图像”或者“对象”提供了外观的纵深的“立体像”以及“像”。

如前述那样,显示“图像a”(或者“包含相位调制分量a的图像”)以及“图像b”(或者“包含相位调制分量b的图像”)的定时或“图像a”(或者“包含相位调制分量a的图像”)以及“图像b”(或者“包含相位调制分量b的图像”)的偏光方向依赖于两眼图像提示方法。例如,若使用分时方式作为两眼图像提示方法,则交替显示“图像a”(或者“包含相位调制分量a的图像”)和“图像b”(或者“包含相位调制分量b的图像”),要感知立体像的观察者佩戴具有液晶快门的护目镜作为“立体视觉用器具”。例如,若使用偏光方式作为两眼图像提示方法,则使显示或者投影的“图像a”(或者“包含相位调制分量a的图像”)入射到第1偏光方向的偏光板,使“图像b”(或者“包含相位调制分量b的图像”)入射到第2偏光方向的偏光板。其中,第1偏光方向和第2偏光方向正交。要感知立体像的观察者佩戴具有第1偏光方向的偏光板和第2偏光方向的偏光板的护目镜作为“立体视觉用器具”。通过这些方法,“图像a”(或者“包含相位调制分量a的图像”)入射到观察者的一只眼睛,“图像b”(或者“包含相位调制分量b的图像”)入射到该观察者的另一只眼睛。

在第5实施方式及其变形例的图像生成装置中,根据“第1原图像”以及“第2原图像”,生成上述那样的“图像a”(或者“包含相位调制分量a的图像”)以及“图像b”(或者“包含相位调制分量b的图像”)。其中,“第1原图像”是前述的“原图像”,在“第1原图像”和“第2原图像”之间存在作为两眼视差被识别的相位差。“第1原图像”以及“第2原图像”的例子是在以往的两眼图像提示方法中使用的立体图像内容。用一只眼睛看“第1原图像”、用另一只眼睛看“第2原图像”的人感知“立体像”。另一方面,用两眼看“第1原图像”以及“第2原图像”的两方的人感知双重地模糊的图像。

第5实施方式的图像生成装置包括:得到使“第1原图像”的空间频率分量的相位移动了“第1相位”的“相位调制分量a”与“第1原图像”重叠后的图像,即“图像a”的第1操作单元;得到使“第1原图像”的空间频率分量的相位移动了与“第1相位”不同的相位的“第2相位”的“相位调制分量b”和“第1原图像”重叠后图像,即“图像b”的第2操作单元。第5实施方式中的“第1相位”是0.5π,但这不限定本发明,也可以如第5实施方式的变形例6中例示的那样,将0.5π[rad]的附近设为“第1相位”,将“第1相位”的相反相位设为“第2相位”。即,可以将使“第1原图像”的空间频率分量的相位移动了0.5π的附近的“第1相位”的结果设为“相位调制分量a”,将使“第1原图像”的空间频率分量的相位移动了该“第1相位”的相反相位或者“第1相位”的附近的相反相位的“第2相位”的结果设为“相位调制分量b”。“相位调制分量a”以及“相位调制分量b”也可以仅包含亮度分量。而且,也可以如第5实施方式的变形例3、4那样,图像生成装置得到并输出“包含相位调制分量a的图像”和“包含相位调制分量b的图像”。

在第4以及5实施方式中,与“原图像(第5实施方式中“第1原图像”)”的各自的位置(区域)对应的“第1相位”可以相互相同,也可以相互不同(与“原图像”的至少一部分区域(空间区域的位置)的每一个对应的“第1相位”也可以相互不同)。例如,在“第1相位”中,与某个区域对应的相位是0.5π,与其它区域对应的相位是-0.5π。即,可以如与每个位置对应的相位为0.5π,与其它位置对应的相位为-0.5π那样,将对每个位置不同的相位总称而称为“第1相位”。使“相位移动相当于第1相位”意味着,将相位移动相当于与“原图像”中的各区域对应的“第1相位”。例如,“相位调制分量a”包含对“原图像”赋予“第1权重(例如与“原图像”的各区域对应的权重分量的集合)”的“第1分量”,“相位调制分量a”的相位相对于“原图像”的相位存在相当于“第1相位”的不同,“相位调制分量b”包含对“原图像”赋予“第2权重(例如与“原图像”的各区域对应的权重分量的集合)”的“第2分量”,“相位调制分量b”的相位相对于“原图像”的相位存在相当于“第2相位”的不同。这样的“相位调制分量a”以及“相位调制分量b”可以是对使“原图像”的相位变化而得到的图像赋予权重而得到的分量,可以是使对“原图像”赋予权重而得到的图像的相位变化而得到的分量,也可以是使“原图像”的相位变化的同时赋予权重而得到的分量。其中,“第1权重”包含对相互不同的区域(空间区域的位置)赋予的相互不同的权重分量(与“原图像”的各区域对应的权重),“第2权重”包含对相互不同的区域赋予的相互不同的权重分量(与“原图像”的各区域对应的权重)。即,“第1权重”对于“原图像”的全部区域不一致,“第2权重”也对于“原图像”的全部区域不一致。例如,虽然“第1权重”可以对于“原图像”的某一部分区域为1(相当于未赋予权重),但是对于“原图像”的全部的区域不为1。同样,“第2权重”也可以对于“原图像”的某一部分区域为1,但是对于“原图像”的全部区域不为1。而且,优选希望“第1权重”与“第2权重”相等。即,希望“第1权重”以及“第2权重”为相互相同的“规定的权重”。这是因为由此可以感知最佳的“立体像”。

[其它的变形例]

而且,本发明不限于上述的实施方式。例如,在上述的实施方式中对“原图像”或者“对象”的全部区域重叠“相位调制分量a”或者“相位调制分量b”,但是也可以仅对“原图像”或者“对象”的一部分区域重叠“相位调制分量a”或者“相位调制分量b”。而且,在“原图像”为运动图像的各帧的图像的情况下,也可以对各帧反复进行前述的处理。由此,可以使佩戴立体视觉用器具的观察者感知立体的运动图像,使未佩戴立体视觉用器具的观察者感知清楚的平面的运动图像。

上述的各种处理不仅按照记载时间序列地执行,也可以根据执行处理的装置的处理能力或者需要并行地或者单独地执行。另外,不用说,在不脱离本发明的宗旨的范围内能够适当变更。

在通过计算机上实现述的结构的情况下,通过程序记述各装置应有功能的处理内容。通过在计算机中执行该程序,在计算机上实现上述处理功能。记述了该处理内容的程序可以记录在计算机可读取的记录介质中。计算机可读取的记录介质的例子为非暂时的(non-transitory)记录介质。这样的记录介质的例子为,磁记录装置、光盘,光磁记录介质、半导体存储器等。

而且,该程序的流通例如通过销售转让、租借等记录了该程序的dvd,cd-rom等可拆装型记录介质来进行。进而,也可以将该程序存储在服务器计算机的存储装置中,通过经由网络,从服务器计算机向其它计算机转发该程序,使该程序流通。

执行这样的程序的计算机,例如,首先将可拆装型记录介质中记录的程序或者从服务器计算机转发的程序暂时存储在自己的存储装置中。然后,在执行处理时,该计算机读取自己的存储装置中存储的程序,执行按照读取的程序的处理。而且,作为该程序的其它执行方式,既可以计算机从可拆装型记录介质直接读取程序,执行按照该程序的处理,进而,也可以在每次从服务器计算机对该计算机转发程序时,逐次执行按照接受的程序的处理。而且,也可以设为通过不从服务器计算机向该计算机进行程序的转发,而仅通过该执行指令和结果取得来实现处理功能的所谓asp(applicationserviceprovider,服务提供商)型的服务,执行所述处理的结构。

在上述实施方式中,在计算机上执行规定的程序而实现本装置的处理功能,但是也可以通过硬件实现这些处理功能的至少一部分。

为了使用一只眼睛看“图像a”、用另一只眼睛看“图像b”的人感知立体像,使用相同的眼睛看“图像a”和“图像b”的人感知原图像,也可以提供使影像提示装置提示“图像a”以及“图像b”的图像数据的“数据结构”。其中,“图像a”和“图像b”基于原图像,“图像a”是将使“原图像”的空间频率分量的相位移动了“第1相位”的“相位调制分量a”和“原图像”重叠的图像。“图像b”是将使“原图像”的空间频率分量的相位移动了与“第1相位”不同的相位的“第2相位”的“相位调制分量b”和“原图像”重叠的图像。例如,该“数据结构”可以包含提示“图像a”以及“图像b”的时间区间以及/或者表示提示的位置的信息,映像提示装置按照该信息进行提示“图像a”以及“图像b”的处理。

为了使用一只眼睛看“原图像”或者由“原图像”表现的“对象”和“包含相位调制分量a的图像”,用另一只眼睛看“原图像”或者“对象”和“包含相位调制分量b的图像”的人感知立体像,使用相同的眼睛看“原图像”和“包含相位调制分量a的图像”以及“原图像”和“包含相位调制分量b的图像”的人感知“原图像”,也可以提供使映像提示装置提示“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”的图像数据的“数据结构”。其中,“包含相位调制分量a的图像”和“包含相位调制分量b的图像”基于“原图像”,“相位调制分量a”是使“原图像”的空间频率分量的相位移动了相当于“第1相位”的量。“相位调制分量b”是使“原图像”的空间频率分量的相位移动了相当于与“第1相位”不同的相位的“第2相位”的量。例如,该“数据结构”包含提示“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”的时间区间以及/或者表示提示的位置的信息,映像提示装置也可以按照该信息进行提示“包含相位调制分量a的图像”以及“包含相位调制分量b的图像”的处理。

产业上的可利用性

通过使用本发明,例如可以在游乐场中的特别节目、面向儿童的教材、医疗场面中的3维图形显示等中,对未佩戴立体视觉用的护目镜的观察者也提供有效的(不图像模糊的)2维图像显示。

标号说明

1~3,8,9图像生成装置

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1