图像处理装置、方法及摄像装置制造方法

图像处理装置、方法及摄像装置制造方法
【专利摘要】将单眼3D图像的左眼图像(100L)和右眼图像(100R)转换为频率成分数据，并将这些频率成分数据和频率滤光片(GL、GR)相乘，在频率空间上生成视差量和模糊量联动地进行调整所得的期望的单眼3D图像的左眼图像(120L)和右眼图像(120R)的频率成分数据。将这些频率成分数据转换为实际空间上的数据，生成期望的单眼3D图像的左眼图像(120L)和右眼图像(120R)。
【专利说明】图像处理装置、方法及摄像装置

【技术领域】
[0001]本发明涉及图像处理装置、方法及摄像装置，特别涉及对经由单一的摄影透镜而被拍摄的具有视差的立体视用的图像的视差进行调整的技术。

【背景技术】
[0002]以往，已知有如下那样的单眼3D摄像装置:利用对通过了单一的摄影透镜的左右方向的不同区域的被摄体像进行光瞳分割而分别成像的相位差CCD，对通过了各区域的被摄体像分别进行光电转换，获取根据焦点偏移量而彼此具有相位差的左眼图像和右眼图像(单眼3D图像)(专利文献1)。专利文献1记载的立体摄像装置利用光圈的F值进行单眼3D的左眼图像和右眼图像的视差的调整。
[0003]专利文献2记载的图像处理装置算出在左右的视点图像间彼此对应的像素间的视差量，生成表示视差量的分布的初始的视差映射，从表示预先规定的外形形状和视差量分布的多个视差模板中，对视差映射内的部分区域和视差模板进行比较。由此，专利文献2记载的图像处理装置对与所述部分区域对应的视差模板进行选择，基于由所选择的视差模板置换所得的视差映射，生成视点数比左右的视点图像多的多视点图像。另外，在专利文献2的第0048段，存在也能够将专利文献2所记载的技术适用于单眼3D图像的记载。
[0004]在专利文献3中，记载了通过使由复眼摄像装置拍摄到的具有视差的左眼图像和右眼图像彼此移位而对左眼图像和右眼图像的视差进行调整的技术。
[0005]专利文献
[0006]专利文献1:日本特开2011-199502号公报
[0007]专利文献2:日本特开2011-211551号公报
[0008]专利文献3:日本特开2011-29700号公报


【发明内容】

[0009]发明要解决的课题
[0010]专利文献1记载的单眼3D摄像装置通过对光圈的F值进行调整而进行单眼3D图像的视差的调整。然而，该视差的调整仅能够在由单眼3D摄像装置进行摄像时进行。SP，专利文献1记载的单眼3D摄像装置无法通过对单眼3D图像进行图像处理而生成视差(F值)不同的单眼3D图像。
[0011]专利文献2所记载的发明通过对单眼3D图像进行图像处理而能够生成视差不同的左眼图像和右眼图像。然而，生成后的左眼图像和右眼图像无法成为单眼3D图像。
[0012]在此，单眼3D图像是当视差变大时模糊也变大的图像。作为其优点之一，可以列举出利用3D电视即使摘下3D专用眼镜进行欣赏也几乎不会发生重影的优点(能够作为2D图像欣赏的优点)。
[0013]专利文献3记载的左眼图像和右眼图像是由复眼摄像装置拍摄到的图像，并非单眼3D图像。另外，通过使左眼图像和右眼图像彼此移位而对视差进行调整所得的图像也并非单眼3D图像。
[0014]本发明鉴于这种情形而提出，其目的在于提供能够根据由单眼3D图像装置拍摄到的单眼3D图像来生成使视差量和模糊量联动而进行调整所得的期望的立体视用的图像的图像处理装置、方法及摄像装置。
[0015]用于解决课题的手段
[0016]为了达到上述目的，本发明的一方式所涉及的图像处理装置具备:图像获取单元，获取经由单一的摄影光学系统而被摄像并由光瞳分割单元进行了光瞳分割的彼此具有视差的第一图像和第二图像；视差获取单元，获取所取得的第一图像和第二图像的对应的像素间的视差；第一数据转换单元，对应所取得的第一图像的图像数据和第二图像的图像数据的处理的每个对象像素，将以该对象像素为基准的预定区域分别转换为第一频率成分数据和第二频率成分数据；运算处理单元，对应所取得的第一图像和第二图像的每个频率成分数据，使用与由视差获取单元取得的对象像素的视差对应的第一频率滤光片和第二频率滤光片进行相乘处理，所述第一频率滤光片和第二频率滤光片是用于对转换后的第一频率成分数据和第二频率成分数据分别在频率空间进行转换而分别转换为将所取得的第一图像和第二图像具有的视差量和模糊量进行了变更的第三图像和第四图像的第一频率滤光片组和第二频率滤光片组；及第二数据转换单元，将由运算处理单元算出的第三图像和第四图像分别所对应的第三频率成分数据和第四频率成分数据转换为实际空间上的数据，选择与对象像素对应的位置的像素分别作为第三图像和第四图像的一个像素。
[0017]根据本发明的一个方式，对应第一图像的图像数据和第二图像的图像数据的处理的每个对象像素，将以对象像素为基准的预定区域分别转换为第一频率成分数据和第二频率成分数据。将这些第一频率成分数据和第二频率成分数据与对象像素的视差所对应的第一频率滤光片和第二频率滤光片相乘，并将相乘结果转换为实际空间上的数据。并且，通过选择与对象像素对应的位置的像素分别作为第三图像和第四图像的一个像素，能够从第一、第二图像得到使视差量和模糊量两方联动地进行了调整的第三、第四图像。
[0018]在本发明的其他方式所涉及的图像处理装置中，优选为，运算处理单元使用由视差获取单元取得的对象像素的视差越大则使模糊量越大的第一频率滤光片和第二频率滤光片。由此，第三、第四图像能够利用3D显示器进行立体视。另外，即使摘下3D专用眼镜进行欣赏也几乎不产生重影。
[0019]在本发明的又一其他方式所涉及的图像处理装置中，具备:数字滤光片存储单元，对与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像的转换特性分别对应的、每个视差的第一数字滤光片组和第二数字滤光片组进行存储；及频率滤光片计算单元，基于所存储的第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组，算出第一频率滤光片组和第二频率滤光片组，运算处理单元对应所取得的第一图像和第二图像的每个像素，基于由视差获取单元取得的该像素的视差，从所算出的第一频率滤光片组和第二频率滤光片组分别选择与视差对应的第一频率滤光片和第二频率滤光片，使用所选择的第一频率滤光片和第二频率滤光片进行相乘处理。
[0020]在数字滤光片存储单元存储有与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像的转换特性对应的、每个视差的第一数字滤光片组和第二数字滤光片组。能够根据摄影光学系统、光瞳分割单元和摄像元件等的特性，预先通过模拟或通过点像的实测而获取这些第一数字滤光片组和第二数字滤光片组。频率滤光片计算单元基于第一、第二数字滤光片组及第三、第四数字滤光片组算出用于在频率空间上将第一、第二图像转换为第三、第四图像的第一、第二频率滤光片组。
[0021]在本发明的又一其他方式所涉及的图像处理装置中，优选为，当将存储于数字滤光片存储单元的第一数字滤光片组和第二数字滤光片组中的任一数字滤光片设为T(x，y)，将对该数字滤光片T(x，y)进行傅里叶变换所得的数字滤光片设为Tf(?x，coy)，将第三数字滤光片组和第四数字滤光片组中的与数字滤光片T(x，y)对应的数字滤光片设为Tw(x，y)，将对该数字滤光片Tw(x，y)进行傅里叶变换所得的数字滤光片设为Twf(?x，Wy)时，频率滤光片计算单元利用下式:6(ωχ，coy) = Twf (ωχ, ω y).Tf (ωχ, ω y)-1算出第一频率滤光片和第二频率滤光片G ( ω χ，ω y)。
[0022]在本发明的又一其他方式所涉及的图像处理装置中，优选为，具备:指定单元，指定向应转换的第三图像和第四图像的转换特性；及数字滤光片计算单元，算出与所指定的转换特性对应的第三数字滤光片组和第四数字滤光片组，频率滤光片计算单元使用存储于数字滤光片存储单元的第一数字滤光片组和第二数字滤光片组及由数字滤光片计算单元算出的第三数字滤光片组和第四数字滤光片组而算出第一频率滤光片组和第二频率滤光片组。
[0023]在本发明的又一其他方式所涉及的图像处理装置中，具备:频率滤光片存储单元，对基于与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像的转换特性分别对应的、每个视差的第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组而算出的每个视差的第一频率滤光片组和第二频率滤光片组进行存储，运算处理单元对应所取得的第一图像和第二图像的每个像素，基于由视差获取单元取得的该像素的视差，从所存储的第一频率滤光片组和第二频率滤光片组读出与视差对应的第一频率滤光片和第二频率滤光片，使用所读出的第一频率滤光片和第二频率滤光片进行相乘处理。
[0024]由此，由于没有必要算出第一、第二频率滤光片组，因此能够实现用于从第一、第二图像生成第三、第四图像的运算处理的高速化。另一方面，需要预先对应第三、第四图像的每个图像存储第一、第二频率滤光片组。
[0025]在本发明的又一其他方式所涉及的图像处理装置中，当将第一数字滤光片组和第二数字滤光片组中的任一数字滤光片设为T(x，y)，将对该数字滤光片T(x，y)进行傅里叶变换所得的数字滤光片设为Tf(cox，coy)，将第三数字滤光片组和第四数字滤光片组中的与所述数字滤光片T(x，y)对应的数字滤光片设为Tw(x，y)，将对该数字滤光片Tw(x，y)进行傅里叶变换所得的数字滤光片设为Twf(?x，Wy)时，频率滤光片存储单元对由下式G(?x，Wy) = Τ￥?(ωχ, Wy).ΤΓ(ωχ, ο^Γ1算出的第一频率滤光片和第二频率滤光片G(cox，coy)进行存储。
[0026]在本发明的又一其他方式所涉及的图像处理装置中，具备指定单元，指定向应转换的第三图像和第四图像的转换特性，频率滤光片存储单元对基于与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像的转换特性对应的、每个视差的第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像的转换特性对应的、每个视差的第三数字滤光片组和第四数字滤光片组即与能够由指定单元指定的多个转换特性对应的第三数字滤光片组和第四数字滤光片组而算出的每个转换特性的第一频率滤光片组和第二频率滤光片组进行存储，运算处理单元从频率滤光片存储单元读出并使用与由指定单元指定的转换特性对应的第一频率滤光片组和第二频率滤光片组。
[0027]在本发明的又一其他方式所涉及的图像处理装置中，具备逆滤光片存储单元，对与从入射到单一的摄影光学系统的光到转换为第一图像或第二图像的转换特性分别对应的、每个视差的第一数字滤光片组或第二数字滤光片组的频率成分数据的逆滤光片即第一逆滤光片组和第二逆滤光片组进行存储，运算处理单元使用所存储的第一逆滤光片组和第二逆滤光片组及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组的频率成分数据即第三频率滤光片组和第四频率滤光片组作为第一频率滤光片组和第二频率滤光片组。
[0028]通过对第一图像或第二图像的每个像素乘以像素的每个视差的逆滤光片，能够生成在频率空间上消除了视差量和模糊量的图像。并且，对该图像乘以每个视差的第三数字滤光片和第四数字滤光片的频率成分数据。由此，能够得到在频率空间上强调了视差量和模糊的第三图像和第四图像。
[0029]在本发明的又一其他方式所涉及的图像处理装置中，具备:指定单元，指定向应转换的第三图像和第四图像的转换特性；及数字滤光片计算单元，算出与所指定的转换特性对应的第三数字滤光片组和第四数字滤光片组，运算处理单元使用由数字滤光片计算单元算出的第三数字滤光片组和第四数字滤光片组。
[0030]在本发明的又一其他方式所涉及的图像处理装置中，由指定单元指定的向第三图像和第四图像的转换特性是与第一图像和第二图像不同的摄影光学系统的焦距、光圈值、摄像元件的尺寸和灵敏度特性中的至少一个。
[0031]由此，虽然实际上没有拍摄第三、第四图像，但是能够生成在对拍摄第一、第二图像时的焦距、光圈值、摄像元件的尺寸和灵敏度特性中的至少一个进行了变更的情况下得到的第三、第四图像。
[0032]在本发明的又一其他方式所涉及的图像处理装置中，优选为，第三数字滤光片组和第四数字滤光片组是将第一数字滤光片组和第二数字滤光片组相似形地进行缩放而得到的数字滤光片组。基于这些第三数字滤光片组和第四数字滤光片组而分别转换的第三、第四图像能够利用3D显示器进行立体视，另外，即使将3D专用眼镜摘下进行欣赏也几乎不会产生重影(由单眼3D图像装置拍摄的单眼3D图像)。
[0033]在本发明的又一其他方式所涉及的图像处理装置中，也可以是，第三数字滤光片组和第四数字滤光片组分别是圆形且具有点对称的滤光系数的数字滤光片组。在该情况下，当摘下3D专用眼镜进行欣赏时成为重影，但是即使在模糊较大的情况下等在人眼中难以获取像素彼此的对应的情况下(难以进行立体视的情况下)也能够生成立体视容易的第三、第四图像。
[0034]在本发明的又一其他方式所涉及的图像处理装置中，优选为，运算处理单元在获取多个转换特性的第三图像和第四图像时，对应所取得的第一图像或第二图像的每个像素，进行乘以与该每个像素的视差对应的第一数字滤光片或第二数字滤光片的频率成分数据的逆滤光片的第一运算，并对该第一运算的结果乘以分别与多个转换特性的第三图像和第四图像对应的第三数字滤光片和第四数字滤光片的频率成分数据。
[0035]利用第一运算生成在频率空间上消除了视差和模糊的图像。并且，对该图像的各像素乘以分别与多个转换特性的第三图像和第四图像对应的第三数字滤光片和第四数字滤光片的频率成分数据而生成第三图像和第四图像。由此，第一运算进行一次即可，能够实现计算时间的缩短。
[0036]在本发明的又一其他方式所涉及的图像处理装置中，优选为，第一数字滤光片组和第二数字滤光片组使用关于图像的中心而彼此左右对称且左右对称性根据光瞳分割方向的像高而变化的数字滤光片组。
[0037]在此，第一、第二数字滤光片组是与从入射到单一的摄影光学系统的光到转换为第一、第二图像的转换特性对应的每个视差的滤光片。为了得到适当的第一、第二频率滤光片(期望的第三、第四图像)，准确地把握向第一、第二图像施加怎样的滤光片较为重要。并且，被光瞳分割而获取的第一、第二图像中的灵敏度因入射角而不同。因此，第一、第二数字滤光片关于图像的中心而彼此具有左右对称，但左右对称性根据光瞳分割方向的像闻而变化。因此，优选为，第一、第二数字滤光片使用根据像高而不同的数字滤光片。
[0038]在本发明的又一其他方式所涉及的图像处理装置中，优选为，第一数字滤光片组和第二数字滤光片组使用具有将获取第一图像和第二图像时的、摄影光学系统中所包含的光圈的开口形状进行了分割的形状的数字滤光片组。
[0039]第一、第二数字滤光片组相当于分别对点像的模糊像(根据视差而不同的模糊像)进行光瞳分割所得的数字滤光片组，具有将透镜的光圈的开口形状进行了分割的形状。第一、第二数字滤光片组例如在光圈开口是圆形的情况下具有将其分割成两部分的形状，在光圈开口为多边形的情况下，具有将其分割成两部分的形状。因此，优选为，第一、第二数字滤光片组与单眼3D图像摄像时的光圈的开口形状一致。
[0040]在本发明的又一其他方式所涉及的图像处理装置中，优选为，第一图像和第二图像是从彩色摄像元件输出的三原色的彩色图像，第一数字滤光片组和第二数字滤光片组使用与彩色摄像元件的每色的灵敏度特性对应而每色不同的数字滤光片组。
[0041]与入射到彩色摄像元件的光的入射角相对的第一、第二灵敏度按照三原色的每色而不同。因此，基于这些灵敏度而设计的第一、第二数字滤光片对应每色进行设计为优选。
[0042]在本发明的又一其他方式所涉及的图像处理装置中，优选为，第三数字滤光片组和第四数字滤光片组使用与三原色的彩色图像中的特定的颜色对应的数字滤光片组。由此，能够消除每色的图像的形状差异的影响，并能够实现画质的改善。
[0043]在本发明的又一其他方式所涉及的图像处理装置中，第一图像和第二图像是从彩色摄像元件输出的三原色的彩色图像，视差获取单元对应每色算出所取得的第一图像和第二图像的对应的像素间的视差，运算处理单元对应每色进行对所取得的第一图像和第二图像的运算处理。
[0044]由于透镜具有色像差，因此对应每色模糊(视差)是不同的。因此，优选为，对应每色而获取第一、第二图像的对应的像素间的视差，并基于按照每色而不同的视差来进行从第一、第二图像向第三、第四的图像的转换。由此，能够消除三原色的色像差的影响，实现画质的改善。
[0045]本发明的又一其他方式所涉及的摄像装置具备:单一的摄影光学系统；摄像元件，是对通过了摄影光学系统的不同的第一、第二区域的被摄体像进行光瞳分割而分别成像的摄像元件，分别对通过了第一、第二区域的被摄体像进行光电转换而输出第一图像和第二图像；图像获取单元，获取从摄像元件输出的第一图像和第二图像；及上述的任一图像处理装置。
[0046]本发明的又一其他方式所涉及的图像处理方法包括:图像获取工序，获取经由单一的摄影光学系统而被摄像并由光瞳分割单元进行了光瞳分割的彼此具有视差的第一图像和第二图像；视差获取工序，获取所取得的第一图像和第二图像的对应的像素间的视差；第一数据转换工序，对应所取得的第一图像的图像数据和第二图像的图像数据的处理的每个对象像素，将以该对象像素为基准的预定区域分别转换为第一频率成分数据和第二频率成分数据；运算处理工序，对应所取得的第一图像和第二图像的每个频率成分数据，使用与由视差获取工序取得的对象像素的视差对应的第一频率滤光片和第二频率滤光片进行相乘处理，第一频率滤光片和第二频率滤光片是用于对转换后的第一频率成分数据和第二频率成分数据分别在频率空间进行转换而分别转换为将所取得的第一图像和第二图像具有的视差量和模糊量进行了变更的第三图像和第四图像的第一频率滤光片组和第二频率滤光片组；及第二数据转换工序，将通过运算处理工序算出的第三图像和第四图像分别所对应的第三频率成分数据和第四频率成分数据转换为实际空间上的数据，并选择与对象像素对应的位置的像素分别作为第三图像和第四图像的一个像素，将对象像素的位置错开并一个像素一个像素地重复执行第一数据转换工序、运算处理工序和第二数据转换工序。
[0047]在本发明的又一其他方式所涉及的图像处理方法中，还包括:准备数字滤光片存储单元的工序，数字滤光片存储单元对与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像的转换特性分别对应的、每个视差的第一数字滤光片组和第二数字滤光片组进行存储；及频率滤光片计算工序，基于所存储的第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组，算出第一频率滤光片组和第二频率滤光片组，运算处理工序对应所取得的第一图像和第二图像的每个像素，基于由视差获取工序取得的该像素的视差，从所算出的第一频率滤光片组和第二频率滤光片组分别选择与视差对应的第一频率滤光片和第二频率滤光片，并使用所选择的第一频率滤光片和第二频率滤光片进行相乘处理。
[0048]在本发明的又一其他方式所涉及的图像处理方法中，还包括:准备频率滤光片存储单元的工序，频率滤光片存储单元对基于与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像的转换特性分别对应的、每个视差的第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组而算出的每个视差的第一频率滤光片组和第二频率滤光片组进行存储，运算处理工序对应所取得的第一图像和第二图像的每个像素，基于由视差获取工序取得的该像素的视差，从所存储的第一频率滤光片组和第二频率滤光片组读出与视差对应的第一频率滤光片和第二频率滤光片，并使用所读出的第一频率滤光片和第二频率滤光片进行相乘处理。
[0049]在本发明的又一其他方式所涉及的图像处理方法中，还包括:准备逆滤光片存储单元的工序，逆滤光片存储单元对与从入射到单一的摄影光学系统的光到转换为第一图像或第二图像的转换特性分别对应的、每个视差的第一数字滤光片组或第二数字滤光片组的频率成分数据的逆滤光片组即第一逆滤光片组和第二逆滤光片组进行存储，运算处理工序使用所存储的逆滤光片组及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组的频率成分数据即第三频率滤光片组和第四频率滤光片组作为第一频率滤光片组和第二频率滤光片组。
[0050]发明效果
[0051]根据本发明，能够根据经由单一的摄影光学系统而被摄像并由光瞳分割单元进行了光瞳分割的彼此具有视差的第一图像和第二图像(单眼3D图像)，生成使视差量和模糊量联动地进行了调整的期望的立体视用的第三、第四图像。另外，能够通过对与第一、第二图像不同的摄影光学系统的焦距、光圈值、摄像元件的尺寸或灵敏度特性中的至少一个进行指定，虽然实际上没有拍摄第三、第四图像，但是能够生成在对拍摄第一、第二图像时的焦距、光圈值、摄像元件的尺寸和灵敏度特性中的至少一个进行了变更的情况下得到的第三、第四图像作为期望的第三、第四图像。

【专利附图】

【附图说明】
[0052]图1是表示本发明所涉及的摄像装置的实施方式的立体图。
[0053]图2是图1所示的摄像装置的后视图。
[0054]图3是表示图1所示的摄像装置的内部结构的实施方式的框图。
[0055]图4A是为了说明由通常的摄像元件拍摄的图像和由单眼3D用的摄像元件拍摄的左眼图像和右眼图像而使用的图。
[0056]图4B是为了说明由通常的摄像元件拍摄的图像及由单眼3D用的摄像元件拍摄的左眼图像和右眼图像而使用的图。
[0057]图4C是为了说明由通常的摄像元件拍摄的图像及由单眼3D用的摄像元件拍摄的左眼图像和右眼图像而使用的图。
[0058]图5A是表示单眼3D用的摄像元件的灵敏度特性和对应于该灵敏度特性而生成的半月滤光片的图。
[0059]图5B是表示单眼3D用的摄像元件的灵敏度特性和对应于该灵敏度特性而生成的半月滤光片的图。
[0060]图5C是表示单眼3D用的摄像元件的灵敏度特性和对应于该灵敏度特性而生成的半月滤光片的图。
[0061]图?是表示单眼3D用的摄像元件的灵敏度特性和对应于该灵敏度特性而生成的半月滤光片的图。
[0062]图6是为了说明半月滤光片的生成方法而使用的图。
[0063]图7是表示图6的主要部分放大图和半月滤光片的图。
[0064]图8是图6的主要部分放大图，是表示摄像元件上的坐标和入射角的关系的图。
[0065]图9A是表示在原始的单眼3D图像的左眼图像施加的第一半月滤光片的一例的图。
[0066]图9B是表示在原始的单眼3D图像的右眼图像施加的第二半月滤光片的一例的图。
[0067]图10是为了说明生成期望的单眼3D图像时应在实际空间卷积的滤光片而使用的图。
[0068]图11A是为了说明应在期望的单眼3D图像施加的半月滤光片的一例而使用的图。
[0069]图11B是为了说明应在期望的单眼3D图像施加的半月滤光片的一例而使用的图。
[0070]图12A是为了说明应在期望的单眼3D图像施加的半月滤光片的其他例而使用的图。
[0071]图12B是为了说明应在期望的单眼3D图像施加的半月滤光片的其他例而使用的图。
[0072]图13A是为了说明应向期望的单眼3D图像施加的半月滤光片的又一其他例而使用的图。
[0073]图13B是为了说明应在期望的单眼3D图像施加的半月滤光片的又一其他例而使用的图。
[0074]图14A是为了说明用于指定期望的单眼3D图像的用户接口而使用的图。
[0075]图14B是为了说明用于指定期望的单眼3D图像的用户接口而使用的图。
[0076]图15是表示本发明所涉及的图像处理装置的第一实施方式的主要部分框图。
[0077]图16是表示本发明所涉及的图像处理装置的第二实施方式的主要部分框图。
[0078]图17是表示本发明所涉及的图像处理装置的第三实施方式的主要部分框图。
[0079]图18A是为了说明应在期望的单眼3D图像施加的半月滤光片的又一其他例而使用的图。
[0080]图18B是为了说明应在期望的单眼3D图像施加的半月滤光片的又一其他例而使用的图。
[0081]图19是为了说明应在期望的3D图像施加的滤光片的又一其他例而使用的图。
[0082]图20A是表示根据第一单眼3D图像生成多个第二单眼3D图像的情况下的通常过程和计算时间缩短版过程的概念图。
[0083]图20B是表示根据第一单眼3D图像生成多个第二单眼3D图像的情况下的通常过程和计算时间缩短版过程的概念图。
[0084]图21是为了说明生成期望的单眼3D图像时应在频率空间相乘的频率滤光片而使用的图。
[0085]图22是表示本发明所涉及的图像处理装置的第四实施方式的主要部分框图。
[0086]图23是表示本发明所涉及的图像处理装置的第五实施方式的主要部分框图。
[0087]图24是表示本发明所涉及的图像处理装置的第六实施方式的主要部分框图。
[0088]图25是为了说明与像高对应的第一、第二半月滤光片而使用的图。
[0089]图26A是为了说明与画面内的位置对应的入射角特性的差异而使用的图。
[0090]图26B是为了说明与画面内的位置对应的入射角特性的差异而使用的图。
[0091]图27是表示由图26A和图26B所示的入射角特性的差异产生的半月滤光片的差异的图。
[0092]图28A是表示透镜的光圈的开口形状的一例的图。
[0093]图28B是表示透镜的光圈的开口形状的一例的图。
[0094]图28C是表示透镜的光圈的开口形状的一例的图。
[0095]图28D是表示透镜的光圈的开口形状的一例的图。
[0096]图29A是表示左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的χ方向的角度[° ]的灵敏度的一例的坐标图。
[0097]图29Β是表示左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的y方向的角度[° ]的灵敏度的一例的坐标图。
[0098]图30是表示RGB的每种颜色的色像差的一例的图。
[0099]图31是作为摄像装置的其他实施方式的智能电话的外观图。
[0100]图32是表示智能电话的主要部分结构的框图。

【具体实施方式】
[0101]以下，按照附图，对本发明所涉及的图像处理装置、方法及摄像装置的实施方式进行说明。
[0102][摄像装置]
[0103]图1和图2分别是表示本发明所涉及的摄像装置的实施方式的立体图和后视图。该摄像装置10是由摄像元件接受通过了透镜的光并转换为数字信号而记录于记录介质的数码相机，是能够对单眼3D图像和2D图像进行摄像的单眼3D图像装置。
[0104]如图1所示，摄像装置10在其正面配置有摄影透镜(摄影光学系统)12、闪光灯发光部1等，在上表面配置有快门按钮2、电源/模式开关3、模式转盘4等。另一方面，如图2所示，在摄像装置10的背面配置有3D显示用的3D液晶监视器30、变焦按钮5、十字按钮6、菜单/确定按钮7、重放按钮8、返回按钮9等。
[0105]摄影透镜12由伸缩式变焦透镜构成，利用电源/模式开关3将相机的模式设定为摄影模式，从而从相机主体伸出。闪光灯发光部1主要向被摄体照射光。
[0106]快门按钮2由所谓“半按”和“全按”所构成的两段行程式的开关构成。摄像装置10在以摄影模式进行驱动时，对该快门按钮2进行“半按”，从而执行摄影准备处理(AE (Automatic Exposure:自动曝光)>AF (Automatic Focus:自动对焦)等)，通过进行“全按”而执行摄影。另外，摄像装置10在以摄影模式进行驱动时，通过“全按”该快门按钮2而执行摄影。
[0107]电源/模式开关3兼具作为将摄像装置10的电源置于通/断的电源开关的功能和作为对摄像装置10的模式进行设定的模式开关的功能，并配置成在“断开位置”、“重放位置”和“摄影位置”之间滑动自如。摄像装置10使电源/模式开关3滑动而与“重放位置”或“摄影位置” 一致，从而使电源接通，通过与“断开位置” 一致，而使电源断开。并且，通过使电源/模式开关3滑动而与“重放位置” 一致，而设定为“重放模式”，通过与“摄影位置”一致而设定为“摄影模式”。
[0108]模式转盘4作为对摄像装置10的摄影模式进行设定的摄影模式设定单元而发挥功能，利用该模式转盘的设定位置，将摄像装置10的摄影模式设定为各种各样的模式。例如，进行平面图像(2D图像)的摄影的“平面图像摄影模式”、进行立体图像(3D图像)的摄影的“立体图像摄影模式”、进行动态画面摄影的“动态画面摄影模式”等。
[0109]3D液晶监视器(LCD:Liquid Crystal Display) 30是能够通过视差栅栏将立体视图像(左眼图像和右眼图像)作为分别具有预定的指向性的指向性图像而显示的立体显示单元。在将立体视图像输入到3D液晶监视器30的情况下，使3D液晶监视器30的视差栅栏显示层产生由光透过部和光遮蔽部交替地以预定的间距排列而成的图案构成的视差栅栏，并且表示左右图像的长条状的图像断片交替地排列而显示于视差栅栏显示层的下层的图像显示面。在作为平面图像、用户接口显示面板而利用的情况下，在视差栅栏显示层什么也不显示，在其下层的图像显示面原样显示一张图像。另外，3D液晶监视器30的形态不限于此，如果使左眼图像和右眼图像以能够作为立体图像而识别的方式进行显示，则也可以通过佩戴使用了柱面透镜的器件或偏光眼镜、液晶快门眼镜等专用眼镜而对左眼图像和右眼图像单独地进行观察。
[0110]变焦按钮5作为对变焦进行指示的变焦指示单元而发挥功能。变焦按钮5由对向长焦侧的变焦进行指示的长焦按钮5T和对向广角侧的变焦进行指示的广角按钮5W构成。摄像装置10在摄影模式时，通过对该长焦按钮5T和广角按钮5W进行操作，而使摄影透镜12的焦距发生变化。另外，在重放模式时，通过对该长焦按钮5T和广角按钮5W进行操作，而使重放中的图像放大、缩小。
[0111]十字按钮6是输入上下左右四个方向的指示的操作部，作为从菜单画面选择项目或根据各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥功能。左/右键作为重放模式时的逐帧播放(正方向/反方向播放)按钮而发挥功能。
[0112]菜单/确定按钮7是兼具作为用于进行在3D液晶监视器30的画面上显示菜单的指令的菜单按钮的功能和作为对选择内容的确定和执行等进行指示的确定按钮的功能的操作键。
[0113]重放按钮8是用于切换为将所摄影记录的立体图像(3D图像)、平面图像(2D图像)的静止画面或动态画面在3D液晶监视器30上显示的重放模式的按钮。
[0114]返回按钮9作为对输入操作的消除、返回到前一个操作状态进行指示的按钮而发挥功能。
[0115][摄像装置的内部结构]
[0116]图3是表示上述摄像装置10的内部结构的实施方式的框图。该摄像装置10将拍摄到的图像记录于存储卡54，装置整体的动作由中央处理装置(CPU)40集中控制。
[0117]在摄像装置10，设置有包含快门按钮2、电源/模式开关3、模式转盘4、重放按钮8、菜单/确定按钮7、十字按钮6、变焦按钮5、返回按钮9的操作部38。来自该操作部38的信号被输入到CPU40。CPU40基于输入信号对摄像装置10的各电路进行控制，例如，进行透镜驱动控制、光圈驱动控制、摄影动作控制、图像处理控制、图像数据的记录/重放控制及3D液晶监视器30的显示控制等。
[0118]当利用电源/模式开关3将摄像装置10的电源接通时，从未图示的电源部向各模块供电，开始摄像装置10的驱动。
[0119]通过了摄影透镜12、光圈14等的光束在作为相位差图像传感器的摄像元件16(摄像单元、图像获取单元)上成像，在摄像元件16蓄积信号电荷。
[0120]在此，摄像元件16能够根据离焦量而获取视差不同的左眼图像和右眼图像(单眼3D图像)。摄像元件16也能够通过将左眼图像和右眼图像相加来获取2D图像。另外，针对摄像元件16的详细情况留作后述。另外，该实施方式的摄像元件16是(XD (Charge CoupledDevice:电荷f禹合装置)图像传感器，但是不限于此，也可以是CMOS (Complementary MetalOxide Semiconductor:互补性金属氧化物半导体)型的图像传感器。
[0121]蓄积于摄像元件16的左眼图像和右眼图像的信号电荷基于从定时发生器(未图示)施加的读出信号而作为与信号电荷对应的电压信号被读出。从摄像元件16读出的电压信号被施加到模拟信号处理部18。CCD控制部32进行来自摄像元件16的图像信号的读出控制。
[0122]模拟信号处理部18针对从摄像元件16输出的电压信号，利用相关双采样处理(以减轻摄像元件的输出信号中所包含的噪声(特别是热噪声)等为目的，通过取得摄像元件的每个像素的输出信号中所包含的馈通成分电平与像素信号成分电平之差而得到准确的像素数据的处理)，在对各像素的R(红)、G(绿)、B (蓝)信号进行采样保持并放大后施加到A/D转换器20。A/D转换器20将依次输入的R、G、B信号转换为数字的R、G、B信号而输出到图像输入控制器22。
[0123]数字信号处理部24对经由图像输入控制器22而输入的数字的图像信号进行偏置处理、包含白平衡校正、灵敏度校正的增益/控制处理、伽玛校正处理、去马赛克算法处理、YC处理、边缘强调处理等预定的信号处理。
[0124]另外，数字信号处理部24具备:获取左眼图像和右眼图像的对应的像素间的视差的视差获取单元；根据所获取的视差生成视差映射的视差映射获取单元；及根据所获取的左眼图像、右眼图像(第一单眼3D图像)和视差映射，使单眼3D图像的视差量和模糊量两方联动而进行变更从而生成期望的左眼图像和右眼图像(第二单眼3D图像)的滤光处理单元等。另外，针对根据在摄像时获取的第一单眼3D图像生成期望的第二单眼3D图像的图像处理方法的详细情况留作后述。
[0125]由数字信号处理部24处理后的2D或3D的图像数据被输入到VRAM (Video RandomAccess Memory) 50。在VRAM50包含分别对表示1帧量的2D或3D的图像的图像数据进行记录的A区域和B区域。在VRAM50中，将表示1帧量的2D或3D的图像的图像数据在A区域和B区域交替地进行重写。从VRAM50的A区域和B区域中的图像数据被重写的一方的区域以外的区域读出所写入的图像数据。
[0126]从VRAM50读出的2D或3D的图像数据在视频编码器28中被编码，而被输出到设于相机背面的3D液晶监视器30。由此，2D或3D的被摄体像连续地在3D液晶监视器30的显示画面上显示。
[0127]当存在操作部38的快门按钮2的第一阶段的按下(半按)时，CPU40开始AF动作和AE动作，经由透镜驱动部36使摄影透镜12的聚焦透镜沿光轴方向移动，以聚焦透镜到达对焦位置的方式进行控制。
[0128]AF处理部42是进行对比度AF处理或相位差AF处理的部分。在进行对比度AF处理的情况下，对左眼图像和右眼图像的至少一方的图像中的预定的聚焦区域内的图像的高频成分进行提取，通过对该高频成分进行积分而算出表示对焦状态的AF评价值。使摄影透镜12内的聚焦透镜移动到该AF评价值为极大的透镜位置，从而进行AF控制(对比度AF)。
[0129]CPU40根据来自变焦按钮5的变焦指令而经由透镜驱动部36使变焦透镜沿光轴方向进退动作，使焦距发生变化。
[0130]另外，在对快门按钮2进行半按时从A/D转换器20输出的图像数据被取入到AE检测部44。
[0131]在AE检测部44中，对画面整体的G信号进行累计，或对在画面中央部和周边部附加了不同的权重的G信号进行累计，并将其累计值输出到CPU40。CPU40利用从AE检测部44输入的累计值，算出被摄体的明亮度(摄影Εν值)。CPU40对光圈驱动部34进行控制，并基于该摄影Εν值按照预定的程序线图决定光圈14的F值和摄像元件16的电子快门(快门速度)。
[0132]另外，在图3中，46是用于对摄影视场角内的人物的脸部进行检测并将包含该脸部的区域作为AF区域、ΑΕ区域而设定的公知的脸部检测电路(例如，日本特开平9-101579号公报)。
[0133]另外，47是除了存储相机控制程序、摄像元件16的缺陷信息、使用于图像处理等的各种参数、表外，还存储有用于生成本发明所涉及的第二单眼3D图像的图像处理程序、为了生成第二单眼3D图像而使用的第一和第二半月滤光片组(第一、第二数字滤光片组)、用于将第一单眼3D图像转换为第二单眼3D图像的第一、第二转换滤光片组、作为第一和第二半月滤光片组的逆滤光片的第一、第二逆滤光片组等的R0M(EEPR0M ElectronicallyErasable and Programmable Read Only Memory)(数字滤光片存储单元、转换滤光片存储单元、逆滤光片存储单元)。另外，针对本发明所涉及的图像处理程序、滤光片组等的详细情况留作后述。
[0134]当通过快门按钮2的半按而使AE动作和AF动作结束，且存在快门按钮的第二阶段的按下(全按)时，将对该按下进行响应而从A/D转换器20输出的图像数据从图像输入控制器 22 输入到存储器(SDRAM:Synchronous Dynamic Random Access Memory) 48,并暂时性地进行存储。
[0135]暂时性地存储于存储器48的图像数据由数字信号处理部24适当读出。并且，从存储器48读出的图像数据在数字信号处理部24中进行包括去马赛克算法处理(根据与单板式的彩色摄像元件中的滤色器排列对应的马赛克图像算出每个像素全部的颜色信息的处理。在本实施方式中是对应每个像素算出RGB全部的颜色信息的处理)、边缘强调的图像处理和YC处理(图像数据的亮度数据和色差数据的生成处理)的预定的信号处理，被YC处理后的图像数据(YC数据)再次被存储于存储器48。
[0136]存储于存储器48的YC数据被输出到压缩扩展处理部26，在被执行了 JPEG(JointPhotographic Experts Group:联合图像专家小组)等预定的压缩处理后，再次被存储于存储器48。根据存储于存储器48的YC数据(压缩数据)生成图像文件。该图像文件由介质/控制器52读出，记录于存储卡54。
[0137]上述结构的摄像装置10具备在3D图像的摄像或重放时根据拍摄到的3D图像(第一单眼3D图像)生成期望的3D图像(第二单眼3D图像)的图像处理功能，但是其他部分与以往的摄像装置相同。
[0138][第一、第二数字滤光片组(第一、第二半月滤光片组)]
[0139]接下来，参照图4A至图4C和图5，对适用本发明所涉及的图像处理方法的单眼3D图像和第一、第二数字滤光片组(第一、第二半月滤光片组)进行说明。
[0140]图4A至图4C是表示在透镜被焦点调整到物体a的前面的状态下如何对比焦点位置靠近前的物体(点光源)进行摄影的图。图4B表示由通常的摄像元件200拍摄的图像。图4C表示由特殊的摄像元件(单眼3D用的摄像元件)16拍摄的左眼图像和右眼图像。另夕卜，图4B和图4C的摄像元件200和16分别表示从被摄体侧观察到的受光面。
[0141]图4B所示的摄像元件200中，分别以矩阵状排列的奇数列的像素(也称作主像素、A面像素)和偶数列的像素(也称作副像素、B面像素)分别沿水平垂直方向以每半个间距错开而配置。由A面像素构成的图像(A面图像)和由B面像素构成的图像(B面图像)分别具有拜耳排列的滤色器。能够从这些A面图像和B面图像生成一张高分辨率的图像。另外，与摄像元件200的A面像素、B面像素对应而设置的、光所入射的开口形成于各像素的中央。另外，在各像素上设置有未图示的微透镜。
[0142]从摄像元件200得到的比焦点位置靠近前的点光源的图像成为后焦点，成为与其模糊量相当的直径的圆。
[0143]另一方面，图4C所示的摄像元件16中，形成于A面像素的开口和形成于B面像素的开口分别沿左右方向偏移。在A面像素入射通过透镜的左侧的区域的光，在B面像素入射通过透镜的右侧的区域的光。
[0144]由上述结构的单眼3D用的摄像元件16的A面像素构成的图像(A面图像)成为左眼图像，由B面像素构成的图像(B面图像)成为右眼图像。
[0145]从摄像元件16得到的比焦点位置靠近前的点光源的图像成为后焦点，左眼图像和右眼图像分别成为具有与其模糊量相当的直径的半月状。并且，半月状的左眼图像的重心和右眼图像的重心的偏移量成为点光源的图像的视差量。即，如果摄像元件16的特性(每个角度的灵敏度)等已知，则可知比焦点位置靠近前的点光源的图像相对于点光源卷积了何种左眼用和右眼用的滤光片(前述的第一数字滤光片和第二数字滤光片)。另外，上述第一数字滤光片和第二数字滤光片成为半月状，因此以后称作“第一半月滤光片和第二半月滤光片”。
[0146]另外，图5A示出了左眼图像和右眼图像相对于经由图4C所示的透镜而入射到单眼3D用的摄像元件16的光的χ方向的角度[° ]的灵敏度的一例，图5B示出了左眼图像和右眼图像相对于y方向的角度[° ]的灵敏度的一例。
[0147]如图5A所示，左眼图像和右眼图像相对于χ方向的角度[° ]的灵敏度以角度零为中心而大致对称，并且灵敏度的峰值位置偏移。另外，如图5B所示，左眼图像和右眼图像相对于y方向的角度[° ]的灵敏度一致，灵敏度的峰值位置到达角度零。
[0148]当将图5A和图5B所示的χ方向和y方向的灵敏度特性相乘时，如图5C所示，得到入射到摄像元件16的光的χ方向和y方向的每个角度的灵敏度特性。另外，图5C表示摄像元件16的与左眼图像对应的灵敏度特性。
[0149]接下来，如图所示，假定仅与点像的模糊量对应的某直径R的范围的光射到摄像元件16，而将角度换算为摄像元件16的χ轴(横向)、y轴(纵向)的坐标。在该情况下，左右的半月滤光片的重心间距离(即视差AD)和半月滤光片的直径R分别能够由下式表达。
[0150][数学式1]
[0151]/ID =---

(U-f>L
[0152][数学式2]
[0153]R=
[0154]在此，在[数学式1]和[数学式2]中，如图6所示，设实际焦距为f[mm]，设光圈值为F，设到达对焦位置的对焦距离为Lo[mm]，设到达被摄体的距离为L[mm]。另外，AD能够使用F的函数P (F)，由相对于R的预定的比表达。由此，如果ΛΣ)已知，则可知R的值、当前施加了何种半径/分布的半月滤光片。
[0155]图7的(a)部和(b)部分别是半月滤光片和图6的摄像面附近的放大图。另外，图6和图7中所示的数学式能够由透镜的公式和几何性的关系导出。
[0156]另外，在算出半月滤光片的滤光系数的情况下，如图8所示，当将某坐标设为(Px，Py)，将光向该坐标(px，py)的入射角设为(θχ，0y)时，关于以下的[数学式3]所示的(X，y)，求出[数学式4]所示的(θχ，0y)。
[0157][数学式3]
[0158]χ1 *ψ}ill...................1
■ 12(4.../EFJ
[0159][数学式4]
[嶋]卿丨
[0161]基于由[数学式4]所求得的入射角(θχ，0y)，通过代入图5C所示的每个角度的灵敏度特性，算出半月滤光片的滤光系数。此时，优选为，通过将各滤光系数除以滤光系数的总和，而对滤光系数进行标准化。
[0162]如上述那样，对应每个视差Λ D而生成左右的半月滤光片，与视差Λ D建立关联而存储于R0M(EEPR0M)47。虽然优选为，预先在外部进行半月滤光片的生成，将所生成的半月滤光片存储于R0M47，但是也可以在数字信号处理部24内生成并存储于R0M47。
[0163]另外，在[数学式1]中视差AD由绝对值表达，但是比对焦距离Lo靠近前的物体的视差和比对焦距离Lo靠里侧的物体的视差的视差方向(符号)相反。因此，对应每个视差的大小和视差方向而生成左右的半月滤光片，存储于R0M47。
[0164]图9A和图9B表示分别存储于R0M47的、左眼图像和右眼图像所施加的每个视差AD的半月滤光片(第一、第二半月滤光片组)的一例。
[0165][转换滤光片]
[0166]接下来，对用于将由摄像装置10拍摄到的具有视差的左眼图像和右眼图像(第一单眼3D图像)转换为期望的左眼图像和右眼图像(第二单眼3D图像)的转换滤光片进行说明。
[0167]如图10所示，在拍摄第一单眼3D图像时的焦距是f的情况下，作为第二单眼3D图像，设为由焦距f的η倍的焦距(nXf)的摄影透镜进行摄像的情况下而得到的图像。
[0168]基于预先存储于R0M47的半月滤光片(与焦距f对应的第一、第二半月滤光片)和焦距(nXf)，算出所述[数学式1]和[数学式2]所示的视差AD和直径R分别为η的平方倍的、与第二单眼3D图像对应的半月滤光片(第三、第四半月滤光片)。即，算出第一、第二半月滤光片的η的平方倍的相似形的第三、第四半月滤光片。
[0169]在此，如图10所示，将第一单眼3D图像的左眼图像所施加的第一半月滤光片设为1\0^，7)，将对第一半月滤光片1\(1，7)进行傅里叶变换所得的滤光片设为IYf(?x，coy)。另一方面，当将第二单眼3D图像的左眼图像应施加的第三半月滤光片设为I?(X，y)，将对第三半月滤光片ΤΜ(χ，y)进行傅里叶变换所得的滤光片设为ΤΜ?(ωχ，Wy)时，对应视差AD的左眼图像的每个像素，由下式算出应在实际空间卷积的滤光片(以下，称作“转换滤光片”)。
[0170][数学式5]
[0171 ] F—1 (TLf ( ω χ，ω y) -1.TLWf ( ω χ，ω y))的振幅成分
[0172]其中，F—1:傅里叶逆变换
[0173]对应于按照每个视差所存储的第一半月滤光片而算出该转换滤光片(第一转换滤光片)。也同样地算出使用于第二单眼3D图像的右眼图像的转换的第二转换滤光片。
[0174]另外，优选为，当决定期望的第二单眼3D图像时，预先根据视差而算出与第一、第二半月滤光片组对应的第一、第二转换滤光片组。
[0175]使用如此算出的第一、第二转换滤光片组，将第一单眼3D图像转换为第二单眼3D图像。即，对应第一单眼3D图像的左眼图像、右眼图像的每个像素，使用与该像素的视差Δ D对应的第一转换滤光片和第二转换滤光片而进行滤光处理。由此,对应第一单眼3D图像的像素间的每个视差，生成其视差量和模糊量两方联动地进行转换所得的第二单眼3D图像。
[0176]<由本发明所设计的半月滤光片的实施方式>
[0177]关于第一单眼3D图像施加何种半月滤光片时，如何设计期望的第二单眼3D图像应施加的半月滤光片，存在各种各样的方针。在以下所示的实施方式中，设计与将焦距设为2倍的情况下、将光圈的F值设为一半的情况下、将摄像元件尺寸设为1.5倍的情况下的视差量和模糊量相当那样的半月滤光片。
[0178][将焦距设为2倍时的半月滤光片]
[0179]图11A表示某视差AD的第一单眼3D图像的左眼像素所施加的第一半月滤光片。图11B表示将摄影透镜的焦距f设为2倍的情况下得到的第二单眼3D图像的、与所述第一半月滤光片对应的第三半月滤光片。
[0180]如图11B所示，将第三半月滤光片设计为视差AD和直径R分别为4倍的与第一半月滤光片为相似形的滤光片。这是因为，通过将2f代入[数学式1]和[数学式2]中的f,而使视差Λ D和直径R分别为4 ( = 2 X 2)倍。
[0181]由此，期望的第二单眼3D图像的视差AD被放大为4倍，同时与视差对应的模糊量(直径R)也被放大为4倍。
[0182][将光圈的F值设为一半(1/2)时的半月滤光片]
[0183]图12Α表示某视差AD的第一单眼3D图像的左眼像素所施加的第一半月滤光片，图12Β表示将光圈14的F值设为一半的情况下而得到的第二单眼3D图像的与所述第一半月滤光片对应的第三半月滤光片。
[0184]如图12B所示，第三半月滤光片中由F值的函数P (F)表达的视差AD为P (0.5F)/p (F)倍，直径 R 为 2 倍。
[0185]由此，期望的第二单眼3D图像的视差Λ D被放大为Ρ (0.5F)/p (F)倍，同时与视差对应的模糊量(直径R)被放大为2倍。
[0186][将摄像元件尺寸设为1.5倍时的半月滤光片]
[0187]图13A表示某视差AD的第一单眼3D图像的左眼像素所施加的第一半月滤光片，图13B表示将摄像元件尺寸设为1.5倍的情况下得到的第二单眼3D图像的与所述第一半月滤光片对应的第三半月滤光片。
[0188]如图13B所示，将第三半月滤光片设计为视差AD和直径R分别为2.25倍的、与第一半月滤光片为相似形的滤光片。当摄像元件尺寸为1.5倍时，实质上与焦距f为1.5倍的情况相当。因此，在[数学式1]和[数学式2]中的f中代入1.5f，从而使视差AD和直径R分别为2.25 ( = 1.5X1.5)倍。
[0189]由此，期望的第二单眼3D图像的视差Λ D被放大为2.25倍，同时与视差对应的模糊量(直径R)也被放大为2.25倍。
[0190][期望的单眼邪图像(第二单眼邪图像)的指定单元]
[0191]接下来，对根据实际拍摄到的第一单眼3D图像生成期望的第二单眼3D图像的情况下的、指示期望的第二单眼3D图像的指示单元(用户接口)进行说明。
[0192]在单眼3D图像的摄像或重放时，在根据实际拍摄到的第一单眼3D图像生成期望的第二单眼3D图像时，对摄像装置10的菜单/确定按钮7等进行操作，在3D液晶监视器30的菜单设定画面上，选择本发明的从第一单眼3D图像生成第二单眼3D图像的功能。
[0193]通过该功能的选择，3D液晶监视器30的画面如图14A所示转移到对焦距、F值或摄像元件尺寸进行选择的画面。在此，通过对十字按钮6的上下键进行操作，能够对焦距、F值或摄像元件尺寸的任一个进行选择。
[0194]当在对焦距、F值或摄像元件尺寸的任一个进行选择后操作菜单/确定按钮7时，3D液晶监视器30的画面如图14B所示转移到对所选择的项目的倍率进行设定的画面。另夕卜，图14B示出了对将该焦距f相对于拍摄第一单眼3D图像时的焦距f设为几倍进行设定的画面。
[0195]在该画面显示时，通过对十字按钮6的上下键进行操作，使数字上下，而能够选择任意的倍率。在选择倍率后，当对菜单/确定按钮7进行操作时，所选择的倍率确定，并且转移到图14A所示的画面。
[0196]如此，通过对焦距、F值或摄像元件尺寸的任一个或多个进行倍率的设定，能够对根据第一单眼3D图像生成的期望的第二单眼3D图像进行指定。
[0197]另外，作为对期望的第二单眼3D图像进行指定的用户接口，不限于该实施方式，能够考虑各种实施方式。例如，在3D液晶监视器30具有接受基于触摸操作的指示输入的触摸面板的情况下，也可以通过触摸面板上的操作而对期望的单眼3D图像进行指定。
[0198]<图像处理装置>
[0199]接下来，对根据由摄像装置10拍摄到的原始的第一单眼3D图像或从存储卡54读出的原始的第一单眼3D图像生成期望的第二单眼3D图像的图像处理装置(主要相当于数字信号处理部24、CPU40、R0M47)进行说明。
[0200]以下所示的第一实施方式至第三实施方式中，根据第一单眼3D图像生成的第二单眼3D图像分别相同，但是预先存储的滤光片的种类和运算内容不同。
[0201][第一实施方式]
[0202]图15是表示本发明所涉及的图像处理装置的第一实施方式的主要部分框图。
[0203]在图15中，摄像装置10的数字信号处理部24具有滤光处理部240_1。滤光处理部240-1具备卷积运算部242、244、转换滤光片计算部246和半月滤光片计算部248。
[0204]原始的第一单眼3D图像的左眼图像100L、右眼图像100R分别被加入到卷积运算部242、244。在卷积运算部242、244的其他输入中分别加入由转换滤光片计算部246算出的第一转换滤光片Fp第二转换滤光片FK。卷积运算部242、244通过分别进行两输入的卷积运算，而生成使左眼图像100L、右眼图像100R的对应的两个像素的视差量和模糊量联动而进行变更所得的、期望的第二单眼3D图像的左眼图像120L、右眼图像120R的对应的两个像素。
[0205]在此，转换滤光片计算部246如以下所示基于与左眼图像100L、右眼图像100R的对应的两个像素的视差量对应的第一单眼3D图像所施加的半月滤光片和第二单眼3D图像所施加并设计出的半月滤光片，而算出第一转换滤光片Fp第二转换滤光片FK，并将它们输出到卷积运算部242、244。
[0206]CPU40遍及画面整体算出与原始的第一单眼3D图像的左眼图像100L和右眼图像100R的对应点彼此的像素的偏移(视差)，并生成表示与画面位置对应的视差的视差映射130。
[0207]优选为，左眼图像100L和右眼图像100R的对应点(特征点)采用在左眼图像100L和右眼图像100R的图像间其特征能够唯一地确定的所有点。
[0208]在左眼图像100L和右眼图像100R的图像间特征一致的特征点的检测中，例如能够适用区块匹配法。在区块匹配法中，对从左眼图像100L和右眼图像100R中的一方的图像(左眼图像100L)切出任意像素作为基准所得的预定的区块尺寸的区块和另一方的图像(右眼图像100R)的区块的一致度进行评价。并且，将区块间的一致度成为最大时的右眼图像100R的区块的基准的像素设为与左眼图像100L的任意的像素对应的右眼图像100R的像素。
[0209]作为对区块匹配法中的区块间的一致度进行评价的函数，存在使用例如各区块内的像素的亮度差的平方和(SSD)的函数(SSD区块匹配法)。
[0210]并且，能够通过求出表示右眼图像100R的像素的位置和右眼图像100R上的对应的像素的像素间的偏移量和偏移方向的视差(偏移方向能够由正负表示)，而生成视差映射130。另外，视差映射130的生成也可以由数字信号处理部24进行。
[0211]半月滤光片存储部470是对在原始的左眼图像100L、右眼图像100R施加的与视差对应的第一半月滤光片、第二半月滤光片(图9等所示的第一、第二半月滤光片组)进行存储的部分。半月滤光片存储部470与R0M47的一部分的存储部对应。
[0212]半月滤光片计算部248算出用于在期望的第二单眼3D图像的左眼图像120L、右眼图像120R施加的第三、第四半月滤光片组。半月滤光片计算部248从半月滤光片存储部470输入第一、第二半月滤光片组，并且输入与由包含操作部38的用户接口指示的向期望的第二单眼3D图像的转换特性对应的信息(第二单眼3D图像的焦距f、F值或摄像元件尺寸相对于拍摄第一单眼3D图像时的焦距f、F值或摄像元件尺寸的倍率)。半月滤光片计算部248基于这些输入的第一、第二半月滤光片组和与向第二单眼3D图像的转换特性相关的信息，算出第三、第四半月滤光片组(参照图11A?图13B)。
[0213]转换滤光片计算部246基于从半月滤光片存储部470输入的第一、第二半月滤光片组及由半月滤光片计算部248算出的第三、第四半月滤光片组，利用前述的[数学式5]对应每个视差AD算出第一、第二转换滤光片。在此，优选为，将所算出的每个视差AD的第一、第二转换滤光片(第一、第二转换滤光片组)暂时存储于未图不的内部存储器。
[0214]转换滤光片计算部246从视差映射130获取左眼图像100L的任意的像素和与该像素对应的右眼图像100R的像素的视差。转换滤光片计算部246从预先算出并存储的第一、第二转换滤光片组获取与该获取的视差对应的第一、第二转换滤光片。转换滤光片计算部246将第一、第二转换滤光片分别输出到卷积运算部242、244。
[0215]卷积运算部242通过进行以左眼图像100L的任意像素为基准的、和第一转换滤光片相同的内核尺寸的多个像素与第一转换滤光片的卷积运算，而算出与任意像素对应的左眼图像120L上的像素。同样地，卷积运算部244通过进行以与左眼图像100L的任意像素对应的右眼图像100R的对应像素为基准的、和第二转换滤光片相同的内核尺寸的多个像素与第二转换滤光片的卷积运算，而算出右眼图像100R的对应像素的左眼图像120L上的像素。
[0216]通过对原始的第一单眼3D图像的左眼图像100L、右眼图像100R的所有对应像素进行上述滤光处理，能够生成第二单眼3D图像的左眼图像120L、右眼图像120R。
[0217][第二实施方式]
[0218]图16是表示本发明所涉及的图像处理装置的第二实施方式的主要部分框图。
[0219]另外，在图16中，对与图15共通的部分附加相同的附图标记而省略其详细的说明。
[0220]在图16中，摄像装置10的数字信号处理部24具有滤光处理部240_2。滤光处理部240-2具备卷积运算部242、244和转换滤光片读出部250。
[0221]转换滤光片存储部472是对与由第一实施方式的转换滤光片计算部246算出的第一、第二转换滤光片组相同的第一、第二转换滤光片组进行存储的部分。转换滤光片存储部472与R0M47的一部分的存储部对应。优选为，该转换滤光片存储部472预先对多个种类(按照与能够由用户接口指定的向期望的第二单眼3D图像的转换特性对应的信息分类的多个种类)的第一、第二转换滤光片组进行存储。另外，能够利用与第一实施方式的转换滤光片计算部246相当的外部设备等算出这些第一、第二转换滤光片组，并将该算出结果存储于转换滤光片存储部472。
[0222]转换滤光片读出部250从转换滤光片存储部472读出适当的第一、第二转换滤光片FpFK，分别输出到卷积运算部242、244。转换滤光片读出部250输入与由包含操作部38的用户接口所指示的向期望的第二单眼3D图像的转换特性对应的信息，并且从视差映射130输入视差。
[0223]转换滤光片读出部250基于与向期望的第二单眼3D图像的转换特性对应的信息而从存储于转换滤光片存储部472的多个种类的第一、第二转换滤光片组决定所使用的第一、第二滤光片组。另一方面，转换滤光片读出部250从视差映射130获取左眼图像100L的任意的像素和与该像素对应的右眼图像100R的像素的视差。转换滤光片读出部250从所述决定的第一、第二滤光片组读出与该获取的视差对应的第一、第二转换滤光片。转换滤光片读出部250将所读出的第一、第二转换滤光片分别输出到卷积运算部242、244。
[0224]根据第二实施方式，预先在转换滤光片存储部472存储多个种类的第一、第二转换滤光片组。因此，能够省略用于算出第一、第二转换滤光片组的运算处理，但是作为转换滤光片存储部472需要存储容量大的存储器。
[0225][第三实施方式]
[0226]图17是表示本发明所涉及的图像处理装置的第三实施方式的主要部分框图。
[0227]另外，在图17中，对与图15共通的部分附加相同的附图标记而省略其详细的说明。
[0228]在图17中，摄像装置10的数字信号处理部24具有滤光处理部240_3。滤光处理部240-3具备进行卷积运算的第一运算部260、262、第二运算部264、266、逆滤光片读出部268和半月滤光片计算部248。
[0229]转换滤光片如[数学式5]所示，具有Γ1 (TLf ( ω χ，ω y) -1.TLfff ( ω χ，ω y))的振幅成分的滤光系数。基于该转换滤光片的滤光处理能够分为基于ω^-1)的卷积运算和基于？—1^^^^，coy))的卷积运算。
[0230]前者的ω)-1)是第一半月滤光片的逆滤光片。后者的ω^)是第三半月滤光片。
[0231]在第三实施方式中，对应左眼图像100L、右眼图像100R的对应的每个像素，进行乘以与视差对应的第一、第二逆滤光片的第一运算，对该运算结果进行乘以第三、第四半月滤光片的第二运算。第一运算生成将原始的第一单眼3D图像的视差和模糊消除所得的模糊消除图像。第二运算是指通过对模糊消除图像乘以与从入射到摄影透镜12的光转换为期望的第二单眼3D图像的转换特性对应的、每个视差的第三、第四半月滤光片而生成左眼图像120L、右眼图像120R。
[0232]逆滤光片存储部474是对根据存储于半月滤光片存储部470的第一、第二半月滤光片组算出的第一、第二逆滤光片组进行存储的部分。逆滤光片存储部474与R0M47的一部分的存储部对应。能够从第一、第二半月滤光片组利用外部设备等算出第一、第二逆滤光片组，并将该算出结果存储于逆滤光片存储部474。
[0233]逆滤光片读出部268从视差映射130获取左眼图像100L的任意的像素和与该像素对应的右眼图像100R的像素的视差。逆滤光片读出部268从逆滤光片存储部474读出与该获取的视差对应的第一、第二半月滤光片的逆滤光片即第一、第二逆滤光片，并分别输出到第一运算部260、262。
[0234]第一运算部260进行以左眼图像100L的任意像素为基准的、和第一逆滤光片相同的内核尺寸的多个像素与第一逆滤光片的卷积运算。同样地，第一运算部262进行以与左眼图像100L的任意的像素对应的右眼图像100R的对应像素为基准的、和第二逆滤光片相同的内核尺寸的多个像素与第二逆滤光片的卷积运算。第一运算部260、262分别将这些运算结果(消除了模糊等所得的模糊消除图像)分别输出到第二运算部264、266。
[0235]在第二运算部264、266的其他输入中加入由半月滤光片计算部248算出的第三、第四半月滤光片组中的与从视差映射130得到的当前的视差对应的第三、第四半月滤光片。第二运算部264、266通过分别进行由第一运算部260、262算出的模糊消除图像和第三、第四半月滤光片的卷积运算，而生成左眼图像120L、右眼图像120R上的各像素。
[0236]根据第三实施方式，与第一实施方式相比不需要算出第一、第二转换滤光片组，因此能够实现运算处理的高速化。另外，虽然需要对第一、第二逆滤光片组进行存储，但是与需要存储多个种类的第一、第二转换滤光片组的第二实施方式相比，能够减小逆滤光片存储部474的存储容量。
[0237]另外，由第一运算部260、262算出的模糊消除图像相同。因此，优选为，仅使用左眼图像100L、右眼图像100R中的任一方生成模糊消除图像，将所生成的模糊消除图像分别输出到第二运算部264、266。
[0238][第三、第四半月滤光片的其他实施方式]
[0239]在从图11A到图13B所示的实施方式中，将在第一单眼3D图像施加的第一、第二半月滤光片缩放为相似形，而设计与期望的第二单眼3D图像对应的第三、第四半月滤光片，但是也能够与第一、第二半月滤光片无关地设计第三、第四半月滤光片。
[0240]图18A表示某视差AD的第一单眼3D图像的左眼像素所施加的第一半月滤光片。图18B表示单眼3D用的摄像元件的灵敏度特性变化时得到的第二单眼3D图像的与所述第一半月滤光片对应的第三半月滤光片。
[0241]如图18B所示，第三半月滤光片与第一半月滤光片比较，模糊量(直径R)没有变化。第三半月滤光片与灵敏度特性不同的摄像元件对应，因此F的函数P (F)变化为函数P’(F)。其结果为，即使第三半月滤光片和第一半月滤光片的模糊量(直径R)相同，也能够赋予不同的视差AD。
[0242]另外，作为灵敏度特性不同的摄像元件，能够假定理想性的摄像元件。例如，根据图5A所示的左眼图像和右眼图像的灵敏度特性，产生了与入射角对应的串扰，但是能够设计与具备没有串扰的灵敏度特性的摄像元件对应的第三、第四半月滤光片。
[0243]图19的(a)部表示某视差Λ D的第一单眼3D图像的左眼像素所施加的第一、第二半月滤光片。图19的(b)部表示与第一、第二半月滤光片对应的第三、第四滤光片。
[0244]在图11A、图11B、图12A、图12B、图13A、图13B及图18A、图18B所示的实施方式中，为了避免重影发生而将作为目标的滤光片设为半月滤光片。然而，在模糊较大的情况下等在人眼中难以进行像素彼此的对应的情况下(难以进行立体视的情况下)，优选为使由人眼自然地观察优先于避免重影发生。
[0245]图19的(b)部所示的第三、第四滤光片分别为圆形且具有其中心的滤光系数最高的点对称的滤光系数。
[0246]如图19的(b)部所示，通过设为以圆形的第三、第四滤光片为目标的滤光片，能够使模糊为圆形，即使在模糊的口径较大的情况下等也能够生成自然的能够立体视的图像。另外，计算方法等与作为目标的滤光片为半月滤光片时同样。
[0247][根据一个第一单眼3D图像生成多个第二单眼3D图像的方法]
[0248]接下来，对根据一个原始的第一单眼3D图像生成多个第二单眼3D图像的情况下的实施方式进行说明。
[0249]图20A和图20B是分别表示根据原始的第一单眼3D图像生成多个第二单眼3D图像的情况下的两组的过程(通常过程和计算时间缩短版过程)的概念图。
[0250]图20A所示的通常过程与图15所示的第一实施方式相当。在通常过程中，每次在生成视差强调等的程度不同的第二单眼3D图像时，对第一单眼3D图像进行在实际空间中卷积的转换滤光片的计算处理([数学式5]所示的运算)。在该通常的过程中，与多个期望的第二单眼3D图像对应而分别算出转换滤光片。因此，在通常过程中，需要多次进行转换滤光片的计算处理，计算量变多。
[0251]图20B所示的计算时间缩短版过程与图17所示的第三实施方式相当。在计算时间缩短版过程中，首先，生成从原始的第一单眼3D图像消除了视差和模糊所得的模糊消除图像。能够通过将第一单眼3D图像的左眼图像或右眼图像乘以作为第一半月滤光片或第二半月滤光片的逆滤光片的第一逆滤光片或第二逆滤光片而生成该模糊消除图像。
[0252]第一逆滤光片是将[数学式5]中的前级的F—1 (TLf ( ω χ，ω y) -1)的振幅成分设为滤光系数的滤光片。该逆滤光片的算出运算也可以仅为一次。另外，由于逆滤光片是第一单眼3D图像中固有的滤光片，因此能够通过预先运算并存储而省略逆滤光片的算出运算。
[0253]接下来，对一个模糊消除图像乘以分别与多个第二单眼3D图像对应的第三、第四半月滤光片。第三半月滤光片是将[数学式5]中的后项的^(1^(0^，Wy))的振幅成分设为滤光系数的滤光片，能够通过将第一半月滤光片放大为相似形而得到。
[0254]根据图20B所示的计算时间缩短版过程，与图20A所示的通常过程相比，不需要算出转换滤光片，能够缩短计算时间。特别是在生成视差连续地变化的大量第二单眼3D图像而作为视差连续地变化的3D动态画面显示的情况下较为有效。
[0255]<频率滤光>
[0256]在从上述第一实施方式到第三实施方式中，通过进行实际空间中的空间滤光，而根据原始的第一单眼3D图像的左眼图像100L、右眼图像100R生成期望的第二单眼3D图像的左眼图像120L、右眼图像120R，但是本发明不限于此。例如，也可以通过进行频率空间中的频率滤光，而根据原始的第一单眼3D图像的左眼图像100L、右眼图像100R生成期望的第二单眼3D图像的左眼图像120L、右眼图像120R。
[0257]如图21所示，将在第一单眼3D图像的左眼图像施加的第一半月滤光片设为?Υ(χ，y)，将对第一半月滤光片IY(x，y)进行傅里叶变换所得的滤光片设为IYf(?x，coy)。另一方面，将在第二单眼3D图像的左眼图像应施加的第三半月滤光片设为ΤΜ(χ，y)，将对第三半月滤光片--(Χ，y)进行傅里叶变换所得的滤光片设为?Υ?(ωχ，coy)。此时，对应视差AD的左眼图像的每个像素，利用下式算出与以滤光处理对象的像素(对象像素)为基准的预定区域的频率成分数Wy)在频率空间相乘的滤光片即转换为与第二单眼3D图像的左眼图像的所述预定区域对应的区域的频率成分数据的滤光片(以下，称作“频率滤光片’’)G ( ω χ，ω y)。
[0258][数学式6]
[0259]6(ωχ, ω y) = TLwf (ωχ, ω y).TLf (ωχ, ω y)
[0260]其中，TLf(cox，coy)的逆滤光片
[0261]对应于按照每个视差而存储的第一半月滤光片算出该频率滤光片(第一频率滤光片)。也同样地算出在第二单眼3D图像的右眼图像的频率空间中的转换中所使用的第二频率滤光片。
[0262]另外，当决定期望的第二单眼3D图像时，优选为预先根据视差算出与第一、第二半月滤光片组对应的第一、第二频率滤光片组。
[0263]使用如此算出的第一、第二频率滤光片组，在频率空间中将第一单眼3D图像的频率成分数据转换为第二单眼3D图像的频率成分数据。并且，将第二单眼3D图像的频率成分数据转换为实际空间上的数据。由此，对应第一单眼3D图像的像素间的每个视差生成使其视差量和模糊量两方联动地进行转换所得的第二单眼3D图像。
[0264]〈图像处理装置〉
[0265]接下来，对根据由摄像装置10拍摄到的原始的第一单眼3D图像或从存储卡54读出的原始的第一单眼3D图像生成期望的第二单眼3D图像的图像处理装置(主要相当于数字信号处理部24、CPU40、R0M47)进行说明。
[0266]以下所示的第四?第六实施方式是分别与前述的第一?第三实施方式对应的实施方式。相对于第一?第三实施方式主要进行实际空间中的空间滤光，第四?第六实施方式在进行频率空间中的频率滤光方面有所不同。
[0267][第四实施方式]
[0268]图22是表示本发明所涉及的图像处理装置的第四实施方式的主要部分框图。另夕卜，对与图15所示的第一实施方式共通的部分附加相同的附图标记而省略其详细的说明。
[0269]在图22中，摄像装置10的数字信号处理部24具有滤光处理部240_4。滤光处理部240 — 4具备傅里叶变换部271、272、相乘部273、274、逆傅里叶变换部275、276、频率滤光片计算部277及半月滤光片计算部248。
[0270]原始的第一单眼3D图像的左眼图像100L、右眼图像100R分别被加入到傅里叶变换部271、272。傅里叶变换部271、272分别对以左眼图像100L、右眼图像100R的对应的两个像素(滤光处理的两个对象像素)为基准的预定区域(例如，16X16像素的区域)进行提取。傅里叶变换部271、272对这些预定区域(Ujx，y),UE(x, y))进行傅里叶变换，分别转换为第一和第二频率成分数据(16X16的傅里叶系数)。这些第一和第二频率成分数据(Uw(cox，coy)、UKf(cox，Wy))分别被加入到相乘部 273、274。
[0271]在相乘部273、274的其他输入中加入由频率滤光片计算部277算出的第一频率滤光片&(ωχ，0^)、第二频率滤光片61；(03!￡，coy)。相乘部273、274分别对两输入进行相乘，从而算出第三和第四频率成分数据(Κωχ，coy)、VKf(?x，coy))。
[0272]S卩，相乘部273、274利用下式算出第三和第四频率成分数据(υωχ，coy)、
^Ef ( ω X，ω y))。
[0273][数学式7]
[0274]VLf (ωχ, ωγ) = ULf (ωχ, ω y).GL(cox，ω y)
[0275]VEj ( w χ, (x>( ^ x? ^ y).Gr(wx，(x>
[0276]上述那样算出的第三和第四频率成分数据是对使左眼图像100L、右眼图像100R的对应的两个像素的视差量和模糊量联动地进行变更所得的、包含期望的第二单眼3D图像的左眼图像120L、右眼图像120R的对应的两个像素的预定区域进行傅里叶变换所得的频率成分数据。
[0277]在此，频率滤光片计算部277从半月滤光片存储部270获取在与左眼图像100L、右眼图像100R的对应的两个像素的视差量对应的第一单眼3D图像施加的半月滤光片。频率滤光片计算部277从半月滤光片计算部248获取在第二单眼3D图像施加的设计出的半月滤光片。频率滤光片计算部277分别对如图21中说明那样获取的半月滤光片进行傅里叶变换。频率滤光片计算部277使用傅里叶变换所得的结果利用前述的[数学式6]，算出应在频率空间中相乘的频率滤光片GpGK。
[0278]另外，频率滤光片&、Ge由与第一和第二频率成分数据相同个数的傅里叶系数(16X16)构成。另外，优选为，频率滤光片计算部277对应每个视差AD算出第一、第二频率滤光片。优选为，所算出的每个视差AD的第一、第二频率滤光片(第一、第二转换滤光片组)暂时存储于未图示的内部存储器。
[0279]频率滤光片计算部277从视差映射130获取左眼图像100L的任意的对象像素和与该对象像素对应的右眼图像100R的对象像素的视差。频率滤光片计算部277从预先算出并存储的第一、第二频率滤光片组获取与该获取的视差对应的第一、第二频率滤光片，并将第一、第二频率滤光片分别输出到相乘部273、274。
[0280]逆傅里叶变换部275、276分别如下式所示对由相乘部273、274算出的第三和第四频率成分数据(\f(?x，?y), νΕ?(ωχ, coy))进行逆傅里叶变换，算出实际空间上的数据(VL(x, y), VE(x, y))。
[0281][数学式8]
[0282]VL(x, y) = F_1 (VLf (ωχ, ωγ))
[0283]VE(x, y) = F_1 (VEf (ωχ, coy))
[0284]由逆傅里叶变换部275、276在实际空间上转换所得的数据(Vjx，y) >VE(x, y))成为与由傅里叶变换部271、272进行傅里叶变换所得的预定区域(16X16像素)相同尺寸的图像。仅选择在实际空间上转换所得的数据('(X，y)，VK(X，y))中的与对象像素相同位置的像素，并将所选择的像素作为左眼图像120L、右眼图像120R的像素而输出。
[0285]并且，关于从上述的左眼图像100L、右眼图像100R向左眼图像120L、右眼图像120R的转换处理，以最初从图像上的位置(0，0)切下预定区域(16X16区域)而进行处理，接下来从位置(0，1)切下16X16区域而进行处理，接下来从(0，2)……的方式一个像素一个像素地对16X16区域进行扫描并且反复进行处理。由此，生成第二单眼3D图像的左眼图像120L、右眼图像120R。
[0286][第五实施方式]
[0287]图23是表示本发明所涉及的图像处理装置的第五实施方式的主要部分框图。
[0288]另外，在图23中，对与图22共通的部分附加相同的附图标记而省略其详细的说明。
[0289]在图23中，摄像装置10的数字信号处理部24具有滤光处理部240_5。滤光处理部240 — 5具备傅里叶变换部271、272、相乘部273、274、逆傅里叶变换部275、276及频率滤光片读出部280。
[0290]频率滤光片存储部476是对与由第四实施方式的频率滤光片计算部277算出的第一、第二频率滤光片组相同的第一、第二频率滤光片组进行存储的部分。频率滤光片存储部476与R0M47的一部分的存储部对应。优选为，该频率滤光片存储部476预先对多个种类(按照与能够由用户接口指定的向期望的第二单眼3D图像的转换特性对应的信息分类的多个种类)的第一、第二频率滤光片组进行存储。另外，能够利用与第四实施方式的频率滤光片计算部277相当的外部设备等算出这些第一、第二频率滤光片组，并将其算出结果存储于频率滤光片存储部476。
[0291]频率滤光片读出部280从频率滤光片存储部476读出适当的第一、第二频率滤光片GpGK，并分别输出到相乘部273、274。频率滤光片读出部280输入与由包含操作部38的用户接口所指示的向期望的第二单眼3D图像的转换特性对应的信息，并且从视差映射130输入视差。
[0292]频率滤光片读出部280基于与向期望的第二单眼3D图像的转换特性对应的信息，而从存储于频率滤光片存储部476的多个种类的第一、第二频率滤光片组决定所使用的第一、第二频率滤光片组。另一方面，频率滤光片读出部280从视差映射130获取左眼图像100L的任意的对象像素和与该对象像素对应的右眼图像100R的对象像素的视差。频率滤光片读出部280从所述决定的第一、第二频率滤光片组读出与该获取的视差对应的第一、第二频率滤光片。频率滤光片读出部280将所读出的第一、第二频率滤光片分别输出到相乘部 273、274。
[0293]根据第二实施方式，预先在频率滤光片存储部476存储多个种类的第一、第二频率滤光片组。因此，能够省略用于算出第一、第二频率滤光片组的运算处理，但是作为频率滤光片存储部476需要存储容量较大的存储器。
[0294][第六实施方式]
[0295]图24是表示本发明所涉及的图像处理装置的第六实施方式的主要部分框图。
[0296]另外，在图24中，对与图22共通的部分附加相同的附图标记而省略其详细的说明。
[0297]在图24中，摄像装置10的数字信号处理部24具有滤光处理部240_6。滤光处理部240 — 6具备傅里叶变换部271、272、第一相乘部291、292、第二相乘部293、294、逆傅里叶变换部275、276、逆滤光片读出部295、半月滤光片计算部248及傅里叶变换部296。
[0298]频率滤光片G如[数学式6]所示，具有IYf ( ω χ，ω y) -1.TLfff ( ω x，ω y)的频率空间的傅里叶系数。基于该频率滤光片的滤光处理可以分为基于IYf(cox，的相乘和基于ΤΜ?(ωχ, Qy)的相乘。
[0299]前者的IYf(?x，是第一半月滤光片的频率成分数据的逆滤光片。后者的T?f(cox，Wy)是第三半月滤光片的频率成分数据。
[0300]在第六实施方式中，对应左眼图像100L、右眼图像100R的对应的每个像素，进行乘以与视差对应的第一、第二半月滤光片的频率成分数据的第一、第二逆滤光片的第一运算。并且，对该运算结果进行乘以第三、第四半月滤光片的频率成分数据的第二运算。在第一运算中，生成在频率空间上消除了原始的第一单眼3D图像的视差和模糊所得的模糊消除图像。在第二运算中，对模糊消除图像乘以与从入射到摄影透镜12的光转换为期望的第二单眼3D图像的转换特性对应的、每个视差的第三、第四半月滤光片的频率成分数据，从而生成频率空间上的左眼图像120L、右眼图像120R。
[0301]逆滤光片存储部478是对能够从存储于半月滤光片存储部470的第一、第二半月滤光片组算出的频率成分数据的逆滤光片即第一、第二逆滤光片组进行存储的部分。逆滤光片存储部478与R0M47的一部分的存储部对应。能够根据第一、第二半月滤光片组利用外部设备等算出第一、第二逆滤光片组，并将其算出结果存储于逆滤光片存储部478。
[0302]逆滤光片读出部295从视差映射130获取左眼图像100L的任意的对象像素和与该对象像素对应的右眼图像100R的对象像素的视差。逆滤光片读出部295从逆滤光片存储部478读出作为与该获取的视差对应的第一、第二半月滤光片的频率成分数据的逆滤光片的第一、第二逆滤光片，分别输出到第一相乘部291、292。
[0303]第一相乘部291将以左眼图像100L的对象像素为基准的预定区域(例如16X 16像素)的频率成分数Wy)和第一逆滤光片IYf(?x，相乘。同样地，第一相乘部292将以与左眼图像100L的任意的像素对应的右眼图像100R的对应像素为基准的预定区域(例如16X16像素)的频率成分数据UKf(cox，Wy)和第二逆滤光片ΤΚ?(ωχ，ω》-1相乘。第一相乘部291、292分别将这些运算结果(在频率空间上消除了模糊等所得的模糊消除图像)输出到第二相乘部293、294。
[0304]傅里叶变换部296将由半月滤光片计算部248算出的第三、第四半月滤光片组中的与从视差映射130得到的当前的视差对应的实际空间域的第三、第四半月滤光片转换为频率空间的频率成分数据(TMf (ω χ，ω y)，TKWf (ω χ，ω y))。傅里叶变换部296分别将这些频率成分数据输出到第二相乘部293、294的其他输入。
[0305]第二相乘部293、294将两输入相乘，并将相乘结果分别输出到逆傅里叶变换部275、276。从第二相乘部293、294输出的相乘结果与第四实施方式的相乘部273、274同样成为第三和第四频率成分数据(Κωχ，ω^, νΕ?(ωχ, coy))。
[0306]根据第六实施方式，与第四实施方式相比不需要算出第一、第二频率滤光片组，因此能够实现运算处理的高速化。另外，虽然需要对第一、第二逆滤光片组进行存储，但是与需要对多个种类的第一、第二频率滤光片组进行存储的第五实施方式相比，能够减小逆滤光片存储部478的存储容量。
[0307]另外，由第一相乘部291、292算出的频率空间上的模糊消除图像相同。因此，优选为，仅使用左眼图像100L、右眼图像100R的任一方生成模糊消除图像，并将所生成的模糊消除图像分别输出到第二相乘部293、294。
[0308]<第一、第二半月滤光片的准确的把握>
[0309]在原始的单眼3D图像施加的第一、第二半月滤光片如图9A和图9B所示滤光片尺寸根据视差而不同，但除视差以外还依赖于各种参数。
[0310]在以下所示的实施方式中，对第一、第二半月滤光片准确地进行把握，并实现以此为基础而生成的期望的图像的画质的改善。
[0311][与像高对应的第一、第二半月滤光片]
[0312]如图25所示，半月滤光片的形状根据像高而不同。即，原始的单眼3D图像所施加的第一、第二半月滤光片关于像高零(图像中心)如果摄像元件的灵敏度特性左右对称，则如图9A和图9B所示成为左右对称。在光瞳分割方向上的像高较高的位置，第一、第二半月滤光片的左右对称性发生变化，第一、第二半月滤光片的形状例如成为由通过从圆的中心沿左右方向偏移的位置的直线将圆分割为两个所得的形状。
[0313]以下，对第一、第二半月滤光片因像高而发生变化的理由进行说明。
[0314]如图26A和图26B所示，画面中央的物体中的入射角和画面端部的物体中的入射角不同。例如，画面中央的物体中的入射角是一 15°?15°，与此相对画面端部的物体中的入射角为一 7°?23°。
[0315]由此，如图27所示，画面中央的物体中的左眼图像和右眼图像的入射角特性为左右对称，而画面端部的物体中的左眼图像和右眼图像的入射角特性不为左右对称。其结果为，画面中央(像高零)的物体中的第一、第二半月滤光片为左右对称，而画面端部(像高较高的位置)的物体中的第一、第二半月滤光片在形状上产生差异。
[0316]因此，优选为，预先求出与像高对应的第一、第二半月滤光片。并且，在从原始的第一单眼3D图像向期望的第二单眼3D图像转换时，使用与滤光处理的对象的像素的像高对应的第一、第二半月滤光片。
[0317]由此，能够消除由像高引起的图像的形状差异的影响，实现画质的改善。
[0318][与光圈的开口形状对应的第一、第二半月滤光片]
[0319]图28A和图28B表示由四片光圈叶片构成的透镜的光圈，图28C和图28D表示由六片光圈叶片构成的透镜的光圈。
[0320]图28A和图28C分别表不将透镜的光圈设为全开的开放光圈的状态，该光圈开口的形状为圆形。并且，当使图28A所示的透镜的光圈从开放光圈收缩时，如图28B所示光圈开口为四边形。当使图28C所示的透镜的光圈从开放光圈收缩时，如图28D所示光圈开口为六边形。
[0321]模糊的形状依赖于光圈的形状。在如开放光圈那样光圈开口是圆形的情况下，点像以圆形模糊，点像在左右被光瞳分割的单眼3D图像上以半月状模糊(参照图4)。
[0322]因此，优选为，第一、第二半月滤光片与拍摄单眼3D图像时的光圈的开口形状一致。即，在如图28A和图28C所示光圈开口的形状是圆形的情况下，第一、第二半月滤光片设为半月状。在如图28B所示光圈开口的形状为四边形的情况下，第一、第二半月滤光片设为三角形。在如图28D所示光圈开口的形状为六边形的情况下，成为将六边形左右分割成两部分所得的形状。
[0323]S卩，对应每个光圈级数来把握光圈的形状，第一、第二半月滤光片适用与拍摄单眼3D图像时的光圈的开口形状一致的滤光片。另外，透镜的光圈的开口形状不限于该实施方式，存在各种形状，有时也成为星型的光圈。
[0324]如此，通过使用与光圈的开口形状一致的第一、第二半月滤光片，能够消除由光圈的开口形状引起的图像的形状差异的影响，并实现画质的改善。
[0325][与三原色的颜色对应的第一、第二半月滤光片]
[0326]图29A是表示左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的χ方向的角度[° ]的灵敏度的一例的坐标图。图29Β是表示左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的y方向的角度[° ]的灵敏度的一例的坐标图。
[0327]左眼图像和右眼图像相对于χ方向的角度[° ]的灵敏度对应红(R)、绿(G)、蓝(B)这三原色的每种颜色而不同。
[0328]如图5A至图?中所说明的那样，根据左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的角度的灵敏度而求算第一、第二半月滤光片。由于对应RGB的每种颜色而灵敏度不同，因此优选为对应RGB的每种颜色求出第一、第二半月滤光片。
[0329]在数字信号处理部24(滤光处理部)中，对于原始的单眼3D图像，分别使用对应RGB的每种颜色而求出的第一、第二半月滤光片，对应RGB的每种颜色生成期望的单眼3D图像。上述RGB的每种颜色的滤光处理可以在与摄像元件16的滤色器排列对应的RGB数据(RAW数据)的阶段进行，也可以对去马赛克算法处理后的RGB数据进行。
[0330]由此，能够消除RGB的每种颜色的图像的形状差异的影响，实现画质的改善。
[0331]另外，在如上述那样对应RGB的每种颜色求出在原始的单眼3D图像施加的第一、第二半月滤光片的情况下，应在期望的单眼3D图像施加的第三、第四半月滤光片并非是将RGB的每种颜色的第一、第二半月滤光片放大为相似形所得的滤光片，优选设为RGB共用(例如G像素用)的第三、第四半月滤光片。
[0332]由此，能够对各色的重心偏移(视差)进行校正。此外，能够消除RGB的每种颜色的图像的形状差异的影响，实现画质的改善。
[0333][与色像差对应的图像处理]
[0334]透镜通常具有称作轴上色像差的像差。图30表示RGB的每种颜色的色像差的一例。
[0335]在是该色像差较大的透镜的情况下，当由RGB的特定的一种颜色或从RGB信号生成的亮度信号算出原始的单眼3D图像的视差AD时，同一距离上的被摄体的偏离对应每种颜色成为视差AD不同的结果。
[0336]因此，对应RGB的每种颜色把握视差Λ D，生成RGB的每种颜色的视差映射。在数字信号处理部24 (滤光处理部)中，对于原始的单眼3D图像，分别对应RGB的每种颜色信号进行处理。作为生成对视差进行放大的期望的单眼3D图像时使用的视差映射，使用对应每种颜色而生成的视差映射。并且，使用与RGB的每种颜色对应的视差映射而生成期望的单眼3D图像。
[0337]由此，能够在生成期望的单眼3D图像时消除RGB的每种颜色的色像差的影响，并实现画质的改善。
[0338]另外，优选为，在对于原始的单眼3D图像分别对应RGB的每种颜色信号进行处理时，如前述那样使用RGB的每种颜色的第一、第二半月滤光片。优选为，应在期望的单眼3D图像施加的第三、第四半月滤光片设为RGB共用(例如G像素用)的第三、第四半月滤光片。
[0339]作为摄像装置10的其他实施方式，例如能够列举出具有相机功能的手机、智能电话、PDA (Personal Digital Assistants:个人数字助理)、便携式游戏机。以下，以智能电话为例进行列举，并参照附图详细地进行说明。
[0340]<智能电话的结构>
[0341]图31是表示作为摄像装置10的其他实施方式的智能电话500的外观的图。图31所不的智能电话500具有平板状的壳体502,在壳体502的一面具备作为显不部的显不面板521和作为输入部的操作面板522成为一体的显不输入部520。另外，壳体502具备扬声器531、麦克风532、操作部540和相机部541。另外，壳体502的结构不限于此，例如，也能够采用显示部和输入部独立的结构，或采用具有折叠构造、滑动机构的结构。
[0342]图32是表示图31所示的智能电话500的结构的框图。如图32所示，智能电话500具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS (Global Posit1ning System:全球定位系统)接收部570、移动传感器部580、电源部590及主控制部501。另外，作为智能电话500的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
[0343]无线通信部510按照主控制部501的指示，对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
[0344]显示输入部520是通过主控制部501的控制对图像(静止图像和动态图像)、文字信息等进行显示而视觉地向用户传递信息并且对与所显示的信息对应的用户操作进行检测的所谓的触摸面板，具备显示面板521和操作面板522。优选为，在欣赏所生成的3D图像的情况下，显示面板521是3D显示面板。
[0345]显不面板521 是将 LCD (Liquid Crystal Display:液晶显不器)、OELD (OrganicElectro-Luminescence Display:有机发光显示器)等作为显示装置而使用的器件。操作面板522对显示面板521的显示面上所显示的图像以能够视觉确认的方式进行载置。操作面板522是对由用户的手指、尖笔所操作的一个或多个坐标进行检测的装置。当利用用户的手指、尖笔操作该装置时，操作面板522将因操作而产生的检测信号输出到主控制部501。接下来，主控制部501基于接收到的检测信号，对显示面板521上的操作位置(坐标)进行检测。
[0346]如图31所示，智能电话500的显示面板521和操作面板522成为一体而构成显示输入部520，操作面板522成为对显示面板521完全地进行覆盖那样的配置。在采用该配置的情况下，操作面板522也可以具备对于显示面板521以外的区域也对用户操作进行检测的功能。换言之，操作面板522也可以具备与显示面板521重合的重叠部分有关的检测区域(以下，称作显示区域)和除此以外的不与显示面板521重合的外边缘部分有关的检测区域(以下，称作非显示区域)。
[0347]另外，虽然也可以使显示区域的大小和显示面板521的大小完全一致，但是没有必要必须使两者一致。另外，操作面板522也可以具备外边缘部分和除此以外的内侧部分这两个感应区域。此外，根据壳体502的大小等而适当设计外边缘部分的宽度。此外，另外，作为由操作面板522所采用的位置检测方式，能够列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等，也能够采用其中任一方式。
[0348]通话部530具备扬声器531和麦克风532。通话部530将通过麦克风532而输入的用户的声音转换为能够由主控制部501处理的声音数据而输出到主控制部501，或对由无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。另外，如图31所示，例如，能够将扬声器531搭载在与设有显示输入部520的面相同的面，并将麦克风532搭载在壳体502的侧面。
[0349]操作部540是使用键开关等的硬件键，接受来自用户的指示。例如，如图32所示，操作部540搭载在智能电话500的壳体502的显示部的下部、下侧面。操作部540是当利用手指等按下时成为接通且当手指离开时通过弹簧等的恢复力而成为断开状态那样的按压按钮式的开关。
[0350]存储部550对如下内容进行存储:主控制部501的控制程序、控制数据；包含用于生成本发明所涉及的将视差缩放所得的期望的单眼3D图像的图像处理程序的应用软件；第一、第二半月滤光片组；第一、第二转换滤光片组；第一、第二频率滤光片组;第一、第二逆滤光片组(实际空间和频率空间上的逆滤光片组)；与通信对方的名称、电话号码等建立了对应的地址数据；所收发的电子邮件的数据；利用Web浏览下载的Web数据；及所下载的内容数据，并且对流数据等暂时性地进行存储。另外，存储部550由智能电话500的内置的内部存储部551和具有装卸自如的外部存储器插槽的外部存储部552构成。另外，构成存储部550的各个内部存储部551和外部存储部552能够使用闪存型(flash memory type)、硬盘型(hard disk type)、缩微多媒体卡型(multimedia card micro type)、卡型的存储器(例如 Micro SD (注册商标)存储器等)、RAM (Random Access Memory)、ROM (Read onlyMemory)等存储介质而实现。
[0351]外部输入输出部560起到与连接于智能电话500的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)，IEEE1394等)或网络(例如互联网、无线LAN、蓝牙(Bluetooth (注册商标))、RFID (Rad1 Frequency Identificat1n:无线射频识别)、红外线通信(Infrared Data Associat1n:IrDA)(注册商标)，UWB (Ultra Wideband:超宽带)(注册商标)，紫蜂(ZigBee)(注册商标)等)与其他外部设备直接或间接地连接。
[0352]作为与智能电话500连接的外部设备，例如能够列举出:有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM (Subscriber Identity Module Card)/UIM (User Identity Module Card)卡、经由音频/视频l/0(lnput/0utput)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能电话、有/无线连接的个人计算机、有/无线连接的roA、有/无线连接的个人计算机、耳机等。外部输入输出部560能够将从这种外部设备接受了传送后的数据传递到智能电话500的内部的各结构要素，并能够将智能电话500的内部的数据传送到外部设备。
[0353]GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1?STn发送的GPS信号，执行基于接收到的多个GPS信号的测位运算处理，对该智能电话500的由纬度、经度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部输入输出部560 (例如无线LAN)获取位置信息时，也能够使用该位置信息对位置进行检测。
[0354]移动传感器部580例如具备三轴加速度传感器等。移动传感器部580按照主控制部501的指示，对智能电话500的物理性的移动进行检测。通过对智能电话500的物理性的移动进行检测来检测智能电话500的移动方向、加速度。将该检测结果输出到主控制部501。
[0355]电源部590按照主控制部501的指示向智能电话500的各部供给蓄积于蓄电池(未图示的)的电力。
[0356]主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，对智能电话500的各部集中地进行控制。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。
[0357]按照存储部550所存储的应用软件使主控制部501动作，从而实现应用处理功能。作为应用处理功能，例如具有对外部输入输出部560进行控制而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能和本发明所涉及的根据2D图像生成3D图像的功能等。
[0358]另外，主控制部501具备基于接收数据、所下载的流数据等图像数据(静止图像、动态图像的数据)而将影像在显示输入部520显示等的图像处理功能。所谓图像处理功能是指主控制部501对上述图像数据进行解码，对该解码结果实施图像处理而将图像在显示输入部520上显示的功能。
[0359]此外，主控制部501执行对显示面板521的显示控制和对通过了操作部540、操作面板522的用户操作进行检测的操作检测控制。
[0360]通过显示控制的执行，主控制部501显示用于起动应用软件的图标、滚动条等软件键，或显示用于生成电子邮件的窗口。另外，所谓滚动条，是指对于没有完全收纳到显示面板521的显示区域的较大的图像等用于接受使图像的显示部分移动的指示的软件键。
[0361]另外，通过操作检测控制的执行，主控制部501对经由操作部540的用户操作进行检测，或者经由操作面板522接受对上述图标的操作、对上述窗口的输入栏的字符串的输入，或者接受经由滚动条的显示图像的滚动要求。
[0362]此外，通过操作检测控制的执行，主控制部501具备判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外边缘部分(非显示区域)，并对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
[0363]另外，主控制部501检测对操作面板522的手势操作，根据检测出的手势操作，也能够执行预先设定的功能。所谓手势操作并非以往的单纯的触摸操作，而是指利用手指等描绘轨迹、或对多个位置同时进行指定、或将它们组合而从多个位置对至少一个位置描绘轨迹的操作。
[0364]相机部541 是使用 CMOS (Complementary Metal Oxide Semiconductor:互补性金属氧化物半导体)、CCD (Charge-Coupled Device:电荷稱合器件)等摄像元件进行电子摄影的数码相机，具备与图3的框图所示的功能同等的功能。另外，相机部541能够通过主控制部501的控制,将通过摄像所得到的图像数据转换为例如JPEG(Joint Photographiccoding Experts Group:联合图像专家小组)等压缩后的图像数据并记录于存储部550,或经由外部输入输出部560、无线通信部510而输出。在图31所示的智能电话500中，将相机部541搭载于与显示输入部520相同的面，但是相机部541的安装位置不限于此。也可以将相机部541搭载于显不输入部520的背面,或者搭载多个相机部541。另外，在搭载多个相机部541的情况下，也能够通过对提供摄影的相机部541进行切换而单独地进行摄影，或同时使用多个相机部541进行摄影。
[0365]另外，相机部541能够利用于智能电话500的各种功能。例如，能够在显示面板521上显示由相机部541获取的图像或作为操作面板522的操作输入之一而利用相机部541的图像。另外，在GPS接收部570对位置进行检测时，也能够对来自相机部541的图像进行参照而对位置进行检测。此外，也能够对来自相机部541的图像进行参照，不使用三轴加速度传感器，或者与三轴加速度传感器并用，而判断智能电话500的相机部541的光轴方向、判断当前的使用环境。不言而喻，也能够在应用软件内利用来自相机部541的图像。
[0366]除此之外，也能够在静止画面或动态画面的图像数据上附加由GPS接收部570获取的位置信息、由麦克风532获取的声音信息(也可以利用主控制部501等进行声音文本转换而成为文本信息)、由移动传感器部580获取的姿势信息等而记录于存储部550，或者也能够通过外部输入输出部560、无线通信部510而输出。
[0367][其他]
[0368]本发明不限于根据原始的单眼3D图像的静止画面生成期望的3D的静止画面的情况，也能够适用于根据单眼3D图像的动态画面生成期望的3D的动态画面的情况。
[0369]另外，摄像装置10、智能电话500包含对2D图像、单眼3D图像进行摄像并且根据实际拍摄到的原始的单眼3D图像生成期望的3D图像的本发明所涉及的图像处理装置，但是本发明不限于此。本发明也能够适用于通过外部设备、通信而获取原始的单眼3D图像并根据所获取的单眼3D图像生成期望的3D图像的图像处理装置(例如个人计算机、平板个人计算机等)。在该情况下，需要另行获取在原始的单眼3D图像上施加的第一、第二半月滤光片组的信息等。
[0370]此外，本发明不限于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种变形，这是不言自明的。
[0371]附图标记说明
[0372]10…摄像装置，12…摄影透镜，14…光圈，16…摄像元件，24…数字信号处理部，30...3D 液晶监视器，40...中央处理装置(CPU)，47...ROM (EEPROM)，48...存储器，100L、120L…左眼图像，100R、120R…右眼图像，130…视差映射，240 — 4?240 — 6…滤光处理部，248…半月滤光片计算部，271、272、296…傅里叶变换部，273、274…相乘部，275、276…逆傅里叶变换部，277…频率滤光片计算部，280…频率滤光片读出部，291、292…第一运算部，293、294…第二运算部，295…逆滤光片读出部，470…半月滤光片存储部，476…频率滤光片存储部，478…逆滤光片存储部，500…智能电话
【权利要求】
1.一种图像处理装置，具备: 图像获取单元，获取经由单一的摄影光学系统而被摄像并由光瞳分割单元进行了光瞳分割的彼此具有视差的第一图像和第二图像； 视差获取单元，获取所取得的所述第一图像和第二图像的对应的像素间的视差； 第一数据转换单元，对应所取得的所述第一图像的图像数据和第二图像的图像数据的处理的每个对象像素，将以该对象像素为基准的预定区域分别转换为第一频率成分数据和第二频率成分数据； 运算处理单元，对应所取得的所述第一图像和第二图像的每个频率成分数据，使用与由所述视差获取单元取得的所述对象像素的视差对应的第一频率滤光片和第二频率滤光片进行相乘处理，所述第一频率滤光片和第二频率滤光片是用于对转换后的所述第一频率成分数据和第二频率成分数据分别在频率空间进行转换而分别转换为将所取得的所述第一图像和第二图像具有的视差量和模糊量进行了变更的第三图像和第四图像的第一频率滤光片组和第二频率滤光片组；及 第二数据转换单元，将由所述运算处理单元算出的所述第三图像和第四图像分别所对应的第三频率成分数据和第四频率成分数据转换为实际空间上的数据，选择与所述对象像素对应的位置的像素分别作为所述第三图像和第四图像的一个像素。
2.根据权利要求1所述的图像处理装置，其中， 所述运算处理单元使用由所述视差获取单元取得的所述对象像素的视差越大则使模糊量越大的第一频率滤光片和第二频率滤光片。
3.根据权利要求1或2所述的图像处理装置，其中，具备: 数字滤光片存储单元，对与从入射到所述单一的摄影光学系统的光到转换为所述第一图像和第二图像的转换特性分别对应的、每个视差的第一数字滤光片组和第二数字滤光片组进行存储；及 频率滤光片计算单元，基于所存储的所述第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组，算出所述第一频率滤光片组和第二频率滤光片组， 所述运算处理单元对应所取得的所述第一图像和第二图像的每个像素，基于由所述视差获取单元取得的该像素的视差，从所算出的所述第一频率滤光片组和第二频率滤光片组分别选择与视差对应的第一频率滤光片和第二频率滤光片，使用所选择的第一频率滤光片和第二频率滤光片进行相乘处理。
4.根据权利要求3所述的图像处理装置，其中， 当将存储于所述数字滤光片存储单元的第一数字滤光片组和第二数字滤光片组中的任一数字滤光片设为T(x，y)，将对该数字滤光片T(x，y)进行傅里叶变换所得的数字滤光片设为Tf(?x，coy)，将所述第三数字滤光片组和第四数字滤光片组中的与所述数字滤光片T(x，y)对应的数字滤光片设为Tw (X，y)，将对该数字滤光片Tw (X，y)进行傅里叶变换所得的数字滤光片设为Twf(?x，COy)时，所述频率滤光片计算单元利用下式:G(?x，coy)=Twf (ωχ，coy).Tf(cox，GJyK1来算出所述第一频率滤光片和第二频率滤光片G(cox，《y)。
5.根据权利要求3或4所述的图像处理装置，其中，具备: 指定单元，指定向应转换的所述第三图像和第四图像的转换特性；及 数字滤光片计算单元，算出与所指定的所述转换特性对应的第三数字滤光片组和第四数字滤光片组， 所述频率滤光片计算单元使用存储于所述数字滤光片存储单元的第一数字滤光片组和第二数字滤光片组及由所述数字滤光片计算单元算出的第三数字滤光片组和第四数字滤光片组而算出所述第一频率滤光片组和第二频率滤光片组。
6.根据权利要求1或2所述的图像处理装置，其中， 具备频率滤光片存储单元，对基于与从入射到所述单一的摄影光学系统的光到转换为所述第一图像和第二图像的转换特性分别对应的、每个视差的第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组而算出的每个视差的所述第一频率滤光片组和第二频率滤光片组进行存储， 所述运算处理单元对应所取得的所述第一图像和第二图像的每个像素，基于由所述视差获取单元取得的该像素的视差，从所存储的所述第一频率滤光片组和第二频率滤光片组读出与视差对应的第一频率滤光片和第二频率滤光片，使用所读出的第一频率滤光片和第二频率滤光片进行相乘处理。
7.根据权利要求6所述的图像处理装置，其中， 当将所述第一数字滤光片组和第二数字滤光片组中的任一数字滤光片设为T (X，y)，将对该数字滤光片T(x，y)进行傅里叶变换所得的数字滤光片设为Tf(ωχ，coy)，将所述第三数字滤光片组和第四数字滤光片组中的与所述数字滤光片T(x，y)对应的数字滤光片设为Tw(X，y)，将对该数字滤光片Tw(X，y)进行傅里叶变换所得的数字滤光片设为Twf(?x，coy)时，所述频率滤光片存储单元对由下式:G(cox，(Oy) = Twf(ωχ, (Oy).Tf(ωχ, ω)-1算出的第一频率滤光片和第二频率滤光片G(cox，(Oy)进行存储。
8.根据权利要求6或7所述的图像处理装置，其中， 具备指定单元，指定向应转换的所述第三图像和第四图像的转换特性， 所述频率滤光片存储单元对基于与从入射到所述单一的摄影光学系统的光到转换为所述第一图像和第二图像的转换特性对应的、每个视差的第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像的转换特性对应的、每个视差的第三数字滤光片组和第四数字滤光片组即与能够由所述指定单元指定的多个转换特性对应的述第三数字滤光片组和第四数字滤光片组而算出的每个转换特性的第一频率滤光片组和第二频率滤光片组进行存储， 所述运算处理单元从所述频率滤光片存储单元读出并使用与由所述指定单元指定的转换特性对应的第一频率滤光片组和第二频率滤光片组。
9.根据权利要求1或2所述的图像处理装置，其中， 具备逆滤光片存储单元，对与从入射到所述单一的摄影光学系统的光到转换为所述第一图像或第二图像的转换特性分别对应的、每个视差的第一数字滤光片组或第二数字滤光片组的频率成分数据的逆滤光片即第一逆滤光片组和第二逆滤光片组进行存储， 所述运算处理单元使用所存储的所述第一逆滤光片组和第二逆滤光片组及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组的频率成分数据即第三频率滤光片组和第四频率滤光片组作为所述第一频率滤光片组和第二频率滤光片组。
10.根据权利要求9所述的图像处理装置，其中，具备: 指定单元，指定向应转换的所述第三图像和第四图像的转换特性；及 数字滤光片计算单元，算出与所指定的所述转换特性对应的第三数字滤光片组和第四数字滤光片组， 所述运算处理单元使用由所述数字滤光片计算单元算出的第三数字滤光片组和第四数字滤光片组。
11.根据权利要求5、8、10中任一项所述的图像处理装置，其中， 由所述指定单元指定的向第三图像和第四图像的转换特性是与所述第一图像和第二图像不同的摄影光学系统的焦距、光圈值、摄像元件的尺寸和灵敏度特性中的至少一个。
12.根据权利要求5、8、10、11中任一项所述的图像处理装置，其中， 所述第三数字滤光片组和第四数字滤光片组是对所述第一数字滤光片组和第二数字滤光片组相似形地进行缩放而得到的。
13.根据权利要求3?12中任一项所述的图像处理装置，其中， 所述第三数字滤光片组和第四数字滤光片组分别是圆形且具有点对称的滤光系数的数字滤光片组。
14.根据权利要求9所述的图像处理装置，其中， 所述运算处理单元在获取多个转换特性的第三图像和第四图像时，对应所取得的所述第一图像或第二图像的每个像素，进行乘以与该每个像素的视差对应的第一数字滤光片或第二数字滤光片的频率成分数据的逆滤光片的第一运算，并对该第一运算的结果乘以分别与多个转换特性的第三图像和第四图像对应的第三数字滤光片和第四数字滤光片的频率成分数据。
15.根据权利要求3?14中任一项所述的图像处理装置，其中， 所述第一数字滤光片组和第二数字滤光片组使用关于图像的中心而彼此左右对称且左右对称性根据光瞳分割方向的像高而变化的数字滤光片组。
16.根据权利要求3?15中任一项所述的图像处理装置，其中， 所述第一数字滤光片组和第二数字滤光片组使用具有将获取所述第一图像和第二图像时的、所述摄影光学系统所含的光圈的开口形状进行了分割的形状的数字滤光片组。
17.根据权利要求3?16中任一项所述的图像处理装置，其中， 所述第一图像和第二图像是从彩色摄像元件输出的三原色的彩色图像， 所述第一数字滤光片组和第二数字滤光片组使用与所述彩色摄像元件的每色的灵敏度特性对应而每色不同的数字滤光片组。
18.根据权利要求17所述的图像处理装置，其中， 所述第三数字滤光片组和第四数字滤光片组使用与三原色的彩色图像中的特定的颜色对应的数字滤光片组。
19.根据权利要求1?18中任一项所述的图像处理装置，其中， 所述第一图像和第二图像是从彩色摄像元件输出的三原色的彩色图像， 所述视差获取单元对应每色算出所取得的所述第一图像和第二图像的对应的像素间的视差， 所述运算处理单元对应每色进行对所取得的所述第一图像和第二图像的运算处理。
20.一种摄像装置，具备: 单一的摄影光学系统； 摄像元件，是对通过了所述摄影光学系统的不同的第一、第二区域的被摄体像进行光瞳分割而分别成像的摄像元件，对通过了所述第一、第二区域的被摄体像分别进行光电转换而输出第一图像和第二图像； 所述图像获取单元，获取从所述摄像元件输出的第一图像和第二图像；及 权利要求1?19中任一项所述的图像处理装置。
21.—种图像处理方法，包括: 图像获取工序，获取经由单一的摄影光学系统而被摄像并由光瞳分割单元进行了光瞳分割的彼此具有视差的第一图像和第二图像； 视差获取工序，获取所取得的所述第一图像和第二图像的对应的像素间的视差； 第一数据转换工序，对应所取得的所述第一图像的图像数据和第二图像的图像数据的处理的每个对象像素，将以该对象像素为基准的预定区域分别转换为第一频率成分数据和第二频率成分数据； 运算处理工序，对应所取得的所述第一图像和第二图像的每个频率成分数据，使用与由所述视差获取工序取得的所述对象像素的视差对应的第一频率滤光片和第二频率滤光片进行相乘处理，所述第一频率滤光片和第二频率滤光片是用于对转换后的所述第一频率成分数据和第二频率成分数据分别在频率空间进行转换而分别转换为将所取得的所述第一图像和第二图像具有的视差量和模糊量进行了变更所得的第三图像和第四图像的第一频率滤光片组和第二频率滤光片组；及 第二数据转换工序，将与由所述运算处理工序算出的所述第三图像和第四图像分别对应的第三频率成分数据和第四频率成分数据转换为实际空间上的数据，并选择与所述对象像素对应的位置的像素分别作为所述第三图像和第四图像的一个像素， 将所述对象像素的位置错开并一个像素一个像素地重复执行所述第一数据转换工序、所述运算处理工序和所述第二数据转换工序。
22.根据权利要求21所述的图像处理方法，其中，还包括: 准备数字滤光片存储单元的工序，所述数字滤光片存储单元对与从入射到所述单一的摄影光学系统的光到转换为所述第一图像和第二图像的转换特性分别对应的、每个视差的第一数字滤光片组和第二数字滤光片组进行存储；及 频率滤光片计算工序，基于所存储的所述第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组，算出所述第一频率滤光片组和第二频率滤光片组， 所述运算处理工序对应所取得的所述第一图像和第二图像的每个像素，基于由所述视差获取工序取得的该像素的视差，从所算出的所述第一频率滤光片组和第二频率滤光片组分别选择与视差对应的第一频率滤光片和第二频率滤光片，并使用所选择的第一频率滤光片和第二频率滤光片进行相乘处理。
23.根据权利要求21所述的图像处理方法，其中， 还包括准备频率滤光片存储单元的工序，所述频率滤光片存储单元对基于与从入射到所述单一的摄影光学系统的光到转换为所述第一图像和第二图像的转换特性分别对应的、每个视差的第一数字滤光片组和第二数字滤光片组及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组而算出的每个视差的所述第一频率滤光片组和第二频率滤光片组进行存储， 所述运算处理工序对应所取得的所述第一图像和第二图像的每个像素，基于由所述视差获取工序取得的该像素的视差，从所存储的所述第一频率滤光片组和第二频率滤光片组读出与视差对应的第一频率滤光片和第二频率滤光片，并使用所读出的第一频率滤光片和第二频率滤光片进行相乘处理。
24.根据权利要求21所述的图像处理方法，其中， 还包括准备逆滤光片存储单元的工序，所述逆滤光片存储单元对与从入射到所述单一的摄影光学系统的光到转换为所述第一图像或第二图像的转换特性分别对应的、每个视差的第一数字滤光片组或第二数字滤光片组的频率成分数据的逆滤光片组即第一逆滤光片组和第二逆滤光片组进行存储， 所述运算处理工序使用所存储的所述逆滤光片组及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像的转换特性分别对应的、每个视差的第三数字滤光片组和第四数字滤光片组的频率成分数据即第三频率滤光片组和第四频率滤光片组作为所述第一频率滤光片组和第二频率滤光片组。
【文档编号】H04N5/225GK104272732SQ201380024513
【公开日】2015年1月7日 申请日期:2013年5月2日 优先权日:2012年5月9日
【发明者】青木贵嗣, 井泽克俊 申请人:富士胶片株式会社