图像处理装置及方法以及摄像装置制造方法

图像处理装置及方法以及摄像装置制造方法
【专利摘要】本发明取得实施视差赋予及模糊处理的2D图像(100)和视差图(110)。另一方面，生成用于预先对图像赋予视差的、相互具有左右对称性的第一数字滤光片组及第二数字滤光片组即滤光片尺寸根据所赋予的视差大小而不同的左眼用及右眼用的数字滤光片组，并存储于存储单元。在根据2D图像生成3D图像(左眼图像(120)、右眼图像(130))时，对2D图像的每个像素读出与该像素的位置的视差图上的视差对应的左眼用及右眼用的数字滤光片，并由所读出的左眼用及右眼用的数字滤光片进行滤光处理，算出左眼用的像素及右眼用的像素。
【专利说明】图像处理装置及方法以及摄像装置

【技术领域】
[0001]本发明涉及图像处理装置及方法以及摄像装置，特别是涉及根据二维图像来生成立体视用的图像的技术。

【背景技术】
[0002]以往，作为将二维图像进行三维图像化的技术，已知有专利文献1、2及3所记载的技术。
[0003]作为在左右眼中显示同一影像且利用了所谓的单眼立体视的原理的光学装置，已知有称为synopter的立体视镜。专利文献I所记载的技术方案在利用该单眼立体视的原理来显示从2D转换成3D的图像时，为了抑制在画面端部的由缺损区域、无效区域引起的显示质量的降低，对二维图像的输入图像附加掩模。
[0004]专利文献2所记载的方法中，从利用背景图像、由比背景图像靠近前的人物图像等构成的近前图像构成的二维图像提取近前图像，根据视差、远近感而使近前图像沿水平方向移动，另外，对移动后的近前图像进行放大，将近前图像和背景图像合成，以填补由于近前图像的移动而产生的无图像信息区域。
[0005]另外，专利文献3所记载的方法中，将二维输入的帧分类成平坦图像类及非平坦图像类中的一类，将平坦图像类的帧直接转换成3D立体图像，并基于复杂度来自动且适应地对分类作非平坦图像类的帧进一步进行处理而生成进深映射，使用进深映射而转换成3D立体图像。
[0006]另一方面，已知有如从近距离拍摄了模型那样加工通常拍摄到的风景照片的所谓的“缩微照片化”技术(专利文献4)。在通常拍摄到的风景照片等中，对关注区域以外的区域实施模糊处理，从而生成缩微型照片(专利文献4的图11、图12)。
[0007]而且，已知有如下的单眼3D摄像装置，即，利用将通过了单一摄影镜头的左右方向不同的区域的被摄体图像进行光瞳分割而分别成像的相位差CCD，将通过了各区域的被摄体图像分别进行光电转换，并根据离焦量来取得相互具有相位差的左眼图像及右眼图像(单眼3D图像)(专利文献5)。
[0008]专利文献1:日本特开2011-164202号公报
[0009]专利文献2:日本特开平07-182533号公报
[0010]专利文献3:日本特开2010-515303号公报
[0011]专利文献4:日本特开2011-120143号公报
[0012]专利文献5:日本特开2011-199502号公报


【发明内容】

[0013]发明所要解决的课题
[0014]专利文献I所记载的单眼立体视的原理是将单一图像以成为平行视线的方式分配给两眼的原理，不是专利文献5所记载的那样的根据离焦量来生成相互具有相位差的单眼3D图像的原理。
[0015]专利文献2、3所记载的技术方案由于在赋予视差时不进行模糊处理，因此，存在在欣赏3D图像时眼睛易于疲劳的问题。
[0016]专利文献4所记载的技术方案能够利用通常拍摄到的风景照片等来生成缩微型照片，但不能生成作3D图像。
[0017]作为由专利文献5所记载的单眼3D图像装置拍摄的单眼3D图像的优点之一，列举即使摘下3D专用眼镜并利用3D电视进行欣赏也几乎不会产生重影。但是，存在如果不是专用的单眼3D摄像装置就不能得到单眼3D图像的问题。
[0018]本发明是鉴于这样的情况而作出的，其目的在于，提供能够以简单的结构对二维图像赋予视差处理及模糊处理且能够生成即使摘下3D专用眼镜进行欣赏也几乎不会产生重影的立体视用的图像的图像处理装置及方法以及摄像装置。
[0019]用于解决课题的方案
[0020]为了实现上述目的，本发明的一方式的图像处理装置具备:图像获取单元，取得图像；视差信息获取单元，对取得的图像的每个像素取得对该像素赋予的视差信息；及计算单元，基于用于对取得的图像赋予视差的、相互具有左右对称性的第一数字滤光片组及第二数字滤光片组即滤光片尺寸根据所赋予的视差的大小而不同的第一数字滤光片组及第二数字滤光片组和由视差信息获取单元取得的每个像素的视差信息，通过由与取得的图像的每个像素的视差信息对应的第一数字滤光片及第二数字滤光片进行滤光处理，来对取得的图像的每个像素算出赋予了视差的第一像素及第二像素。
[0021]根据本发明的一方式，准备用于对图像(二维图像)赋予视差的、相互具有左右对称性的第一数字滤光片组及第二数字滤光片组即滤光片尺寸至少根据所赋予的视差大小而变大的第一数字滤光片组及第二数字滤光片组。而且，对赋予视差的图像的每个像素，通过使用与对该像素赋予的视差对应的第一数字滤光片及第二数字滤光片进行滤光处理，而能够同时进行赋予视差的处理和模糊处理。此外，对于视差与零对应的像素，不进行视差赋予及模糊处理，另外，随着视差变大，第一、第二数字滤光片的滤光片尺寸变大，因此，对像素赋予的视差变大，且模糊量也变大。如此进行了视差的赋予和模糊处理后的立体视用的图像通过显示于3D显示屏而能够立体视，另外，随着视差变大，模糊量也变大，因此，成为不易使眼睛疲劳的自然的立体图像。
[0022]在本发明的另一方式的图像处理装置中，优选第一数字滤光片组及第二数字滤光片组在图像的中心部和周边部左右对称性不同。
[0023]在本发明的又一方式的图像处理装置中，优选具备取得视差图的视差图获取单元，该视差图表示对取得的图像赋予的视差，视差信息获取单元对取得的图像的每个像素从视差图取得与像素的位置对应的视差信息。
[0024]在本发明的又一方式的图像处理装置中，优选第一数字滤光片组及第二数字滤光片组基于单一摄像元件的、与入射角度对应的灵敏度特性来进行计算，所述单一摄像元件由对通过了单一摄影光学系统的光束进行光瞳分割而分别受光的第一像素组及第二像素组构成。
[0025]在本发明的又一方式的图像处理装置中，优选第一数字滤光片组及第二数字滤光片组具有将由计算单元进行滤光处理后的赋予了视差的第一图像和第二图像相加而成的图像不会重影的滤光系数。由此，能够将显示于3D显示屏的立体视用的图像作为即使摘下3D专用眼镜进行欣赏也几乎不会产生重影的二维图像进行欣赏。
[0026]在本发明的又一方式的图像处理装置中，优选第一数字滤光片组及第二数字滤光片组分别具有标准化后的滤光系数。由此，能够避免滤光处理后的图像亮度变化。
[0027]在本发明的又一方式的图像处理装置中，具备存储预先根据图像上的位置而进行了定义的视差图的视差图存储单元，视差图获取单元从视差图存储单元取得视差图。由此，即使是不具有视差图的图像，也能够应用预先定义的视差图来生成立体视用的图像。例如，能够定义越靠赋予视差的图像的下方则飞出方向上的视差就越大的视差，且定义越靠上方则进深方向上的视差就越大的视差。另外，通过定义使赋予视差的图像的特定区域的视差减小且使特定区域以外的视差增大(模糊量也增大)的视差，能够生成3D缩微型照片。
[0028]在本发明的又一方式的图像处理装置中，优选具备取得表示赋予视差的图像的上下方向的信息的单元，视差图获取单元在从视差图存储单元取得视差图时，基于取得的表示图像的上下方向的信息来取得对应的视差图。由此，即使赋予视差的图像是横向拍摄或纵向拍摄的图像，也能够赋予适当的视差。
[0029]本发明的又一方式的摄像装置具备:摄像单元，包括摄影光学系统和经由该摄影光学系统来成像被摄体图像的摄像元件；图像获取单元，取得从摄像单元输出的图像；及上述的图像处理装置。
[0030]在本发明的又一方式的摄像装置中，具备对由摄像单元拍摄图像时拍摄到的图像的多个区域的每个区域或每个像素取得距离信息的距离信息获取单元，视差信息获取单元基于取得的距离信息来取得拍摄到的图像的视差信息。作为距离信息获取单元，只要能够进行多点测距，则可以是任意单元。
[0031]在本发明的又一方式的摄像装置中，具有对由摄像单元拍摄到的图像的多个区域的每个区域或每个像素检测相位差的相位差检测单元，视差信息获取单元基于由相位差检测单元检测出的相位差来取得拍摄到的图像的视差信息。
[0032]在本发明的又一方式的摄像装置中，还具备与摄像单元不同且由摄影光学系统及摄像元件构成的另一摄像单元，视差信息获取单元基于由两个摄像单元拍摄到的两个图像来取得拍摄到的图像的视差信息。
[0033]本发明的又一方式的图像处理方法包括:图像获取工序，取得图像；视差信息获取工序，对取得的图像的每个像素取得对该像素赋予的视差信息；及计算工序，基于用于对取得的图像赋予视差的、用于对图像赋予视差的、相互具有左右对称性的第一数字滤光片组及第二数字滤光片组即滤光片尺寸至少根据所赋予的视差的大小而变大的第一数字滤光片组及第二数字滤光片组和由视差信息获取工序取得的每个像素的视差信息，通过由与取得的图像的每个像素的视差信息对应的第一数字滤光片及第二数字滤光片进行滤光处理，来对取得的图像的每个像素算出赋予了视差的第一像素及第二像素。
[0034]发明效果
[0035]根据本发明，准备用于对图像(二维图像)赋予视差的、相互具有左右对称性的第一数字滤光片组及第二数字滤光片组即滤光片尺寸根据所赋予的视差大小而变大的第一数字滤光片组及第二数字滤光片组，对赋予视差的图像的每个像素，使用适当的第一数字滤光片及第二数字滤光片来进行滤光处理，因此，能够同时进行赋予视差的处理和模糊处理。如此进行了视差赋予和模糊处理后的立体视用的图像通过显示于3D显示屏而能够立体视，另外，随着视差变大，模糊量也变大，因此，成为不易使眼睛疲劳的自然的立体图像。而且，即使摘下3D专用眼镜进行欣赏，显示于3D显示屏的立体视用的图像也几乎不会产生重影。

【专利附图】

【附图说明】
[0036]图1是表示本发明的摄像装置的实施方式的立体图；
[0037]图2是图1所示的摄像装置的后视图；
[0038]图3是表示图1所示的摄像装置的内部结构的实施方式的框图；
[0039]图4是表示根据2D图像生成3D图像的图像处理方法的概念图；
[0040]图5是表示与所赋予的视差对应地应用的左右半月滤光片的图；
[0041]图6是用于说明由通常的摄像元件拍摄的图像和由单眼3D用的摄像元件拍摄的左眼图像及右眼图像的图；
[0042]图7是表示单眼3D用的摄像元件的灵敏度特性和与该灵敏度特性对应地生成的半月滤光片的图；
[0043]图8是用于说明半月滤光片的生成方法的图；
[0044]图9是表示图8的主要部分放大图和半月滤光片的图；
[0045]图10是图8的主要部分放大图，是表示摄像元件上的坐标和入射角的关系的图；
[0046]图11是用于说明与画面内的位置对应的入射角特性的差异的图；
[0047]图12是表示由图11所示的入射角特性的差异引起的半月滤光片的差异的图；
[0048]图13是表示本发明的图像处理方法的实施方式的流程图；
[0049]图14是表示视差图的生成方法的一例的图；
[0050]图15是表示与图像的上下方向对应地应用的视差图的图；
[0051]图16是表示根据2D图像生成缩微型的3D图像的图像处理方法的概念图；
[0052]图17是作为摄像装置的另一实施方式的智能手机的外观图；
[0053]图18是表示智能手机的主要部分结构的框图。

【具体实施方式】
[0054]以下，根据附图，对本发明的图像处理装置及方法以及摄像装置的实施方式进行说明。
[0055][摄像装置]
[0056]图1及图2是分别表示本发明的摄像装置的实施方式的立体图及后视图。该摄像装置10是利用摄像元件接收通过了镜头的光并转换成数字信号而记录于记录介质的数码相机。
[0057]如图1所示，摄像装置10在其正面配置有摄影镜头(摄影光学系统)12、闪光灯I等，在上表面配置有快门按钮2、电源/模式开关3、模式拨盘4等。另一方面，如图2所示，在相机背面配置有3D显示用的3D液晶显示器30、变焦按钮5、十字按钮6、菜单/确定按钮
7、重放按钮8、返回按钮9等。
[0058]摄影镜头12由伸缩式变焦镜头构成，通过利用电源/模式开关3将相机的模式设定成摄影模式而从相机主体伸出。闪光灯I朝向主要被摄体照射闪光。
[0059]快门按钮2利用由所谓的“半按压”和“全按压”构成的两级行程式开关构成。在摄影模式下进行驱动时，立体摄像装置10通过该快门按钮2被“半按压”而使AE (AutomaticExposure:自动曝光)/AF(Auto Focus:自动对焦)进行工作，立体摄像装置10通过该快门按钮2被“全按压”而执行摄影。另外，在摄影模式下进行驱动时，立体摄像装置10通过该快门按钮2被“全按压”而执行摄影。
[0060]此外，快门按钮2不限于由半按压和全按压构成的两级行程式开关的方式，可以在一次操作中输出SI接通的信号、S2接通的信号，也可以分别设置单独的开关而输出SI接通的信号、S2接通的信号。
[0061]另外，在利用触摸式面板等而进行操作指示的方式中，也可以通过触摸作为这些操作部显示于触摸式面板的画面上的与操作指示对应的区域来输出操作指示，在本发明中，只要指示摄影准备处理、摄影处理，则操作部的方式不限于这些。另外，也可以在向一个操作部的操作指示中连续执行摄影准备处理和摄影处理。
[0062]电源/模式开关3 —并具有作为使立体摄像装置10的电源接通/断开的电源开关的功能和作为设定立体摄像装置10的模式的模式开关的功能，配置成在“断开位置”、“重放位置”和“摄影位置”之间滑动自如。立体摄像装置10通过使电源/模式开关3滑动并与“重放位置”或“摄影位置”对齐而使电源接通，通过使电源/模式开关3滑动并与“断开位置”对齐而使电源断开。而且，通过使电源/模式开关3滑动并与“重放位置”对齐而设定成“重放模式”，通过使电源/模式开关3滑动并与“摄影位置”对齐而设定成“摄影模式”。
[0063]模式拨盘4作为设定摄像装置10的摄影模式的摄影模式设定单元而发挥功能，根据该模式拨盘的设定位置，立体摄像装置10的摄影模式被设定成各种模式。例如，拍摄平面图像的“平面图像摄影模式”、拍摄立体图像(3D图像)的“立体图像摄影模式”、拍摄动画的“动画摄影模式”等。
[0064]3D液晶显示器30是能够利用视差栅栏将立体视图像(左眼图像及右眼图像)显示作分别具有预定的指向性的指向性图像的立体显示单元。在将立体视图像输入到3D液晶显示器30的情况下，在3D液晶显示器30的视差栅栏显示层上产生由透光部和遮光部交替地以预定间距排列而成的图案构成的视差栅栏，并且表示左右图像的长条状的图像片段交替地排列显示于该视差栅栏显示层的下层的图像显示面。在利用作平面图像、用户接口显示面板的情况下，在视差栅栏显示层上什么也不显示，将一张图像直接显示于该视差栅栏显示层的下层的图像显示面上。此外，3D液晶显示器30的方式不限于此，只要使左眼图像及右眼图像以能够作为立体图像进行识别的方式显示，则也可以是能够通过使用柱面透镜、佩戴偏光眼镜、液晶快门眼镜等专用眼镜来单独看到左眼图像和右眼图像的方式。
[0065]变焦按钮5作为指示变焦的变焦指示单元而发挥功能，由向长焦侧指示变焦的长焦按钮5T和向广角侧指示变焦的广角按钮5W构成。摄像装置10在摄影模式时通过操作该长焦按钮5T和广角按钮5W，使摄影镜头12的焦距发生变化。另外，在重放模式时，通过操作该长焦按钮5T和广角按钮5W，使重放中的图像放大、缩小。
[0066]十字按钮6是输入上下左右这四个方向的指示的操作部，作为从菜单画面选择项目或从各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥功能。左/右键作为重放模式时的幅进给(正方向/反方向进给)按钮而发挥功能。
[0067]菜单/确定按钮7是兼备了作为用于进行在3D液晶显示器30的画面上显示菜单的指令的菜单按钮的功能和作为对选择内容的确定及执行等进行指示的确定按钮的功能的操作键。
[0068]重放按钮8是用于切换成重放模式的按钮，该重放模式将所拍摄记录到的立体图像(3D图像)、平面图像(2D图像)的静止画面或动画显示于3D液晶显示器30。
[0069]返回按钮9作为指示输入操作的取消、返回到前一次的操作状态的按钮而发挥功倉泛。
[0070][摄像装置的内部结构]
[0071]图3是表示上述摄像装置10的内部结构的实施方式的框图。该摄像装置10将拍摄到的图像记录于存储卡54，装置整体的动作由中央处理装置(CPU)40统一控制。
[0072]在摄像装置10中设有快门按钮、模式拨盘、重放按钮、菜单/确定键、十字键、变焦按钮、返回键等的操作部38。来自该操作部38的信号向CPU40输入，CPU40基于输入信号来控制摄像装置10的各电路，例如进行基于镜头驱动部36的镜头驱动控制、基于光圈驱动部34的光圈驱动控制、基于CCD控制部32的摄影动作(从快门按钮2的半按压到图像记录的结束)控制、基于数字信号处理部24的图像处理控制、基于压缩扩展处理部26的图像数据的记录/重放控制、基于视频编码器28的3D液晶显示器30的显示控制等。
[0073]当通过电源/模式开关3而使立体摄像装置10的电源接通时，从未图示的电源部向各块供电，开始立体摄像装置10的驱动。
[0074]通过了摄影镜头12、光圈14等的光束成像于CXD图像传感器即摄像元件16(摄像单元、图像获取单元)，在摄像元件16中存储信号电荷。基于从CCD控制部32施加的读出信号而作为与信号电荷对应的电压信号读出存储于拍摄元件16的信号电荷。从摄像元件16读出的电压信号向模拟信号处理部18施加。此外，该实施方式的摄像元件16为CCD图像传感器，但不限定于此，也可以是CMOS型图像传感器。
[0075]模拟信号处理部18对于从摄像元件16输出的电压信号，通过相关双采样处理(以减轻摄像元件的输出信号所包含的噪声(特别是热噪声)等为目的，通过取得摄像元件的每个像素的输出信号所包含的馈通成分电平与像素信号成分电平之差而得到准确的像素数据的处理)，使各像素的R、G、B信号被采样保持、放大后，向A/D转换器20施加。A/D转换器20将依次输入的R、G、B信号转换成数字R、G、B信号并向图像输入控制器22输出。
[0076]数字信号处理部24对经由图像输入控制器22输入的数字图像信号进行偏移处理、包含白平衡校正和灵敏度校正的增益/控制处理、伽马校正处理、去马赛克处理、YC处理、边缘增强处理等预定的信号处理。
[0077]另外，数字信号处理部24作为取得与所拍摄到的图像关联地生成的视差图的视差图获取单元及算出进行视差赋予及模糊处理(滤光处理)而具有视差及模糊的像素的计算单元而发挥功能，对2D图像数据进行本发明的视差处理及模糊处理，生成视差不同的立体视用的图像(左眼图像、右眼图像)。此外，对于根据2D图像生成左眼图像及右眼图像的图像处理方法的详情在后面进行说明。
[0078]由数字信号处理部24处理后的2D或3D图像数据向VRAM50输入。在VRAM50中含有分别记录表示一幅2D或3D图像的图像数据的A区域和B区域。在VRAM50中，表示一幅2D或3D图像的图像数据在A区域和B区域中被交替重写。从VRAM50的A区域及B区域中的重写图像数据的一方的区域以外的区域读出所写入的图像数据。
[0079]从VRAM50读出的2D或3D图像数据在视频编码器28中编码，并向设于相机背面的3D液晶显示器30输出，由此，2D或3D的被摄体图像连续地显示于3D液晶显示器30的显示画面上。
[0080]当操作部38的快门按钮2的第一级压下(半按压)时，(XD40以如下方式进行控制，即，开始AF动作及AE动作，经由镜头驱动部36使聚焦镜头在光轴方向上移动，使聚焦镜头到达对焦位置。
[0081 ] AF处理部42是进行对比度AF处理或相位差AF处理的部分。在进行对比度AF处理的情况下，提取左眼图像及右眼图像的至少一方的图像中的预定聚焦区域内的图像的高频成分，并对该高频成分进行积分，从而算出表示对焦状态的AF评价值。通过使摄影镜头12内的聚焦镜头向该AF评价值变得最大的镜头位置移动而进行AF控制(对比度AF)。另夕卜，在拍摄记录3D图像的情况下，AF处理部42对将画面整体分割成多个区域而成的每个分割区域进行对比度AF，并对每个分割区域进行从AF评价值变得最大的镜头位置分别测定被摄体距离的多点测距。
[0082]CPU40根据来自变焦按钮5的变焦指令而经由镜头驱动部36使变焦镜头在光轴方向上进行进退动作，而变更焦距。
[0083]另外，在快门按钮2的半按压时从A/D转换器20输出的图像数据读入到AE检测部44。
[0084]在AE检测部44中，累计画面整体的G信号或者累计在画面中央部和周边部进行了不同的加权后的G信号，并且将其累计值向CPU40输出。CPU40根据从AE检测部44输入的累计值来算出被摄体的亮度(摄影Ev值)，且基于该摄影EV值按照预定程序线图来确定光圈14的F值和摄像元件16的电子快门(快门速度)。
[0085]此外，在图3中，46是用于检测摄影视角内的人物的脸部并将包含该脸部的区域设定作AF区域、AE区域的公知的脸部检测部。脸部不限于人物的脸部，还包含宠物等动物的脸部。另外，作为脸部的检测方法，能够应用使用预先注册了多个图像信息的辞典进行检测的方法、使用模板匹配(图像核对)进行检测的方法等。
[0086]另外，47是除了存储相机控制程序、摄像元件16的缺陷信息、用于图像处理等的各种参数、表格之外还存储用于生成本发明的左眼图像及右眼图像的图像处理程序、用于生成立体视图像的第一及第二数字滤光片组、视差图等的ROM(EEPROM)(视差图存储单元)。此外，对于本发明的图像处理程序等的详情在后面进行说明。
[0087]通过快门按钮2的半按压，AE动作及AF动作结束，当快门按钮的第二级压下(全按压)时，响应于该压下，从A/D转换器20输出的图像数据从图像输入控制器22向存储器(SDRAM) 48输入，并临时存储。
[0088]临时存储于存储器48的图像数据由数字信号处理部24适当读出，在此，进行包含去马赛克处理、边缘增强的图像处理及YC处理(图像数据的亮度数据及色差数据的生成处理)的预定的信号处理，进行了 YC处理后的图像数据(YC数据)再次存储于存储器48。去马赛克处理是根据与单板式彩色摄像元件的滤色器排列对应的马赛克图像对每个像素算出全部的色彩信息的处理，也称为去马赛克算法处理。例如，在由RGB三个颜色的滤色器构成的摄像元件的情况下，是根据由RGB构成的马赛克图像对每个像素算出RGB全部色彩的色彩信息的处理。
[0089]存储于存储器48的YC数据向压缩扩展处理部26输出，执行JPEG (jointphotographic experts group)等的预定的压缩处理后，再次存储于存储器48。根据存储于存储器48的YC数据(压缩数据)来生成图像文件，该图像文件由介质/控制器52读出并记录于存储卡54。
[0090]上述结构的摄像装置10具备用于根据2D图像生成3D图像的功能，但其它部分与以往的功能相同。
[0091][根据2D图像生成3D图像的图像处理方法]
[0092]接着，参照图4及图5对本发明的根据2D图像生成3D图像的图像处理方法进行说明。
[0093]图4是表示根据2D图像生成3D图像的图像处理方法的概念图。
[0094]如图4所示，首先，取得用于赋予左右视点的视差的2D图像100和视差图110，该视差图11是作为用于对该2D图像赋予视差的基准而预先定义的或根据在拍摄赋予视差的2D图像时测定到的多点测距数据来算出的。在此，视差图110是左眼图像和右眼图像的对应点彼此的像素的偏差(视差)遍及画面整体而映射的图。在图4上，以灰色标度表示的视差图110的白色部分表示较远的部位的视差，黑色部分表示较近的部位的视差。
[0095]另一方面，预先准备用于对2D图像的每个像素实施视差的赋予及模糊处理的数字滤光片组即用于生成左眼图像的第一数字滤光片组和用于生成右眼图像的第二数字滤光片组，并存储于存储器。
[0096]第一数字滤光片组和第二数字滤光片组如图5所示地相互具有左右对称性，滤光片尺寸根据所赋予的视差的大小而不同。第一数字滤光片组及第二数字滤光片组的滤光片形状未必只包含相对于通过圆的中心的线而线对称的形状，也包含具有大致的对称性的形状。例如，也包含由通过从圆的中心向左右方向偏移的位置的直线将圆分割成两个而成的形状。另外，图5所示的第一数字滤光片组及第二数字滤光片组中，分别根据视差而选择的第一数字滤光片和第二数字滤光片具有半月状的形状，当重合时成为圆形。这是由于，与将光圈开口(圆形)沿左右进行光瞳分割而成的形状对应。因此，与五角形的光圈开口对应的第一、第二数字滤光片的形状分别成为将五角形沿左右进行光瞳分割而成的形状。
[0097]在图4中，在根据2D图像100的任意像素来生成左眼图像的像素和右眼图像的像素的情况下，从视差图110取得与该像素对应的视差信息，并从存储器读出与该视差信息对应的第一数字滤光片及第二数字滤光片。而且，通过进行以任意像素为中心的、与第一数字滤光片及第二数字滤光片的滤光片尺寸对应的像素组和第一数字滤光片的滤光系数的卷积运算(积和运算)，算出左眼图像的像素。同样地，通过进行以任意像素为中心的、与第一数字滤光片及第二数字滤光片的滤光片尺寸对应的像素组和第二数字滤光片的滤光系数的卷积运算，算出右眼图像的像素。由此，对于任意像素，同时进行赋予视差的处理(相位偏移)和模糊处理。
[0098]通过对2D图像的全部的像素进行以上的图像处理，生成左眼图像120和右眼图像130。
[0099]此外，如图5所示，在第一数字滤光片组和第二数字滤光片组的视差为零的情况下，其滤光片尺寸最小(例如为I)，实际上不进行滤光处理，随着视差变大，滤光片尺寸变大，其结果是，模糊也变大。另外，远侧的视差和近侧的视差中，第一数字滤光片和第二数字滤光片的形状相反。这是由于，远侧的视差和近侧的视差的视差的方向相反。
[0100][进行视差赋予及模糊处理的数字滤光片]
[0101]接着，详细说明对2D图像赋予视差及进行模糊处理的数字滤光片。
[0102]图6是表示在镜头被焦点调整到物体a的前表面的状态下比焦点位置靠近前的物体(点光源)如何被拍摄的图，示出利用通常的摄像元件200拍摄的图像和利用特殊的摄像元件(单眼3D用的摄像元件)210拍摄的左眼图像及右眼图像。此外，图6上的摄像元件200及210分别表示从被摄体侧看到的受光面。
[0103]通常的摄像元件200中，分别排列成矩阵状的奇数列像素(主像素，也称为A面像素)和偶数列像素(副像素，也称为B面像素)在水平垂直方向上分别间隔半个间距地错开配置，由A面像素构成的图像(A面图像)和由B面像素构成的图像(B面图像)分别具有拜耳排列的滤色器。能够根据这些A面图像和B面图像来生成一张高分辨率的图像。此夕卜，与通常的摄像元件200的A面像素、B面像素对应地设置的、光进行入射的开口形成于各像素的中央。另外，在各像素上设有未图示的微透镜。
[0104]比从通常的摄像元件200得到的焦点位置靠近前的点光源的图像向后跑焦，成为与其模糊量相当的直径的圆。
[0105]另一方面，单眼3D用的摄像元件210中，形成于A面像素的开口和形成于B面像素的开口分别向左右方向偏倚，通过镜头的左侧区域的光入射于A面像素，通过镜头的右侧区域的光入射于B面像素。单眼3D用的摄像元件210作为相位差图像传感器是公知的元件，详细地记载于专利文献5等。
[0106]上述结构的单眼3D用的摄像元件210的由A面像素构成的图像(A面图像)成为左眼图像，由B面像素构成的图像(B面图像)成为右眼图像。
[0107]比从单眼3D用的摄像元件210得到的焦点位置靠近前的点光源的图像向后跑焦，左眼图像及右眼图像分别成为具有与其模糊量相当的直径的半月状。而且，半月状的左眼图像的重心与右眼图像的重心的偏差量成为点光源的图像的视差量。即，比焦点位置靠近前的点光源的图像中，如果已知摄像元件210的特性(每个角度的灵敏度)等，则得知对于点光源卷积有哪种左眼用及右眼用的滤光片(上述的第一数字滤光片及第二数字滤光片)。此外，左眼用及右眼用的滤光片成为半月状，因此，以后称为“半月滤光片”。
[0108]另外，图7(a)表示左眼图像及右眼图像相对于经由图6所示的镜头向单眼3D用的摄像元件210入射的光的X方向上的角度[° ]的灵敏度的一例，图7(b)表示左眼图像及右眼图像相对于y方向上的角度[° ]的灵敏度的一例。
[0109]如图7(a)所示，相对于X方向的角度[° ]的左眼图像及右眼图像的灵敏度以零角度为中心具有对称性，并且灵敏度的峰值位置偏移。另外，如图7(b)所示，相对于y方向的角度[° ]的左眼图像及右眼图像的灵敏度一致，在零角度出现灵敏度的峰值位置。
[0110]当将图7(a)及(b)所示的X方向及y方向上的灵敏度特性相乘时，如图7(c)所示地得到向摄像元件210入射的光在X方向及y方向上的每个角度的灵敏度特性。此外，图7(c)表示与摄像元件210的左眼图像对应的A面像素的每个角度的灵敏度特性。
[0111]接着，如图7(d)所示，当假定为仅在某一直径R范围内光照射于摄像元件210并将角度换算成摄像元件210的X轴(横向)、y轴(纵向)的坐标时，左右半月滤光片的重心之间距离(即，视差AD)和半月滤光片的直径R能够分别以下式表示。
[0112][数学式I]
P(F)IU^lf
[0113]AB = --

fle,L
[0114][数学式2]

IL0-LIf2
[01 1 5 J 暑""C """ !ghduuuuuuuuuuuuuuuuuuuuum

/I Al.?

(Lcrf)LF
[0116]在此，在[数学式I]式及[数学式2]式中，如图8所示，将实际焦距设为f [mm]，将光圈值设为F，将到完美对焦位置的对焦距离设为Lo [mm]，将到被摄体的距离设为L[mm]。另外，AD能够使用F的函数P (F)而以相对于R的预定的比表示。因此，如果知道ADjJ得知R的值、当前使用哪种半径/分布的半月滤光片。
[0117]图9(a)及(b)分别是半月滤光片及图8的拍摄面附近的放大图。此外，图8及图9中所示的数式能够根据镜头的公式及几何关系来导出。
[0118]另外，在算出半月滤光片的滤光系数的情况下，如图10所示，当将某一坐标设为(Px、Py)、将光向该坐标(Px、Py)的入射角设为(θ χ、θ y)时，对于以下的[数学式3]式所示的(χ、y)，求算[数学式4]式所示的(θ χ、θ y)。
[0119][数学式3]
[0120]+J2^-- 1 1 ,一)
[0121][数学式4]
[0122].......;/M￡.....1./^.....[.......1............:.....M.V
{ π V / I k......L J, π K /: K ~1.fj
[0123]基于利用[数学式4]式求出的入射角(θχ、0y)，代入图7(c)所示的每个角度的灵敏度特性，从而算出半月滤光片的滤光系数。此时，优选通过由滤光系数的总和除以各滤光系数，使滤光系数标准化。
[0124]如上所述，对每个视差AD生成左右半月滤光片，与视差AD建立关联并存储于ROM (EEPROM) 47。半月滤光片的生成可以预先由数字信号处理部24进行并将所生成的半月滤光片存储于R0M47，也可以将在外部另行生成的半月滤光片存储于R0M47。
[0125]另外，在[数学式I]式中，视差AD以绝对值表示，比对焦距离Lo靠近前的物体的视差和比对焦距离Lo靠里侧的物体视差的视差方向(符号)相反。因此，对每个视差大小及视差方向生成左右半月滤光片，并存储于R0M47。
[0126]但是，如图11(a)及(b)所示，画面中央的物体中的入射角和画面端部的物体中的入射角不同，例如，画面中央的物体中的入射角为一 15°?15°，相对于此，画面端部的物体中的入射角成为一 7°?26°。
[0127]由此，如图12所示，画面中央的物体中的左眼图像和右眼图像的入射角特性对称，相对于此，画面端部的物体中的左眼图像和右眼图像的入射角特性不对称。其结果是，画面中央的物体中的左右半月滤光片成为左右对称，相对于此，画面端部的物体中的左右半月滤光片在形状上产生差异。
[0128]因此，优选存储根据画面内的位置而形状不同的半月滤光片。
[0129]另外，作为算出上述半月滤光片时的单眼3D的摄像元件210，能够应用反映了任意特性的元件，由此，能够假定理想的单眼3D的摄像元件来算出赋予适当的视差及模糊量的半月滤光片。另外，不仅能够算出摄像元件的特性，而且还能够算出赋予与镜头的F值对应的视差及模糊量的半月滤光片。
[0130][图像处理方法的实施方式]
[0131]图13是表示本发明的图像处理方法的实施方式的流程图。
[0132]在图13中，取得赋予视差的图像(2D图像)和视差图(步骤S10)。作为所取得的图像，可以取得设定成立体图像摄影模式时由摄像装置10拍摄到的图像(2D图像)，也可以取得根据记录于存储卡54的图像来进行适当选择后的图像。
[0133]图14是表示视差图的生成方法的一例的图。如图14所示，在拍摄2D图像时进行多点测距。具体而言，利用AF处理部42将画面整体分割成多个区域(图14的例子中，分割成16个区域)并对每个分割区域进行对比度AF，对每个分割区域从AF评价值变得最大的镜头位置分别估计16个区域的距离。另外，还求算实际摄影时的对焦距离Lo。接着，对16个区域的各距离的距离数据进行插值，生成遍及画面整体的距离数据(距离映射)。当得到画面内的各像素的距离L和对焦距离Lo时，能够根据[数学式I]式来算出视差AD。由此，能够生成视差图。此外，也可以算出16个区域的视差AD，之后，对所算出的视差AD进行插值来生成视差图。
[0134]另外，在根据距离映射来生成视差图时，也可以不根据[数学式I]式，而基于适当的函数来进行转换。作为这种情况的函数，优选形成为将对焦距离Lo的视差设为零、将无限远的视差设为远侧视差的最大值a、将最近端的视差设为近侧视差的最大值b的线性或非线性函数。
[0135]在步骤SlO中，取得如上所述而生成的视差图。
[οι 36] 接着，取得所取得的图像中的像素P α、j)，并且根据视差图来取得与该像素P α、j)对应的视差AD(1、j)(步骤S12)。
[0137]接着，从R0M47读出与所取得的视差AD(1、j)的大小及视差方向对应的左眼用的半月滤光片FJ步骤S14)，并进行所读出的半月滤光片^和以像素P(1、j)为中心的、半月滤光片^的滤光片尺寸的像素组的像素值的卷积运算，从而算出与像素Pa、j)对应的左眼用的像素(步骤S16)。
[0138]同样地，从R0M47读出与所取得的视差AD(1、j)的大小及视差方向对应的右眼用的半月滤光片FL(步骤S18)，并进行所读出的半月滤光片匕和以像素P(1、j)为中心的、半月滤光片滤光片尺寸的像素组的像素值的卷积运算，从而算出与像素Pa、j)对应的左眼用的像素Pk (步骤S20)。
[0139]接着，判别对2D图像的所有像素的处理是否结束(步骤S22)，在未结束的情况(“否”的情况)下，更新像素Pa、j)的位置(1、j)(步骤S24)，并转移到步骤S12。
[0140]另一方面，在对2D图像的所有像素的处理已结束的情况(“是”的情况)下，结束根据2D图像生成左眼图像和右眼图像的该处理。
[0141]如此生成的左眼图像及右眼图像成为与由单眼3D摄像装置所拍摄到的单眼3D图像同样的图像。
[0142]如上所述而生成的单眼3D图像能够作为3D图像进行欣赏，并且具有以下的优点⑴、⑵。
[0143](I)通过准备适当的第一、第二数字滤光片组，能够以例如全尺寸等效/APS等效等模糊程度/视差为希望的图像传感器等效的方式进行调整。
[0144](2)在3D电视上放映单眼3D用的图像的状态下，即使未佩戴专用眼镜的人观看，也几乎不会产生重影，能够作为2D图像进行欣赏。
[0145][视差图的另一实施方式]
[0146]视差图不限于基于在拍摄2D图像时实际测定到的距离数据来生成的情况，也可以应用预先定义的简易版的视差图。
[0147]例如，能够应用定义了越靠赋予视差的图像的下方则飞出方向上的视差就越大的视差且定义了越靠上方则进深方向上的视差就越大的视差的视差图。
[0148]此时，需要使用重力传感器、陀螺仪等的信息来掌握相机的当前的姿势(拍摄到的图像的上下方向)，并如图15(a)?(C)所示地应用与图像的上下方向对应的视差图。
[0149][视差图的又一实施方式]
[0150]近来，已知有拍摄缩微型的2D照片的技术。该技术是指错开相机的仰摄并故意使画面上部和下部模糊的技术，但该方法的输出为2D图像。
[0151]在拍摄缩微型的3D照片的情况下，如图16所示的视差图那样，定义使较远的部位和较近的部位(画面上部和下部)的视差非常大且使中央部位的视差较小的视差图。能够根据该视差图112而故意使画面上部和下部明显地模糊，能够生成缩微型照片，另外，还施加视差，因此，可生成不仅能够以2D进行欣赏而且也能够以3D进行欣赏的缩微型照片。
[0152]作为摄像装置10的另一实施方式的移动终端装置，例如，列举具有相机功能的移动电话、智能手机、PDA(Personal Digital Assistants:个人数字助理)、便携式游戏机。以下，将智能手机列举为例并参照附图详细地进行说明。
[0153]〈智能手机的结构〉
[0154]图17表示作为摄像装置10的另一实施方式的智能手机500的外观。图17所示的智能手机500具有平板状的壳体502,在壳体502的一面上具备显不输入部520,该显不输入部520是作为显示部的显示面板521和作为输入部的操作面板522 —体而成的。另外，壳体502具备:扬声器531、话筒532、操作部540、相机部541。此外，壳体502的结构不限定于此，例如，也能够采用显示部和输入部独立而成的结构，或采用具有折叠结构、滑动机构的结构。
[0155]图18是表示图17所示的智能手机500的结构的框图。如图18所示，作为智能手机的主要的结构要素，具备:无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS (Global Posit1ning System:全球定位系统)接收部570、运动传感器部580、电源部590、主控制部501。另外，作为智能手机500的主要功能，具备经由基站装置BS和移动通信网NW来进行移动无线通信的无线通信功能。
[0156]无线通信部510根据主控制部501的指示，对收容于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
[0157]显示输入部520是通过主控制部501的控制来显示图像(静止图像及动态图像)、文字信息等并将信息视觉性地传递给用户、并且检测对所显示的信息的用户操作的、所谓的触摸面板，具备显示面板521和操作面板522。在欣赏所生成的3D图像的情况下，显示面板521优选为3D显示面板。
[0158]显不面板521 使用 LCD (Liquid Crystal Display:液晶显不器)、OELD (OrganicElectro-Luminescence Display:有机发光显示器)等作为显示器。操作面板522是被载置成能够目视确认显示于显示面板521的显示面上的图像且检测由用户的手指、尖笔操作的一个或多个坐标的设备。当由用户的手指、尖笔操作该设备时，向主控制部501输出由于操作而产生的检测信号。接着，主控制部501基于所接收到的检测信号，检测显示面板521上的操作位置(坐标)。
[0159]如图17所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，但成为操作面板522完全覆盖显示面板521那样的配置。在采用该配置的情况下，操作面板522也可以具备对显示面板521以外的区域也检测用户操作的功能。换而言之，操作面板522也可以具备对于与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)和对于除此以外的未与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。
[0160]此外，也可以使显示区域的大小和显示面板521的大小完全一致，但未必需要使两者一致。另外，操作面板522也可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据壳体502的大小等而适当设计。而且，作为在操作面板522上采用的位置检测方式，列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。
[0161]通话部530具备扬声器531、话筒532，将通过话筒532输入的用户声音转换成能够由主控制部501进行处理的声音数据并向主控制部501输出，或对由无线通信部510或外部输入输出部560接收到的声音数据进行解码并从扬声器531输出。另外，如图17所示，例如，能够将扬声器531搭载于与设有显不输入部520的面相同的面上,并将话筒532搭载于壳体502的侧面。
[0162]操作部540是使用了键开关等的硬件键，接收来自用户的指示。例如，如图18所示，操作部540是搭载于智能手机I的壳体502的显示部的下部、下侧面且当利用手指等压下时接通、当手指离开时通过弹簧等的回复力而成为断开状态的按钮式开关。
[0163]存储部550存储:主控制部501的控制程序、控制数据、包含用于生成本发明的左眼图像及右眼图像的图像处理程序的应用软件、用于生成立体视图像的第一及第二数字滤光片组、视差图、对通信对象的名称、电话号码等建立对应而成的地址数据、所收发的电子邮件数据、通过Web浏览而下载到的Web数据、下载到的内容数据，另外临时存储流数据等。另外，存储部550由智能手机内置的内部存储部551和拆装自如的具有外部存储器插槽的外部存储部552构成。此外，构成存储部550的各个内部存储部551和外部存储部552使用闪存式(flash memory type)、硬盘式(hard disk type)、缩微多媒体卡式(multimediacard micro type)、卡式的存储器(例如，Micro SD (注册商标)存储器等)、RAM (RandomAccess Memory:随机存取存储器)、ROM (Read Only Memory:只读存储器)等存储介质来实现。
[0164]外部输入输出部560起到与连接于智能手机500的所有的外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，因特网、无线 LAN、蓝牙(Bluetooth (注册商标))、RFID (Rad1 Frequency Identificat1n:无线射频识别)、红外线通信(Infrared Data Associat1n(红外数据协会):1rDA)(注册商标)、UWB (Ultra Wideband:超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)而与其它外部设备直接或间接地连接。
[0165]作为与智能手机500连接的外部设备，例如有:有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)、SIM (SubscriberIdentity Module Card:客户识别模块卡)/UIM(User Identity Module Card:用户识别模块卡)卡、经由音频/视频1/0(输入/输出)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收传送的数据传递到智能手机500的内部的各结构要素、使智能手机500的内部的数据传送到外部设备。
[0166]GPS接收部570根据主控制部501的指示，接收从GPS卫星STl?STn发送的GPS信号，基于接收到的多个GPS信号来执行测位运算处理，而检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560 (例如，无线LAN)取得位置信息时，也能够使用其位置信息来检测位置。
[0167]运动传感器部580具备例如三轴加速度传感器等，根据主控制部501的指示，检测智能手机500的物理性移动。通过检测智能手机500的物理性移动，检测智能手机500移动的方向、加速度。该检测结果向主控制部501输出。
[0168]电源部590根据主控制部501的指示，向智能手机500的各部供给存储于电池(未图示)的电力。
[0169]主控制部501具备微处理器，根据存储部550所存储的控制程序、控制数据来进行动作，且统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备控制通信系统的各部的移动通信控制功能和应用处理功能。
[0170]应用处理功能通过主控制部501根据存储部550所存储的应用软件进行动作来实现。作为应用处理功能，例如有:控制外部输入输出部560而与相对设备进行数据通信的红夕卜线通信功能、进行电子邮件的收发的电子邮件功能、阅览网页的Web浏览功能、本发明的根据2D图像生成3D图像的功能等。
[0171]另外，主控制部501具备基于接收数据、下载到的流数据等图像数据(静止图像、动态图像的数据)而将影像显示于显示输入部520等的图像处理功能。图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，并将图像显示于显示输入部520的功能。
[0172]而且，主控制部501执行对显示面板521的显示控制和检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
[0173]通过执行显示控制，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或显示用于生成电子邮件的窗口。此外，滚动条是指，用于对未完全收纳于显示面板521的显示区域的较大的图像等接收移动图像的显示部分的指示的软件键。
[0174]另外，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或通过操作面板522接收对上述图标的操作、对上述窗口的输入栏的文字列的输入，或接收通过滚动条进行的显示图像的滚动要求。
[0175]而且，通过执行操作检测控制，主控制部501具备如下触摸面板控制功能，S卩，判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的未与显示面板521重叠的外缘部分(非显示区域)并对操作面板522的感应区域、软件键的显示位置进行控制。
[0176]另外，主控制部501也能够检测对操作面板522的手势操作，根据检测出的手势操作，执行预先设定的功能。手势操作不是以往的单纯的触摸操作，是指由手指等描绘轨迹，或同时指定多个位置，或将它们组合，从多个位置对至少一个位置描绘轨迹的操作。
[0177]相机部541 是使用 CMOS (Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)、CCD (Charge-Coupled Device:电荷稱合器件)等摄像元件来进行电子摄影的数码相机。另外，相机部541能够通过主控制部501的控制，将通过拍摄得到的图像数据转换成例如JPEG (Joint Photographic coding Experts Group)等的压缩后的图像数据，并记录于存储部550，或通过外部输入输出部560、无线通信部510进行输出。在图17所示的智能手机500中，相机部541搭载于与显示输入部520相同的面上，但相机部541的搭载位置不限于此，也可以搭载于显示输入部520的背面，或者也可以搭载多个相机部541。此外，在搭载有多个相机部541的情况下，能够切换用于摄影的相机部541而单独进行摄影，或者也能够同时使用多个相机部541进行摄影。
[0178]另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521中显示由相机部541取得的图像、利用相机部541的图像作为操作面板522的操作输入之一。另外，在GPS接收部570检测位置时，也能够参照来自相机部541的图像来检测位置。而且，也能够参照来自相机部541的图像而不使用三轴加速度传感器或与三轴加速度传感器并用，来判断智能手机500的相机部541的光轴方向、判断当前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。
[0179]除此之外，也能够对静止画面或动画的图像数据附加由GPS接收部570取得的位置信息、由话筒532取得的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)、由运动传感器部580取得的姿势信息等等，并记录于存储部550，或通过外部输入输出部560、无线通信部510进行输出。
[0180][其它]
[0181]本发明不限于根据2D的静止画面来生成3D的静止画面的情况，也能够适用于根据2D的动画来生成3D的动画的情况。
[0182]另外，在本实施方式中，预先对每个视差(包含符号)生成并存储半月滤光片，但不限于此，也可以仅在一个视差方向上对每个视差生成并存储左右半月滤光片。在这种情况下，在赋予另一视差方向的视差的情况下，将左右半月滤光片颠倒而进行应用。
[0183]而且，左右半月滤光片具有左右对称性，因此，作为半月滤光片，也可以仅存储左右半月滤光片中的任一方，另一半月滤光片应用左右翻转后的滤光片。
[0184]另外，作为用于取得视差信息的距离信息获取单元，不限于对摄影图像的多个区域的每一个进行对比度AF的单元，例如，考虑到使用根据照射红外线时的直到反射的时间差来估计距离的红外线传感器。
[0185]而且，作为用于取得视差信息的视差检测单元，考虑到使用在拍摄面的多个区域中具备相位差传感器的相位差摄像元件并根据相位偏移来检测视差的单元、使用具备两个摄像单元的复眼相机并根据拍摄到的两个图像的立体匹配来检测视差的单元。
[0186]另外，也可以从2D图像识别人物作为主要被摄体，或使用公知的目标识别技术，从而从2D图像识别地面、背景、建筑物等物体，并基于这些识别结果来生成赋予了与目标对应的视差的视差图。在该情况下，优选主要被摄体的视差设为零，且不进行模糊处理。
[0187]而且，摄像装置10、智能手机500包含拍摄2D图像并且根据实际拍摄到的2D图像来生成3D图像的本发明的图像处理装置，但不限于此，本发明也能够适用于通过外部设备、通信而取得进行视差的赋予及模糊处理的2D图像并根据取得的2D图像来生成3D图像的图像处理装置(例如，个人电脑，平板个人电脑等)。
[0188]此外，本发明不限定于上述的实施方式，能够在不脱离本发明的宗旨的范围内进行各种变形，这是不言而喻的。
[0189]附图标记说明
[0190]10...摄像装置、12...摄影镜头、24...数字信号处理部、40...中央处理装置(CPU)、42…AF处理部、47...ROM(EEPROM)、48…存储器、100…2D图像、110…视差图、120…左眼图像、130…右眼图像、200…通常的摄像元件、210...单眼3D用的摄像元件、500…智能手机。
【权利要求】
1.一种图像处理装置，具备: 图像获取单元，取得图像； 视差信息获取单元，对取得的所述图像的每个像素取得对该像素赋予的视差信息；及计算单元，基于用于对取得的所述图像赋予视差的、相互具有左右对称性的第一数字滤光片组及第二数字滤光片组即滤光片尺寸根据所赋予的视差的大小而不同的第一数字滤光片组及第二数字滤光片组和由所述视差信息获取单元取得的每个像素的视差信息，通过由与取得的所述图像的每个像素的视差信息对应的第一数字滤光片及第二数字滤光片进行滤光处理，来对取得的所述图像的每个像素算出赋予了视差的第一像素及第二像素。
2.根据权利要求1所述的图像处理装置，其中， 所述第一数字滤光片组及所述第二数字滤光片组在图像的中心部和周边部左右对称性不同。
3.根据权利要求1或2所述的图像处理装置，其中， 具备取得视差图的视差图获取单元，所述视差图表示对取得的所述图像赋予的视差，所述视差信息获取单元对取得的所述图像的每个像素从所述视差图取得与该像素的位置对应的视差信息。
4.根据权利要求1?3中任一项所述的图像处理装置，其中， 所述第一数字滤光片组及所述第二数字滤光片组基于单一摄像元件的、与入射角度对应的灵敏度特性来进行计算，所述单一摄像元件由对通过了单一摄影光学系统的光束进行光瞳分割而分别受光的第一像素组及第二像素组构成。
5.根据权利要求1?4中任一项所述的图像处理装置，其中， 所述第一数字滤光片组及第二数字滤光片组具有将由所述计算单元进行滤光处理后的赋予了视差的第一图像和第二图像相加而成的图像不会重影的滤光系数。
6.根据权利要求1?5中任一项所述的图像处理装置，其中， 所述第一数字滤光片组及第二数字滤光片组分别具有标准化后的滤光系数。
7.根据权利要求3所述的图像处理装置，其中， 具备存储预先根据图像上的位置而进行了定义的视差图的视差图存储单元， 所述视差图获取单元从所述视差图存储单元取得视差图。
8.根据权利要求7所述的图像处理装置，其中， 具备取得表示赋予所述视差的图像的上下方向的信息的单元， 所述视差图获取单元在从所述视差图存储单元取得视差图时，基于取得的表示图像的上下方向的所述信息来取得对应的视差图。
9.一种摄像装置，具备: 摄像单元，包括摄影光学系统和经由该摄影光学系统来成像被摄体图像的摄像元件； 取得从所述摄像单元输出的图像的所述图像获取单元；及 权利要求1?8中任一项所述的图像处理装置。
10.根据权利要求9所述的摄像装置，其中， 具备对由所述摄像单元拍摄图像时拍摄到的图像的多个区域的每个区域或每个像素取得距离信息的距离信息获取单元， 所述视差信息获取单元基于取得的所述距离信息来取得拍摄到的所述图像的视差信
肩、O
11.根据权利要求9所述的摄像装置，其中， 具有对由所述摄像单元拍摄到的图像的多个区域的每个区域或每个像素检测相位差的相位差检测单元， 所述视差信息获取单元基于由所述相位差检测单元检测出的相位差来取得拍摄到的所述图像的视差信息。
12.根据权利要求9所述的摄像装置，其中， 还具备与所述摄像单元不同且由摄影光学系统及摄像元件构成的另一摄像单元， 所述视差信息获取单元基于由两个所述摄像单元拍摄到的两个图像来取得拍摄到的所述图像的视差信息。
13.一种图像处理方法，包括: 图像获取工序，取得图像； 视差信息获取工序，对取得的所述图像的每个像素取得对该像素赋予的视差信息；及 计算工序，基于用于对取得的所述图像赋予视差的、用于对图像赋予视差的、相互具有左右对称性的第一数字滤光片组及第二数字滤光片组即滤光片尺寸至少根据所赋予的视差的大小而变大的第一数字滤光片组及第二数字滤光片组和由所述视差信息获取工序取得的每个像素的视差信息，通过由与取得的所述图像的每个像素的视差信息对应的第一数字滤光片及第二数字滤光片进行滤光处理，来对取得的所述图像的每个像素算出赋予了视差的第一像素及第二像素。
【文档编号】G06T1/00GK104205825SQ201380017114
【公开日】2014年12月10日 申请日期:2013年2月27日 优先权日:2012年3月28日
【发明者】井泽克俊, 河合智行 申请人:富士胶片株式会社