图像处理装置、摄像装置以及图像处理方法

图像处理装置、摄像装置以及图像处理方法
【专利摘要】本发明具备：图像获取单元，取得由光瞳分割的摄像而生成的视点不同的多个视点图像；视差计算单元（40a)，算出多个视点图像的视点图像间的第一视差量；存储器（48)，存储有视差校正信息，该视差校正信息表示第一视差量与由光瞳分割的摄像产生的多个视点图像的视点图像间的所对应的物体图像的视差方向上的偏离量之间的关系；及视差校正单元（40b)，基于第一视差量和存储于存储器（48)的视差校正信息，算出对第一视差量校正了与物体图像的视差方向上的偏离量相应的量后的第二视差量。
【专利说明】图像处理装置、摄像装置以及图像处理方法

【技术领域】
[0001] 本发明涉及图像处理装置、摄像装置以及图像处理方法，特别是涉及在对以光瞳 分割拍摄到的多个视点图像的视差进行检测的情况下能够得到不容易受噪声的影响且与 人所感知的视差同等的视差的图像处理装置、摄像装置以及图像处理方法。

【背景技术】
[0002] 已知有具备以光瞳分割方式进行摄像的摄像元件的立体摄像装置。在这样的使 用了光瞳分割方式的摄像元件的情况下，作为在左右图像之间进行匹配而算出视差的方 法，公知将像素值之差的平方和为最小的块的位置偏离量视为正解而输出的方法。如此，视 差的计算通常使用在左眼图像和右眼图像中利用基于像素值的相关性来算出视差的方法 (相关法）而进行。
[0003] 例如，专利文献1公开了通过具备上部开口的微透镜和下部开口的微透镜而得到 左眼图像和右眼图像的相位差式的图像传感器。另外，公开了在左眼图像和右眼图像进行 基于相关法的匹配来求算距离信息的内容。
[0004] 另外，专利文献2公开了通过对一个圆柱体微透镜在左侧和右侧配置光电转换元 件而得到左眼图像和右眼图像的相位差式的图像传感器。
[0005] 另外，专利文献3公开了如下内容：进行光瞳分割的摄像而取得多个视点图像（第 一图像以及第二图像），在对这些多个视点图像分别进行不同的图像处理时，以各图像处理 后的多个视点图像之间的画质之差降低的方式进行各图像处理。
[0006] 另外，专利文献4公开了如下内容：进行光瞳分割的摄像而取得多个视点图像（第 一视差图像以及第二视差图像），对应每个位置选择与这些多个视点图像内的各位置的散 焦量和像高对应的复原滤光片，基于所选择的复原滤光片，对应多个视点图像内的每个位 置实施反卷积，从而对多个视点图像进行复原。
[0007] 专利文献1 :日本特开2002-191060号公报
[0008] 专利文献2 :日本特表2011-515045号公报
[0009] 专利文献3 :W02011/118089号公报
[0010] 专利文献4 :W02011/118077号公报


【发明内容】

[0011] 发明所要解决的课题
[0012] 然而，在利用光瞳分割方式的摄像元件进行摄像的情况下，左眼图像以及右眼图 像并非单纯地成为相同形状的物体图像在左右方向上相互偏离的图像的组，由于摄像光学 系统，实际上成为分别被实施了左右对称的半月状滤光那样的图像的组。因此，当在那样的 左眼图像和右眼图像进行块匹配时，存在会算出与人所感知的视差稍微不同的视差这样的 问题。
[0013] 设为作为视差的计算法，使用了进行块匹配而将像素值之差的平方和为最小的位 置偏离量视为正解而输出的方法（是所谓相关法的一种）。对于此，可考虑为人将左右的图 像之间信号的峰位置的偏离量感知为视差。即，当利用相关法算出视差时，不一定将峰位置 的偏离量作为正解而输出，因此存在与人所感知的视差稍微不同的可能性。
[0014] 另外，也可考虑算出峰位置的偏离量作为视差，但是峰位置彼此的比较通常容易 受噪声的影响，不能检测视差的概率变高。相对于此，基于相关法的视差计算不容易受噪声 影响。
[0015] 专利文献1、2不过是公开了相位差式的图像传感器，并没有关于得到不容易受噪 声影响且与人所感知的视差同等的视差的公开。另外，专利文献3公开了以视点图像之间 的画质之差降低的方式进行各图像处理，并没有关于得到不容易受噪声影响且与人所感知 的视差同等的视差的公开。另外，专利文献4公开了对应多个视点图像内的每个位置实施 反卷积的复原处理，而没有关于得到不容易受噪声影响且与人所感知的视差同等的视差的 公开。即，在专利文献1?4记载的技术中，难以得到与人所感知的视差同等的视差。
[0016] 本发明鉴于这样的情况而作出，其目的在于提供在对由光瞳分割的摄像而生成的 视点不同的多个视点图像的视差进行检测的情况下能够得到不容易受噪声影响且与人所 感知的视差同等的视差的图像处理装置、摄像装置以及图像处理方法。
[0017] 用于解决课题的手段
[0018] 为了实现上述的目的，本发明提供图像处理装置，具备：图像获取单元，取得由光 瞳分割的摄像而生成的视点不同的多个视点图像；第一视差量计算单元，算出多个视点图 像的视点图像间的第一视差量；存储单元，存储有视差校正信息，该视差校正信息表示第一 视差量与由光瞳分割的摄像引起的多个视点图像的视点图像间的所对应的物体图像的视 差方向上的偏离量之间的关系；及第二视差量计算单元，基于第一视差量和存储于存储单 元的视差校正信息，算出对第一视差量校正了与物体图像的视差方向上的偏离量相应的量 后的第二视差量。
[0019] 在此，"视差方向"是与将两眼的眼和眼连接的方向对应的、视点图像中的方向。例 如，在使用具有相位差像素的摄像元件来进行光瞳分割的摄像的情况下，相位差像素的相 位差的方向是"视差方向"。即，在多个视点图像间连接所对应的对应点之间的方向是"视 差方向"。
[0020] 根据本发明，利用第一视差量计算单元算出作为视点图像间的视差量的临时的正 解的第一视差量，基于该第一视差量和存储于存储单元的视差校正信息，对该作为临时的 正解的第一视差量校正与视点图像间的实际的物体图像的视差方向上的偏离量相应的量， 因此能够得到不容易受噪声影响且与人所感知的视差同等的视差。在此，"人所感知的视 差"是"实际的物体图像的视差方向上的偏离量"。
[0021] 在一实施方式中，物体图像的视差方向上的偏离量是多个视点图像的视点图像间 的、物体图像的像素值的峰位置的偏离量，第二视差量计算单元算出对第一视差量校正了 与物体图像的像素值的峰位置的偏离量相应的量后的第二视差量。
[0022] 在一实施方式中，第一视差量计算单元利用相关性算出第一视差量。
[0023] 根据本实施方式，当预先存储利用基于相关性的匹配而算出的视差与实际的物体 图像的视差方向上的偏离量（峰位置的偏离量）之间的关系并取得以光瞳分割对任意的被 摄体进行摄像而生成的多个视点图像时，利用基于相关性的匹配来求算视点图像间的视差 量的临时的正解（第一视差量），基于该临时的正解和视差校正信息，对临时的正解校正与 实际的物体图像的视差方向上的偏离量相应的量（第二视差量），因此能够得到不容易受 噪声影响且与人所感知的视差同等的视差。
[0024] 在一实施方式中，多个视点图像由具有排列有多个光电转换元件的摄像面的摄像 元件以光瞳分割来进行摄像，存储单元对应摄像元件的摄像面中的不同的每个位置而存储 视差校正信息，第二视差量计算单元从存储单元取得与多个视点图像内的位置对应的、摄 像元件的摄像面的每个位置的视差校正信息，基于该取得的视差校正信息来算出第二视差 量。
[0025] 在一实施方式中，存储单元对应视点图像的像素的每个彩色信道而存储视差校正 信息，第二视差量计算单元取得存储于存储单元的每个彩色信道的视差校正信息，并基于 该取得的视差校正信息，对应每个彩色信道算出第二视差量。
[0026] 在一实施方式中，多个视点图像由包含绿色的像素在内的多个颜色的像素构成， 存储单元存储与绿色的像素对应的视差校正信息，第二视差量计算单元基于存储于存储单 元的与绿色的像素对应的视差校正信息而取得与绿色的像素对应的视差校正信息，基于该 取得的视差校正信息，算出多个视点图像的绿色的像素以及绿色的像素以外的像素中的第 二视差量。
[0027] 在一实施方式中，多个视点图像使用光圈值能够变化的摄影光学系统来进行摄 像，存储单元对应摄影光学系统的每个光圈值而存储视差校正信息，第二视差量计算单元 将使用摄影光学系统拍摄了多个视点图像时的光圈值作为参数而取得视差校正信息，并基 于该取得的视差校正信息来算出第二视差量。
[0028] 在一实施方式中，具备使由第二视差量计算单元算出的多个视点图像的第二视差 量增加的视差增强单元。
[0029] 在一实施方式中，具备多视点图像生成单元，该多视点图像生成单元基于由第二 视差量计算单元算出的第二视差量，生成视点数量与由图像获取单元取得的多个视点图像 不同的多视点图像。
[0030] 在一实施方式中，第一视差量计算单元通过在视点图像之间进行块匹配而以预定 的像素单位或者子像素单位算出表示一致程度的评价值，将评价值为最小的位置彼此的偏 离量作为第一视差量。
[0031] 在一实施方式中，视差量计算单元通过求算视点图像间的像素值之差的平方和或 视点图像间的像素值之差的总和而算出评价值。
[0032] 存储单元将视差校正信息作为查找表或者计算式而存储。
[0033] 另外，本发明提供摄像装置，具备上述的图像处理装置和进行光瞳分割方式的摄 像的摄像单元。
[0034] 在一实施方式中，摄像单元具有包含聚焦透镜的摄影光学系统，摄像装置具备自 动对焦处理单元，该自动对焦处理单元基于由第二视差量计算单元算出的第二视差量，进 行调节摄影光学系统的聚焦透镜的位置的控制。
[0035] 另外，本发明提供图像处理方法，具备以下步骤：取得由光瞳分割的摄像而生成的 视点不同的多个视点图像；算出多个视点图像的视点图像间的第一视差量；及将视差校正 信息预先存储于存储单元，该视差校正信息表示第一视差量与由光瞳分割的摄像引起的多 个视点图像的视点图像间的所对应的物体图像的视差方向上的偏离量之间的关系，基于第 一视差量和存储于存储单元的视差校正信息来算出对第一视差量校正了与物体图像的视 差方向上的偏离量相应的量后的第二视差量。
[0036] 发明效果
[0037] 根据本发明，在对由光瞳分割方式的摄像而生成的视点不同的多个视点图像的视 差进行检测的情况下能够得到不容易受噪声影响且与人所感知的视差同等的视差。

【专利附图】

【附图说明】
[0038] 图1是表示适用了本发明所涉及的图像处理装置的立体摄像装置的实施方式的 立体图。
[0039] 图2是上述立体摄像装置的后视图。
[0040] 图3是表示立体摄像装置的摄像元件的结构例的图。
[0041] 图4是上述摄像元件的主要部分放大图。
[0042] 图5是表示上述立体摄像装置的内部结构的一实施方式的框图。
[0043] 图6是表示由上述摄像元件以光瞳分割拍摄到的左眼图像以及右眼图像的例子 的说明图。
[0044] 图7是表示以光瞳分割对存在于与完美对焦位置相比更近的位置上的点光源进 行摄像的情况的说明图。
[0045] 图8是利用以往的摄像元件以通常的摄像对点光源进行摄像的情况下的说明图。
[0046] 图9是利用本例的摄像元件以光瞳分割的摄像对点光源进行摄像的情况下的说 明图。
[0047] 图10是表示以光瞳分割对存在于与完美对焦位置相比更近的位置上的点光源进 行摄像而得到的左眼图像以及右眼图像的例子的说明图。
[0048] 图11是表示以光瞳分割对存在于与完美对焦位置相比更远的位置上的点光源进 行摄像而得到的左眼图像以及右眼图像的例子的说明图。
[0049] 图12是表示计算视差与像素值的峰位置的偏离量之差的说明图。
[0050] 图13是表示CPU以及存储器的功能性内部结构例的框图。
[0051] 图14是用于说明点光源的距离、计算视差和峰位置的偏离量的关系的说明图，是 表示以光瞳分割对点光源进行摄像而得到的左眼图像以及右眼图像的说明图。
[0052] 图15是表示计算视差与视差校正量的对应关系的例子的曲线图。
[0053] 图16是表示每个彩色信道的计算视差与视差校正量的对应关系的例子的曲线 图。
[0054] 图17是用于说明画面内的位置、计算视差和峰位置的偏离量的关系的说明图，是 表示以光瞳分割对点光源进行摄像而得到的左眼图像以及右眼图像的说明图。
[0055] 图18是表示画面内的每个位置的计算视差与视差校正量的对应关系的例子的曲 线图。
[0056] 图19是表示进行视差增强的情况下的图像处理例的流程的流程图。
[0057] 图20是表示进行多视点图像生成的情况下的图像处理例的流程的流程图。
[0058] 图21是表示以往的相位差AF处理例的流程的流程图。
[0059] 图22是表示适用了本发明的相位差AF处理例的流程的流程图。
[0060] 图23是作为本发明所涉及的图像处理装置的其他实施方式的、作为便携式电子 设备的智能手机的外观图。
[0061] 图24是表示上述智能手机的结构的框图。

【具体实施方式】
[0062] 以下，根据附图，对本发明所涉及的图像处理装置、图像处理方法、立体摄像装置 以及便携式电子设备的实施方式进行说明。
[0063] [立体摄像装置的整体结构]
[0064] 图1是表示适用了本发明所涉及的图像处理装置的立体摄像装置的实施方式的 立体图。图2是上述立体摄像装置的后视图。该立体摄像装置10(3D数码照相机）是由摄 像元件接收通过了镜头的光并转换为数字信号而记录于存储卡等记录介质的数码照相机。 [0065] 如图1所示，立体摄像装置10在其正面配置有摄影镜头12、闪光灯1等，在上表面 配置有快门按钮2、电源/模式开关3、模式拨盘4等。另一方面，如图2所示，在照相机背 面配置有3D显示用的3D液晶显示器30、变焦按钮5、十字按钮6、菜单/确定按钮7、重放 按钮8及返回按钮9等。
[0066] 摄影镜头12由伸缩式的变焦镜头构成，通过利用电源/模式开关3将照相机的模 式设定为摄影模式而从照相机主体伸出。闪光灯1朝向主要被摄体照射闪光。
[0067] 快门按钮2利用由所谓的"半按压"和"全按压"构成的2级行程式的开关构成。在 以摄影模式进行驱动时，立体摄像装置10通过该快门按钮2被"半按压"而使AE (Automatic Exposure :自动曝光）/AF(Auto Focus :自动对焦）进行动作，通过该快门按钮2被"全按 压"而执行摄影。另外，在以摄影模式进行驱动时，立体摄像装置10通过该快门按钮2被 "全按压"而执行摄影。
[0068] 电源/模式开关3兼具作为使立体摄像装置10的电源接通/断开的电源开关的 功能和作为对立体摄像装置10的模式进行设定的模式开关的功能，配置成在"断开位置"、 "重放位置"和"摄影位置"之间滑动自如。立体摄像装置10通过使电源/模式开关3滑动 并与"重放位置"或"摄影位置"一致而使电源接通，通过使电源/模式开关3滑动并与"断 开位置"一致而使电源断开。并且，通过使电源/模式开关3滑动并与"重放位置" 一致而 设定为"重放模式"，通过使电源/模式开关3滑动并与"摄影位置"一致而设定为"摄影模 式"。
[0069] 模式拨盘4作为对立体摄像装置10的摄影模式进行设定的摄影模式设定单元而 发挥功能，通过该模式拨盘的设定位置，将立体摄像装置10的摄影模式设定为各种各样的 模式。例如，进行平面图像的摄影的"平面图像摄影模式"、进行立体图像（3D图像）的摄影 的"立体图像摄影模式"、进行动画摄影的"动画摄影模式"等。
[0070] 3D液晶显示器30是能够利用视差屏障将立体图像（左眼图像以及右眼图像）显 示作分别具有预定的指向性的指向性图像的立体显示单元。在将立体视图像输入到3D液 晶显示器30的情况下，使3D液晶显示器30的视差屏障显示层产生由将透光部和遮光部交 替地以预定的间距排列而成的图案构成的视差屏障，并且表示左右图像的长条状的图像片 段交替地排列显示于该视差屏障的下层的图像显示面。在作为平面图像、用户界面显示面 板进行利用的情况下，在视差屏障显示层上什么也不显示，在其下层的图像显示面上直接 显示1张图像。另外，3D液晶显示器30的方式不限于此，只要将左眼图像以及右眼图像以 能够作为立体图像进行识别的方式显示，则也可以是使用柱面透镜的方式、通过佩戴偏光 眼镜、液晶快门眼镜等专用眼镜而能够个别地观察左眼图像和右眼图像的方式。
[0071] 变焦按钮5作为指示变焦的变焦指示单元而发挥功能，由对向远摄侧的变焦进行 指示的长焦按钮5T和对向广角侧的变焦进行指示的广角按钮5W构成。在摄影模式时，立 体摄像装置10通过对该长焦按钮5T和广角按钮5W进行操作，而使摄影镜头12的焦距变 化。另外，在重放模式时，通过对该长焦按钮5T和广角按钮5W进行操作，而将重放中的图 像放大、缩小。
[0072] 十字按钮6是输入上下左右这4方向的指示的操作部，作为从菜单画面选择项目 或从各菜单指示各种设定项目的选择的按钮（光标移动操作单元）而发挥功能。左/右键 作为重放模式时的幅进给（正方向/反方向进给）按钮而发挥功能。
[0073] 菜单/确定按钮7是兼备用于进行在3D液晶显示器30的画面上显示菜单的指令 的菜单按钮的功能和作为对选择内容的确定以及执行等进行指示的确定按钮的功能的操 作键。
[0074] 重放按钮8是用于切换为重放模式的按钮，该重放模式在3D液晶显示器30上显 示所摄影记录的立体图像（3D图像）、平面图像（2D图像）的静止图像或动画。
[0075] 返回按钮9作为对输入操作的取消、返回到前一个操作状态进行指示的按钮而发 挥功能。
[0076][摄影光学系统、摄像元件的结构例]
[0077] 摄影镜头12是由包含聚焦透镜、变焦透镜的多个的透镜构成的摄像光学系统。在 摄影模式时，表示被摄体的图像光经由摄影镜头12而成像于摄像元件16的受光面。
[0078] 图3是对摄像元件16的结构例进行表示的图。
[0079] 摄像元件16作为具有视差的图像（多个视点图像）检测用的CCD图像传感器而构 成，具有分别排列为矩阵状的奇数行的像素（称作主像素、A面像素）和偶数行的像素（称 作副像素、B面像素），由这些主、副像素分别进行光电转换而成的两画面量的图像信号（多 个视点图像）能够独立读出。
[0080] 如图3所示，在摄像元件16的奇数行（1、3、5、…），具备R(红）、G(绿）、B(蓝） 滤色器的像素中的GRGR…的像素排列的行和BGBG…的像素排列的行交替地设置，另一方 面，偶数行（2、4、6、…）的像素中，与奇数行同样地，GRGR…的像素排列的行和BGBG···的像 素排列的行交替地设置，并且相对于偶数行的像素，像素彼此向行方向偏离二分之一的间 距而配置。
[0081] 图4是作为相位差图像传感器而发挥功能的摄像元件16的主要部分放大图。
[0082] 如图4(a)所示，在摄像元件16的主像素的光电二极管的前表面侧（微透镜L 侦D配置遮光构件16A，另一方面，如图4(b)所示，在副像素的光电二极管ro的前表面侧配 置遮光构件16B。微透镜L以及遮光构件16A、16B具有作为光瞳分割单元的功能，如图4 (a) 所示，遮光构件16A对主像素（光电二极管PD)的受光面的左一半进行遮光。因此，在主像 素，仅通过摄影镜头12的出射光瞳的光束的光轴的左侧接收光。另外，如图4(b)所示，遮 光构件16B对副像素（光电二极管PD)的受光面的右一半进行遮光。因此，在副像素，仅通 过摄影镜头12的出射光瞳的光束的光轴的右侧接收光。如此，利用作为光瞳分割单元的微 透镜L以及遮光构件16A、16B，通过出射光瞳的光束被沿左右分割，并分别向主像素、副像 素入射。
[0083] 另外，在与通过摄影镜头12的出射光瞳的光束中的左一半的光束对应的被摄体 图像和与右一半的光束对应的被摄体图像中，焦点对齐的部分成像于摄像元件16上的相 同的位置，但是向前跑焦或向后跑焦的部分分别向摄像元件16上的不同的位置入射（相位 偏离）。由此，能够取得与左一半的光束对应的被摄体图像和与右一半的光束对应的被摄 体图像作为视差不同的视差图像（左眼图像、右眼图像）。另外，本实施方式的摄像元件16 是C⑶图像传感器，但是不限于此，也可以是CMOS型的图像传感器。
[0084] [立体摄像装置的内部结构]
[0085] 图5是对上述立体摄像装置10的内部结构的实施方式进行表示的框图。该立体 摄像装置10将所拍摄的图像记录于存储卡54,装置整体的动作由中央处理装置（CPU) 40统 一控制。
[0086] 在立体摄像装置10设有快门按钮、模式拨盘、重放按钮、菜单/确定键、十字键、变 焦按钮、返回键等的操作部38。来自该操作部38的信号向CPU40输入，CPU40基于输入信 号对立体摄像装置10的各电路进行控制，例如，进行镜头驱动控制、光圈驱动控制、摄影动 作控制、图像处理控制、图像数据的记录/重放控制、3D液晶显示器30的显示控制等。在操 作部38设有用于由用户设定视差校正的视差量设定部。
[0087] 当利用电源/模式开关3将立体摄像装置10的电源接通时，从未图示的电源部向 各块供电，开始立体摄像装置10的驱动。
[0088] 摄影镜头12是由多个透镜构成的摄像光学系统。光圈14例如由5片光圈叶片构 成，利用光圈驱动部34,例如将光圈值（F值）连续地或阶段性地光圈控制至F2?F8。通过 了摄影镜头12、光圈14等的光束成像于摄像元件16,在摄像元件16上存储信号电荷。存 储于摄像元件16的信号电荷基于从摄像元件控制部32施加的读出信号而作为与信号电荷 对应的电压信号读出。从摄像元件16读出的电压信号向模拟信号处理部18施加。
[0089] 模拟信号处理部18对于从摄像元件16输出的电压信号，通过相关双采样处理 (以减轻摄像元件16的输出信号中所包含的噪声（特别是热噪声）等为目的，通过取得在 摄像元件16的每1像素的输出信号中所包含的馈通（feedthrough)成分电平与像素信号 成分电平之差而得到准确的像素数据的处理）对各像素的R、G、B信号进行采样保持，被放 大后向A/D转换器20施加。A/D转换器20将顺次输入的R、G、B信号转换为数字的R、G、B 信号而向图像输入控制器22输出。
[0090] 数字信号处理部24对经由图像输入控制器22输入的数字的图像信号，进行偏移 处理、包含白平衡校正、灵敏度校正的增益/控制处理、伽玛校正处理、去马赛克算法处理、 YC处理及边缘增强处理等预定的信号处理。
[0091] 在此，从摄像元件16的奇数行的主像素读出的主图像数据作为左眼图像数据而 被处理，从偶数行的副像素读出的副图像数据作为右眼图像数据而被处理。
[0092] 由数字信号处理部24处理后的左眼图像数据以及右眼图像数据（3D图像数据） 向VRAM50输入。在VRAM50包含分别记录表示1幅量的3D图像的3D图像数据的A区域和 B区域。在VRAM50中，表示1幅量的3D图像的3D图像数据在A区域和B区域中被交替地 重写。从VRAM50的A区域以及B区域中的重写3D图像数据的一方的区域以外的区域读出 所写入的3D图像数据。
[0093] 从VRAM50读出的3D图像数据在视频编码器28中被编码，并向设于照相机背面的 3D液晶显示器30输出，由此在3D液晶显示器30的显示画面上连续地显示3D的被摄体图 像。
[0094] 当存在操作部38的快门按钮2的第一阶段的按下（半按压）时，CPU40以如下方 式进行控制：开始AF动作以及AE动作，经由镜头驱动部36使聚焦透镜沿光轴方向移动，使 聚焦透镜到达对焦位置。
[0095] AF处理部42是进行对比度AF处理或相位差AF处理的部分。在进行对比度AF处 理的情况下，提取左眼图像以及右眼图像的至少一方的图像中的预定的聚焦区域内的图像 的高频成分，对该高频成分进行积分，从而算出表示对焦状态的AF评价值。以该AF评价值 变得极大的方式对摄影镜头12内的聚焦透镜进行控制，从而进行AF控制。另外，在进行相 位差AF处理的情况下，对与左眼图像以及右眼图像中的预定的聚焦区域内的主像素、副像 素对应的图像的相位差进行检测，基于表示该相位差的信息而求算散焦量。以该散焦量成 为零的方式对摄影镜头12内的聚焦透镜进行控制，从而进行AF控制。
[0096] CPU40根据来自变焦按钮5的变焦指令而经由镜头驱动部36使变焦透镜沿光轴方 向进行进退动作，而使焦距变更。
[0097] 另外，在半按压快门按钮2时从A/D转换器20输出的图像数据被读入到AE检测 部44。
[0098] 在AE检测部44中，对画面整体的G信号进行累计，或对在画面中央部和周边部附 加了不同的权重后的G信号进行累计，并将其累计值向CPU40输出。CPU40利用从AE检测 部44输入的累计值来算出被摄体的亮度（摄影Εν值），基于该摄影EV值，按照预定的程序 线图来确定光圈14的F值以及摄像元件16的电子快门（快门速度）。
[0099] 另外，在图5中，标注了附图标记46的要素是用于对摄影视角内的人物的脸部进 行检测并将包括该脸部的区域设定作AF区域、ΑΕ区域的公知的脸部检测电路（例如，参照 日本特开平9-101579号公报）。
[0100] 另外，标注了附图标记47的要素是除了存储照相机控制程序、摄像元件16的 缺陷信息、用于图像处理等的各种参数、表之外还存储用于对本发明所涉及的左眼图像 以及右眼图像的立体感进行校正（视差校正）的图像处理程序、滤光系数计算用的计算 式或查找表、与视差、视差增强的程度对应的计算式的参数或用于确定查找表的信息的 ROM(EEPROM)。另外，对于本发明所涉及的图像处理程序等的详细内容，留作后述。
[0101] 当通过快门按钮2的半按压而AE动作以及AF动作结束并存在快门按钮的第二阶 段的按下（全按压）时，将响应于该按下而从A/D转换器20输出的与主像素以及副像素对 应的左视点图像（主图像）以及右视点图像（副图像）的2张量的图像数据从图像输入控 制器22向存储器（SDRAM) 48输入，并临时存储。
[0102] 临时存储于存储器48的2张量的图像数据由数字信号处理部24适当读出，在此， 进行包含去马赛克算法处理（对与原色滤光片的排列相伴的颜色信号的空间性偏离进行 插值而以去马赛克的方式转换颜色信号的处理）、本发明所涉及的视差校正及边缘增强的 图像处理以及YC处理（图像数据的亮度数据以及色差数据的生成处理）在内的预定的信 号处理，被YC处理后的图像数据（YC数据）再次存储于存储器48。
[0103] 存储于存储器48的2张量的YC数据分别向压缩扩展处理部26输出，在执行 JPEG(joint photographic experts group:联合图像专家小组）等的预定的压缩处理后， 再次存储于存储器48。由存储于存储器48的2张量的YC数据（压缩数据）生成多图像文 件（MP文件：将多个图像连接的格式的文件），该MP文件由介质控制器52读出，并记录于 存储卡54。
[0104] 另外，立体摄像装置10不仅能够取得立体图像（3D图像），而且也能够取得平面图 像（2D图像）。
[0105] [视差校正的原理]
[0106] 接下来，对本发明所涉及的图像处理方法中的视差校正的原理进行说明。
[0107] 图6表示由摄像元件16通过光瞳分割的摄像而生成的视点不同的左眼图像60L 以及右眼图像60R的例子。附图标记61是近距离的物体图像，附图标记62是中距离的物 体图像，附图标记63是远距离的物体图像。左眼图像60L与右眼图像60R之间的相同的附 图标记的物体图像的视差方向（是图中的左右方向）上的偏离量（附图标记61的物体图 像彼此的视差方向上的偏离量、附图标记62的物体图像彼此的视差方向上的偏离量、附图 标记63的物体图像彼此的视差方向上的偏离量）与实际的视差相当。
[0108] 大致的流程是以下的[1]视差计测以及[2]视差校正。
[0109] [1]视差计测：在所取得的多个视点图像（通过光瞳分割方式的摄像而生成的视 点不同的左眼图像60L以及右眼图像60R)间，通过相关运算进行块匹配而算出视差（称作 "视差量"）。
[0110] [2]视差校正：基于多个视点图像（左眼图像60L以及右眼图像60R)的所算出的 视差和与该所算出的视差对应的视差校正信息，对所算出的视差校正与实际的物体图像的 视差方向上的偏离量相应的量（实际的视差）。
[0111] 作为视差计测的方法，已知有相关法。例如能够对在X方向上是15像素、在y 方向上是1像素那样的内核进行扫描，通过找出像素值之差的平方和最小的部位来进行 匹配。视差的计测结果能够以越远越亮、越近越暗那样的单色图像（距离图像）进行表 示。也能够进行以子像素为单位的视差的测定，对于详细的方法，在新井等所著的"图像的 块匹配中的相关函数和副像素推定方式的最优化（信息处理学会研究报告，卷：2004，号： 40 (CVM-144)，页：33-40) " 等中被记载。
[0112] 在视差计测中，通常存在如下问题：进行块匹配并使用相关性算出的视差的值与 人所感知的视差的值，存在稍微的差异。
[0113] 对于该问题，使用图7?图12进行说明。
[0114] 如图7所示，在由摄像元件16利用光瞳分割方式对存在于与完美对焦位置相比更 近的位置上的点光源进行摄像的情况下，向该摄像元件16的摄像面16C赋予圆形状的模糊 的点光源的光图像。
[0115] 假若，如图8所示，在利用以往的摄像元件96以通常的摄像（非光瞳分割方式的 摄像）对点光源进行摄像的情况下，如赋予于摄像面的那样，被拍摄作圆形状的模糊的点 光源图像。
[0116] 可是，在如图9所示，在利用本例的摄像元件16进行光瞳分割方式的摄像的情况 下，被拍摄为半月形状的模糊的点光源图像。图10表示以光瞳分割方式对存在于与完美对 焦位置相比更近的位置上的点光源进行摄像而得到的左眼图像71L以及右眼图像71R的例 子。图11表示以光瞳分割方式对存在于与完美对焦位置相比更远的位置上的点光源进行 摄像而得到的左眼图像72L以及右眼图像72R的例子。
[0117] 在此，以图10所示的情况（以光瞳分割方式对与完美对焦位置相比更近的点光源 进行摄像的情况）为例，使用图12,将利用相关性算出的视差和人所感知的视差进行对比 而对问题点进行说明。
[0118] 如图12所示，假若在点光源存在于完美对焦位置的情况下，如由附图标记12A所 示地得到理想的脉冲形状的图像信号，但是在点光源存在于与完美对焦位置相比更近之处 的情况下，如由附图标记12B所示地得到存在视差的左眼图像71L以及右眼图像71R。
[0119] 假定，设进行块匹配而算出视差，并使右眼图像71R在X轴方向上移动与该所算出 的视差相应的量。这样一来，如由附图标记12C所示地，存在左眼图像71L的像素值的峰位 置和右眼图像71R的像素值的峰位置不一致的情况。即，不一定如由附图标记12D所示那 样左眼图像71L的像素值的峰位置和右眼图像71R的像素值的峰位置一致。这意味着进行 块匹配并利用相关性算出的视差（计算视差）和人所感知的视差（由峰位置的偏离量所表 示的物体图像的视差方向上的偏离量）存在稍微的差异。
[0120] 可是，假若当通过图像处理利用运算对峰位置的偏离量进行检测时，实际的摄影 场景中并不一定存在点光源，存在难以检测视差的情况，因此实际上，进行块匹配并利用相 关性来算出视差为优选。
[0121] 这样一来，使用如由附图标记80所示地以作为计测结果的计算视差（视差量）为 输入参数而输出用于对该计算视差进行校正的校正量（是附图标记12C的偏离量d)那样 的查找表（或计算式）为优选。
[0122] 另外，图12中，以使用表示计算视差与该计算视差的校正量（计算视差和峰位置 的偏离量之差）的对应关系的视差校正信息（查找表或计算式）的情况为例而进行了说 明，但是该视差校正信息也能够称作间接地表示计算视差和峰位置的偏离量（是实际的物 体图像的视差方向上的偏离量）的对应关系。也可以使用直接地表示了计算视差和峰位置 的偏离量的对应关系的视差校正信息（查找表或计算式）。
[0123] 图13是表示本实施方式中的CPU40以及存储器48 (存储单元）的功能性内部结 构例的框图。
[0124] 在图13中，存储器48存储视差校正信息，该视差校正信息表示利用通过光瞳分 割来拍摄点光源而生成的多个视点的点光源图像中的点光源图像间的相关性算出的视差 (计算视差）和点光源图像间的像素值的峰位置的偏离量（实际的物体图像的视差方向上 的偏离量）的关系。换言之，视差校正信息表示通过光瞳分割对任意的被摄体进行摄像而 生成的多个视点图像的视点图像间的计算视差与多个视点图像的视点图像间的像素值的 峰位置的偏离量（实际的物体图像的视差方向上的偏离量）之间的关系。
[0125] 以下，本例的存储器48存储将计算视差和校正量d(计算视差和峰位置的偏离量 之差）建立对应而成的查找表（或者函数的计算式）作为视差校正信息。
[0126] CPU40具备：视差计算单元40a，利用相关性算出由摄像元件16以光瞳分割方式 的摄像生成的多个视点图像中的视点图像间的视差（计算视差）；视差校正单元40b，基于 由视差计算单兀40a算出的计算视差和存储于存储器48的视差校正/[目息，对计算视差校正 与峰位置的偏离量（实际的物体图像的视差方向上的偏离量）相应的量；及视差增强单元 40c，使由视差校正单元40b校正后的多个视点图像的视差增加。本例的视差校正单元40b 基于存储于存储器48的查找表（或函数的计算式），取得用于对利用相关性算出的计算视 差进行校正的校正量，并基于该取得的校正量，对计算视差校正与峰位置的偏离量相应的 量。
[0127] 另外，也可以在存储器48存储将计算视差和峰位置的偏离量直接建立对应而成 的查找表（或者函数的计算式）作为视差校正信息。在该情况下，视差校正单元40b基于 视差校正信息，对计算视差直接校正与峰位置的偏尚量相应的量。
[0128] 如上所述，本实施方式的立体摄像装置10具备：第一视差量计算单元（视差计算 单元40a)，算出多个视点图像的视点图像间的第一视差量（计算视差）；存储单元（存储器 48)，存储视差校正信息，该视差校正信息表示第一视差量与由光瞳分割的摄像引起的多个 视点图像的视点图像间的所对应的实际的物体图像的视差方向上的偏离量之间的关系；第 二视差量计算单元（视差校正单元40b)，基于第一视差量和存储于存储单元（存储器48) 的视差校正信息，算出对第一视差量校正了与实际的物体图像的视差方向上的偏离量相应 的量后的第二视差量；及视差增强单元40c，使由第二视差量计算单元（视差校正单元40b) 算出的多个视点图像的第二视差量增加。
[0129] 另外，在本例中，利用相关法的运算处理来进行视点图像间的匹配（对应关系的 取得）而算出第一视差量，但是，本发明包括使用相关法以外的运算处理来进行视点图像 间的特征点彼此的匹配而算出第一视差量的情况。另外，在本例中，对第一视差量校正与峰 位置的偏离量相应的量，但是本发明包括作为表示峰位置的偏离量以外的实际的物体图像 的视差方向上的偏离量的信息而算出第二视差量的情况。
[0130] 作为视点图像间的匹配的其他实施例，可列举KLT(Kanade Lucas Tomasi)算法、 SIFT(Scale_Invariant Feature Transform:尺度不变特征变换）算法等的匹配。在使用 了 KLT算法、SIFT算法的情况下，从多个视点图像提取适于匹配的特征点，在视点图像间进 行特征点彼此的匹配。在图像整体的亮度存在间隙（gap)的情况下，KLT法与相关法相比 鲁棒（robust)性高。SIFT法虽然比较耗费处理时间，但是具有也能够应对图像的旋转、放 大缩小的优点。因此，优选为，根据处理速度、摄像场景的多样性等而选择适当的运算方法。 即使在使用了 KLT算法、SIFT算法的情况下，在通过视点图像间的特征点彼此的匹配的运 算处理而算出的计算视差和实际的物体图像的视差方向上的偏离量也产生差异，因此优选 为，适用本发明，对计算视差校正与实际的物体图像的视差方向上的偏离量相应的量。
[0131] [相关性的例子]
[0132] 作为在相关性中使用的函数，例如存在平方和（SSD)。即，将两视点图像的块之间 的一致度的评价值作为左眼图像的关注块的各像素值L(i，j)和右眼图像的关注块的各像 素值R(i，j)之差的平方和Σ {L(i，j) - R(i，j))}2而算出。在本例中，示出作为块之间的 一致度的评价值的平方和越小，则块之间的一致度越高。
[0133] 另外，一致度的评价值的计算不限于平方和（SSD)。例如，可列举总和（SAD)、互相 关性（CC)、标准化互相关性（NCC)等。
[0134] 本发明中的相关性不限于上述的例子。能够使用通过在多个视点图像间进行块匹 配而对图像间的相关关系以像素或子像素为单位进行分析而算出视差的各种各样的方法 (相关法）。
[0135] [计算视差和校正量的对应关系]
[0136] 图14是表示在与完美对焦位置相比更近且距立体摄像装置10的距离不同的多个 位置上放置点光源并在各位置上利用光瞳分割方式对点光源进行摄像而得到的多个视点 图像（多个视点的点光源图像）的例子。在本例中，在与完美对焦位置相比更近的位置上 放置点光源，因此越接近立体摄像装置10,则计算视差越大，点光源的模糊形状越变大。第 一多个视点图像（第一左眼图像101L以及第一右眼图像101R)中，计算视差是2. 64像素， 像素值的峰位置的偏离量是2. 78像素，视差校正量是0.14像素。第二多个视点图像（第 二左眼图像102L以及第二右眼图像102R)中，计算视差是4. 66像素，像素值的峰位置的偏 尚量是4. 89像素，视差校正量是0. 23像素。第二多个视点图像（第二左眼图像103L以及 第三右眼图像103R)中，计算视差是7. 90像素，像素值的峰位置的偏离量是8. 19像素，视 差校正量是〇. 29像素。
[0137] 在此，计算视差是表示左眼图像中的点光源的图像的位置与右眼图像中的点光源 的图像的位置之间的偏离量的视差，是利用左眼图像中的点光源的图像和右眼图像中的点 光源的图像的相关性算出的视差。像素值的峰位置的偏离量（实际的物体图像的视差方向 上的偏离量）是左眼图像中的像素值的峰位置与右眼图像中的像素值的峰位置之间的偏 离量，表示与实际的点光源像的偏离量相应的量。视差校正量是计算视差与像素值的峰位 置的偏尚量之差。
[0138] 如图14所示，在将点光源放置得与完美对焦位置相比更近的情况下，放置点光源 的位置越近，则计算视差越变大，图像中的点光源的像的尺寸越变大，作为计算视差与像素 值的峰位置的偏离量之差的视差校正量也越变大。另外，在将点光源放置得与完美对焦位 置相比更远的情况下，放置点光源的位置越远，则计算视差越变大，图像中的点光源的像的 尺寸越变大，作为计算视差与像素值的峰位置的偏离量之差的视差校正量也越变大。
[0139] 图15是表示计算视差与视差校正量的对应关系的例子的曲线图。如使用图14而 说明的那样，将点光源放置在远近不同的多个位置，在放置了该点光源的每个位置利用光 瞳分割方式对点光源进行摄像，求算利用相关性算出的视差（计算视差）与像素值的峰位 置的偏离量（实际的物体图像的视差方向上的偏离量）之差即视差校正量，通过插值处理， 作为对任意的每个视差表示视差校正量的信息，而生成该曲线图。
[0140] 如图14所示，视差校正量相对于利用相关性算出的视差（计算视差）具有一定的 相关关系。预先实测而求算计算视差与视差校正量的关系，并作为查找表（LUT)而存储。也 可以将计算视差与视差校正量的关系设为函数，将利用相关性算出的视差设为参数，而算 出视差校正量。也可以通过模拟来算出视差校正量。另外，可以将计算视差与实际的物体 图像的视差方向上的偏离量之间的直接的关系作为查找表（LUT)而存储，也可以将计算视 差与实际的物体图像的视差方向上的偏离量之间的直接的关系设为函数。
[0141] 在本例中，多个视点图像由具有排列有多个光电转换元件的摄像面16C的摄像元 件16以光瞳分割进行摄像，存储器48对应摄像元件16的摄像面16C中的不同的每个位置 而存储视差校正信息，视差计算单元40a (第二视差量计算单元）从存储器48取得与多个 视点图像内的位置对应的、摄像元件16的摄像面16C的每个位置的视差校正信息，并基于 该取得的视差校正信息对计算视差进行校正。
[0142] [彩色信道与视差校正量的关系]
[0143] 图16是表示每个彩色信道的计算视差与视差校正量的对应关系的例子的曲线 图。如图16所示，对应每个彩色信道，计算视差与视差校正量的对应关系不同。
[0144] 在此，彩色信道是与摄像元件16的像素所具备的滤色器的各颜色（R、G、B)对应 的、视点图像内的同色像素的系列。
[0145] 排列于摄像元件16的摄像面16C的带滤色器的光电转换元件通常在R、G、B中 B(蓝）的折射率最高，因此在摄像图像（多个视点图像）中，B信道（B像素系列）处的模 糊形状的尺寸与R信道、G信道处的模糊形状的尺寸相比变大。因此，当对应每个彩色信道 (对应各R、G、B)算出计算视差与像素值的峰的偏离量之差（视差校正量）时，所算出的差 (视差校正量）的绝对值通常为R < G < B。
[0146] 因此，本例的存储器48对应每个彩色信道存储用于输出视差校正量的查找表（或 函数）。视差校正量是对应每个彩色信道利用相关性算出的点光源的视差（计算视差）与 对应每个彩色信道算出的像素值的峰位置的偏离量（实际的物体图像的视差方向上的偏 离量）之差。即，存储器48对应拍摄多个视点图像的摄像元件16的像素的颜色（光电二 极管ro所具备的滤色器的颜色）而存储查找表（或函数）。
[0147] 本例的视差校正单元40b对应每个彩色信道从存储器48取得利用相关性算出的 点光源的视差（计算视差）与像素值的峰位置的偏离量（实际的物体图像的视差方向上的 偏离量）之差（视差校正量），基于该取得的差，对应每个彩色信道，对多个视点图像中的视 差（计算视差）进行校正。
[0148] 由此，即使对应每个彩色信道而折射率不同，也能够以适当的校正量来校正视差。
[0149] 另外，本例不限于如上所述地对应每个彩色信道进行视差校正的情况，也可以将 与亮度的相关性最大的G信道的信息（计算视差与实际的物体图像的视差方向上的偏离量 的对应关系）预先存储于存储器48,基于该G信道的信息，进行其他彩色信道的视差校正。
[0150] [画面内的位置与视差校正量的关系]
[0151] 图17是用于说明画面内的位置、计算视差和峰位置的偏离量的关系的说明图，是 表示以光瞳分割对点光源进行摄像而得到的左眼图像以及右眼图像的说明图。图18是表 示画面内的每个位置（中心、端部）的计算视差与视差校正量的对应关系的例子的曲线图。
[0152] 在此，画面内的位置是与摄像元件16的排列有光电转换元件的摄像面16C对应的 画面，是与摄像图像（视点图像）的整个区域相当的画面。
[0153] 在摄像元件16的摄像面16C排列的光电转换元件（光电二极管PD)在摄像面的 中心和端部中光的入射角度不同。因此，通常，在与摄像元件16的摄像面16C对应的摄像 图像的整个区域中，中心位置处的点光源的图像的模糊形状和左右的两端位置处的点光源 的模糊形状不同。
[0154] 因此，本例的存储器48对应画面内的每个位置而存储输出视差校正量的查找表 (或函数）。即，存储器48对应拍摄多个视点图像的摄像元件16的摄像面中的每个不同的 位置而存储查找表（或函数）。视差校正量是对应画面的每个位置利用相关性算出的点光 源的视差（计算视差）与对应画面的每个位置所算出的像素值的峰位置的偏离量（实际的 物体图像的视差方向上的偏离量）之差。即，存储器48对应摄像图像的整个区域中的每个 预定的位置而存储视差校正量。在此，预定的位置只要是画面内的两部位以上的位置即可。 例如，也可以仅将画面的中心的位置上的视差校正量和左右的两端的位置上的视差校正量 存储于存储器48。
[0155] 本例的视差校正单元40b从存储器48读出对应画面内的每个位置的视差校正量， 基于该读出的差，对应画面内的每个位置对多个视点图像中的计算视差进行校正。
[0156] 由此，即使光的入射角度根据摄像元件16的摄像面16C内的位置而不同，从而模 糊形状根据与摄像图像对应的画面内的位置而不同，也能够以适当的校正量来校正视差。
[0157] 另外，在图18中，仅对画面中心和画面端部进行了例示，但是画面内的位置的数 量不特别地限定。为了提高精度，可以对应画面内的多个（例如16个部位）位置的各个位 置，利用查找表或者函数对视差校正量进行管理。
[0158] 另外，为了以简单的处理进行视差校正量的管理以及校正，也可以在画面内沿左 右方向分割为长条状的多个区域，根据是哪一个区域而对视差校正量进行切换。其中，从提 高校正的精度的观点出发，优选为，根据是画面内的左右方向上的哪一个位置，而平滑地对 视差校正量进行切换。
[0159] [与光圈值（F值）的关系]
[0160] 另外，优选为，根据F值来变更视差校正。在该情况下，存储器48对应摄影光学系 统11的每个F值而存储视差校正量，视差校正单元40b将使用摄影光学系统11拍摄到多 个视点图像时的F值作为参数，从存储器48读出视差校正量，基于该读出的视差校正量，对 多个视点图像中的计算视差进行校正。
[0161] [视差增强]
[0162] 图19是表示进行视差增强的情况下的图像处理例的流程的流程图。
[0163] 另外，预先对应点光源的每个视差将利用光瞳分割对点光源进行摄像而得到的多 个视点的点光源图像（左眼图像、右眼图像）中的利用相关性算出的点光源的视差与像素 值的峰位置的偏离量之差作为视差校正量而存储于存储器48。
[0164] 首先，取得以光瞳分割拍摄有任意的被摄体的多个视点图像（左眼图像、右眼图 像）（步骤S11)。在此，设为多个视点图像不包含点光源作为被摄体。
[0165] 接下来，利用相关性算出所取得的多个视点图像中的视差（步骤S12)。
[0166] 接下来，从存储器48读出与多个视点图像中的利用相关性算出的视差对应的视 差校正量，并基于该读出的视差校正量，对多个视点图像中的上述利用相关性算出的视差 进行校正（步骤S13)。
[0167] 接下来，执行使所校正后的多个视点图像的视差增加的视差增强（步骤S14)。
[0168] [生成多视点图像]
[0169] 图20是表示进行多视点图像生成的情况下的图像处理例的流程的流程图。
[0170] 步骤S11?14与图19的图像处理例相同。
[0171] 在本例中，在步骤S15中，基于通过步骤S13校正后的多个视点图像的视差，生成 视点数量与在步骤S11中取得到的多个视点图像不同的多视点图像。
[0172] [相位差 AF]
[0173] 图21是对以往的相位差AF(自动对焦）处理例的流程进行表示的流程图，图22 是对适用了本发明的相位差AF处理例的流程进行表示的流程图。
[0174] 如图21所示，在以往的相位差AF处理中，当取得左右的相位差像素的信号时（步 骤S21)，利用相关性求算作为散焦量的视差（步骤S22)。例如，作为相关性，利用最小二乘 法，在预定的区域内对左右的相位差像素间的像素值之差的平方求算总和，将该总和为最 小的视差作为正解的散焦量。
[0175] 如图22所示，在本例的相位差AF处理中，当取得左右的相位差像素的信号时（步 骤S31)，利用相关性求算作为散焦量的视差而设为临时的正解（步骤S32)，将该临时的正 解作为参数并使用存储器48内的查找表而算出视差校正量（步骤S33)，将在由步骤S32求 出的临时的正解上加上视差校正量后的视差作为散焦量的正解（步骤S34)。
[0176] 如以上说明的那样，本发明所涉及的图像处理方法具备以下步骤：取得由光瞳分 割方式的摄像而生成的视点不同的多个视点图像；算出多个视点图像的视点图像间的第一 视差量；及将视差校正信息预先存储于存储器48,该视差校正信息表示第一视差量与由光 瞳分割方式的摄像引起的多个视点图像的视点图像间的所对应的实际的物体图像的视差 方向上的偏离量的关系，基于第一视差量和存储于存储器48的视差校正信息来算出对第 一视差量校正了与实际的物体图像的视差方向上的偏离量相应的量后的第二视差量。
[0177] 另外，在图21以及图22中，为了使得本发明的理解容易，示出了到求算散焦量为 止的流程，但实际上，还进行如下处理：基于算出的散焦量，使摄影光学系统11的聚焦透镜 沿摄影光学系统11的光轴方向移动，从而使聚焦透镜与目标被摄体对焦的处理。
[0178] 以上，以立体摄像装置（数码照相机）10为例说明了便携式电子设备，但是便携式 电子设备的结构不限于此。作为适用本发明的其他便携式电子设备，例如，可列举内置型或 外置型的PC用照相机或者如以下所说明的那样的具有摄影功能的移动终端装置。
[0179] 作为本发明所涉及的便携式电子设备的第二实施方式的移动终端装置，例如，可 列举移动电话、智能手机、PDA (Personal Digital Assistants :个人数字助理）、便携式游 戏机。以下，将智能手机列举为例，参照附图，详细地进行说明。
[0180] <智能手机的结构>
[0181] 图23是对作为本发明所涉及的便携式电子设备的其他实施方式的智能手机500 的外观进行表示的图。图23所示的智能手机500具有平板状的壳体502,并在壳体502的 一侧的面上具备显不输入部520,该显不输入部520是作为显不部的显不面板521与作为输 入部的操作面板522成为一体而成的。另外，壳体502具备扬声器531、麦克风532、操作部 540和照相机部541。另外，壳体502的结构不限于此，例如，也能够采用显示部和输入部独 立而成的结构，或者采用具有折叠结构、滑动机构的结构。
[0182] 图24是对图23所示的智能手机500的结构进行表示的框图。如图24所示，作 为智能手机的主要的结构要素，具备无线通信部510、显示输入部520、通话部530、操作部 540、照相机部541、存储部550、外部输入输出部560、GPS (Global Positioning System :全 球定位系统）接收部570、运动传感器部580、电源部590和主控制部501。另外，作为智能 手机500的主要的功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线 通信功能。
[0183] 无线通信部510根据主控制部501的指示而对收纳于移动通信网NW的基站装置 BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数 据等的收发、Web数据、流数据等的接收。
[0184] 显示输入部520是通过主控制部501的控制对图像（静止图像以及动态图像）、文 字信息等进行显示而视觉地向用户传递信息并检测对所显示的信息的用户操作的所谓操 作面板，具备显示面板521和操作面板522。
[0185] 显不面板 521 使用 LCD (Liquid Crystal Display :液晶显不器）、OELD (Organic Electro-Luminescence Display:有机发光显示器）等作为显示设备。操作面板522是载 置成能够对在显示面板521的显示面上显示的图像进行目视确认且对由用户的手指、尖笔 操作的一或多个坐标进行检测的设备。当通过用户的手指、尖笔来操作该设备时，因操作而 产生的检测信号向主控制部501输出。接下来，主控制部501基于所接收的检测信号而对 显示面板521上的操作位置（坐标）进行检测。
[0186] 如图23所示，智能手机500的显示面板521和操作面板522成为一体而构成显示 输入部520,但是成为操作面板522完全覆盖显示面板521那样的配置。在采用该配置的情 况下，操作面板522也可以具备对显示面板521以外的区域也检测用户操作的功能。换言 之，操作面板522也可以具备对于与显示面板521重叠的重叠部分的检测区域（以下，称作 显示区域）和对于除此以外的未与显示面板521重叠的外缘部分的检测区域（以下，称作 非显示区域）。
[0187] 另外，也可以使显示区域的大小和显示面板521的大小完全一致，但是没有必要 必须使两者一致。另外，操作面板522也可以具备外缘部分和除此以外的内侧部分这两个 感应区域。而且，对应于壳体502的大小等而适当设计外缘部分的宽度。而且，作为在操作 面板522采用的位置检测方式，列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线 方式、电磁感应方式、静电电容方式等，也能够采用任一个方式。
[0188] 通话部530具备扬声器531、麦克风532,将通过麦克风532输入的用户的声音转 换为能够由主控制部501处理的声音数据并向主控制部501输出，或者对由无线通信部510 或外部输入输出部560所接收到的声音数据进行解码而从扬声器531输出。另外，如图23 所示，也可以例如将扬声器531搭载于与设有显示输入部520的面相同的面。另外，能够将 麦克风532搭载于壳体502的侧面。
[0189] 操作部540是使用了键开关等的硬件键，接收来自用户的指示。例如，如图23所 示，操作部540是如下的按钮式的开关：搭载于智能手机500的壳体502的显示部的下部、 下侧面，当由手指等按下时接通，当松开手指时利用弹簧等的回复力而成为断开状态。
[0190] 存储部550存储主控制部501的控制程序、控制数据、应用软件、将通信对方的名 称、电话号码等建立对应而成的地址数据、所收发的电子邮件的数据、利用Web浏览下载到 的Web数据、下载到的内容数据，另外临时地存储流数据等。另外，存储部550由智能手机内 置的内部存储部551和装拆自如的具有外部存储器插槽的外部存储部552构成。另外，构 成存储部550的各个内部存储部551和外部存储部552使用闪存式（flash memory type)、 硬盘式（hard disk type)、微型多媒体卡式（multimedia card micro type)、卡式的存储 器（例如，Micro SD (注册商标）存储器等）、RAM (Random Access Memory :随机存取存储 器）、ROM (Read ony Memory :只读存储器）等存储介质而实现。
[0191] 外部输入输出部560起到与连接于智能手机500的所有的外部设备的接口的作 用，用于通过通信等（例如，通用串行总线（USB)、IEEE1394等）或网络（例如，因特网、无 线 LAN、蓝牙（Bluetooth(注册商标））、RFID(Radio Frequency Identification:无线射频 识别）、红外线通信（Infrared Data Association(红外数据协会）：IrDA)(注册商标）、 UWB (Ultra Wideband:超宽带）（注册商标）、紫蜂（ZigBee)(注册商标）等）而与其他外 部设备直接地或间接地连接。
[0192] 作为与智能手机500连接的外部设备，例如有：有/无线头戴式耳机、有/无线外 部充电器、有/无线数据端口、经由卡插座连接的存储卡（Memory card)、SIM(Subscriber Identity Module Card:客户识别模块卡）/UIM(User Identity Module Card:用户识别模 块卡）卡、经由音频/视频I/〇(Input/Output :输入/输出）端子而连接的外部音频/视 频设备、无线连接的外部音频/视频设备，有/无线连接的智能手机、有/无线连接的个人 计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部560能 够将从这样的外部设备接收了传送后的数据传递给智能手机500的内部的各结构要素、将 智能手机500的内部的数据传送给外部设备。
[0193] GPS接收部570根据主控制部501的指示而接收从GPS卫星ST1?STn发送的 GPS信号，执行基于所接收的多个GPS信号的测位运算处理，对该智能手机500的由纬度、经 度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部输入输出部 560 (例如，无线LAN)取得位置信息时，也能够使用该位置信息来对位置进行检测。
[0194] 运动传感器部580例如具备三轴加速度传感器等，根据主控制部501的指示，对智 能手机500的物理性移动进行检测。通过对智能手机500的物理性移动进行检测，检测智 能手机500移动的方向、加速度。该检测结果向主控制部501输出。
[0195] 电源部590根据主控制部501的指示，向智能手机500的各部供给存储于蓄电池 (未图示）的电力。
[0196] 主控制部501具备微处理器，根据存储部550所存储的控制程序、控制数据而进行 动作，对智能手机500的各部统一地进行控制。另外，主控制部501为了通过无线通信部510 进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处 理功能。
[0197] 应用处理功能通过主控制部501根据存储部550所存储的应用软件进行动作而实 现。作为应用处理功能，例如有对外部输入输出部560进行控制而进行与相向设备进行数 据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览网页的Web浏览功 能等。
[0198] 另外，主控制部501具备基于接收数据、所下载的流数据等的图像数据（静止图 像、动态图像的数据）而在显示输入部520显示影像等的图像处理功能。图像处理功能是 指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，而在显示输入部 520显示图像的功能。
[0199] 而且，主控制部501执行对于显示面板521的显示控制和对通过操作部540、操作 面板522进行的用户操作进行检测的操作检测控制。
[0200] 通过执行显示控制，主控制部501显示用于启动应用软件的图标、滚动条等软件 键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于对未完全收纳于显示面板 521的显示区域的较大的图像等接收使图像的显示部分移动的指示的软件键。
[0201] 另外，通过执行操作检测控制，主控制部501对通过操作部540进行的用户操作进 行检测，或者通过操作面板522接收对于上述图标的操作、对于上述窗口的输入栏的文字 列的输入，或者接收通过滚动条进行的显示图像的滚动请求。
[0202] 而且，通过执行操作检测控制，主控制部501具备如下的操作面板控制功能：判定 对于操作面板522的操作位置是与显示面板521重叠的重叠部分（显示区域）还是除此以 外的未与显示面板521重叠的外缘部分（非显示区域），并对操作面板522的感应区域、软 件键的显示位置进行控制。
[0203] 另外，主控制部501也能够检测对于操作面板522的手势操作，根据所检测出的手 势操作，执行预先设定的功能。手势操作并非以往的单纯的触摸操作，而是指通过手指等来 描绘轨迹或者同时指定多个位置，或者将这些组合，而从多个位置对于至少一个位置描绘 轨迹的操作。
[0204] 照相机部 541 是利用 CMOS (Complementary Metal Oxide Semiconductor :互补金 属氧化物半导体）、CCD (Charge-Coupled Device:电荷稱合元件）等摄像元件而进行电子 摄影的数码照相机。另外，照相机部541能够通过主控制部501的控制，将通过摄像得到的 图像数据转换为例如JPEG (Joint Photographic coding Experts Group :联合图像专家小 组）等压缩后的图像数据，并存储于存储部550,或通过外部输入输出部560、无线通信部 510而输出。在图23所示的智能手机500中，照相机部541搭载于与显示输入部520相同 的面，但是照相机部541的搭载位置不限于此，也可以搭载于显示输入部520的背面，或者， 也可以搭载多个照相机部541。另外，在搭载有多个照相机部541的情况下，能够对用于摄 影的照相机部541进行切换而单独地进行摄影，或者也能够同时使用多个照相机部541来 进行摄影。
[0205] 另外，照相机部541能够用于智能手机500的各种功能。例如，能够在显示面板 521显示由照相机部541取得到的图像、作为操作面板522的操作输入之一利用照相机部 541的图像。另外，在GPS接收部570对位置进行检测时，也能够参照来自照相机部541的 图像而对位置进行检测。而且，也能够参照来自照相机部541的图像，不使用三轴加速度传 感器，或者与三轴加速度传感器并用，而对智能手机500的照相机部541的光轴方向进行 判断、对当前的使用环境进行判断。当然，也能够在应用软件内利用来自照相机部541的图 像。
[0206] 除此之外，也能够在静止图像或动画的图像数据中附加由GPS接收部570取得到 的位置信息、由麦克风532取得到的声音信息（也可以利用主控制部等进行声音文本转换 而成为文本信息）、由运动传感器部580取得到的姿势信息等而记录于存储部550,或通过 外部输入输出部560、无线通信部510而输出。
[0207] 另外，本发明不限于本说明书中所说明的例子、附图所图示的例子，也可以在不脱 离本发明的要旨的范围内进行各种设计变更、改良，这是不言而喻的。
[0208] 附图标记说明
[0209] 10…立体摄像装置（图像处理装置）12…摄影镜头16…摄像元件30···ΙΧ? 40…CPU 40a…视差计算单元40b…视差校正单元40c…视差增强单元42…AF处理 部48…存储器500…智能手机
【权利要求】
1. 一种图像处理装置，具备： 图像获取单元，取得由光瞳分割的摄像而生成的视点不同的多个视点图像； 第一视差量计算单元，算出所述多个视点图像的视点图像间的第一视差量； 存储单元，存储有视差校正信息，所述视差校正信息表示所述第一视差量与由所述光 瞳分割的摄像引起的所述多个视点图像的视点图像间的所对应的物体图像的视差方向上 的偏离量之间的关系；及 第二视差量计算单元，基于所述第一视差量和存储于所述存储单元的视差校正信息， 算出对所述第一视差量校正了与所述物体图像的视差方向上的偏离量相应的量后的第二 视差量。
2. 根据权利要求1所述的图像处理装置，其中， 所述物体图像的视差方向上的偏离量是所述多个视点图像的视点图像间的、所述物体 图像的像素值的峰位置的偏离量， 所述第二视差量计算单元算出对所述第一视差量校正了与所述物体图像的像素值的 峰位置的偏离量相应的量后的第二视差量。
3. 根据权利要求1或2所述的图像处理装置，其中， 所述第一视差量计算单元利用相关性算出所述第一视差量。
4. 根据权利要求1?3中任一项所述的图像处理装置，其中， 所述多个视点图像由具有排列有多个光电转换元件的摄像面的摄像元件以光瞳分割 来进行摄像， 所述存储单元对应所述摄像元件的所述摄像面中的不同的每个位置而存储所述视差 校正信息， 所述第二视差量计算单元从所述存储单元取得与所述多个视点图像内的位置对应的、 所述摄像元件的所述摄像面的每个位置的所述视差校正信息，基于该取得的视差校正信息 来算出所述第二视差量。
5. 根据权利要求1?4中任一项所述的图像处理装置，其中， 所述存储单元对应所述视点图像的像素的每个彩色信道而存储所述视差校正信息， 所述第二视差量计算单元取得存储于所述存储单元的每个所述彩色信道的所述视差 校正信息，并基于该取得的视差校正信息，对应每个所述彩色信道算出所述第二视差量。
6. 根据权利要求1?4中任一项所述的图像处理装置，其中， 所述多个视点图像由包含绿色的像素在内的多个颜色的像素构成， 所述存储单元存储与所述绿色的像素对应的所述视差校正信息， 所述第二视差量计算单元基于存储于所述存储单元的与所述绿色的像素对应的所述 视差校正信息而取得与所述绿色的像素对应的所述视差校正信息，基于该取得的视差校正 信息，算出所述多个视点图像的所述绿色的像素以及所述绿色的像素以外的像素中的所述 第二视差量。
7. 根据权利要求1?6中任一项所述的图像处理装置，其中， 所述多个视点图像使用光圈值能够变化的摄影光学系统来进行摄像， 所述存储单元对应所述摄影光学系统的每个光圈值而存储所述视差校正信息， 所述第二视差量计算单元将使用所述摄影光学系统拍摄了所述多个视点图像时的所 述光圈值作为参数而取得所述视差校正信息，并基于该取得的视差校正信息来算出所述第 二视差量。
8. 根据权利要求1?7中任一项所述的图像处理装置，其中， 具备使由所述第二视差量计算单元算出的所述多个视点图像的所述第二视差量增加 的视差增强单元。
9. 根据权利要求1?8中任一项所述的图像处理装置，其中， 具备多视点图像生成单元，所述多视点图像生成单元基于由所述第二视差量计算单元 算出的所述第二视差量，生成视点数量与由所述图像获取单元取得的所述多个视点图像不 同的多视点图像。
10. 根据权利要求1?9中任一项所述的图像处理装置，其中， 所述第一视差量计算单元通过在所述视点图像间进行块匹配而以预定的像素单位或 者子像素单位算出表示一致程度的评价值，将所述评价值为最小的位置彼此的偏离量作为 所述第一视差量。
11. 根据权利要求10所述的图像处理装置，其中， 所述第一视差量计算单元通过求算所述视点图像间的像素值之差的平方和或所述视 点图像间的像素值之差的总和而算出所述评价值。
12. 根据权利要求1?11中任一项所述的图像处理装置，其中， 所述存储单元将所述视差校正信息作为查找表或者计算式而存储。
13. -种摄像装置，具备： 权利要求1?12中任一项所述的图像处理装置；及 进行光瞳分割方式的摄像的摄像单元。
14. 根据权利要求13所述的摄像装置，其中， 所述摄像单元具有包含聚焦透镜的摄影光学系统， 所述摄像装置具备自动对焦处理单元，所述自动对焦处理单元基于由所述第二视差量 计算单元算出的第二视差量，进行调节所述摄影光学系统的聚焦透镜的位置的控制。
15. -种图像处理方法，具备以下步骤： 取得由光瞳分割的摄像而生成的视点不同的多个视点图像； 算出所述多个视点图像的视点图像间的第一视差量；及 将视差校正信息预先存储于存储单元，所述视差校正信息表示所述第一视差量与由所 述光瞳分割的摄像引起的所述多个视点图像的视点图像间的所对应的物体图像的视差方 向上的偏离量之间的关系，基于所述第一视差量和存储于所述存储单元的视差校正信息来 算出对所述第一视差量校正了与所述物体图像的视差方向上的偏离量相应的量后的第二 视差量。
【文档编号】G02B7/28GK104221370SQ201380018241
【公开日】2014年12月17日 申请日期:2013年3月28日 优先权日:2012年3月29日
【发明者】井泽克俊 申请人:富士胶片株式会社