图像处理装置、摄像装置及图像处理装置的控制程序的制作方法
【技术领域】
[0001] 本发明涉及一种图像处理装置、摄像装置及图像处理装置的控制程序。
【背景技术】
[0002] 已知一种摄影装置，其利用单个摄像光学系统通过一次拍摄生成彼此具有视差的 左右视差图像。
[0003] 现有技术文献
[0004] 专利文献1 :日本特开2003-7994号公报
【发明内容】
[0005] 发明要解决的问题
[0006] 在专利文献1中公开了在单板式拜耳排列型的彩色固体摄像元件上布设有左开 口视差像素和右开口视差像素，能够由一台相机通过一次拍摄形成立体图像的摄像方式。 然而，专利文献1中关于拍摄而得到的图像特性未进行任何记载。因此，实际拍摄到的图像 数据具有怎样的模糊特性并不清楚，而且也不知道这是否会产生自然的模糊。实际上，由这 种摄像装置生成的左右视差图像的每一个中，水平方向与垂直方向上的模糊非对称，从而 造成了无法得到自然的模糊感觉的问题。
[0007] 解决问题的方案
[0008] 本发明第一方式中的图像处理装置包括：输入附有摄像信息的第一图像的机构； 基于摄像信息判断第一图像是否为如下图像的机构，该图像为使用了由具备具有如下开口 掩模的第一视差像素的像素排列构成的摄像元件的输出信号的、与开口掩模对应的视点方 向上的被拍摄体像的图像，其中，上述开口掩模以针对一个光学系统的入射光束使具有长 轴与短轴非对称的方向特性的部分光束通过的方式被定位；以及当摄像信息满足该条件 时，对第一图像的非对焦区域的被拍摄体像进行频率特性在长轴方向与短轴方向之间不同 的校正处理，并输出校正后的第一图像的机构。
[0009] 本发明的第二方式中的图像处理装置包括：输入附有摄像信息的第一图像的机 构；基于摄像信息判断第一图像是否是如下图像的机构，该图像是使用由至少具备具有第 一开口掩模的第一视差像素、具有第二开口掩模的第二视差像素和具有第三开口掩模的无 视差像素的像素排列构成的摄像元件，在分别不同的像素中对与将第一开口掩模对应的视 点方向上的被拍摄体像和与第二开口掩模对应的视点方向上的被拍摄体像和与第三开口 掩模对应的视点方向上的被拍摄体像同时进行拍摄得到的图像，其中，第一开口掩模和第 二开口掩模以针对一个光学系统的入射光束使具有长轴与短轴非对称的方向特性且互不 相同的部分光束通过的方式被定位，第三开口掩模以使全部入射光束通过的方式被定位； 当摄像信息满足该条件时，使用拍摄得到的图像的无视差像素、第一视差像素和第二视差 像素的信号，生成与第三开口掩模对应的视点方向上的基准图像的机构；以及对基准图像 的非对焦区域的被拍摄体像进行频率特性在长轴方向与短轴方向之间不同的校正处理，并 输出校正后的基准图像的机构。
[0010] 本发明的第三方式中的图像处理装置包括：图像取得部，取得与图像信息相关联 的输入视差图像数据，该图像信息是根据具有长度在两轴方向上不同的受光区域的像素的 输出而生成的；以及图像处理部，对基于与图像信息相关联的视差图像数据的图像实施滤 波，使得与两轴方向对应的第一轴方向和第二轴方向上的空间频率的变化量互不相同。
[0011] 本发明的第四方式中的摄像装置包括：输出视差图像数据的摄像元件；以及上述 任一图像处理装置。
[0012] 本发明的第五方式中的图像处理装置的控制程序使计算机执行：图像取得步骤， 取得与图像信息相关联的视差图像数据，该图像信息是根据具有长度在两轴方向上不同的 受光区域的像素的输出而生成的；图像处理步骤，对基于与图像信息相关联的视差图像数 据的图像实施滤波，使得与两轴方向对应的第一轴方向和第二轴方向上的空间频率的变化 量互不相同。
[0013] 另外，上述
【发明内容】
并未列举出本发明的全部可能特征，所述特征组的子组合也 有可能构成发明。
【附图说明】
[0014] 图1是说明数码相机10的结构的图。
[0015] 图2是说明摄像元件100的截面结构的图。
[0016] 图3是说明无视差像素中的离焦的示意图。
[0017] 图4是说明视差像素中的离焦的示意图。
[0018] 图5是表示无视差像素与视差像素的光强度分布的图。
[0019] 图6是说明当有两种视差像素时开口部104的开口形状的图。
[0020] 图7是用于说明模糊的非对称性的图。
[0021] 图8是表示视差图像及无视差图像与景深的关系的图。
[0022] 图9是用于说明滤波的图。
[0023] 图10是表示像素排列的一例的图。
[0024] 图11是表示位于非对焦区域的物点的点像分布的图。
[0025] 图12是表示像素排列的变例的图。
【具体实施方式】
[0026] 以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所 涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。
[0027] 作为摄像装置的一形态的本实施方式所述的数码相机被构成为针对一个场景进 行一次拍摄便能生成左视点及右视点的图像。将彼此视点各异的各个图像称为视差图像。
[0028] 图1为说明本发明实施方式所述的数码相机10的结构的图。数码相机10具有作 为拍摄光学系统的拍摄透镜20,将沿光轴21入射的被拍摄体光束引导至摄像元件100。拍 摄透镜20也可以是相对于数码相机10可装卸的更换式透镜。数码相机10具备：摄像元件 100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、 操作部208、显示部209、及LCD驱动电路210。
[0029] 另外，如图所示，将与朝向摄像元件100的光轴21平行的方向定为+Z轴方向，将 在与Z轴相垂直的平面中朝向纸背面的方向定为+X轴方向、将纸面上方向定为+Y轴。与 拍摄中的构图的关系成为：X轴是水平方向、Y轴是垂直方向。在此后的几个图中以图1的 座标轴为基准来表示座标轴，使得各个图的朝向易于理解。
[0030] 拍摄透镜20由多个光学透镜群构成，使来自于场景的被拍摄体光束在其焦平面 附近成像。另外，在图1中为了便于说明拍摄透镜20,以配置在光瞳附近的一片假想透镜 为代表进行表示。摄像元件100配置于拍摄透镜20的焦平面附近。摄像元件100是二维 排列有多个光电转换元件的例如CCD、CMOS传感器等图像传感器。详细内容以后说明，摄像 元件100包含具有长度在二轴方向上不同的受光区域的像素。此处，受光区域是指后述光 电转换元件实际接收到光的区域。使光电转换元件自身的纵横比各异地来形成该光电转换 元件，从而能够形成具有长度在二轴方向上不同的受光区域的像素。而且，由后述开口掩模 覆盖光电转换元件的一部分来限制入射到该光电转换元件的光，从而能够形成具有长度在 二轴方向上不同的受光区域的像素。摄像元件100由驱动部204进行定时控制，将在受光 面上成像的被拍摄体像转换成图像信号并输出给A/D转换电路202。输出给A/D转换电路 202的图像信号包含左视点及右视点的图像信号。
[0031]A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号输出给存 储器203。图像处理部205将存储器203作为工作空间实施各种图像处理，生成图像数据。 具体地，图像处理部205具有：图像数据生成部231、视差图生成部232、及滤波处理部233。
[0032] 图像数据生成部231例如生成左视点对应的左视差图像数据和右视点对应的右 视差图像数据。图像数据生成部231进一步地将表示左视差图像数据及右视差图像数据是 根据上述像素的输出而生成的这一意思的图像信息与该左视差图像数据及该右视差图像 数据相关联。图像数据生成部231例如将上述图像信息作为Exif信息与左视差图像数据 及右视差图像数据相关联。
[0033] 视差图生成部232生成关于左视点与右视点的视差的评价数据。详细内容将在以 后说明，但评价数据可以认为是表示与以对焦区域为基准的被拍摄体的进深相关的位置信 息的视差图数据。
[0034] 滤波处理部233例如根据上述视差图来对上述图像信息所关联的左视差图像数 据及右视差图像数据实施滤波。滤波的详细内容将在以后说明。
[0035] 图像处理部205另外还承担依照所选图像格式进行调整图像数据等图像处理的 一般功能。由图像处理部205生成的各种图像数据由LCD驱动电路210转换为显示