图像处理装置、摄像装置及图像处理程序的制作方法
【技术领域】
[0001] 本发明涉及图像处理装置、摄像装置及图像处理程序。
【背景技术】
[0002] 公知有如下摄像装置：使用单一摄影光学系统，通过一次拍摄生成彼此具有视差 的左右的视差图像。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1 :日本特开2003-7994号公报
【发明内容】
[0006] 在由这种摄像装置得到的左右的视差图像中，产生了彼此不同的明暗度 (shading)〇
[0007] 本发明的第1方式的图像处理装置的特征在于，具有：输入通过一个光学系统对 全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视 点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像 和第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波 器，由此分别生成第1平滑化图像和第2平滑化图像的机构；生成由基于第1平滑化图像的 值与第2平滑化图像的值之积的值构成的基准图像的机构；通过将基准图像的值除以第1 平滑化图像的值来生成第1增益分布数据的机构；基于第1增益分布数据对第1视点方向 的图像进行各像素的增益修正的机构；以及将进行增益修正后的第1视点方向的图像作为 用于立体显示的视差图像而输出的机构，平滑化滤波器是具有与在第1视点方向的图像与 第2视点方向的图像之间产生的视差量为相同程度的滤波直径的进行平滑化的滤波器。
[0008] 本发明的第2方式的图像处理装置的特征在于，具有：输入通过一个光学系统对 全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视 点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像 和第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波 器，由此分别生成第1平滑化图像和第2平滑化图像的机构；基于第1平滑化图像和第2平 滑化图像来生成基准图像的机构；通过将基准图像的值除以第1平滑化图像的值来生成第 1增益分布数据的机构；通过将基准图像的值除以第2平滑化图像的值来生成第2增益分 布数据的机构；基于第1增益分布数据对第1视点方向的图像进行各像素的增益修正的机 构；基于第2增益分布数据对第2视点方向的图像进行各像素的增益修正的机构；将进行 增益修正后的第1视点方向的图像和进行增益修正后的第2视点方向的图像合并并作为用 于立体显示的视差图像而输出的机构；以及通过使平滑化滤波器的滤波直径可变来调节用 于立体显示的视差图像之间的视差量的机构，使滤波直径在消除视差时缩向零、在保存视 差时与输入图像的两个视差像素之间能够产生的最大视差量为相同程度或扩大至其以上。
[0009] 本发明的第3方式的图像处理装置的特征在于，具有：图像数据获取部，其获取通 过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对 应的第2图像数据；平滑化数据生成部，其分别对第1图像数据及第2图像数据，以将由第 1图像数据及第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生 成第1平滑化数据及第2平滑化数据；目标图像数据生成部，其使用第1平滑化数据和第2 平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；以及增益修正部，其使 用目标图像数据相对于第1平滑化数据之比来修正第1图像数据。
[0010] 本发明的第4方式的摄像装置是具有摄像元件和上述的图像处理装置的摄像装 置，第1图像数据及第2图像数据基于摄像元件的输出而生成。
[0011] 本发明的第5方式的图像处理程序使计算机执行以下步骤：图像数据获取步骤， 获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视 点所对应的第2图像数据；平滑化数据生成步骤，分别对第1图像数据及第2图像数据，以 将由第1图像数据及第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波， 由此生成第1平滑化数据及第2平滑化数据；目标图像数据生成步骤，使用第1平滑化数据 和第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；以及增益修正步 骤，使用目标图像数据相对于第1平滑化数据之比来修正第1图像数据。
[0012] 本发明的第6方式的图像处理装置的特征在于，具有：输入通过一个光学系统对 全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视 点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像 和第2视点方向的图像分别将在与连接第1视点和第2视点的X方向正交的y方向上排列 的多个像素的像素值相加，而分别生成一维投影后的第1视点方向的一维分布数据和第2 视点方向的一维分布数据的机构；对一维投影后的第1视点方向的一维分布数据和第2视 点方向的一维分布数据分别施加一维的平滑化滤波器，由此分别生成第1 一维平滑化分布 数据和第2 -维平滑化分布数据的机构；基于第1 一维平滑化分布数据和第2 -维平滑化 分布数据来求出其间的点而生成一维基准分布数据的机构；通过将一维基准分布数据的值 除以第1一维平滑化分布数据的值来生成第1一维增益分布数据的机构；对第1视点方向 的图像，将第1 一维增益分布数据以各y坐标共通地使用，而分别进行该一维方向的增益修 正的机构；以及将进行增益修正后的第1视点方向的图像作为用于立体显示的视差图像而 输出的机构，一维的平滑化滤波器是在比第1视点方向的图像与第2视点方向的图像之间 能够产生的最大视差量大的范围内进行平滑化的滤波器。
[0013] 本发明的第7方式的图像处理装置的特征在于，具有：图像数据获取部，其获取通 过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对 应的第2图像数据；一维投影数据生成部，其分别对第1图像数据及第2图像数据，将在与 视差方向正交的方向上排列的多个像素的像素值相加，由此生成第1 一维投影数据及第2 一维投影数据；一维平滑化数据生成部，其分别对第1 一维投影数据及第2 -维投影数据， 以最大视差量以上的采样幅度计算出移动平均，由此生成第1 一维平滑化数据及第2 -维 平滑化数据；一维基准数据生成部，其基于第1 一维平滑化数据和第2 -维平滑化数据来生 成一维基准数据；以及明暗度修正部，其使用一维基准数据相对于第1 一维平滑化数据之 比对第1图像数据进行明暗度修正。
[0014] 本发明的第8方式的摄像装置是具有摄像元件和上述的图像处理装置的摄像装 置，第1图像数据及第2图像数据基于摄像元件的输出而生成。
[0015] 本发明的第9方式的图像处理程序的特征在于，使计算机执行如下步骤：图像数 据获取步骤，获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数 据、和第2视点所对应的第2图像数据；一维投影数据生成步骤，分别对第1图像数据及第 2图像数据，将在与视差方向正交的方向上排列的多个像素的像素值相加，由此生成第1 一 维投影数据及第2 -维投影数据；一维平滑化数据生成步骤，分别对第1 一维投影数据及第 2 -维投影数据，以最大视差量以上的采样幅度计算出移动平均，由此生成第1 一维平滑化 数据及第2 -维平滑化数据；一维基准数据生成步骤，基于第1 一维平滑化数据和第2 -维 平滑化数据来生成一维基准数据；明暗度修正步骤，使用一维基准数据相对于第1 一维平 滑化数据之比对第1图像数据进行明暗度修正。
[0016] 此外，上述的发明的概要没有列举本发明的全部必要特征。另外，这些特征组的子 组合也能成为发明。
【附图说明】
[0017] 图1是说明本发明的实施方式的数码相机的结构的图。
[0018] 图2是说明摄像元件的截面结构的图。
[0019] 图3是说明无视差像素中的散焦的概念的图。
[0020] 图4是说明视差像素中的散焦的概念的图。
[0021] 图5是表示无视差像素和视差像素的光强度分布的图。
[0022] 图6是说明视差像素的种类为两种的情况下的开口部104的开口形状的图。
[0023] 图7是用于说明模糊的非对称性的图。
[0024] 图8是表示视差图像及无视差图像与景深之间的关系的图。
[0025] 图9是说明模糊的非对称性的图。
[0026] 图10是表示存在于非对焦区域的物点的点像分布的图。
[0027] 图11是表示作为一例的实际空间的排列和k空间的图。
[0028] 图12是说明多重析像度转换的图。
[0029] 图13是说明本发明的实施方式的数码相机的结构的图。
[0030] 图14是说明明暗度修正的一例的图。
[0031 ] 图15是说明函数拟合的图。
【具体实施方式】
[0032] 以下，通过发明的实施方式说明本发明，但以下的实施方式不限定权利要求书所 涉及的发明。另外，实施方式中说明的特征组合不必全部是发明的解决方案所必须的。
[0033] [第1实施方式]
[0034] 作为摄像装置的一个方式的本实施方式的数码相机构成为能够针对一个场景通 过一次拍摄而生成多个视点数的图像。将视点彼此不同的各个图像称为视差图像。在本实 施方式中，尤其对生成基于与右眼和左眼对应的两个视点的右视差图像和左视差图像的情 况进行说明。具体情况将在后叙述，本实施方式的数码相机也能够与视差图像一起，生成基 于作为基准方向的视点的中央视点的、没有视差的无视差图像。
[0035] 图1是说明本发明的实施方式的数码相机10的结构的图。数码相机10具有作 为摄影光学系统的摄影透镜20,将沿着光轴21入射的被摄物体光束向摄像元件100引导。 摄影透镜20可以是能够相对于数码相机10装拆的可更换式透镜。数码相机10具有摄像 元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡 IF207、操作部208、显示部209及LCD驱动电路210。
[0036] 此外，如图所示，将与朝向摄像元件100的光轴21平行的方向定为+Z轴方向，将 在与Z轴正交的平面中朝向纸面内的方向定为+X轴方向，将朝向纸面上方的方向定为+Y 轴方向。与摄影取景的关系为，X轴为水平方向，Y轴为垂直方向。在以后的若干图中，将图 1的坐标轴作为基准显示坐标轴，以便明确各图的朝向。
[0037] 摄影透镜20由多个光学透镜组构成，使来自场景的被摄物体光束在其焦点面附 近成像。此外，在图1中，为了便于说明，以配置在光瞳附近的假想的1枚透镜为代表来表 示摄影透镜20。
[0038] 摄像元件100配置在摄影透镜20的焦点面附近。摄像元件100是以二维方式配 置有多个光电转换元件的例如(XD、CM0S传感器等图像传感器。摄像元件100由驱动部204 定时控制，将在受光面上成像的被摄物体像转换成图像信号并向A/D转换电路202输出。向 A/D转换电路202输出的图像信号包含左视点及右视点的图像信号。
[0039] A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并向存储 器203输出。图像处理部205将存储器203作为工作空间而实施各种图像处理，从而生成 图像数据。尤其是，图像处理部205具有图像数据生成部230、平滑化数据生成部231、目标 图像数据生成部232及增益修正部233。
[0040] 图像数据生成部230使用左视点及右视点的数字图像信号，生成与左视点对应的 左视差图像数据和与右视点对应的右视差图像数据。关于左视差图像数据及右视差图像数 据的生成的详细情况将在后叙述。
[0041] 平滑化数据生成部231针对左视差图像数据及右视差图像数据，分别将由左视差 图像数据及右视差图像数据表示的像以相对于左右方向、即视差方向平滑化的方式进行过 滤。由此，生成将左视差图像数据平滑化后的左平滑化数据、及将右视差图像数据平滑化后 的右平滑化数据。关于左平滑化数据及右平滑化数据的生成的详细情况将在后叙述。
[0042] 目标图像数据生成部232使用左平滑化数据和右平滑化数据所对应的各个像素 值的几何平均来生成目标图像数据。目标图像数据的生成的详细情况将在后叙述。
[0043] 增益修正部233使用目标图像数据相对于左平滑化数据之比来修正左视差图像 数据。并使用目标图像数据相对于右平滑化数据之比来修正右视差图像数据。
[0044] 图像处理部205除此以外还承担根据所选择的图像格式来调整图像数据等的图 像处理的普通功能。所生成的图像数据通过IXD驱动电路210而转换成显示信号，并显示 在显示部209上。另外，记录在安装于存储卡IF207的存储卡220中。
[0045] 一连串的摄影过程通过操作部208受理使用者的操作并向控制部201输出操作信 号而开始。伴随摄影过程的AF、AE等各种动作由控制部201控制而执行。
[0046] 接下来，说明摄像元件100的结构的一例。图2是表示摄像元件100的截面的概 略图。
[0047] 摄像元件100从被摄物体侧按顺序排列有微透镜101、彩色滤光片102、开口掩膜 103、布线层105及光电转换元件108而构成。光电转换元件108由将入射的光转换成电信 号的光电二极管构成。光电转换元件108在基板109的表面上以二维方式排列有多个。
[0048] 由光电转换元件108转换得到的图像信号、控制光电转换元件108的控制信号等 经由设于布线层105的布线106而被收发。另外，具有与各光电转换元件108 -一对应地 设置且以二维方式重复排列的开口部104的开口掩膜103,与布线层105相接地设置。如后 所述开口部104按对应的光电转换元件108而位移，但相对位置是严格确定的。详细情况 将在后叙述，通过具有该开口部104的开口掩膜103的作用，在光电转换元件108所接受的 被摄物体光束中产生视差。
[0049] 另一方面，在不产生视差的光电转换元件108上，不存在开口掩膜103。换言之， 也可以说是设有具备不限制相对于对应的光电转换元件108入射的被摄物体光束、即、使 入射光束整体通过的开口部104的开口掩膜103。虽然不会产生视差，但实质上由布线106 形成的开口 107规定入射的被摄物体光束，因此，也能够将布线106看作是不会产生视差的 使入射光束整体的开口掩膜。开口掩膜103可以与各光电转换元件108对应地各自独立地 排列，也可以与彩色滤光片102的制造工艺同样地相对于多个光电转换元件108-并形成。
[0050] 彩色滤光片102设在开口掩膜103上。彩色滤光片102是对各光电转换元件108 以使特定的波段透过的方式着色得到的、与光电转换元件108分别一一对应地设置的滤光 片。对于输出彩色图像，只要排列彼此不同的至少两种彩色滤光片即可，但对于获取更高画 质的彩色图像，排列三种以上的彩色滤光片为好。例如可以以格子状排列使红色波段透过 的红色滤光片（R滤光片），使绿色波段透过的绿色滤光片（G滤光片）、以及使蓝色波段透 过的蓝色滤光片（B滤光片）。彩色滤光片不仅可以是原色RGB的组合，也可以是YCM的互 补色滤光片的组合。
[0051] 微透镜101设在彩色滤光片102上。微透镜101是用于将入射的被摄物体光束更 多地向光电转换元件108引导的聚光透镜。微透镜101与各个光电转换元件108--对应 地设置。关于微透镜101，优选考虑摄影透镜20的光瞳中心与光电转换元件108的相对位 置关系，以使更多的被摄物体光束被引导到光电转换元件108的方式使其光轴位移。而且， 也可以与开口掩膜103的开口部104的位置一起调整其配置位置，以使得后述的特定的被 摄物体光束更多地入射。
[0052] 将这样与各个光电转换元件108--对应地设置的开口掩膜103、彩色滤光片102 及微透镜101的一个单位称为像素。尤其将设有产生视差的开口掩膜103的像素称为视差 像素，将没有设置产生视差的开口掩膜103的像素称为无视差像素。也存在将左视点的视 差像素记为视差Lt像素、将右视点的视差像素记为视差Rt像素、将无视差像素记为N像 素的情况。另外，也存在将左视点的视差图像记为视差Lt图像、将右视点的视差图像记为 视差Rt图像、将无视差图像记为N图像的情况。例如，在摄像元件100的有效像素区域为 24mmX 16mm左右的情况下，像素数达到1200万左右。
[0053] 此外，在聚光效率、光电转换效率高的图像传感器的情况下，也可以不设置微透镜 101。另外，在背面照射型图像传感器的情况下，布线层105设置在与光电转换元件108相 反的一侧。另外，若开口掩膜103的开口部104具有颜色成分，则也能够将彩色滤光片102 与开口掩膜103-体地形成。此外，在输出黑白图像信号即可的情况下，不设置彩色滤光片 102〇
[0054] 另外，在本实施方式中，虽然将开口掩膜103和布线106分体地设置，但也可以由 布线106承担视差像素中的开口掩膜103的功能。即，通过布线106形成规定的开口形状， 并根据该开口形状限制入射光束而仅将特定的部分光束向光电转换元件108引导。该情况 下，优选形成开口形状的布线106在布线层105中最靠光电转换元件108侦k
[0055] 另外，开口掩膜103也可以由与光电转换元件108重叠地设置的透过阻止膜形成。 该情况下，开口掩膜103例如将SiN膜和SiOJ莫依次层叠来作为透过阻止膜，并将相当于 开口部104的区域通过蚀刻除去而形成。
[0056] <视差像素和模糊特性>
[0057] 接下来，说明视差Lt像素及视差Rt像素受光的情况下的散焦的概念。首先，简单 地说明无视差像素中的散焦的概念。图3是说明无视差像素中的散焦的概念的图。如图3 的（a)所示，在作为被摄物体的物点存在于焦点位置的情况下，从透镜光瞳通过并到达摄 像元件受光面的被摄物体光束表现出以对应的像点的像素为中心陡峭的光强度分布。即， 若接受从透镜光瞳通过的有效光束整体的无视差像素排列于像点附近，则与像点对应的像 素的输出值最大，排列于周边的像素的输出值急剧降低。
[0058] 另一方面，如图3的（b)所示，若物点在远离摄像元件受光面的方向上从焦点位置 偏移，则与物点存在于焦点位置的情况相比，被摄物体光束在摄像元件受光面上表现出平 缓的光强度分布。即，表现出在对应的像点的像素中的输出值降低的基础上、直至更周边的 像素仍具有输出值的分布。
[0059] 如图3的（C)所示，若物点进一步从焦点位置偏移，则被摄物体光束在摄像元件受 光面上表现出更平缓的光强度分布。即，表现出在对应的像点的像素中的输出值进一步降 低的基础上、直至更周边的像素仍具有输出值的分布。
[0060] 如图3的（d)所示，在物点在接近摄像元件受光面的方向上从焦点位置偏移的情 况下，也表现出与物点在远离摄像元件受光面的方向上偏移的情况相同的光强度分布。
[0061] 图4是说明视差像素中的散焦的概念的图。视差Lt像素及视差Rt像素接受从作 为透镜光瞳的部分区域而分别对光轴对象设定的两个视差假想光瞳中的某一个到达的被 摄物体光束。在本说明书中，将通过接受从单一透镜光瞳中的彼此不同的假想光瞳到达的 被摄物体光束而对视差图像进行拍摄的方式称为单眼光瞳分割摄像方式。
[0062] 如图4的（a)所示，在作为被摄物体的物点存在于焦点位置的情况下，无论从哪一 视差假想光瞳通过的被摄物体光束，均表现出以对应的像点的像素为中心陡峭的光强度分 布。若视差Lt像素排列于像点附近，则与像点对应的像素的输出值最大，排列于周边的像 素的输出值急剧降低。另外，即使视差Rt像素排列于像点附近，与像点对应的像素的输出 值也最大，排列于周边的像素的输出值也急剧降低。即，无论被摄物体光束从哪一视差假想 光瞳通过，均表现出与像点对应的像素的输出值最大、且排列于周边的像素的输出值急剧 降低的分布，各个分布彼此一致。
[0063] 另一方面，如图4的（b)所示，若物点在远离摄像元件受光面的方向上从焦点位置 偏移，则与物点存在于焦点位置的情况相比，视差Lt像素所表现出的光强度分布的峰值显 现于从与像点对应的像素向一个方向离开的位置，且其输出值降低。另外，具有输出值的像 素的幅度也扩大。即，由于相对于摄像元件受光面的水平方向具有点像的扩大，所以模糊量 增加。视差Rt像素所表现出的光强度分布的峰值显现于从与像点对应的像素向视差Lt像 素中的与一个方向相反的方向且等距离地离开的位置，同样地其输出值降低。另外，同样地 具有输出值的像素的幅度也扩大。即，与物点存在于焦点位置的情况相比变得平缓的同一 光强度分布彼此以等距离分离而显现。视差Lt像素及视差Rt像素所表现出的光强度分布 的峰值间的偏移量相当于视差量。
[0064] 另外，如图4的（c)所示，若物点进一步从焦点位置偏移，则与图4的（b)的状态 相比，进一步变得平缓的同一光强度分布更分离地显现。由于点像的扩大变得更大，所以模 糊量增加。另外，由于视差Lt像素及视差Rt像素所表现出的光强度分布的峰值间的偏移 也变大，所以视差量也增加。也就是说，可以说物点从焦点位置偏移得越大，模糊量和视差 量越增加。
[0065] 如图4的（d)所示，在物点在接近摄像元件受光面的方向上从焦点位置偏移的情 况下，与图4的（c)的状态相反，视差Rt像素所表现出的光强度分布的峰值显现于从与像 点对应的像素向上述一个方向离开的位置。视差Lt像素所表现出的光强度分布的峰值显 现于向视差Rt像素中的与一个方向相反的方向离开的位置。即，与物点的偏移方向相应 地，确定视差Lt像素及视差Rt像素所表现出的光强度分布的峰值显现于从与像点对应的 像素向哪一方向离开的位置。
[0066] 当将图3中说明的光强度分布的变化和图4中说明光强度分布的变化分别制成曲 线图时，如图5所示。图5是表示无视差像素和视差像素的光强度分布的图。图中，横轴表 示像素位置，中心位置是与像点对应的像素位置。纵轴表示各像素的输出值，由于该输出值 实质上与光强度成正比，所以在图中作为光强度而示出。
[0067] 此外，如上所述，无论物点在接近摄像元件受光面的方向上从焦点位置偏移的情 况还是物点在远离摄像元件受光面的方向上偏移的情况，均表现出相同的光强度分布，因 此