图像处理装置、摄像装置及图像处理程序的制作方法
【专利摘要】一种图像处理装置包括：输入通过一个光学系统摄像的被拍体像的第一视点方向上的图像与第二视点方向上的图像的至少两个视差图像的单元；在各像素算出第一视点方向上的图像与第二视点方向上的图像之间的算术平均值和几何平均值的单元；在各像素算出算术平均值与几何平均值之比值的单元；以及基于比值针对各个像素算出第一视点方向上的图像和第二视点方向上的图像之间的视差量的单元。
【专利说明】图像处理装置、摄像装置及图像处理程序
【技术领域】
[0001] 本发明涉及图像处理装置、摄像装置及图像处理程序。
【背景技术】
[0002] 已知一种摄像装置，使用单一拍摄光学系统通过一次拍摄生成互相具有视差的左 右视差图像。
[0003] 现有技术文献
[0004] 专利文献1 :日本专利公开：特开2003-7994号公报
【发明内容】
[0005] 发明要解决的问题：
[0006] 当生成涉及左右视差的信息时，需要对左右视差图像中的模糊区域进行图案匹 配。图案匹配利用视差图像中的边缘部分进行。然而，由于在模糊区域会抑制边缘部分，因 此存在图案匹配精度差的问题。
[0007] 解决问题的方案：
[0008] 本发明第一形态中的图像处理装置包括：输入通过一个光学系统摄像的被拍体像 的第一视点方向上的图像与第二视点方向上的图像的至少两个视差图像的单元；在各像素 算出第一视点方向上的图像与第二视点方向上的图像之间的算术平均值和几何平均值的 单元；在各像素算出算术平均值与几何平均值之比值的单元；以及基于比值针对各个像素 算出第一视点方向上的图像和第二视点方向上的图像之间的视差量的单元。
[0009] 本发明第二形态中的图像处理装置包括：输入通过一个光学系统摄像的被拍体像 的第一视点方向上的图像与第二视点方向上的图像的至少两个视差图像的单元；在各像素 算出第二视点方向上的图像与第一视点方向上的图像之间的差分的单元；相对于由第一视 点方向上的图像与第二视点方向上的图像的平均值构成的中间视点图像，针对各个像素算 出在视点发生变化的方向上具有成分的一阶导数的单元；以及基于差分的符号与一阶导数 的符号之积，区别是比光学系统的聚焦位置更靠前的被拍体像还是更靠后的被拍体像的单 JLi〇
[0010] 本发明第三形态中的图像处理装置包括：图像数据取得部，取得通过至少一部分 共通的光学系统取得的第一视点所对应的第一图像数据和第二视点所对应的第二图像数 据；以及评估数据生成部，算出第一图像数据与第二图像数据所对应的各个像素值进行相 加运算后的值与进行相乘运算后的值之比值，使第一视点与第二视点的视差相关的评估数 据与第一图像数据及第二图像数据相对应地生成。
[0011] 本发明第四形态中的摄像装置包括摄像元件及上述图像处理装置，第一图像数据 及第二图像数据是基于摄像元件的输出而生成的。
[0012] 本发明第五形态中的图像处理程序使计算机执行：图像数据取得步骤，取得通过 至少一部分共通的光学系统取得的第一视点所对应的第一图像数据和第二视点所对应的 第二图像数据；以及评估数据生成步骤，算出对第一图像数据与第二图像数据所对应的各 个像素值进行相加运算后的值与进行相乘运算后的值之比值，使第一视点与第二视点的视 差相关的评估数据与第一图像数据及第二图像数据相对应地生。
[0013] 另外，上述
【发明内容】
并未列举出本发明的全部可能特征，所述特征组的子组合也 有可能构成发明。
【专利附图】
【附图说明】
[0014] 图1为说明数码相机10的结构的图。
[0015] 图2为说明摄像元件100的截面结构的图。
[0016] 图3为说明无视差像素中的散焦的概念的图。
[0017] 图4为说明视差像素中的散焦的概念的图。
[0018] 图5为表示无视差像素和视差像素的光强度分布的图。
[0019] 图6为说明视差像素为两种时的开口部104的开口形状的图。
[0020] 图7为表示非聚焦区域中存在的物点的点像分布图。
[0021] 图8为表示像素排列的一例的图。
[0022] 图9为用于说明拍摄状况及拍摄图像的图。
[0023] 图10为说明将正值的强度分布作为视差图的情形的图。
[0024] 图11为说明将正值的强度分布作为视差图的情形的图。
[0025] 图12为说明将正负值的强度分布作为视差图的情形的图。
[0026] 图13为各表示像素排列的变形的图。
【具体实施方式】
[0027] 以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所 涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。
[0028] 作为图像处理装置及摄像装置的一形态的本实施方式所述数码相机被构成为能 够针对一个场景通过一次拍摄而生成左视点及右视点的图像。将视点互不相同的各个图像 称为视差图像。
[0029] 图1为说明本发明的实施方式所述数码相机10的结构的图。数码相机10具有摄 影透镜20作为拍摄光学系统，将沿光轴21入射的被拍体光束引导至摄像元件100。摄影透 镜20也可以为相对于数码相机10可拆卸的交换式透镜。数码相机10包括：摄像元件100、 控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操 作部208、显示部209、以及LCD驱动电路210。
[0030] 另外，如图所示，将与朝向摄像元件100的光轴21的平行方向定为+Z轴方向，在 与Z轴相垂直的平面中将朝向纸背面方向定为+X轴方向、将纸正面方向定为+Y轴。与拍 摄中的构图的关系是X轴为水平方向、Y轴为垂直方向。在以下几个图中，以图1的座标轴 为基准来显示座标轴，以便理解各个图的朝向。
[0031] 摄影透镜20由多个光学透镜群构成，使来自于场景的被拍体光束在其焦点面附 近成像。另外，在图1中为了便于说明摄影透镜20,以光瞳附近设置的假想的一片透镜为代 表进行表示。摄像元件100设置于摄影透镜20的焦点面附近。摄像元件100为二维排列 有多个光电转换元件作为像素的例如CCD、CMOS传感器等图像传感器。摄像元件100由驱 动部204进行定时控制，将受光面上成像的被拍体像转换成图像信号输出给A/D转换电路 202。输出给A/D转换电路202的图像信号包含左视点及右视点的图像信号。
[0032] A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号输出给存 储器203。图像处理部205将存储器203作为工作空间实施各种图像处理，生成图像数据。 例如生成左视点对应的图像数据和右视点对应的图像数据。图像处理部205还承担依照被 选择的图像格式调整图像数据等图像处理的一般功能。
[0033] 图像处理部205进一步生成与左视点和右视点的视差相关的评估数据。详细将在 以后进行说明，但评估数据能够看作是表示被拍体相对于聚焦位置的景深相关的位置信息 的视差图数据。
[0034] 由图像处理部205生成的图像数据由IXD驱动电路210转换成显示信号并显示在 显示部209。评估数据也可以由显示部209显示。另外，所生成的图像数据及评估数据被记 录在存储卡IF207上装设的存储卡220中。
[0035] -连串的拍摄序列通过操作部208受理用户操作并将操作信号输出给控制部201 而开始。伴随着拍摄序列的AF、AE等各种动作由控制部201控制执行。例如，控制部201 解析评估数据，执行使构成摄影透镜20的一部分的聚焦透镜移动的聚焦控制。
[0036] 以下对摄像元件100的结构进行详细说明。图2为表示本发明实施方式所述摄像 元件1〇〇的截面的概略图。
[0037] 摄像元件100被构成为从被拍体侧依次排列有：微型透镜101、彩色滤光片102、开 口掩模103、布线层105及光电转换元件108。光电转换元件108由将入射光转换为电信号 的光电二极管构成。光电转换元件108在基板109的表面上二维排列有多个。
[0038] 由光电转换元件108转换的图像信号、控制光电转换元件108的控制信号等通过 布线层105上设置的布线106进行信号收发。另外，具有与各光电转换兀件108 对应 设置且二维重复排列的开口部104的开口掩模103与布线层相接触。开口部104如后所述 针对对应的各个光电转换元件108进行移位，被严格地地确定相对位置。详细内容将在以 后介绍，但通过具有该开口部104的开口掩模103的作用在光电转换元件108受光的被拍 体光束上产生视差。
[0039] 另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，设 置有具有对朝相应光电转换元件108入射的被拍体光束不做限制，也说是使全部入射光束 均通过的开口部104的开口掩模103。虽然不产生视差，但实质上由布线106形成的开口 107规定了入射的被拍体光束，因此可以将布线106看作是使未产生视差的入射光束的全 体通过的开口掩模。开口掩模103既可以对应于各光电转换元件108分别独立排列，也可 以与彩色滤光片102的制造过程相同地相对于多个光电转换兀件108统一形成。
[0040] 彩色滤光片102设置于开口掩模103上。彩色滤光片102是与被着色为使特定波 段相对于各光电转换元件108透过的、与光电转换元件108的每一个一一对应设置的滤光 片。为输出彩色图像，可以排列互不相同的至少两种彩色滤光片，但为取得更高画质的彩色 图像可以排列三种种类以上的彩色滤光片。例如可以将使红色波段透过的红色滤光片（R 滤光片）、使绿色波段透过的绿滤光片（G滤光片）、及使蓝色波段透过的蓝色滤光片（B滤 光片）以格状排列。彩色滤光片不仅是原色RGB的组合，也可以为YCMg的互补色滤光片的 组合。关于具体的排列将在以后描述。
[0041] 微型透镜101设置于彩色滤光片102上。微型透镜101为用于将更多的入射的被 拍体光束引导至光电转换元件108的集光透镜。微型透镜101与光电转换元件108每一个 对应设置。微型透镜101优选考虑摄影透镜20的光瞳中心与光电转换兀件108的相 对位置关系来移位其光轴，使得更多的被拍体光束被引导至光电转换元件108。进一步地， 也可以与开口掩模103的开口部104的位置一同调整配置位置，使得后述的特定的被拍体 光束更多地入射。
[0042] 如此一来，将对应于各个光电转换元件108--对应设置的开口掩模103、彩色滤 光片102及微型透镜101的一个单位称为像素。尤其是将设置有产生视差的开口掩模103 的像素称为视差像素，将未设置有产生视差的开口掩模103的像素称为无视差像素。例如， 当摄像元件100的有效像素区域为24_X16mm左右时，像素数达到1200万左右。
[0043] 另外，当采用聚光效率、光电转换效率较好的图像传感器时，也可以不设置微型透 镜101。另外，当采用背面照射型图像传感器时，布线层105设置于与光电转换元件108相 反的一侧。另外，如果使开口掩模103的开口部104上具有色彩成分，便能够使彩色滤光片 102与开口掩模103 -体形成。另外，在输出黑白图像信号即可时不设置彩色滤光片102。
[0044] 另外，在本实施方式中，使开口掩模103与布线106分体设置，但也可以由布线106 承担视差像素中的开口掩模103的功能。即，由布线106形成所规定的开口形状，由该开口 形状限制入射光束仅将特定的部分光束引导至光电转换元件108。此时，形成开口形状的布 线106优选位于布线层105中最靠近光电转换元件108的一侧。
[0045] 另外，开口掩模103可以由与光电转换元件108重叠设置的防透射膜形成。此时， 开口掩模103例如将SiN膜与Si02膜依次层叠作为防透射膜，通过刻蚀将与开口部104相 当的区域去除。
[0046] 以下说明视差Lt像素及视差Rt像素受光时的散焦概念。首先为针对无视差像素 中的散焦概念进行简单说明的图。图3为说明无视差像素中的散焦概念的图。如图3(a) 所示，当作为被拍体的物点存在于焦点位置时，通过透镜光瞳到达摄像元件受光面的被拍 体光束表示以对应像点的像素为中心陡峭的光强度分布。即，如果接收到通过透镜光瞳的 全部有效光束的无视差像素排列于像点附近，则像点对应的像素的输出值最大，排列于周 围的像素的输出值迅速下降。
[0047] 另一方面，如图3(b)所示，如果物点朝着远离摄像元件受光面的方向从焦点位置 偏移，则与物点存在于焦点位置的情形相比，被拍体光束在摄像元件受光面中表现出平缓 的光强度分布。即，表现出对应像点的像素中的输出值下降，而且到更靠周围的像素还具有 输出值的分布。
[0048] 如图3 (c)所示，如果物点进一步从焦点位置偏移，则被拍体光束在摄像元件受光 面表现出更平缓的光强度分布。即，表现出对应像点的像素中的输出值进一步下降，而且到 更靠周围的像素还具有输出值的分布。
[0049] 如图3(d)所示，朝着趋近摄像元件受光面的方向，当物点从焦点位置偏移时，表 现出与物点朝着远离摄像元件受光面的方向偏移时相同的光强度分布。
[0050] 图4为说明视差像素中的散焦概念的图。视差Lt像素及视差Rt像素接收从作为 透镜光瞳的部分区域在各个光轴对象上设定的两个视差假想光瞳的任一个到来的被拍体 光束。在本说明书中，通过接收从单一透镜光瞳中的互不相同假想光瞳到来的被拍体光束 来拍摄视差图像的方式被称为单眼光瞳分割摄像方式。
[0051] 如图4(a)所示，当作为被拍体的物点存在于焦点位置时，即使是通过任意视差假 想光瞳的被拍体光束也表现出以对应像点的像素为中心陡峭的光强度分布。如果在像点附 近排列视差Lt像素，则像点所对应的像素的输出值最大，排列于周围的像素的输出值急剧 下降。而且，即使在像点附近排列有视差Rt像素，像点对应的像素的输出值也最大，排列于 周围的像素的输出急剧下降。即，即使被拍体光束通过任意视差假想光瞳，表现出像点对应 的像素的输出值也最大、排列于周围的像素的输出值急剧下降的分布，各个分布互相一致。
[0052] 另一方面，如图4(b)所示，如果物点朝着远离摄像元件受光面的方向从焦点位置 偏移，与物点存在于焦点位置的情形相比，视差Lt像素所表现出的光强度分布的峰值出现 在从像点对应的像素朝一方向离开的位置，且该输出值下降。另外，具有输出值的像素的宽 度也展宽。即，由于相对于摄像元件受光面的水平方向具有点像展宽，因此模糊量增加。视 差Rt像素所表现出的光强度分布的峰值从像点对应的像素出现在与视差Lt像素中的一方 向相反的方向且离开等距离的位置，同样地，其输出值下降。另外，同样地，具有输出值的像 素宽度也展宽。即，与物点存在于焦点位置的情形相比变得平缓的同一光强度分布互相以 等距离间隔地出现。视差Lt像素及视差Rt像素所表现出的光强度分布的峰值间的偏移量 相当于视差量。
[0053] 另外，如图4(c)所示，当物点进一步从焦点位置偏移时，与图4(b)的状态相比，进 一步变得平缓的同一光强度分布更加远离地出现。由于点像的展宽变得更大，因此模糊量 增加。另外，视差Lt像素及视差Rt像素所表现出的光强度分布的峰值间的偏移也变大，因 此视差量也增加。也就是说可以认为物点从焦点位置偏移得越多，模糊量和视差量增加得 就越多。
[0054] 如图4(d)所示，当物点朝着趋近摄像元件受光面的方向从焦点位置偏移时，与图 4 (c)的状态相反，视差Rt像素表现出的光强度分布的峰值出现在从像点对应的像素往上 述一方向远离的位置。视差Lt像素所表现出的光强度分布的峰值出现在朝着与视差Rt像 素中的一方向相反方向远离的位置。即，对应于物点的偏移方向来确定视差Lt像素及视差 Rt像素所表现出的光强度分布的峰值出现在从像点对应像素朝着哪个方向远离的位置。
[0055] 将图3所说明的光强度分布的变化和图4所说明的光强度分布的变化分别进行图 形化并表示在图5中。图5为表示无视差像素与视差像素的光强度分布的图。在图中，横 轴表示像素位置，中心位置为像点对应的像素位置。纵轴表示各像素的输出值，该输出值实 质上与光强度成正比，因此在图中表示为光强度。
[0056] 另外，如上所述，当物点朝着趋近摄像元件受光面的方向从焦点位置偏移时表示 出与物点朝着远离摄像元件受光面的方向偏移时相同的光强度分布，因此，在图中省略了 朝着趋近摄像元件受光面的方向偏移时的光强度分布的变化。关于物点朝着趋近摄像元件 受光面的方向从焦点位置偏移时的视差Lt像素及视差Rt像素所表现出的光强度分布的峰 值，由于与物点朝着远离摄像元件受光面的方向偏移时的视差Lt像素及视差Rt像素所表 现出的光强度分布的峰值相同，因此进行了省略。
[0057] 图5(a)为表示图3所说明的光强度分布变化的图形。分布曲线1801表示图3(a) 对应的光强度分布，示出最陡峭的样子。分布曲线1802表示图3(b)对应的光强度分布，并 且，分布曲线1803表示图3(c)对应的光强度分布。与分布曲线1801相比可以看到，峰值 缓缓下降，具有展宽的样子。
[0058] 图5(b)为表示图4所说明的光强度分布变化的图形。分布曲线1804与分布曲线 1805分别表示图4(b)的视差Lt像素的光强度分布与视差Rt像素的光强度分布。从图中 可见，这些分布相对于中心位置呈线对称的形状。另外，将它们加在一起的合成分布曲线 1806表示与相对于图4(b)处于同等散焦状态的图3(b)的分布曲线1802相似的形状。
[0059] 分布曲线1807与分布曲线1808分别表示图4(c)的视差Lt像素的光强度分布和 视差Rt像素的光强度分布。从图中可以看出，这些分布也相对于中心位置呈线对称的形 状。而且，将它们相加而成的合成分布曲线1809表示与相对于图4(c)处于同等散焦状态 的图3(c)的分布曲线1803相似的形状。另外，图4(d)的视差Lt像素的光强度分布与视 差Rt像素的光强度分布由于处于将图4(c)的视差Lt像素的光强度分布与视差Rt像素的 光强度分布的位置进行了交换的关系，因此分别相当于分布曲线1808和分布曲线1807。
[0060] 图6为说明视差像素有两种时的开口部104的开口形状的图。图6(a)表示视差 Lt像素的开口部1041的形状与视差Rt像素的开口部104r的形状，与由中心线322分割无 视差像素的开口部l〇4n的形状后的各个形状相同的例子。也就是说，在图6(a)中，无视差 像素的开口部l〇4n的面积成为视差Lt像素的开口部1041的面积与视差Rt像素的开口部 104r的面积之和。在本实施方式中，将无视差像素的开口部104n称为全开口的开口部，将 开口部1041及开口部104r称为半开口的开口部。视差Lt像素的开口部1041及视差Rt 像素的开口部l〇4r相对于通过分别对应的光电转换元件108的中心（像素中心）的假想 的中心线322朝互相相反方向偏位。因此，视差Lt像素的开口部1041及视差Rt像素的开 口部104r分别在相对于中心线322的一方向及与该一方向相反的另一方向上产生视差。 [0061] 图6(b)表示在具有图6(a)所示各开口部的像素中，物点朝着远离摄像元件受光 面的方向从焦点位置偏移时的光强度分布。在图中，横轴表示像素位置，中心位置为像点对 应的像素位置。另外，曲线Lt与图5(b)的分布曲线1804、曲线Rt与图5(b)的分布曲线 1805分别相当。曲线N与无视差像素对应，表示与图5(b)的合成分布曲线1806相似的形 状。另外，各个开口部l〇4n、开口部1041、开口部104r发挥作为开口光圈的功能。因此，包 含具有开口部1041 (开口部104r)的成倍面积的开口部104n的无视差像素的模糊宽度与 以图5 (b)的合成分布曲线1806表示的Lt像素与视差Rt像素相加后的曲线的模糊宽度程 度相问。
[0062] 图6(c)表示在具有图6(a)所示各开口部的像素中，物点朝着趋近摄像元件受光 面的方向从焦点位置偏移时的光强度分布。在图中，横轴表示像素位置，中心位置为像点对 应的像素位置。图6(c)的曲线Lt、曲线Rt保持着具有开口部104n的无视差像素的模糊宽 度成为与Lt像素和视差Rt像素相加曲线的模糊宽度同等程度的关系，位置关系相对于图 6(b)的曲线Lt、曲线Rt进行了颠倒。
[0063] 以下针对视差检测方法的思考方法进行叙述。详细内容将在以后叙述，在单眼光 瞳分割摄像方式中，如果推测被拍体像的模糊宽度便能等价地检测到视差量。
[0064] 图7为表示存在于非聚焦区域的物点的点像分布图。在图中，横轴表示像素位置， 中心位置为像点对应的像素位置。纵轴表示像素值。在图7(a)、(b)中，左视点的点像分布Lt和右视点的点像分布Rt表示图6所示的左右视差像素的开口部为半开口时在水平方向 上的模糊宽度。
[0065] 图7 (a)的左视点的点像分布Lt与右视点的点像分布Rt用像素位置x的函数进 行表示。左视点的点像分布Lt与右视点的点像分布Rt的算术平均也用像素位置x的函数 进行表示。例如，在像素位置xl处，Lt和Rt均具有像素值，因此，运算结果为正值。在像 素位置x2处，虽然Lt不具有像素值，但由于Rt具有像素值，因此运算结果也还是正值。如 上所述，当计算算术平均时，只要Lt与Rt的任意一个具有像素值，则其运算结果均为正值。 因此，各像素位置处的点像分布Lt与点像分布Rt的算术平均从整体上来看，如图7 (a)所 示为点像分布Lt与Rt的展宽宽度之和。这相当于具有图6所示全开口的开口部的无视差 像素所对应的模糊宽度。
[0066] 另外，算术平均为用于获得点像分布Lt与Rt的展宽宽度之和的运算的一例。只 要能够获得点像分布Lt与Rt的展宽宽度之和，也可以利用其他运算。
[0067] 左视点的点像分布Lt与右视点的点像分布Rt的几何平均也用像素位置x的函数 进行表示。例如，在像素位置xl处，Lt和Rt均具有像素值，因此运算结果为正值。另一方 面，在像素位置x2中，Rt虽然具有像素值，但由于Lt不具有像素值，运算结果为0。如以上 所述，当计算几何平均时，Lt与Rt的任意一个具有像素值时，即运算结果为正值。因此，各 像素位置处的点像分布Lt与点像分布Rt的几何平均从整体上来看，如图7 (b)所示，成为 点像分布Lt与Rt的展宽宽度之积。几何平均的展宽宽度与算术平均相比变窄，当视差量 增加时会相对地进一步变小，因此可以认为在视差量上具有相关性。
[0068] 另外，几何平均为用于获得点像分布Lt与Rt的展宽宽度之积的运算的一例。只 要能够获得点像分布Lt与Rt的展宽宽度之积，也可以利用其他运算。另外，一般地，被拍 体可以考虑物点的集合，因此，图像可以说是点像对各物点的积分。因此可以考虑图像的模 糊与上述点像分布的模糊相同。
[0069] 被拍体像的模糊宽度根据适用算术平均和几何平均中的哪一种而有所不同。另 一方面，图像结构无论适用算术平均和几何平均中的哪一种均无变化。也就是说，在将实 际被拍体中的左视差图像与右视差图像平均化时，根据适用算术平均和几何平均中的哪一 种，能够在生成在相同的像素位置处具有相同图像结构的被拍体像的同时，形成模糊宽度 不同的被拍体像。将其进行模型化表示时，以实现被拍体像的点像分布函数完全由德尔塔 函数S(X，y)表示的理想成像的被拍体的图像结构分布作为I(X，y)，以由光学系统的几 何平均引起的模糊宽度的点像分布函数作为BAND(X，y)，以由算术平均引起的模糊宽度的 点像分布函数作为BmU，y)，通过如下所示来求出被拍体像的点像分布函数的模糊宽度比 R(x，y)。此处，以左视点的视差像素的点像分布函数为Bjx，y)，以右视点的视差像素的点 像分布函数为BK(x，y)，这样一来，左视差图像表示为
【权利要求】
1. 一种图像处理装置，其特征在于，包括： 输入通过一个光学系统摄像的被拍体像的第一视点方向上的图像与第二视点方向上 的图像至少这两个视差图像的单元； 在各像素算出所述第一视点方向上的图像与所述第二视点方向上的图像之间的算术 平均值和几何平均值的单元； 在各像素算出所述算术平均值与所述几何平均值之比值的单元；以及 基于所述比值针对各个像素算出所述第一视点方向上的图像和所述第二视点方向上 的图像之间的视差量的单元。
2. 根据权利要求1所述的图像处理装置，其特征在于，包括： 在各像素算出所述第二视点方向上的图像与所述第一视点方向上的图像之间的差分 的单元； 相对于由所述第一视点方向上的图像与所述第二视点方向上的图像的平均值构成的 中间视点图像，针对各个像素算出在所述视点发生变化的方向上具有成分的一阶导数的单 元；以及 将基于所述差分的符号与所述一阶导数的符号之积，区别是比所述光学系统的聚焦位 置更靠前的被拍体像还是更靠后的被拍体像的符号附加于所述视差量上的单元。
3. -种图像处理装置，其特征在于，包括： 输入通过一个光学系统摄像的被拍体像的第一视点方向上的图像与第二视点方向上 的图像的至少两个视差图像的单元； 在各像素算出所述第二视点方向上的图像与所述第一视点方向上的图像之间的差分 的单元； 相对于由所述第一视点方向上的图像与所述第二视点方向上的图像的平均值构成的 中间视点图像，针对各个像素算出在所述视点发生变化的方向上具有成分的一阶导数的单 元；以及 基于所述差分的符号与所述一阶导数的符号之积，区别是比所述光学系统的聚焦位置 更靠前的被拍体像还是更靠后的被拍体像的单元。
4. 根据权利要求3所述的图像处理装置，其特征在于： 所述第一视点方向的图像对应于左视点图像，所述第二视点方向的图像对应于右视点 图像，沿着从左到右变化的方向取得所述一阶导数时， 所述差分的符号与所述一阶导数的符号之积显示为正值时，判断为比所述光学系统的 聚焦位置更靠前的被拍体像，当显示为负值时，判断为比所述光学系统的聚焦位置更靠后 的被拍体像。
5. 根据权利要求1或3所述的图像处理装置，其特征在于：所述第一视点方向的图像 与所述第二视点方向的图像是使用摄像元件摄像的图像，该摄像元件的一个摄像面上周期 性配置有如下第一视差像素和第二视差像素至少这两种像素： 所述第一视差像素具有使通过所述一个光学系统入射到一个摄像面的入射光束中的、 第一视点方向的部分光束通过的开口掩模，所述第二视差像素具有使所述入射光束中的第 二视点方向的部分光束通过的开口掩模。
6. -种图像处理装置，其中，包括： 图像数据取得部，取得通过至少一部分共通的光学系统取得的第一视点所对应的第一 图像数据和第二视点所对应的第二图像数据；以及 评估数据生成部，算出所述第一图像数据与所述第二图像数据所对应的各个像素值进 行相加运算后的值与进行相乘运算后的值之比值，使所述第一视点与所述第二视点的视差 相关的评估数据与所述第一图像数据及所述第二图像数据相对应地生成。
7. 根据权利要求6所述的图像处理装置，其中，所述评估数据生成部算出所述各个像 素值的算术平均值作为所述相加运算后的值，算出所述各个像素值的几何平均值作为所述 相乘运算后的值。
8. 根据权利要求6或7所述的图像处理装置，其中，所述评估数据生成部进行运算，使 得被拍体相对于所述光学系统的聚焦位置的前后关系表示为所述比值的正负。
9. 根据权利要求8所述的图像处理装置，其中，所述评估数据生成部在所述比值上乘 以所述各个像素值的差分值以及所述相加运算后的值在视差方向上的微分值进行运算。
10. -种摄像装置，包括： 摄像元件；以及 权利要求6?9中任一项所述的图像处理装置； 其中，所述第一图像数据及第二图像数据是基于所述摄像元件的输出而生成的。
11. 一种图像处理程序，使计算机执行： 图像数据取得步骤，取得通过至少一部分共通的光学系统取得的第一视点所对应的第 一图像数据和第二视点所对应的第二图像数据；以及 评估数据生成步骤，算出对所述第一图像数据与所述第二图像数据所对应的各个像素 值进行相加运算后的值与进行相乘运算后的值之比值，使所述第一视点与所述第二视点的 视差相关的评估数据与所述第一图像数据及所述第二图像数据相对应地生成。
12. -种图像处理装置，包括： 图像数据取得部，通过至少一部分共通的光学系统取得的第一视点所对应的第一图像 数据及第二视点所对应的第二图像数据； 生成部，通过互不相同的平均化处理消除所述第一图像数据及所述第二图像数据的视 差信息，为排除图像结构而对比所述平均化处理的结果，由此生成新视差相关的数据并生 成视差图。
【文档编号】G01C3/06GK104322061SQ201380026360
【公开日】2015年1月28日 申请日期:2013年6月14日 优先权日:2012年6月22日
【发明者】石贺健一 申请人:株式会社尼康