再聚焦的原理。
[0175] 在此，说明在本实施例中用于生成单视点图像的方法。图20是描绘图16中的透镜 阵列1603与图像感测元件1604之间的关系的图。虚线圆圈2001代表已穿过构成透镜阵列 1603的一个透镜(微透镜）的光线入射到的像素的区域。图20对应于W网格的形式布置了多 个微透镜的情况，然而，微透镜的布置不局限于此。例如，所述布置可W具有六角对称性(蜂 窝结构）。也可W将各微透镜从规则布置稍微移位。图20中的斜线区域2002代表已穿过图像 形成光学系统1602的同一光瞳区域的光线入射到的像素。结果，通过提取斜线区域1602中 的像素，能够生成在从图像形成光学系统1602的光瞳下方观察被摄体空间的情况下的单视 点图像。同样，通过提取相对于虚线圆圈2001的相对位置相同的像素，也能够生成另一单视 点图像。
[0176] <焦点控制范围>
[0Π 7]接下来，说明能够进行再聚焦的焦点控制范围。
[0178] 通过叠加单视点图像来进行再聚焦，因此，无法对各单视点图像内发生模糊的被 摄体进行再聚焦。运是因为，即使通过叠加模糊图像，也不能获得高频分量，并且图像仍然 模糊。
[0179] 随着光瞳被划分为较小的光瞳，各单视点图像中的景深变深，因此，焦点控制范围 扩大。亦即，焦点控制范围依赖于图像形成光学系统1602的划分后的光瞳。然而，单视点图 像中的景深不一定与焦点控制范围一致。运是因为，依据单视点图像与通过组合单视点图 像而获得的组合图像的分辨率之比，焦点控制范围会有改变。例如，在组合图像的分辨率低 于来自各视点的单视点图像的分辨率的情况下，组合图像中的空间分量的采样间距相对于 单视点图像中而变大。因为运样，组合图像的景深变为比单视点图像深，并且相伴随地，焦 点控制范围扩大。相反，在组合图像的分辨率高于单视点图像的情况下，焦点控制范围变为 窄于单视点图像的景深。
[0180] 作为用于使组合图像的分辨率高于单视点图像的方法，可W设想使用基于像素移 位的超析像(super-resolution)等。如前所述，在再聚焦中，通过使单视点图像彼此间相对 移位来进行组合。在此时的移位量不是单视点图像的像素间距的整数倍的情况下，能够进 行基于像素移位的超析像，并且组合图像的分辨率能够被提高。
[0181] 从到目前为止的讨论中，能够知道有必要考虑到在组合单视点图像时的条件，W 便获取组合图像中的准确焦点控制范围。
[0182] 接下来，说明如何推导组合图像的焦点控制范围。考虑与组合图像的景深相对应 的焦点深度。焦点深度的容许弥散圆被取为ε，并且光线的角分量的采样间距被取为Au。此 时，再聚焦的系数〇±由^下的式(4)来给出。
[0183]
[0184] 与使用式(4)表示的在图像侧能够进行再聚焦的范围a+s2至a-s2共辆的范围（相 对于图像形成光学系统1602共辆的范围），是作为在物体侧能够进行再聚焦的范围的焦点 控制范围。图21示意性地示出了式(4)的关系，并且能够进行再聚焦的范围的中屯、位置是图 像形成光学系统1602的焦点位置(在运种情况下，透镜阵列1603的位置是能够进行再聚焦 的范围的中屯、位置）。在此，s2是图像形成光学系统1602的图像侧主平面与相对于被摄体面 1601的图像形成光学系统1602的图像侧共辆面之间的间隔。在图21中，图像侧焦点控制范 围是指与经由图像形成光学系统1602的焦点控制范围共辆的范围。此外，Ay是光的二维强 度分布的采样间距，并且在图16中的结构中，Ay等于透镜阵列1603的间距Ala。式(4)的关 系在图16至图19中的各结构中也成立。
[0185] 然后，因为与图像形成光学系统1602的出射光瞳距离P相比，图像感测元件1604的 像素间距A足够小，因此，式(4)可W近似为下面的式(5)。
[0186] a、.x:二'、: +NFi； · · ·'武巧)
[0187] 在此，图像形成光学系统1602的出射光瞳距离P是W下两者之间的间隔，其中一者 是图像形成光学系统1602的出射光瞳面，另一者是相对于被摄体面1601的图像形成光学系 统1602的图像侧共辆面。另外，N是图像形成光学系统1602的一维划分的光瞳数，并且F是图 像形成光学系统1602的F数。能够由图像形成光学系统1602的焦距f及透镜有效直径D，通过 W下的式(6)来推导F数。
[0188] F = f/D. · ·式(6)
[0189] 亦即，根据图像形成光学系统的一维划分的光瞳数、W及由图像形成光学系统的 焦距和透镜有效直径限定的视场角的范围，来确定能够进行再聚焦的范围（焦点控制范 围）。此外，根据后述的组合图像数据的分辨率，来确定能够进行再聚焦的范围。
[0190] <图像处理单元>
[0191 ]接下来，详细说明图像处理单元的结构。
[0192] 图22是示出根据本实施例的图像处理单元1512的内部结构的框图。
[0193] 视差图像数据获取单元2201获取从图像拍摄单元1500等供给的视差图像数据。
[0194] 光学参数获取单元2202获取距离推导单元2203及焦点控制范围推导单元2207所 必需的图像拍摄单元1500的光学参数。在此，光学参数是指图像拍摄单元1500的结构、光圈 等的曝光状态、焦点位置、变焦透镜的焦距等。
[0195] 距离推导单元2203推导到场景中的被摄体的距离的信息。使用从视差图像数据获 取单元2201供给的视差图像数据、W及从光学参数获取单元2202供给的光学参数，来推导 到被摄体的距离。稍后将描述距离推导的详情。
[0196] 被摄体区域提取单元2204进行如下的处理:基于场景中的被摄体W及从距离推导 单元2203供给的距离信息，来提取要经历再布置图像生成单元2205中的处理的被摄体区 域。该被摄体区域提取处理也可W说成是针对各固定距离来分离被摄体区域的处理。
[0197] 再布置图像生成单元2205进行如下的处理:依照从距离推导单元2203供给的距离 信息，来改变在被摄体区域提取单元2204中提取的各被摄体区域的位置(坐标）。通过该处 理，生成如下的图像，在该图像中，依照距图像拍摄装置的距离而对各被摄体区域进行再布 置（w下称为"再布置图像"），并且通过该图像，使得能够容易地掌握对各被摄体区域的距 离感。
[0198] 图像组合参数获取单元2206获取图像组合所需的参数(组合后的分辨率、视点、焦 点位置、景深等）。
[0199] 焦点控制范围推导单元2207使用从光学参数获取单元2202供给的光学参数、W及 从图像组合参数获取单元2206供给的图像组合参数，来推导焦点控制范围。
[0200] 焦点位置获取单元2208基于经由操作单元1505的用户输入，来获取图像组合时的 焦点位置。在本实施例的情况下，由用户基于由再布置图像生成单元2205生成的再布置图 像、并经由作为操作单元1505的触摸屏而指定的距离，被指定作为焦点位置。关于指定的焦 点位置的信息被发送到显示图像生成单元2209。
[0201] 显示图像生成单元2209生成如下的图像，在该图像中，针对在再布置图像生成单 元2205中生成的再布置图像，而反映了关于聚焦状态的信息(焦点位置、焦点控制范围、景 深等）（W下称为"聚焦信息显示图像"）。在进行生成时，使用从上述各单元供给的光学参 数、图像组合参数、焦点控制范围及焦点位置。可W针对图像拍摄前的实时取景图像，或者 针对图像拍摄后的记录图像，来进行聚焦信息显示图像的生成。另外，聚焦信息显示图像可 W基于视差图像中包括的任意单视点图像，或者可W基于通过组合多个单视点图像而获得 的组合图像。生成的聚焦信息显示图像的数据被输出到显示单元1506。假设根据本实施例 的显示图像生成单元2209还使用视差图像数据，依照图像组合参数来进行图像组合处理， 然而，也可W与显示图像生成单元2209独立地，来配设被配置为进行图像组合处理的处理 单元。
[0202] 图23是示出根据本实施例的图像处理单元1512中的处理的流程的流程图。通过在 将描述了 W下所示的过程的计算机可执行程序从ROM 1503中读取到RAM 1502上之后，由 CPU 1501执行该程序，来进行运一系列处理。
[0203] 在步骤S2301，视差图像数据获取单元2201获取由图像拍摄单元1500获取的视差 图像数据。如上所述，在此获取的视差图像数据可W是作为实时取景图像的视差图像数据， 或者可W是作为记录图像的视差图像数据。
[0204] 在步骤S2302,光学参数获取单元2202和图像组合参数获取单元2206分别获取光 学参数和图像组合参数。
[020引在步骤S2303,距离推导单元2203推导整个场景中的距离信息。具体而言，距离推 导单元2203通过用于在视差图像中包括的单视点图像之间进行立体匹配的方法等，来推导 场景的距离。例如，在立体匹配方法中，首先，将充当基准的单视点图像(例如，与穿过光瞳 的中屯、附近的光线相对应的单视点图像)划分为多个块，并且在其他单视点图像之中，检测 距目标块最近的块位置。然后，通过利用两个块之间的位置关系、相应光瞳之间的位置关系 W及各光瞳的视场角，由Ξ角测量来推导目标块的距离。作为充当基准的单视点图像，也可 W选择视点位置在中屯、之外的单视点图像。另外，作为用于获取距离信息的方法，除了上述 的立体匹配方法之外，还存在诸如DFD(散焦测距，Depth From Defocus)等的方法、W及使 用利用红外线等的测距单元来进行测量的方法。
[0206]图24A是示出单视点图像的示例的图，并且图24B示出了作为针对图24A中的单视 点图像而推导出的距离信息的距离图。在图24A中所示的单视点图像中获得的场景中，3种 被摄体(人，建筑物，山）存在于W图像拍摄装置作为基准的不同距离处。图24B中所示的距 离图是依照离图像拍摄装置的距离而通过色调来显示的，并且图像拍摄装置附近的被摄体 "人"用最深色调的颜色来显示，远离图像拍摄装置的被摄体"山"用最浅色调的颜色来显 示，并且位于人与山之间的被摄体"建筑物"用中间色调的颜色来显示。如上所述，在该步 骤，推导出场景中的被摄体的距离信息。
[0207] 返回到图23中的流程图的说明。
[0208] 在步骤S2304,被摄体区域提取单元2204进行如下的处理:基于在步骤S2303推导 出的整个场景的距离图，来提取被摄体区域。该被摄体区域提取处理也可W说成是针对各 固定距离来分离被摄体区域的处理。对具有大致相同距离的图像区域进行分组，并且将分 组的图像区域提取作为被摄体区域。作为用于提取被摄体区域的方法，除了使用被摄体的 距离信息的方法之外，可W提及的例如还有如下的方法。
[0209] 1)通过对视差图像数据应用诸如面部辨识等的技术，来识别存在人、动物、植物等 的区域，并且将识别出的人等提取作为被摄体区域。
[0210] 2)预先准备诸如人、动物及植物等代表性的关注物体的图像数据作为模板，并且 通过与该模板的匹配处理来提取被摄体区域。
[0211] 3)如同在神经网络中一样进行预先学习，并且通过利用学习结果识别主要物体， 来提取被摄体区域。
[0212] 除了使用被摄体的距离信息的方法之外，还可W通过应用如上述的1)至3)中所述 的各种公知方法，来实现本实施例中的被摄体区域的提取。
[0213] 图25A和图25B分别是示出从图24B中所示的距离图中提取被摄体区域的结果的示 例的图，并且，图25A示出了在沿各被摄体的轮廓提取出被摄体区域的情况下的图，并且图 25B示出了在各被摄体外接的矩形区域被提取作为被摄体区域的情况下的图。在图25A及图 25B中，用虚线包围的各区域分别是与"人"、"建筑物"及"山"相对应的被摄体区域。作为用 于提取被摄体区域的方法，也可W应用其他方法，只要区域被设置为包括主要被摄体即可。 例如，也可W用诸如圆形、楠圆形、Ξ角形及多边形等的任意形状，来定义被摄体区域。
[0214] 返回到图23中的流程图的说明。
[0215] 在步骤S2305,再布置图像生成单元2205利用在步骤S2303推导出的整个场景中的 距离信息、W及在步骤S2304提取出的场景中的被摄体区域，来生成场景的再布置图像。
[0216] 图26A至图2抓分别是示出在从正上方俯视图24A中所示的单视点图像的场景的情 况下的再布置图像的示例的图。图24A至图24D中的"被摄体距离"不一定必须是到实际被摄 体的按比例缩小的距离，并且例如，可W用倒数比或对数比来表示被摄体距离，或者也可W 通过预先准备实际距离和相应的值彼此关联的对应表，而应用该表格。在通过按比例缩小 实际距离进行再布置、来显示实际距离可能达到数千米或更多的诸如"山"等的远景、W及 实际距离是数米至数十米的"人"及"建筑物"的情况下，与远景中的被摄体相比，近景中的 被摄体在小的区域中被密集地显示。然而，"被摄体距离"充当指导，W让用户掌握被摄体的 聚焦状态或者改变被摄体的聚焦状态，因此，聚焦状态一般不同的近景中的被摄体被密集 地显示的情况是不适当的，因为运使得用户难W掌握或改变被摄体的聚焦状态。此外，与近 距离的被摄体相比，由于远景中的被摄体的距离而导致的聚焦状态之间的差异非常轻微， 因此，即使在远景中的被摄体被密集地显示的情况下，在用户掌握远景中的被摄体的聚焦 状态方面，也不会出现任何问题。因此，在图像拍摄装置的显示单元上能够显示的一边的像 素数是640、并且诸如"山"、"建筑物"及"人"等的被摄体分别位于例如离图像拍摄装置 10km、8m及2m的距离处的情况下，通过产生分别在从显示区域的端部移动0像素、80像素及 320像素的位置对被摄体进行再布置的显示，被摄体在显示单元上被显示得更加稀疏，因 此，该显示便于用户掌握或改变聚焦状态。
[0217] 在图26A至图26D各图中，距图像拍摄装置较近的位置被显示在下部，并且离图像 拍摄装置较远的位置被显示在上部，因此，"人"因为位于距图像拍摄装置最近的位置，而被 布置在下部，并且"山"因为位于离图像拍摄装置最远的位置，而被布置在上部。图26A是如 下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，再布置了沿在步骤 S2304提取出的被摄体区域(参见上述的图25A)而从上述单视点图像中切出的图像区域。在 该再布置图像的情况下，与被摄体距离相关联地布置了单视点图像的一部分，因此，在图 26A至图26D之中，运是最接近实际图像的再布置图像。图26B是如下的再布置图像，在该再 布置图像中，在与各被摄体距离相对应的位置，再布置了从在步骤S2303推导出的距离图 (参见图24B)中沿上述被摄体区域提取的图像区域。在该再布置图像的情况下，用与距离相 对应的浓淡度来显示各图像区域，因此，在该再布置图像中，被摄体距离被强调。图26C及图 26D分别是如下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，对在 步骤S2304提取出的被摄体区域的边框(参见上述的图25A及图25B)进行了再布置。在运些 再布置图像的情况下，再布置图像更加简化。
[0218] 返回到图23中的流程图的说明。
[0219] 在步骤S2306,焦点控制范围推导单元2207通过使用在步骤S2302获取到的光学参 数及图像组合参数，来推导在对在步骤S2301获取到的视差图像进行了图像组合的情况下 的焦点控制范围。下面给出详细说明。
[0220] 如前所述，焦点控制范围依据各单视点图像与组合图像的分辨率之比而改变，然 而，在此为了简化说明，考虑分辨率之比是1的情况。在图像侧焦点控制范围在由上述式巧） 表示的范围内的情况下，能够断定，已经获取到能够进行焦点控制的区域。因此，相对于被 摄体面1601的图像形成光学系统1602的图像侧共辆面和图像侧焦点控制范围drefocus仅需 要满足W下的式(7)。
[0221] -ΝΡε <dnf〇cus<NFe · · ·式（7)
[0222] 图27是示出图16中所示的图像拍摄单元1500的结构中的光学布置的图，并且，曰是 透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔。在图27中，从中屯、的微透 镜两端延伸的两条平行虚线代表与运些微透镜相对应的图像感测元件1604的区域，并且， 图像感测元件1604内的带斜线的像素代表无光线入射的死区。在本实施例中，透镜阵列 1603被配置为能够防止死区产生，并且在运种情况下，Ala= ΔΝ成立。然而，所述结构不局 限于此，并且可W存在死区。从图27中，能够知道NF = 〇/A在几何学的角度成立。通过用空 间分量的采样间距A y= Ala来表征决定焦点深度的容许弥散