[0284] ?图像形成光学系统1602的广角端的焦距村:72.2(mm)
[028引 ?图像形成光学系统1602的远摄端的焦距fT: 194.0(mm)
[0286] · F数(从广角端到远摄端）：2.9
[0287] · 一维划分的光瞳数N: 5
[0288] ?每个单视点图像的分辨率Rm〇n〇:6.0X106pix
[0289] .条件表达式（13)的范围、与条件表达式（13)表示的各范围相对应的组合图像的 分辨率RcDmb W及与组合图像的各分辨率相对应的山ef DCUS例如如下面的表(2 )所示。
[0290]
[0291] 表(2)
[0292] 如同在第Ξ实施例中一样，通过经由操作单元1505的用户输入，例如从上述Ξ种 类型之中选择组合图像的分辨率Rcnmb。
[0293] 在上述示例中，已知每个单视点图像的分辨率Rmnn。是6.0 X 106pix，因此，为了生成 例如10.0X106pix的组合图像，有必要通过基于像素移位的超析像等来提高分辨率。
[0294] [第五实施例]
[0295] 接下来，说明W图像拍摄装置包括具有图19中所示的结构（照相机阵列）的图像拍 摄单元为前提的方面，作为第五实施例。在下文中，主要说明本实施例的特有之处。
[0296] 图33是在从正面(物体侧)观察图像拍摄单元1500的情况下的、根据本实施例的具 有图19中的照相机阵列的结构的图像拍摄单元1500的图，并且，示出了7个图像拍摄模块各 自中的图像形成光学系统1602a至1602gW及图像感测元件1604a至160?的布置。在图像拍 摄单元1500的情况下，照相机阵列具有W图像形成光学系统1602b的光轴作为旋转轴的六 角对称性。然而，照相机阵列的结构不局限于此，并且图像形成光学系统的数量和排列是任 意的。此外，与各图像形成光学系统1602a至1602g相对应地排列各图像感测元件1604a至 1604g，然而，在能够获取由各图像形成光学系统1602a至160?形成的图像的情况下，图像 感测元件的数量可W是一个。
[0297] 在具有图33中所示的结构的图像拍摄单元1500中，由各图像形成光学系统1602a 至160?折射的光线被相对应的各图像感测元件1604a至16(Mg接收。由图像感测元件1604a 至160?获取到的多个图像，是从不同视点观察的被摄体空间的视差图像。通过使用所述多 个视差图像进行图像组合，能够获得被摄体空间的光场。
[0298] 图％是从侧面观察的图像形成光学系统1602a及图像感测元件1604a的图（截面 图）。其他图像形成光学系统1602b至1602gW及图像感测元件1604b至160?是相同的，然 而，各图像形成光学系统的结构也可W彼此不同。图像形成光学系统1602a是单焦点透镜， 并且通过改变图像形成光学系统1602a与图像感测元件1604a之间的间隔，来进行再聚焦。
[0299] 如同在第Ξ实施例中一样，在本实施例中的图像组合处理中，同样W与被期望对 焦的被摄体的距离相对应的移位量，使来自各视点的图像彼此叠加。焦点控制范围也与由 前述式(4)所表示的相同。图35是与第Ξ实施例的图21相对应的图，并且在本实施例的情况 下，Ay=ΔW及Au二Pm。n。/Fm。n。成ΛZ。在此,Fm。n。代表各图像形成光学系统1602a至1602g的 F数，并且Pm。。。代表与各图像形成光学系统相对应的出射光瞳距离。然后，在本实施例中，Δ <<PmDn。，因此，式(4)可W近似为下面的式（14)。
[0300]
[0301] 根据本实施例的图像处理单元1512中的处理的流程与根据第Ξ实施例的图23中 的流程图中相同，然而，图像拍摄单元1500的结构是不同的，因此，焦点控制范围被推导如 下（步骤S2302及步骤S2306)。
[0302] 在本实施例的情况下，构成图像拍摄单元1500的各图像形成光学系统1602a至 1602g具有光圈值可变的光圈。因为运样，在步骤S2302,获取图像拍摄时的各图像形成光学 系统的光圈值作为光学参数。
[0303] 在步骤S2306,基于与第Ξ实施例相同的构思，在步骤S2302获得的图像拍摄时的 各图像形成光学系统1602a至160?的F数被代入为Fm。。。，并且推导出焦点控制范围。在此， 通过将由具有Fm。。。的F数的图像形成光学系统形成的图像的分辨率作为Rm。。。，而求出山efDcus 应当满足的条件表达式(15)。
[0304]
[030引如同在第Ξ实施例中一样，通过将上述条件表达式（15)中的±10.0的范围替换为 ± 6.0或± 3.0，能够获得更清晰的组合图像。
[0306] 在下文中，示出具体示例。
[0307] .各图像感测元件1604a至160?的有效像素数RmDnD:19.3X106(pix)
[030引?像素间距 Δ :0.0012(mm)
[0309].各图像形成光学系统160^1至160?的焦距:50.0(mm)
[0引0] · F数（Fmono):1.8
[0311] ?条件表达式（15)的范围、与条件表达式（15)表示的各范围相对应的组合图像的 分辨率RcDmbW及与组合图像的各分辨率相对应的山efDcus例如如下面的表(3)所示。
[0312]
[0313] 表(3)
[0314] 然后，如同在第Ξ实施例中一样，通过经由操作单元1505的用户输入，例如从上述 Ξ种类型之中选择组合图像的分辨率Rcnmb。
[0315] 在图像拍摄时的F数是不同F数的情况下，确定山efecusW便满足条件表达式(15)。 [0316][第六实施例]
[0317] 通过使用由具有图16至图19中所示的图像拍摄单元的图像拍摄装置获取的、W及 通过从多个不同视点进行图像拍摄而获得的视差图像，而实现了第Ξ实施例至第五实施例 中说明的图像组合处理。图像组合处理不局限于使用视差图像的图像组合处理。也可W在 后来通过图像处理，来调整来自单个视点的拍摄图像的数据的焦点位置及景深。
[0318] 例如，作为用于通过图像处理来改变焦点位置的方法，已知有如下的方法:依照与 焦点位置的相对距离来对拍摄图像数据进行滤波处理。在运种情况下，首先，获取具有深的 景深的拍摄图像的数据、W及场景的距离信息。通过独立于图像拍摄装置配设距离传感器， 或者通过分析图像拍摄装置的拍摄图像数据，来获取距离信息。接下来，针对被期望对焦的 被摄体(或被摄体距离），不进行滤波处理而使用原始的拍摄图像数据，并且针对被期望对 焦的被摄体之外的区域，由距离信息来求出与该被摄体的相对距离。然后，针对与被期望对 焦的被摄体的相对距离近的区域，进行用来减小模糊量的滤波处理(例如，用来相对地减小 滤波器尺寸的设置）。另一方面，针对与被期望对焦的被摄体的相对距离远的区域，进行用 来增大模糊量的滤波处理(例如，用来相对地增大滤波器尺寸的设置）。通过诸如此类的方 法，可W改变焦点位置。
[0319] 如上所述，通过用于针对单视点图像、依照与焦点位置的相对距离来对拍摄图像 数据进行滤波处理的方法，使得焦点控制范围为获取单视点图像时的景深。
[0320] 也能够使用与上述类似的方法，通过图像处理来调整景深的程度。亦即，在对拍摄 图像数据的滤波处理中，通过用来增大滤波器尺寸的设置，使得模糊量增大，并且能够生成 具有窄的景深的图像的数据。相反，为了生成具有深的景深的图像的数据，将滤波器尺寸减 小。
[0321] [第屯实施例]
[0322] 在第Ξ实施例至第六实施例中，通过对来自多个视点的图像或者来自单个视点的 图像进行图像组合处理，而生成焦点位置等被改变的图像。然而，能够在无需进行图像组合 处理的情况下，获得焦点位置等被改变的图像。
[0323] 例如，已知有用于获取多个拍摄图像数据的如下方法，该方法在慢慢地改变图像 拍摄参数的同时，通过包围图像拍摄来获取多个图像。具体而言，获取到如下的拍摄图像的 数据，在该拍摄图像的数据中，图像拍摄装置中包括的焦点调整环和光圈调整环被逐步地 改变。假设在通过包围图像拍摄而拍摄的图像数据中，图像拍摄时的参数被与拍摄图像一 体地保持。亦即，在第Ξ实施例至第五实施例中，由包括来自多个视点的图像的一个拍摄图 像数据，通过算术运算来生成焦点位置等被改变的组合图像，然而，在本实施例中，从通过 包围图像拍摄而获得的多个拍摄图像数据中，选择并显示期望的拍摄图像。
[0324] 在焦点位置被逐步改变的包围图像拍摄(焦点包围图像拍摄）中，在使用图像拍摄 装置中包括的、被配置为进行焦点调整的操作单元的同时，逐步地改变焦点位置，从而多次 进行图像拍摄。在前述的图26A中，在与图像拍摄装置不同的距离处存在巧巾被摄体(人，建 筑物，山），并且分别地，"人"位于距图像拍摄装置最近的位置，"建筑物"位于中间距离的位 置，并且"山"位于最远的位置。在本实施例中，通过连续地改变焦点位置，W便包括位于最 近位置到最远位置的被摄体，而获取到各焦点位置的拍摄图像数据。由此，能够获得"人"、 "建筑物"及"山"各被摄体对焦的拍摄图像。在实际的焦点包围图像拍摄中，还拍摄到无主 要被摄体存在的部分（例如，人与建筑物之间）对焦的图像。然后，在获得的拍摄图像数据 中，图像拍摄时的焦点位置的信息与拍摄图像相关联地被记录为距离信息。与在第六实施 例中一样，也可W通过独立于图像拍摄装置配设距离传感器，或者通过分析图像拍摄装置 的拍摄图像数据，来获取场景的距离信息。
[0325] 如上所述，通过包围图像拍摄，在不进行图像组合处理的情况下，显示了焦点位置 被逐步改变的拍摄图像的数据。在运种情况下，在包围图像拍摄时被改变的焦点位置之中， 焦点控制范围是从距图像拍摄装置最近的焦点位置到最远的焦点位置。另外，能够将景深 视为大致等同于在包围图像拍摄时通过图像拍摄装置的光圈调整环而确定的景深。
[0326] 此外，在如同在前述的图30A及图30B中一样、除了聚焦信息显示图像之外还显示 焦点位置被改变的图像的情况下，依照从焦点位置获取单元2208供给的焦点位置，来选择 并显示所需的拍摄图像。
[0327] 也可W如上面所说明的，使用通过包围图像拍摄而获得的多个拍摄图像数据，来 获得焦点位置被改变的图像的数据。
[0328] 其他实施方式
[0329] 另外，可W通过读出并执行记录在存储介质（例如，非临时性计算机可读存储介 质）上的计算机可执行指令、W执行本发明的上述实施例中的一个或更多实施例的功能的 系统或装置的计算机，来实现本发明的各实施例，并且，可W利用由通过例如读出并执行来 自存储介质的计算机可执行指令、W执行上述实施例中的一个或更多实施例的功能的系统 或装置的计算机来执行的方法，来实现本发明的各实施例。所述计算机可W包括中央处理 单元(CPU)、微处理单元(MPU)或其他电路中的一者或更多，并且可W包括分开的计算机或 分开的计算机处理器的网络。所述计算机可执行指令可W例如从网络或存储介质被提供给 计算机。所述存储介质可W包括例如硬盘、随机存取存储器(ram)、只读存储器(ROM)、分布 式计算系统的存储器、光盘(诸如压缩盘仰）、数字多用途盘化VD)或蓝光盘(BD)?)、闪存设 备、存储卡等中的一者或更多。
[0330] 虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所 公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，W使所述范围涵盖所 有的此类变型例W及等同结构和功能。
【主权项】
1. 一种图像处理装置，该图像处理装置包括： 获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相 对应的距离信息； 第一生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄 体区域进行了再布置的再布置图像;以及 第二生成单元，其被配置为生成包括所述再布置图像的图像，其中，在所述再布置图像 中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦状态的图像组合处理的聚 焦状态的信息。2. 根据权利要求1所述的图像处理装置，其中， 所述关于聚焦状态的信息包括焦点位置、景深及焦点控制范围中的至少一者。3. 根据权利要求1所述的图像处理装置，其中， 所述第一生成单元以如下的方式进行所述再布置，使得依照所述距离信息，而在深度 方向上按次序布置所述多个被摄体区域。4. 根据权利要求1所述的图像处理装置，其中， 所述距离信息是表示从已拍摄包括所述多个被摄体区域的图像的图像拍摄装置分别 距多个被摄体的距离的信息，并且， 所述图像处理装置还包括距离推导单元，该距离推导单元被配置为推导所述距离信 息。5. 根据权利要求4所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多 个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图 像数据，并且， 所述距离推导单元通过在所述多个单视点图像之间进行立体匹配，来推导所述距离信 息。6. 根据权利要求5所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多 个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图 像数据，并且， 所述第二生成单元基于所述多个单视点图像中的一个单视点图像，生成包括所述再布 置图像的图像，其中，在所述再布置图像中反映了关于所述图像组合处理的聚焦状态的信 息。7. 根据权利要求6所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多 个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图 像数据，并且， 所述第二生成单元基于通过所述图像组合处理而生成的图像，生成包括所述再布置图 像的图像，其中，在所述再布置图像中反映了关于所述图像组合处理的聚焦状态的信息。8. 根据权利要求1所述的图像处理装置，其中， 所述图像组合处理是用来组合通过从多个不同视点拍摄所述多个被摄体区域而获得 的多个视差图像的处理。9. 根据权利要求1所述的图像处理装置，其中， 所述图像组合处理是对包括所述多个被摄体区域的图像的滤波处理。10. 根据权利要求1所述的图像处理装置，该图像处理装置还包括提取单元，该提取单 元被配置为基于所述距离信息，从包括所述多个被摄体区域的图像中提取被摄体区域，其 中， 所述第一生成单元通过对由所述提取单元提取出的被摄体区域进行再布置，来生成所 述再布置图像。11. 根据权利要求10所述的图像处理装置，其中， 所述提取单元提取沿被摄体的轮廓的区域或者包括被摄体的任意形状的区域，作为所 述被摄体区域。12. -种具有根据权利要求1所述的图像处理装置的图像拍摄装置，该图像拍摄装置包 括： 接收单元，其被配置为接收用户指令； 显示单元，其被配置为显示反映了关于聚焦状态的信息的图像；以及 调整单元，其被配置为基于所述用户指令，来调整在所述显示单元中显示的图像的聚 焦状态。13. 根据权利要求12所述的具有所述图像处理装置的图像拍摄装置，其中， 所述显示单元具有实时取景功能，并且在实时取景中显示反映了关于聚焦状态的信息 的图像。14. 一种图像处理方法，该图像处理方法包括以下步骤： 获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息； 基于所述距离信息，来生成在所述图像中对所述多个被摄体区域进行了再布置的再布 置图像；以及 生成包括所述再布置图像的图像，其中，在所述再布置图像中反映了关于用来改变包 括所述多个被摄体区域的图像的聚焦状态的图像组合处理的聚焦状态的信息。
【专利摘要】本发明提供一种图像处理装置、图像拍摄装置及图像处理方法。传统上，未清楚地指定在图像拍摄时或者在编辑图像时、在哪个范围内的被摄体上能够进行再聚焦，因此，用户难以通过自己预期的方式来拍摄图像或者编辑图像。所述图像处理装置具有：获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
【IPC分类】H04N5/232
【公开号】CN105491294
【申请号】CN201610015181
【发明人】堤正平
【申请人】佳能株式会社
【公开日】2016年4月13日
【申请日】2014年3月5日
【公告号】CN104038690A, US9270902, US20140253760, US20160134807