图像摄取装置及其控制方法
【专利摘要】本发明提供一种图像摄取装置及其控制方法。该图像摄取装置包括图像摄取光学单元、驱动单元、被摄体检测单元以及重聚焦图像生成单元，图像摄取光学单元摄取由包括聚焦透镜的图像摄取光学系统聚焦的被摄体图像，并获取能够用于重构重聚焦图像的图像数据，驱动单元驱动聚焦透镜，被摄体检测单元基于图像数据检测预定被摄体，重聚焦图像生成单元在重聚焦范围内的任意焦距处根据图像数据重构重聚焦图像。该图像摄取装置基于重聚焦范围确定聚焦透镜的移动位置，以获取用于在聚焦调整范围内的任意位置重构重聚焦图像的图像数据。该图像摄取装置根据确定的位置控制驱动单元和图像摄取光学单元以获取图像数据，并基于图像数据检测预定被摄体。
【专利说明】图像摄取装置及其控制方法
【技术领域】
[0001]本发明涉及以数字照相机为代表的图像摄取装置，尤其涉及具有重聚焦功能和被摄体检测功能的图像摄取装置及其控制方法。
【背景技术】
[0002]在相关技术中，存在诸如数字照相机的图像摄取装置，其被配置为具有检测被摄体的功能以及AF/AE功能，该AF/AE功能对存在检测到的被摄体的图像区域进行自动调焦并曝光。尽管作为检测被摄体的功能，广泛安装了专门检测人物面部的功能，但是在景深小并且面部模糊的情况下，存在由于模糊而无法检测到面部的问题。与此相对，例如日本特开2009-65356号公报公开了一种根据景深向多个位置移动聚焦透镜以在这些位置进行面部检测的技术。此外，日本特开2008-58553号公报公开了一种沿从无限远位置向最近位置的方向驱动聚焦透镜来确定在驱动期间获得了反差值峰值的区域的图像是否是面部图像的技术。
[0003]另一方面，Ren.Ng 等(共 7 名)所著的 “Light Field Photography with aHand-Held Plenoptic Camera，，(Stanford Tech Report CTSR2005-02)等中公开了一种具有如下配置的图像摄取装置，在该配置中，以I比多个像素的比例排列的微透镜阵列布置在图像摄取元件的前面，并且能够获得入射到图像摄取元件的光线的入射方向的信息。作为这种图像摄取装置的用途，除了基于来自各像素的输出信号生成普通拍摄图像之外，还能够通过对拍摄图像进行预定的图像处理来重构在任意焦距聚焦的图像等等。
[0004]然而，在上述专利文献所公开的相关技术中，由于基本上需要使聚焦透镜从无限远位置扫描到最近位置，因此存在AF/AE操作花费太多时间的问题。
【发明内容】
[0005]本发明的一个方面提供了一种图像摄取装置，即使在景深较浅的情况下，该图像摄取装置也能够在检测中以更快的速度、无遗漏地检测被摄体，以进行AF/AE操作。
[0006]为实现本发明的上述方面，根据本发明，提供一种图像摄取装置，其包括图像摄取光学单元、驱动单元、被摄体检测单元以及重聚焦图像生成单元，所述图像摄取光学单元用于摄取由包括聚焦透镜的图像摄取光学系统聚焦的被摄体图像，并获取能够用于重构重聚焦图像的图像数据，所述聚焦透镜用于调整所述被摄体的聚焦状态，所述驱动单元用于驱动所述聚焦透镜，所述被摄体检测单元用于基于由所述图像摄取光学单元获取的所述图像数据检测预定被摄体，所述重聚焦图像生成单元用于在包括在重聚焦范围内的任意焦距处，根据由所述图像摄取光学单元获取的所述图像数据重构所述重聚焦图像，所述图像摄取装置包括:位置确定单元，用于基于所述重聚焦范围确定所述聚焦透镜在光轴方向上要移动到的位置，以获取用于在所述聚焦透镜的所述聚焦状态的调整范围内的任意位置重构所述重聚焦图像的所述图像数据；以及控制单元，用于根据由所述位置确定单元确定的位置来控制所述驱动单元和所述图像摄取光学单元以获取所述图像数据，其中，所述被摄体检测单元基于所述控制单元通过控制所述驱动单元和所述图像摄取光学单元而获取的所述图像数据，来检测所述预定被摄体。
[0007]通过以下参照附图对示例性实施例的描述，本发明的其它特征将变得清楚。
【专利附图】
【附图说明】
[0008]包含在说明书中、构成说明书的一部分的附图，示出了本发明的示例性实施例、特征和方面，并且与文字说明一起用于解释本发明的原理。
[0009]图1是例示根据本发明的实施例的图像摄取装置的整体配置的框图。
[0010]图2是例示根据本发明的实施例的图像摄取装置中包括的图像摄取元件和微透镜阵列的配置的图。
[0011]图3是例示根据本发明的实施例的图像摄取装置中的包括拍摄透镜、微透镜阵列以及图像摄取元件的图像摄取光学单元的配置的图。
[0012]图4A和图4B是例示在根据本发明的实施例的图像摄取装置的受光像素与拍摄透镜的光瞳区域之间的对应关系的图。
[0013]图5是例示根据本发明的实施例的图像摄取装置的图像摄取光学系统中、与重聚焦图像的生成相关的光线通过的区域的示意图。
[0014]图6是例示根据本发明的实施例的图像摄取装置的操作的流程的图。
[0015]图7是例示根据本发明的实施例的图像摄取装置的最大重聚焦量的图。
[0016]图8是例示根据本发明的实施例的被摄体检测中的聚焦透镜的停止位置与重聚焦范围之间的关系的图。
[0017]图9A、图9B、图9C和图9D是例示根据本发明的实施例的被摄体检测中检测到多个被摄体时的透镜移动位置的设置示例的图。
[0018]图10是例示根据本发明的实施例的变形例的聚焦透镜的停止位置与重聚焦范围之间的关系的图。
【具体实施方式】
[0019]现在，参照附图详细说明本发明的各种示例性实施例、特征和方面。
[0020]图1是例示作为根据本发明的实施例的图像摄取装置的数字照相机的框图。在该图中，附图标记101指示拍摄透镜，虽未示出，但其为由多个透镜构成的光学系统。该多个透镜包括可移动聚焦透镜。通过驱动聚焦透镜能够调节针对被摄体的聚焦状态。附图标记102指示微透镜阵列(以下称为“MLA”)，其由多个微透镜构成。微透镜阵列被布置在拍摄透镜101的焦点附近。通过拍摄透镜101的不同光瞳区域的光线入射到MLA102并从各光瞳区域分别射出。附图标记103指示图像摄取元件，其由CXD图像传感器、CMOS图像传感器等构成。图像摄取元件被布置在MLA102的焦点附近。稍后将描述MLA102及图像摄取元件103的详情。附图标记104是AD转换单元，其针对从图像摄取元件103输出的图像信号进行AD转换以生成数字数据，并且由附图标记105指示的图像处理单元对该数字数据进行预定的图像处理等以获得被摄体的数字图像数据。附图标记106是拍摄控制单元，其在由液晶显示器构成的显示单元107上显示由图像处理单元105获得的数字图像数据，并进行诸如在记录单元108中存储该数据的控制。拍摄控制单元106的CPU加载并执行存储在存储器(未示出)中的程序来控制图像摄取装置的各组件。在这种情况下，组件的全部或部分功能可以由CPU来执行，也可以被配置为硬件。
[0021]被摄体检测单元109从拍摄控制单元106接收由图像处理单元105获得的数字图像数据，以检测图像中存在的预定被摄体在图像画面中的位置和尺寸。在本实施例中，被摄体检测单元109具有检测人物面部作为预定被摄体的功能，来检测图像画面中预定被摄体的位置和尺寸。此外，预先登记特定人物的面部特征数据，并且可以通过比较检测的面部与登记数据来进行个人识别。基于该识别功能，能够对特定人物的检测面部分配优先级。
[0022]操作单元110是诸如按钮或触摸屏的单元，其从用户接收操作。响应于接收到的操作，进行诸如聚焦操作的开始或存储在记录单元108中的数字图像数据的清除等各种操作。此外，拍摄透镜101电连接、机械连接到拍摄控制单元106，由此能够通过通信来获取拍摄透镜的信息，并且在聚焦操作时能够传送聚焦透镜驱动命令等。
[0023]接下来，将描述根据本实施例的图像摄取装置中的拍摄透镜101、MLA102以及图像摄取元件103的配置。
[0024]图2是例示图像摄取元件103和MLA102的配置的图。该图示出了沿与拍摄镜头的光轴平行的Z方向观察到的图像摄取元件103和MLA102。一个微透镜202被布置为与构成拍摄图像的虚拟像素200的多个单位像素201 (光电转换元件)相对应。微透镜202是构成MLA102的微透镜之一。在本实施例中，假定6行X6列(总计36)的单位像素201对应于一个微透镜。此外，对于该图中例示的坐标轴，z轴指示光轴方向；与z轴垂直的平面被设置为与图像摄取平面平行的平面，在图像摄取平面中定义X轴(水平方向)和y轴(垂直方向)。此外，图2例示了图像摄取元件103的受光平面的一部分，并且在实际的图像摄取元件中布置有大量像素。
[0025]图3是例示从与光轴z垂直的方向观察到的、从拍摄透镜101射出的光线通过MLA102的一个微透镜202而被图像摄取元件103接收的状态。从拍摄透镜101的光瞳区域S1到a6射出的光线通过微透镜202，聚焦在图像摄取元件103的相应的单位像素P1到P6上。
[0026]图4A是例示从光轴(z轴)方向观察到的拍摄透镜101的光圈的图。图4B是例示从光轴(z轴)方向观察到的一个微透镜202以及布置在微透镜202后面的单位像素201的图。如图4A所示，在拍摄透镜101的光瞳区域被划分为与在一个微透镜之下布置的像素的数量相同数量的情况下，来自拍摄透镜101的多个光瞳分割区域中的一个的光线聚焦在一个像素上。在此，假定拍摄透镜的F值与微透镜的F值彼此基本相同。当图4A中例示的拍摄透镜的光瞳分割区域由an到a66指示，并且图4B所示的像素由P11到P66指示时，当从光轴(z轴)方向观察时光瞳分割区域与像素具有点对称关系。因此，从拍摄透镜的光瞳分割区域an射出的光线聚焦在布置在微透镜之后的像素201中的像素P11上。以这种方式，从光瞳分割区域an射出并通过不同的微透镜的光线，同样聚焦在布置在微透镜之后的像素201中的像素P11上。
[0027]接下来，将描述在任意设置的焦点(重聚焦平面)处的图像中重构通过使用包括拍摄透镜101、MLA102以及图像摄取元件103的图像摄取光学单元获取的数字图像数据的处理。通过使用被称为“光场拍摄(light field photography)”的方法在图像处理单元中进行重构。[0028]图5是例示从与光轴(z轴)垂直的方向观察时，通过任意设置的重聚焦平面上的像素的光线从拍摄透镜的哪个光瞳分割区域射出，并且入射到哪个微透镜的图。如图例示，拍摄透镜的光瞳分割区域的位置的坐标由U，V)指示，重聚焦平面上的像素的位置的坐标由(x，y)指示，微透镜阵列上的微透镜的位置的坐标由(X’，y’)指示。此外，从拍摄透镜到微透镜阵列的距离由F指示，并且从拍摄透镜到重聚焦平面的距离由ciF指示。在此，α指示用于确定重聚焦平面的位置的重聚焦系数，其能够由用户任意设置。此外，在图5中，仅例示u,x,x’的方向，而省略V, y, y’的方向。
[0029]如图5所示，通过坐标(U，V)和坐标(x，y)的光线500到达微透镜阵列的坐标(X’，y’)。坐标(X’，y’)能够由等式I来表示。
【权利要求】
1.一种图像摄取装置，其包括图像摄取光学单元、驱动单元、被摄体检测单元以及重聚焦图像生成单元，所述图像摄取光学单元用于摄取由包括聚焦透镜的图像摄取光学系统聚焦的被摄体图像，并获取能够用于重构重聚焦图像的图像数据，所述聚焦透镜用于调整所述被摄体的聚焦状态，所述驱动单元用于驱动所述聚焦透镜，所述被摄体检测单元用于基于由所述图像摄取光学单元获取的所述图像数据检测预定被摄体，所述重聚焦图像生成单元用于在包括在重聚焦范围内的任意焦距处，根据由所述图像摄取光学单元获取的所述图像数据重构所述重聚焦图像，所述图像摄取装置包括: 位置确定单元，用于基于所述重聚焦范围确定所述聚焦透镜在光轴方向上要移动到的位置，以获取用于在所述聚焦透镜的所述聚焦状态的调整范围内的任意位置重构所述重聚焦图像的所述图像数据；以及 控制单元，用于根据由所述位置确定单元确定的位置来控制所述驱动单元和所述图像摄取光学单元以获取所述图像数据， 其中，所述被摄体检测单元基于所述控制单元通过控制所述驱动单元和所述图像摄取光学单元而获取的所述图像数据，来检测所述预定被摄体。
2.根据权利要求1所述的图像摄取装置，其中，所述位置确定单元将所述聚焦状态的所述调整范围确定为以所述重聚焦范围的间隔来移动的所述聚焦透镜的移动位置，并且其中，对应于所述移动位置的所述重聚焦范围不互相重叠，并包括所述调整范围。
3.根据权利要求1所述的图像摄取装置，其中，所述位置确定单元将所述聚焦状态的所述调整范围确定为所述聚焦透镜的移动位置，所述聚焦透镜以通过将所述重聚焦范围的两端各自扩展景深而提供的范围的间隔移动，并且其中，对应于所述移动位置的所述扩展的重聚焦范围不互相重叠，并包括所述调整范围。
4.根据权利要求1所述的图像摄取装置，其中，所述被摄体检测单元根据所述控制单元通过控制所述驱动单元和所述图像摄取单元而获取的所述图像数据、以及由所述重聚焦图像生成单元根据所述图像数据重构的所述重聚焦图像，来检测所述预定被摄体。
5.根据权利要求1所述的图像摄取装置，其中，所述控制单元基于所述重聚焦范围以及所检测的预定被摄体可感测的范围，来确定用于摄取所检测的预定被摄体的所述聚焦透镜的移动位置，并且所述控制单元根据用于摄取所检测的预定被摄体的所述聚焦透镜的移动位置控制所述驱动单元和所述图像摄取光学单元。
6.根据权利要求5所述图像摄取装置，其中，在所述被摄体检测单元检测到不同位置的多个被摄体的情况下，所述控制单元将提供包括所检测到的多个被摄体的位置或最多被摄体的位置的所述重聚焦范围的所述聚焦透镜的移动位置，确定为用于摄取所检测的预定被摄体图像的所述聚焦透镜的移动位置。
7.根据权利要求6所述的图像摄取装置，其中，在所述控制单元将提供包括所检测到的多个被摄体中的最多被摄体的位置的所述重聚焦范围的所述聚焦透镜的移动位置，确定为用于摄取所检测的预定被摄体的所述聚焦透镜的移动位置的情况下，所述控制单元控制所述重聚焦图像生成单元重构未包括在所述重聚焦范围内的预定被摄体的图像作为重聚焦图像。
8.根据权利要求1所述的图像摄取装置，其中，所述被摄体检测单元检测人物的面部作为所述预定被摄体。
9.根据权利要求8所述的图像摄取装置，其中，所述被摄体检测单元检测所述人物的距离和所述人物的面部的尺寸，并且其中，所述控制单元基于所检测到的所述人物的距离和所述人物的面部的尺寸，来确定用于摄取所检测的预定被摄体的所述聚焦透镜的移动位置。
10.根据权利要求1所述的图像摄取装置，其中，在所述被摄体检测单位未检测到所述预定被摄体的情况下，所述控制单元基于通过调整所述聚焦透镜的所述聚焦状态而获得的距离测量信息，来确定所述聚焦透镜的移动位置。
11.一种图像摄取装置的控制方法，该图像摄取装置包括图像摄取光学单元、驱动单元、被摄体检测单元以及重聚焦图像生成单元，所述图像摄取光学单元用于摄取由包括聚焦透镜的图像摄取光学系统聚焦的被摄体图像，并获取能够用于重构重聚焦图像的图像数据，所述聚焦透镜用于调整所述被摄体的聚焦状态，所述驱动单元用于驱动所述聚焦透镜，所述被摄体检测单元用于基于由所述图像摄取光学单元获取的所述图像数据检测预定被摄体，所述重聚焦图像生成单元用于在包括在重聚焦范围内的任意焦距处，根据由所述图像摄取光学单元获取的所述图像数据重构所述重聚焦图像，所述控制方法包括如下步骤: 确定步骤，基于所述重聚焦范围确定所述聚焦透镜在光轴方向上要移动到的位置，以获取用于在所述聚焦透镜的所述聚焦状态的调整范围内的任意位置重构所述重聚焦图像的所述图像数据；以及 控制步骤，根据在所述确定步骤中确定的位置来控制所述驱动单元和所述图像摄取光学单元， 其中，所述被摄体检测单元基于通过在所述控制步骤中控制所述驱动单元和所述图像摄取光学单元而获取的所述图像 数据，来检测所述预定被摄体。
【文档编号】H04N5/232GK103516976SQ201310247369
【公开日】2014年1月15日 申请日期:2013年6月20日 优先权日:2012年6月25日
【发明者】菅原淳史 申请人:佳能株式会社