摄像设备及其控制方法
【专利摘要】本发明涉及一种摄像设备及其控制方法。所述摄像设备包括：摄像单元，用于拍摄图像并且生成光场图像数据；选择单元，用于从所拍摄图像数据中选择被摄体；关联单元，用于将所述选择单元所选择的多个被摄体相关联；重建单元，用于对所述关联单元所关联的多个被摄体分别聚焦的多个图像进行重建；以及合成单元，用于对所述重建单元所重建的多个图像进行合成。
【专利说明】摄像设备及其控制方法
【技术领域】
[0001]本发明涉及能够在任意的再聚焦面上重建图像的摄像设备。
【背景技术】
[0002]近来，在诸如电子照相机等的摄像设备中，提出了除了光的强度分布以外、甚至还能够获取光的入射方向的信息的摄像设备(光场照相机)。
[0003]例如，根据“Ren.Ng 和其它七人,‘Light Field Photography with a Hand-HeldPlenoptic Camera’，Stanford Tech Report CTSR2005-02”,在摄像镜头和图像传感器之间插入微透镜阵列，并且一个微透镜与图像传感器的多个像素相对应。针对各入射方向利用多个像素来获取穿过微透镜的光。通过将被称为“光场摄影”的方法应用于如此获取到的像素信号(光场信息)，可以在拍摄之后重建聚焦于多个像面(再聚焦面)的图像。
[0004]另一方面，要求在摄像时通过使用远近法来拍摄可以造成关于被摄体之间的大小关系的错觉的图像。例如，在如图17所示的、近距离处的人物看似支撑远距离处的建筑物的构图中，将景深设置得深以聚焦于这两个被摄体。这样造成远距离处的建筑物和近距离处的人物存在于相同的被摄体距离处的错觉。将这种图像称为幻觉艺术图像(trick artimage)。
[0005]然而，在利用正常的摄像设备进行拍摄时，该摄像设备无法聚焦于错觉要使用的这两个被摄体，并且其中任一被摄体模糊，使得仅获得效果较差的幻觉艺术图像。
[0006]此外，在上述的光场照相机中，不存在关于生成诸如幻觉艺术图像等的图像的提议。
[0007]在如上所述、聚焦于错觉要使用的这两个被摄体的情况下，如果这些被摄体存在于聚焦范围外，则这些被摄体变得失焦。为了防止该情况，在错觉要使用的被摄体存在于聚焦范围外的情况下，需要向用户通知该情况的部件。然而，迄今为止连这种部件都没有考虑。
【发明内容】
[0008]本发明是为了解决上述问题而作出的，并且提供能够容易地重建用户所期望的幻觉艺术图像的摄像设备。
[0009]根据本发明的第一方面，提供一种摄像设备，包括:摄像单元，用于拍摄图像并且生成光场图像数据；选择单元，用于从所拍摄的图像数据中选择被摄体；关联单元，用于将所述选择单元所选择的多个被摄体相关联；重建单元，用于对所述关联单元所关联的多个被摄体分别聚焦的多个图像进行重建；以及合成单元，用于对所述重建单元所重建的多个图像进行合成。
[0010]根据本发明的第二方面，提供一种摄像设备的控制方法，所述摄像设备包括用于拍摄图像并且生成光场图像数据的摄像单元，所述控制方法包括以下步骤:选择步骤，用于从所拍摄的图像数据中选择被摄体；关联步骤，用于将在所述选择步骤中选择的多个被摄体相关联；重建步骤，用于对在所述关联步骤中关联的多个被摄体分别聚焦的多个图像进行重建；以及合成步骤，用于对在所述重建步骤中重建的多个图像进行合成。
[0011]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【专利附图】
【附图说明】
[0012]图1是示出根据本发明的第一实施例的摄像设备的结构的框图；
[0013]图2是用于说明图像传感器和微透镜阵列的结构的图；
[0014]图3是用于说明摄像镜头、微透镜阵列和图像传感器的结构的图；
[0015]图4A和4B是用于说明摄像镜头的光瞳区域和光接收像素之间的对应关系的图；
[0016]图5是用于说明光场图像生成光束穿过的区域的图；
[0017]图6是示出在拍摄幻觉艺术图像的情况下、摄像设备和被摄体之间的距离关系的图；
[0018]图7是示出要获取的幻觉艺术图像的图；
[0019]图8是示出拍摄幻觉艺术所要使用的图像的操作的流程图；
[0020]图9是示出选择电子取景器(EVF)上的被摄体的方法的图；
[0021]图10是示出在选择被摄体的情况下所保持的坐标信息的图；
[0022]图11是示出重放时的操作的流程图；
[0023]图12是示出被摄体区域检测方法的图；
[0024]图13A?13C是示出第一实施例中所获得的图像的图；
[0025]图14是示出重放时重建成幻觉艺术的操作的流程图；
[0026]图15是用于说明摄像镜头、微透镜阵列和图像传感器的另一结构的图；
[0027]图16是示出摄像设备整体的另一示例的框图；
[0028]图17是示出幻觉艺术图像的示例的图；
[0029]图18是示出拍摄幻觉艺术图像并且显示警告的操作的流程图；
[0030]图19是示出警告显示的示例的图；
[0031]图20是用于说明被摄体无法聚焦的情形的示例的图；以及
[0032]图21是示出重放时重建幻觉艺术图像并且显示警告的操作的流程图。
【具体实施方式】
[0033]现在将参考附图来详细说明本发明的实施例。
[0034]第一实施例
[0035]图1是示出根据本发明的第一实施例的摄像设备的结构的框图。在图1中，开关组(操作构件组)117将诸如摄像模式的设置等的与摄像有关的各种信息输出至CPU111。从释放开关输出的信号用作AE(自动曝光)或AF(自动调焦)操作开始触发或摄像开始触发。在接收到这些开始触发时，CPUlll控制摄像设备100的包括图像传感器103和显示单元106的各单元。R0M103存储CPUlll的操作所用的程序和数据。
[0036]附图标记101表示摄像镜头；附图标记102表示微透镜阵列；并且附图标记103表示图像传感器。微透镜阵列102由多个微透镜1020构成。图像传感器103将经由微透镜1020入射的光转换成电信号，并且将该电信号输出至A/D转换单元104。[0037]A/D转换单元104对电信号进行数字化，并且将数字数据输出至图像处理单元105。图像处理单元105进行诸如白平衡校正和颜色转换等的各种图像生成处理、对所生成的图像进行压缩的压缩处理、对多个图像进行合成的合成处理、以及(后面要说明的)被摄体区域检测处理和坐标信息关联处理。将处理后的图像数据经由总线112临时存储在主存储器114中。将所存储的图像数据经由记录单元115记录在外部记录介质(未示出)上、或者经由通信单元116发送至诸如个人计算机等的外部设备(未示出)。显示单元106显示摄像设备的用户界面画面，用作为EVF，或者显示所拍摄图像。
[0038]本实施例假定图像处理单元105具有如下功能，其中该功能使用被称为“光场摄影”的方法来进行计算处理，并且根据所拍摄图像数据来在任意的再聚焦面上重建图像。
[0039]接着，将说明获取光场图像时的摄像镜头101、微透镜阵列102和图像传感器103的结构。
[0040]图2是示出在从图1的光轴Z观察的情况下图像传感器103和微透镜阵列102的图。一个微透镜1020被配置成与多个单位像素201相对应。对位于一个微透镜后方的多个单位像素201进行定义以形成像素阵列20。本实施例假定像素阵列20总共包括5X5=25个单位像素201。
[0041]图3是示出在从与光轴Z垂直的方向观察的情况下、从摄像镜头101出射的光穿过一个微透镜1020并且被图像传感器103接收到的状态的图。从摄像镜头101的各光瞳区域al~a5出射的并且穿过微透镜1020的光束在后方的相应单位像素pi~p5中成像。
[0042]图4A是示出在从光轴Z观看的情况下摄像镜头101的开口的图。图4B是示出在从光轴Z观看的情况下一个微透镜1020和配置在该微透镜1020后方的像素阵列20的图。在如图4A所示、将摄像镜头101的光瞳区域分割成数量与一个微透镜后方的像素相等的区域的情况下，从摄像镜头101的一个光瞳分割区域出射的光在一个像素中成像。假定摄像镜头101和微透镜1020具有几乎相同的f数。
[0043]图4A所示的摄像镜头101的光瞳分割区域all~a55和图4B所示的像素pi I~P55之间的对应关系在从光轴Z观看的情况下呈点对称。因而，从摄像镜头101的光瞳分割区域all出射的光在微透镜后方的像素阵列20内的像素pll中成像。同样，从光瞳分割区域all出射的并且穿过另一微透镜1020的光在该微透镜后方的像素阵列20内的像素pll中成像。
[0044]将说明计算与帧内的任意被摄体位置相对应的再聚焦面的方法。
[0045]如参考图4A和4B所述，像素阵列20的各像素接收穿过摄像镜头101的不同光瞳区域的光束。通过根据这些分割信号合成多个像素信号，生成在水平方向上进行了光瞳分割的一对信号。
[0046]
【权利要求】
1.一种摄像设备，包括: 摄像单元，用于拍摄图像并且生成光场图像数据； 选择单元，用于从所拍摄的图像数据中选择被摄体； 关联单元，用于将所述选择单元所选择的多个被摄体相关联； 重建单元，用于对所述关联单元所关联的多个被摄体分别聚焦的多个图像进行重建；以及 合成单元，用于对所述重建单元所重建的多个图像进行合成。
2.根据权利要求1所述的摄像设备，其中，所述选择单元包括被配置成由用户进行操作的操作构件。
3.根据权利要求2所述的摄像设备，其中，所述操作构件包括触摸面板。
4.根据权利要求1所述的摄像设备，其中，所述选择单元追踪被摄体的运动。
5.根据权利要求1所述的摄像设备，其中，还包括显示单元，所述显示单元用于对所述选择单元所选择的被摄体进行着色并且显示。
6.根据权利要求1所述的摄像设备，其中，还包括记录单元，所述记录单元用于将所述选择单元所选择的被摄体 的光场图像数据中的代表坐标信息添加至所拍摄的图像数据，并且记录所述代表坐标信息。
7.根据权利要求1所述的摄像设备，其中，使用如下重建图像作为在对所述多个图像进行合成时的基准图像，其中在所述重建图像中，将所述选择单元所选择的被摄体中的、在所述光场图像数据内所占的比率最高的被摄体设置为再聚焦面。
8.根据权利要求1所述的摄像设备，其中，使用如下重建图像作为在对所述多个图像进行合成时的基准图像，其中在所述重建图像中，将所述选择单元所选择的被摄体中的、离所述摄像设备最近的被摄体设置为再聚焦面。
9.根据权利要求1所述的摄像设备，其中，使用如下重建图像作为在对所述多个图像进行合成时的基准图像，其中在所述重建图像中，将所述选择单元所选择的被摄体中的个人认证成功的被摄体设置为再聚焦面。
10.根据权利要求1所述的摄像设备，其中，使用如下重建图像作为在对所述多个图像进行合成时的基准图像，其中在所述重建图像中，将所述选择单元所选择的被摄体中的被识别为人物的被摄体设置为再聚焦面。
11.根据权利要求1所述的摄像设备，其中，使用如下重建图像作为在对所述多个图像进行合成时的基准图像，其中在所述重建图像中，将所述选择单元所选择的被摄体中的没有被识别为人物的被摄体设置为再聚焦面。
12.根据权利要求1所述的摄像设备，其中，所述摄像单元包括微透镜阵列和图像传感器，并且所述微透镜阵列的各微透镜与所述图像传感器的多个像素相对应。
13.根据权利要求1所述的摄像设备，其中，还包括: 计算单元，用于计算从所述摄像设备到所述选择单元所选择的被摄体的距离；以及 警告单元，用于在所述关联单元所关联的被摄体存在于所述摄像设备的可再聚焦范围外的情况下，向用户通知该被摄体不能聚焦。
14.根据权利要求13所述的摄像设备，其中，所述可再聚焦范围外表示所述计算单元所计算出的相对于该被摄体的距离短于所述摄像设备的最短拍摄距离。
15.根据权利要求13所述的摄像设备，其中，所述警告单元显示警告消息。
16.根据权利要求13所述的摄像设备，其中，所述警告单元突出显示存在于所述可再聚焦范围外的被摄体。
17.根据权利要求13所述的摄像设备，其中，所述警告单元显示提示用户移动的消息。
18.—种摄像设备的控制方法，所述摄像设备包括用于拍摄图像并且生成光场图像数据的摄像单元，所述控制方法包括以下步骤: 选择步骤，用于从所拍摄的图像数据中选择被摄体； 关联步骤，用于将在所述选择步骤中选择的多个被摄体相关联； 重建步骤，用于对在所述关联步骤中关联的多个被摄体分别聚焦的多个图像进行重建；以及 合成步骤，用于对在所述重建步骤中重建的多个图像进行合成。
19.根据权利要求18所述的控制方法，其中，还包括以下步骤: 计算步骤，用于计算从所述摄像设备到在所述选择步骤中选择的被摄体的距离；以及警告步骤，用于 在所述关联步骤中关联的被摄体存在于所述摄像设备的可再聚焦范围外的情况下，向用户通知该被摄体不能聚焦。
【文档编号】H04N5/232GK103997601SQ201410051990
【公开日】2014年8月20日 申请日期:2014年2月14日 优先权日:2013年2月14日
【发明者】山本聪, 望月俊宏, 村田健一 申请人:佳能株式会社