图像记录装置及图像再现装置制造方法
【专利摘要】本发明提供一种图像记录装置及图像再现装置。图像记录单元获得通过拍摄操作获得的并且能够重构再聚焦图像的图像数据以及拍摄信息，基于所获得的拍摄信息，与图像中包括的被摄体相关联地生成用于重构再聚焦图像的参数，并且将所生成的参数作为图像数据的元数据与所获得的图像数据一起记录在记录介质中。该图像再现装置从记录介质读出所记录的图像数据和参数，使用所读出的参数由所读出的图像数据重构再聚焦图像，根据编辑指令编辑所重构的再聚焦图像，并且对所编辑的再聚焦图像的参数进行编辑。
【专利说明】图像记录装置及图像再现装置
【技术领域】
[0001]本发明涉及由数字照相机代表的摄像装置，尤其涉及由具有再聚焦功能的摄像装置拍摄的图像的记录装置以及记录图像的再现装置。
【背景技术】
[0002]近年来，非专利文献(Ren.Ng and seven others, “Light Field Photographywith a Hand-Held Planoptic Camera，，，Stanford Tech Report CTSR2005-02)等提出了如下构成的摄像装置:在摄像元件的前面布置包括多个微透镜(各个微透镜对应于数个像素)的微透镜阵列，使得除了像素信号以外还能够获得入射在摄像元件上的光线的入射方向的信息。通过使用这种摄像装置，不仅能够生成基于来自各像素的输出信号的正常拍摄图像，还能够通过对拍摄图像应用预定图像处理来重构以任意焦距聚焦的图像。
[0003]当出于浏览的目的显示能够再聚焦的这种图像时，难以判断最初显示的图像要再聚焦的聚焦位置。为了解决该问题，专利文献(日本专利特开第2011-22796号公报)从图像中提取被摄体，并显示聚焦包括该被摄体的区域的再聚焦图像。可选地，在获得图像时的拍摄条件被作为标签数据附加到图像数据中，并且基于该标签信息生成再聚焦图像。
[0004]然而，在上述专利文献中公开的现有技术需要在显示图像之前提取被摄体的处理。即使在拍摄时的信息作为标签数据被包括的情况下，也必须计算不同视点的多个图像之间的相位差来确定重构后的再聚焦面，由此在任何情况下都不期望地产生了算术成本。
【发明内容】
[0005]本发明的一方面提供图像数据的记录装置及再现装置，其能够快速地显示由能够拍摄被摄体作为能够再聚焦的图像的摄像装置获得的图像数据，作为期望的再聚焦图像。
[0006]为了解决上述问题，根据本发明，提供了一种图像记录装置，其用于记录能够重构包括至少一个被摄体的图像的再聚焦图像的图像数据，该图像记录装置包括:获得单元，用于获得通过拍摄包括所述至少一个被摄体的所述图像获得的并且能够重构所述再聚焦图像的图像数据，以及所述图像的拍摄信息；参数生成单元，用于基于所获得的拍摄信息，与所述图像中包括的所述被摄体相关联地生成要用于重构所述再聚焦图像的参数；以及记录单元，用于将所生成的参数作为所述图像的元数据与所获得的图像数据一起记录在记录介质中。
[0007]此外，根据本发明，提供了一种图像再现装置，其用于再现由所述图像记录装置记录的图像数据，该图像再现装置包括:读取单元，用于从所述记录介质读出所记录的图像数据以及所述参数；重构单元，用于使用所读出的参数由所读出的图像数据重构再聚焦图像；以及编辑单元，用于根据编辑指令编辑所重构的再聚焦图像，并且对所编辑的再聚焦图像的参数进行编辑。
[0008]通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。【专利附图】
【附图说明】
[0009]被包括在说明书中并构成说明书的一部分的附图，例示了本发明的示例性实施例、特征及方面，并与文字描述一起用于说明本发明的原理。
[0010]图1是示出在元数据中具有重构参数的图像数据的构成的图。
[0011]图2是示出应用了根据本发明的第一实施例的记录装置的摄像装置的结构的框图。
[0012]图3是例示在图2所示的摄像装置中使用的摄像元件以及微透镜阵列的结构的图。
[0013]图4是示出包括图2所示的摄像装置中的拍摄镜头、微透镜阵列以及摄像元件的拍摄光学系统的结构的概念图。
[0014]图5A和图5B是示出图2所示的摄像装置的拍摄镜头的光瞳区域与图3所示的摄像元件的像素之间的对应关系的图。
[0015]图6A和图6B是例示使用来自摄像元件的输出的焦点检测以及检测再聚焦面所需的信号的生成的图。
[0016]图7是示出来自不同的再聚焦面的光线与相应的光接收像素之间的关系的图。
[0017]图8是根据本发明的第一实施例的记录操作的流程图。
[0018]图9A、图9B和图9C是示出包括位于不同距离的多个被摄体的图像以及该图像的散焦图的概念图。
[0019]图10是根据本发明的第二实施例的图像再现装置的再现操作的流程图。
[0020]图11是例示根据本发明的第二实施例的图像再现装置中的再现图像的显示画面的图。
[0021]图12A、图12B和图12C是示出可应用于本发明的实施例的其他光学系统的概念图。
【具体实施方式】
[0022]现在将参照附图详细描述本发明的示例性实施例。
[0023]第一实施例
[0024]图2是作为应用了根据本发明的第一实施例的图像记录装置的摄像装置的数字照相机的框图。附图标记201表示包括多个透镜(未示出)的拍摄镜头。多个透镜包括可移动聚焦透镜，通过移动聚焦透镜能够调节相对于被摄体的聚焦状态。附图标记202表示微透镜阵列(下文中简写为MLA)，其包括多个微透镜并且被布置在拍摄镜头201的焦点附近。经过拍摄镜头201的不同光瞳区域的光线入射在MLA202上，并且分别从各光瞳划分区域的微透镜出射。附图标记203表示摄像元件，该摄像元件包括(XD、CM0S图像传感器等并且被布置在MLA202的焦点附近。稍后将描述MLA202和摄像元件203的详情。
[0025]附图标记204表示将从摄像元件203输出的图像信号AD转换为数字数据的AD转换器。图像处理单元205对该数字数据应用预定的图像处理等，从而获得被摄体的数字图像数据。附图标记206表示拍摄控制单元，该拍摄控制单元进行控制以将由图像处理单元205获得的数字图像数据显示在包括液晶显示器等的显示单元207上，以及将该数字图像数据存储在记录单元208中。当拍摄控制单元206的CPU加载存储在存储器(未示出)中的程序并执行该程序时，拍摄控制单元206控制各单元。在这种情况下，可以由CPU或硬件实现各单元的全部或部分功能。
[0026]附图标记209表示被摄体检测单元,该摄体检测单元从图像处理单元205获得的数字图像数据中检测人物的面部并检测面部在其画面(frame)中的位置和大小。操作单元210包括接受来自用户的操作并根据接受的操作进行诸如开始聚焦操作以及再现和删除存储在记录单元208中的数字图像数据等的各种操作的按钮、触摸面板等。拍摄镜头201电气地、机械地连接到拍摄控制单元206，拍摄控制单元206能够经由通信获得拍摄镜头的信息，并且能够在聚焦操作的情况下发送聚焦透镜的驱动命令等。
[0027]以下将描述图2所示的摄像装置中的拍摄镜头201、MLA202、以及摄像元件203的结构。
[0028]图3是用于说明摄像元件203和MLA202的结构的图。图3示出了当从与拍摄镜头201的光轴平行的z方向观察时的摄像元件203和MLA202。一个微透镜302与构成拍摄图像的虚拟像素300的多个单位像素301 (光电转换元件)相对应地布置。微透镜302是构成MLA202的微透镜中的一个。图3例 示了总计25 (=5行X5列)个单位像素301与一个微透镜相对应。在图3中附加的坐标轴将光轴方向定义为z轴，将与z轴垂直的平面定义为与摄像平面平行的平面，并在摄像平面中定义了 X轴(水平方向)和I轴(垂直方向)。注意，图3部分地示出了摄像元件203的光接收面，并且在实际的摄像元件上布置了大量像素。
[0029]图4示出了当从与光轴z垂直的方向观察时从拍摄镜头201出射的光经过一个微透镜302并由摄像兀件203接收的状态。从拍摄镜头201的各光睛区域S1至a5出射、然后经过微透镜302的光线被聚焦到摄像元件203的相对应的单位像素P1至P5上。
[0030]图5A示出了当从光轴(z轴)方向观察时的拍摄镜头201的光圈。图5B示出了当从光轴(z轴)方向观察时的一个微透镜302以及在该微透镜后面布置的单位像素300。如图5A所示，当拍摄镜头201的光瞳区域被划分为与位于一个微透镜下面的像素一样多的区域时，来自拍摄镜头201 —个光瞳划分区域的光被聚焦到一个像素。假设在这种情况下拍摄镜头201和微透镜的f值(f-number)几乎一致。令an到a55是图5A所示的拍摄镜头的光瞳划分区域，P11到P55是图5B中所示的像素，当从光轴(z轴)方向观察时它们的对应关系是点对称。因此，从拍摄镜头的光瞳划分区域an出射的光被聚焦到位于微透镜后面的像素301的像素pn上。同样地，从光瞳划分区域an出射并经过其他微透镜的光被聚焦到位于该微透镜后面的像素301的像素pn上。
[0031]如上所述，由于图5B所示的像素pn到p55接收经过拍摄镜头的不同光瞳区域的光线，所以能够使用来自这些像素的输出执行焦点检测操作。如图6A所示，与各微透镜相对应的像素输出P11至P55被相加以生成如下给出的在水平方向上被光瞳划分的两个信号:
[0032]= ΣΣ ^ab )
科 M'...(I)
[0033]
【权利要求】
1.一种图像记录装置，其用于记录能够重构包括至少一个被摄体的图像的再聚焦图像的图像数据，该图像记录装置包括: 获得单元，用于获得通过拍摄包括所述至少一个被摄体的所述图像获得的并且能够重构所述再聚焦图像的图像数据，以及所述图像的拍摄信息； 参数生成单元，用于基于所获得的拍摄信息，与所述图像中包括的所述被摄体相关联地生成用于重构所述再聚焦图像的参数； 记录单元，用于将所生成的参数作为所述图像的元数据与所获得的图像数据一起记录在记录介质中。
2.根据权利要求1所述的图像记录装置，其中，所述拍摄信息包括光圈值以及所述图像的散焦图，并且所述参数生成单元基于所述散焦图生成用于将所获得的图像数据转换为所述被摄体的再聚焦图像的转换矩阵作为所述参数。
3.根据权利要求1所述的图像记录装置，其中，所述拍摄信息包括光圈值以及所述图像的散焦图，并且所述参数生成单元基于所述散焦图生成表示包括在所述图像中的所述被摄体的散焦量的参数。
4.根据权利要求2所述的图像记录装置，其中，所述参数生成单元包括被配置为基于所述散焦图检测所述图像中包括的被摄体的被摄体检测单元，并且在所述被摄体检测单元检测到多个被摄体的情况下，所述参数生成单元基于所述散焦图，与被摄体相关联地生成用于将所获得的图像数据转换为各被摄体的再聚焦图像的转换矩阵作为参数。
5.根据权利要求3所述的图像记录装置，其中，所述参数生成单元包括被配置为基于所述散焦图检测被摄体的被摄体检测单元，并且在所述被摄体检测单元检测到多个被摄体的情况下，所述参数生成单元基于所述散焦图，与被摄体相关联地生成表示所述图像中包括的各被摄体的散焦量的参数`。
6.根据权利要求1所述的图像记录装置，其中，所述记录单元包括被配置为确定多个被摄体的优先级的优先级确定单元，并且所述记录单元根据所述优先级记录所生成的参数作为元数据。
7.根据权利要求6所述的图像记录装置，其中，所述优先级确定单元包括被配置为从所述图像数据中检测面部的面部检测单元，并且在检测到面部的情况下，所述优先级确定单元将第一位的优先级设置给包括所检测到的面部的被摄体。
8.一种图像再现装置，其用于再现由根据权利要求1所述的图像记录装置记录的所述图像数据，该图像再现装置包括: 读取单元，用于从所述记录介质读出所记录的图像数据以及所述参数； 重构单元，用于使用所读出的参数由所读出的图像数据重构再聚焦图像；以及 编辑单元，用于根据编辑指令编辑所重构的再聚焦图像，并且编辑所编辑的再聚焦图像的参数。
9.根据权利要求8所述的图像再现装置，其中，所述编辑单元包括用于指示改变再聚焦位置以及光圈值的指示单元，并且所述重构单元基于由所述指示单元指示的参数的改变来重构所述再聚焦图像。
10.根据权利要求8所述的图像再现装置，所述图像再现装置还包括用于显示由所述重构单元重构的所述再聚焦图像以及指示单元的显示单元，其中，在读出多个参数的情况下，所述重构单元使用各参数重构多个再聚焦图像，并且所述显示单元根据读出的多个参数的优先级显示重构的多个再聚焦图像。
11.根据权利要求10所述的图像再现装置，其中，所述显示单元将所述指示单元与基于由所述指示单元指示的参数的改变而编辑的再聚焦图像一起显示。
12.根据权利要求10所述的图像再现装置，其中，所述编辑单元包括被配置为替换或删除由所述显示单元显示的再聚焦图像的单元，并且在替换或删除再聚焦图像的情况下，所述编辑单元根据所述替换或删除来改变与所编辑的再聚焦图像相对应的优先级。
13.根据权利要求8所述的图像再现装置，所述图像再现装置还包括用于将由所述编辑单元编辑的参数记录作为所读出的图像数据的元数据的记录单元，其中，所述记录单元包括被配置为设置所编辑的图像数据的参数的优先级的优先级设置单元，根据由所述优先级设置单元设置的优先级记录所编辑的图像数据以及所述参数，并且根据所述设置来改变记录的其他参数的优先级。
14.一种摄像装置，该摄像装置包括: 摄像单元，用于拍摄图像； 根据权利要求1所述的图像记录装置； 根据权利要求8所述的图像再现装置；以及 控制单元，用于控制所述拍摄单元的拍摄操作。
15.根据权利要求14所述的摄像装置，其中，所述摄像单元包括: 拍摄镜头； 多个光电转换元件；以及 多个微透镜的阵列，所述多个微透镜被布置在所述拍摄镜头与所述光电转换元件之间，并且所述多个微透镜中的一个对应于预定数量的光电转换元件的阵列，并且 所述控制单元基于来自所述多个光电转换元件的输出控制所述摄像单元的所述拍摄操作，并且要由所述图像记录装置获得的拍摄信息是与由所述控制单元控制的所述拍摄操作相关的信息。
16.一种图像记录方法，其用于记录能够重构包括至少一个被摄体的图像的再聚焦图像的图像数据，该图像记录方法包括: 获得步骤，获得通过拍摄包括所述至少一个被摄体的所述图像获得的能够重构所述再聚焦图像的图像数据以及所述图像的拍摄信息； 参数生成步骤，基于所获得的拍摄信息，与所述图像中包括的所述被摄体相关联地生成用于重构所述再聚焦图像的参数；以及 记录步骤，将所生成的参数作为所述图像的元数据与所获得的图像数据一起记录在记录介质中。
17.一种图像再现方法，其用于再现通过根据权利要求16所述的图像记录方法记录的图像数据，该图像再现方法包括: 读取步骤，从所述记录介质中读出所记录的图像数据以及所述参数； 重构步骤，用于使用所读出的参数由所读出的图像数据重构再聚焦图像；以及编辑步骤，用于根据编辑指令编辑所重构的再聚焦图像，并且对所编辑的再聚焦图像的参数进行编辑。
【文档编号】H04N5/76GK103516974SQ201310239486
【公开日】2014年1月15日 申请日期:2013年6月17日 优先权日:2012年6月15日
【发明者】菅原淳史 申请人:佳能株式会社