图像拾取装置、系统和控制方法以及图像处理装置的制造方法
【专利说明】
[0001] 本申请是申请日为2013年9月11日、申请号为201310411213. 9、发明名称为"图 像拾取装置、系统和控制方法以及图像处理装置"的发明专利申请的分案申请。
技术领域
[0002] 本发明涉及能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像 的图像拾取装置。
【背景技术】
[0003] 近年，提出了计算通过图像拾取元件获得的数据并且执行与其对应的数字图像处 理以输出各种图像的图像拾取装置。日本专利No. 4752031公开了通过使用"光场照相"同 时获得被照体空间的光束的二维强度分布和光束的角度信息即视差信息的图像拾取装置。 光束的二维强度分布和光束的角度信息被称为光场，并且，可通过获得光场来获得被照体 空间的三维信息。通过用获得的光场在图像上执行重构处理，能够执行称为重新聚焦的图 像焦点位置控制、视点改变控制和场深控制等。
[0004] 并且，PCT国际公开No. W02008/050904公开了通过使用照相机阵列获得光场并且 执行重新聚焦的配置。
[0005] 但是，在日本专利No. 4752031和PCT国际公开No. W02008/050904公开的图像拾 取装置中，用户不能在拍摄被照体或者编辑图像时识别可重新聚焦的范围（重新聚焦范 围）。出于这种原因，用户难以根据用户的意图拍摄希望的被照体或者编辑图像。
【发明内容】
[0006] 本发明提供允许用户容易地识别重新聚焦范围的图像拾取装置、图像拾取系统和 图像处理装置，并且提供图像拾取装置的控制方法。
[0007] 作为本发明的一个方面的图像拾取装置能够通过重构输入图像来产生具有不同 的焦点位置的多个输出图像，该图像拾取装置包括：被配置为获得输入图像的输入图像获 得单元；被配置为从输入图像产生显示图像的图像处理单元；和被配置为显示所述显示图 像的显示单元，并且，图像处理单元获得可控制焦点位置的焦点控制范围，并且通过使用输 入图像的至少一部分产生包含关于焦点控制范围的信息的显示图像。
[0008] 作为本发明的另一方面的图像拾取系统能够通过重构输入图像来产生具有不同 的焦点位置的多个输出图像，该图像拾取系统包括：被配置为获得输入图像的输入图像获 得装置；被配置为从输入图像产生显示图像的图像处理装置；和被配置为显示所述显示图 像的显示装置，该图像处理装置获得可控制焦点位置的焦点控制范围，并且该图像处理装 置通过使用输入图像的至少一部分产生包含关于焦点控制范围的信息的显示图像。
[0009] 作为本发明的另一方面的图像处理装置能够通过重构输入图像来产生具有不同 的焦点位置的多个输出图像，该图像处理装置包括：被配置为存储输入图像的图像拾取条 件信息的存储单元；被配置为从输入图像产生显示图像的图像处理单元；和被配置为显示 所述显示图像的显示单元，并且，图像处理单元获得可控制焦点位置的焦点控制范围，并且 通过使用输入图像的至少一部分产生包含关于焦点控制范围的信息的显示图像。
[0010] 作为本发明的另一方面的图像拾取装置的控制方法能够通过重构输入图像来产 生具有不同的焦点位置的多个输出图像，该方法包括以下的步骤：通过成像光学系统和图 像拾取元件获得输入图像；获得可控制焦点位置的焦点控制范围；通过使用输入图像的至 少一部分产生包含关于焦点控制范围的信息的显示图像；和在显示单元上显示所述显示图 像。
[0011] 从参照附图对示例性实施例的以下描述，本发明的其它特征和方面将变得清晰。
【附图说明】
[0012] 图1是示出实施例1~3的图像拾取装置的框图。
[0013] 图2是示出实施例1的视差图像获得单元的示意配置图。
[0014] 图3是示出实施例2的视差图像获得单元的示意配置图。
[0015] 图4是示出实施例2的不同的视差图像获得单元的示意配置图。
[0016] 图5是示出实施例3的视差图像获得单元的示意配置图。
[0017] 图6是示出实施例1的视差图像获得单元的截面图。
[0018] 图7是示出实施例1的重新聚焦图像的产生的说明图。
[0019] 图8是示出实施例1的焦点控制范围的说明图。
[0020] 图9是示出实施例1~4中的在执行拍摄操作时（在执行拍摄操作之前）向用户 提供焦点控制范围的情况的流程图。
[0021] 图10是示出实施例1~4中的在编辑图像时向用户提供焦点控制范围的情况的 流程图。
[0022] 图11是示出实施例1的视差图像获得单元的光学布置的说明图。
[0023] 图12是示出实施例1~4中的拍摄场景的例子的示图。
[0024] 图13A~13E是示出实施例1~4中的显示图像的说明图。
[0025] 图14是示出实施例2的视差图像获得单元的截面图。
[0026] 图15A和图15B是示出实施例2的重新聚焦图像的产生的说明图。
[0027] 图16是示出实施例2的焦点控制范围的说明图。
[0028] 图17是示出从物侧观察的实施例3的视差图像获得单元的截面图。
[0029] 图18是示出实施例3的成像光学系统的截面图。
[0030] 图19是示出实施例3的焦点控制范围的说明图。
[0031] 图20是示出实施例4的图像拾取装置（图像拾取系统）的框图。
[0032] 图21是示出实施例4的图像拾取装置（图像拾取系统）的示意性配置图。
[0033] 图22是示出实施例4的单视点图像获得单元的框图。
[0034] 图23是示出实施例4的成像光学系统的截面图。
【具体实施方式】
[0035] 以下将参照附图描述本发明的示例性实施例。在各附图中，相同的附图标记将被 赋予相同的部件，并且，将省略其描述。
[0036] 实施例的图像拾取装置是能够通过重构输入图像来产生具有不同的焦点位置的 多个输出图像的图像拾取装置。实施例的视差图像获得单元（输入图像获得单元）获得视 差图像（输入图像）即通过从多个视点拍摄被照体空间获得的光场。作为实施例的视差图 像获得单元的例子，例示图2~4所示的在成像光学系统的像侧设置透镜阵列的配置或图 5所示的布置多个成像光学系统的配置。同时，作为获得视差图像（光场）的方法，考虑通 过使用包含成像光学系统和图像拾取元件的图像拾取装置在改变图像拾取装置的位置的 同时多次执行拍摄操作的方法。通过这种方法获得的视差图像是通过在不同的时刻捕获被 照体空间而获得的图像。出于这种原因，当移动被照体存在于被照体空间中时，不能获得正 确的视差信息。因此，希望采用视差图像获得单元可如图2~5所示的那样同时获得整个 视差图像（多个视差图像）的配置。
[0037] 通过在通过图2~5的配置获得的视差图像上执行像素提取处理、次序重新布置 处理或组合处理，可以执行重新聚焦或场深控制、以及视点改变控制等。在实施例中，这种 处理（用于通过使用输入图像的至少一部分获得输出图像的处理）被称为重构处理。并 且，通过重构处理产生的图像被称为重构图像（输出图像）。特别地，通过在视差图像上执 行重新聚焦处理获得的图像（输出图像）被称为组合图像。可通过噪声减少处理或诸如场 深控制的重构处理，获得组合图像。并且，可重新聚焦范围即可在被照体空间中控制焦点位 置的范围被称为焦点控制范围（重新聚焦范围）。如后面将描述的那样，通过图像处理单元 获得焦点控制范围。并且，图像处理单元通过使用输入图像的至少一部分产生包含与焦点 控制范围有关的信息的显示图像。
[0038] 在实施例中，人物或被照体可能未必存在于图2~5的物面201上。这是由于，焦 点位置可被控制，以通过在拍摄操作之后执行的重新聚焦处理（重构处理）聚焦在存在于 物面201的内侧或前侧的人物或被照体上。并且，在以下的各实施例中，可为了简化描述使 用一维系统，但是，在各实施例中，这同样适于二维系统。
[0039] [实施例1]
[0040] 首先，将描述本发明的实施例1的图像拾取装置。图1是示出实施例的图像拾取装 置10的框图。图2是示出图像拾取装置10的视差图像获得单元（输入图像获得单元）100 的示意性配置图。
[0041] 如图2所示，视差图像获得单元100从物侧（物面侧）依次包含成像光学系统101、 透镜阵列102和图像拾取元件103。成像光学系统101在像侧共辄面上形成来自物面201 的光束的图像。透镜阵列102被设置在像侧共辄面上。图像拾取元件103包含多个像素。 并且，透镜阵列102被配置为使得来自物面201的同一位置的光束根据光束通过的成像光 学系统101的光瞳区域入射到图像拾取元件103的不同像素。
[0042] 通过这种配置，视差图像获得单元100获得视差图像（输入图像）。图像拾取元 件103是诸如CCD(电荷耦合器件）或CMOS(互补金属氧化物半导体）的二维图像拾取元 件。穿过成像光学系统101和透镜阵列102并入射到图像拾取元件103的光束的能量通过 图像拾取元件103的光电转换被转换成模拟电信号（模拟信号）。A/D转换器104将模拟 信号转换成数字信号并且将数字信号输出到图像处理单元105。图像处理单元105通过在 数字信号上施加预先确定的处理来产生显示图像。通过图像处理单元105产生的显示图像 被输出到诸如液晶显示器的显示单元106以在其上被显示。用户观察显示单元106的显示 图像，并由此可在检查图像的同时执行拍摄操作。
[0043] 图像处理单元105在产生显示图像时使用图像获取条件、从曝光状态预测单元 113或存储单元109获得的信息、以及从距离信息获得单元105a获得的信息等。这里，图像 获取条件包含关于获得模拟信号（视差图像）时的视差图像获得单元100的信息（关于视 差图像获得单元100的配置的信息）、孔径的曝光状态、焦点位置和变焦透镜的焦距等。状 态检测单元108可直接从系统控制器111获得图像获取条件。并且，也可从控制单元107获 得关于视差图像获得单元100的信息。在实施例中，关于视差图像获得单元100的配置的 信息被存储于存储单元109中。曝光状态预测单元113事先基于从测光单元112获得的信 息预测曝光状态。图像处理单元105根据事先预测的曝光状态改变焦点控制范围。并且， 图像处理单元105中的距离信息获得单元105a从输入的视差信息（视差图像）获得被照 体空间的距离信息。
[0044] 系统控制器111包含指示在显示单元106上显示所述显示图像的显示指示单元 111c。显示单元106根据从显示指示单元Illc输出的信号接通和关断显示器并且切换显 示图像。例如，在图像拾取装置10配有释放按钮的情况下，显示指示单元Illc输出预先确 定的信号，使得在用户将释放按钮按压到第一位置的同时（在执行拍摄操作之前）在显示 单元106上显示所述显示图像。当释放按钮在这种状态下被按压到比第一位置深的第二位 置时，执行拍摄操作。但是，实施例不限于此，并且，显示指示单元Illc可通过其它方法传 送信号。
[0045] 并且，系统控制器111包含指定要通过视差图像获得单元100聚焦的被照体的对 焦被照体指定单元111b。根据从对焦被照体指定单元11 Ib输出的信号，控制单元107驱动 视差图像获得单元100的聚焦机构以在被照体（指定的被照体）上执行对焦控制。当通过 图像拾取指示单元11 Id执行拍摄操作时，控制单元107基于来自测光单元112的信息调整 视差图像获得单元100的曝光。此时，通过图像拾取元件103获得的图像被输入到图像处 理单元105,使得如上面描述的那样在图像上执行预先确定的处理。以预先确定的格式在诸 如半导体存储器的图像记录介质11〇(图像记录单元）上记录图像。并且，在拍摄操作中从 状态检测单元108获得的图像获取条件还被记录于图像记录介质110上。记录于图像记录 介质11