图像合成设备及其控制方法
【专利摘要】本发明涉及一种图像合成设备及其控制方法和存储有控制程序的存储介质。该图像合成设备能够在将通过对利用短曝光时间拍摄到的图像进行合成而得到的各个合成图像再现为运动图像的情况下，获得运动平滑的良好运动图像。曝光控制单元基于连续拍摄到的图像来计算被摄体的适当曝光条件。再现图像选择单元从拍摄到的图像中选择个数与适当曝光条件相对应的在时间序列上离散的图像。再现图像合成单元合成再现图像选择单元所选择的图像以生成合成图像。
【专利说明】图像合成设备及其控制方法【技术领域】[0001]本发明涉及一种合成连续拍摄到的图像以形成一个图像的图像合成设备、该图像 合成设备的控制方法和存储有控制程序的存储介质。【背景技术】[0002]通常，需要大光圈和长曝光时间来拍摄暗的被摄体。另一方面，已知有利用短曝光 时间多次拍摄暗的被摄体并且通过合成所拍摄图像来形成一个图像的摄像设备（参见日 本特开 2006-174069A)。[0003]在如上述公报所述、利用短曝光时间多次拍摄图像并且合成为一个图像的情况 下，能够避免由于照相机抖动等所引起的图像劣化以及摄像装置的信号饱和。[0004]然而，在将合成图像连续地再现为运动图像的情况下，如果合成一帧内拍摄到的 图像中的一部分连续图像，则该合成图像与相邻帧的图像的差异极大，这样无法获得平滑 的运动图像并且造成其质量下降。
【发明内容】
[0005]本发明提供一种能够在将通过对利用短曝光时间拍摄到的图像进行合成而得到 的各个合成图像再现为运动图像的情况下获得运动平滑的良好运动图像的图像合成设备、 该图像合成设备的控制方法和存储有控制程序的存储介质。[0006]因此，根据本发明的第一方面，提供一种图像合成设备，包括：曝光控制单元，用于 基于连续拍摄到的图像来计算被摄体的适当曝光条件；再现图像选择单元，用于从所述拍 摄到的图像中选择个数与所述适当曝光条件相对应的在时间序列上离散的图像；以及再现 图像合成单元，用于合成所述再现图像选择单元所选择的图像以生成合成图像。[0007]根据本发明的第二方面，提供了一种图像合成设备的控制方法，包括以下步骤：曝 光控制步骤，用于基于连续拍摄到的图像来计算被摄体的适当曝光条件；再现图像选择步 骤，用于从所述拍摄到的图像中选择个数与所述适当曝光条件相对应的在时间序列上离散 的图像；以及再现图像合成步骤，用于合成所述再现图像选择步骤中所选择的图像以生成 合成图像。[0008]根据本发明的第三方面，提供一种图像合成设备，包括：合成单元，用于合成连续 拍摄到的图像中的对象图像；显示单元，用于连续显示所述合成单元所生成的合成图像； 以及计算单元，用于基于所述合成单元所生成的合成图像来计算用于确定曝光条件的评价 值，其中，在所述合成图像被连续地显示在所述显示单元上的情况下，所述合成单元合成所 述拍摄到的图像中的离散的对象图像，以及在使用所述合成图像来计算所述评价值的情况 下，所述合成单元合成所述拍摄到的图像中的连续的对象图像。[0009]根据本发明的第四方面，提供一种图像合成设备，包括：合成单元，用于合成连续 拍摄到的图像中的对象图像；记录单元，用于将所述合成单元所生成的合成图像记录为运 动图像；以及计算单元，用于基于所述合成单元所生成的合成图像来计算用于确定曝光条件的评价值，其中，在所述记录单元将所述合成图像记录为运动图像的情况下，所述合成单 元合成所述拍摄到的图像中的离散的对象图像，以及在使用所述合成图像来计算所述评价 值的情况下，所述合成单元合成所述拍摄到的图像中的连续的对象图像。[0010]根据本发明的第五方面，提供了一种图像合成设备，包括：合成单元，用于合成连 续拍摄到的图像中的对象图像；显示单元，用于连续显示所述合成单元所生成的合成图像； 以及计算单元，用于基于所述合成单元所生成的合成图像来计算用于确定曝光条件的评价 值，其中，与使用所述合成图像来计算所述评价值的情况相比，在所述合成图像被连续地显 示在所述显示单元上的情况下，所述对象图像在时间序列上的离散度变大。[0011]根据本发明的第六方面，提供了一种图像合成设备，包括：合成单元，用于合成连 续拍摄到的图像中的对象图像；记录单元，用于将所述合成单元所生成的合成图像记录为 运动图像；以及计算单元，用于基于所述合成单元所生成的合成图像来计算用于确定曝光 条件的评价值，其中，与使用所述合成图像来计算所述评价值的情况相比，在所述记录单元 将所述合成图像记录为运动图像的情况下，所述对象图像在时间序列上的离散度变大。[0012]根据本发明，在将通过对利用短曝光时间拍摄到的图像进行合成而得到的各个合 成图像再现为运动图像的情况下，获得运动平滑的良好运动图像。[0013]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。【专利附图】
【附图说明】[0014]图I是示出配备有根据本发明实施例的图像合成设备的摄像设备（照相机）的结 构的图。[0015]图2是示出图I所示的照相机所执行的再现图像合成处理的机制的图。[0016]图3A是示出在图I所示的再现图像选择单元所执行的再现图像选择处理中，当合 成两个图像时的图像选择方法的图。[0017]图3B是示出在图I所示的再现图像选择单元所执行的再现图像选择处理中，当合 成三个图像时的图像选择方法的图。[0018]图4是示出图I所示的评价图像选择单元所执行的评价图像选择处理的机制的 图。[0019]图5是示意性示出图I所示的照相机中的再现图像合成处理所使用的电路结构的 框图。[0020]图6是示出图I所示的照相机中的再现图像合成处理的流程图。[0021]图7是示出图I所示的照相机中的评价图像合成处理的流程图。【具体实施方式】[0022]以下将参考附图来详细说明根据本发明的实施例。[0023]图I是示出配备有根据本发明实施例的图像合成设备的摄像设备的结构的图。[0024]图I所示的摄像设备例如是数字照相机（以下称为照相机），并且具有照相机本体 12和控制单元19 (以下称为CPU)。照相机本体12配备有利用镜筒14支撑的摄像光学系统。[0025]该摄像光学系统配备有第一透镜13a、第二透镜13b、第三透镜13c和光学低通滤波器13d。在该摄像光学系统的光轴11上配置有摄像装置13e。这里，拍摄镜头单元是第 一透镜13a、第二透镜13b和第三透镜13c的统称。如由实线箭头15所示，AF驱动单元121 沿着光轴11驱动第三透镜13c。[0026]在第二透镜13b和第三透镜13c之间配置有具有快门叶片17的快门16。快门16 由快门驱动单元112进行驱动，从而使快门叶片17在曝光时间期间打开以将入射光经由拍 摄镜头单元和光学低通滤波器13d引导至摄像装置13e。[0027]结果，在摄像装置13e形成光学图像，并且摄像装置13e输出与该光学图像相对应 的电信号（模拟信号）。然后，该模拟信号被提供至后面所述的图像处理单元110。应当注 意，在照相机本体12的背面配置有作为显示单元的液晶显示监视器18。[0028]如图I所示，CPU19具有曝光控制单元111、图像处理单元110、临时图像存储单元 113、图像选择单元114、图像合成单元115、图像记录单元116、评价值计算单元119、图像再 现单元117和AF控制单元120。曝光控制单元111连接至快门驱动单元112，并且如后面 所述通过控制快门驱动单元112来驱动快门116。[0029]此外，AF控制单元120控制AF驱动单元121，并且如后面所述通过控制AF驱动单 元121来驱动第三透镜13c。图像再现单元117经由再现驱动单元118连接至液晶显示监 视器18。[0030]尽管CPU19等实际内置于照相机本体12，但为了便于说明，在图I中例示为CPU19 等位于照相机本体12的外部。[0031]图像处理单元110接收从摄像装置13e输出的模拟信号，并且将该模拟信号转换 成数字信号。然后，图像处理单元110对该数字信号应用预定的图像处理，并且获取到图像 数据。将该图像数据暂时存储在临时图像存储单元113中。应当注意，图像处理单元110 和临时图像存储单元113构成图像存储单元109。此外，图像处理单元110基于该图像数据 来生成表示被摄体图像的亮度等的被摄体信息。[0032]曝光控制单元111对形成在摄像装置13e上的光学图像的曝光条件进行控制，并 且通过控制快门驱动单元112来使快门叶片17打开和关闭。具体地，曝光控制单元111从 图像处理单元110接收被摄体信息，并且根据相关的被摄体信息来设置用于拍摄静止图像 或运动图像时的曝光时间。[0033]在拍摄静止图像的情况下，曝光控制单元111根据曝光时间（曝光条件）来打开 快门叶片17。结果，经由拍摄镜头单元而入射的入射光在摄像装置13e上形成图像，并且如 上所述，摄像装置13e将模拟信号提供至图像处理单元110。[0034]在拍摄运动图像的情况下，曝光控制单元111根据曝光条件对摄像装置13e的电 子快门功能进行控制，并且使快门叶片17在运动图像拍摄期间保持为打开状态。也就是 说，曝光控制单元111按预定帧速率（例如，1/30秒）更新适当曝光的图像。此外，在拍摄 运动图像的情况下，将图像处理单元110处理后的一帧内的图像数据（图像）临时记录在 临时图像存储单元113中。[0035]图像选择单元114配备有再现图像选择单元114a和评价图像选择单元114b。再 现图像选择单元114a根据曝光控制单元111所设置的曝光条件，从临时图像存储单元113 内所记录的图像数据中选择在时间序列上离散的图像。评价图像选择单元114b根据曝光 控制单元111所设置的适于进行AF评价的曝光条件，从临时图像存储单元113内所记录的图像数据中选择在时间序列上连续的图像。[0036]图像合成单元115配备有再现图像合成单元115a和评价图像合成单元115b。再 现图像合成单元115a合成再现图像选择单元114a所选择的图像（对象图像），并且生成再 现合成图像。[0037]由于各个图像在拍摄时刻上有所不同，因此可能发生由于照相机抖动和被摄体运 动而导致的图像偏差。因此，再现图像合成单元115a在利用众所周知的技术将这些图像进 行对准以避免各个图像之间的图像偏差之后，进行合成处理。[0038]评价图像合成单元115b合成评价图像选择单元114b所选择的图像（对象图像）， 并且生成用于AF评价的评价图像。由于各个图像在拍摄时刻上有所不同，因此可能发生由 于照相机抖动和被摄体运动而导致的图像偏差。因此，评价图像合成单元115b在利用众所 周知的技术将这些图像进行对准以避免各个图像之间的图像偏差之后，进行合成处理。[0039]将从再现图像合成单元115a输出的再现合成图像作为记录图像记录在图像记录 单元116中。图像再现单元117根据用户的操作来控制再现驱动单元118，从而再现该记录 图像并将该记录图像显示在液晶显示监视器18上。[0040]将从评价图像合成单元115b输出的评价图像提供至评价值计算单元119。评价值 计算单元119根据该评价图像来计算对比度评价值（用于调焦的评价值）。[0041]AF控制单元120根据该对比度评价值来控制AF驱动单元121以在实线箭头15的 方向（即，光轴的方向）上移动第三透镜13c，从而聚焦于被摄体。[0042]选择用于AF评价的图像的方法不同于选择用于进行再现的图像的方法。前一方 法可用于计算作为曝光控制的被摄体的适当曝光条件或者用于检测图像内的被摄体。评价 值计算单元119计算例如Bv值等作为用于控制曝光的评价值，并且利用诸如模式匹配等的 众所周知的被摄体检测处理来计算被摄体位置及其可靠性作为用于检测被摄体的评价值。[0043]接着，将说明如何生成用于显示和记录的合成图像。[0044]如果各帧之间的图像差异大，连续再现的图像（以下称为再现图像）将给用户带 来如被称为翻页动画（flip animation)那样的印象。也就是说，在连续地再现图像时，运 动图像的质量将下降。另一方面，对于观看者感觉到具有连续关系的图像，即使存在些许模 糊，但作为运动图像，该图像的质量高。[0045]图2是示出图I所示的照相机所执行的再现图像合成处理的机制的图。[0046]在图2所不的不例中，照相机将作为用于拍摄一个图像的曝光时间的第一曝光时 间（快门速度）设置为1/180秒，并且在一帧（1/30秒）内使用同一曝光时间连续获取六 张图像。[0047]由于一帧被分割成六个区段，因此可以通过提高快门速度来获取图像抖动的影响 小的图像。然后，将这些图像对准并合成。[0048]再现图像选择单元114a从存储在临时图像存储单元113内的图像中选择个数与 被摄体的适当曝光条件相对应的在时间序列上离散的图像。例如，在适当曝光条件（第二 曝光时间）为1/60秒的情况下，由于第一曝光时间X3=第二曝光时间，因此再现图像选择 单元114a选择存储在临时图像存储单元113中的三个图像。为了减少当前帧与前一帧和 下一帧之间的图像差异，根据时间序列从当前帧内的六个图像中选择第I个图像、第3个图 像和第5个图像。[0049]图3A是示出在图I所示的再现图像选择单元114a所执行的再现图像选择处理 中，当合成两个图像时的图像选择方法的图。图3B是示出在图I所示的再现图像选择单元 114a所执行的再现图像选择处理中，当合成三个图像时的图像选择方法的图。在各帧中包 括六个图像，并且利用黑色圆圈中的白色标记来表示被选择的图像。[0050]如图3A所示，当在各帧中合成两个图像时（第一曝光时间X2=第二曝光时间）， 再现图像选择单元114a选择第2个图像和第5个图像。如图3B所示，当在各帧中合成三 个图像时（第一曝光时间X3=第二曝光时间），再现图像选择单元114a选择第I个图像、 第3个图像和第5个图像。因而，根据第一曝光时间和第二曝光时间之间的关系来改变被 选择的图像。这样在连续地再现合成图像的情况下，弱化了如被称为翻页动画那样的印象。[0051]另一方面，作为用于进行AF评价的评价图像，需要模糊度最小的图像。这是与再 现图像的不同之处。因此，当生成评价图像时，从在一帧内拍摄到的图像中选择在时间序列 上连续的预定个数的图像。然后，将相关的被选择的图像对准并合成。要选择的图像的个 数可以是固定的、或者可以与被摄体的适当曝光条件相对应地来设置。[0052]图4是示出图I所示的评价图像选择单元114b所执行的评价图像选择处理的机 制的图。[0053]如图4所示，在曝光条件为1/60秒并且快门速度为1/180秒的情况下，需要三个 图像以生成合成图像。因此，评价图像选择单元114b根据时间序列从临时图像存储单元 113所存储的当前帧内的图像中选择第2个图像、第3个图像和第4个图像。然后，评价图 像合成单元115b将被选择的图像对准并合成以生成评价图像。[0054]图5是示意性示出图I所示的照相机中的再现图像合成处理所使用的电路结构的 框图。图6是示出图I所示的照相机中的再现图像合成处理的流程图。[0055]将参考图5和图6来说明该再现图像合成处理。摄像装置13e接收经由透镜13a、 13b和13c所形成的光学图像，并且输出与该光学图像相对应的模拟信号（图像信号）。图 像存储单元109向该图像信号应用预定的图像处理，并且在步骤S6001中将其作为图像数 据（图像）进行存储。在将该图像数据存储在图像存储单元109中之后，曝光控制单元111 如上所述基于该图像数据中的被摄体信息来计算曝光条件（步骤S6002)。[0056]再现图像选择单元114a从临时图像存储单元113所存储的一帧内的图像中，选择 个数与从曝光控制单元111中获得的被摄体的适当曝光条件相对应的在时间序列上离散 的图像（步骤S6003)。也就是说，再现图像选择单元114a确定要合成的图像的个数，以使 得所选择的图像的总曝光时间与对应于适当曝光条件的曝光时间一致。再现图像合成单元 115a将再现图像选择单元114a所选择的图像对准并合成，并且生成再现合成图像（步骤 S6004)。然后，图像记录单元116记录该再现合成图像（步骤S6005)，并且结束该再现图像 合成处理。[0057]图7是示出图I所示的照相机中的评价图像合成处理的流程图。[0058]将参考图5和图7来说明该评价图像合成处理。如上所述，图像存储单元109向 从摄像装置13e输出的图像信号应用图像处理，然后在步骤S7001中将处理后的图像信号 作为图像数据（图像）进行存储。在将该图像数据存储在图像存储单元109中之后，曝光 控制单元111如上所述基于该图像数据中的被摄体信息来计算曝光条件（步骤S7002)。[0059]评价图像选择单元114b基于从曝光控制单元111获取到的曝光条件，来从图像存储单元109所存储的一帧内的图像中选择在时间序列上连续的（相邻的）预定个数的图像 (步骤S7003)。评价图像合成单元115b将评价图像选择单元114b所选择的图像对准并合 成，并且生成评价图像（步骤S7004)。然后，评价值计算单元119基于评价图像合成单元 115b所输出的评价图像来计算对比度评价值（步骤S7005)。[0060]接着，AF控制单元120基于对比度评价值来生成并输出驱动信号。AF驱动单元 121根据该驱动信号生成驱动量，并且在光轴方向上驱动第三透镜13c。[0061]AF控制单元120基于对比度评价值来判断AF操作是否结束（步骤S7006)。然后， 在AF控制单元120判断为AF操作结束的情况下（步骤S7006中为“是”），该评价图像合 成处理结束。[0062]另一方面，在AF控制单元120判断为AF操作没有结束的情况下（步骤S7006中 为“否”），该处理返回至步骤S7001。[0063]由于本发明的实施例在一帧内周期性地获取曝光时间短的图像，从获取到的图像 中选择预定个数的离散图像并且合成所选择的图像，因此在连续地再现合成图像时，可以 平滑且稳定地再现这些图像。[0064]尽管已经说明了本发明的实施例，但本发明不限于上述实施例，并且本发明包括 各种变形例，只要没有背离本发明的主旨即可。[0065]例如，可以将上述实施例的功能作为图像合成设备所执行的控制方法来实现。此 夕卜，可以将上述实施例的功能作为图像合成设备所配备的计算机所执行的控制程序来实 现。应当注意，该控制程序例如被记录到计算机可读存储介质中。[0066]控制方法和控制程序各自至少包括曝光值计算步骤、再现图像选择步骤和再现图 像合成步骤。[0067]本发明可以通过执行以下处理来实现。也就是说，该处理将实现上述实施例的功 能的软件（程序）经由网络或记录介质供给至系统或设备，并且使该系统或设备的计算机 (或者CPU或MPU)读取并执行该程序。[0068]其它实施例[0069]还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的 系统或设备的计算机（或者CPU或MPU等装置）和通过下面的方法来实现本发明的各方面， 其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实 施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装 置的各种类型的记录介质（例如，计算机可读介质）将该程序提供给计算机。[0070]尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的 典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功 倉泛。[0071]本申请要求2012年7月3日提交的日本专利申请2012-149491的优先权，在此通 过引用将其全部内容合并于此。
【权利要求】
1.一种图像合成设备，包括：曝光控制单元，用于基于连续拍摄到的图像来计算被摄体的适当曝光条件；再现图像选择单元，用于从所述拍摄到的图像中选择个数与所述适当曝光条件相对应的在时间序列上离散的图像；以及再现图像合成单元，用于合成所述再现图像选择单元所选择的图像以生成合成图像。
2.根据权利要求1所述的图像合成设备，其中，所述拍摄到的图像是使用同一曝光时间连续拍摄到的。
3.根据权利要求1所述的图像合成设备，其中，所述再现图像选择单元以使得所选择的图像的总曝光时间与对应于所述适当曝光条件的曝光时间一致的方式来选择图像。
4.根据权利要求1所述的图像合成设备，其中，还包括：图像记录单元，用于记录由所述再现图像合成单元进行合成而得到的合成图像；以及图像再现单元，用于响应于用户的操作来将记录在所述图像记录单元中的合成图像显示在显示单元上。
5.根据权利要求1所述的图像合成设备，其中，还包括：评价图像选择单元，用于从所述拍摄到的图像中选择在时间序列上连续的图像； 评价图像合成单元，用于合成所述评价图像选择单元所选择的图像以生成评价图像；以及评价值计算单元，用于基于所述评价图像来计算评价值。
6.根据权利要求5所述的图像合成设备，其中，使用所述评价值来进行调焦。
7.根据权利要求6所述的图像合成设备，其中，还包括：调焦单元，用于基于所述评价值计算单元计算出的评价值来驱动拍摄镜头以聚焦于所述被摄体。
8.根据权利要求5所述的图像合成设备，其中，使用所述评价值来计算所述被摄体的所述适当曝光条件。
9.根据权利要求5所述的图像合成设备，其中，使用所述评价值来检测图像内的所述被摄体。
10.一种图像合成设备的控制方法，包括以下步骤：曝光控制步骤，用于基于连续拍摄到的图像来计算被摄体的适当曝光条件；再现图像选择步骤，用于从所述拍摄到的图像中选择个数与所述适当曝光条件相对应的在时间序列上离散的图像；以及再现图像合成步骤，用于合成所述再现图像选择步骤中所选择的图像以生成合成图像。
11.一种图像合成设备，包括：合成单元，用于合成连续拍摄到的图像中的对象图像；显示单元，用于连续显示所述合成单元所生成的合成图像；以及计算单元，用于基于所述合成单元所生成的合成图像来计算用于确定曝光条件的评价值，其中，在所述合成图像被连续地显示在所述显示单元上的情况下，所述合成单元合成所述拍摄到的图像中的离散的对象图像，以及在使用所述合成图像来计算所述评价值的情况下，所述合成单元合成所述拍摄到的图像中的连续的对象图像。
12.根据权利要求11所述的图像合成设备，其中，还包括：获取单元，用于获取被摄体信息，其中，所述合成单元将基于由所述获取单元获取到的所述被摄体信息而选择的对象图像进行合成。
13.根据权利要求12所述的图像合成设备，其中，所述合成单元将所述拍摄到的图像中的、个数为基于所述被摄体信息而确定的个数的对象图像进行合成。
14.根据权利要求12所述的图像合成设备，其中，所述合成单元将以如下方式选择的对象图像进行合成：基于所述被摄体信息所确定的曝光时间等于所述对象图像的总曝光时间。
15.根据权利要求11所述的图像合成设备，其中，所述计算单元基于所述合成图像来计算用于确定用于连续拍摄图像的曝光条件的评价值。
16.根据权利要求11所述的图像合成设备，其中，所述评价值被用于调焦、曝光的确定和图像内的被摄体检测中的其中一个。
17.一种图像合成设备，包括：合成单元，用于合成连续拍摄到的图像中的对象图像；记录单元，用于将所述合成单元所生成的合成图像记录为运动图像；以及计算单元，用于基于所述合成单元所生成的合成图像来计算用于确定曝光条件的评价值，其中，在所述记录单元将所述合成图像记录为运动图像的情况下，所述合成单元合成所述拍摄到的图像中的离散的对象图像，以及在使用所述合成图像来计算所述评价值的情况下，所述合成单元合成所述拍摄到的图像中的连续的对象图像。
18.一种图像合成设备，包括：合成单元，用于合成连续拍摄到的图像中的对象图像；显示单元，用于连续显示所述合成单元所生成的合成图像；以及计算单元，用于基于所述合成单元所生成的合成图像来计算用于确定曝光条件的评价值，其中，与使用所述合成图像来计算所述评价值的情况相比，在所述合成图像被连续地显示在所述显示单元上的情况下，所述对象图像在时间序列上的离散度变大。
19.一种图像合成设备，包括：合成单元，用于合成连续拍摄到的图像中的对象图像；记录单元，用于将所述合成单元所生成的合成图像记录为运动图像；以及计算单元，用于基于所述合成单元所生成的合成图像来计算用于确定曝光条件的评价值，其中，与使用所述合成图像来计算所述评价值的情况相比，在所述记录单元将所述合成图像记录为运动图像的情况下，所述对象图像在时间序列上的离散度变大。
【文档编号】H04N5/232GK103533233SQ201310277406
【公开日】2014年1月22日 申请日期:2013年7月3日 优先权日:2012年7月3日
【发明者】吉村勇希 申请人:佳能株式会社