图像合成装置及摄像装置的制作方法

专利名称：图像合成装置及摄像装置的制作方法
技术领域：
本发明涉及一种图像合成装置及摄像装置，合成由连续拍摄对象而生 成的多个图像帧，并生成累加图像。
背景技术：
以往，数码相机等摄像装置，利用光学透镜将对象的光学图像成像，
并利用CMOS型图像传感器等摄像元件，将光学图像转换为电信号。
然而，作为拍摄暗处的方法，已知一种方法，以对手抖动影响小的曝
光时间连续拍摄对象，在校正这些多个图像的运动的同时将这些图像相加，
从而生成一个图像。(例如，参考专利文献l)。
专利文献1日本专利申请公开特许公报No.2000-224470。 但是，在所述专利文献1的情况下，存在这样的问题，预先将规定数
量一起连续拍摄，随后由于将所得到的图像数据全部合成，因此不能得到
用户所希望亮度的图像。

发明内容
因此，本发明的课题是提供一种用户可得到所希望亮度的图像的、使 用性极佳的图像合成装置及摄像装置。
在第一发明中记载的发明的图像合成装置，其特性在于，具备图像 帧存储单元，存储由连续拍摄对象而生成的多个图像帧；图像合成单元， 合成被存储在所述图像帧存储单元中的所述多个图像帧，并生成累加图像； 图像亮度调整单元，由所述图像合成单元合成所述图像帧，并执行图像亮 度调整处理，以调整所述累加图像的亮度；以及中途图像显示单元，在由 所述图像亮度调整单元执行的所述图像亮度调整处理中，显示所述图像合 成单元合成过程中的图像。
根据本发明，能够提供一种图像合成装置，其使用性极佳，用户能够得知在图像合成中当前处于何种状态，并且能够将多个图像帧合成到用户 喜好的亮度为止。


图1是示出应用本发明的第一实施方式的数码相机的概略结构的框图。
图2是示出图1中的数码相机具备的图像处理模块的主要部分结构的 框图。
图3是示意地示出与图2的图像处理模块的色调调整处理有关的色调 曲线的图。
图4是示出图1中的数码相机的累加数量与输出图像的亮度之间的对 应关系的图。
图5是示出与图1中的数码相机的色调调整处理有关的色调校正参数 与累加数量的对应关系的一例的图。
图6A是示意地示出与图2中的图像处理模块的图像亮度调整处理有关 的图像的图。
图6B是示意地示出与图2中的图像处理模块的图像亮度调整处理有关 的图像的图。
图7A是示意地示出与图2中的图像处理模块的图像亮度调整处理有关 的图像的图。
图7B是示意地示出与图2中的图像处理模块的图像亮度调整处理有关 的图像的图。
图8A是示意地示出与图2中的图像处理模块的图像亮度调整处理有关 的图像的图。
图8B是示意地示出与图2中的图像处理模块的图像亮度调整处理有关 的图像的图。
图9A是示意地示出与图2中的图像处理模块的图像亮度调整处理有关 的图像的图。
图9B是示意地示出与图2中的图像处理模块的图像亮度调整处理有关 的图像的图。
图10A是示意地示出与图2中的图像处理模块的降噪处理有关的图像的图。
图10B是示意地示出与图2中的图像处理模块的降噪处理有关的图像 的图。
图11是示出与图1中的数码相机的图像合成处理有关的操作的一例的 流程图。
图12是继续示出图11中的图像合成处理的流程图。 图13是继续示出图12中的图像合成处理的流程图。 图14是示意地示出与图11中的图像合成处理有关的操作菜单表的图。 图15是示出应用本发明的第二实施例的数码相机具备的存储器主要部 分结构的框图。
图16是示意地示出与图15中的数码相机的图像合成处理有关的图像 帧的累加数量、与累加图像的显示时间之间的对应关系的图。
图17是示出与图15中的数码相机的图像合成处理有关的操作的一例 的流程图。
符号说明
100数码相机(图像合成装置、摄像装置) 2 图像传感器(连续摄像单元)
4 显示模块(中途图像显示单元)
5 图像处理模块(图像亮度调整单元，降噪单元) 5d图像加法器(图像合成单元)
6 快门(摄像操作输入部)
M存储卡(图像帧存储单元)
具体实施例方式
以下，使用附图来说明本发明的具体实施例。但是，发明的范围不限 于图示例。第一实施例
图1是示出应用本发明的第一实施例的数码相机100的概要结构的框图。
第一实施例的数码相机(摄像装置)100在由用户按下快门6操作的期间，合成图像帧来执行图像亮度调整处理，以调整累加图像的亮度，并且
在显示模块4上显示以规定数量累加图像帧的合成过程中的累加图像。
具体而言，数码相机100包括光学透镜器件1、图像传感器2、存储器
3、显示模块4、图像处理模块5、快门6、模式键7、计算机IF部8、外部
存储IF设备9、程序代码存储模块10和CPU 11等。
快门6是基于由用户的按下操作，向CPU 11输出对象的摄像指令。 就是说，快门6是用于构成在连续摄像模式中基于用户的按下操作，
向/从CPU 11输出/输入使用光学透镜器件1和图像传感器2等的拍摄对象
的操作指令的摄像操作输入部。
模式键7由转盘(dial)等构成，该转盘用于基于用户的操作来选择操作
模式。更具体而言，模式键7能够选择单一摄像模式、连续摄像模式、或
重放模式等。
光学透镜器件1包括摄像透镜部及其驱动部，光学透镜器件1收集由 对象反射的光并在图像传感器2上形成图像。
图像传感器2包括CCD等，用于捕获形成的图像，作为数字化的图像 数据。
另外，图像传感器2由CPU11控制，当用户没有按下快门6时，生成 预览用的曝光时间短的高速帧(数字图像数据)，周期性地以每秒约30幅的 间隔读取该图像数据并输出到存储器3。而后，如果用户按下快门6，图像 传感器2就生成高分辨率的图像数据，并将该图像数据输出到存储器3。
而且，图像传感器2在CPU11的控制下，可以根据对象的亮度调整摄 像灵敏度(ISO灵敏度)。
另外，图像传感器2在连续摄像模式中，在用户按下快门6操作的期 间，连续执行多次短时间曝光，从而连续拍摄对象，并输出多个图像帧。
存储器3暂时存储从图像传感器2输出的预览用的图像数据、高分辨 率的图像数据、或者由图像处理模块5进行图像处理的原始图像数据、处 理后的图像数据。另外，存储器3将暂时存储的图像数据输出到显示模块4 或者图像处理模块5。
另外，存储器3还用作CPU 11的工作用存储器。
显示模块4包括显示图像的液晶监视器，在CPU11的控制下，显示暂时存储在存储器3中的预览图像或高分辨率的真实摄像图像。
图像处理模块5在CPU11的控制下驱动，对暂时存储在存储器3中的
图像数据进行图像数据的压縮处理，或是对存储在存储卡M中的图像数据
进行图像合成处理等。
当数码相机100连接到计算机(未图示)时，计算机IF部8起到USB存
储类驱动器的作用。据此，连接到数码相机100的计算机将存储卡M作为
计算机的外部存储设备进行管理。
在外部存储IF设备9与存储卡M之间，进行图像数据等的输入/输出。 存储卡M作为外部存储设备，存储从外部存储IF设备9所输出的图像
数据等。
程序代码存储模块10由ROM或闪存等构成，存储由CPU 11执行的程序。
CPU 11根据存储在程序代码存储模块10中的程序，总体上控制整个 系统。
更具体而言，如果输入基于用户对快门6的规定操作所输出的操作信 息，CPU11就基于该操作信息，控制图像传感器2、存储器3、显示模块4、 图像处理模块5等，并执行图像的摄像处理和图像合成处理。另外，CPU 11 通过外部存储IF设备9使以JPEG格式压縮了的高分辨率的图像数据记录 在存储卡M中，并进行从存储卡M读取图像数据的控制。
接下来，参考图2详细说明利用图像处理模块5的图像合成处理。
图像合成处理是在连续拍摄模式中由图像传感器2连续拍摄对象后， 将存储在存储卡M中的多个图像帧合成的处理。
如图2所示，图像处理模块5包括参考图像存储部5a、运动检测器5b、 运动校正器5c、图像加法器5d、中断电路5e、累加图像存储部5f、选择电 路5g、图像尺寸调整部5h、图像亮度信息检测器5i、存储部5j、反相电路 5k、累加数量计数器51、合成参数计算器5m、亮度最大值固定数值存储部 5n、亮度调整器5p、色调校正器5q、屏上电路5s、图像压縮器5t等。
参考图像存储部5a将在存储卡M中存储的多个图像帧之中被指定并被 读取的图像帧作为参考图像来存储。
另外，参考图像存储部5a将所存储的参考图像输出到运动检测器5b。更具体而言，在输入从CPU11输出的参考图像获取信号的期间，参考图像 存储部5a输出与输入图像相同的图像作为参考图像。
运动检测器5b比较判定参考图像与对象图像来检测运动，其中，参考 图像从参考图像存储部5a输出并输入，对象图像从存储卡M中新读取。就 是说，运动检测器5b在连续摄像模式下，将第一个参考图像作为用于检测 第二个及随后图像的运动量的标准图像，与对象图像进行比较判定来检测 运动。
例如，当输出与从参考图像存储部5a输入的图像相同的图像时，该输 出图像与从存储卡读取的对象图像相同，运动检测器5b将运动校正H输出 为没有运动。
运动校正器5c执行从存储卡M读取的图像的运动校正H，并输出校正 图像。而且，由于在第一个图像的情况下无需运动校正，因此运动校正器 5c就将输入的图像按其原样输出到图像加法器5d，作为校正图像信号。
图像加法器5d将从存储卡M读取的多个图像帧相加(合成)而生成累加 图像。就是说，图像加法器5d将校正图像信号与累加图像相加，其中，该 校正图像信号是在连续摄像模式(稍后说明)中从运动校正器5c输出并输入 的，该累加图像是从累加图像存储装置输出并经由中断电路5e输入的。
在此，当参考图像获取信号输入到中断电路5e的控制端时，输入到中 断电路5e的信号被中断，并输出"0"，因此，图像加法器5d将从运动校 正器5c输出并输入的图像数据原样输出到累加图像存储部5f。
累加图像存储部5f存储从图像加法器5d输出并输入的图像数据。
另外，累加图像存储部5f将存储的图像数据(累加图像)输出到选择电 路5g及中断电路5e。
选择电路5g基于从CPU 11输出并输入的合成信号，切换输入从图像 传感器2输出的信号与从累加图像存储部5f输出的信号。更具体而言，选 择电路5g当合成信号是"0"时，选择从图像传感器2输出的信号输入， 另一方面，当合成信号是"l"时，选择从累加图像存储部5f输出的信号输 入。
而后，选择电路5g将输入的信号输出到图像尺寸调整部5h和图像亮 度信息检测器5i。图像尺寸调整部5h基于从CPU 11输出并输入的图像尺寸调整信号， 改变从选择电路5g输出并输入的图像尺寸。图像尺寸调整部5h将图像尺 寸设定并改变为预览图像用的最小图像尺寸(QVGA尺寸)，或者真实拍摄图 像用的最大图像尺寸等。
另外，图像尺寸调整部5h将尺寸调整后的图像输出到亮度调整器5p。 图像亮度信息检测器5i基于输入图像，检测图像的亮度信息。更具体 而言，图像亮度信息检测器5i基于输入图像信号进行亮度转换，选择用于 测量图像的亮度的测光区域部分(图像中心部分等)来制成直方图。另外，当 依次输入图像数据时，直方图测量通过输入图像中心部分的图像数据来进 行。
而后，图像亮度信息检测器5i基于所测量的直方图，检测图像的亮度 分布，并将该亮度分布作为图像亮度信息输出到合成参数计算器5m和存储 部5j。
存储部5j基于从反相电路5k输出的反相信号"1"的输入，存储从图 像亮度信息检测器5i输出并输入的图像亮度信息。
累加数量计数器51基于从CPU 11输出并输入的图像相加信号，对累 加数量进行计数(计测)并将计数值加"1"，所述累加数量是累加(合成) 的图像帧的数量。
另外，当合成信号是"0"时，该信号由反相电路5k反相为"1"后， 通过输入到清零信号端，累加数量计数器51将计数值清零(为"0")。 而后，累加数量计数器51将累加数量输出到合成参数计算器5m。 每当输入从图像亮度信息检测器5i输出的图像亮度信息，合成参数计 算器5m就基于该图像亮度信息，由直方图的平均值进行输出图像的亮度的 增益调整。
而后，合成参数计算器5m将所计算的亮度增益作为亮度调整参数，输 出到亮度调整器5p。
另外，合成参数计算器5m基于从图像亮度信息检测器5i输出并输入 的累加图像的图像亮度信息，计算色调校正器5q使用的色调校正参数。具 体地，合成参数计算器5m计算色调校正参数，使得亮度等于或低于规定的 亮度，直到累加图像达到规定的S/N值为止，并且使得随着累加数量的增加，图像的黑暗部分变得越来越亮。
就是说，合成参数计算器5m计算色调校正参数，例如在通过用户的指 令持续图像亮度调整的期间，使色调曲线成为直线(图3中的实线)，在通过 用户的指令变化为降噪处理后，为了调整黑暗部分的扩展量，使色调曲线 变化为使图像的黑暗部分变得更亮那样的曲线(图3中的虚线)。
亮度调整器5p基于在合成参数计算器5m中计算的亮度增益(亮度调整 参数)调整输入图像的亮度，并输出到色调校正器5q和图像压縮器5t。
而且，即使输入规定级别以上的亮度的图像，亮度调整器5p也输入l 以下的数作为亮度调整参数，调整到适当的亮度。
色调校正器5q基于在合成参数计算器5m中计算的色调校正参数，改 变色调曲线，调整输入图像的色调，并输出到屏上电路5s。
就是说，色调校正器5q执行色调调整处理来调整累加图像的色调。更 具体而言，色调校正器5q在图像亮度调整处理中，在由用户按下快门6操 作的前后，通过改变色调校正参数Y，使色调调整处理变得不同。例如，在 通过用户的指令变化为降噪处理时，色调校正器5q使色调曲线变化为使图 像的黑暗部分变得更亮那样的曲线(图3中的虚线)，从而调整黑暗部分的扩
为了色调曲线的调整，应用使用了由以下式(1)获得的Y的Y校正， 并由该Y校正，对输入到以下式(2)的像素值x进行变换，而作为y输出。
式2
在此，k是降噪处理中的累加数量。另外，符号a是从0到3的常数， 符号o表示"没有变化"，且数值越大，每个累加数量平均的黑暗部分的扩
展量的变化量越大。
而且，输入像素值X大于等于O，并小于等于最大值Xmax。另外，最大
值xmax通过由存储在亮度最大固定数值存储部5n中的数值乘以累加数量来
式1
(亮度调整处理) (降噪处理)获得。
在此，参考图4及图5更详细地说明输出图像的亮度(平均亮度L)、亮
度调整参数g及色调校正参数y之间的对应关系。
图4是示出在数码相机中图像合成时的累加数量(N)与根据其累加数量 而输出的图像的亮度(平均亮度L)之间对应关系的曲线图。
如图4所示，进行图像亮度调整处理，根据累加(合成)数量，使整个图 像逐渐变亮，直到输出图像获得用户希望的亮度为止，而在用户判断"增 加亮度已经够了"，并指示出其旨意后，转换到降噪处理，明亮部分不再变 亮，从而图像不产生白屏(溢出)，而仅是黑暗部分变亮。
在此，如果黑暗部分变得过亮，则整个图像的对比度就降低，因此， 当进一步增加累加数量时，控制使输出图像的亮度变为基本上恒定并输出。
接下来，将参考图5来说明由色调校正控制输出图像的亮度的情况。
如图5所示，通过图像亮度调整处理使色调校正参数y值是l.O，并且 恒定，直到达到用户希望的亮度为止，在达到了用户希望的亮度后，转换 到降噪处理，使y逐渐增大，黑暗部分变亮。而后，如果y数值达到规定的 指定值，就设定为常数。
据此，如图4所示，不改变色调而只能够改变输出图像的亮度，直到 达到用户希望的亮度为止，在达到用户希望的亮度后，将增益设定为基本 上恒定的同时，增大色调校正参数y，从而可以进行校正，在保持明亮部分 的亮度的同时，使得黑暗部分变亮。如果进一步增大累加数量，则色调校 正参数y值变为基本恒定，此后输出基本恒定的亮度的图像。
屏上电路5s基于从CPU ll输出并输入的屏上控制信号，输出第一个 图像帧或合成处理后的累加图像。
图像压縮器5t基于从CPU 11输出并输入的压縮控制信号，执行图像 压縮处理，将从色调校正器5q输出并输入的合成后的图像压縮为JPEG图 像。
另外，图像压缩器5t将合成后的图像压缩为JPEG图像，并作为压縮 图像信号输出到存储器3中的输出图像区。
根据用户按下快门6的操作，所述结构的图像处理模块5执行图像亮 度调整处理，在该处理中，利用图像加法器5d将读取的连续拍摄图像的图像帧进行累加，并且调整累加图像的亮度，以便获得规定的S/N值。更具 体而言，图像处理模块5在图像亮度调整处理中，在由用户按下快门6的 操作的前后，改变亮度调整参数G，从而改变图像亮度调整处理。
进而，在图像亮度调整处理中，如果用户按下快门6操作，图像处理 模块5就执行降噪处理，在该处理中，由图像加法器5d将图像帧进一步加 到图像亮度调整处理后的累加图像上，从而降低累加图像的噪声N。据此， 使图像帧的累加数量增加，并可以进一步提高累加图像的S/N值。
接下来，说明在利用图像处理模块5的图像合成时，显示在显示模块4 上的图像的显示状态。
显示模块4在图像亮度调整处理时，顺序地显示由图像加法器5d的合 成过程中的图像。更具体而言，如图6 (a)到图9 (b)所示，在显示模块 4上顺序地显示在图像亮度调整处理中逐渐变亮的累加图像。
在此，图6 (a)显示一个图像帧的图像，图6 (b)显示两个图像帧相 加的图像，图7 (a)显示三个图像相加的图像，图7 (b)显示四个图像帧 相加的图像，图8 (a)显示五个图像帧相加的图像，图8 (b)显示六个图 像帧相加的图像，图9 (a)显示七个图像相加的图像，图9 (b)显示八个 图像帧相加的图像。
而且，在图6 (a)到图9 (b)中，随着图像上的点数越多，显示图像 越暗。
另外，显示模块4显示由图像处理模块5的降噪处理后的图像。据此， 如图10 (a)及10 (b)所示，在显示模块4上，通过增加图像帧的累加数 量，图像的亮度本身(人物的背景的点数)与图9 (b)中所示的状态没有发 生改变，但显示了随机噪声N逐渐减小的清晰图像，尤其是与背景相比改 善了明亮的人物部分的S/N值的图像。
在此，图10 (a)显示在图9 (b)的累加图像上进一步累加图像帧的 图像，图10 (b)显示在图10 (a)中的累加图像上进一步累加以上那些图 像帧的图像。
接下来，将参考图11到图14来详细说明图像合成处理。
在此，图11到图13是与图像合成处理有关的操作的一个实例的流程图。而且，以下说明的图像合成处理是在连续摄像模式下，由图像传感器2 连续拍摄对象后，在存储卡M中存储多个图像帧的处理。
如图11所示，在通电后，如果基于由用户对模式键7的规定操作而选 择指示重放模式，显示模块4就在CPU11的控制下，显示从存储卡M中读 取的图像(步骤S1)
而后，如果由用户操作菜单按钮，在显示模块4中显示的图像是连续 拍摄的图像时(步骤S2:是)，显示模块4就在CPU11的控制下，在菜单 中屏上显示"增强模式"(步骤S3)。
基于用户的规定操作，如果选择指示"增强模式"(步骤S4:是)，CPUU 就将图像处理模块5、显示模块4等设定为初始状态(步骤S5)。
接下来，CPU 11将用于控制图像处理模块5的各种信号设定为连续摄 像的初始状态，不同于单一摄像操作，使屏上控制信号为"有效"(步骤S6)。
而后，CPU 11将真实图像/累加图像切换信号设定为累加图像(步骤
S7)。
如图12所示，随后，CPU ll基于合成信号判断是否在图像合成中(步 骤S8)。在此，因为在初始状态下合成信号为"0"，所以CPU11判定未在 合成中(步骤S8;否)。
接下来，判断用户是否进行按下快门6操作(步骤S9)。而后，如果由 用户按下快门6(步骤S9;是)，CPU 11就将合成信号设为"1"来设定成为 图像合成中的状态(步骤SIO)。
接着，CPU 11将图像处理模块5的参考图像获取信号输出到参考图像 存储部5a(步骤S11)。
接着，CPU 11生成图像累加信号，输出到累加数量计数器51(步骤S12)。
在此，因为合成信号是"l"，该信号被反相电路5k反转为"0"，而输 入到累加数量计数器51的清零信号端，所以，取消了计数器数值的清零控 制。因此，累加数量计数器51通过图像累加信号的输入，将计数值加"l"， 从而累加数量变为"1"。
随后，在CPU的控制下，参考图像存储器5a获取并存储与显示在显示 模块4中的图像有关的第一个图像帧(步骤S13)。
接着，CPU11基于累加数量信号，判定输入到图像处理模块5的图像帧是否是第一个图像帧(步骤S14)。
在此，如果判定输入的图像帧是第一个图像帧(步骤S14:是)，CPU11
就判定是否有用户对模式键7的操作(步骤S15)。
在此，如果判定没有操作模式键7 (步骤S15:否)，就转换到步骤S8。 在步骤S8中，因为合成信号为"1"， CPU11就判定在图像合成中(步
骤S8:是)。
接下来，CPU 11判断用户是否按下快门6操作(步骤S16)。在此，当用 户进行按下快门6操作时(步骤S16;是)，CPU 11取消参考图像获取信号的 输出(步骤S17)。据此，不在参考图像存储部5a中存储第二个图像以后的 图像，并保持保存了第一个图像的状态。
随后，转换到步骤S12， CPU ll生成图像累加信号，在将合成数量加 "1"后，在步骤S13中，从存储在存储卡M中的多个图像帧之中，读取 第二个图像帧作为对象图像。
接着，在步骤S14中，判定为输入的图像帧不是第一个图像帧后(步 骤S14:否)，图像处理模块5由运动检测器5b检测第二个图像帧和第一个 图像帧的运动量，根据其运动校正量用运动校正器5c进行校正，并用图像 累加器5d将校正图像与第一个图像帧合成(累加)(步骤S18)。合成了的 图像存储在累加图像存储器5f中。
也就是说，图像处理模块5每当读取对象图像时，就由运动检测器5b 检测该对象图像和第一个图像的运动量，根据其运动校正量用运动校正器 5c进行校正，将其校正图像与存储在累加图像存储部5f中的图像相加。据 此，在根据运动量校正合成位置的同时，可以将第二个图像以后的图像彼 此叠加，因此，即使将手持拍摄而产生了手抖动后的图像合成，也能够累 加没有抖动的图像，并且进行图像合成。
随后，图像处理模块5在CPU 11的控制下，执行累加图像的显影处理。 这时，因为屏上控制信号为"有效"，所以屏上电路5s输出累加图像。
而后，CPU11控制显示模块4，读取存储器3中的累加图像显示区域， 使累加图像显示在显示模块4上(步骤S19;参照图6 (a))。
只要用户按下快门6操作(步骤S16;是)就重复执行以上动作。
就是说，通过执行图像亮度调整处理，顺序地累加图像帧，从而合成亮度逐渐增大的累加图像(参照图6 (a)到9 (b))。
在执行图像亮度调整处理中，如果用户判定图像已经达到足够亮，结 果取消用户按下快门6的操作(步骤S16;否)，那么CPU11就将操作菜单 表(参照图14)显示在显示模块4上(步骤S20)。
接着，从显示在操作菜单表的"1;变得更亮"、"2;在该亮度上更清 晰"、"3;保存该图像"之中，根据由用户选择指示的菜单进行分支(步骤 S21)。
在此，如果用户选择指示"l;变得更亮"，CPU11就设定图像处理模 块5或显示模块4 (步骤S22),以便能够执行图像亮度调整处理。随后， 如果用户进行按下快门6操作(步骤S23;是)，通过执行图像亮度调整处 理，顺序地累加图像帧而合成累加图像(参照图6 (a)到图9 (b))。
另外，在步骤S21中，如果用户选择指示"2;在该亮度上更清晰"， CPU11就设定图像处理模块5和显示模块4 (步骤S24)，以便能够执行降 噪处理。随后，如果用户进行按下快门6操作(步骤S23;是)，通过执行 降噪处理，进一步累加图像帧，从而合成随机噪声N逐渐减少的清晰的图 像(参照图10 (a)及图10 (b))。
另一方面，用户判断累加图像已成为希望的亮度，在步骤S21中，如 果用户决定选择指示"3;保存该图像"，CPU11就将图像调整尺寸改变为 累加图像的图像尺寸后(步骤S25)，控制图像处理模块5，读取存储在图像 加法器5d中的累加图像，并进行该图像的显影处理(步骤S26)。具体的， 所读取的累加图像经由选择电路5g，输出到图像尺寸调整部5h和图像亮度 信息检测器5i。图像尺寸调整部5h将累加图像以原样的尺寸输出到亮度调 整器5p，该亮度调整器5p调整图像的亮度，并将其输出到图像压縮器5t。
而后，图像处理模块5在图像压縮器5t中执行图像压縮处理，将压縮 的图像信号输出到存储器3中的输出图像区(步骤S27)。
随后，CPU11从存储器3中读取压缩的图像数据，将其输出到外部存 储IF设备9，并使其存储在存储卡M中(步骤S28)。
而且，图像数据的保存可以是重写，也可以是与原始数据分别保存， 可由用户选择。
而后，CPU ll取消合成信号"1"的生成，并终止图像合成处理(步骤S29)。
如上所述，根据第一实施方式的数码相机100，可以在用户按下快门6 操作的期间，执行图像亮度调整处理，将图像帧以规定数量累加了的图像 显示在显示模块4上，因此，可以在用户确认显示在显示模块4的图像亮 度的同时，进行图像合成，直到成为所希望的亮度为止。尤其是，通过执 行色调调整处理，根据图像帧的累加数量调整累加图像的色调，从而用户 可以易于找到图像帧的累加数量，且易于知道快门6的按下操作的取消时 刻。
这样，用户可以知道由数码相机100合成的累加图像的亮度被适当调 整的样子。因此，能够提供一种数码相机100，对用户来说具有极佳的可用 性，用户可以知道在图像合成中当前所处状态，并且可以合成多个图像帧， 直至成为用户喜好的亮度。
另外，在图像亮度调整处理后，通过用户进行降噪处理，从而可以进 一步改善累加图像的S/N值。因此，可以合成减少随机噪声N的清晰的图 像，尤其是与背景相比，改善人物部分的S/N值的图像。第二实施例
以下，将参考图15到图17来说明第二实施例的数码相机。
在此，图15是示出在应用本发明的第二实施例的数码相机中具备的存 储器的主要部分的结构图。
第二实施例的数码相机，每当由图像处理模块5累加规定数量的图像 帧时，就在显示模块4上显示该累加结果所生成的累加图像。
而且，第二实施例的数码相机，除了每当累加规定数量的图像帧时显 示该累加结果所生成的累加图像这点之外，与第一实施例基本相同，省略 其详细说明。
就是说，如图15所示，数码相机的存储器103包括暂时存储用的暂时 存储器31，除此之外还包括合成存储器32，每当累加图像帧，就重写并 存储所生成的累加图像；以及结果显示用存储器33，存储通过累加规定数 量的图像帧所生成的累加结果的显示用的图像。
具体地，该结果显示用存储器33，在图像亮度调整处理中，存储每当 由图像加法器5d累加规定数量(例如5个)的图像帧时所生成的累加图像。而后，显示模块4显示累加图像，所述累加图像是根据图像帧的累加 数量而存储在结果显示用存储器33中，并且从该结果显示存储器33中读 取。
据此，如图16所示，在显示模块4上，在拍摄第一个图像的阶段显示 第一个图像，当累加5个图像帧时，就显示该5个累加的图像，当进一步 累加5个图像帧时，就显示该10个累加的图像，以这种方式，阶段性地显 示累加了规定数量的图像帧的累加图像，直到用户判断图像变得足够亮。
而且，在图16中，实线显示累加数量，虚线显示显示图像。
接下来，将参考图17来详细说明图像合成处理。
在此，图17是示出与图像合成处理有关的操作的一个实例的流程图。
在通电后，如果基于用户对模式键7的规定操作而选择指示图像合成 模式，CPU 11就将图像处理模块5、显示模块4等设定为初始状态(步骤 SlOl)。
随后，CPU 11控制该数码相机的各部分，将从存储卡M中读取的第 一个图像帧显示在显示模块4中(步骤S102)。
而后，第一个图像帧的图像数据首先在CPUll的控制下，转发到存储 器103中的暂时存储器31中并存储(步骤S103)。
随后，CPU 11从暂时存储器31获得图像数据，并转发到图像处理模 块5(步骤S104)。
接下来，如果用户进行按下快门6操作，图像处理模块5就将输入的 图像数据和与合成存储器32中的累加图像有关的数据相加，在生成累加图 像后，将其重写并存储在合成存储器32中(步骤S105)。而且，在步骤S104 中，当转发到图像处理模块5的图像数据是与第一个图像帧有关的图像数 据时，由于存储在合成存储器32中的图像数据不存在，因此将该第一个图 像帧的数据存储在合成存储器32中。
接下来，由规定的计数器(未示出)将累加数量(计数值)力卩"1"(步骤 S106)， CPU11判断累加数量是否达到规定的数量(例如，5个)(步骤S107)。
在此，如果CPU 11判定为累加数量没有达到规定的数量(步骤S107; 否)，CPU 11就判断用户对快门6的按下操作是否取消(步骤S108)。
当用户没有取消对快门6的按下操作，即当快门6仍被按下操作时，就转换到步骤S103，并且CPU 11控制随后处理的执行。
另一方面，重复执行图像帧的累加，并且如果在步骤S107中判定累加 数量达到规定的数量(步骤S107;是)，CPU11就读取存储在合成存储器32 中的累加图像的图像数据，在执行用于使其显示在显示模块4上的加工处 理后，将该加工后的图像数据转发并使其存储到结果显示用存储器33中(步 骤S109)。
另外，CPU11将加工后的图像数据转发到显示模块4中，并且显示累 加了规定数量的图像帧的累加图像(步骤SllO)。
接下来，CPU11复位计数器的计数值，转移到步骤S108。
在步骤S108中，如果判断用户对快门6的按下操作被取消(步骤S108; 是)，则CPU11就终止图像合成处理，将在结果显示用存储器33内的累加 图像的图像数据传送并使其存储到存储卡M中(步骤S112)。
以上那样，根据第二实施例的数码相机，除存储累加图像的合成存储 器32之外，还设置了结果显示用存储器33，每当累加了规定数量的图像帧， 就更新该存储在结果显示用存储器33中的累加图像，因此，可以减小图像 处理模块5的与用于显示图像的显影处理有关的负荷。
进而，即使是在用户按下快门6的操作期间执行图像合成处理的结构， 也可以与顺序累加图像帧的图像不同，通过显示保存在结果显示用存储器 33中的累加图像，可以在用户确认累加图像的同时图像合成，对于用户而 言，可以避免生成从显示适当亮度的累加图像之后，直到取消快门6的按 下操作为止的时间延迟，并且可以避免存储曝光时间超时的图像。
而且，在所述第一和第二实施例中都将摄像结果转发并存储到存储卡 M中，但本发明不限于此，也可以构成为例如在存储器103的内部存储设 备中设置保存用存储器，在该存储器中进行存储。
另外，也可以构成为由用户手动更改存储在结果显示用存储器33中的 累加图像的图像帧的累加数量，或者根据亮度或曝光时间而自动更改。
而且，虽然省略了图示，但只要是至少执行图像亮度调整处理的数码 相机，就可以执行图像亮度调整处理和降噪处理，或者执行图像亮度调整 处理和色调调整处理。
另外，在所述第一第二实施方式中，举例说明了以人物作为拍摄对象的情况，但也适用在拍摄星座等天体照片的情况下，进行快门拍摄或长时 间曝光拍摄等的图像合成处理。例如，也可以配合长时间曝光，预先暂时 存储多个高速连拍的图像，将它们以规定数量合成，在成为所希望的亮度 或对比度的时刻停止合成。
进一步，所述图像合成处理不仅适用于亮度的调整，而且适用于白平 衡、色调曲线校正、Y校正、对比度或色彩度、颜色的校正等。例如，也 可以设置"数码闪光"、"数码白平衡"、"数码色调曲线"、"数码颜色校正" 等预定的开关，根据按下该按钮的时间，或者根据调整+/—开关，合成多 个图像并进行所述各处理，在得到所希望的图像的时刻保存。
而且，将摄像装置100作为了图像合成装置的一个示例，但并不限于
此，也可以将由图像传感器2生成了的多个图像数据经过计算机IF部8， 输出到所连接的计算机的外部设备中，在该外部设备中进行图像合成处理、 图像亮度调整处理、中途图像显示处理、降噪处理等。
以上那样，与本发明有关的摄像装置可用于向用户通知适当调整合成 图像的亮度的状态，特别是，适于提供具有极佳可用性的摄像装置，该摄 像装置使用户可以在摄像中知道当前的状态。
权利要求
1、一种图像合成装置，其特征在于，具备图像帧存储单元，存储通过连续拍摄对象而生成的多个图像帧；图像合成单元，合成被存储在所述图像帧存储单元中的所述多个图像帧，并生成累加图像；图像亮度调整单元，由所述图像合成单元合成所述图像帧，并执行图像亮度调整处理，以调整所述累加图像的亮度；以及中途图像显示单元，在由所述图像亮度调整单元执行的所述图像亮度调整处理中，显示所述图像合成单元的合成过程中的图像。
2、 如权利要求l中记载的图像合成装置，其特征在于，具备 降噪单元，在由所述图像亮度调整单元执行了所述图像亮度调整处理后的所述累加图像上，由所述图像合成单元进一步合成所述图像帧，并执 行减轻所述累加图像的噪声的降噪处理。
3、 一种摄像装置，其特征在于，具备 连续摄像单元，连续拍摄对象并生成多个图像帧； 图像帧存储单元，存储由所述连续摄像单元生成的多个图像帧； 图像合成单元，合成被存储在所述图像帧存储单元中的所述多个图像帧，并生成累加图像；图像亮度调整单元，由所述图像合成单元合成所述图像帧，并执行图 像亮度调整处理，以调整所述累加图像的亮度；以及中途图像显示单元，在由所述图像亮度调整单元执行的所述图像亮度 调整处理中，显示所述图像合成单元的合成过程中的图像。
4、 如权利要求3中记载的摄像装置，其特征在于，具备 摄像操作输入部，输入由所述连续摄像单元对所述对象的摄像指令， 所述图像亮度调整单元，在由操作者操作所述摄像操作输入部的期间，执行所述图像亮度调整处理。
全文摘要
本发明提供一种图像合成装置和摄像装置，用户可得到所希望亮度的图像，使用性好。公开的是一种数码相机，具备图像加法器(5d)，合成与存储在存储卡中的连续拍摄对象有关的多个图像帧，并生成累加图像；图像处理模块(5)，执行图像亮度调整处理，以调整该累加图像的亮度；以及显示模块，在图像亮度调整处理中，显示由图像加法器(5d)合成过程中的图像。
文档编号H04N5/225GK101527792SQ20091011858
公开日2009年9月9日 申请日期2009年3月4日 优先权日2008年3月5日
发明者喜多一记, 阿部好人 申请人:卡西欧计算机株式会社