图像处理装置、方法以及包含程序的计算机可读记录介质的制作方法

专利名称：图像处理装置、方法以及包含程序的计算机可读记录介质的制作方法
技术领域：
本发明涉及用于改进图像色调再现的图像处理装置和图像处理 方法，同时涉及计算机可读记录介质，该记录介质包含使计算机执行 该图像处理方法的程序。
背景技术：
通常，在如数码相机的成像装置中，从图像获取装置输出的所 拍摄图像的图像信号经过各种信号处理操作来改进输出图像的图像 质量，比如白平衡校正、色调转换、阴影校正、曝光校正。但是这些 信号处理操作为成像信号添加了增益，从而降低了分辨率。因此，使 将要进行信号处理的图像的分辨率高于输出图像的分辨率是必要的。在成像装置中，为了输出具有8位灰度级的图像，对从图像获取装置 输出的模拟成像信号进行高于8位分辨率(如12位或14位)的A/D 转换，来获得数字成像信号。然而，由于要进行信号处理的图像的位数受到A/D转换分辨率 的限制，所以不可能以高于A/D转换分辨率的位精度来执行信号处 理。在这种情况下，可以考虑提高A/D转换的分辨率。但是提高A/D 转换的分辨率使执行A/D转换的电路的成本增加，这样就增加了成 像装置的成本。为了解决这个问题，提出了使用可以获得高感光度信号和低感 光度信号的图像获取装置的系统。对于具有高于预定阀值的光亮度值 的像素，使用低感光度信号(参见日本未审查的专利公开 NO.2001-008104)。该专利文献所公开的系统能够实现良好的色调连 续性，尤其是在高亮度侧。然而，在上述专利文献所公开的系统中，虽然高亮度侧的色调 再现得到了改善，但是图像暗区的色调再现却不能得到改善。由成像装置执行的色调转换中，对暗区的转换速率较大，如图8所示。因此， 如果暗区的色调没有再现，输出图像变黑的趋势(不期望的色饱和度) 增加。发明内容考虑到上述情况，本发明致力于改进图像的色调再现，特别是 图像暗区的色调再现。'根据本发明的图像处理装置的一个方面包括图像获取装置， 其用于获得多个具有不同曝光值的图像；曝光调整装置，其通过对每个图像应用位扩展以及将图像的曝光值调整为图像中具有最低曝光值的第一图像的曝光值来进行曝光值调整处理；和合成装置，其通过 将经过曝光调整处理的图像进行组合来生成合成图像。在根据本发明的图像处理装置中，曝光调整装置可以通过将第 一图像以外的图像的光亮度校正成第一图像的光亮度并对图像应用 位扩展处理来执行曝光调整处理，合成装置可以通过将第一图像的一 部分信息用经过曝光调整处理的其他图像的相应部分的信息代替来 生成合成图像。在根据本发明的图像处理装置中，曝光调整装置可以通过对图 像应用位扩展和增益处理将第一图像以外的图像的光亮度调整成第 一图像的光亮度，以及通过为图像应用偏移(offset)处理以避免增 益处理后的图像重叠，来执行曝光调整处理。并且合成装置可以通过 把经过曝光调整处理的图像叠加起来生成合成图像。在这种情况下，曝光调整装置可以通过参考列表来执行增益处 理和偏移处理，其中该列表针对每个图像的所输入光亮度值输出经过 增益处理和偏移处理后的光亮度值。此外，在这种情况下，列表也适用于在形成合成图像的每个图 像的光亮度的饱和部分应用增益处理和偏移处理来提供渐变。在根据本发明的图像处理装置中，曝光调整装置可以通过使用 列表在形成合成图像的每个图像的光亮度的饱和部分提供渐变以及 应用偏移处理以避免图像重叠来转换图像，并对转换后的图像应用位扩展和增益处理，来执行曝光调整处理；合成装置可以通过将经过曝 光调整处理的图像叠加起来生成合成图像。在根据本发明的图像处理装置中，曝光调整装置可以对图像顺 次地应用曝光调整处理，合成装置可以顺次地将经过曝光调整处理的 每个图像进行组合。在根据本发明的图像处理装置中，图像获取装置可以包括成 像装置，用于通过拍摄操作获得图像；和成像控制装置，用于控制成 像装置通过对同一场景使用不同曝光值执行超过一次的拍摄操作来 获得多个图像。根据本发明的图像处理方法的一个方面包括获得多个具有不 同曝光值的图像；通过对每个图像应用位扩展并将图像的曝光值调整 成图像中具有最低曝光值第一图像的曝光值来执行曝光调整处理；以 及通过将经过曝光调整处理的图像进行组合来生成合成图像。本发明也可以以包含程序的记录介质的形式实现，其中该程序 使计算机执行根据本发明的图像处理方法。


图1是例示了应用根据本发明第一实施例的图像处理装置的数 码相机的构造的示意框图；图2是例示了成像单元的构造的示图；图3是第一实施例中的曝光调整处理和合成处理的概念图； 图4是例示了低曝光图像的光量与QL值之间关系的曲线图； 图5是例示了高曝光图像的光量与QL值之间关系的曲线图； 图6是例示了根据第一实施例生成的合成图像的光量与QL值之 间关系的曲线图；图7是例示了第 一 实施例执行的操作的流程图；图8是例示了色调转换的特征的曲线图；图9是第二实施例中曝光调整处理和合成处理的概念图；图10是解释应用于低曝光图像的增益处理和偏移处理的曲线图；图11是解释应用于高曝光图像的增益处理和偏移处理的曲线图；图12是例示了根据第二实施例生成的合成图像的光量与QL值之间关系的曲线图；图13是例示了第二实施例执行的操作的流程图；图14是第三实施例中曝光调整处理和合成处理的概念图；图15例示了第三实施例中用于低曝光图像的列表；图16例示了第三实施例中用于高曝光图像的列表；图17是例示了根据第三实施例生成的合成图像的光量与QL值之间关系的曲线图；图18是例示了第三实施例执行的操作的流程图； 图19是第四实施例中曝光调整处理和合成处理的概念图； 图20例示了第四实施例中用于高曝光图像的列表； 图21是例示了第四实施例中经过列表转换的高曝光图像的光量 与QL值之间关系的曲线图；图22是例示了第四实施例中经过增益处理的高曝光图像的光量 与QL值之间关系的曲线图；图23是例示了第四实施例执行的操作的流程图；图24是第五实施例中曝光调整处理和合成处理的概念图；以及图25是例示了第五实施例执行的操作的流程图。
具体实施方式
在下文中，将参考附图来描述本发明的实施例。图1是例示了 数码相机的构造的示意框图，该数码相机应用了根据本发明第一实施 例的图像处理装置。如图1所示，根据第一实施例的数码相机1包括成像单元2、成像控制单元3、信号处理单元4、压縮/解压缩处理单 元5、帧存储器6、介质控制单元7、内部存储器8和显示控制单元9。 图2例示了成像单元2的构造。如图2所示，成像单元2包括 镜头20、控光光圈21、快门22、 CCD 23、模拟前端(AFE) 24和 A/D转换单元25。镜头20由许多具有各自功能的镜头形成，例如用来在目标上聚 焦的聚焦镜头和实现变焦功能的变焦镜头，每个镜头的位置由镜头驱 动单元(未示出)调整。例如，镜头驱动单元调整聚焦镜头的焦点位置。控光光圈21的光圈直径由控光光圈驱动单元(未示出)根据从AE处理获得的光圈值数据进行调整。快门22是机械快门，由快门驱动单元(未示出)根据从AE处 理获得的快门速度来驱动。CCD 23包含具有预定尺寸的光电表面，在光电表面上二维排列 多个感光单元。目标的光图像聚焦在光电表面上，经过光电转换得到 模拟成像信号。此外，由规则布置的R、 G和B滤色片组成的滤色片 布置在CCD 23的正面。AFE 24处理从CCD 23输出的模拟成像信号来从模拟成像信号 中消除噪声，并且调整模拟成像信号的增益(下文中，此操作称作"模 拟处理")。A/D转换单元25将经过AFE 24的模拟处理的模拟成像信号转 换成具有预定位数的数字成像信号。需要注意的是，通过对在成像单元2的CCD 23处获得的模拟成像信号转换成数字成像信号所获得的 图像数据是原始数据，该数据中包括单个像素的R、G和B的密度值。成像控制单元3在释放按钮按下后控制成像操作。此外，当释 放按钮被半按时，成像控制单元3执行AF处理和AE处理来设置聚 焦镜头的焦点位置、光圈值数据和快门速度。需要注意的是，在释放 按钮没有按下的状态下，成像控制单元3控制成像单元2得到现场场 景图像。而且，在这个实施例中，在按下释放按钮以后，成像控制单 元3控制成像单元2执行AE包围成像，用来获得多个具有不同曝光 值的图像。具体来说，通过使用以步进方式相区别的不同曝光值(例 如+ lEv、屮2Ev等)执行超过一次成像操作来实现AE包围成像。信号处理单元4将信号处理应用到合成图像的图像数据，所述 信号处理比如为用于校正CCD 23的暗电流的光学黑色调整、白平衡 调整、色调转换、清晰度校正和颜色校正，所述合成图像是由成像单元2所获得的图像生成的，成像单元2将在后面说明。压縮/解压縮处理单元5根据特定的压縮格式(如JPEG)将压缩 处理应用于经过信号处理单元4处理后的图像数据，来生成图像文 件。描述附加信息如拍摄时间和日期的标题被添加到例如基于Exif 格式的图像文件中。帧存储器6为各种处理提供了工作空间，包括信号处理单元4 的处理，所述处理应用于表征由成像单元2所获得图像的图像数据。介质控制单元7访问记录介质IO并且对将图像文件写入记录介 质IO或从记录介质IO读出进行控制。内部存储器8存储各种设置在数码相机1中的常量、由CPU 15 执行的程序等。显示控制单元9使图像数据存储于帧存储器6或记录于记录介 质10中的图像显示在显示器11上。数码相机1还包括曝光调整单元12和合成单元13。图3是第一 实施例中的曝光调整处理和合成处理的概念图，曝光调整处理由曝光 调整单元12执行，合成处理由合成单元13执行。在如图3所示的第 一实施例中，针对每个图像G1-Gk，通过将该图像的亮度校正成具有 最低曝光值的第一图像的亮度并且从第m位到第n位(n>m)应用 位扩展来执行曝光调整处理，其中图像Gl-Gk由通过AE包围成像 获得并经过A/D转换的图像数据表征。然后，经过曝光调整处理的 图像组合成n位合成图像GM的输出图像数据。下面具体说明第一实施例中通过AE包围成像获得的图像的组 合处理。在这个例子中，假定执行AE包围成像来获得其间具有2Ev 的曝光差值的两个图像。需要注意的是，曝光差值可以依据必需的位 数而改变，并且具体地可以处在从2Ev到3Ev范围内。对于获得两 个图像的两个成像操作，用低曝光值完成的成像操作称作低曝光成 像，用高曝光值完成的成像操作称作高曝光成像。此外，通过低曝光 成像和高曝光成像获得并且经过A/D转换的图像分别被称作低曝光 图像GL和高曝光图像GH。图4例示了低曝光图像GL的QL值(例如，图像的每个像素的数字成像信号值)和光量间的相互关系，图5例示了高曝光图像GH的QL值和光量间的相互关系。如图4所示，由低曝光成像获得的低 曝光图像GL在宽范围内具有光量的渐进。相反，如图5所示，由于 2Ev的曝光差值，由高曝光成像获得的高曝光图像GH在低曝光图像 的1/4光量渐进范围内渐进，但是在暗区具有更好的色调表现。因而，曝光调整单元12对高曝光图像GH应用位扩展和曝光调 整处理以将高曝光图像GH的曝光值调整到低曝光图像GL的曝光 值。因为低曝光图像GL和高曝光图像GH之间的曝光差值是2Ev， 高曝光图像GH的光亮度调整到1/4，如图5中虚线所示。通过这个 操作，高曝光图像GH的位精度从m位扩展到m + 2位。应该注意到， 扩展到m + 2位的原因是低曝光图像GL和高曝光图像GH间的曝光 差值是2Ev。因此，如果曝光差值是aEv，则在曝光调整处理中执行 扩展到m+a位的处理。低曝光图像GL的光亮度没有调整，仅仅是 其位精度从m位扩展到m + 2位。合成单元13将已经经过曝光调整处理的低曝光图像GL'和高曝 光图像GH'进行组合。具体来说，低曝光图像GL'的暗区信息被高曝 光图像GH'的暗区信息替代，从而将低曝光图像GL'和高曝光图像 GH'进行组合来生成合成图像GM。图6例示了合成图像GM的光量 与QL值之间的相互关系。需要注意的是，在图6中，用虚线表示由 高曝光图像GH'的相应部分代替的低曝光图像GL'的一部分。如图6 所示，在合成图像GM中，暗区的分辨率等于高曝光图像GH的相应 区域的分辨率，因而与低曝光图像GL相比改善了合成图像GM暗区 的分辨率。根据经由输入单元16输入的信号，CPU 15控制数码相机1的 各个单元，其中输入单元16包括四方向键、各种操作按钮和释放按 钮。数据总线17连接到构成了数码相机1的各个单元和CPU 15， 以在数码相机1中进行各种数据和各种信息的通信。接着，说明第一实施例执行的操作。图7例示了第一实施例执 行的操作的流程图。需要注意的是，在这里说明的是在释放按钮被完全按下后执行的操作。当按下释放按钮时，成像控制单元3执行AE包围成像(步骤ST1)。通过此操作，获得了具有不同曝光值的图像。获得的图像 Gl-Gk经过A/D转换后被临时存储于内部存储器8中(步骤ST2)。 然后，曝光调整单元12对所获得的图像Gl-Gk应用位扩展和曝光调 整处理(步骤ST3)。接着，合成单元13通过对经过曝光调整处理 的图像Gl-Gk进行组合来生成合成图像GM (步骤ST4)。随后，信号处理单元4对合成图像GM应用信号处理(步骤 ST5)，压縮/解压縮处理单元5生成经过信号处理的图像的图像文件 (步骤ST6)。然后，介质控制单元7将图像文件记录到记录介质 10中(步骤ST7)，同时此处理结束。如图8所示，在由信号处理单元4执行的色调转换的特征曲线 中，具有较小输入信号值的部分(即暗区)的变化率较大。在暗区的 色调分辨率较小的情况下，暗区中由于色调转换而导致的变黑的趋势(不期望的色饱和度)增加。图像的较高曝光值在暗区处提供较高的分辨率。相反，图像的 较低曝光值在亮区处提供较高分辨率。因此，在合成图像GM中， 保持了高曝光图像(特别是在暗区处)的位精度，并且这在暗区处提 供了高分辨率，其中合成图像GM是通过经过位扩展和曝光调整的 图像而得到的，曝光调整用于将除第一图像之外的图像的曝光值调整 成第一图像的曝光值。于是，根据第一实施例，特别是在暗区处得到 改善了色调再现的合成图像GM。应当注意的是，由信号处理单元4执行的色调转换有多种特征， 并且在暗区处的变化率随着色调转换的特征变化。因而，AE包围成 像中的最大曝光差值(即具有最低曝光值的图像与具有最高曝光值的 图像之间的曝光差值)有可能随着色调转换的特征而改变。具体的说， 当色调转换为图像暗区提供较大的变化率时，以较大的最大曝光差值 进行AE包围成像。接下来说明本发明的第二实施例。应当注意的是，应用了根据 第二实施例的图像处理装置的数码相机的结构，与根据第一实施例的数码相机的结构相同，只是执行的操作不同。所以，省去对其构造的 具体描述。在第二实施例中，曝光调整处理是通过增益处理和偏移处 理实现的。图9是第二实施例中由曝光调整单元12执行的曝光调整处理和由合成单元13执行的合成处理的示意图。如图9所示，在第二实施 例中，针对图像Gl-Gk中的每个图像，通过从m位到n位(n〉m) 应用位扩展以及增益处理来将除具有最低曝光值的第一图像之外的 图像的光亮度调整成第一图像的光亮度，并且接着应用偏移处理来避 免经过增益处理的图像重叠，来执行曝光调整处理，其中每个图像 Gl-Gk都由通过AE包围成像并经过A/D转换所得到的图像数据表 征。然后，将经过曝光调整处理的图像叠加成n位的合成图像GM的 输出图像数据。现在对第二实施例中通过AE包围成像得到的图像的组合处理 进行具体说明。在这个例子中，假定与第一实施例类似地执行AE包 围成像，以得到其间具有2Ev的曝光差值的两个图像。首先，曝光调整单元12根据曝光差值为图像设置增益。也就是 说，如果具有最低曝光值的图像用作参考，为作为参考的最低曝光值 的图像设置1/1的增益，则为具有1Ev的曝光差值的图像设置1/2的 增益或者为具有2Ev的曝光差值的图像设置1/4的增益。在此示例中， 低曝光值图像GL和高曝光值图像GH之间的曝光差值是2Ev，因此， 曝光调整单元12为低曝光值图像GL设置1/1的增益，为高曝光值 图像GH设置1/4的增益。另外，曝光调整单元12根据曝光差值为图像设置偏移值。设置 偏移值以避免合成图像GM中的信息的重叠，针对每个图像，将增 益处理后的具有次低曝光值的图像的最大QL值设置为偏移值。即为 作为参考的具有最低曝光值的图像设置1/2xQLmax的偏移值，并且 为与参考图像具有lEv的曝光差值的图像设置l/2xQLmax的偏移值。 需要注意的是，值QLmax是图像Gl-Gk中的每个图像的QL值的最 大值。此外，将O设置为具有最高曝光值的图像的偏移值。在此示例 中，低曝光值图像GL和高曝光值图像GH之间的曝光差值是2Ev，因此，曝光调整单元12为低曝光值图像GL设置1/4xQLmax的偏移值。接着，曝光调整单元12使用如此设置的增益和偏移值对图像应 用曝光调整处理。图IO是解释应用于低曝光图像的增益处理和偏移 处理的曲线图，图11是解释应用于高曝光图像的增益处理和偏移处 理的曲线图。如图IO所示，针对低曝光图像GL进行从m位到m + 2位的位 扩展，'以1/1的增益进行增益处理，并以1/4 xQLmax的偏移值进行 偏移处理。通过此操作，经过曝光调整处理将低曝光图像GL的光量 与QL值之间的关系从如虚线所示修正为如实线所示。另一方面，如图ll所示，针对高曝光图像GH应用从m位到m 十2位的位扩展，并且以1/4的增益进行增益处理。因为偏移值为0， 所以没有对高曝光图像GH进行偏移处理。通过此操作，经过曝光调 整处理将高曝光图像GH的光量与QL值间的关系从如虚线所示修正 为如实线所示。需要说明的是，不是必须以上述顺序执行增益处理和偏移处理， 也可以在偏移处理之后进行增益处理。合成单元13将经过曝光调整处理的低曝光图像GL'和高曝光图 像GH'进行组合。具体地，通过将低曝光图像GL'和高曝光图像GH' 组合起来合成低曝光图像GL'和高曝光图像GH'，以生成合成图像 GM。图12例示了合成图像GM的光量与QL值之间的关系。如图 12所示，在合成图像GM中，暗区处的分辨率等于高曝光图像GH 的对应区域的分辨率，因而相比低曝光图像GL得到改进。另外，通 过偏移处理，实现了合成图像GM的光量与QL值之间的线性关系。接下来说明在第二实施例中执行的操作。图13是例示了在第二 实施例中执行的操作的流程图。需要注意的是，这里说明的操作是释 放按钮被完全按下后所执行的操作。在释放按钮被按下后，成像控制单元3执行AE包围成像(步骤 ST11)。通过此操作，获得了具有不同曝光值的图像Gl-Gk。所得 的图像Gl-Gk经过A/D转换并且被临时存储在内部存储器8中(步骤ST12)。然后，曝光调整单元12对所得图像Gl-Gk应用增益处 理(步骤ST13)，接着对图像Gl-Gk应用偏移处理(步骤ST14)。 然后，合成单元13对已经经过曝光调整处理的图像G1-Gk进行合成， 生成合成图像GM (步骤ST15)。接下来，信号处理单元4对合成图像GM进行信号处理(步骤 ST16)，并且压缩/解压縮处理单元5生成已经经过信号处理的图像 的图像文件(步骤ST17)。然后，介质控制单元7将图像文件记录 到记录介质10中(步骤ST18)，然后处理结束。如上文所述，第二实施例中的曝光调整处理是通过增益处理和 偏移处理实现的。因此，曝光调整处理可以通过简单的乘法、加法和 减法计算实现。此外，增益处理可以结合对CCD23的暗电流进行校 正的光学黑色校正和对图像进行的白平衡校正来进行。通过将这些校 正操作与增益处理结合起来，可以减少信号处理单元4对合成图像GM应用信号处理时的计算量。下面说明本发明的第三实施例。需要注意的是，应用根据第三 实施例的成像装置的数码相机的构造，与根据第一实施例的数码相机 的构造完全相同，不同的仅仅是执行的操作不同。因此，忽略对构造 的详细描述。在第三实施例中，根据第二实施例的增益处理和偏移处 理是使用列表执行的。此外，在第三实施例中，在形成合成图像的每 个图像的光亮度饱和部分处提供了渐变。图14是第三实施例中由曝光调整单元12执行的曝光调整处理 和由合成单元13执行的合成处理的概念图。如图14所示，在第三实 施例中，针对图像Gl-Gk中的每个图像，通过列表转换应用增益处 理、偏移处理、以及从m位到n位(n>m)应用位扩展来执行曝光 调整处理，其中每个图像Gl-Gk都由通过AE包围成像并经过A/D 转换所得到的图像数据表征。然后，经过曝光调整处理的图像被叠加 成n位合成图像GM的输出图像数据。需要说明的是，在第三实施 例中，多个根据曝光差值的列表被存储在内部存储器8中，根据图像 间的曝光差值选择一个合适的列表来使用所选列表执行列表转换。下面具体说明第三实施例中对通过AE包围成像获得的图像进行组合的处理。在此示例中，假定与第一实施例类似地执行AE包围 成像，以得到其间具有2EV的曝光差值的两个图像。图15表示了用于低曝光图像的列表，图16表示了用于高曝光 图像的列表。如图15所示，针对低曝光图像的列表T1是这样的转 换列表，其针对处在O到最大输入值的1/4之前(小于最大输入值的 1/4)的范围内的输入值输出0，并且针对等于或大于最大输入值的 1/4的输入值逐渐增加输出值，使得输出值与输入值成比例。具体来 说，这个转换列表以1/1的增益应用增益处理、以1/4 xQLmax的偏 移值应用偏移处理，以及应用从m位到m + 2位的位扩展。另一方面，如图16所示，针对高曝光图像的列表T2是输出值 为输入值的1/4并且对具有大输入的区域逐渐将输出变为固定值的 转换列表。具体地说，这个转换列表以1/4的增益应用增益处理，并 应用从m位到m + 2位的位扩展。图17例示了合成图像GM的光量和QL值之间的关系，其中合 成图像GM是通过将使用列表Tl和T2转换后的低曝光图像GL和 高曝光图像GH叠加起来获得的。如图17所示，在合成图像GM中， 暗区的分辨率和高曝光图像GH的相应区域的分辨率相等，因而相比 低曝光图像GL得到改善。此外，在形成合成图像GM的低曝光图像 GL和高曝光图像GH之间的边界处提供了平滑过渡。接下来说明第三实施例中执行的操作。图18是例示了第三实施 例执行的操作的流程图。需要注意的是，这里说明的操作是释放按钮 被完全按下后执行的操作。在释放按钮被按下后，成像控制单元3执行AE包围成像(步骤 ST21)。通过此操作，获得了具有不同曝光值的图像Gl-Gk。所得 的图像Gl-Gk经过A/D转换并且被临时存储在内部存储器8中(步 骤ST22)。随后，曝光调整单元12根据图像间的曝光差值选择存储 于内部存储器8中的一个合适的列表(步骤ST23)。接着，曝光调 整单元12通过用所选列表对图像G1-Gk进行列表转换来执行曝光调 整处理(步骤ST24)。然后，合成单元13对已经过曝光调整处理的 图像Gl-Gk进行组合来生成合成图像GM (步骤ST25)。接下来，信号处理单元4对合成图像GM应用信号处理(步骤ST26),并且压縮/解压縮处理单元5生成已经过信号处理的图像的 图像文件(步骤ST27)。然后，介质控制单元7将图像文件记录到 记录介质10中(步骤ST28)，然后此过程结束。如上文所述，在第三实施例中，通过参考列表应用增益处理和 偏移处理来进行曝光调整处理，每个列表都针对每个图像的输入光量 值输出经过增益处理和偏移处理后的光量值。这样以简单的方式执行 曝光调整处理。另外，列表适于应用增益处理和偏移处理来为形成合成图像GM 的每个图像Gl-Gk的光亮度的饱和部分提供渐变。于是，在形成合 成图像GM的图像之间的边界处提供了平滑光亮度过渡，从而进一 步改进了合成图像GM的图像质量。接下来说明本发明的第四实施例。需要注意的是，使用根据第 四实施例的成像装置的数码相机的构造与根据第一实施例的数码相 机的构造完全相同，不同的仅仅是执行的操作不同。因此，省略对构 造的详细描述。在第四实施例中，使用列表转换来执行在形成合成图 像的每个图像的光亮度的饱和部分处提供渐变的处理以及偏移处理， 然后执行类似于第二实施例的增益处理。图19是第四实施例中由曝光调整单元12执行的曝光调整处理 和由合成单元13执行的合成处理的概念图。如图19所示，在第四实 施例中，针对G1-Gk中的每个图像，在不应用位扩展的情况下通过 使用列表转换应用偏移处理来执行曝光调整处理，然后对经过列表转 换的图像应用增益处理和从m位到n位(n>m)的位扩展，其中每 个图像Gl-Gk都由通过AE包围成像并经过A/D转换所得到的图像 数据表征。接着，经过曝光调整处理的图像被叠加成n位合成图像 GM的输出图像数据。需要注意的是，在第四实施例中，根据曝光差 值的多个列表被存储在内部存储器8中，根据图像间的曝光差值选择 合适的列表来利用所选列表执行列表转换。下面具体说明第四实施例中对通过AE包围成像获得的图像进行组合的处理。在此示例中，假定与第一实施例类似地执行AE包围成像，以得到其间具有2Ev的曝光差值的两个图像。图20表示了用于高曝光图像的列表。需要注意的是，针对低曝光图像GL，增益设置为1/1并且只应用偏移处理。因此，在第四实 施例中，低曝光图像GL的列表转换的执行类似于使用图15所示的 列表T1的第三实施例。如图20所示，高曝光图像的列表T3是没有 应用位扩展并且针对大输入值输出逐渐减小的值的转换列表。图21例示了使用列表T3进行转换后的高曝光图像GH的光量 和QL值之间的关系。如图21所示，在使用列表T3进行转换后的高 曝光图像GH中，在QL值饱和的部分提供了平滑变化。接着，曝光 调整单元12使用与第二实施例类似的方式设置的增益来对经过列表 转换的高曝光图像GH应用位扩展和增益处理。图22例示了经过增益处理的高曝光图像GH的光量和QL值之 间的关系。如图22所示，通过增益处理，经过列表转换的高曝光图 像GH的QL值变化到该值的1/4。类似于第三实施例，通过将这样获得的经过曝光调整的高曝光 图像GH'和经过曝光调整的低曝光图像GL'叠加起来可以生成这样的 合成图像，该合成图像在暗区处具有与高曝光图像GH的相应区域的 分辨率相等的分辨率，并且因此相比如图17所示的低曝光图像GL 具有改进。此外，在形成合成图像GM的图像之间的边界处提供光 亮度的平滑过渡，于是进一步改进了合成图像GM的图像质量。下面，描述第四实施例中执行的操作。图23是例示了第四实施 例中执行的操作的流程图。需要注意的是，这里描述的操作是在释放 按钮被完全按下后执行的操作。在释放按钮被按下后，成像控制单元3执行AE包围成像(步骤 ST31)。通过该操作得到具有不同曝光值的图像Gl-Gk。得到的图 像Gl-Gk经过A/D转换且被临时存储在内部存储器8中(步骤ST32)。 接着，曝光调整单元12根据图像间的曝光差值选择存储于内部存储 器8中的一个合适的列表(步骤ST33)。然后，曝光调整单元12使 用选择的列表对图像G1-Gk应用列表转换(步骤ST34)。接着，曝 光调整单元12对经过列表转换的图像Gl-Gk应用增益处理(步骤ST35)。然后，合成单元13将经过曝光调整处理的图像G1-Gk进行 组合来生成合成图像GM (步骤ST36)。接下来，信号处理单元4对合成图像GM应用信号处理(步骤 ST37)，压縮/解压縮处理单元5生成经过信号处理的图像的图像文 件(步骤ST38)。然后，介质控制单元7将图像文件记录到记录介 质10(步骤ST39)中，此过程结束。在使用列表应用位扩展的情况下，每个列表的容量很大，因此 有必要增大用于存储这些列表的内部存储器8的存储区域。相反，在 第四实施例中，在使用列表对图像Gl-Gk进行转换从而在形成合成 图像GM的每个图像的光亮度的饱和部分处提供渐变后，对这些图 像应用位扩展和增益处理。因此，用于存储列表的内部存储器8的存 储区域比存储应用了位扩展的列表的情况下的存储区域小。于是简化 了装置的构造并且降低了装置的成本。需要说明的是，在第二和第四实施例中，增益处理中用于低曝 光图像GL的增益是1/1，从而对低曝光图像GL只应用位扩展。因 此，在曝光差值为lEv的情况下，低曝光图像GL的增益处理可以通 过位移来实现。另外，虽然在第一至第四实施例中，经过AE包围成像获得的图 像在经过曝光调整处理之后进行合成处理，曝光调整处理和合成处理 还可以顺次执行。下面将这个方面作为第五实施例进行说明。图24是第五实施例中由曝光调整单元12执行的曝光调整处理 和由合成单元13执行的合成处理的概念图。如图24所示，在第五实 施例中，通过AE包围成像并经过A/D转换获得的图像数据所表征的 图像Gl-Gk中的每个图像从内部存储器8中被顺次读出，并且每个 被读出的图像G1-Gk都经过从m位到n位的位扩展和曝光调整处理。 接着，将经过曝光调整处理的图像顺次进行组合形成合成图像。如果 到目前为止获得的合成图像不是最终的合成图像GM，则该合成图像 存储在内部存储器8中作为中间合成图像。其后，从内部存储器8 中顺次读出的图像经过曝光调整处理，并且与存储于内部存储器8 中加中间合成图像进行组合。重复曝光调整处理和合成处理直至获得最终合成图像GM。需要注意的是，任何根据第一至第四实施例的曝光调整处理和 合成处理都可以用作第五实施例中的曝光调整处理和合成处理。下面描述第五实施例中执行的操作。图25是例示了第五实施例执行的操作的流程图。需要注意的是，这里描述的操作是在释放按钮 被完全按下时执行的操作。在释放按钮被按下后，成像控制单元3执行AE包围成像(步骤 ST41)。通过该操作得到具有不同曝光值的图像Gl-Gk。所得到的 图像Gl-Gk经过A/D转换且被临时存储在内部存储器8中(步骤 ST42)。接着，曝光调整单元12将第一图像设置为要进行处理的图 像Gi(iH至k) (i=l，步骤ST43)，并从内部存储器8中读出图 像Gi (步骤ST44)。然后，读出的图像Gi经过位扩展和曝光调整处理(步骤ST45)。 接着，合成单元13将经过曝光调整处理的图像Gi与存储于内部存储 器8中的中间合成图像进行组合来生成合成图像(步骤ST46)。需 要注意的是，当i二l时，没有中间合成图像存储于内部存储器8中， 因此将经过曝光调整处理的图像Gi存储为中间合成图像。然后，合 成单元13确定是否已经将所有图像进行组合(i = k，步骤ST47)。 如果步骤ST47的判定结果是否定的，则将该合成图像作为中间合成 图像存储于内部存储器8中(步骤ST48)，并将下一图像设置为要 处理的图像(i = i+l，步骤ST49)。然后该处理返回步骤ST44。如 果步骤ST47的判定结果是肯定的，将该合成图像作为最终合成图像 GM输出(步骤ST50)。接下来，信号处理单元4对合成图像GM进行信号处理(步骤 ST51)，并且压縮/解压縮处理单元5生成经过信号处理的图像的图 像文件(步骤ST52)。然后，介质控制单元7将图像文件记录到记 录介质10中(步骤ST53)，该过程结束。如上所述，在第五实施例中，对图像Gl-Gk顺次地进行曝光调 整处理，并且将经过曝光调整处理的图像Gl-Gk中的每个图像顺次 进行组合形成合成图像。在这种情况下，内部存储器8必需的容量比图像Gl-Gk同时进行曝光调整处理的情况下所需的容量小，因为不需要存储经过曝光调整处理的图像Gl-Gk。于是简化了该装置的构造，同时降低了该装置的成本。需要注意的是，虽然在第一至第五实施例中将根据本发明的图 像处理装置应用于数码相机，根据本发明的图像处理装置还可以单独使用。在这种情况下，为图像处理装置提供了多种用于将由AE包围 成像获得的图像输入图像处理装置的接口。此外，虽然在第一至第五实施例中通过将具有最低曝光值的图 像作为参考来执行曝光调整处理和合成处理，也可以通过将具有最高 曝光值的图像作为参考来执行曝光调整处理和合成处理。在这种情况 下，执行增益处理来使得最高曝光图像以外的图像的增益增大。另外，尽管在第三和第四实施例中将列表存储在内部存储器8 中，也可以提供专用存储器来存储列表。以上描述了根据本发明的实施例的图像处理装置。然而，本发 明也可以以程序的形式实现，该程序使得计算机用作对应于曝光调整 单元12和合成单元13的装置，执行图7、图13、图18、图23或图 25所示的操作。本发明也可以以包含程序的计算机可读记录介质的 形式实现。本发明的效果根据本发明，获得多个具有不同曝光值的图像，然后对每个图 像执行位扩展和曝光调整处理，来将这些图像的曝光值调整为这些图 像中具有最低曝光值的第一图像的曝光值。接着，将经过曝光调整处 理的图像进行组合来生成合成图像。具有较高曝光值的图像在暗区处具有较高的分辨率。相反，具 有较低曝光值的图像在亮区处具有较高的分辨率。因此，合成图像保 持了高曝光图像的位精度(特别是在暗区处)，从而在暗区处具有高 分辨率，其中合成图像是根据经过位扩展和将图像的曝光值调整到第一图像的曝光值的曝光调整的图像得到的。于是，根据本发明，提供 了具有改进的色调再现(尤其是在暗区处)的合成图像。可以通过对图像应用增益处理和偏移处理来执行曝光调整处理。在这种情况下，曝光调整处理能够通过简单的乘法、加法和减法 计算实现。另外，增益处理可以结合用于校正图像获取装置的暗电流 的光学黑色校正和应用于图像的白平衡校正来执行。通过将这些校正 操作与增益处理结合，可以减少图像处理时的计算量。在通过应用增益处理和偏移处理来执行曝光调整处理时，可以 参考针对每个图像的输入光亮度值输出经过增益处理和偏移处理后的光亮度值的列表，于是以简单的方式实现了曝光调整处理。在这种情况下，列表可以适用于增益处理和偏移处理的应用， 以提供形成合成图像的每个图像的光亮度值在饱和部分处的渐变。这 允许为形成合成图像的图像之间的边界处的光亮度提供平滑过渡，于 是进一步改进了合成图像的图像质量。可选的，通过应用列表来为形成合成图像的每个图像在光亮度 值的饱和处提供渐变并且应用偏移处理.以避免.图像重叠来转换图像， 然后对转换后的图像应用位扩展和增益处理。在这种情况下，位扩展 不包括在利用列表进行的转换中。因此，可以减少每个列表的容量， 并且减少了用于存储列表的存储装置的必需容量。可选的，可以对图像顺次进行曝光调整处理，并且每个经过曝 光调整处理的图像可以顺次被组合以形成合成图像。在这种情况下， 用于处理的存储装置的必需容量小于同时对图像进行曝光调整的情 形所需的容量。于是，可以简化该装置的构造并降低该装置的成本。
权利要求
1.一种图像处理装置，包括图像获取装置，用于获取多个具有不同曝光值的图像；曝光调整装置，用于通过对每个图像应用位扩展并将图像的曝光值调整成图像中具有最低曝光值的第一图像的曝光值来执行曝光调整处理；和合成装置，用于通过将经过曝光调整处理的图像进行组合来生成合成图像。
2. 如权利要求1所述的图像处理装置，其中曝光调整装置通过将除第一图像之外的图像的光亮度校正为第 一图像的光亮度并对图像应用位扩展来执行曝光调整处理；并且合成装置通过用经过曝光调整处理的其他图像的相应部分的信 息取代第一图像的一部分信息来生成合成图像。
3. 如权利要求1所述的图像处理装置，其中曝光调整装置通过对图像应用位扩展和增益处理以将除第一图 像之外的图像的光亮度调整为第一图像的光亮度并对图像进行偏移处理以避免增益处理后的图像重叠来执行曝光调整处理；并且合成装置通过将经过曝光调整处理的图像叠加起来生成合成图像。
4. 如权利要求3所述的图像处理装置，其中曝光调整装置通过参考列表来执行增益处理和偏移处理，其中 所述列表针对每个图像的所输入光亮度值输出经过增益处理和偏移 处理后的光亮度值。
5. 如权利要求4所述的图像处理装置，其中所述列表适于应用增益处理和偏移处理以在形成合成图像的每个图像的光亮度的饱和部分处提供渐变。
6. 如权利要求1所述的图像处理装置，其中曝光调整装置通过使用列表来在形成合成图像的每个图像的光 亮度的饱和部分处提供渐变并应用偏移处理以避免图像重叠来转换 图像，并且对转换后的图像应用位扩展和增益处理，来执行曝光调整 处理；并且合成装置通过将经过曝光调整处理的图像叠加起来生成合成图像。
7. 如权利要求1所述的图像处理装置，其中 曝光调整装置对图像顺次地应用曝光调整处理；并且合成装置将经过曝光调整处理的每个图像顺次地进行组合来生 成合成图像。
8. 如权利要求1所述的图像处理装置，其中图像获取装置包含 成像装置，用于通过拍摄操作来获得图像；和 成像控制装置，用来控制成像装置通过对同一场景使用不同的曝光值执行超过一次的拍摄操作来获得多个图像。
9. 一种图像处理方法，包括步骤-获得多个具有不同曝光值的图像；通过对每个图像应用位扩展并且将图像的曝光值调整为图像中 具有最低曝光值的第一图像的曝光值来执行曝光调整处理；以及 通过将经过曝光调整处理的图像进行组合来生成合成图像。
全文摘要
本发明公开了一种图像处理装置、方法以及包含程序的计算机可读记录介质。图像处理装置包括图像获取单元(2，3)，用于获得多个具有不同曝光值的图像；曝光调整单元(12)，用于通过对每个图像应用位扩展和将图像的曝光值调整为图像中具有最低曝光值的第一图像的曝光值来执行曝光调整处理；和合成单元(13)，用于通过将经过曝光调整处理的图像进行组合来生成合成图像。
文档编号G06T5/00GK101582993SQ20091013757
公开日2009年11月18日 申请日期2009年5月14日 优先权日2008年5月14日
发明者仓桥秀和, 田中诚二 申请人:富士胶片株式会社