图像拾取装置、图像拾取方法、曝光控制方法和程序的制作方法

专利名称：图像拾取装置、图像拾取方法、曝光控制方法和程序的制作方法
技术领域：
本发明涉及图像拾取装置、图像拾取方法、曝光控制方法和程序， 并且更具体地涉及膝光校正，其中图像拾取装置通过组合长曝光图像 信号和短膝光图像信号产生具有宽动态范围的组合图像信号。
背景技术：
在许多使用诸如CCD (电荷耦合器件)的固态图像拾取设备的 图像拾取装置中，通过控制光圏和电子快门速度控制输入图像拾取设 备的光量(膝光的光量)。即，当拍摄明亮的场景时，减少曝光的光 量，从而防止由从图像拾取装置输出的信号的饱和引起的过度曝光的 发生。相反，当拍摄黑暗场景时，增加曝光的光量，从而防止曝光不 足的发生。然而，当希望使用具有不足的动态范围的固态图像拾取设备，拍 摄具有强对比度的场景时(带背光的对象的图像拍摄或室内场景和室 外场景的同时图像拍摄)，即使控制曝光的光量，由于明亮部分的饱 和，可能在场景的明亮部分出现过度曝光，并且在场景的黑暗部分出 现膝光不足。结果，可能不能适当地再现这两部分。作为克服这种难点的方法，日本待审专利申请公开号6-141229 (相应的专利号US 5455621 )公开了 一种通过在一场中使用不同的电 子快门速度或为每场改变电子快门速度，分别获得明亮区域的信息和 黑暗区域的信息，并且将获得的信息片段组合为单个图像的方法。由能够拍摄具有宽动态范围的图像的装置(宽动态范围照相机)采用该方法。另外，日本待审专利申请公开号2004- 120205 (相应的专利号 US 2006/033823 Al)和2002 - 84449公开了用于改进上述组合图像的 质量的装置和方法。发明内容然而在这些通过改进以两种明显不同的啄光光量拍摄的组合图 像的方法，改进宽动态范围照相机的图像质量的方法的情况中，不检 查通过组合这些图像而获得的图像是否是不包括过度膝光部分或不 包括啄光不足部分的图像。因此，如果在组合图像中包括过度膝光部 分或曝光不足部分，则不校正该部分，并且因此产生质量不可接受的 组合图像。希望提供能够更有效地校正包括在组合图像内的过度膝光 部分或曝光不足部分的方法。根据本发明的实施例的图像拾取装置包括图像拾取单元，其配 置为根据入射光产生长咏光图像信号和短膝光图像信号，并且作为图 像拾取信号输出长啄光图像信号和短曝光图像信号，通过相对长时间 的曝光产生长曝光图〗象信号，并且通过相对短时间的曝光产生短曝光 图像信号；信号处理单元，其配置为通过组合长曝光图像信号和短曝 光图像信号产生组合图像信号，该组合图像信号具有比长爆光图像信 号和短啄光图像信号中的至少任意一个相对宽的动态范围；检测单 元，其配置为获得组合图像信号的辉度累积值，并且产生组合图像信 号的辉度直方图；以及控制单元，其配置为使用辉度累积值和辉度直 方图，对图像拾取单元执行膝光校正控制。控制单元使用辉度直方图检测组合图像信号中曝光不足的出现， 基于检测结果设置目标辉度累积值，并且使用目标辉度累积值对图像 拾取单元执行膝光校正控制。具体地，控制单元使用目标辉度累积值 对由图像拾取单元产生的长啄光图像信号执行曝光校正控制。另外， 作为对长曝光图像信号的曝光校正控制，控制单元对长曝光图像信号 执行光圈控制、长曝光时段校正、或增益校正。控制单元使用辉度直方图检测组合图像信号中过度曝光的出现，基于检测结果设置短瀑光 时段，并且使用短膝光时段对由图像拾取单元产生的短曝光图像信号 执行爆光校正控制。控制单元在每个图像信号单位时段内(例如， 一场的时段或一帧 的时段)，执行用于消除曝光不足部分的曝光校正控制和用于消除过 度曝光部分的曝光校正控制两者。可替换地，控制单元在每个图像信 号单位时段内执行用于消除啄光不足部分的曝光校正控制和用于消 除过度曝光部分的曝光校正控制中的任意一个。在该情况下，控制单 元确定是否在每个图像信号单位时段内稳定地执行了消除曝光不足 部分的膝光校正操作，当确定未稳定地执行该曝光校正操作时，执行 用于消除曝光不足部分的曝光校正控制，并且当确定已经稳定地执行 了该曝光校正操作时，执行用于消除过度曝光部分的曝光校正控制。 控制单元对执行消除膝光不足部分的曝光校正控制的次数进行计数， 并且当计数的次数超过预定数目时，执行用于消除过度曝光部分的曝 光校正控制。控制单元通过使用当前目标辉度累积值和一个固定值执行计算 设置新的目标辉度累积值。可替换地，控制单元计算获得目标辉度累 积值的会聚目标值所需的差值，并且通过使用当前目标辉度累积值和 该差值执行计算设置新的目标辉度累积值。检测单元将辉度直方图的 每个辉度等级分类为黑等级、中间等级或白等级，并且产生关于这些 等级中的每一个的辉度分布信息，并且控制单元使用关于中间等级的 辉度分布信息设置目标辉度累积值。控制单元通过使用当前短曝光时 段和一个固定值执行计算设置新的短曝光时段。可替换地，控制单元 计算获得短曝光时段的会聚目标值所需的差值，并且通过使用当前短 曝光时段和该差值执行计算设置新的短曝光时段。检测单元将辉度直 方图的每个辉度等级分类为黑等级、中间等级或白等级，并且产生关 于这些等级中的每一个的辉度分布信息，并且控制单元使用关于中间 等级的辉度分布信息设置短曝光时段。根据本发明的实施例的图像拾取方法包括步骤根据传输自对象的入射光，通过相对长时段的曝光产生长曝光图像信号，并且通过相 对短时段的曝光产生短曝光图像信号，以便输出长啄光图像信号和短曝光图像信号作为图像拾取信号；通过组合长曝光图像信号和短啄光 图像信号产生组合图像信号，组合图像信号具有比长曝光图像信号和 短曝光图像信号中的至少任意一个相对宽的动态范围；获得组合图像 信号的辉度累积值，并且产生组合图像信号的辉度直方图；和使用辉 度累积值和辉度直方图执行啄光校正控制。根据本发明的实施例的曝光校正方法是用于图像拾取装置的方 法，该方法通过相对长时段的膝光获得长曝光图像信号，并且通过相 对短时段的膝光获得短曝光图像信号，通过组合长膝光图像信号和短 曝光图像信号，产生具有比长曝光图像信号和短膝光图像信号中的至 少任意一个相对宽的动态范围的组合图像信号，以及输出产生的组合 图像信号。该曝光校正方法包括步骤获得组合图像信号的辉度累积 值，并且产生组合图像信号的辉度直方图；根据辉度直方图检测组合 图像信号中啄光不足的出现；基于出现曝光不足的检测结果设置目标 辉度累积值；根据辉度直方图检测组合图像信号中过度曝光的出现； 基于出现过度曝光的检测结果设置短曝光时段；以及使用目标辉度累 积值和该短曝光时段执行膝光校正控制。根据本发明的实施例的程序 使得图像拾取装置执行曝光校正。该图像拾取装置配置为通过相对长 时段的啄光获得长曝光图像信号，并且通过相对短时段的曝光获得短 曝光图像信号，通过组合长曝光图像信号和短曝光图像信号，产生具 有比长曝光图像信号和短曝光图像信号中的至少任意一个相对宽的 动态范围的组合图像信号，以及输出产生的组合图像信号。该曝光校 正包括步骤获得组合图像信号的辉度累积值，并且产生组合图像信 号的辉度直方图；根据辉度直方图检测组合图像信号中曝光不足的出 现；基于出现啄光不足的检测结果设置目标辉度累积值；根据辉度直 方图检测组合图像信号中过度曝光的出现；基于出现过度曝光的检测 结果设置短曝光时段；以及使用目标辉度累积值和该短曝光时段执行 膝光校正控制。在本发明的实施例中，在单位时段例如一场的时段中获得长啄光 图像信号和短曝光图像信号。通过组合这些图像信号产生组合图像信 号。获得组合图像信号的辉度累积值，并且分析组合图像信号的辉度 直方图(频率分布)。使用获得的辉度累积值和该分析结果，作为反 馈控制执行自动曝光控制(光圏控制、电子快门速度控制和增益控 制)。从而可以改进宽动态范围照相机的图像质量。根据本发明的实施例，获得通过组合长曝光图像信号和短膝光图 像信号产生的组合图像信号的辉度累积值，并且分析组合图像信号的 辉度直方图(频率分布)，并且然后使用获得的辉度累积值和该分析 结果执行曝光校正。即，确定被作为由用户进行视觉检查的最终图像 而输出的组合图像信号中是否出现曝光不足或过度曝光。将确定结果 作为反馈信息用于曝光校正。因此，可以有效地执行曝光校正以便消 除最终输出图像上的曝光不足或过度曝光部分。即，根据本发明的实 施例，可以必然地改进组合图像的质量。另外，使用组合图像信号执 行曝光校正，并且因此不会受在对图像信号进行组合之前，对长曝光 或短曝光图像信号执行的处理的影响。在各种宽动态范围照相机系统 中，图像信号组合之前执行的处理是不同的。然而，本发明的实施例 可以适用于各种宽动态范围照相机系统，而不论这种差异如何。


图l是根据本发明的实施例的图像拾取装置的方框图； 图2是描述根据本发明的实施例的长曝光和根据本发明的实施 例的短膝光的图；图3是描述根据本发明的实施例的信号组合处理的图；图4是示出了根据本发明的实施例的图像拾取装置的操作的流程图；图5是示出了根据本发明的实施例的检测处理的流程图； 图6A和6B是描述根据本发明的实施例的辉度直方图的图； 图7是示出了根据本发明的实施例的曝光校正处理的流程图；图8是示出了根据本发明的实施例的瀑光不足校正处理的流程图；图9是示出了根据本发明的实施例的过度曝光校正处理的流程图；图io是示出了根据本发明的实施例的曝光校正处理的另一个例子的流程图；图11是示出了根据本发明的实施例的曝光校正处理的再一个例子的流程图；图12是示出了根据本发明的实施例的膝光不足校正处理的另一 个例子的流程图；图13是示出了根据本发明的实施例的曝光不足校正处理的再一 个例子的流程图；图14是示出了根据本发明的实施例的过度曝光校正处理的另一 个例子的流程图；和图15是示出了根据本发明的实施例的过度曝光校正处理的再一 个例子的流程图。
具体实施方式
下面将以如下顺序描述
具体实施例方式1. 宽动态范围照相机的概述；2. 图像拾取装置的配置；3. 图像拾取装置的整个操作；4. 曝光校正处理；5. 曝光校正处理的另一个例子；6. 瀑光不足校正的另一个例子；7. 过度膝光校正的另一个例子；和 8实施例和程序的效果。l.宽动态范围照相机的概述根据本发明的实施例的图像拾取装置1是适合于例如用作监视 照相机的宽动态范围照相机。然而，动态范围照相机可以被用作通用 目的的数字静态照相机或数字摄像机。首先将对宽动态范围照相机进行描述o通常使用的图像拾取装置难以处理场景中极暗部分和极亮部分 之间的宽动态范围。例如，考虑在阳光充足日子的白天当中在室内对 一个场景执行图像拍摄的情况。此时，如果在将室内的对象设置为曝 光参考点之后执行啄光，则房间外部的室外部分失去颜色层次并且被 过度曝光。相反，如果在将室外部分设置为曝光参考点之后执行啄光， 则室内对象曝光不足。即，如果场景中存在辉度等级间的大的差异， 则难以获得相应于该辉度动态范围的拍摄图像。在另 一方面，根据本发明的实施例的宽动态范围照相机通过每次 拍摄圓像时改变电子快门速度以便改变曝光时段，并且组合以不同曝 光时段获得的图像，获得不包括过度曝光或曝光不足部分的拍摄图像。图2示出了一场内的啄光时段和图像拾取设备单元诸如CCD或 CMOS (互补金属氧化物半导体)传感器阵列内的曝光存储光量(电 荷数量)间的关系。在这个实施例中，例如，在l/60秒的一场的时段 中执行1/64秒的长曝光和1/2000秒的短曝光。长曝光和短曝光的曝 光时段可以改变。通过执行长曝光和短曝光，在一场的时段内获得长 曝光图像信号和短曝光图像信号。将获得的图像信号组合在一起。图3示出了长曝光图像信号的输入输出辉度特性A和短曝光图 像信号的输入输出辉度特性B。在信号组合处理中，例如，将一个预 定的辉度值设置为转换点SP。具有低于转换点SP的辉度等级的像素 使用长曝光图像信号作为像素信号。在另一方面，具有高于转换点SP 的辉度等级的像素使用短曝光图像信号作为像素信号。此时，将短曝 光图像信号乘以长曝光图像信号和短曝光图像信号的曝光比例，从而 执行这些图像信号的等级调整。假设长曝光图像信号和短曝光图像信 号的曝光比例是10: 1。在该情况下，短膝光图像信号的曝光等级是 长曝光图像信号的十分之一。然而，现有的光量至少是短曝光图像信号的辉度等级的10倍。因此，将短曝光图像信号乘以数值10以便进行等级调整。因此，通过执行短曝光图像信号的增益乘法，如图所示，可以获得其等级被调整为长曝光图像信号的特性的特性KB。从而， 产生具有A-KB特性的组合图像。即，在场景中的相对暗的部分内 使用长曝光图像信号，以便防止曝光不足的发生，并且在相对亮的部 分内使用短曝光图像信号，以便防止过度曝光的发生。从而，产生不 包括过度曝光部分也不包括曝光不足部分的组合图像。作为拍摄具有亮部分和暗部分之间的宽动态范围的对象的图像 的方法，除了上述组合通过改变曝光时段而获得的亮图像和暗图像的 方法外，还存在各种方法。例如，所述各种方法包括以像素为基础改 变灵敏性、仅提取具有相同曝光条件的信号、使用提取的信号再现图 像、并且组合具有不同曝光条件的一个或多个图像的方法，以及使用 棱镜分离入射光、并且组合从被附于具有光衰减功能的滤波器，诸如 用于减少从中穿过的所有波长的光的量，即，等同地减少入射光的量 的ND滤波器(中性密度滤波器光量控制滤波器)的图像拾取设备 输出的信号的方法。使用上述方法之一的宽动态范围照相机具有比通常使用的摄像 机更宽的动态范围，并且可以拍摄具有宽动态范围的对象的图像。具 有宽动态范围的对象意味着对象的输出图像包括亮的部分和暗的部 分。因此，这种宽动态范围照相机适合于强光从外部进入的在室内执 行的图像拍摄，或在辉度等级间存在大的差异的位置执行的图像拍 摄。例如，这种宽动态范围照相机适合用作在动态范围根据白天或夜 晚中的图像拍摄时间而明显不同的位置，例如，在银行的入口或监视 交通状况的道路上执行图像拍摄所需的照相机。实际上，它们适合用 作监视照相机。2.图像拾取装置的配置图1示出了根据本发明的实施例的图像拾取装置的配置。根据本 发明的实施例的图像拾取装置包括图像拾取光学系统1、图像拾取设 备单元2、预处理单元3、信号处理单元4、输出单元5、检测单元6、定时产生器7、光学部件驱动单元8和控制单元10。图像拾取光学系统l包括光学部件诸如透镜、用于去除不需要的 波长的成分的光学滤波器、以及光團la。光通过包括在图像拾取光学 系统l中的每个光学部件从对象传输到图像拾取设备单元2。图像拾 取设备单元2是固态图像拾取设备单元诸如CCD传感器阵列或 CMOS传感器阵列。图像拾取设备单元2将通过图像拾取光学系统1 传输的光光电转换为电信号，并且输出该电信号以便产生拍摄图像。 在该实施例中，图像拾取设备单元2在一场的时段内执行上述的长曝 光和上述的短膝光，并且输出分时电信号作为长曝光图像信号和短啄 光图像信号。图像拾取设备单元2可以不是固态图像拾取设备单元， 并且可以是非固态图像拾取设备单元诸如图像拾取管。通过使用机械 快门或液晶快门，非固态图像拾取设备单元也可以执行长曝光和短曝 光。被称为模拟前端的预处理单元3执行CDS (相关双采样)处理、 使用可编程增益放大器进行增益处理、以及对用于产生拍摄图像的电 信号进行A/D转换处理，并且将处理后的长曝光图像信号和处理后的 短曝光图像信号提供给信号处理单元4。信号处理单元4对收到的长膝光图像信号和收到的短曝光图像 信号执行参考图3描述的信号组合处理。即，信号处理单元4对根据 分时方法提供的长曝光图像信号和短曝光图像信号执行定时控制和 颜色均衡校正、执行增益处理以便使得短曝光图像信号的辉度等级与 长曝光图像信号的相一致、并且执行这些图像信号的信号组合。另夕卜， 信号处理单元4还对組合图像信号执行伽马校正和白平衡控制，并且 将处理后的组合图像信号输出到输出单元5和检测单元6。输出单元5执行处理，以便使用传输自信号处理单元4的组合图 像信号在监视显示器上显示图像，或将组合图像信号传输到外部装 置。检测单元6分析传输自信号处理单元4的组合图像信号的辉度等 级，产生关于辉度累积值的信息和关于辉度直方图的信息，并且将这 些信息片段提供给控制单元10。控制单元10是包括例如CPU (中央处理单元)、ROM (只读存储器)、RAM (随机访问存储器)和闪存的微型计算机，并且控制 图像拾取装置的整个操作。在本实施例中，控制单元10在图像拍摄 时执行曝光校正处理。包括在控制单元10内的ROM存储使得控制 单元10执行稍后描述的曝光校正所需的控制处理的程序。控制单元 10使用从检测单元6提供的关于辉度累积值和辉度直方图的信息片 段，执行必需的计算和控制处理。定时产生器7为图像拾取设备单元2例如CCD产生操作脉冲。 例如，定时产生器7产生各种脉冲诸如用于纵向转移的四相脉冲、场 转移脉沖、用于水平转移的两相脉沖、以及快门脉沖，并且将它们提 供给图像拾取设备单元2。定时产生器7可以驱动图像拾取设备单元 2 (电子快门功能)。通过控制图像拾取设备单元2的驱动，如图2 中所示，可以输出通过相对长时段的啄光获得的长曝光图像信号和通 过相对短时段的曝光获得的短曝光图像信号。产生长曝光图像信号和 短曝光图像信号所需的这些曝光时段可以改变。光学部件驱动单元8 确定图像拾取光学系统l中包括的光学部件。在本实施例中，光学部 件驱动单元8是用于至少驱动光圏la并且控制入射光的驱动电路。3.图像拾取装置的整个操作下面，将描述在根据本发明的实施例的图像拾取装置中执行的曝 光校正处理。首先，描述包括曝光校正处理在内的，在图像拾取装置 中执行的整个图像拍摄处理。图4示出了图像拍摄处理。以规则的间 隔重复图4所示的图像拍摄处理，从而使用输出视频信号产生的图像 逐渐逼近不包括曝光不足部分和过度曝光部分的图像。从而，改进了 宽动态范围照相机的图像质量。步骤ST1:图像拾取处理定时产生器7可以设置两个不同的电子快门速度，并且使得图像 拾取设备单元2在一场的时段内执行参考图2描述的长曝光和短曝 光。从而，获得具有不同的曝光光量的两个图像拾取信号(通过1/64 秒的膝光时段的曝光而获得的长曝光图像信号和通过1/2000秒的曝 光时段的膝光而获得的短曝光图像信号)。如前所述，由预处理单元3处理长曝光图像信号和短咏光图像信号，并且然后将其提供给信号 处理单元4。步骤ST2:信号组合处理信号处理单元4使用参考图3描述的方法组合由预处理单元3 数字化的长曝光图像信号和短啄光图像信号，以便产生具有更宽动态 范围的组合图像信号。从输出单元5输出这种组合图像信号，以便在 例如监视显示器上显示。步骤ST3:检测处理还将组合图像信号提供给检测单元6。检测单元6获得组合图像 信号的辉度累积值，产生组合图像信号的辉度直方图，并且一场一场 地将它们传输到控制单元10。图5示出了由检测单元6执行的检测处 理。在步骤ST31,检测单元6计算一场的组合图像信号的辉度累积 值。在步骤ST32,检测单元6产生辉度直方图。图6A和6B示出了 辉度直方图的例子。在这些例子中，将辉度等级分为8个辉度等级 黑等级(B)、等级(mbl)、 (mb2)、 (mb3)、 (mw3)、 (mw2)和(mwl) 以及白等级(W)。这些示例辉度直方图中的每一个示出了一场图像中 8个辉度等级的百分比(％ )。例如，图6A示出了根据组合图像信 号获得的相对黑的一场图像的辉度直方图的例子，并且图6B示出了 相对亮的一场图像的辉度直方图的例子。步骤ST4:曝光校正处理控制单元IO检查辉度直方图，并且确定目标辉度累积值和短曝 光曝光时段，从而可以产生不包括曝光不足部分和过度曝光部分的图 像。在曝光不足校正中，通过检查辉度直方图中黑等级(B)的百分 比检测曝光不足部分，并且设置目标辉度累积值，从而可以将黑等级 (B)的百分比设置为预定值。在过度膝光校正中，通过检查辉度直 方图中白等级(W)的百分比检测过度曝光部分，并且设置短曝光啄 光时段，从而可以将白等级(W)的百分比设置为预定值。 步骤ST5:啄光控制处理控制单元10使用在上述的曝光校正处理中确定的目标辉度累积值和短啄光膝光时段执行膝光控制处理。如下设置用于曝光不足校正的长曝光光量。首先，基于初始值检测单元6的当前辉度累积值和在 上述的膝光校正处理中设置的目标辉度累积值之间的差，计算设置包 括在预处理单元3内的光圏la的光團比例、图像拾取设备单元2的 长曝光膝光时段和PGA (可编程增益放大器)的增益所需的控制量。 随后，控制单元10使得光学部件驱动单元8驱动光圏la，将关于长 曝光膝光时段的信息传输到定时产生器7，并且将关于PGA的增益的 信息传输到预处理单元3。可以不执行所有这三种控制处理操作。可 以执行它们中的一个或两个。在用于过度曝光校正的短曝光光量的情 况下，控制单元10将关于在上述曝光校正处理中设置的短曝光时段 的信息传输到定时产生器7，以便改变图像拾取设备单元2的短曝光 时段，从而可以获得必需的啄光光量。光團la的光團比例和PGA的 增益也影响短曝光光量。然而，长曝光图像信号是组合图像信号中的 主导成分。因此，将光圏la的光團比例和PGA的增益用于长曝光光 量的校正。应当注意，可以将光圏la的光圏比例和PGA的增益用于 短曝光光量的校正。 4.曝光校正处理将参考图7、 8和9详细描述在图4中所示的步骤ST4中执行的 曝光校正处理。在步骤ST4的曝光校正处理中，在一场的时段内执行 图7所示的处理。即，在步骤FIO,控制单元IO检查辉度直方图，以 便检测是否发生曝光不足。在步骤F20，控制单元IO确定目标辉度累 积值Yt。从而在步骤F10和F20执行曝光不足校正。在步骤F50，控 制单元10检查辉度直方图，以便检测是否发生过度曝光。在步骤F60, 控制单元10确定短曝光时段Tt。从而在步骤F50和F60执行过度曝 光校正。图8示出了在步骤F10和F20中执行的曝光不足校正。作为步 骤FIO中的从辉度直方图中检测是否发生曝光不足的处理，执行步骤 F101和F102的处理操作。作为步骤F20中的确定目标辉度累积值 Yt的处理，执行步骤F201、 202和203的处理操作。即，首先在步骤F101中，控制单元10确定辉度直方图中的黑等级(B)的百分比是 否等于或大于10%。如果黑等级(B)的百分比等于或大于10%,控 制单元10确定组合图像信号中发生曝光不足。随后，处理进入步骤 F201，其中控制单元10通过将固定值Cy增加到当前目标辉度累积值 Yt以便增加曝光光量，更新目标辉度累积值Yt。在另一方面，如果 黑等级(B)的百分比小于10%,在步骤F102,控制单元10确定黑 等级(B)的百分比是否等于或小于5%。如果黑等级(B)的百分比 等于或小于5%，处理进入步骤F202，其中控制单元10通过从当前 目标辉度累积值Yt中减去固定值Cy以便减少曝光光量，更新目标辉 度累积值Yt。在另一方面，如果黑等级(B)的百分比不等于或小于 5%，即，在5%到10%的范围内，确定设置了适合的曝光光量。随 后，处理进入步骤F203，其中保持当前目标辉度累积值Yt。图9示出了在图7所示的步骤F50和F60中执行的过度啄光校 正。作为步骤F50中的从辉度直方图检测是否发生过度曝光的处理， 执行步骤F501和F502的处理操作。作为步骤F60中的确定短曝光时 段Tt的处理，执行步骤F601、 F602和F603的处理操作。即，首先 在步骤F501，控制单元10确定白等级(W)的百分比是否等于或大 于10%。如果白等级(W)的百分比等于或大于10%，控制单元IO 确定组合图像信号中发生过度曝光。随后，处理进入步骤F601,其中 控制单元10以通过从当前短曝光时段Tt中减去固定值Ct以便减少 啄光光量而获得的值，更新短膝光时段Tt。在另一方面，如果白等级 (W)的百分比低于10% ，在步骤F502中，控制单元IO确定白等级 (W)的百分比是否等于或低于5%。如果白等级(W)的百分比等 于或低于5%,处理进入步骤F602，其中控制单元10以通过将固定 值Ct增加到当前短曝光时段Tt以便增加曝光光量而获得的值更新 短曝光时段Tt。在另一方面，如果在步骤F502确定白等级(W)的 百分比不等于或不低于5%，即，在5%到10%的范围内，确定设置 了适合的曝光光量。随后，处理进入步骤F603,其中保持当前短曝光 时段Tt。因此，确定目标辉度累积值Yt和短啄光时段Tt。如前所述，使 用目标辉度累积值Yt和短曝光时段Tt,在图4所示的步骤ST5中执 行曝光控制处理。在每个场时段内重复图4所示的包括曝光校正处理 (ST4)和膝光控制处理(ST5)的处理。从而，设置防止组合图像 信号中出现曝光不足和过度啄光的曝光条件，如图8和9中所示，使 用当前目标辉度累积值和一个固定值计算并且然后设置新的目标累 积值，并且使用当前短曝光时段和一个固定值计算并且然后设置新的 短曝光时段。从而，在逐渐改变曝光光量的同时控制组合图像信号的 辉度等级。5.曝光校正处理的另一个例子在参考图7所述的曝光校正处理中，在每个场时段内执行用于消 除曝光不足部分的曝光校正和用于消除过度曝光部分的啄光校正两 者。然而，可以在每个场时段内仅执行它们中的一个。即，可以不在 一场时段内同时执行用于消除曝光不足部分的曝光校正和用于消除 过度曝光部分的曝光校正两者。图lO和ll中示出了这种情况。图10示出了确定是否已经稳定地执行了用于消除曝光不足部分 的曝光校正，当未稳定地执行时，执行消除曝光不足部分的膝光校正， 并且当已经稳定地执行时，执行消除过度爆光部分的曝光校正的曝光 校正处理(在图4所示的步骤ST4中执行的处理)。在图4所示的步 骤ST4中，开始曝光校正处理。随后，在图IO所示的步骤FOO中， 控制单元10存储当前目标辉度累积值。即，控制单元10存储在前一 场时段内设置的目标辉度累积值Yt作为前一个目标辉度累积值Yo。 在步骤F10和F20，执行参考图8所述的曝光不足校正，从而确定目 标辉度累积值Yt。在步骤F30,控制单元10确定目标辉度累积值Yt是否与前一个 目标辉度累积值Yo相同。例如，在步骤F20,如果处理进入图8所 示的步骤F203,目标辉度累积值Yt与前一个目标辉度累积值Yo相 同。在另一方面，在步骤F20,如果处理进入图8所示的步骤F201 或F202，目标辉度累积值Yt不同于前一个目标辉度累积值Yo。如果在步骤F30确定目标辉度累积值Yt不同于前一个目标辉度累积值 Yo，控制单元10终止膝光校正处理。即，处理进入图4所示的步骤 ST5，其中执行曝光控制处理而不执行曝光校正处理。在该情况下， 在步骤ST5的曝光控制处理中，控制单元10使用目标辉度累积值Yt 和当前辉度累积值控制长曝光光量，并且不控制短曝光光量。在另一方面，在图10所示的步骤F30中，如果确定目标辉度累 积值Yt与前一个目标辉度累积值Yo相同，控制单元10在步骤F50 和F60执行，例如，参考图9所述的过度膝光校正处理，从而确定短 曝光时段Tt。随后，处理进入图4所示的步骤ST5，其中执行瀑光控 制处理。在该情况下，在步骤ST5中的曝光控制处理中，控制单元 10使用短曝光时段Tt控制短曝光光量，并且不控制长曝光光量。因此，如果在图4所示的步骤ST4中执行图IO所示的处理，首 先，在每场时段内执行长曝光光量的校正。在适当地校正长曝光光量 之后，执行短曝光光量的校正。如果未适合地校正长曝光光量，执行 长曝光光量的校正，直到长膝光光量会聚到适合的长曝光光量为止。 在该情况下，不同时执行曝光不足校正和过度曝光校正(在同一场时 段内)。从而，逐渐地改变输出图像的辉度等级。图11示出了从图10所示的处理发展而来的处理，即，使用计数 器执行计数曝光不足校正次数，并且基于计数结果每N (正数)次执 行过度曝光校正，以便更快地获得不包括曝光不足部分和过度啄光部 分的输出图像的处理。参考图11，已经参考图IO描述了步骤FOO、 FIO、 F20、 F30、 F50和F60,并且步骤F40、 F41和F42是新增加的。 如果控制单元10在步骤F30确定当前目标辉度累积值Yt不同于前一 个目标辉度累积值Yo，控制单元10在步骤F40增加一个内部计数器。 在步骤F41，控制单元IO确定计数值是否超过预定值N。如果在步骤 F41确定计数值未超过预定值N，控制单元10终止曝光校正处理。在 另一方面，如果在步骤F41确定计数值超过了预定值N，控制单元10 在步骤F42将计数器重置为0，并且在步骤F50和F60执行过度曝光 校正。通过执行图11中所示的这个处理，即使长曝光光量不稳定，在N场时段中连续地执行长曝光光量的校正，并且然后执行短膝光光 量的校正。即，在经过N场时段之后自动地执行过度曝光校正。因此， 即使花费长的时间完成曝光不足校正，也可以防止不能开始过度曝光 校正的情况。6.曝光不足校正的另一个例子作为在图4所示的步骤ST4中执行的曝光校正处理中所包括的 瀑光不足校正(图7、 10或11所示的步骤F10和F20 )的例子，已 经描述了图8所示的处理。将参考图12和13描述膝光不足校正的另 一个例子。在图12所示的膝光不足校正中，还将辉度直方图的中间辉度等 级用于设置目标辉度累积值Yt。参考图12，在步骤F100，控制单元 IO确定在辉度直方图中Ml等级的百分比是否等于或低于40%。 Ml 等级相应于mbl、 mb2和mb3等级(即，中间辉度等级的较低辉度 侧)。即，确定mbl、 mb2和mb3等级的总百分比是否超过400/0。 如果当拍摄的图像中的M1等级-它是中间辉度等级-的百分比高时 执行膝光不足校正，可能会重新发生过度曝光。因此，在该情况下， 不执行校正。即，如果Ml等级的百分比超过40%，处理进入步骤 F203，其中保持目标辉度累积值Yt。在另一方面，如果M1等级的百 分比等于或低于40%，处理进入步骤FIOI。已经参考图8描述了步 骤FIOI、 F102、 F201、 F202和F203。通过执4亍图12所示的这个处 理，可以防止由于曝光不足校正重新出现过度曝光的情况。图13示出了膝光不足校正的再一个例子。在图13所示的这个例 子中，首先在步骤FllO，控制单元10获得辉度直方图中黑等级(B) 的百分比(X。/。)。在步骤Flll，控制单元10计算将黑等级(B)的 百分比从X。/。改变为7。/。所需的辉度累积差值AS。辉度累积差值AS 是将黑等级(B )的百分比从X %改变为7 %所需的用于目标辉度累积 值Yt的校正值，并且被使用函数F根据黑等级(B )的百分比(X% ) 获得。百分比7。/。是黑等级(B)的适合的百分比的示例设置值。随 后，在步骤F112，控制单元10以通过将辉度累积差值AS增加到当前目标辉度累积值Yt而获得的值更新目标辉度累积值Yt。如前所述，通过作为用于目标辉度累积值Yt的会聚的差值计算 辉度累积差值AS，并且设置通过使用当前目标辉度累积值Yt和辉度 累积差值AS执行计算而获得的新目标辉度累积值Yt，可以获得以单 个处理操作会聚的目标辉度累积值Yt。从而，可以加速膝光不足校正。 7.过度曝光校正的另一个例子作为在图4所示的步骤ST4执行的曝光校正处理中所包括的过 度曝光校正(图7、 10或11中所示的步骤F50和F60)的例子，已 经描述了图9所示的处理。将参考图14和15描述膝光不足校正的另 一个例子。在图14所示的过度曝光校正中，还将辉度直方图的中间辉度等 级用于设置短爆光时段Tt。参考图14，在步骤F500中，控制单元IO 确定在辉度直方图中M2等级的百分比是否等于或低于40。/。。 M2等 级相应于mwl、mw2和mw3等级(即，中间辉度等级的较高辉度侧)。 即，确定mwl、 mw2和mw3等级的总百分比是否超过40%。如果当 拍摄的图像中的M2等级-它是中间辉度等级 一的百分比高时执行过 度曝光校正，可能会重新发生曝光不足。因此，在该情况下，不执行 校正。即，如果M2等级的百分比超过40% ,处理进入步骤F603, 其中保持短曝光时段Tt。在另一方面，如果M2等级的百分比等于或 低于40 % ,处理进入步骤F501 。已经参考图9描述了步骤F501 、F502、 F601、 F602和F603。通过执4亍图14所示的这个处理，可以防止由于 过度曝光校正重新出现曝光不足的情况。图15示出了过度膝光校正的再一个例子。在图15所示的这个例 子中，首先在步骤F510，控制单元10获得辉度直方图中白等级(W) 的百分比(X。/。)。在步骤F511,控制单元IO计算将白等级(W) 的百分比从X。/。改变为7%所需的短曝光时段差值AT。短曝光时段差 值AT是将白等级(W)的百分比从X。/。改变为7%所需的用于短曝 光时段Tt的校正值，并且被使用函数F根据白等级(W)的百分比 (X%)获得。百分比7%是白等级(W)的适合的百分比的示例设置值。随后，在步骤F512，控制单元10以通过将短爆光时段差值AT 增加到当前短曝光时段Tt而获得的值更新短曝光时段Tt。如前所述，通过作为用于短曝光时段Tt的会聚的差值计算短啄 光时段差值AT，并且设置通过使用当前短曝光时段Tt和短膝光时段 差值AT执行计算而获得的新短曝光时段Tt，可以获得以单个处理操 作会聚的短曝光时段Tt。从而，可以加速过度啄光校正。8.实施例和程序的效果根据本发明的实施例，使用组合图像的辉度累积值和辉度直方图 确定组合图像中是否包括过度曝光部分和曝光不足部分。如果确定组 合图像中包括过度膝光部分和膝光不足部分，执行自动曝光控制以便 消除这些部分。因此，可以改进组合图4象的图像质量。即，可以改进 输出到监视显示器的图像的质量。用户可以感觉到显示在监视显示器 上的图像的质量的改进。选择宽动态范围照相机的重要因素不仅在于 动态范围的数值，而且在于最终图像的质量。因此，优化最终图像的能力对于宽动态范围照相机来说是一大优势。另外，在根据本发明的实施例的曝光校正控制方法的情况下，对 宽动态范围照相机中所包括的由信号处理单元4执行的用于产生组合 图像的信号组合方法的依赖性极弱，并且因此可以使用各种类型的信 号处理单元。另外，对信号组合时间(每一场或两场获得具有两个不 同曝光光量的图像)的依赖性也是弱的。因此，减小了对整个装置的 依赖性，并且因此可以将根据本发明的实施例的曝光校正控制方法应 用于更多的宽动态范围照相机系统。另外，检测单元6处理组合图像 信号。即，仅需要一个检测单元，并且不必为长曝光图像信号和短曝 光图像信号中的每一个有一个检测单元。结果，可以实现装置的简化。本发明的实施例可以应用于用于拍摄运动图像的照相机系统。然 而，本发明的实施例可以应用于用于拍摄静止图像的照相机系统。即 使在拍摄静止图像的情况下，可以在执行图像拍摄之前的监视过程 中，在每场时段内执行上述的曝光校正控制。例如，如果使用逐行扫 描方法执行图像拍摄，可以认为在每场时段内执行的上述处理是在每帧时段内执行的处理。不管使用的扫描方法如何，不言而喻的是图像 信号的单位时段可以被不同地认为是一场时段、 一帧时段、多场时段 和多帧时段。例如，可以考虑一种示例的情况，其中每几帧时段执行 检测处理、曝光校正处理和曝光控制处理。根据本发明的实施例的程序是相应于由控制单元10执行的处理的程序。即，根据本发明的实施例的程序是使得控制单元io-它是微型计算机(处理器)-执行图7到15所示的各种处理的程序。这种 程序可以事先记录在作为包括在例如个人计算机或图像拾取装置内 的记录介质的HDD上，或事先记录在包括在具有CPU的微型计算机 内的ROM或闪存内。可替换地，该程序可以临时或永久地存储(记 录)在可移动记录介质上，诸如柔性盘、CD-ROM (压缩盘只读存 储器)、MO (磁光)盘、DVD (数字通用盘)、蓝光盘、磁盘、半 导体存储器或存储器卡。这种可移动记录介质可以作为打包软件获 得。可以将根据本发明的实施例的程序从可移动记录介质安装到个人 计算机上，或可以通过网络诸如LAN (局域网)或Internet从下载站 点传输到个人计算机。本领域的技术人员应当理解，根据设计需要和其它因素，可以出 现各种修改、组合、子组合和替换，只要它们落在所附权利要求或其 等同物的范围内。
权利要求
1.一种图像拾取装置，包括图像拾取单元，其配置为根据入射光产生长曝光图像信号和短曝光图像信号，并且作为图像拾取信号输出该长曝光图像信号和短曝光图像信号，通过相对长时间的曝光产生所述长曝光图像信号，并且通过相对短时间的曝光产生所述短曝光图像信号；信号处理单元，其配置为通过组合所述长曝光图像信号和所述短曝光图像信号产生组合图像信号，该组合图像信号具有比所述长曝光图像信号和所述短曝光图像信号中的至少任意一个的动态范围相对宽的动态范围；检测单元，其配置为获得所述组合图像信号的辉度累积值，并且产生所述组合图像信号的辉度直方图；以及控制单元，其配置为使用所述辉度累积值和所述辉度直方图，为所述图像拾取单元执行曝光校正控制。
2. 如权利要求1的图像拾取装置，其中所述控制单元使用所述辉 度直方图检测所述组合图像信号中曝光不足的出现，基于该检测结果 设置目标辉度累积值，并且使用该目标辉度累积值为所述图像拾取单 元执行曝光校正控制。
3. 如权利要求2的图像拾取装置，其中所述控制单元使用所述目 标辉度累积值，对由所述图像拾取单元产生的长曝光图像信号执行曝 光校正控制。
4. 如权利要求3的图像拾取装置，其中所述控制单元对所迷长曝 光图像信号执行光圏校正、长曝光时段校正、或增益校正，作为对所 述长曝光图像信号的曝光校正控制。
5. 如权利要求1的图像拾取装置，其中控制单元使用所述辉度直 方图检测所述组合图像信号中过度膝光的出现，基于该检测结果设置 短曝光时段，并且使用该短曝光时段对由所述图像拾取单元产生的短 膝光图像信号执行膝光校正控制。
6. 如权利要求1的图像拾取装置，其中所述控制单元在每个图像 信号单位时段内执行用于消除曝光不足部分的曝光校正控制和用于消除过度曝光部分的曝光校正控制两者。
7. 如权利要求1的图像拾取装置，所述控制单元在每个图像信号 单位时段内执行用于消除啄光不足部分的膝光校正控制和用于消除 过度曝光部分的曝光校正控制中的任意一个。
8. 如权利要求7的图像拾取装置，其中所述控制单元确定是否在 每个图像信号单位时段内稳定地执行了用于消除啄光不足部分的曝 光校正操作，当确定未稳定地执行所述曝光校正操作时，执行用于消 除曝光不足部分的膝光校正控制，并且当确定已经稳定地执行了所述 曝光校正操作时，执行所述用于消除过度曝光部分的膝光校正控制。
9. 如权利要求7的图像拾取装置，其中所述控制单元计数执行用 于消除曝光不足部分的曝光校正控制的次数，并且当所述计数的次数 超过预定数目时，执行所述用于消除过度曝光部分的曝光校正控制。
10. 如权利要求2的图像拾取装置，其中所述控制单元通过使用 当前目标辉度累积值和固定值执行计算，设置新的目标辉度累积值。
11. 如权利要求2的图像拾取装置，其中所述控制单元计算与目 标辉度累积值的会聚目标值的差值，并且通过使用所述当前目标辉度 累积值和该差值执行计算，设置新的目标辉度累积值。
12. 如权利要求2的图像拾取装置，其中所述检测单元生成通过至少将辉度等级分类为黑等级、中间 等级或白等级来表示辉度分布的信息，作为所述辉度直方图，并且所述控制单元使用关于所述中间等级的辉度分布信息设置所迷 目标辉度累积值。
13. 如权利要求5的图像拾取装置，其中所述控制单元通过使用 当前短曝光时段和固定值执行计算，设置新的短曝光时段。
14. 如权利要求5的图像拾取装置，其中所述控制单元计算与所 述短膝光时段的会聚目标值的差值，并且通过使用所述当前短曝光时 段和该差值执行计算，设置新的短曝光时段。
15. 如权利要求5的图像拾取装置，其中所述检测单元生成通过至少将辉度等级分类为黑等级、中间 等级或白等级来表示辉度分布的信息，作为所述辉度直方图，并且其中所述控制单元使用关于所述中间等级的辉度分布信息设置 所述短曝光时段。
16. —种图像拾取方法，包括步骤根据传输自对象的入射光，通过相对长时段的啄光产生长曝光图 像信号，并且通过相对短时段的曝光产生短曝光图像信号，以便输出 所述长曝光图像信号和所述短膝光图像信号作为图像拾取信号；通过组合所述长膝光图像信号和所述短膝光图像信号产生组合 图像信号，所述组合图像信号具有比所述长曝光图像信号和所述短啄 光图像信号中的至少任意一个的动态范围相对宽的动态范围；获得所述组合图像信号的辉度累积值，并且产生所述组合图像信 号的辉度直方图；和使用所述辉度累积值和所述辉度直方图执行啄光校正控制。
17. —种用于图像拾取装置的曝光校正方法，所述图像拾取装置 通过相对长时段的膝光获得长曝光图像信号，并且通过相对短时段的 曝光获得短曝光图像信号，通过组合所述长曝光图像信号和所述短爆 光图像信号，产生具有比所述长曝光图像信号和所述短啄光图像信号 中的至少任意一个的动态范围相对宽的动态范围的组合图像信号，以 及输出产生的组合图像信号，该啄光校正方法包括步骤获得所述组合图像信号的辉度累积值，并且产生所述组合图像信 号的辉度直方图；根据所述辉度直方图检测所述组合图像信号中膝光不足的出现； 基于出现曝光不足的检测结果，设置目标辉度累积值； 根据所述辉度直方图，检测所述组合图像信号中过度曝光的出现；基于出现过度曝光的检测结果，设置短曝光时段；以及 使用所述目标辉度累积值和所述短曝光时段，执行曝光校正控制。
18.—种使得图像拾取装置执行曝光校正的程序，所述图像拾取 装置配置为通过相对长时段的膝光获得长曝光图像信号，并且通过相 对短时段的膝光获得短膝光图像信号，通过组合所述长曝光图像信号 和所述短瀑光图像信号，产生具有比所述长曝光图像信号和所述短膝 光图像信号中的至少任意一个的动态范围相对宽的动态范围的组合 图像信号，以及输出产生的组合图像信号，该曝光校正包括步骤获得所述组合图像信号的辉度累积值，并且产生所述组合图像信 号的辉度直方图；根据所述辉度直方图，检测所述组合图像信号中曝光不足的出现；基于出现曝光不足的检测结果，设置目标辉度累积值； 根据所述辉度直方图，检测所述组合图像信号中过度曝光的出现；基于出现过度曝光的检测结果，设置短曝光时段；以及 使用所述目标辉度累积值和所述短曝光时段，执行曝光校正控制。
全文摘要
一种图像拾取装置，包括图像拾取单元，配置为根据入射光产生长曝光图像信号和短曝光图像信号，并且作为图像拾取信号输出产生的信号，通过相对长时间的曝光产生长曝光图像信号，并且通过相对短时间的曝光产生短曝光图像信号；信号处理单元，配置为通过组合长曝光图像信号和短曝光图像信号产生组合图像信号，组合图像信号具有比长曝光图像信号和短曝光图像信号中的至少任意一个相对宽的动态范围；检测单元，配置为获得组合图像信号的辉度累积值和辉度直方图；以及控制单元，配置为使用辉度累积值和辉度直方图执行曝光校正控制。
文档编号H04N5/353GK101267504SQ20081008324
公开日2008年9月17日 申请日期2008年3月4日 优先权日2007年3月14日
发明者游马晃 申请人:索尼株式会社