成像设备、成像处理方法及成像控制程序的制作方法

专利名称：成像设备、成像处理方法及成像控制程序的制作方法
技术领域：
1本发明涉及一种成像设备、成像方法及成像控制程序，它们通过合成 长曝光时间信号和短曝光时间信号而产生具有宽动态范围的合成图像信
号
背景技术：
2在使用例如CCD (电荷耦合器件)等固态成像装置的成像装置的相关 技术领域中，输入到成像装置中的光量受到光圈和电子快门速度的调节。 也就是说，在拍摄亮场景时为了防止出现由输出信号的饱和所引起的所谓 的曝光过度，减小曝光量。相反，在拍摄暗场景时为了防止出现所谓的曝 光不足，增大曝光量。
3然而，当拍摄在照明方面具有较大差别的场景时(例如背光拍摄、同 时拍摄室内和室外)，存在的问题在于难以合适地重现亮部和暗部两者。 这是因为出于使用的固态成像装置缺乏动态范围的原因而仅仅调节曝光量 从而由于饱和而在亮部出现曝光过度，在暗部出现曝光不足。4为了解决该问题，例如在日本未审査专利申请公开No.06-141229 (对 应于USP5455621)中公开了下述方法。在此方法中，在一个场上使用了 两种不同的电子快门速度，或者对于每一个场而变化电子快门速度，以分 别捕获亮区的信息和暗区的信息，并且所获得的各块信息被合成为一幅图 像。
5而且，作为上述申请的应用，存在一种能够拍摄具有宽动态范围的图 像的装置(宽动态范围照相机)。例如在日本未审查专利申请公开 No.2002-84449和2004-120205 (对应于US公开2006-033823A1)中公开
了提高合成图像质量的设备和方法。
6一般地，如图13A所示，成像装置的特征在于输出电压在对应于入射
5光量的某一水平饱和。如图13B所示，在整个屏幕中各个像素的饱和度不 同。从而，在屏幕上出现视频看起来不均匀的问题。
7如果通过合成长曝光时间信号和短曝光时间信号而加宽动态范围，其 中如图13C所示，每个像素的饱和度不同，那么所合成信号的饱和度不均 匀不仅出现在短曝光时间信号造成的高亮度侧，而且出现在长曝光时间信 号造成的中亮度区域，如图13D所示。
8对于减小饱和度不均匀的方法，下列方法是可行的。其中一种方法是 对成像装置的输出峰值进行裁剪(clip)，然后执行AD (模数)转换。另 一种方法是降低受到模数转换的上极限值以使其低于出现饱和度不均匀的 电平。还有另一方法是裁剪该信号，使其在模数转换后不低于数字信号的 某一电平。
9例如，日本未审査专利申请公开No. 09-200621公开了一种固态成像 设备，其通过使用一个固态成像装置而廉价、饱和度不均匀小、并且具有 宽动态范围。在此成像设备中，以通常速度n倍(n是大于等于2的整 数)的速度驱动固态成像装置，在一个场中提供n个快门脉冲以精细地控 制，从而获得具有连续梯度的图像输出，该图像输出经过白电平裁剪然后 存储在n个场存储器中，该图像输出与垂直同步脉冲VD同步然后由加法 器求和从而输出。
10而且，日本专利No. 3642245 (对应于US6972800)公开了一种固态 成像设备，其中，对于两种视频信号的合成部分的梯度进行改进如下。该 固态成像设备通过同步两种具有不同曝光量的视频信号而加宽动态范围， 具有将长曝光时间信号和短曝光时间信号的增益设定成具有不同值以及将 长曝光信号的拐点和短曝光信号的拐点设定成具有不同值的功能。该固态 成像设备通过合成长曝光时间信号和短曝光时间信号而加宽动态范围，将 长曝光信号的拐点设定成低于作为合成电平的预定亮度电平，并且将短曝 光信号的拐点设定成高于作为合成电平的预定亮度电平。

发明内容
11然而，在通过合成长曝光时间信号和短曝光时间信号而加宽动态范围的成像设备中，存在的问题在于其难以完全消除由于仅使用峰值裁剪处理 而在中亮度部分产生的饱和度不均匀的现象。在一个垂直同步周期内执行 两次曝光的这种成像装置内，短曝光时间需要包括在垂直消隐周期内。从 而，如果假定长曝光时间用作最长的，那么长曝光时间对短曝光时间的比
率将变成约20倍或以上。因此，从同一光量获得的成像装置输出信号量 会由于曝光比率而不同，从而短曝光时间信号具有低于曝光比率的S/N 比。
12而且，如果通过将重点放在使更高电平的长曝光时间信号和更低电平 的短曝光信号的梯度平滑的特性上，存在的问题在于在短曝光时间信号的 低亮度部分处的SN下降变得突出，并且在中亮度部分出现饱和度不均 匀，因为短曝光时间信号的暗部变成中亮度部分的输出电平。
13因此，考虑迄今为止的上述情形，希望一种成像设备，其通过合成长 曝光信号和短曝光信号而加宽动态范围，以获得具有宽动态范围的合成图 像信号，使得长曝光时间信号的高亮度部分的饱和度不均匀以及短曝光时 间信号的低亮度部分的亮度信号和色彩信号的噪声变得不突出。
14而且，通过参照本发明的实施例进行的下列说明，本发明所获得的具 体优点将变得更为明显。
15在本发明中， 一种成像装置获得具有长曝光时间段的长曝光时间图像 信号和具有短曝光时间段的短曝光时间图像信号，其中长曝光时间段是相 对较长的曝光时间，短曝光时间段是相对较短的曝光时间，并且对从长曝 光时间图像信号获得的亮度信号中不低于第一信号电平的部分和从短曝光 图像信号获得的亮度信号中不高于第二信号电平的部分裁剪。接着，通过 将已经分别经过裁剪处理的长曝光时间图像信号和短曝光时间图像信号合 成而获得合成图像信号，该合成图像信号具有比长曝光时间图像信号和短 曝光时间图像信号的动态范围都宽的动态范围。
16也就是说，根据本发明的实施例，提供一种成像设备，包括成像装 置，其在单位时间段内输出具有长曝光时间段的长曝光时间图像信号和具 有短曝光时间段的短曝光时间图像信号，所述长曝光时间段是相对较长的 曝光时间，所述短曝光时间段是相对较短的曝光时间；第一裁剪处理装置，其用于把从所述长曝光时间图像信号获得的亮度信号中不低于第一信
号电平的部分裁剪；第二裁剪处理装置，其用于把从所述短曝光时间图像 信号获得的亮度信号中不高于第二信号电平的部分裁剪；以及信号处理装 置，其用于通过将已经由所述第一裁剪处理装置进行裁剪处理的所述长曝 光时间图像信号和己经由所述第二裁剪处理装置进行裁剪处理的所述短曝 光时间图像信号合成而产生合成图像信号，所述合成图像信号具有比长曝 光时间图像信号和所述短曝光时间图像信号的动态范围都宽的动态范围， 其中，所述第二信号电平不低于通过将所述第一信号电平除以所述长曝光 时间对所述短曝光时间的比率所获得的信号电平。17并且，根据本发明的另一实施例，提供一种控制成像的方法，包括下 列步骤对成像装置进行控制，使得在单位时间段内输出具有长曝光时间 段的长曝光时间图像信号和具有短曝光时间段的短曝光时间图像信号，所 述长曝光时间段是相对较长的曝光时间，所述短曝光时间段是相对较短的 曝光时间；把从所述长曝光时间图像信号获得的亮度信号中不低于第一信 号电平的部分裁剪；把从所述短曝光时间图像信号获得的亮度信号中不高 于第二信号电平的部分裁剪；以及合成被裁剪的所述长曝光时间图像信号 和被裁剪的所述短曝光时间图像信号，从而产生合成图像信号，所述合成 图像信号具有比所述长曝光时间图像信号和所述短曝光时间图像信号的动 态范围都宽的动态范围，其中，所述第二信号电平不低于通过将所述第一 信号电平除以所述长曝光时间对所述短曝光时间的比率所获得的信号电 平。
18而且，根据本发明的另一实施例，提供一种成像控制程序，其用于使 计算机执行控制成像的方法，该成像控制程序包括下列步骤对成像装置 进行控制，使得该成像设备在单位时间段内输出具有长曝光时间段的长曝 光时间图像信号和具有短曝光时间段的短曝光时间图像信号，所述长曝光 时间段是相对较长的曝光时间，所述短曝光时间段是相对较短的曝光时 间；把从所述长曝光时间图像信号获得的亮度信号中不低于第一信号电平 的部分裁剪；把从所述短曝光时间图像信号获得的亮度信号中不高于第二 信号电平的部分裁剪；以及合成被裁剪的所述长曝光时间图像信号和被裁剪的所述短曝光时间图像信号，从而产生合成图像信号，所述合成图像信 号具有比所述长曝光时间图像信号和所述短曝光时间图像信号的动态范围 都宽的动态范围，其中，所述第二信号电平不低于通过将所述第一信号电 平除以所述长曝光时间对所述短曝光时间的比率所获得的信号电平。
19通过本发明，在通过合成长曝光时间信号和短曝光时间信号而加宽动
态范围的成像设备中，把从长曝光时间图像信号获得的亮度信号中不低于 第一信号电平的部分和从短曝光图像信号获得的亮度信号中不高于第二信 号电平的部分裁剪。然后，通过将已经分别经过裁剪处理的长曝光时间图 像信号和短曝光时间图像信号合成而获得合成图像信号，所述合成图像信 号具有比长曝光时间图像信号和短曝光时间图像信号的动态范围都宽的动 态范围。从而，可以获得具有宽动态范围的合成图像信号，使得长曝光时 间信号的高亮度部分的饱和度不均匀以及短曝光时间信号的低亮度部分的 亮度信号和色彩信号的噪声变得不突出。
20也就是说，即使对短曝光时间信号的低亮度部分执行裁剪，长曝光时 间信号也具有与被裁剪的部分相对应的有效图像。从而，可以减小在具有 较宽动态范围的图像信号中将要损失的一部分图像。需要宽动态范围的拍 摄条件不会将成像装置自身的动态范围增加到原始动态范围的几倍，而是 用于在长曝光时间下有效的对象和短曝光时间下有效的对象之间的光量的 比率大于或等于10倍时进行拍摄。从而，几乎不会降低加宽动态范围的 效果。


21图l是示出具有应用本发明的构造的成像设备的构造的框图； 图2是成像设备中长曝光时间和短曝光时间的示意图； 图3是示出每一个水平同步周期从成像设备中的成像装置部分输出的 长曝光时间信号和短曝光时间信号的示意图4是示出成像装置部分获得的长曝光时间信号的示意图； 图5是示出成像装置部分获得的短曝光时间信号的示意图； 图6是成像设备中的长曝光时间信号和短曝光时间信号的合成处理的示意图7是示出在成像设备中执行裁剪处理的第一亮度信号处理部分的构 造的实例的框图8是示意性地示出成像设备中从定时发生器ll提供到图7示出的第 一亮度信号处理部分的曝光判定信号的框图9是示意性地示出图7中示出的第一亮度信号处理部分中裁剪电路 的操作的框图IO是示出具有应用本发明的构造的成像设备的另一构造的框图11是示意性地示出从成像设备中第一亮度信号处理部分提供到第 一色彩信号处理部分的控制信号的框图12是示意性地示出成像设备中在第一色彩信号处理部分中对长曝 光色彩信号和短曝光色彩信号的增益处理的框图13A、 13B、 13C和13D是示意性地示出通过将对于每个像素在饱 和电平方面不同的长曝光时间信号和短曝光时间信号合成而加宽动态范围 所造成的饱和度不均匀出现的情形。
具体实施例方式
22接下来，将参照附图给出本发明的实施例的详细说明。对此，本发明 不限于下列实例。不用说，在不偏离本发明的精神和范围的情形下可以得 到本发明的任何改进形式。
23本发明应用于具有例如图1所示的构造的成像设备10。
24成像设备IO包括成像光学系统1、成像装置部分2、预处理部分3、 YC分离部分4、第一亮度信号处理部分5Y、第一色彩信号处理部分5C、 延迟部分6Y、 6C、亮度信号合成部分7Y、色彩信号合成部分7C、第二 亮度信号处理部分8Y、第二色彩信号处理部分8C、输出部分9、定时发 生器11和控制部分12等。
25成像光学系统1包括光学部件，例如镜头、用于消除不需要波长的光 学滤镜、光圈等。来自于对象的入射光通过成像光学系统1中的各个光学 部件引导到成像装置2。
1026成像装置部分2包括固态成像装置，例如CCD传感器阵列、CMOS 传感器阵列等。成像装置部分2对于通过成像光学系统1引导的执行光电 转换，并输出电信号作为所拍摄图像。如图2所示，在成像设备10中， 成像装置部分2在一个垂直同步周期内执行长时间曝光和短时间曝光，并 通过时间分隔(time division)输出长曝光时间信号和短曝光时间信号。成 像装置部分2例如包括隔行传输类型的CCD图像传感器，其设置有两倍 于正常数目的垂直传输寄存器级(stage)。在成像装置部分2中，在每个 垂直同步周期的垂直消隐周期内，图像摄像电荷被两次从光电转换部分读 取到垂直传输寄存器。通过传输这种两次读取过程中读取到垂直传输寄存 器中的图像摄像电荷，在垂直有效周期即将开始之前，长曝光时间信号电 荷和短曝光时间信号电荷被布置在垂直传输寄存器中。通过以两倍速度驱 动水平传输级从而读出图像摄像电荷，如图3所示，输出一列长曝光时间 信号SL和短曝光时间信号Ss，例如依次输出第一列的长曝光时间信号电 荷和短曝光时间、第二列的长曝光时间信号电荷和短曝光时间，以及第三 列的长曝光时间信号电荷和短曝光时间。
27对此，成像装置部分2不限于由固态成像装置构成。例如，成像装置 部分2可具有例如使用例如图像摄像管的非固态成像装置的构造。在非固 态成像装置的情形中，也可以执行长时间曝光和短时间曝光，并且通过使 用机械快门、液晶快门等而改变正常曝光、长时间曝光和短时间曝光的曝 光时间。
28这里，将描述合成拍摄模式。
29在由通常使用的成像设备进行通常的拍摄操作时，难以处理从对象的 非常暗的部分到非常亮的部分的宽动态范围。例如，当在晴朗的白天时间 段内从室内往室外看而进行拍摄时，如果基于室内对象决定曝光，那么室 外对象就会曝光过度。相反，如果基于室外的部分决定曝光，那么室内对 象将会曝光不足。也就是说，如果对象的亮度具有显著的差异，将难以获 得与亮度的动态范围相对应的拍摄图像。
30相反，在合成拍摄模式的拍摄操作中，通过例如使用电子快门改变快 门速度并执行具有不同曝光时间段的多个图像的合成处理，从而获得具有
ii宽动态范围并且不会曝光过度和曝光不足的拍摄图像。
31这里，图2示出在一个垂直同步周期内的曝光时间和成像装置部分2
内存储的曝光量(电荷量)之间的关系。32图2示出在1/60秒的一个垂直同步周期期间，执行1/64秒的长时间
曝光和1/2000秒的短时间曝光的情形。对此，可控制长时间曝光和短时间
曝光而使其变化。
33通过执行长时间曝光和短时间曝光，在一个垂直同步周期内获得长曝 光时间信号SL和短曝光时间信号Ss。通过合成这两种图像信号，产生一 个场的图像数据。
34对此，在一个垂直同步周期内不需要执行长时间曝光和短时间曝光。 可以想到执行这样的处理使长时间曝光在某垂直同步周期内执行，然后 短时间曝光在下一垂直同步周期内执行，并将各个曝光图像信号合成。
35成像设备10的预处理部分3是所谓的模拟前端，并执行CDS (相关 双采样)处理、由可编程增益放大器进行增益处理、并且对从成像装置2 输出而作为拍摄图像的电信号进行A/D转换处理。接下来，预处理部分3 将已经经过上述处理的曝光图像信号供应到YC分离部分4。
36YC分离部分4分别将从预处理部分3供应的长曝光时间信号和短曝 光时间信号分离成长曝光时间亮度信号Yl、短曝光时间亮度信号Ys、长 曝光时间色彩信号C^和短曝光时间色彩信号Cs。接下来，已经由Yc分离 部分4分离的长曝光时间亮度信号YL和短曝光时间亮度信号Ys通过时间 分隔依次供应到第一亮度信号处理部分5Y。而且，长曝光时间色彩信号 CL和短曝光时间色彩信号Cs通过时间分隔依次供应到第一色彩信号处理 部分5C。
37在由Yc分离部分4通过时间分隔依次供应的长曝光时间亮度信号Yl 和短曝光时间亮度信号Ys被合成之前，第一亮度信号处理部分5Y进行增 益处理，这使短曝光时间亮度信号Ys与长曝光时间亮度信号YL的亮度电 平匹配，等等。已经由第一亮度信号处理部分5Y进行信号处理的长曝光 时间亮度信号YL和短曝光时间亮度信号Ys被直接供应到亮度信号合成部 分7Y，并且同时通过延迟部分6Y供应到亮度信号合成部分7Y以供同步。
38亮度信号合成部分7Y合成从第一亮度信号处理部分5Y直接供应的和 通过延迟部分6Y供应的长曝光时间亮度信号YL和短曝光时间亮度信号 Ys从而产生具有宽动态范围的亮度信号Yw。由亮度信号合成部分7Y所 合成的亮度信号Yw通过第二亮度信号处理部分8Y供应到输出部分9。
39第二亮度信号处理部分8Y对已经由亮度信号合成部分7Y合成并具有 宽动态范围的亮度信号Yw进行亮度信号处理，例如伽玛校正处理等。
40在由Yc分离部分4通过时间分隔依次供应的长曝光时间色彩信号Cl 和短曝光时间色彩信号Cs合成之前，第一色彩信号处理部分5C进行增益 处理，这使长曝光时间色彩信号CL和短曝光时间色彩信号Cs的信号电平 匹配，等等。已经由第一色彩信号处理部分5C进行信号处理的长曝光时 间色彩信号Q^和短曝光时间色彩信号Cs被直接供应到色彩信号合成部分 7C，并且同时通过延迟部分6C供应到色彩信号合成部分7C以供同步。
41色彩信号合成部分7C合成从第一色彩信号处理部分5C直接供应的和 通过延迟部分6C供应的长曝光时间色彩信号CL和短曝光时间色彩信号Cs 从而产生具有宽动态范围的色彩信号Cw。由色彩信号合成部分7C所产生 的色彩信号Cw通过第二色彩信号处理部分8C供应到输出部分9。
42第二色彩信号处理部分8C对已经由色彩信号合成部分7C合成并具有 宽动态范围的色彩信号Cw进行色彩信号处理，例如白平衡处理等。
43输出部分9执行处理以在监视器上显示，或执行处理以传输到外部设 备。输出部分9接收通过第二亮度信号处理部分8Y供应并且动态范围加 宽的亮度信号Yw和通过第二色彩信号处理部分8C供应并且动态范围加宽 的色彩信号Cw，并输出成像输出信号，所述成像输出信号已经被编码成 符合输出格式的视频信号。
44定时发生器11产生例如CCD图像传感器的成像装置2所需的操作脉 冲。定时发生器11产生各种脉冲，例如用于垂直传输的四相位脉冲、场 移位脉冲、用于水平传输的两相位脉冲、快门脉冲等，并将所述脉冲供应 到成像装置2。定时发生器11允许驱动成像装置2。通过从控制部分12 接收合成拍摄模式的指令，定时发生器11促使成像装置2执行如图2所示具有较长曝光时间的长时间曝光和具有较短曝光时间的短时间曝光。45而且，定时发生器11将曝光判定信号供应到第一亮度信号处理部分
5Y和第一色彩信号处理部分5C，该曝光判定信号在合成拍摄模式中将长
曝光时间段表示为高电平，将短曝光时间段表示为低电平。46控制部分12例如包括微型计算机并控制整个成像设备10的操作，该
微型计算机具有CPU (中央处理单元)、ROM (只读存储器)、RAM (随机存取存储器)和闪存等。控制部分12中的ROM存储执行控制处理
的成像控制程序，并执行上述各个控制必需的计算和控制处理。47在成像设备10中，第一亮度信号处理部分5Y对长曝光时间亮度信号
YL执行峰值裁剪处理以裁剪不低于信号电平LLP的信号电平从而给出图4
中示出的特性，该信号电平LLP低于产生饱和度信号电压变化的信号电
平。而且，第一亮度信号处理部分5Y对短曝光时间亮度信号Ys执行峰值 裁剪处理以裁剪不低于信号电平LSP的信号电平并执行暗部裁剪处理以裁 剪不高于某一值LsD的信号，从而给出图5中示出的特性，该信号电平Lsp 低于产生饱和度信号电压变化的信号电平。
48对短曝光时间亮度信号Ys执行的暗部裁剪处理的裁剪电平值Lsd没定 为如下
49LSD>LLP + (TL/TS)
50其中，长曝光时间是TL，短曝光时间是Ts。
51也就是说，对短曝光时间亮度信号Ys执行的暗部裁剪处理的裁剪电 平值LsD被确定为不低于下述信号电平该信号电平是通过用对长曝光时 间亮度信号yl执行的峰值裁剪的裁剪电平值LLP除以时间比率(Tl/Ts) 而获得的，所述时间比率是用于由成像装置部分2获得长曝光时间信号的 长曝光时间TL对用于获得短曝光时间信号的短曝光时间Ts的比率。
52下面，如图6所示，亮度信号合成部分7Y假定LlP=Lsd，并合成长 曝光时间亮度信号YL和短曝光时间亮度信号Ys从而产生具有宽动态范围 亮度信号Yw。
53也就是说，在成像设备10中，成像装置2在单位时间段内，获得具 有长曝光时间段的长曝光时间图像信号和具有短曝光时间段的短曝光时间图像信号，所述长曝光时间段是相对较长的曝光时间，所述短曝光时间段
是相对较短的曝光时间。第一亮度信号处理部分5Y执行峰值裁剪处理并
执行暗部裁剪处理，该峰值裁剪处理从由长曝光时间图像信号获得的亮度
信号YL裁剪不低于第一信号电平的部分，该暗部裁剪处理从由短曝光时
间图像信号Ys获得的亮度信号裁剪不高于第二信号电平的部分。对短曝 光时间亮度信号Ys执行的暗部裁剪处理的裁剪电平值LsD被确定为不低于 这样的信号电平该信号电平是通过将对长曝光时间亮度信号Y^执行的 峰值裁剪的裁剪电平值Lw除以时间比率(Tl/Ts)而获得的，该时间比率 (Tl/Ts)是由成像装置部分2用于获得长曝光时间信号的长曝光时间Tl 与用于获得短曝光时间Ts的比率。亮度信号合成部分7Y假定UP = LSD， 并合成长曝光时间亮度信号YL和短曝光时间亮度信号Ys从而产生具有宽 动态范围的亮度信号Yw。
54由此，在通过合成长曝光时间信号和短曝光时间信号而加宽动态范围 的成像设备10中，对从长曝光时间图像信号获得的亮度信号Yl的不低于 第一信号电平的部分和从短曝光图像信号获得的亮度信号Ys的不高于第 二信号电平的部分进行裁剪。接着，通过将已经分别经过裁剪处理的长曝 光时间图像信号和短曝光时间图像信号合成，而获得与长曝光时间图像信 号和短曝光时间图像信号相比具有较宽动态范围的合成图像信号。从而， 可以获得具有宽动态范围的合成图像信号，使得长曝光时间信号的高亮度 部分的饱和度不均匀以及短曝光时间信号的低亮度部分的亮度信号和色彩 信号的噪声变得不突出。
55也就是说，即使对短曝光时间信号的低亮度部分执行裁剪，长曝光时 间信号也具有与被裁剪的部分相对应的有效图像。从而，可以减小在具有 宽动态范围的图像信号中将要损失的一部分图像。需要宽动态范围的拍摄 条件不会将成像装置自身的动态范围增加到原始动态范围的几倍，而是在 长曝光时间下有效的对象和短曝光时间下有效的对象之间的光量的比率大 于或等于IO倍时进行拍摄。从而，几乎不会降低加宽动态范围的效果。
56这里，执行上述裁剪处理的第一亮度信号处理部分5Y具有第一裁剪 功能和第二裁剪功能，第一裁剪功能把从长曝光时间图像信号获得的亮度信号中不低于第一信号电平的部分裁剪，第二裁剪功能把从短曝光时间图 像信号获得的亮度信号中不高于第二信号电平的部分裁剪。例如，如图7 所示，可以由单个裁剪电路执行上述裁剪处理。
57图7中示出的第一亮度信号处理部分5Y包括裁剪电路50、切换电路 54、寄存器55和寄存器56，裁剪电路50对从输入端子51供应的亮度信 号执行裁剪处理并从输出端子52输出己经经过裁剪处理的亮度信号，切 换电路54受到来自于定时发生器11的从曝光判定输入端子53供应的曝光 判定信号的切换控制，寄存器55保持从控制部分12提供的短曝光时间裁 剪电平值，寄存器56保持从控制部分12提供的长曝光时间裁剪电平值。 保持在寄存器55和56中的各个裁剪电平值由切换电路54提供给裁剪电路 50。
58在第一亮度信号处理部分5Y中，切换电路54能在曝光判定输入端子 53处接收从定时发生器11供应的曝光判定信号，所述曝光判定信号将长 曝光时间段表示为高电平"H"，将短曝光时间段表示为低电平"L"，如 图8所示。从而，第一亮度信号处理部分5Y在曝光判定信号为低电平 "L"的短曝光时间段期间使寄存器55的值有效，而在曝光判定信号为高 电平"H"的长曝光时间段期间使寄存器56的值有效。
59裁剪电路50执行裁剪使得不高于输入电平U的部分具有输出电平 0A，并执行裁剪使得不低于输入电平lB的部分具有输出电平Ob，如图9 所示。通过将控制部分12提供到寄存器55的设定值确定为短曝光时间裁 剪电平值从而Ia二Esd并且Ib=Esp，并且通过将控制部分12提供到寄存 器56的设定值确定为短曝光时间裁剪电平值从而U二0并且Ib = ElP，可 以使长曝光时间信号Yl有圏4所示的特性，并可以使短曝光时间信号Ys 有图5所示。
60这里，在成像设备10中，第一色彩信号处理部分5C到第二色彩信号 处理部分8C以与由第一亮度信号处理部分5Y到第二亮度信号处理部分 8Y同样的方式来产生与亮度信号Yw对应的色彩信号Cw，所述亮度信号 具有宽动态范围并由第一亮度信号处理部分5Y到第二亮度信号处理部分 8Y产生。然而，在具有不高于短曝光时间亮度信号Ys的裁剪电平的区域
16中，通过由色彩信号合成部分7C合成色彩信号而不使用短曝光时间信号 CS，还可以使得低亮度部分的色彩信号的噪声更加不突出。
61图10是示出成像设备100构造的框图，其中已经作出改进，使得成 像设备10中低亮度部分的色彩信号的噪声更加不突出。
62在图10中示出的成像设备100中，与成像设备IO相同的部件分别标 以相应的附图标记，并且将省去其详细描述。
63在成像设备100中，允许第一亮度信号处理部分5Y将控制信号提供 给第一色彩信号处理部分5C。
64如图11所示，当短曝光时间亮度信号Ys不高于暗部裁剪电平时，控 制信号处于高电平"H"，反之则该信号处于低电平"L"。
65如图12所示，第一色彩信号处理部分5C依次接收排成一队的长曝光 时间色彩信号CL和短曝光时间色彩信号Cs。在长曝光时间段期间，与长 时间曝光对应的色彩信号增益应用于长曝光时间色彩信号Cl，同时从定时 发生器11供应的曝光判定信号是高电平"H"。而且，在短曝光时间段期 间，与短时间曝光对应的色彩信号增益应用于短曝光时间色彩信号Cs，同 时从定时发生器ll供应的曝光判定信号是低电平"L"。
66而且，在当第一亮度信号处理部分5Y提供的控制信号是高电平 "H"的时间段内，也就是在当短曝光时间亮度信号Ys不高于暗部裁剪电 平时的时间段内，第一色彩信号处理部分5C执行用于将应用于短曝光时 间色彩信号Cs的色彩信号增益改变为0的处理。
67由此，在短曝光时间亮度信号Ys不高于暗部裁剪电平的时候，通过 将应用于短曝光时间色彩信号Cs的色彩信号增益改变为0，可以获得合成 图像信号，其具有宽动态范围并且在低亮度部分中色彩信号的噪声变得更 为不突出。
68在成像设备10中，控制部分12由包括在控制部分12中的微型计算机 执行成像控制程序。在第一亮度信号处理部分5Y中短曝光时间亮度信号 Ys的裁剪电平不低于这样的信号电平该信号电平是将长曝光时间信号 yl的裁剪电平除以时间比率(Tl/Ts)而获得的，时间比率(Tl/Ts)是由 成像装置部分2用于获得长曝光时间信号的长曝光时间TL对用于获得短曝光时间信号的短曝光时间Ts的比率。在亮度信号合成部分7Y中，假定 Llp = Lsd，并合成已经分别经过裁剪处理的长曝光时间亮度信号和短曝光 时间亮度信号，从而在长曝光时间亮度信号的裁剪电平和短曝光时间亮度 信号的裁剪电平匹配的情形下产生具有宽动态范围的亮度信号。69而且，在成像设备10中，根据本发明的成像控制程序是由包括在控 制部分12中的微型计算机执行的成像控制程序。控制部分12由包括在控 制部分12中的微型计算机执行的成像控制程序。在第一亮度信号处理部 分5Y中短曝光时间亮度信号Ys的裁剪电平不低于这样的信号电平该信 号电平是将长曝光时间信号YL的裁剪电平除以时间比率(Tl/Ts)而获得 的，所述时间比率(Tl/Ts)是用于获得长曝光时间信号的长曝光时间Tl 对用于获得短曝光时间信号的短曝光时间Ts的比率。在亮度信号合成部分 7Y中，假定Ln> = LSD，并合成已经分别经过裁剪处理的长曝光时间亮度 信号和短曝光时间亮度信号，从而在长曝光时间亮度信号的裁剪电平和短 曝光时间亮度信号的裁剪电平匹配的情形下产生具有宽动态范围的亮度信 号。
70这种程序可以事先记录在作为记录媒体而包括在设备(例如个人计算 机、成像设备等)中的HDD中、具有CPU等的微型计算机中的ROM、 闪存等中。
71可选地，该程序可以临时或永久地存储(记录)在可取下的记录媒体
中，例如软盘、CD-ROM (光盘只读存储器)、MO (磁光盘)、DVD (数字多用光盘)、蓝光光盘、磁盘、半导体存储器、存储卡等。这种可
取下的记录媒体可以作为所谓的打包软件提供。72而且，除了可以从可取下的记录媒体安装到个人计算机，本发明的程
序还可以通过网络(例如LAN (局域网)、Internet等)从下载站点下载。
73上面，已经提供了实施例的描述。然而，在本发明中还可有多种变化 形式。
74例如，本发明可应用于拍摄运动图像的照相机系统。而且，本发明可 应用于拍摄静止图像的照相机系统。甚至在设定曝光模式的拍摄静止图像的情形中，上述曝光控制(短曝光时间的控制)也应该在每个场周期中执 行，例如在监视期间直到拍摄时间执行。而且，在例如通过非隔行扫描方 法拍摄一幅图像的情形下，上述"场周期处理"应该被当作"帧周期处 理"。当然，不是只有这种扫描方法，图像信号的单位时间段也可以是各 种周期，例如场周期、帧周期、多个场周期、多个帧周期。例如，可以想 到这样一种操作实例对于多个帧周期中的每一个都执行一次曝光控制处 理。
相关申请的交叉引用
75本发明包括2007年12月18日向日本专利局提交的日本专利申请 JP2007-326250的发明主题，在此通过引用引入其全部内容。
19
权利要求
1、一种成像设备，包括成像装置，其在单位时间段内输出具有长曝光时间段的长曝光时间图像信号和具有短曝光时间段的短曝光时间图像信号，所述长曝光时间段是相对较长的曝光时间，所述短曝光时间段是相对较短的曝光时间；第一裁剪处理装置，其用于把从所述长曝光时间图像信号获得的亮度信号中不低于第一信号电平的部分裁剪；第二裁剪处理装置，其用于把从所述短曝光时间图像信号获得的亮度信号中不高于第二信号电平的部分裁剪；以及信号处理装置，其用于通过将已经由所述第一裁剪处理装置进行裁剪处理的所述长曝光时间图像信号和已经由所述第二裁剪处理装置进行裁剪处理的所述短曝光时间图像信号进行合成而产生合成图像信号，所述合成图像信号具有比所述长曝光时间图像信号的动态范围和所述短曝光时间图像信号的动态范围都宽的动态范围，其中，所述第二信号电平不低于通过将所述第一信号电平除以所述长曝光时间对所述短曝光时间的时间比率所获得的信号电平。
2、 如权利要求1所述的成像设备，还包括色彩信号处理装置，其 用于通过合成来自于所述长曝光时间图像信号的色彩信号和来自于所述短 曝光时间图像信号的色彩信号而获得合成色彩信号，其中，所述色彩信号处理装置不使用所述短曝光时间图像信号，所述 所述短曝光时间图像信号具有的信号电平不高于所述第二裁剪处理装置对 短曝光时间亮度信号的裁剪电平。
3、 一种控制成像的方法，包括下列步骤:对成像装置进行控制，使得在单位时间段内输出具有长曝光时间段的 长曝光时间图像信号和具有短曝光时间段的短曝光时间图像信号，所述长 曝光时间段是相对较长的曝光时间，所述短曝光时间段是相对较短的曝光时间；把从所述长曝光时间图像信号获得的亮度信号中不低于第一信号电平的部分裁剪；把从所述短曝光时间图像信号获得的亮度信号中不高于第二信号电平 的部分裁剪；以及合成被裁剪的所述长曝光时间图像信号和被裁剪的所述短曝光时间图 像信号，从而产生合成图像信号，所述合成图像信号具有比所述长曝光时 间图像信号的动态范围和所述短曝光时间图像信号的动态范围都宽的动态 范围，其中，所述第二信号电平不低于通过将所述第一信号电平除以所述长 曝光时间对所述短曝光时间的时间比率所获得的信号电平。
4、 一种成像控制程序，其用于使计算机执行控制成像的方法，该成 像控制程序包括下列步骤对成像装置进行控制，使得该成像设备在单位时间段内输出具有长曝 光时间段的长曝光时间图像信号和具有短曝光时间段的短曝光时间图像信 号，所述长曝光时间段是相对较长的曝光时间，所述短曝光时间段是相对 较短的曝光时间；把从所述长曝光时间图像信号获得的亮度信号中不低于第一信号电平 的部分裁剪；把从所述短曝光时间图像信号获得的亮度信号中不高于第二信号电平 的部分裁剪；以及合成被裁剪的所述长曝光时间图像信号和被裁剪的所述短曝光时间图 像信号，从而产生合成图像信号，所述合成图像信号具有比所述长曝光时 间图像信号的动态范围和所述短曝光时间图像信号的动态范围都宽的动态 范围，其中，所述第二信号电平不低于通过将所述第一信号电平除以所述长 曝光时间对所述短曝光时间的时间比率所获得的信号电平。
5、 一种成像设备，包括成像装置，其在单位时间段内输出具有长曝光时间段的长曝光时间图 像信号和具有短曝光时间段的短曝光时间图像信号，所述长曝光时间段是 相对较长的曝光时间，所述短曝光时间段是相对较短的曝光时间；第一裁剪处理机构，其用于把从所述长曝光时间图像信号获得的亮度信号中不低于第一信号电平的部分裁剪；第二裁剪处理机构，其用于把从所述短曝光时间图像信号获得的亮度 信号中不高于第二信号电平的部分裁剪；以及信号处理机构，其用于通过将已经由所述第一裁剪处理机构进行裁剪 处理的所述长曝光时间图像信号和己经由所述第二裁剪处理机构进行裁剪 处理的所述短曝光时间图像信号合成，而产生合成图像信号，所述合成图 像信号具有比所述长曝光时间图像信号的动态范围和所述短曝光时间图像 信号的动态范围都宽的动态范围，其中，所述第二信号电平不低于通过将所述第一信号电平除以所述长 曝光时间对所述短曝光时间的比率所获得的信号电平。
全文摘要
本发明涉及成像设备、成像处理方法及成像控制程序。该成像设备包括成像装置，在单位时间段内输出长曝光时间图像信号和短曝光时间图像信号，长曝光时间段是相对较长的曝光时间，短曝光时间段是相对较短的曝光时间；第一裁剪处理机构，用于把从长曝光时间图像信号获得的亮度信号中不低于第一信号电平的部分裁剪；第二裁剪处理机构，用于把从短曝光时间图像信号获得的亮度信号中不高于第二信号电平的部分裁剪；信号处理机构，用于通过将已经进行裁剪处理的图像信号合成而产生具有比这两个图像信号的动态范围都宽的动态范围的合成图像信号，其中，第二信号电平不低于通过将第一信号电平除以长曝光时间对短曝光时间的比率所获得的信号电平。
文档编号H04N5/243GK101465966SQ20081018813
公开日2009年6月24日 申请日期2008年12月18日 优先权日2007年12月18日
发明者佐藤裕, 游马晃 申请人:索尼株式会社