图像拾取设备和图像拾取方法

专利名称：图像拾取设备和图像拾取方法
技术领域：
本发明涉及用于通过结合具有两种曝光时间的图像来以宽动态范围拍摄 对象的图像拾取设备和图像拾取方法。
背景技术：
在使用比如电荷耦合器件(CCD)之类的固态图像拾取元件的现有技术 的图像拾取设备中，通过光圏(stop)或者基于电子快门速度调整输入到图像 拾取元件的光量(曝光量)。也就是说，当拾取亮的场景时，为了避免发生所 谓的曝光过度(overexposure )(其中图像拾取元件的输出信号饱和)，减少曝 光量。相反，对于暗的场景，为了避免发生所谓的曝光不足(underexposure), 将曝光量调节为大的曝光量。
然而，当拾取具有大的亮度差的场景时(也就是说，当执行背光图像拾 取操作或同时执行室内和室外拾取操作时)，因为使用的固态图像拾取元件的 动态范围不足，仅调整曝光量造成由亮的部分的饱和所引起的曝光过度，或 者在暗的部分的曝光不足。因此，不能适当地再现两个部分。
为了克服该问题，可使用以下图像拾取设备。在该图像拾取设备中，基 于由图像拾取部件获得的短时间曝光图像和长时间曝光图像，在对于短时间 曝光图像执行增益操作或者抵消(offset)操作之后，将短时间曝光图像与长 时间曝光图像相结合。随后，对于被结合的图像执行电平压缩搡作，以获得 在宽动态范围中的被结合的图像。
例如，提出以下图像拾取设备(例如，参考日本未审查专利申请公开No, 2004-56573和2004-120205)。在图^f象拾取设备之一中，当短时间曝光图像和 长时间曝光图像彼此相结合，且压缩被结合的图像以产生宽动态范围的图像 时，短时间曝光图像对于几个场经历多个添加(adding)操作。将该经历多 个添加操作的图像与长时间曝光图像相结合作为中间时间曝光图像，以产生 宽动态范围的图像。这使得可以有效地防止在中间输入电平处的S/N(信噪 比)的减少。在另一图像拾取设备中，使用直方图动态地改变分配给各个长时间曝光图像和短时间曝光图像的动态范围，以在最优条件下、比如以最优
的光灰度(optical gradation)和曝光来再现图像。
进一步，提出以下图像处理装置(例如，参考日本未审查专利申请公开 No. 2005 - 204195 )。在该图像处理装置中，为了对于动态图像的每个帧根据 亮度的变化而改变灰度(gradation),计算表示图像的亮度分布的宽度的亮度 区域信息。基于其中按时间顺序地平滑所计算的亮度区域信息的所平滑的亮 度区域信息，根据显示图像的显示装置的亮度区域将图像的亮度标准化。

发明内容
在上述提出的使用直方图动态地改变高亮度动态范围的比例和中间亮度 动态范围和低亮度动态范围的比例的图像拾取设备中，参考用于选择短时间 曝光图像和长时间曝光图像中任何一个的阈值，将亮度部分分为两个部分， 即，高亮度部分和低亮度部分。以如直线图形指示的压缩比率执行压缩，由 此导致形成不自然的边界。另外，当在长时间曝光图像和短时间曝光图像之 间的曝光比率很大、且灰度连续变化时，在该^^用两个部分的方法中难以充 分地再现中间区域的灰度。
其中将很多输出范围分配给具有很多分布的亮度区域的、以平滑压缩曲 线执行动态范围压缩的方法是优秀的方法，但是装置的规模和计算的数目很 大。因此，该方法不适于低成本的装置类型。
考虑到上述问题，期望提供可以通过简单的控制操作产生经历了适于对 象的动态范围的灰度压缩操作的图像的图像拾取设备和图像拾取方法。
本发明获得的另外的目的和特定优点将从以下实施例的描述中变得明
曰東。
在本发明中，当通过结合具有两种曝光时间的图像拍摄宽动态范围的对 象时，根据两种图像曝光时间来估计对象的动态范围，以执行适于动态范围 的灰度压缩操作。压缩曲线的产生仅取决于对象的动态范围。因此，通过使 用其中将基本压缩曲线内插在其中对象的动态范围小的位置和其中对象的动 态范围大的位置之间的相同方法来结合自动曝光控制(AE),可以通过其中 由AE操作来检测对象的动态范围且根据该动态范围执行压缩的很简单的控 制操作，来执行适于对象的动态范围的灰度压缩操作。
根据本发明的实施例，提供了一种图像拾取设备，至少包括图像拾取部件，拾取具有在单元周期中相对长的曝光时间的长时间曝光图像并拾取具
有在单元周期中相对短的曝光时间的短时间曝光图像；结合部件，其彼此结 合由所述图像拾取部件获得的长时间曝光图像和所述短时间曝光图像，以产 生被结合的图像，其中基于所述长时间曝光图像的曝光时间和所述短时间曝 光图像的曝光时间之间的比率来彼此结合所述曝光图像；动态范围计算部件， 其从在所述结合操作中使用的长时间曝光图像、所述长时间曝光图像的曝光 时间、在所述结合操作中使用的短时间曝光图像和所述短时间膝光图像的曝 光时间，对于在所述结合部件中产生的被结合的图像，计算对象的动态范围； 存储部件，其保留对应于几种的动态范围的基本压缩曲线数据；和压缩部件，
其使用在所述存储部件中保留的基本压缩曲线数据来计算适于由所述动态范 围计算部件计算的对象的动态范围的压缩曲线，并根据所计算的压缩曲线产
生已压缩图像，其中通过压缩由所述结合部件产生的被结合的图像来产生所 述已压缩图像，其中，从由所述图像拾取部件获得的长时间曝光图像和所述 短时间曝光图像产生根据所述对象的动态范围而经历了灰度压缩操作的图像。
在根据本发明实施例的图像拾取设备中，动态范围计算部件可以，例如， 预先确定能够由所述长时间曝光图像表示的对象的动态范围的最大值，并乘 以所述长时间曝光图像的曝光时间与所述短时间曝光图像的曝光时间之间的 比率，以计算由所述图像冲合取部件拾取的对象的动态范围。
在根据本发明实施例的图像拾取设备中，动态范围计算部件可以，例如， 从所述长时间曝光图像的最大亮度值计算相对于所述长时间曝光图像的饱和 电平的比例，并将所述比例乘以能够由所述长时间曝光图像表示的对象的动 态范围，以计算由所述图像拾取部件拾取的对象的动态范围。
在根据本发明实施例的图像拾取设备中，例如，使用从所述获得的长时 间曝光图像形成的直方图，和对应于其的亮度积分值，当以从较大的亮度值 到较小的亮度值的次序对所述积分值计数时，所述动态范围计算部件检测包 括指定的第n个像素的直方图中的亮度积分值和像素的数目，且将其区域中 的亮度积分值除以所述像素的数目，以计算被设置为所述长时间曝光图像的 最大亮度值的平均亮度值。
在根据本发明实施例的图像拾取设备中，压缩部件可以包括，例如，压 缩曲线产生装置，用于选择和读出最靠近所述对象的动态范围的两种所述基本压缩曲线数据，并基于所述对象的动态范围根据所述两种基本压缩曲线数 据来执行内插，以产生适当的压缩曲线，以及其中，根据由所述压缩曲线产 生装置产生的压缩曲线，所述压缩部件产生通过压缩由所述结合部件产生的 被结合的图像而形成的已压缩图像。
根据本发明实施例的图像拾取设备可以另外包括，例如，轮廓校正部件，
包括被结合的图像高频分量检测装置，用于检测由所述结合部件产生的被 结合的图像的高频分量；增益控制装置，用于通过将增益应用于由所述被结 合的图像高频分量检测装置检测的被结合的图像的高频分量来执行所述被结 合的图像的高频分量的增益控制，所述增益是与所述被结合的图像的亮度电 平或者由所述压缩部件产生的已压缩图像的亮度电平一致的;和高频分量添 加装置，用于将经历了所述增益控制装置的增益控制的被结合的图像的高频 分量添加到由所述压缩装置产生的已压缩图像。
根据本发明实施例的图像拾取设备可以另外包括，例如，轮廓校正部件， 包括长时间曝光高频分量检测装置，用于检测在所述结合部件处的结合操 作中使用的长时间曝光图像的高频分量；短时间曝光高频分量检测装置；用 于检测在所述结合部件处的结合操作中使用的短时间曝光图像的高频分量； 和高频分量添加装置，用于将由所述长时间曝光高频分量检测装置检测的长 时间曝光高频分量或由所述短时间曝光高频分量检测装置检测的短时间曝光 分量添加到所述已压缩图像，从而对应于根据由所述结合部件结合的长时间 曝光图像或者所述短时间曝光图像而使用的像素。
在根据本发明实施例的图像拾取设备中，轮廓校正部件可以另外包括， 例如，增益控制装置，用于通过将增益应用于由所述高频分量添加装置添加 到所述已压缩图像的所述高频分量，来对所述高频分量执行增益控制，其中 所述增益对应于由所述结合部件产生的被结合的图像的亮度电平或者由所述 压缩部件产生的已压缩图像的亮度电平。
根据本发明的另一实施例，提供了一种图像拾取方法，至少包括以下步 骤用图像拾取部件拾取具有相对长的曝光时间的长时间曝光图像和具有相 对短的曝光时间的短时间曝光图像；通过基于所述长时间曝光图像的曝光时 间和所述短时间曝光图像的曝光时间之间的比率来彼此结合所述获得的长时 间曝光图像和短时间曝光图像，从而产生被结合的图像；从在所述结合操作 中使用的长时间曝光图像、所述长时间曝光图像所述的曝光时间、在所述结合搡作中使用的短时间曝光图像和所述短时间曝光图像的曝光时间计算对象
的动态范围；以及通过使用在存储部件中保留的基本压缩曲线教:据来计算适 于所述对象的所计算的动态范围的压缩曲线，并通过根据所计算的压缩曲线 来压缩在所述产生被结合的图像的步骤中产生的被结合的图像，从而产生已 压缩图像，其中，从由所述图像拾取步骤获得的长时间曝光图像和所述短时 间曝光图像产生根据所述对象的动态范围而经历了灰度压缩操作的图像。
在本发明中，压缩曲线的产生仅取决于对象的动态范围。因此，通过使 用其中将基本压缩曲线内插在其中对象的动态范围小的位置和其中对象的动 态范围大的位置之间的相同方法来结合自动曝光控制(AE),可以通过其中 由AE操作来检测对象的动态范围且根据该动态范围来执行压缩的很简单的 控制操作来执行适于对象的动态范围的灰度压缩操作。
在本发明中，因为动态范围的上限由在存储部件中存储的曲线的上限确 定，可以使用任何动态范围。
另外，在本发明中，如果根据考虑AE特性的JEITA规则来形成在存储 部件中存储的曲线，当测量规范的信息时可以提供最好的灰度。
另外，在本发明中，关于通过彼此结合长时间曝光图像和短时间曝光图 像形成图像来确定其中压缩整个被结合的图像的动态范围的方式，从而根据 曝光时间尽可能地直。因此，如果形成平滑基本压缩曲线，输出被形成的图 像作为经历平滑压缩的图像。
即使对于不被结合的一个图像，通过类似的控制方法来压缩动态范围。
此外，在本发明中，使用用于检测最大亮度值的直方图的方法使得可以 减少噪音的影响，且可以压缩灰度并排除不必要的灰度，比如点源的灰度。


图l是应用了本发明的图像拾取设备的结构的框图2示出了图像拾取设备中的长时间曝光和短时间曝光的图3是示出了根据长时间曝光图像和短时间曝光图像计算对象的动态范
围的处理的流程图，其中在具有动态范围计算部件的功能的图像拾取设备的
控制部件中执行该计算处理；
图4是示出了计算可以仅由长时间曝光图像表示的对象的动态范围的处
理的流程图，在图像拾取设备的控制部件中执行该计算处理；图5A到图5C图示长时间曝光图像的最大亮度值的检测处理，其中该检 测处理使用直方图且在图像拾取设备的控制部件中执行；
图6是示出了在图像拾取设备的压缩部件中执行的压缩过程的流程图； 图7示出图示在图像拾取设备的压缩部件处使用的压缩曲线的形成的
图8A和图8B示意性地示出了在图像拾取设备的信号处理部件中从形成
被结合的图像时到形成已压缩图像时的信号电平的变化；
图9是示出了在图像拾取设备的图像拾取处理的流程图10是在图像拾取设备的信号处理部件处提供的轮廓校正部件的示例
性结构的框图11是在图像拾取设备的信号处理部件处提供的轮廓校正部件的另一
示例性结构的框图12示意性地示出了由轮廓校正部件校正轮廓的图像；和
图13是在图像拾取设备的信号处理部件处提供的轮廓校正部件的又一
示例性结构的框图。
具体实施例方式
以下将参考附图详细描述本发明的实施例。本发明不局限于以下实施例。 很明显可以任意进行修改而不脱离本发明的要点。
本发明应用于，例如，具有图1所示的结构的图像拾取设备100。
图像拾取设备100包括拾取对象的图像拾取部件10、处理由图像拾取部 件10获得的图像信号的信号处理部件20和控制其操作的控制部件30。
图像拾取部件10包括，例如，图像拾取光学系统ll、图像拾取元件12 和驱动信号产生部件13。图像拾取光学系统11包括比如摄像镜头、除去不 期望的波长的滤光器和光圈(stop)之类的光学组件。图像拾取元件12具有 用从对象通过图像拾取光学系统11入射到其上的光照射的其图像拾取表面。 驱动信号产生部件13产生用于驱动图像拾取元件12的驱动信号。
图像拾取元件12是固态图像拾取元件，比如电荷耦合器件(CCD )图像 传感器或者互补金属氧化物半导体图像传感器，且基于由驱动信号产生部件 13产生的驱动信号来驱动该图像拾取元件12。
如图2所示，在一个垂直同步周期期间，图像拾取设备10的图像拾取元件12执行长时间曝光和短时间曝光，且用作长时间曝光图像信号S^和短时 间曝光图像信号Ss的电信号经历了时间共享输出操作。图像拾取元件12包 括，例如，其中垂直传送级的数目是垂直传送级的一般数目的两倍的隔行传 送类型(interline transfer type) CCD图像传感器。在每个垂直同步周期中的 垂直消隐周期内，从光电转换部件向垂直传送级两倍地执行图像拾取电荷读 出操作，且传送在两个读出操作期间被读出到垂直传送级的图像拾取电荷。 这使得正好在垂直有效周期的开始之前，在垂直传送级处并排地对准用于长 时间曝光的信号电荷和用于短时间曝光的信号电荷。当通过以两倍的速度驱 动水平传送级读出图像拾取电荷时，在一个水平同步周期期间输出一个行的 长时间曝光信号和短时间曝光信号。因此，连续地输出用于第一行的长时间 曝光信号和短时间曝光信号、用于第二行的长时间曝光信号和短时间曝光信 号、用于第三行的长时间曝光信号和短时间曝光信号等。
图2示出了在一个垂直同步周期内的曝光时间和在图像拾取元件12中积 累的曝光量(电荷量)。
图2示出了其中在1/60秒的一个垂直同步周期中执行1/64秒的长时间曝 光和1/2000秒的短时间曝光的情况。长时间曝光时间和短时间曝光时间可以 经历可变控制。
通过执行长时间曝光和短时间曝光，在一个垂直同步周期期间获得长时 间曝光图像信号St和短时间曝光图像信号Ss。通过结合两个图像信号，产生 一个场的图像拾取图像数据。
不是必须在一个垂直同步周期中执行长时间曝光和短时间曝光。可以在 某个垂直同步周期中执行长时间曝光，且在下一个垂直同步周期中执行短时 间曝光，以结合曝光图像信号。
图像拾取元件12的结构不限于使用固态图像拾取元件的结构。例如，比 如拾像管(image pickup tube)之类的非固态图像拾取元件也可以用于图像拾 取元件12的结构中。即使通过使用例如、机械快门或者液晶快门的非固态图 像拾取元件，可以执行长时间曝光或者短时间曝光，或者改变一般的曝光、 长时间曝光或者短时间曝光。
信号处理部件20包括，例如，预处理部件21、波;险测部件22、结合部 件23、 4仑廓才交正部件24、压缩部件25、存l诸部件26和后处理部件27。将由 图像拾取部件10获得的图像信号提供给预处理部件21。预处理部件21是所谓的模拟前端。其执行各种操作，比如对于从图像拾 取部件IO输出的电信号(或者图像拾取图像)的相关的二重抽样(CDS)操 作；由可编程增益放大器执行的增益操作；A/D变换；钳位；黑色标记(black lable)校正；和缺陷校正。预处理部件21预先处理由图像拾取部件10获得 的图像信号，以输出所获得的长时间曝光图像数据St和短时间曝光图像数据 Ss。
将由预处理部件21获得的长时间曝光图像数据S^和短时间曝光图像数 据Ss提供给波检测部件22、结合部件23和轮廓校正部件24。
对于从预处理部件21提供的长时间曝光图像数据St和短时间曝光图像 数据Ss，波检测部件22计算，例如，用于自动曝光校正(AE)的各个亮度 电平并产生直方图。随后，波检测部件22向控制部件30提供所计算的亮度 电平和直方图的数据。
控制部件30包括微计算机。基于在波检测部件22处计算的数据，控制 部件30计算图像拾取光学系统11的光圈控制值或在图像拾取部件10的驱动 信号产生部件13处设置的电子快门值。随后，控制部件30基于计算结果来 控制图像拾取部件10的操作。基于用于长时间曝光和短时间曝光的电子快门 值，控制部件30计算用于在结合部件23处结合长时间曝光图像和短时间曝 光图像的结合增益。随后，基于计算结果，控制部件30控制结合部件23的 操作。包括微计算机的控制部件30包括动态范围计算部件31,其基于在长 时间曝光和短时间曝光之间的电子快门比率和直方图来计算对象的动态范围 值。
对于在结合部件23处产生的被结合的图像，控制部件30的动态范围计 算部件31从用于结合操作的长时间曝光图像数据SL、长时间曝光图像的曝光 时间TL、用于结合操作的短时间曝光图像数据Ss和短时间曝光图像的曝光时
间Ts来计算对象的动态范围值DoML。将所计算的动态范围值DoML提供给压
缩部件25。
从预处理部件21向其提供长时间曝光图像数据SL和短时间曝光图像数 据Ss的结合部件23彼此结合由长时间曝光图像数据SL和短时间曝光图像数 据Ss指示的长时间曝光图像和短时间曝光图像(也就是，由图像拾取部件10 获得的长时间曝光图像和短时间曝光图像)，以基于在长时间曝光图像的曝光 时间T^与短时间曝光图像的曝光时间Ts之间的比率产生被结合的图像。根据由控制部件30应用的结合增益，扩展短时间曝光图像以形成其中长时间曝
光图像与短时间曝光图像自然地连接的被结合线性图像。
将由结合部件23获得的被结合的图像数据SMx提供给轮廓校正部件24 和压缩部件25。
压缩部件25从存储对应于离散的动态范围的压缩曲线数据的存储部件 26选择靠近动态范围值的两种曲线。随后，基于由控制部件30的动态范围 计算部件31提供的动态范围值DDML，执行内插以形成压缩曲线。此后，根 据形成的压缩曲线，产生其中压缩由结合部件23产生的被结合的图像的已压 缩图像。
后处理部件27对于由压缩部件25获得的已压缩图像数据ScMx执行后处 理，比如YC处理，并基于已压缩图像数据输出图像信号。
在图像拾取设备100中，信号处理部件20的轮廓校正部件24检测在由 压缩部件25压缩其之前提供的图像的高频分量(比如从结合部件23提供的 被结合的图像数据Smx的高頻分量，或者从结合部件23提供的短时间曝光图
像数据SH的高频分量和长时间曝光图像数据Si^的高频分量)。随后，轮廓校
正部件24向后处理部件27提供所检测的高频分量作为用于轮廓校正的高频 分量Shm。此后，在后处理部件27中，将高频分量添加到由压缩部件25产生
的已压缩图像数据ScMX,以校正轮廓。
也就是说，当短时间曝光图像和长时间曝光图像彼此相结合时，压缩被 结合的图像，且产生宽动态范围图像，检测在由压缩部件25压缩其之前提供 的图像的高频分量，且将高频分量添加到由压缩部件25产生的已压缩图像数 据SCMX。这使得可以增强其中在压缩图像之后很难检测的轮廓。
将在之后参考图IO到图13详细插述上述轮廓校正部件24的特定结构与 操作。
在图像拾取设备100中，控制部件30的动态范围计算部件31包括微计 算机，其例如根据图3的流程图示出的处理从长时间曝光图像和短时间曝光 图像计算对象的动态范围。
也就是说，控制部件30预先确定可以仅由长时间曝光图像表示的动态范 围。例如，确定在长时间曝光图像的方面可以拍摄在用于闭路电视设备(JEITA TTR-4602B )的规格的规则中规定的动态范围放大比率的6X的动态范围(步 骤Sl )。随后，控制部件30确定用于长时间曝光的AE目标值和控制方法，并通 过执行等效于所谓的"背光校正"的操作来控制图像拾取部件10的电子快门， 以使得当执行用于获得长时间曝光图像的AE时，对于A/D变换之后的最大 距离的大约1/6,输入以动态范围1X拍摄对象的数据(步骤S2)。
控制部件30确定用于短时间曝光的AE目标值和控制方法，并通过执行 等效于所谓的"过多前灯校正"的操作控制图像拾取部件IO的电子快门，以 使得当拍摄对象时短时间曝光图像不具有饱和的部分(步骤S3)。
接下来，控制部件10对于每个帧从波检测部件25获得AE波检测值(步 骤S4)。随后，根据在步骤S2和S3确定的控制方法，计算下一长时间电子 快门设置值和下一短时间电子快门设置值，以在图像拾取部件IO的驱动信号 产生部件13处设置它们(步骤S5和S6 )。
随后，控制部件10的动态范围计算部件31使用以下表达式计算长时间 曝光图像的曝光时间H和短时间曝光图像的曝光时间Ts之间的曝光比率(步 骤S7 ):
曝光比率=TVTs
随后，确定所计算的曝光比率是否大于1 (步骤S8)。
接下来，当在步骤S8的确定结果是"是"时，也就是说，当曝光比率大
于1时，动态范围计算部件31按照大于1的曝光比率，利用在步骤Sl中确
定的动态范围六倍的动态范围 曝光比率x6-动态范围
确定当短时间曝光图像和长时间曝光图像彼此相结合时的动态范围值 DDML(步骤S9 )，且通知压缩部件25关于确定的动态范围值DDML(步骤S10 )。 随后，处理返回到步骤S4。
相反，当在步骤S8的确定结果是"no"时，也就是说，当在步骤S7计 算的曝光比率小于1时，确定对象是可以仅由长时间曝光图像表示的对象。 根据图4的流程图中示出的处理，计算动态范围值DoML(步骤S20),且通知 压缩部件25关于确定的动态范围值DD亂(步骤SIO)。随后，处理返回到步 骤S4。
也就是说，控制部件10重复从步骤S4到S10的操作。在步骤S4中， 对于每个帧从波检测部件25获得AE波检测值。随后，通知压缩部件25关
于在步骤SIO中确定的动态范围值DoML。随后，压缩部件25根据动态范围值DoML的执行灰度压缩操作，其中由 动态范围计算部件31通知压缩部件25该动态范围值DDML。
这里，在步骤S20的动态范围值DoML的计算基本上是当控制部件10执 行等效于如图3所示的操作的操作时执行的操作，且在步骤S8确定对象可以 仅由以等于或者小于1的曝光比率的长时间曝光图像表示。控制部件10的动 态范围计算部件31计算所计算的长时间曝光图像的最大亮度值YLMAX (步骤 S21),且，基于所计算的长时间曝光图像的最大亮度值YLMAX，从当确定对 象能够仅由长时间曝光图像表示时的动态范围，计算当动态范围是IX时的 最大亮度植Ym屈
Ylmax/Ymaxi' = D。ml
通过此，确定对象的动态范围值ddml (步骤S22)。
这里，可以通过简单地检测其中长时间曝光图像的亮度最高的点来检测 长时间曝光图像的最大亮度值。然而，当仅检测和利用一个点时，检测到受 噪音影响或者具有像素缺陷的特定点。这可能导致不稳定的操作。
因此，例如，如图5所示，直方图用于使得可以稳定地检测长时间曝光 图像的最大亮度。
也就是说，对于用在相同检测区中的相同划分阈值来检测的像素，波检 测部件22执行像素的数目的积分和亮度的积分。提供图5C所示的对应于各 个划分阈值的像素的数目的积分值和亮度的积分值；图5A所示的亮度的积 分值的直方图HG1;和图5B所示的像素的数目的积分值的直方图HG2。
例如，当比如灯泡之类的点源被包括在具有相对窄的动态范围的对象中 时，不必须再现点源的灰度。因此，确定检测阚值，以使得例如，不必须再 现其像素数目等于或者小于某个像素数目的高亮度对象(例如，在其像素数 目等于或者小于有效像素的数目的0.4%的区域中的高亮度对象)的灰度。
随后，控制部件10的动态范围计算部件31利用直方图HG2，从具有高 亮度的 一 侧开始计数，并检测包括对应于检测阈值的像素的亮度积分段 (brightness integration section) YI和像素积分段PS。
使用作为亮度积分段YI的值检测的亮度积分值和作为像素积分段PS的 值检测的像素的数目，并如下计算平均亮度
亮度积分值/像素的数目=平均亮度
;险测平均亮度作为最大亮度值。通过使用这种检测方法，不再需要检测作为具有最大亮度的位置的特定 点。因此，可以再现灰度而不考虑具有高亮度的小部分，比如点源。另外， 随着直方图的数目增加，可以改进被检测的亮度值的精度。
根据图6所示的流程图的处理，压缩部件25基于对象的动态范围值DDML 从存储部件26读出基本压缩曲线，并形成最优压缩曲线。
也就是说，压缩部件25获得由控制部件30的动态范围计算部件31计算 的对象的动态范围值DD^(步骤S31)。然后，基于所获得的对象的动态范围 值DDML，压缩部件25从存储部件26获得第一基本压缩曲线(基线A )和第 二基本压缩曲线(基线B)(步骤S32和S33)。第一基本压缩曲线具有大于 且最靠近所获得的对象的动态范围的动态范围。第二基本压缩曲线具有小于
且最靠近所获得的对象的动态范围DoML的动态范围。
这里，存储部件26预先存储对应于离散的放大倍数(比如IX、 4X、 16X 和64X的动态范围)的压缩曲线。尽管可以使用任何形式的压縮曲线，可以 形成压缩曲线以使得，例如，当理想地执行AE时，可以根据由闭路电视设 备(JEITATTR-4602B)的规格的规则定义的动态范围放大比率来再现灰度。 通过选择相对于大于对象的动态范围值DDML的动态范围和小于对象的动态
范围值DDML的动态范围的最靠近的动态范围来选 择基本压缩曲线。例如，如 图7所示，当存在对应于对象的动态范围值DDML的基本压缩曲线时且当对象
的动态范围值DDML是9X时，选择16X基本压缩曲线F,和4X基本压缩曲线F2。
随后，压缩部件25形成在所选择的基本压缩曲线F,和F2之间内插的压 缩曲线Fx，作为对应于对象的动态范围值DoML的9X压缩曲线(步骤S34)。 随后，根据压缩曲线压缩被结合的图像(步骤S35)。
在通过内插形成压缩曲线时，例如，如果在存储部件26中存储的数据包 括样条曲线(spline curve)的KNOT点，可以在KNOT点之间执行内插。例 如，取决于将要获得的曲线的精度，该内插方法可以是线性内插或者更复杂 的样条内插。尽管压缩曲线根据动态范围动态地改变，仍限制其中基本压缩 曲线动态地移动的范围，因为在固定的基本压缩曲线之间执行内插。因此， 如果形成基本压缩曲线以使得它们不波动，不像由图7中的虚线示出的基本 压缩曲线FY，可以限制在样条内插期间由KNOT点的移动造成的波动。
在存储部件26中存储的基本压缩曲线是使得通过上述的内插方法和将要获得的曲线的精度来确定曲线的数目和动态范围之间的间隔。曲线的数目 越大且动态范围之间的间隔越小，通过内插形成的压缩曲线的精度越高。
图8A和图8B示意性地示出了在图像#"取设备100的信号处理部件20 中从形成被结合的图像时到形成已压缩图像时信号电平的变化。
也就是说，在图像拾取设备100的信号处理部件20的结合部件23中， 如图8A所示，基本上根据曝光比率，扩展短时间曝光图像数据Ss，并与长 时间曝光图像数据SL相结合从而与其线性地连接。压缩部件26使用平滑压 缩曲线Fz压缩被结合的图像数据SMX,以使得已压缩图像的输出电平是 100%,如图8A所示。
也就是说，图像拾取设备100包括图像拾取部件10、结合部件23、动态 范围计算部件31、存储部件26和压缩部件25。图像拾取部件IO在单位周期 中拾取具有相对长的曝光时间的长时间曝光图像并在单位周期中拾取具有相 对短的曝光时间的短时间曝光图像。结合部件23彼此结合由图像拾取部件 IO获得的长时间曝光图像和短时间曝光图像，以产生被结合的图像，其中基
于长时间曝光图像的曝光时间Tt与短时间曝光图像的曝光时间Ts之间的比
率来彼此结合曝光图像。动态范围计算部件31对于在结合部件23处产生的 被结合的图像，从用于结合操作的长时间曝光图像、长时间曝光图像的曝光 时间TL、用于结合操作的短时间曝光图像和短时间曝光图像的曝光时间Ts 计算对象的动态范围。存储部件26保留对应于几种的动态范围的基本压缩曲 线数据。压缩部件25使用在存储部件26中保留的基本压缩曲线数据来计算 适于由动态范围计算部件31计算的对象的动态范围的压缩曲线，并根据所计 算的压缩曲线产生已压缩图像，其中通过压缩由结合部件产生的被结合的图 像产生该已压缩图像。
在图像拾取设备100中，如图9的流程图所示，执行步骤S41到44。在 步骤S41 (图像拾取步骤)中，图像拾取部件IO拾取具有相对长的曝光时间 的长时间曝光图像和具有相对短的曝光时间的短时间曝光图像。在步骤S42 (结合步骤)中，结合部件23基于在长时间曝光图像的曝光时间A与短时 间曝光图像的曝光时间Ts之间的比率来彼此结合长时间曝光图像和短时间曝 光图像以形成被结合的图像。在步骤S43 (动态范围计算步骤)中，动态范 围计算部件31从用于结合操作的长时间曝光图像、长时间曝光图像的曝光时 间、用于结合操作的短时间曝光图像和短时间曝光图像的曝光时间计算对象的动态范围值Do亂。在步骤S44(压缩步骤)中，压缩部件25使用在存储部
件26中保留的基本压缩曲线数据来计算适于对象的动态范围值Ddml的圧縮
曲线，并根据所计算的压缩曲线产生已压缩图像(通过压缩被结合的图像形 成)。通过执行步骤S41到44，通过简单的控制操作产生经历了适于对象的 动态范围的灰度压缩操作的图像。
形成图傳_拾取设备100的信号处理部件20的轮廓校正部件24类似于， 例如，图10所示的^^"交正部件24A。
轮廓校正部件24A包括，例如，高频分量检测部件241、亮度调制表242 和高频分量亮度调制部件243。将由结合部件23获得的被结合的图像数据SMX 提供给高频分量检测部件241。亮度调制表242包括亮度调制数据。将亮度 调制表242的亮度调制数据、高频分量检测部件241的检测输出和由压缩部 件25产生的已压缩图像数据ScMx提供给高频分量亮度调制部件243。
在轮廓4交正部件24A中，高频分量才企测部件241从由结合部件23产生 的被结合的图像数据SMX检测比如轮廓增强分量之类的高频分量SMXh。随后， 高频分量亮度调制部件243根据被结合的图像的亮度电平或者由压缩部件24 产生的已压缩图像的亮度电平，将增益应用于所检测的被结合的图像高频分
量SMXh。通过此，对被结合的图像的高频分量SMXh执行增益控制，将经历了
增益控制的被结合的图像的高频分量SMXh提供给后处理部件27,作为用于轮 廓校正的高频分量Shm。
通过此，后处理部件27将用于轮廓校正的高频分量Shm添加到由压缩部 件24产生的已压缩图像数据SCMX。这使得可以增强其中在压缩图像之后检 测困？,的4仑廓。
例如，高频分量的亮度调制程度数据可以由压缩曲线形成，或者可以从 亮度调制表242提供给高频分量亮度调制部件243。
可以形成图像拾取设备100的信号处理部件20的4仑廓校正部件24类似 于，例如，类似于图11所示的轮廓校正部件24B。
轮廓校正部件24B包括，例如，长时间曝光图像高频分量检测部件241A、 短时间曝光图像高频分量检测部件241B、高频分量选择部件244和增益调制 部件245。从预处理部件21将长时间曝光图像数据SL提供给长时间曝光图像 高频分量检测部件241A。从预处理部件21将短时间曝光图像数据Ss提供给 短时间曝光图像高频分量检测部件241B。高频分量选择部件244选择长时间曝光图像高频分量检测部件241A的输出和短时间曝光图像高频分量检测部 件241B的输出。将由高频分量选择部件244选择的高频分量Sh提供给增益 调制部件245。
在轮廓校正部件24B中，长时间曝光图像高频分量检测部件241A和短 时间曝光图像高频分量检测部件241B从来自预处理部件21提供的长时间曝 光图像数据Sl和短时间曝光图像凝:据Ss检测高频分量。
指示在结合部件23处以每个像素选择哪个长时间曝光图像和短时间曝 光图像的选择信号S^被提供给高频分量选择部件244。根据该选择信号SSL, 高频分量选择部件244从长时间曝光图像数据SL选择由长时间曝光图像高频 分量检测部件241A检测的长时间曝光图像高频分量SLh，并从短时间曝光图 像数据Ss选择由短时间曝光图像高频分量检测部件241B检测的短时间曝光 图像高频分量SSh。将所选择的高频分量Sh提供给增益调制部件245。
增益调制部件245将调制增益应用于从高频分量选择部件24提供的高频 分量Sh,且向后处理部件27提供产生的高频分量作为用于轮廓校正的高频分 量Sh。
通过此，后处理部件27将用于轮廓校正的高频分量Shm添加到由压缩部 件24产生的已压缩图像数据SCMX。这使得可以增强其中在压缩图像之后检 测困难的轮廓。
这里，由轮廓校正部件24B校正轮廓的图像如图12所示。
也就是说，轮廓校正部件24B从长时间曝光图像数据SL检测高频分量 S^，并从短时间曝光图像数据Ss检测高频分量Ssh,并检测高频分量Sh(其 中，当形成被结合的图像数据SMX时，结合根据选择长时间曝光和短时间曝 光中的哪个而选择的高频分量)。将所产生的高频分量Sh添加到被结合的图 像数据SMX作为用于轮廓校正的高频分量Shm，以增强轮廓。
另外，可以形成图像拾取设备100的信号处理部件20的^"廓校正部件 24类似于，例如，类似于图13所示的轮廓校正部件24C。
轮廓校正部件24C包括，例如，长时间曝光图像高频分量检测部件241A、 短时间曝光图像高频分量检测部件241B、高频分量选择部件244、亮度调制 表242和高频分量亮度调制部件243。从预处理部件21，将长时间曝光图像 数据St提供给长时间曝光图像高频分量检测部件241A。从预处理部件21， 将短时间曝光图像数据Ss提供给短时间曝光图像高频分量检测部件241B。高频分量选择部件244选择长时间曝光图像高频分量^r测部件241A的输出 和短时间曝光图像高频分量检测部件241B的输出。亮度调制表242包括亮度 调制数据。将亮度调制表242的亮度调制数据和由高频分量选择部件244选 择的高频分量Sh提供给高频分量亮度调制部件243。
在轮廓校正部件24C中，长时间曝光图像高频分量才企测部件241A和短 时间曝光图像高频分量检测部件241B从来自预处理部件21提供的长时间曝 光图像数据SL和短时间曝光图像数据Ss检测高频分量。
指示在结合部件23处以每个像素选择长时间曝光图像和短时间曝光图 像中的哪个的选择信号SsL被提供给高频分量选择部件244。根据该选择信号 Ssp高频分量选择部件244从长时间曝光图像数据SL选择由长时间曝光图像 高频分量检测部件241A检测的长时间曝光图像高频分量SLh,并从短时间曝 光图像数据Ss选择由短时间曝光图像高频分量检测部件241B检测的短时间 曝光图像高频分量SSh。将所选择的高频分量Sh提供给高频分量亮度调制部 件243。
高频分量亮度调制部件243根据由压缩部件24产生的已压缩图像的亮度 电平，通过将增益应用于从高频分量选择部件244提供的高频分量Sh，对于 高频分量Sh执行增益控制。随后，高频分量亮度调制部件243向后处理部件 27提供经历了增益控制的作为用于轮廓校正的高频分量Shm的高频分量Sh。
通过此，后处理部件27将用于轮廓校正的高频分量Shm添加到由压缩部 件24产生的已压缩图像数据SCMX。这使得可以增强其中在压缩图像之后检 测困难的轮廓。
例如，高频分量的亮度调制程度数据可以由压缩曲线形成，或者可以从 亮度调制表242提供给高频分量亮度调制部件243。
本申请包括与在2008年6月3日在日本专利局提交的日本优先权专利申 请JP 2008- 146232中公开的主题相关的主题，将其全部内容通过引用完全包 括于此。
本领域技术人员应该理解根据设计要求及其他因素可以进行各种修改， 组合，部分组合和变更，只要它们在所附的权利要求或者其等效的范围之内。
权利要求
1.一种图像拾取设备，至少包括图像拾取部件，拾取具有在单元周期中相对长的曝光时间的长时间曝光图像并拾取具有在单元周期中相对短的曝光时间的短时间曝光图像；结合部件，其彼此结合由所述图像拾取部件获得的长时间曝光图像和所述短时间曝光图像，以产生被结合的图像，其中基于所述长时间曝光图像的曝光时间和所述短时间曝光图像的曝光时间之间的比率来彼此结合所述曝光图像；动态范围计算部件，其从在所述结合操作中使用的长时间曝光图像、所述长时间曝光图像的曝光时间、在所述结合操作中使用的短时间曝光图像和所述短时间曝光图像的曝光时间，对于在所述结合部件中产生的被结合的图像，计算对象的动态范围；存储部件，其保留对应于几种的动态范围的基本压缩曲线数据；和压缩部件，其使用在所述存储部件中保留的基本压缩曲线数据来计算适于由所述动态范围计算部件计算的对象的动态范围的压缩曲线，并根据所计算的压缩曲线产生已压缩图像，其中通过压缩由所述结合部件产生的被结合的图像来产生所述已压缩图像，其中，从由所述图像拾取部件获得的长时间曝光图像和所述短时间曝光图像产生根据所述对象的动态范围而经历了灰度压缩操作的图像。
2. 如权利要求1所述的图像拾取设备，其中，所述动态范围计算部件预 先确定能够由所述长时间曝光图像表示的对象的动态范围的最大值，并乘以 所述长时间曝光图像的曝光时间与所述短时间曝光图像的曝光时间之间的比 率，以计算由所述图像拾取部件拾取的对象的动态范围。
3. 如权利要求1所述的图像拾取设备，其中，所述动态范围计算部件从 所述长时间曝光图像的最大亮度值计算相对于所述长时间曝光图像的饱和电 平的比例，并将所述比例乘以能够由所述长时间曝光图像表示的对象的动态 范围，以计算由所述图像拾取部件拾取的对象的动态范围。
4. 如权利要求3所述的图像拾取设备，其中，使用从所述获得的长时间 曝光图像形成的直方图，和对应于其的亮度积分值，当以从较大的亮度值到 较小的亮度值的次序对所述积分值计数时，所述动态范围计算部件检测包括指定的第n个像素的直方图中的亮度积分值和像素的数目，且将其区域中的 亮度积分值除以所述像素的数目，以计算被设置为所述长时间曝光图像的最 大亮度值的平均亮度值。
5. 如权利要求1所述的图像拾取设备，其中，所述压缩部件包括压缩 曲线产生装置，用于选择和读出最靠近所述对象的动态范围的两种所述基本 压缩曲线数据，并基于所述对象的动态范围根据所述两种基本压缩曲线数据 来执行内插，以产生适当的压缩曲线，以及其中，才艮据由所述压缩曲线产生装置产生的压缩曲线，所述压缩部件产 生通过压缩由所述结合部件产生的被结合的图像而形成的已压缩图像。
6. 根据权利要求1所述的图像拾取设备，进一步包括 轮廓校正部件，包括被结合的图像高频分量检测装置，用于检测由所述结合部件产生的被结合的图像的高频分量；增益控制装置，用于通过将增 益应用于由所述被结合的图像高频分量检测装置检测的被结合的图像的高频 分量来执行所述被结合的图像的高频分量的增益控制，所述增益是与所述被 结合的图像的亮度电平或者由所述压缩部件产生的已压缩图像的亮度电平一 致的；和高频分量添加装置，用于将经历了所述增益控制装置的增益控制的 被结合的图像的高频分量添加到由所述压缩装置产生的已压缩图像。
7. 根据权利要求1所述的图像拾取设备，进一步包括 轮廓校正部件，包括长时间曝光高频分量检测装置，用于检测在所述结合部件处的结合操作中使用的长时间曝光图像的高频分量；短时间曝光高 频分量检测装置；用于检测在所述结合部件处的结合操作中使用的短时间曝 光图像的高频分量;和高频分量添加装置，用于将由所述长时间曝光高频分 量检测装置检测的长时间曝光高频分量或由所述短时间曝光高频分量检测装 置检测的短时间曝光分量添加到所述已压缩图像，从而对应于根据由所述结 合部件结合的长时间曝光图像或者所述短时间曝光图像而使用的像素。
8. 如权利要求7所述的图像拾取设备，其中，所述轮廓校正部件包括 增益控制装置，用于通过将增益应用于由所述高频分量添加装置添加到所述 已压缩图像的所述高频分量，来对所述高频分量执行增益控制，其中所述增 益对应于由所述结合部件产生的被结合的图像的亮度电平或者由所述压缩部 件产生的已压缩图像的亮度电平。
9. 一种图像拾取方法，至少包括以下步骤用图像拾取部件拾取具有相对长的曝光时间的长时间曝光图像和具有相对短的曝光时间的短时间曝光图^f象；通过基于所述长时间曝光图像的曝光时间和所述短时间曝光图像的曝光 时间之间的比率来彼此结合所述获得的长时间曝光图像和短时间曝光图像， 从而产生被结合的图像；从在所述结合操作中使用的长时间曝光图像、所述长时间曝光图像所述 的曝光时间、在所述结合操作中使用的短时间曝光图像和所述短时间曝光图 像的曝光时间计算对象的动态范围；以及通过使用在存储部件中保留的基本压缩曲线数据来计算适于所述对象的 所计算的动态范围的压缩曲线，并通过根据所计算的压缩曲线来压缩在所述 产生被结合的图像的步骤中产生的被结合的图像，从而产生已压缩图像，其中，从由所述图像拾取步骤获得的长时间曝光图像和所述短时间曝光 图像产生根据所述对象的动态范围而经历了灰度压缩操作的图像。
全文摘要
一种图像拾取设备包括图像拾取部件，其拾取长时间曝光图像和短时间曝光图像；结合部件，其彼此结合长时间曝光图像和短时间曝光图像以产生被结合的图像，其中基于长时间曝光图像的曝光时间和短时间曝光图像的曝光时间之间的比率来结合曝光图像；动态范围计算部件，其从长时间曝光图像、长时间曝光图像的曝光时间、短时间曝光图像和短时间曝光图像的曝光时间计算对象动态范围；和压缩部件，其使用基本压缩曲线数据来计算适于对象动态范围的压缩曲线，并根据所计算的压缩曲线产生已压缩图像。
文档编号H04N5/235GK101600056SQ20091014533
公开日2009年12月9日 申请日期2009年6月3日 优先权日2008年6月3日
发明者中岛启友, 山本洋司 申请人:索尼株式会社