图像摄取装置、图像摄取方法、程序和记录介质的制作方法

专利名称：图像摄取装置、图像摄取方法、程序和记录介质的制作方法
技术领域：
本发明涉及图像摄取装置、图像摄取方法、程序和记录介质。具
体而言，本发明涉及优选地应用于与多次曝光(multiple exposure) 有关的处理的图像摄取装置、图像摄取方法、程序和记录介质。
背景技术：
存在一种被称为多次曝光的拍照技术以用在摄取图像的相机中。 在多次曝光中，单个帧被多次曝光于与单个被摄物或多个被摄物相对 应的光，并且多个图像被叠加以产生组合图像。具体而言，在使用慢 快门或Bulb快门、具有长曝光时间的多次曝光拍照中，多次曝光实现 了具有高度艺术性效果的夜间场景、焰火等的拍照。
在使用胶片作为记录介质的电影摄像机中，多次曝光拍照是在不 巻绕胶片的情况下多次操作快门来实现的。在近来广泛使用的诸如数 字静态相机和数字摄像机之类的数字图像摄取装置中，多次曝光不是 利用与电影摄像机中采用的相同处理来实现的。然而，与电影摄像机 类似，有必要使数字图像摄取装置具有多次曝光功能，并且这种数字 图像摄取装置逐渐变得可以买到。
为了在数字图像摄取装置中实现多次曝光功能，有必要保存多个 图像以生成组合图像。该保存操作需要大量容量存储设备(例如用于 保存多个图像的存储器)，这导致增大了图像摄取装置的大小和成本。 具体而言，随着像素数增加和图像摄取器件小型化的最新趋势，这种 大容量存储设备可能导致装置尺寸的增大。
另外，存储器容量的增大可能增大存储器带宽。存储器带宽的增 大可能导致与使用存储器的其他功能发生冲突，这会明显影响图像摄 取装置的整个系统的处理性能，例如拍照速度。另外，在具有长曝光时间的多次曝光中，由于与固态图像摄取器 件中所谓的暗电流相关的黑信号电平的增大和固定模式噪声的生成， 图像摄取器件的灵敏度可能降低且动态范围减小。这种暗电流是由因 为半导体的热激发而生成的电子-空穴对引起的。暗电流的效应随着温 度升高和电荷存储时间的增加而增强。
日本未实审专利申请公布No. 2001-28726公开了 一种多次曝光拍 照方法。在该方法中，通过从多个图像中提取主物体部分并且记录与 两个连续主图像信号之间的差异相对应的图像，来生成主图像信号。 因此，这样可以减少用于生成组合图像所必需的存储器容量。

发明内容
在曰本未实审专利申请公布No. 2001-28726公开的以上方法中， 有必要提供诸如图像提取装置以及第 一和第二主图像保存装置之类的 独立设备。因而，可能无法实现整个装置的小型化，并且图像提取处 理可能降低处理速度。另外，以上方法可能无法解决与具有长曝光时 间的多次曝光相关的灵敏度降低和动态范围减小的问题。
考虑到以上情形提出了本发明。因此，在诸如数字静态相机之类 的数字图像摄取装置内执行的多次曝光中，需要一种用于增强处理性 能、同时节省存储器容量和存储器带宽并抑制长曝光中灵敏度降低和 动态范围减小的技术。
根据本发明的实施例，当通过将单个帧多次曝光于来自单个物体 或多个物体的光并且叠加多个图像来生成组合图像时，图像摄取装置 包括被配置为对帧执行加法或减法的帧操作装置和被配置为存储帧操 作装置的操作结果的存储装置。在图像摄取装置中，包括两个通道的 数据总线被设在帧操作装置和存储装置之间， 一个通道用于写入到存 储装置，另一个通道用于从存储装置读取。
在根据本发明实施例的图像摄取装置中，帧操作装置可包括偏移 减法装置，被配置为从提供自图像摄取器件的信号中减去预定的偏移 信号。在根据本发明实施例的图像摄取装置中，在图像摄取器件的输出 信号电平饱和之前的曝光期间执行从图像摄取器件读取信号的操作， 并且偏移减法装置可执行从读取自图像摄取器件的信号中减去偏移信 号分量的操作。
在根据本发明实施例的图像摄取装置中，提供自帧操作装置的原 始数据格式的信号可以被压缩然后被存储在存储装置中，并且提供自 存储装置的压缩信号可以被解压缩为原始数据格式然后被提供给帧操 作装置。
在根据本发明实施例的图像摄取装置中，在帧加法和帧减法中， 帧操作装置可以与从图像摄取器件读取同时地对从存储装置读取的图 像执行帧操作处理。
在根据本发明实施例的图像摄取装置中，当通过将单个帧多次曝 光于来自单个物体或多个物体的光并且叠加多个图像来生成组合图像 时，包括两个通道(一个通道用于写入到存储装置，另一个通道用于 从存储装置读取)的数据总线被设在帧操作装置和存储装置之间，其 中帧操作装置被配置为对帧执行加法或减法，存储装置被配置为存储 由帧操作装置执行的操作的结果。
根据本发明的实施例，公开了 一种用于图像摄取装置的图像摄取 方法，该图像摄取装置至少包括图像摄取器件、被配置为存储来自图 像摄取器件的信号的存储装置、以及被配置为利用来自图像摄取器件 的信号和存储在存储装置中的信号执行操作的操作装置，该方法包括
以下步骤在存储装置中存储信号，该信号是在预定被摄物的图像被 摄取时从图像摄取器件获得的；当从图像摄取器件获得另一信号时， 操作装置读取存储在存储装置中的信号，将另 一信号加到所读取的存 储在存储装置中的信号，以及将相加结果存储在存储装置中；在相加 操作被重复预定次数之后，操作装置获得来自图像摄取器件的黑信号， 该黑信号是通过执行与在获得所述信号时所用的曝光时间相同时长的 曝光而获得的，读取存储在存储装置中的信号，从该信号中减去黑信 号，以及将减法结果存储在存储装置中；以及重复该减法操作预定次数。
根据本发明实施例的图像摄取方法还可包括从提供自图像摄取器 件的信号中减去预定偏移信号分量的步骤。
在根据本发明实施例的图像摄取方法中，在图像摄取器件的输出 信号电平饱和之前的曝光期间执行从图像摄取器件读取信号的操作， 并且执行从读取自图像摄取器件的信号中减去偏移信号分量的操作。
另外，公开了 一种使得图像摄取装置执行处理的计算机可读程序， 该图像摄取装置至少包括图像摄取器件、被配置为存储来自图像摄取 器件的信号的存储装置、以及被配置为利用来自图像摄取器件的信号 和存储在存储装置中的信号执行操作的操作装置，该处理包括以下步
骤在存储装置中存储信号，该信号是在预定被摄物的图像被摄取时 从图像摄取器件获得的；当从图像摄取器件获得另一信号时，操作装 置读取存储在存储装置中的信号，将另 一信号加到所读取的存储在存 储装置中的信号，以及将相加结果存储在存储装置中；在相加操作被 重复预定次数之后，操作装置获得来自图像摄取器件的黑信号，该黑 信号是通过执行与在获得所述信号时所用的曝光时间相同时长的曝光 而获得的，读取存储在存储装置中的信号，从该信号中减去黑信号， 以及将减法结果存储在存储装置中；以及重复该减法操作预定次数。
另外，公开了一种记录使得图像摄取装置执行处理的计算机可读 程序的记录介质，该图像摄取装置至少包括图像摄取器件、被配置为 存储来自图像摄取器件的信号的存储装置、以及被配置为利用来自图 像摄取器件的信号和存储在存储装置中的信号执行操作的操作装置， 该处理包括以下步骤在存储装置中存储信号，该信号是在预定被摄 物的图像被摄取时从图像摄取器件获得的；当从图像摄取器件获得另 一信号时，操作装置读取存储在存储装置中的信号，将另一信号加到 所读取的存储在存储装置中的信号，以及将相加结果存储在存储装置 中；在相加操作被重复预定次数之后，操作装置获得来自图像摄取器 件的黑信号，该黑信号是通过执行与在获得所述信号时所用的曝光时
间相同时长的曝光而获得的，读取存储在存储装置中的信号，从该信号中减去黑信号，以及将減法结果存储在存储装置中；以及重复该减 法操作预定次数。在根据本发明实施例的图像摄取方法和程序中，当从图像摄取器 件获得另一信号时，从图像摄取器件提供的、在摄取预定被摄物的图 像时获得的信号被存储，并且所存储的信号被读出并加到所读取的信 号。所得到的信号被存回在存储装置中。在加法操作被重复预定次数 之后，获得黑信号，并且读出存储在存储装置中的信号，该黑信号是 通过执行与获得来自图像摄取器件的信号时所用的曝光时间相同时长 的曝光而获得的。从读取的信号中减去黑信号，并且所得到的信号被 存回到存储装置。减法操作被重复预定次数。通过该处理，生成了多 次曝光图像。根据本发明的实施例，在诸如数字静态相机之类的数字图像摄取 装置内执行的多次曝光中，可以减小必需的存储器容量和存储器带宽。 另外，根据本发明的实施例，可以实现具有增强的处理性能的多次曝 光操作，同时抑制长曝光中灵敏度的降低和动态范围的减小。


图l图示了根据本发明实施例的多次曝光设备的配置； 图2图示了相机信号处理单元的内部配置； 图3图示了帧操作处理部分的内部配置； 图4A和4B图示了动态范围； 图5A至5C图示了动态范围；图6A至6C图示了与根据现有技术的多次曝光有关的处理； 图7A至7C图示了与根据现有技术的多次曝光有关的处理； 图8A和8B图示了与根据现有技术的多次曝光有关的处理； 图9A至9C图示了与根据本发明实施例的多次曝光有关的处理； 图10A和10B图示了与根据本发明实施例的多次曝光有关的处理；图11图示了多次曝光设备的另一种配置；图12是图示由多次曝光设备执行的处理的流程图；以及 图13图示了个人计算机的硬件配置。
具体实施方式
下面将参考附图描述本发明的优选实施例。图1图示了根据本发明实施例的多次曝光设备的配置。该多次曝 光设备可以应用于诸如数字静态相机和数字摄像机之类的数字图像摄 取装置或者被结合到该数字图像摄取装置中。图1中所示的多次曝光设备包括透镜1、马达2、马达驱动器3、 光阑4、驱动电路5、图像摄取器件6、驱动电路7、前端(F/E)处理 器8、信号处理器9、系统控制器IO、存储器控制器ll和存储器i2。 信号处理器9包括同步信号生成单元21、相机信号处理单元22、控制 操作处理单元23和分辨率转换单元24。透镜l收集从光源入射的光和从被摄物反射的光。马达2在马达 驱动器3的控制下被驱动，并且根据被摄物的焦距和焦点位置来调节 透镜1的位置。马达驱动器3根据来自系统控制器10的控制信号进行 操作。马达驱动器3响应于用户进行的放大率改变而确定焦距(即， 变焦位置)，并且根据确定结果控制马达2。光阑4由驱动电路5驱动。光阑4执行诸如根据物体的亮度和对 穿过透镜l的光量(光强度，即曝光量)的确定结果来调节光圏之类 的处理。图像摄取器件6利用驱动电路7对穿过光阑4的光信号执行 光电转换，并向下游单元输出得到的电荷信号。图像:摄取器件6可以 由诸如CCD (电荷耦合器件)和CMOS (互补金属氧化物半导体) 之类的器件形成。F/E处理器8执行诸如降噪和放大模拟电荷信号之类的处理并将 信号转换为数字信号。尽管未在图l中示出，但是F/E处理器8包括用于对输入信号采样并保存所得到的采样值(样本保存)的CDS (相 关双采样)单元、用于执行放大处理的自动增益控制单元以及用于执 行模数转换的A/D (模拟/数字)转换单元。注意，F/E处理器8可以与图像摄取器件6设在同 一板上以形成采用列AD转换机制等的图像 传感器结构。信号处理器9对已被F/E处理器8转换为数字信号的物像信号执 行校正处理。这种校正处理取决于透镜1、光阑4、图像摄取器件6 等等。信号处理器9执行相机控制处理，例如AWB (自动白平衡) 处理、AE (自动曝光)处理和AF (自动聚焦)处理，以生成与被摄 物相对应的图像信号(亮度信号和色度信号)。信号处理器9由同步信号生成单元21、相机信号处理单元22、控 制操作处理单元23和分辨率转换单元24组成。同步信号生成单元21 生成水平和垂直同步信号以及各种时序信号。相机信号处理单元22 根据从系统控制器10送来的控制信号执行控制处理并生成与被摄物 相对应的图像信号。控制操作处理单元2 3执行用于控制物像信号所必 需的各种操作处理。分辨率转换单元24对与被摄物相对应的图像信号执行诸如分辨率转换和失真校正之类的处理。在信号处理器9中经过处理的图像信号被输送到视频信号处理器 (未示出)，该视频信号处理器利用诸如JPEG (联合图像专家组) 和MPEG (运动图像专家组)之类的压缩方案来执行图像压缩。存储器控制器11控制信号处理器9和存储器12之间的数据传输。 图像信号可以是从图像摄取器件6提供来的输入信号的形式(例如， 由R(红)、G(绿)和B(蓝)組成的原色信号，即原始数据)， 并且可以是亮度信号和色度信号的形式。存储器12是用于保存例如与 被摄物相对应的图像信号的存储装置。信号处理器9可以用集成电路(硬件)实现。系统控制器10可以 用CPU (中央处理单元)实现。图2是图示图1中所示的相机信号处理单元22的配置例子的框 图。相机信号处理单元22包括相机信号预处理部件41和相机信号后 处理部件42。相机信号预处理部件41包括帧操作处理部分51。相机信号预处理部件41利用从同步信号生成单元21(图l)送来 的各种同步信号对来自F/E处理器8的摄取的物像信号执行处理。这些处理包括校正阴影、噪声和像素缺陷，这些缺陷取决于透镜1、光阑4和图像摄取器件6。具体而言，当执行长曝光时间的多次曝光时， 帧操作处理部分51执行诸如帧加法和帧减法之类的帧运算。相机信号后处理部件42根据经相机信号预处理部件41处理的与 被摄物相对应的摄取图像信号来生成由亮度信号和色度信号组成的图 像信号。相机信号预处理部件41输出来自图像摄取器件6的输入信号 格式(原始数据格式)的图像信号，并且相机信号后处理部件42输出 亮度/色度信号格式的图像信号。这些输出信号经由存储器控制器11 (图1)被输送到存储器12 (图1)。图3是图示图2中所示的帧操作处理部分51的配置例子的框图。 帧操作处理部分51包括偏移减法部分71、帧加法部分72、桢减法部 分73和输出信号选择部分74。偏移减法部分71从提供自图像摄取器件6的输入图像信号中减去 预定的偏移信号分量，以抑制由于黑信号电平的增大而引起的灵敏度 的降低和动态范围的减小，这种黑信号电平的增大是由于尤其在长曝 光中生成的暗电流导致的。偏移减法部分71还经由存储器控制器11 接收存储在存储器12中的图像信号，并执行从接收自存储器12的图 像信号中减去偏移分量的另一减法操作。由偏移减法部分71实现的动 态范围減小的抑制原理将在下面描述。帧加法部分72对已经历了偏移减法部分71中的偏移减法的来自 图像摄取器件6和存储器12的输入图像信号中的每一个(来自图像摄 取器件6的输入图像信号被称为摄取器件输入图像信号，来自存储器 12的输入图像信号被称为存储器输入图像信号)执行多次曝光图像组 合处理。为了减小由于在长曝光时间的曝光(长曝光)中生成的暗电 流引起的固定图案噪声，帧减法部分73从输入自存储器的物像信号中 减去输入自图像摄取器件6的黑信号。黑信号是通过以下方式获得的 在执行与摄取物像所用的相同时长的曝光的同时，遮蔽来自被摄物的 图像摄取光。该处理减小了由暗电流引起的固定图案噪声。输出信号选择部分74从来自偏移减法部分71、帧加法部分72和帧减法部分73的输出信号中选择一个输出信号，并将所选的信号输出 到下游处理单元。现在将参考图4A和4B以及图5A和5B来描述如何利用偏移减 法部分71来抑制动态范围减小。图4A示意性地图示了在正常曝光情 况下(不是在长曝光情况下)入射到图像摄取器件6的光强和输出信 号电平。在正常曝光时，可以实现足够的动态范围，因为没有因暗电 流而引起的黑信号电平增大的影响。另一方面，如图4B所示，在长曝光时，由于暗电流导致黑信号 电平增大，并且因此输出信号的动态范围减小。为了避免长曝光中动 态范围的减小，在输出信号电平饱和之前的曝光期间执行从图像摄取 器件6读取信号的操作。然后，在从中减去与由于暗电流而增大的黑 信号电平相对应的偏移分量之后，所读取的信号被保存在存储器12 中。随后，在执行连续帧(从这些帧中已经减去了偏移分量)的曝光 和加法期间类似地进行读取。该处理可以充分抑制长曝光中动态范围 的减小。在图5A至5C中示意性地图示了以上处理。图5A和图5B图示 了与在曝光期间输出信号被读出的时间阶段(图5A和图5B)相对应 的输出信号的动态范围。通过执行从输出信号中减去偏移分量的操作 并执行帧加法(如图5C所示)，可以获得足够的输出信号的动态范 围，该动态范围与正常曝光中一样宽。下面将描述在根据本发明实施例的多次曝光操作中执行的处理。 在该描述之前，将描述在根据现有技术的多次曝光操作中通常执行的 处理，以澄清在根据本发明实施例的多次曝光中执行的处理和在根据 现有技术的多次曝光中执行的处理之间的差异。将参考图6A至图8B来描述在根据现有技术的多次曝光中执行的 处理。图6A示意性地图示了根据现有技术的相机信号处理系统(多 次曝光设备)的配置。如图6A所示，相机信号处理系统包括图像摄 取器件100、相机信号处理单元101、存储器控制器102以及存储器 103。图像摄取器件100、相机信号处理单元101、存储器控制器102 以及存储器103分别对应于在图1所示的根据本发明实施例的多次曝 光设备中的图像摄取器件6、相机信号处理单元22、存储器控制器ll 和存储器12。
然而，图1和图6A中所示的多次曝光设备在配置上是彼此不同 的。图1中所示根据本发明实施例的多次曝光设备具有一条含双通道 的总线，以用于相机信号处理单元22和存储器12之间的数据传输。 另外，设在存储器控制器11和存储器12之间的数据传输总线也包括 两个通道。另一方面，图6A中所示根据现有技术的多次曝光设备具 有一条含三通道的总线，以用于相机信号处理单元101和存储器控制 器102之间的数据传输。另外，设在存储器控制器102和存储器103 之间的数据传输总线也包括三个通道。
而且，图6A中所示根据现有技术的多次曝光设备没有配备与偏 移减法部分71 (图3)具有相同功能的处理部分，该偏移减法部分71 减去由于黑信号电平的增大而产生的偏移信号分量，该黑信号电平的 增大是由在长曝光中生成的暗电流导致的。
下面将描述根据现有技术的多次曝光设备在多次曝光中执行的处 理，以说明根据现有技术的多次曝光设备需要三通道总线的原因。
如图6B所示，在根据现有技术的多次曝光设备中，物像信号 RAW1被从图像摄取器件100读取，并经由存储器控制器102写入到 存储器103。然后，如图6C所示，在快门被释放的同时再次执行物像 信号RAW2的读取。所读取的信号被写入到存储器103中与已存储有 物像信号RAW1的区域不同的区域。此时，物像信号RAW1和RAW2 被存储在存储器103中。
当如上所述这两个图像被存储在存储器103中时，物像信号 RAW1和物像信号RAW2通过存储器控制器102被从存储器103读 出，如图7A所示。然后，对物像信号执行帧加法，并且在相机信号 处理单元101中生成组合图像信号(RAW1+RAW2)。组合图像信号 (RAW1+RAW2 )被存储在存储器103中与已存储有物像信号RAW1和物像信号RAW2的区域不同的区域。
这样，由于存储在存储器103中的两个物体图像信号被读取并且 组合图像信号被存储在存储器103中，因此多次曝光设备必须设有三 通道总线。
如上所述，在长曝光中，从图像摄取器件输入的黑信号被从输入 自存储器的物像信号(在以上情况下是RAW1和RAW2)中减去，黑 信号是通过在执行与摄取物像相同时长的曝光的同时遮蔽来自被摄物 的图像摄取光而获得的。该减法处理可以减小由暗电流引起的固定图 案噪声。
在减法处理中，如图7A所示，通过在执行与摄取物像(图6B) 时相同时长的曝光的同时遮蔽来自被摄物的图像摄取光而获得的黑信 号BLACK1被从图像摄取器件100输送出来。然后，黑信号BLACK1 经由存储器控制器102被写入到存储器103中与已存储有对应于被摄 物的组合图像信号(RAW1+RAW2)的区域不同的区域。
另外，如图7C所示，通过在执行与摄取物像时(图6C)相同时 长的曝光的同时遮蔽来自被摄物的图像摄取光而获得的黑信号 BLACK2被从图像摄取器件100读出，并被写入到存储器103中与已 存储有组合图像信号(RAW1+RAW2)和黑信号BLACK1的区域不 同的区域。
然后，如图8A所示，经由存储器控制器102从存储器103读出 黑信号BLACK1和黑信号BLACK2。相机信号处理单元101执行帧 加法以生成组合黑信号(BLACK1+BLACK2 )。组合黑信号 (BLACK1+BLACK2 )被存储在存储器103中与已存储有组合图像 信号(RAW1+RAW2)的区域不同的区域。
随后，如图8B所示，经由存储器控制器102从存储器103读出 组合图像信号(RAW1+RAW2 )和组合黑信号(BLACK1+BLACK2 )， 并且在相机信号处理单元101中执行帧减法。所得到的信号被设置为 最终的组合图像信号((RAW1+RAW2) - ( BLACK1+BLACK2 ))。 当以这种方式生成的最终组合图像信号((RAW1+RAW2 ) 一(BLACK1+BLACK2 ))被写入到存储器103时，最终生成了长曝 光下的多次曝光图像。
尽管在以上例子中通过复用两个图像信号(RAW1和RAW2)生 成了单个图像，但是也可以类似地通过复用多于两个的图像信号来生 成单个图像。也就是说，在正常图像摄取操作之后摄取黑图像，并且 黑图像被加到在正常图像摄取操作中摄取的图像以便生成复用图像。
在使用执行以上处理的根据现有技术的多次曝光设备的多次曝光 拍照方法中，很显然需要相当量的存储器容量。在以上多次曝光拍照 处理中，需要用于至少三帧的存储器容量以获得最终的多次曝光图像。 因此，随着多次曝光中曝光数(组合图像数)的增大，必需的帧数也 增大。因此，可能需要增大的存储器大小。
另外，由于根据曝光数在存储器103中存储图像信号，因此处理 性能可能恶化并且处理时间可能增加。另外，在诸如在相机信号处理 单元IOI中执行的帧加法和帧减法之类的操作中，使用了具有三通道 的数据传输总线 一个用于写入到存储器103，另两个用于从存储器 103读取，这可能增大存储器带宽。
此外，在长曝光中，随着由暗电流引起的黑信号电平的增大，输 出信号的动态范围减小。利用根据现有技术的方法，可以通过从存储 器输入物像信号中减去摄取器件输入黑信号来减小增大的黑信号电 平，该摄取器件输入黑信号是通过在执行与摄取物像时相同时长的曝 光的同时遮蔽来自被摄物的图像摄取光而获得的。然而，该方法可能 不能使动态范围变大。
下面将描述根据本发明实施例要执行的与多次曝光操作有关的处 理。图9A图示了图1所示的多次曝光设备中对于下面的描述来说必 需的一部分。如上所述，双通道总线被用于相机信号处理单元22和存 储器控制器ll之间的数据通信，并且双通道总线也被用于存储器控制 器11和存储器12之间的数据通信。下面将描述由根据本发明实施例 具有双通道总线的多次曝光设备在多次曝光中执行的处理。
如图9B所示，从图像摄取器件6读出在正常图像摄取操作中获得的物像信号RAW1。该物像信号RAWl经由存储器控制器11被写 入到存储器12。
特别在长曝光中，在输出信号电平饱和之前的曝光期间执行从图 像摄取器件6读取信号的操作。然后，在帧操作处理部分51中的偏移 减法部分71 (图3)从中減去与由于暗电流而增大的黑信号电平相对 应的偏移分量之后，所读取的信号被写入到存储器12。
随后，如图9C所示，在快门仍然被释放并且从图像摄取器件6 读出物像信号RAW2的同时再次执行物像的正常摄取操作。与读取同 时地，经由存储器控制器11从存储器12读出先前已获得并存储的物 像信号RAW1，并将其输送到相机信号处理单元22。物像信号RAW1 和物像信号RAW2被输送到相机信号处理单元22的帧操作处理部分 51 (图3)。
在帧操作处理部分51中，帧加法部分72执行帧加法以生成组合 图像信号(RAW1+RAW2)。该組合图像信号(RAW1+RAW2)经 由存储器控制器11被写入到存储器12。
特别在长曝光中，在输出信号电平饱和之前的曝光期间执行从图 像摄取器件6读取信号的操作。然后，在帧操作处理部分51中的偏移 减法部分71 (图3)从中减去与由于暗电流而增大的黑信号电平相对 应的偏移分量之后，所读取的信号被写入到存储器12。注意，组合图 像信号(RAW1+RAW2)可以被写入到与物像信号RAW1相同的存 储区域。
随后，如图10A所示，从图像摄取器件6读出黑信号BLACK1， 该黑信号BLACK1是通过在执行与(图9B)摄取物像所用的相同时 长的膝光的同时遮蔽来自被摄物的图像摄取光而获得的。与读取同时 地，经由存储器控制器11从存储器12读出组合图像信号 (RAW1+RAW2)。所读取的黑信号BLACK1和组合图像信号 (RAW1+RAW2)都被输送到帧操作处理部分51。
然后，帧操作处理部分51利用帧减法部分73执行帧减法以生成 组合图Y象信号(RAW1+RAW2-BLACK1)。也就是说，帧减法部分73从组合图像信号(RAW1+RAW2 )中减去黑信号BLACK1并将所 得到的信号输出到输出信号选择部分74。输出信号选择部分74选择 从帧减法部分73输入的信号并将所选的信号输出到存储器控制器11。 通过该处理，从组合图像信号(RAW1+RAW2 )中减去黑信号 (BLACK1)得到的组合图像信号(RAW1+RAW2-BLACK1)被写 入到存储器12。
特别在长曝光中，在输出信号电平饱和之前的曝光期间执行从图 像摄取器件6读取信号的操作。然后，在帧操作处理部分51中的偏移 减法部分71从中减去与由于暗电流而增大的黑信号电平相对应的偏 移分量之后，所读取的信号被写入到存储器12。注意，组合图像信号 (RAW1+RAW2-BLACK1 ) 可以被写入到与物像信号 (RAW1+RAW2 )相同的存储区&戈。
另外，如图10B所示，通过在执行与(图9C)摄取物像所用的 相同时长的曝光的同时遮蔽来自被摄物的图像摄取光而获得的黑信号 BLACK2被从图像摄取器件6读出。与读取同时地，通过存储器控制 器11从存储器12读出组合图像信号(RAW1+RAW2-BLACK1)。 所读取的黑信号BLACK2和组合图像信号(RAW1+RAW2-BLACK1) 被输送到帧操作处理部分51。
帧操作处理部分51利用帧减法部分73执行帧减法以生成组合图 像信号((RAW1+RAW2) - (BLACK1+BLACK2))，并将该組 合图像信号输出到输出信号选择部分74。输出信号选择部分74选择 从帧减法部分73输入的信号并将所选的信号输出到存储器控制器ll。 通过该处理，从组合图像信号(RAW1+RAW2-BLACK1)中减去黑 信号(BLACK2 )得到的組合图像信号((RAW1+RAW2 )-(BLACK1+BLACK2 ))被写入到存储器12。
通过执行以上处理，作为长曝光中的最终多次曝光图像信号的组 合图像信号((RAW1+RAW2) 一 (BLACK1+BLACK2))被存储 在存储器12中。
特别在长曝光中，在输出信号电平饱和之前的曝光期间执行从图像摄取器件6读取信号的操作。然后，在帧操作处理部分51中的偏移 减法部分71从中减去与由于暗电流而增大的黑信号电平相对应的偏 移分量之后，所读取的信号被写入到存储器12。注意，组合图像信号 ((RAW1+RAW2) — (BLACK1+BLACK2))可以被写入到与存 储有组合物像信号(RAW1+RAW2-BLACK1 )的区域相同的存储区 域。
如上所述，在根据本发明实施例的多次曝光设备和多次曝光设备 中执行的处理中，为了获得最终多次曝光图像，仅至少一帧的存储器 容量是必需的。因而，可以实现所必需的存储器容量的减小。例如， 在图9C所示的例子中看出，物像信号RAW1和组合图像信号 (RAW1+RAW2)被存储在存储器12中。然而，组合图像信号 (RAW1+RAW2)可以在物像信号RAW1被读出之后被写入到已存 储有物像信号RAW1的区域。因此，只要在存储器12中设有仅仅一 帧的存储器容量，就可以执行以上处理。
另外，即使当多次曝光中的曝光数(组合图像数)增大时，也没 有必要增大帧存储器。以上例子示出了两次执行曝光的情况。然而， 即使在多于两次执行曝光的情况下，对于处理来说也仅一帧的存储器 容量是必需的，这是因为存储的信号被读出并且新生成的信号被写入 到存储有读取信号的区域。
而且，与从图像摄取器件读取图像信号同时地，对从存储器12 读取的图像信号执行诸如帧加法和帧减法之类的帧操作处理。因而， 没有必要根据曝光数保存图像信号，并且因而可以抑制处理性能的恶 化(处理时间的增加)。
另外，在帧操作(例如参考图9C、图IOA和图IOB描述的操作) 中，仅有承载两个通道(一个用于写入到存储器12， 一个用于从存储 器12读取)的数据总线被用于相机信号处理单元22和存储器12之间 的数据传输。因而，可以减小存储器带宽。
此外，在长曝光中，在输出信号电平饱和之前 曝光期间执行从 图像摄取器件6读取信号的操作，并且帧操作处理部分51中的偏移减法部分71从读取信号中减去与由于暗电流而增大的黑信号电平相对 应的偏移分量。这可以抑制输出信号的动态范围的减小。
现在，将参考图ll描述用于节省存储器12的容量的多次曝光设 备的另一种配置。除了图1所示的多次曝光设备的组件以外，图11 中所示的多次曝光设备设有在相机信号处理单元22和存储器控制器 11之间的原始数据压缩/解压缩单元151。
该原始数据压缩/解压缩单元151具有压缩部分和解压缩部分，压 缩部分用于压縮所谓的原始数据形式(例如，由R (红)、G (绿) 和B(蓝)组成的原色信号)的来自图像摄取器件6的输入信号格式 的数据，解压缩部分用于将从存储器12送来的压缩信号解压缩为原始 数据。
该原始数据压缩/解压缩单元151将原始数据信号的字长压缩和解 压缩为固定长度或可变长度。例如，原始数据压缩/解压缩单元151将 每一像素12比特的字长压缩为8比特。
固定或可变长度的原始数据的压缩和解压缩可以采用例如在曰本 未实审专利申请公布No. 2007-228515中公开的技术来执行。
当采用图11中所示的配置来执行经由存储器控制器11向存储器 12写入信号或者从存储器12读取信号的操作时，原始数据信号被原 始数据压缩/解压缩单元151压缩或解压缩。这表明存储在存储器12 中的图像信号的大小小于原始数据信号的大小。因而，通过提供原始 数据压缩/解压缩单元151，可以实现存储器12的存储器容量的进一步 节省。
除了由原始数据压缩/解压缩单元151执行的要提供给存储器12 的信号的压缩和从存储器12提供来的信号的解压缩以外的处理与涉 及参考图9A至19B所描述的多次曝光的处理类似地执行，并且因而 其描述将被省略。由于执行参考图9A至10B所描述的处理，因此很 明显即使当采用原始数据压缩/解压缩单元151时，也可以实现上述的 各种效果。
下面将参考图12中所示的流程图描述在根据本发明实施例的多次曝光中执行的处理过程。
在步骤SIOO，确定在图像摄取器件6中设置的曝光模式是正常曝 光模式还是来自被摄物的图像摄取光被遮蔽的遮蔽模式。当在步骤 S100中曝光模式被确定为不是正常曝光(曝光模式被确定为是遮蔽模 式)时，过程进行到步骤SlOl。在步骤S101,快门闭合以遮蔽来自
被摄物的图像摄取光，并且执行与正常曝光中相同时长的曝光。该处
理对应于获得黑信号BLACK1的处理或者获得黑信号BLACK2的处 理(分别参考图IOA和图IOB描述)。
另一方面，如果在步骤S100中曝光模式被确定为是正常模式，或 者当步骤S101中的全黑曝光的处理完成时，处理过程进行到步骤 S102。在步骤S102，确定在图像摄取器件6中设置的曝光模式是否是 长曝光模式。如果在步骤S102中曝光模式被确定为是长曝光模式，则 处理过程进行到步骤S103。在步骤S103，在输出信号电平饱和之前 的曝光期间执行从图像摄取器件6读取信号的操作。然后，在步骤 S104，帧操作处理部分51的偏移减法部分71执行从读取自图像摄取 器件6的信号中减去与由于暗电流而增大的黑信号电平相对应的偏移 分量的减法操作。
另一方面，如果在步骤S102中曝光模式被确定为不是长曝光模 式，则在步骤S105执行从图像摄取器件6正常读取信号的操作。正常 读取指的是在曝光期间不从图像摄取器件6读取信号的读取处理。
当步骤S104的处理或者步骤S105的处理完成时，处理过程进行 到步骤S106。在步骤S106，确定要处理的帧数，并且还确定正处理 的帧是否是第一帧。如果被处理的帧被确定为不是第一帧，则处理过 程进行到步骤S107。在步骤S107,再次执行对在图像摄取器件6中 设置的曝光模式的确定。如果在步骤S107中曝光模式被确定为是正常 曝光模式，则处理过程进行到步骤S108。
在步骤S108，帧加法部分72执行帧加法以生成组合图像信号。 该处理例如对应于参考参考图9C所描述的处理，其中复用的物像信 号(RAW1和RAW2)被加在一起。在图12的流程图中，通过从步骤S100至步骤S107的过程从图像摄取器件6获得了物像信号，通过 直到步骤S115为止的过程(这将在下面描述)从存储器12获得了物 像信号，并且这些物像信号在步骤S108中被加在一起。
另 一方面，如果在步骤S107中曝光模式被确定为不是正常曝光模 式(即，曝光模式被确定为是遮蔽模式)，则处理过程进行到步骤S109。 在步骤S109，帧减法部分73执行帧减法以生成组合图像信号。该处 理例如对应于图10A中所示的处理或者图10B中所示的处理。在参考 图10A所描述的处理中，从组合图像信号(RAW1+RAW2)中减去 黑信号BLACK1，并且生成组合图像信号(RAW1+RAW2-BLACK1 )。 根据图12中的流程图，黑信号是通过从步骤S100到S107的过程从 图像摄取器件6获得的，组合图像信号是通过直到步骤S115为止的过 程(这将在下面描述)获得的，并且在步骤S109中对这些信号执行减 法。
另一方面，如果在步骤S106中确定正处理的帧是第一帧，则处理 过程进行到步骤SllO。步骤S110的处理也是在步骤S108的处理或者 步骤S109的处理完成之后执行的。在步骤S110，输出信号选择部分 74从输出自偏移减法部分71、帧加法部分72和帧减法部分73的信号 中选择一个输出信号，并将所选的信号输出到存储器控制器11。在该 步骤S110的选择处理中，当它是紧接着步骤S106的处理之后执行的 时，输出信号选择部分74选择来自偏移减法部分71的输出信号。当 步骤S110的处理是紧接着步骤S108或步骤S109的处理之后执行的 时，输出信号选择部分74分别选择来自帧加法部分72或帧减法部分 73的输出信号。
当采用图11中所示被配置为具有原始数据压缩/解压缩单元151 的多次曝光设备时，在步骤Slll，对由输出信号选择部分74选择的 原始数据信号执行压缩处理。然后，在步骤S112，压缩信号经由控制 器11被写入到存储器12。
在步骤S113,确定多次曝光操作是否终止。如果在步骤S113中 确定还未执行预定数目的曝光，则处理过程返回到步骤S100以重复步骤S100及其后的处理过程。在重复从步骤S100起的处理的同时，执 行步骤S114及其后的处理。通过重复从步骤S100起的处理过程从图 像摄取器件6获得物像信号或黑信号，并且同时，通过执行步骤S114 及其后的处理从存储器12读取信号。也就是说，在步骤S114经由存 储器控制器11从存储器12读取原始数据信号，并且在步骤S115原始 数据压缩/解压缩单元151对从存储器12读取的原始数据信号进行解 压缩。
解压缩后的信号被输入到帧操作处理部分51。然后，在步骤S107 确定曝光模式，并执行预定的帧操作处理。以上处理被重复，直到已 执行了预定数目的曝光为止。
另一方面，如果确定已执行了预定数目的曝光并且因而多次曝光 处理完成，则处理过程终止。
如上所述，根据本发明的实施例，为了获得最终多次曝光图像， 仅至少一帧的存储器容量是必需的。因而，可以实现存储器容量的节 省。另外，即使当曝光数(组合图像数)增大时，也没有必要增大帧 存储器。通过采用原始数据压缩/解压缩单元151，可以实现存储器容 量的进一步节省。
而且，与从图像摄取器件6读取信号同时地，对从存储器12读出 的图像信号执行帧操作处理。因而，由于没有必要根据多次曝光中的 曝光数在存储器12中保存读取的图像信号，因此可以防止处理性能的 恶化(处理时间的增加)。
另外，在以上 帧操作处理中，仅承载两个通道(一个用于写入到 存储器12， 一个用于从存储器12读取)的数据总线被用于存储器12 和相机信号处理单元22之间的数据传输。因而，可以实现存储器带宽 减小的处理。
此外，在长曝光中，在输出信号电平饱和之前的曝光期间执行从 图像摄取器件读取信号的操作，并且帧操作处理部分51中的偏移减法 部分71从读取信号中减去与由于暗电流而增大的黑信号电平相对应 的偏移分量。因此，可以抑制输出信号的动态范围的恶化。尽管本发明实施例的以上例子图示了两次曝光(两帧)的情况， 但是即使在具有三次或更多次曝光的多次曝光的情况下也可以实现类 似效果。
在本发明实施例的以上例子中，信号处理器9由集成电路(硬件) 构成。然而，上述组件中的全部或一些可以利用计算机等实现为软件。 同样在这种情况下，可以实现与以上例子中类似的效果。
当处理过程由软件执行时，构成软件的程序被从程序记录介质安 装到专用硬件中结合的计算机中，或者安装到能够通过安装各种程序 来执行各种功能的通用个人计算机中。
图13是图示用于根据程序执行以上处理过程的个人计算机的硬 件配置的框图。
在个人计算机中，CPU (中央处理单元)201、 ROM (只读存储 器)202和RAM (随机访问存储器)203经由总线204互连。
总线204还连接到输入/输出接口 205。输入/输出接口 205连接到 由键盘、鼠标、麦克风等构成的输入单元206，由显示器、扬声器等 构成的输出单元207，由硬盘、非易失性存储器等构成的存储单元208， 由网络接口等构成的通信单元209，以及用于驱动可移动介质211 (例 如磁盘、光盘、磁光盘和半导体存储器)的驱动器210。
在具有以上配置的计算机中，CPU 201例如经由输入/输出接口 205和总线204将存储在存储单元208中的程序加载到RAM 203，从 而执行以上处理过程。
要由计算机(CPU 201)执行的程序被存储在用作封装介质的可 移除介质211中，例如磁盘(包括柔性盘)、光盘(包括CD-ROM (致 密盘-只读存储器)、DVD(数字多功能盘))、磁光盘和半导体存储 器。或者，该程序可以通过有线或无线传输(例如局域网、因特网和 数字卫星广播)来提供。
当可移除介质211被安装在驱动器210中时，程序可以通过输入/ 输出接口 205被安装到存储单元208中。程序还可以通过有线或无线 传输介质被通信单元209接收，然后被安装在存储单元208中。或者，程序可以被预先安装在ROM 202或存储单元208中。
要由计算机执行的程序可以根据上述处理序列按时间顺序执行，
或者可以并行执行。程序也可以在必要时(例如响应于调用)执行。 在本说明书中，术语"系统"指由多个组件构成的整个装置。 本申请包^^与2008年8月27日向日本专利局提交的日本在先专
利申请JP 2008-218010有关的主题，上述申请的全部内容通过引用而
结合于此。
应当理解，可以进行各种修改，而不脱离本发明的范围。
权利要求
1.一种图像摄取装置，包括帧操作装置，被配置为当通过将单个帧多次曝光于来自单个物体或多个物体的光并且叠加多个图像来生成组合图像时，对该帧执行加法或减法；以及存储装置，被配置为存储所述帧操作装置执行操作的结果，其中一条数据总线被设在所述帧操作装置和所述存储装置之间，该总线包括两个通道，一个通道用于写入到所述存储装置，另一个通道用于从所述存储装置读取。
2. 如权利要求l所述的图像摄取装置，其中所述帧操作装置包括偏移减法装置，被配置为从提供自图像 摄取器件的信号中减去预定的偏移信号分量。
3. 如权利要求2所述的图像摄取装置，其中在所述图像摄取器件的输出信号电平饱和之前的曝光期间执 行从所述图像摄取器件读取信号的操作，并且所述偏移减法装置执行从读取自所述图像摄取器件的信号中減去偏移信号分量的操作。
4. 如权利要求l所述的图像摄取装置，其中提供自所述帧操作装置的原始数据格式的信号被压缩然后被 存储在所述存储装置中，并且提供自所述存储装置的压缩信号被解压 缩为原始数据格式然后被提供给所述帧操作装置。
5. 如权利要求l所述的图像摄取装置，其中，在帧加法和帧减法中，所述帧操作装置与从所述图像摄取 器件读取同时地对从所述存储装置读取的图像执行帧操作处理。
6. —种用于图像摄取装置的图像摄取方法，所述图像摄取装置至 少包括图像摄取器件、被配置为存储来自所述图像摄取器件的信号的 存储装置、以及被配置为利用来自所述图像摄取器件的信号和存储在 所述存储装置中的信号执行操作的操作装置，该方法包括以下步骤在所述存储装置中存储信号，该信号是在预定被摄物的图像被摄取时从所述图像摄取器件获得的；当从所述图像摄取器件获得另一信号时，所述操作装置 读取存储在所述存储装置中的信号，将所述另一信号加到所读取的存储在所述存储装置中的信 号，以及将相加结果存储在所述存储装置中； 在相加操作被重复预定次数之后，所述操作装置获得来自所述图像摄取器件的黑信号，该黑信号是通过执行 与获得所述信号所用的曝光时间相同时长的曝光而获得的，读取存储在所述存储装置中的信号，从该信号中减去所述黑信号，以及将减法结果存储在所述存储装置中；以及 重复该减法操作预定次数。
7. 如权利要求6所述的图像摄取方法，还包括从提供自所述图像 摄取器件的信号中减去预定偏移信号分量的步骤。
8. 如权利要求7所述的图像摄取方法，其中在所述图像摄取器件的输出信号电平饱和之前的曝光期间执 行从所述图像摄取器件读取信号的操作，并且执行从读取自所述图像 摄取器件的信号中减去偏移信号分量的操作。
9. 一种使得图像摄取装置执行处理的计算机可读程序，所述图像 摄取装置至少包括图像摄取器件、被配置为存储来自所述图像摄取器 件的信号的存储装置、以及被配置为利用来自所述图像摄取器件的信 号和存储在所述存储装置中的信号执行操作的操作装置，该处理包括 以下步骤在所述存储装置中存储信号，该信号是在预定被摄物的图像被摄 取时从所述图像摄取器件获得的；当从所述图像摄取器件获得另一信号时，所述操作装置 读取存储在所述存储装置中的信号，将所述另 一信号加到所读取的存储在所述存储装置中的信号，以及将相加结果存储在所述存储装置中； 在相加操作被重复预定次数之后，所述操作装置获得来自所述图像摄取器件的黑信号，该黑信号是通过执行 与获得所述信号所用的曝光时间相同时长的曝光而获得的，读取存储在所述存储装置中的信号，从该信号中减去所述黑信号，以及将减法结果存储在所述存储装置中；以及 重复该减法操作预定次数。
10. —种记录使得图像摄取装置执行处理的计算机可读程序的记 录介质，所述图像摄取装置至少包括图像摄取器件、被配置为存储来 自所述图像摄取器件的信号的存储装置、以及被配置为利用来自所述 图像摄取器件的信号和存储在所述存储装置中的信号执行操作的操作 装置，该处理包括以下步骤在所述存储装置中存储信号，该信号是在预定被摄物的图像被摄 取时从所述图像摄取器件获得的；当从所述图像摄取器件获得另一信号时，所述操作装置 读取存储在所述存储装置中的信号，将所述另一信号加到所读取的存储在所述存储装置中的信 号，以及将相加结果存储在所述存储装置中； 在相加搡作被重复预定次数之后，所述操作装置获得来自所述图像摄取器件的黑信号，该黑信号是通过执行 与获得所述信号所用的曝光时间相同时长的曝光而获得的，读取存储在所述存储装置中的信号，从该信号中减去所述黑信号，以及 将减法结果存储在所述存储装置中；以及 重复该减法操作预定次数。
11. 一种图傳4聂取装置，包括帧操作单元，被配置为当通过将单个帧多次曝光于来自单个物体 或多个物体的光并且叠加多个图像来生成组合图像时，对帧执行加法或减法；以及存储单元，被配置为存储所述帧操作单元执行操作的结果， 其中一条数据总线被设在所述帧操作单元和所述存储单元之间，该总线包括两个通道， 一个通道用于写入到所述存储单元，另一个通道用于从所述存储单元读取。
全文摘要
本发明公开了图像摄取装置、图像摄取方法、程序和记录介质。该图像摄取装置包括被配置为执行帧加法和帧减法的帧操作单元以及被配置为存储帧操作单元的操作结果的存储单元。包括两个通道的数据总线被设在帧操作单元和存储单元之间，一个通道用于写入到存储单元，另一个通道用于从存储单元读取。
文档编号H04N5/243GK101662593SQ20091016019
公开日2010年3月3日 申请日期2009年7月30日 优先权日2008年8月27日
发明者大槻博树 申请人:索尼株式会社