图像捕捉设备及方法

专利名称：图像捕捉设备及方法
技术领域：
本发明涉及一种图像捕捉设备以及图像捕捉方法，包括但不 限于能同时对静态活动图像及动态图像(电影)进行捕捉的设备 与方法。
背景技术：
电子照相机大体分为两种类型静态照相机与视频照相机。 然而，现有一些照相才几是两种照相才几的组合，例如， 一些"视》 频"照相机既可捕捉电影，也可捕捉静态图像。
另一方面， 一些静态照相机也具有"电影"拍摄功能，能捕 捉一系列有序的图片，这些图片能像电影一样连续播放。本发明 主要涉及(但不限于)后者。
电子照相机大多具有一个图像捕捉设备或传感器，该传感器 具有排列成阵列的感光探测器或图像元素(像素)，活动图像或 电影的捕捉可通过记录传感器探测到的连续图像实现。
连续图像捕捉的速度(帧率)取决于传感器尺寸的大小(也 就是阵列中像素的数量)，而这又受限于传感器数据读取(以数 字方式)的速度。高速地从图像传感器中读取信息将产生噪声 (读噪声)，降低图像信号的质量。因此，如果传感器像素较 大，帧率大多很慢。像素较少的小传感器具有较快的帧率，但图 像的分辨率将相应地降低。

发明内容
本发明的目的是提供一种减少上述技术缺陷的图像捕捉设备 以及图像捕捉方法。本发明提供一种图像捕捉设备，其设有包括一个工作区域的 传感器，该工作区域具有多个像素，每一像素具有表示该像素曝 光时形成的有用数据，并设有一个用于存储每一像素形成数据的 数据存储器，所述多个像素组成多个像素模块，所述图像捕捉设 备可用于捕捉多张时间分离的低分辨率图像，每一低分辨率图像 包含从取自不同像素模块的数据。
本发明允许一 系列时间分离的低分辨率图像嵌入到高分辨率 的图像中，这些嵌入的低分辨率图像能像电影一样连续播放，或 者将低分辨率图像的数据组合形成一张高分辨率图像，因此，该 设备能同时捕捉电影及静态图像。该设备捕捉图像的帧率远高于 目前同等传感器设备所能达到帧率，虽然这些低分辨率图像的空 间分辨率低于高分辨率图像，但仍能满足多种场合的需求，分辨 率与帧率之间的平衡可以容易地调节。并且，静态图像的捕捉不
会造成空间分辨率的损失，且不会增加对设备数据存储容器容量 增加的需求。
优选地，图像捕捉设备能组合所述多张低分辨率图像的数据 来形成一 张高分辨率图像。
优选地，至少 一个像素模块基本包括传感器内全部工作区域 的像素，这样，由一个像素模块生成每一低分辨率图像将会是一 张全帧图像。相对应地，至少一个像素模块包含的像素少于传感 器内全部工作区域，这允许设备以不同的空间分辨率及时间分辨 率对画面中不同部分进^亍li/像，这可应用在特定的安全照相4几或 机器人系统中。
图像捕捉设备可包括一个具有多个快门元件的快门阵列，每 一快门元件用于控制一个像素的曝光。当然，每一快门元件可控 制多于 一个像素的曝光，该快门元件的面积将大于每一像素的面
6积。当然，每一快门元件的面积也可小于一个^f象素的面积，每一 像素的曝光由多个快门元件控制。
快门阵列可具有多个可变透明度或可变反射率的快门元件。 快门阵列可安装在传感器的工作区域上或在传感器前(优选地， 在快门阵列与传感器之间设置聚焦设备)。
快门元件可设置反射4 ，以朝向i背:传感i方向传导或反射光线。
优选地，图像捕捉设备设置控制设备以控制快门阵列的工 作，例如，可控制传感器内所有像素划分成像素模块的数量、每 一像素模块的曝光时间以及与曝光相关的时间、设备的工作模式 (例如，电影/静态模式或全静态模式)。控制设备可驱动快门 元件以预定的或随才几的或半随4几方式工作，该半随才几方式能纟皮解 码并可用于还原高速的图像序列。控制设备还可用于控制一种可 选的工作模式，在该工作模式下，所有快门元件被同时驱动。
在另 一个优选地实施例中，每一像素均与 一个电荷存储设备 连接，每一像素上的电荷能转移至电荷存储设备上，图像捕捉设 备还设置一个用于控制电荷转移的控制设备以捕捉所述时间分离 的低分辨率图像。按照这样的设置，图像捕捉设备不需要设置快 门阵列，可简化i殳备的结构。
本发明还提供一种具有上述任一权利要求所述图像捕捉设备 的照相机，该照相机还设有一个用于聚焦光线到传感器工作区域
的透4竟。
照相机可以设置一个用于显示所捕捉的图像的显示装置，该 显示装置可以显示一张高分辨率图像或连续的低分辨率图像。当然，照相机包括一个控制设备以控制像素模块的曝光时间。
根据本发明的另一个方面，还提供一种图像捕捉方法，该方 法应用 一种具有传感器的图像捕捉设备实现，该传感器具有包括 多个像素的工作区域，该方法包括曝光传感器，存储每一像素曝 光时形成的数据，并捕捉多张时间分离的低分辨率图像，其中， 所述多个像素组成多个像素模块，每一低分辨率图像包含取自不 同像素模块的数据。
并且，该方法包括顺序地曝光多个像素模块，优选地以预定 的或随机的或半随机的顺序曝光。当然，多个像素模块还可以同 时曝光，以捕捉一张高分辨率的运动模糊较少的静态图像。
并且，该方法包括将每一像素上的电荷转移至电荷存储设备 并使所存储的电荷数字化的步骤。
该方法还包括组合多张低分辨率图像的数据形成高分辨率图 像，优选地，显示该高分辨率图像。
该方法还可以包括播放连续的时间分离的低分辨率图像。
下面结合附图以及实施例详细说明本发明。


图1是本发明图像捕捉设备第 一实施例示意主视图2是图像捕捉设备局部放大主视图3是图2中图像捕捉设备快门元件曝光时间的时序表；
图4是图像捕捉设备捕捉图像的顺序图表；
图5是图像捕捉设备的主视图，图中显示操作顺序的一个实
施例；图6是本发明图像捕捉设备第二实施例光学设置的示意侧视
图7是本发明图像捕捉设备第三实施例光学设置的示意侧视
图8是本发明图像捕捉设备第四实施例光学设置的侧视图9是本发明图像捕捉设备第五实施例局部主视图10是本发明图像捕捉设备第六实施例局部放大主视图11是具有本发明图像捕捉设备的照相机结构示意框图。
具体实施例方式
图1至图4显示了本发明第一实施例的图像捕捉设备，图像 捕捉设备2具有传感器4,传感器4设有一个工作区域，该工作 区域包含排列成正方形阵列的图像元素(像素)6。传感器4可 以是CCD、 CMOS设备或类似的设备。本实施例中，传感器4是一 个具有百万像素的CCD设备，其包括一个正方形的阵列，阵列具 有1000像素的横向宽度以及1000像素的纵向宽度。传感器可以 大于或小于该尺寸，并具有不同的长宽比例，且像素可排列成多 种不同的形状。
位于传感器4正前方的是电子快门设备8，其具有与像素尺 寸大小相等的快门元件10的阵列。快门元件10被排列成与传感 器4的像素6相匹配的形状，以便每一快门元件控制其正后方的 像素的曝光。因此，本实施例的快门设备8具有一百万个快门元 件IO,排列成1000 x 1000的阵列，每一快门元件10可被单独地 驱动或与一个或多个其他快门元件一起驱动以曝光位于其后方的 像素6。
本实施例中，快门设备8由铁电液晶设备构成，该铁电液晶 设备包括排列成阵列的液晶单元，每一液晶单元可根据电压控制
9变得透明或不透明，这让快门元件10可快速地工作。由于该机 构没有移动部件，因此其工作可靠。当然，其他可被电子式地控 制且需要提供必须的像素电平的快门机构也可以用于本发明。
通常，快门设备8具有A个快门元件，并划分成N个模块， 我们定义为模块1、模块2……模块N,每一模块具有A/N个快门 元件。本实施例中，快门设备具有一百万个快门元件(A)以及 四个模块(N),每一模块具有250, 000个快门元件。像素6位 于像素模块对应的快门元件10后方。
不同模块的快门元件10排列组成快门组12，每一快门组具 有每一模块的一个快门元件。如图2所示的，本实施例中，每一 快门组12具有四个排列成正方形的快门元件10,包括位于左上 角的模块1的快门元件IOA、位于右上角的模块2的快门元件 IOB、位于左下角的模块3的快门元件10C以及位于右下角的模 块4的快门元件IOD。快门i殳备8具有250, 000个这样的快门 组。像素也类似地排列形成像素模块以及像素组，每一像素组包 括每一像素模块的一个像素。像素组基本覆盖传感器4所有工作 表面，因此，每一像素模块具有取自传感器4几乎所有工作区域
的像素。
每一模块的快门元件相互间均电连接，以便在控制电路的控 制下该模块的所有快门元件同时开启或关闭。本实施例中，四个 快门模块按图3所示的顺序依次开启。
可见，快门模块1开启时间为0. 25秒，接着模块2在接下 来的0. 25秒内开启，然后模块3再开启0. 25秒，最后模块4在 第四个0.25秒内开启。因此，所有模块的总工作时间Ti为1.0 秒，每一像素的曝光时间即为Ti/N (本实施例中为0. 25秒)。
每一曝光时间内，位于开启的快门元件下方的像素在光线下 曝光。然而，像素并不是同时曝光的，而是随着相对应的快门元件开启与关闭被依次曝光。因此，位于模块1的快门元件后方的
像素在第一个0.25秒内曝光，然后依次是位于^t块2、 3、 4的 快门元件后方的像素。
曝光时间内，伴随每一像素表面的光子;^丈电，每一像素将产 生一定量的电荷。在总的工作时间Ti后，所有像素上的电荷将 被数字化，并且数字化后的图像数据将从传感器4转移至存储i殳备。
存储的图像数据可被显示成动态图像(电影)或一张静态图 像，当显示成电影时，每一像素模块的图像数据将形成一张独立 的图像。因此，如图4所示的，图像1是由像素模块1内所有像 素捕捉的图像数据形成，其表示光线在第一个0.25秒内入射到 传感器时形成的图像。图像2是由像素模块2内所有像素捕捉的 图像数据形成，其表示光线在第二个0.25内入射到传感器时形 成的图像，图像3与图像4也类似地形成。四张图像将依次显 示，就像一个四帧的视频。所显示的低分辨率图像内的每一像素 的位置将发生移动，这是因为采集数据的像素位置发生轻微的变 化。电影中的每帧图像具有250， 000像素，这是传感器最高分 辨率的四分之一。我们这里定义低分辨率(lo-res)图像是区別 于使用所有像素形成的高分辨率(hi-res)图像。
如果需要播放连续 的视频，则可重复一次或多次上述操作， 以每Ti秒获取一组数据的速度捕捉多组数据，并按顺序依次播 放所捕捉的低分辨率图像。
若需要显示一张静态图像，传感器上的所有像素形成的数据 将合成一张全帧的高分辨率图像。本实施例中，该图像是一百万 像素的，这可通过组合四张低分辨率图像的数据来实现形成一 张 高分辨率的图像。每一模块的像素不一定需要按照如图2所示的规则形状排 列，可以应用一个数字图案来实现快门组内像素的随机排列，该 数字图案可以由随机数生成器生成，使用者输入一个源参数，随
机数生成器重新排列曝光组内每一像素的位置。如图5所示，假 设一个具有4方阵的6 x 6的像素集内，每一像素组具有4个像 素。数字图案生成一个重新排列的序列，用于在前述的总工作时 间内曝光像素组内的所有像素，但像素的曝光时间被重新排序。
图2中，未重新排序的序列((1,2,3,4)， (1,2， 3， 4)， (1,2, 3,4)….)表示位于第一快门组左上角的像素6A曝光时间在 0-0.25秒之间，位于第一快门组右上角的像素6B曝光时间在 0.25-0.5秒之间，如此类推。由于操作按照预定的模型重复进 行，每一像素组的曝光时间相同。
相反地，图5所示的重新排序后的序列((3,2，1，4)， (4，1，2, 3)， (2，3，1,4)…)表示第一快门组左上角的像素6A曝光 时间在0. 5-0. 75秒之间，第一快门组右上角的像素6B的曝光时 间在0. 25-0. 5秒之间，第一快门组左下角的像素6C曝光时间在 0-0.25秒之间，第一快门组右下角的像素6D曝光时间在0.75-l.O秒之间。第二曝光组具有不同顺序的曝光时间第二快门组 左上角像素的曝光时间在0.75-1.0秒之间，第二快门组右上角 像素的曝光时间在0-0.25之间，如此类推。此外，这些时序不 会在连续的帧上重复出现从0至1秒的曝光模型与1至2秒的 不同，以后每帧也类似，这取决于重新排序的长度。
选用随机的快门图案具有两个优点。首先，低分辨率图像的 每 一 像素的位置可随机的布置，即使相邻两像素之间的平均距离 相等。像素的随机分布相对于规则的简单排列在图像修复应用中 的4尤点在Resnikoff、 Poggio和 Sims 中i青的名为 "Random Array Sensing Devices"的4574311号美国专利中有详细描述。其次，如果获得正确时间下重新排列顺序的序列，低分辨率 图像顺序是可以单向恢复的。正如重新排列顺序由包含有使用密 钥生成随机数的算法产生， 一旦观看图像顺序的观看者输入该密 钥，图像顺序能单向恢复，这能使图像顺序被加密以防止被未经 许可地观看。
除了像图2与图5所示的排列成规则的正方形形状外，快门
组还可以排列成不规则的多边形形状，快门组可只精确地覆盖感 兴趣的区域，而不覆盖不需要的像素。其中一个具体的应用是在 生命科学领域，当使用者只希望监控显微镜下一小部分细胞的活
动情况，他可以围绕这些感兴趣的细月包画一个不^见则的形状，通 过算法将在该形状内的像素划分成组，并在不同时间内曝光。
如果被传感器成像的物体在曝光期间移动，图像将产生"运 动模糊，，现象，并且运动模糊的程度通常要高于传统的静态照相 机传感器产生的程度，因为传统的照相机传感器中所有像素是同 时曝光，而本发明的总曝光时间长于单 一像素的曝光时间。
然而，若物体移动较少或没有移动，所形成图像的质量将大 体上与传统的传感器相当。
当然，图像捕捉设备可以工作在不同的模式下，例如所有快 门元件如前述的依次动作的"电影/静态"模式，或者所有快门 元件同时动作的"全静态"模式。在电影/静态模式下，所捕捉 的低分辨率图像类似电影一样连续播放，或组合形成一张高分辨 率图像(可能带有运动模糊)。在全静态模式下运动模糊与传统 的传感器相当，这是因为传感器不能捕捉时间分离的低分辨率图 像，图像也不能像电影一样连续播放。
当然， 一部分像素可用于获取一张无模糊的高分辨率图像， 其他像素如前述的用于获取一系列低分辨率图像。使用者可根据 图像质量的要求选择生成高分辨率无模糊图像的像素数量，例
13如，使用50%的像素用于生成高分辨率无模糊图像，并且该模块
组的像素分布在整个阵列中，这些像素将同时曝光，并在使用者 设定的最佳曝光时间的一瞬间进行。其他的像素如前述的将被划
分为N-1组，并—皮依次曝光形成电影顺序。用于形成高分辨率图 像的像素可分布成规则形状(例如，每一模块中的第二像素)，
或者随机地、半随机地分布(这样，在设定的子区域内相邻像素 的平均距离相等，但该区域内的每一像素按已知的规律随机分 布)。高分辨率图像中所缺失的像素可使用各种已知的图像处理 技术修复。像素的随机分布相对于规则的简单排列在图像修复应 用中的优点在Resnikoff、 Poggio和Sims申请的名为"Random Array Sensing Devices" 的4574311号美国专利中有详细描 述。
除了使用与像素数量相等的快门组外，还可以在全景图像中 使用具有不同尺寸的快门组来生成具有多种分辨率的图像。例 如，上半部分的探测器使用规格为4的快门组生成图像(这样， 捕捉全帧图像时将形成四张低分辨率图像)，而下半部分的探测 器使用规格为9的快门组生成图像(这样，捕捉全帧图像时将形 成九张低分辨率图像)。
原则上不同帧组的数量可根据使用者的需要自由定义，使用 者可能需要在同一画面内监控多个运动的物体，并根据每一物体 设定最佳的设置(帧率与分辨率)。快门组的规格以及形状也可 一帧 一 帧地动态地变化，以满足画面中不同图像的需要。
在特定的环境下，可以选用不同规^各的快门元件以便使每一 快门元件控制多于一个像素的曝光，每一快门元件的有效面积将 大于一个像素的面积，这将允许快门设备中快门元件的数量少于 像素的数量。当然，每一快门元件的面积也可以小于一个像素的 面积，每一像素的曝光将由多个快门元件控制。在特定环境下这
14将有助于聚焦，因为不同快门能用于补偿透镜形成的轴向弯曲， 通过开启不同组的快门还可以增加传感器各帧的空间分辨率。
下面使用一个具体的例子说明本发明在具有8.2百万像素传 感器的单反照相机中的应用，该传感器具有2340 x 3500像素。 目前，传统的同等賴J各照相机能以每秒五帧的速度捕捉全帧图 像，如果该照相机应用本发明的技术，则每一全帧图像可以分成 十张0.82百万像素的低分辨率图像捕捉，这些低分辨率图像可 以在电影模式下以每秒五十帧的速度顺序播放，每帧的规格是 738 x 1108 -像素。当然，每一组低分辨率图像可以组合形成一张 具有8. 2百万像素的高分辨率静态图像。
由此可见，每一全帧图像嵌入的低分辨率图像越多，获得的 帧率越高。当然，如果较低的帧率已经满足要求，则可以荻取较 高分辨率的图像。
如前所述，连续两张低分辨率图像的曝光时间间隔等于每次 曝光的持续时间，也就是下一曝光的开始时刻是上一曝光结束时 刻，而总曝光时间Ti等于Nt，其中N是像素模块的数量，t是 每一像素的曝光时间。当然，相邻两次曝光的时间间隔与每次曝 光时间是可以调整的，以使得曝光时间重叠或分离，这将有利于 使用者对运动模糊或在低光强环境下拍摄进行补偿。例如，曝光 时间可以减少至0. 15秒，而并非如图3所示的0. 25秒。每一像 素模块的曝光时序如下所示
像素模块1从0至G. 15秒，像素模块2从0. 25至Q. 4秒， 像素模块3从0. 5至0. 65秒，像素模块4从0. 75至0. 9秒，总
的曝光时间将少于Nt。
另外一个例子中，曝光时间可以增加至0. 4秒，各像素模块 的曝光时间如下像素模块l从O至O. 4秒，像素模块2从0. 25 至0. 65秒，像素模块3从0. 5至0. 9秒，像素模块4从0. 75至1. 15秒。这样，像素模块的曝光时间将重叠(1与2重叠，2与 3重叠，3与4重叠，4与1重叠)。曝光时间的间隔可根据物体 的转变或移动速度相应调整。
另一个方案是，像素模块并非在总曝光时间的一小部分时间 内依次曝光，他们可在总曝光时间Ti除去短暂的光线遮挡时间 内曝光。光线遮挡时间可以在每一像素模块之间轮转，遮挡时间 内的像素值可通过N条线性方程计算出来，其中N为未知值。例 如，短暂的遮挡时间可以是Ti/N,其中Ti是总曝光时间，N是 像素模块的数量，每一像素的曝光时间即为Ti - Ti/N,当N为 较大的数值是，每一像素的曝光时间接近于总的曝光时间Ti。在 低分辨率图像带有诸如光强误差时，每一像素的光强可以从邻近 的像素中推断得出，这一处理具有以下优点在低光强的环境中 获得的全分辨率帧图像的光亮度接近于传统传感器获得的全帧图 像。
图1、 6、 7、 8是传感器设备的多个不同的实际应用例子。 图1中，随机可达LCD像素电平快门阵列8位于传感器阵列4表 面，传感器阵列4是诸如CCD、 CMOS或EMCCD等设备。快门阵列 8,诸如铁电快门设备，其透明度可以快速地改变，便于在入射 光线下将其背后的像素曝光。
如图6所示的，可以使用硅基液晶(LCOS)设备将光线反射 至像素上。从物体14出射的光线经过物镜16的聚焦后反射至偏 振滤光器(或分束器)18上，进而入射至LC0Si殳备20中，LCOS 设备20将偏振光束按照使用者选择的模型反射出去。光束经过 偏振滤光器18后聚焦通过目镜22入射至包含有CCD探测器的传 感器4中。当然，若使用一个反射像素电平快门(LCOS或DMD),从被 遮挡像素出射的光线能聚焦至与一个CCD探测器相对的另一 CCD 探测器中，这将确保CCD成像时捕捉多数光线。
指定像素的光强度值可以被集合以生成一 张光亮的高分辨率图像。
如图7所示的设置中，快门阵列8与CCD传感器设备4之间 具有一定距离，并设有两组透镜，其中第一组透镜24位于快门 阵列8的前方，用于将物体14的图像聚焦至快门阵列。第二组 透镜26位于快门阵列与CCD传感器4之间，用于将快门阵列形 成的图像聚焦至CCD传感器4中。快门阵列8，诸如铁电LCD快 门阵列，用于根据情况遮挡从传感器阵列出射的光线或允许光线 从传感器阵列中通过。
如图8所示的设置中，高速数字微镜设备(DMD) 28设置在 一对物镜30的焦平面上，物镜30用于将物体14的图像聚焦在 DMD28的表面上。丽D28包括一个随机可达的微型透镜32阵列， 微型透镜32可在驱动电压的驱动下前后倾斜。DMD阵列具有0. 7 英寸的1024 x 768的双稳态微型透镜，其能容易并合适地实现每 秒16， 000全阵列透镇3莫型的质量。
微型透镜32可设置成将入射光线反射至CCD传感器阵列34 的第一角度，或者设置成将光线反射至光陷阱36的第二角度。 第二组透镜38位于DMD28与传感器34之间，用于将在DMD表面 形成的图像聚焦至传感器34中。这样，DMD28可用于控制入射光 线对每一像素的曝光。
上述的实施例均使用动态遮蔽技术，光线只是在像素前被诸 如LCD快门设备或DMD阵列等实质性地遮挡。实际应用时，本发 明还可以使用模拟实质遮蔽技术的静态片装遮蔽技术，即将像素上的电荷顺序地转移到另一芯片上被遮蔽的无电荷区域，图9是
应用这种技术的传感器实施例的示意图。
图9中传感器40被划分为多列工作像素42以及与工作像素 42相互独立的多列被遮蔽像素44，被遮蔽像素44被不透明的掩 膜遮挡在入射光线之下，因此不在图像捕捉过程中参与工作。并 且，被遮蔽像素44可用作电荷存储设备，每一被遮蔽像素44与 相邻的工作像素42连接。工作时，电荷一列一列地从未被遮蔽 的一列工作像素中转移至被遮蔽的一列非工作像素上。传感器可 被设置成如图9所示的那样具有四个像素模块，并被定义为像素 模块l、像素模块2、像素模块3以及像素模块4。像素模块位于 曝光组46中，每一曝光组具有每一像素模块的一列像素元件。
每一像素模块的像素在曝光时间内在光线中曝光，像素上的 电荷转移至邻近的一列遮蔽的像素上并被数字化，每一像素模块 将依次重复这一过程，在每一 高分辨率的全帧图像时间内形成四 张时间分离的低分辨率图像。这些嵌入的低分辨率图像可以像电 影一样顺序播放，或者组合形成一张高分辨率的图像。
'一旦电荷转移至被遮蔽的像素上，未遮蔽的像素将马上在光 线中再次曝光以捕捉下一 图像。
下面将描述一个具有帧转移结构静态片装遮蔽处理过程。
我们假设CCD中帧转移数量为M列，其中芯片的部分暴露在 光线中，且每Ti秒生成一张高分辨率的图像。曝光组由被指定 的相邻N列组成，且每组第n列像素的电荷同时转移至被遮挡区 域。
集聚在CCD的每一第n列上的电荷重复地在(n x Ti) /N时间 内转移到被遮蔽的区域上，这确保所有列电荷的转移时间总和在 Ti秒内。上述过程将重复进行，以使每列像素的总曝光时间为T 秒，但每列像素的曝光是交错进行的。
18任一子区域内第n列任一像素上的电荷可通过vMv前一列上像 素减去相邻列像素计算出。
上述方案的一个实施例如下假设具有1000像素宽的图像 区域一皮划分为250个曝光组，每一曝光组具有四列Y象素， 一个全 帧图像的曝光时间为1秒。每一曝光组的第一列在t = 0. 25秒的 时刻转移至^皮遮蔽区域，第二列在t-O. 5秒时刻转移至被遮蔽 区域，第三列在t = 0.75秒时刻发生转移，而第四列在t = 0. 75 秒时刻发生转移。 一旦任一列的电荷发生转移，该列像素继续在 光线中曝光，并在1秒后再次转移至被遮蔽区域(也就是第一列 在t = 1. 25秒、2. 25秒等时刻发生转移，第二列在t = 1. 5秒、 2. 5秒等时刻发生转移)。
当然，通过将电荷在被遮蔽像素与工作像素上来回移动可实 现光线被短暂遮挡过程所实现的功能，另 一种实现方式是使用一 个CMOS探测器来存储在捕捉一张高分辨率图像时间内不同时刻 下像素所产生的电荷。
图10显示了实现本发明的另一种方式。本实施例中，传感 器设备5G具有一个640 x 640的像素阵列，并且像素52与其相 对应的快门元件(未示)被划分成一百个像素组54,每一像素组 具有排列成8 x 8阵列的六十四个像素。4吏用时，每组54内的六 十四个像素52依次曝光，例如，按照图10中的标注1-64的顺 序曝光。由本实施例可见，每一像素组54内像素曝光顺序是相 同的，这样设置的顺序能确保连续曝光的像素在空间上是相互分 离的。本实施例中，首先曝光的像素位于第一列第一行，第二个 曝光的像素位于第五列第一行，第三个曝光的像素位于第一列第 五行，如此类推。
将不同组合的像素信号输出过程中，可以通过平衡时间分辨 率与空间分辨率来调整传感器设备捕捉图像时帧率与分辨率的关
19系。例如，传感器设备捕捉的每一全帧图像可以显示成一张640 x 640像素的高分辨率图像，也可以是六十四张顺序播放的80 x 80像素的低分辨率图像。这样，可以将像素1至4合并形成一个 模块(由于它们在相邻的较短时间内曝光)，像素5至8也类似 地合并形成一个一莫块，如此类推，原来的六十四个^f象素组可合并 形成十六个像素模块。所有的像素组也可以执行相同的操作，这 样将形成十六帧160 x 16(H象素的图^f象。
当然，还可以进一步合并曝光时间邻近的像素，时间或空间 分辨率的进一步合并是可以实现的。例如，如图10所示的， <象 素1-16 (点填充)合并形成第一模块，像素17-32 (条紋填充) 合并形成第二模块，像素33-48 (网状填充)合并形成第三模 块，像素49-64 (无填充)合并形成第四模块。这些合并后的模 块形成的低分辨率图像可用于生成四帧320 x 320像素的图像序 列。通常， 一个具有N平方像素的传感器，且该传感器设有包括 A个快门元件的快门设备，在等式4mxD2 = A成立时，将形成具 有4m元素的图像序列，其中D是一个等于图像序列中每一图像 尺寸(宽度和长度)的正整数，m是正整数。在原始快门组具有 足够快门元件的前提下，这将允许使用者在图像捕捉后决定这些 低分辨率图像合适的空间以及时间分辨率。当然，由于合并后冲莫 块的快门元件并不是同时曝光的，因此合并形成的新图像序列中 的图像会发生变形。例如，如图IO所示的合并形成的四帧320 x 320像素图像序列的清晰度可能低于如图2至4所示的所获得的 四元素图像序列。
如果像素组的尺寸足够大，并能确保顺序曝光的像素之间有 足够的距离，上述方案的多种变形可实现像素的随机布置。理论 上说，像素组的尺寸可以做成所有像素形成一组的大小，这将允 许使用者合并当前相邻近的所有像素以获得合适的图像序列。本发明可以应用在多种场合，下面将说明其中一些应用。 家用照相才几
本发明可应用在照相机中，主要用于捕捉静态图像，并尽可 能地捕捉较高分辨率和帧率的电影。例如，如前所述的，照相机
可以每秒五帧的速度捕捉8.2百万像素的连续图像，也可以每秒 五十帧的速度捕捉0. 8百万像素的电影。
给消费者带来的好处是原始的高分辨率图像可被转换，且 数据存储要求(存储器中图像大小)与传统的数字照相机相同。 具体的应用包括视频获取和监控照相机操作，这允许使用者同时 捕捉屏幕中某一细节的高分辨率图像以及多张低分辨率图像。
照相机的基本元件框图如图ll所示。照相机60具有将图像 聚焦至CCD传感器64上的透镜62,传感器64正前方设有LCD快 门阵列66,用于控制每一像素在入射光线下曝光。LCD快门阵列 66的工作由中央处理器(CPU) 68控制，CPU68还与传感器64连 接以读取传感器传送的数据。数据存储在诸如闪存卡的存储设备 70中。照相机包括一个与CPU68连接的快门复位器72以及控制 开关74,用于设置诸如照相机的工作模式。这些模式可以是"电 影/静态"模式或"全静态"模式，"电影/静态"模式下，照相 机捕捉多张时间分离的低分辨率图像，并可以类似电影一样播放 或组合形成一张高分辨率的静态图像。"全静态"模式下，所有 像素同时曝光以形成一张运动模糊较少的高分辨率图像。照相机 可以包括传统的设备，如反光镜、用于检查设置或查看所捕捉图 像的显示单元、用于控制透镜62孔径、焦距长度或聚焦的透镜 控制、闪存单元或凄丈据输出端口等。
科学成像
专业的高级照相机系统对高时间分辨率探测器有特殊的要 求，其或者有很低的空间分辨率(如Marconi CCD39,能以1千赫兹速度运行，但仅为80 x 80像素)，或者有较低的动态量程 (如增强型CCD或EMCCD，使用增益补偿机器来补偿因高帧率产 生的增高的帧读取噪声，但以动态量程急剧减少为代价)。本发 明能使传统的低噪声、高分辨率CCD捕捉高速图像。
以下"i仑述其他优点。
目前，同时具有准确的高时间分辨率与高空间分辨率的图像 模型是无法建立的，但在生命科学领域却需要应用这一技术。例 如，人们需要在高空间分辨率下监控心脏肌肉的运动，同时需要 在高时间分辨率下监控心电波活动。
高分辨率的百万科学级CCD能在0. 1至1秒时间内(取决于 该数据的深度以及照相机内部电路结构)生成一帧图像。大多科 学级的高分辨率CCD和EMCCD系统应用传统的方法能才是高读耳又速 度，其应用一种名为片装集成(on chip binning)的技术，即 将芯片上的邻近的像素分组以被高速度读出。集成的NxN模型 能将速度提高N倍，但系数N仍小于应用前述技术所获得的预期 效果。此外，集成的图像不包含高空间分辨率数据。
新技术可定义任意的曝光组形状(不规则的)，这将允许研 究人员根据需要成像的画面中具体的特征来选用合适的速度与分辨率。
若低的空间分辨率可被接受，则可获得较高的帧率，该技术 可在高动态量程下以毫秒级以下的帧时间成^f象。这将远快于目前 低噪声、高动态量程的科学领域探测器所能达到的。
提高信噪比(S/N):该新技术的另一重要优点是在同等帧率 下，全帧读取速度较现有片装集成的慢。这将在更高速度下大大 提高信噪比，即读噪声影响信号质量的问题得到有意义的改进。200880015174.8 可以预期的是，该技术进一步在可应用的新采样协议中提高 空间和时间分辨率。
一个可能的应用是在不规则采样时间上，在
像素电压方面，4是高时间分辨率(相对于Lomb周期图)，这在 目前的图像处理技术中是无法实现的。
安全/机械领域前瞻
用于监控变化的三维图像，如通常的监控应用或用于机器人 /机械监视的照相机必然需要解决几个问题， 一 个问题是若物体 正对照相才几移动时，移动物体在传感器上的成^f象大小跟物体与照 相机之间的距离成反比，这将导致靠近照相机的物体运动模糊十 分明显，并且会遮蔽必要的细节。例如，监控一群走在大街上或 建筑物大堂的人群，若他们太靠近照相机，他们的脸将变得模 糊。减少整个图像的成像时间将降低远离照相机物体的成像质 量，因为对较远物体发出光线的收集将减少。
本发明能通过在一帧内改变快门组的数量(时间分辨率、空 间分辨率以及总曝光时间)来解决上述问题，因此可以优化屏幕 上多个物体的成像。优选地，将靠近照相机的物体整体放大，降 低空间分辨率要求并提高时间分辨率。快门组的尺寸可以根据一 个已知的屏幕(例如，在高速公路上使用安装在高处且正对车流 方向的照相机来监控汽车运行情况时，可将图像顶部整体缩小， 并使用逐渐变化的快门组尺寸来保持用于每一汽车上像素的平均 数量不变)来选择。当然，快门组的尺寸可以通过算法的方法 (例如在静态图像中从运动模糊中获取光线流，这在Berthold 与Shunck编写的"Determining Optical Flow",工程学报， MIT, 1980中有所描述)或量程搜索设备(如激光瞄准器等)来 动态选择。
并且，对于感兴趣的特定区域可以使用不同于图像大部分区 域所使用快门组模型的分辨率成像。例如，监控交通情况的照相
23机可通过控制合适的被选择的排列成规则形状像素的曝光时间来 获取汽车车牌的高分辨率图像，而使用低空间分辨率来监控汽车运动。
使用该系统监控汽车运行速度以及车牌时可通过照相机以低
空间分辨率(使用足够大的快门组)连续地监控汽车运动来实
现，而不需要使用雷达设备。计算机算法可计算汽车速度并动态
地改变快门组，根据实际需要形成全景图像或以高空间分辨率形 成汽车车牌的图像。
权利要求
1、一种图像捕捉设备，包括一传感器，所述传感器具有由多个像素构成的工作区域，每一像素提供该像素曝光时形成的有用数据；一用于存储所述多个像素形成的数据的数据存储设备，所述多个像素组成多个像素模块；所述图像捕捉设备用于捕捉多张时间分离的低分辨率图像，每一所述低分辨率图像包含取自不同像素模块形成的数据。
2、 根据权利要求1所述的图像捕捉设备，所述图像捕捉设 备通过组合所述多张低分辨率图像的数据形成 一 张高分辨率图像。
3、 根据权利要求1或2所述的图像捕捉设备，其特征在 于至少一个像素模块包含取自所述传感器中几乎全部工作区域 内的^象素。
4、 根据上述任一项权利要求所述的图像捕捉设备，其特征 在于至少 一个像素模块包含少于所述传感器中几乎全部工作区 域内的像素。
5、 根据上述任一项权利要求所述的图像捕捉设备，包括具 有多个快门元件的快门阵列，每一快门元件用于控制一个像素的 曝光。
6、 根据权利要求5所述的图像捕捉设备，其特征在于所 述快门阵列由多个可变透明度的多个快门元件构成。
7、 根据权利要求5所述的图像捕捉设备，其特征在于所 述快门阵列由多个可变反射率的多个快门元件构成。
8、 根据权利要求6或7所述的图像捕捉设备，其特征在 于所述快门阵列安装于所述传感器的所述工作区域上。
9、 根据权利要求6或7所述的图像捕捉设备，其特征在 于所述快门阵列安装于所述传感器前方。
10、 根据权利要求5所述的图像捕捉设备，其特征在于所 述快门阵列包括多个可变方向的快门元件。
11、 根据权利要求10所述的图像捕捉设备，其特征在于 所述多个快门元件包括多个反射镜，用于将光线反射至朝向所述 传感器或反射至背离所述传感器。
12、 根据权利要求5至11任一项所述的图像捕捉设备，包 括一个用于控制所述快门阵列工作的控制设备。
13、 根据权利要求12所述的图像捕捉设备，其特征在于 个快门元件。
14、 根据权利要求1至4任一项所述的图像捕捉设备，其特 征在于每一像素与一电荷存储设备连接，电荷可从所述像素转 移至所述电荷存储设备，所述图像捕捉设备包括一个用于控制电 荷转移的控制设备，用于捕捉所述多张时间分离的低分辨率图 像。
15 、根据上述任一项权利要求所述图像捕捉设备的一种照相 机，具有一透镜，用于将光线聚焦至所述传感器的所述工作区域。
16、 根据权利要求15所述的照相机，包括一个所捕捉图像 的显示设备，用于显示 一 张高分辨率图像或连续的低分辨率图像。
17、 根据权利要求15或16所述的照相机，包括一个用于控 制所述多个像素模块曝光的控制设备。
18、 图像捕捉方法，应用在一包括一传感器的图像捕捉设备上，所述传感器具有一工作区域，所述工作区域具有多个像素，该方法包括对所述传感器进行曝光；存储每一像素曝光时形成的数据，并捕捉多张时间分离的低 分辨率图像，其中，所述像素组成多个像素模块，每一低分辨率 图像包含取自不同像素模块形成的所述数据。
19、 根据权利要求18所述的方法，包括顺序地曝光所述多 个像素模块。
20、 根据权利要求19所述的方法，包括所述多个像素模块 以预定的或随才几的或半随机的顺序曝光。
21、 根据权利要求18、 19或20任一项所述的方法，包括将 每一像素上的电荷转移至电荷存储设备，然后数字化所存储的电 荷。
22、 根据;K利要求18至21任一项所述的方法，包括通过组 合多张低分辨率图像的数据形成一张高分辨率的图像。
23、 根据权利要求22所述的方法，包括显示所述高分辨率 图像。
24、 根据权利要求18至21任一项所述的方法，包括依次播 放所述多个时间分离的低分辨率图像。
25、 图像捕捉设备，大体上如前所述，如一张或多张附图所 表示或描述的。
26、 图像捕捉方法，所述方法如前所述，如一张或多张附图 所表示或描述的。
全文摘要
一种图像捕捉设备(2)，包括具有工作区域的传感器(4)，该工作区域具有多个像素(6)及控制每一像素曝光的快门阵列(8)，像素被划分成多组像素模块并用于捕捉多张时间分离的低分辨率图像，这些低分辨率图像可类似电影地连续播放或用于组合形成一张高分辨率静态图像。
文档编号H04N5/225GK101690162SQ200880015174
公开日2010年3月31日 申请日期2008年5月8日 优先权日2007年5月10日
发明者吉尔·布博 申请人:爱西斯创新有限公司