机械快门曝光时间的确定的制作方法

专利名称：机械快门曝光时间的确定的制作方法
技术领域：
本发明总体涉及具有数字照相机的电子设备，更具体地，涉及这样的 数字照相机或者具有数字照相机的电子设备，它们使用机械快门和具有滚 动读出的图像传感器。
背景才支术
图像传感器是在照相机(例如数字照相机)中将可见图像转换成电信 号的元件。图像传感器可以被划分成两类CMOS (互补金属氧化物半导 体)或CCD (电荷耦合器件)传感器，由于其较高的集成度、较低的价格 和较低的功率消耗，CMOS传感器常用于移动式电话中。
在CMOS传感器中，最大的问题之一是其被称为滚动快门(rolling shutter)的特性。如果传感器具有滚动快门，则其逐行曝光，而不是整体 曝光。由于每一行是在稍微不同的时刻被曝光，移动目标的图像似乎弯曲。 该弯曲被称为运动歪斜(motion skew)。
可以通过使用机械快门来避免运动歪斜，然而，当使用机械快门时， 不能非常精确地设定曝光时间。这是因为利用机械快门捕捉图像需要;fe^ 运动，而,运动从来都不是很精确的。同一机械快门的曝光时间可以变 化例如±0.21118。因此，如果所需要的曝光时间是lms,利用机械快门的实 际曝光时间介于0.8ms与1.2ms之间。这20%的变化是可接受的，但是，如果所需要的曝光时间更短，比如，0.2ms，由于实际曝光时间会从0ms 到0.4ms不等，因此不能使用机械快门。
当使用一些新的高动态范围的技术时，该问题变得更加严重。在这些 技术中，曝光时间被分成两部分长曝光时间和短曝光时间。因此，如果 所需要的曝光时间又是lms，传感器将以例如0.8ms和0.2ms的曝光时间 实际啄光两次。在这种情况下，机械快门变化等于短曝光时间，即，替代 所要求的0.2ms的短膝光时间，实际的短曝光时间介于Oms与0.4ms之 间。很明显，这将使得高动态范围模式不可用。
在较早的实践中，如此选择曝光时间，以便机械快门变化占总曝光时 间的不是太大的一部分。通过使较少的光击中传感器，使得膝光时间较长。 这已通过使用在透镜前面的滤光器或可变光圏而实现，其中如果与其变化 相比所要求的曝光时间变得过短，则该滤光器或可变光圏的孔径变小。
较早实践中的问题包括但不限于
诸如滤波器或可变光圏的机械元件增加了照相机模块的成本和尺寸。
非常短的曝光时间是不可能的这会在诸如捕捉非常快速的运动的 一些照相情况下引起问题。

发明内容
根据本发明的第一方面， 一种装置包括机械快门，其被配置为提供 对图像的预定曝光，所述预定曝光由整体重置时间和所述机械快门的关闭 时间限定；以及具有滚动快门性能的图4象传感器，其响应于所述预定曝光， 被配置为通过滚动读出所述图像而提供包括校准图像信号和实际图像信号 的图傳4言号，其中通过在与所述预定曝光的最小和最大容差值相对应的时 间之间的时间间隔期间使用所述图像传感器的预定校准区域而滚动读出所 述图像的预定部分，提供所述校准图像信号，以使用所述校准图像信号来 补偿所述实际图^M言号而利用预定标准确定所述机械快门的所述关闭时 间。进一步根据本发明的第一方面，所述装置还包括校准处理模块，其 用于确定所述机械快门的所述关闭时间。
进一步4艮据本发明的第一方面，所述关闭时间由这样的点确定，在该 点处，在所述滚动读出所述图像的所述预定部分期间，随在所述预定曝光 期间用于连续行的时间变化的平均行瀑光读出值在与所述预定膝光的所述 最小容差值相对应的时间之后显著提高之后变得基本恒定。
更进一步根据本发明的第一方面，所述图像传感器的所述预定校准区 域可以在所述图像传感器的传感器阵列的其中所述滚动读出开始的一侧 中，并且包括预定数量的行。
进一步根据本发明的第一方面，在与所述预定曝光的所述最大容差值 相对应的时间之后，所述图像传感器被配置为改变所述图<象的所述滚动读 出的速度。
更进一步根据本发明的第一方面，在与所述预定曝光的所述最大容差 值相对应的时间之后，所述图像传感器可被配置为将所述滚动读出停止预 定暂停时间(timeout),且在所述暂停时间之后继续所述滚动读出。
更进一步根据本发明的第一方面，在所述时间间隔期间，所述图像传 感器^f皮配置为向所述图像传感器的所述预定校准区域提供部分滚动重置且 向所述图像传感器的剩余区域提供整体重置。此外，所述关闭时间由这样 的点确定，在该点处，在所述图^f象的所述预定部分的所述滚动读出期间， 随在所述预定曝光期间用于连续行的时间变化的平均行啄光值在与所述预 定曝光的所述最小容差值相对应的时间之后基本恒定之后开始显著降低至 零。
再更进一步根据本发明的第一方面，所述装置是电子设备的一部分或 者用于无线通信的电子设备的一部分。
再更进一步根据本发明的第一方面，所述校准区域可以包括超像素 (superpixel)，其中所述超像素中的每个超像素被构造为以下之一a) 超单元具有所述图像传感器的一条线的长度和在所述图像传感器的提供所 述实际图像信号的实际图像区域中的像素的高度，b )在模拟域中组^^象素的行，以使一行呈现为一个超像素，以及C)在数字域中组合像素的行， 以使一行呈现为 一个超像素。
再更进一步根据本发明的第一方面，集成电路包括所述装置中的所有 或选定的模块。
再更进一步根据本发明的第 一方面，在与所述预定膝光的所述最小容 差值相对应的时间，对所述校准区域应用进一步的整体重置。
再更进一步根据本发明的第一方面，通过对所述图像传感器的未用作 预定校准区域的剩余区域的滚动读出，提供所述实际图像信号。
再更进一步根据本发明的第一方面，在所述预定校准区域的顶部上设
置漫射器(diffuser)元件。
再更进一步根据本发明的第一方面，所述图像传感器是互补金属氧化 物半导体传感器。
根据本发明的第二方面， 一种方法包括以下步骤使用机械快门提供 对图像的预定曝光，所述预定曝光由整体重置时间和所述机械快门的关闭 时间限定；通过4吏用具有滚动快门性能的图〗象传感器响应于所述预定曝光 而滚动读出所述图像，提供包括校准图像信号和实际图像信号的图像信号， 其中通过在与所述预定曝光的最小和最大容差值相对应的时间之间的时间 间隔期间使用所述图像传感器的预定校准区域而滚动读出所述图像的预定 部分，提供所述校准图像信号，以补偿所述实际图像信号；以及使用用于 所述补偿的所述校准图像信号，确定所述机械快门的所述关闭时间。
根据本发明的第二方面，所述关闭时间由这样的点确定，在该点处， 在滚动读出所述图# 的所述预定部分期间，随在所述预定曝光期间用于连 续行的时间或行数变化的平均行曝光读出值在与所述预定曝光的所述最小 容差值相对应的时间之后显著提高之后变得基本恒定。
进一步根据本发明的第二方面，所述图像传感器的所述预定校准区域 在所述图4象传感器的传感器阵列的其中所述滚动读出开始的一侧中，并且 包括预定数量的行。
更进一步根据本发明的第二方面，在与所述预定曝光的所述最大容差值相对应的时间之后，所述图像传感器被配置为改变所述图像的所述滚动 读出的速度。
进一步根据本发明的第二方面，在与所述预定曝光的所述最大容差值
相对应的时间之后，所述图1象传感器^L配置为将所述滚动读出停止预定暂 停时间，且在所述暂停时间之后继续所述滚动读出。
更进一步根据本发明的第二方面，在所述时间间隔期间，所述图像传 感器被配置为仅仅向所述图像的预定部分提供部分滚动重置且对其他图像 区域使用整体重置。此外，所述关闭时间由这样的点确定，在该点处，在 所述图^>的所述预定部分的所述滚动读出期间，随在所述预定膝光期间用 于连续行的时间或行数变化的平均行啄光值在与所述预定曝光的所述最小 容差值相对应的时间之后基本恒定之后开始显著降低至零。
再更进一步才艮据本发明的第二方面，所述校准区域包括超像素，其中 所述超像素中的每个超像素被构造为以下之一a)超单元具有所述图像传 感器的一条线的长度和在所述图像传感器的提供所述实际图像信号的实际 图像区域中的像素的高度，b)在模拟域中组^^象素的行，以使一行呈现为 一个超像素，以及c)在数字域中组合像素的行，以使一行呈现为一个超 像素。
根据本发明的第三方面， 一种计算机程序产品包括计算机可读的存 储结构，在其上包含有计算机程序码，以利用所述计算机程序码由计算机 处理器执行，其中所述计算机程序码包括用于执行本发明第二方面的指令，行。
根据本发明的第四方面， 一种电子设备包括机械快门，其用于提供 对图像的预定啄光，所述预定曝光由整体重置时间和所述机械快门的关闭 时间限定；具有滚动快门性能的图4象传感器，其响应于所述预定曝光，用 于通过滚动读出所述图像而提供包括校准图像信号和实际图像信号的图像 信号，其中通过在与所述预定曝光的最小和最大容差值相对应的时间之间 的时间间隔期间使用所述图像传感器的预定校准区域而滚动读出所述图像的预定部分，提供所述校准图像信号，以使用所述校准图像信号来补偿所 述实际图 <象信号而利用预定标准确定所述机械快门的所述关闭时间。
进一步根据本发明的第四方面，所述电子设备还包括校准处理模块，
其用于确定所述才;i^喊快门的所述关闭时间。
进一步才艮据本发明的第四方面，所述机械快门和所述图像传感器是数 字照相机的部件。
根据本发明的第五方面， 一种装置包括用于曝光图^^的工具，其用 于提供对图像的预定曝光，所述预定曝光由整体重置时间和用于曝光图像 的工具的关闭时间限定；用于传感的工具，其响应于所述预定曝光，用于 通过滚动读出所述图像而提供包括校准图像信号和实际图像信号的图像信 号，其中通过在与所述预定曝光的最小和最大容差值相对应的时间之间的 时间间隔期间使用所述用于传感的工具的预定校准区域而滚动读出所述图 像的预定部分，提供所述校准图像信号，以使用所述校准图像信号来补偿 所述实际图係*信号而利用预定标准确定所述用于膝光图#>的工具的所述关 闭时间。
进一步根据本发明的第五方面，所述用于曝光图像的工具是机喊快门， 且所述用于传感的工具是具有滚动快门性能的图像传感器。
根据本发明的第六方面， 一种处理模块包括校准处理模块，其被配 置为通过确定机械快门的关闭时间来响应于图像信号而提供指示对图像的 预定曝光的机械快门膝光信号，所述预定曝光由整体重置时间和所述机械 快门的关闭时间限定，其中所述机械快门被配置为提供所述预定曝光，并 且其中所述图像信号包括校准图像信号和实际图像信号，且使用对所述图 像的滚动读出、响应于所述预定曝光而由具有滚动快门性能的图4象传感器 产生，并且其中利用在与所述预定曝光的最小和最大容差值相对应的时间 之间的时间间隔期间使用所述图像传感器的预定校准区域而滚动读出所述 图像的预定部分，提供所述校准图像信号。
进一步根据本发明的第六方面，所述处理模块还包括图像处理模块， 其响应于所述机械快门曝光信号，且被配置为提供4M尝的实际图像信号。进一步根据本发明的第六方面，所述校准处理模块和所述图《象处理模 块净皮组合。
更进一步根据本发明的第六方面，集成电路包括所述处理模块中的所 有或选定的模块。


为了更好地理解本发明的本质和目的，参考下面的与以下附图相结合
而进行的详细描述，在附图中
图la和lb是示例根据本发明实施例利用CMOS传感器的滚动读出确 定机械快门膝光时间(例如，关闭时间)的图，其示出了对图4象传感器 的整体重置和逐^i^出(滚动读出)以及机械快门关闭时间(图la)，以 及随用于在CMOS传感器的校准区域中的连续行的时间变化的平均行曝 光读出值(图lb);
图2是示例根据本发明实施例利用CMOS传感器的双滚动读出速度确 定机喊快门曝光时间(例如，关闭时间)的图，其示出了随在CMOS传感 器上的位置变化的行时间啄光；
图3是示例根据本发明实施例利用具有延迟的CMOS传感器的双滚动 读出速度确定,快门曝光时间(例如，关闭时间)的图，其示出了随在 CMOS传感器上的位置变化的行时间曝光；
图4a和4b是示例根据本发明实施例利用具有延迟的CMOS传感器的 双滚动读出速度和部分滚动重置确定机械快门曝光时间(例如，关闭时间) 的图，其示出了随在CMOS传感器上的位置变化的行时间曝光(图4a) 以及随用于在CMOS传感器的校准区域中的连续行的时间变化的平均行 曝光读出值(图4b);
图5是根据本发明实施例具有数字照相机的电子设备(例如，移动式 电话)的方框图，该电子设备用于利用图像(例如，CMOS)传感器的滚 动读出执行对机械快门曝光时间(例如，关闭时间)的确定；以及
图6是示例根据本发明实施例利用图像(例如，CMOS)传感器的滚动读出对机械快门曝光时间(例如，关闭时间)的确定的流程图。
具体实施例方式
一种新方法、装置和软件产品，它们用于使用在数字照相机中和在具 有数字照相机的电子设备中的图像传感器的预定校准区域，利用图像(例
如，互补金属氧化物半导体，CMOS)传感器的滚动读出，确定机械快门 膝光时间(例如，实际关闭时间)。
根据本发明的实施例，在具有图像传感器(例如，CMOS传感器)的 数字照相机中，可以使用机械快门提供对在具有滚动快门性能的图像传感 器上的图像的预定曝光，其中所述预定膝光由机械快门的整体重置时间(此 时机械快门打开)和关闭时间限定。可以通过使用图像传感器响应于所述 预定曝光而滚动读出所述图像，提供包括校准图像信号和实际图像信号的 图 <象信号，其中通过在与所述预定曝光的最小和最大容差值相对应的时间 之间的时间间隔期间使用图像传感器的预定校准区域而滚动读出所述图像 的预定部分，提供校准图像信号，以补偿实际图像信号。于是可以使用用 于提供对实际图像信号的补偿的校准图像信号，确定机喊快门的关闭时间。 例如，由这样的点确定关闭时间，在该点处，在滚动读出图^^的预定部分 期间，随在所述预定曝光期间用于连续行的时间变化的平均行曝光读出值 在与预定曝光的最小容差值相对应的时间之后显著提高之后变得基本恒 定。
此外，图像传感器的所述预定校准区域可以使图像传感器的上部(或 顶部)，或者通常为图4象传感器的其中读出开始的一侧，并且包,定数 量的行(其实际位置可取决于照相机取向)。
才艮据进一步的实施例，如在此所述的，在与预定曝光的最大容差值相 对应的时间之后，图像传感器可以被配置为改变(例如，增大)所述图像 的所述滚动读出的速度。
才艮据另一实施例，如在此所述的，在与所述预定曝光的所述最大容差 值相对应的时间之后，图像传感器可以被配置为停止滚动读出 一预定暂停时间，且在所述暂停时间之后继续所述滚动读出。
根据又一实施例，如在此所述的，在与最小和最大容差值相对应的时 间之间的时间间隔期间，图像传感器可以被配置为提供部分滚动重置。
根据再一实施例，如在此所述的，快门关闭时间可以由这样的点确定， 在该点处，在图4象的预定部分的所述滚动读出期间，随所述预定曝光期间
用于连续行的时间变化的平均行曝光值在与所述预定曝光的所述最小容差 值相对应的时间之后基本恒定之后开始显著降低至零。
根据再一实施例，如在此所述的，校准区域可以包括超像素，其中这 些超像素中的每个超像素具有图像传感器的一条线的长度和(在所述图4象 传感器的)提供实际图像信号的实际图像区域中的像素的高度。可替代地，
可以通过在校准区域中合并(binning)线，实现相同的功能。该合并对应 于在模拟域中计算线的平均。如果不能合并，可以在数字域中对校准区域 中的线取平均。
校准区域中的图像内容应该相对恒定，以使得能够精确校准。为了使 得该区域中的图像内容恒定，根据再一实施例，可以在校准区域的顶部上 设置漫射器(diffuser)。
图la、 lb、 2、 3、 4a和4b示例了用于在数字照相机或具有数字照相 机的电子设备中利用图像传感器的滚动读出来确定机械快门啄光时间的工 作原理的不同实施例。在这些图中使用CMOS传感器作为实例，也可以使 用具有滚动快门和/或滚动读出性能的其他合适的图像传感器(例如， NMOS传感器)。
其中图la和lb示出了根据本发明实施例的利用CMOS传感器的滚动 读出来确定机械快门曝光时间(例如关闭时间)的实例，其示出了随CMOS 传感器上的位置变化的行时间曝光(图la)以及随用于在CMOS传感器 的校准区域中的连续行的时间变化的平均行膝光读出值(图lb)。图la 中的水平线表示CMOS传感器行的曝光(即，曝光持续时间)(注意，在 关闭机械快门之后，传感器像素仍对光敏感，但由于快门关闭，光不能到 达这些像素)。膝光可以以整体重置开始，该整体重置在图像传感器中是普遍可用的。使用传感器图像区域的上部"快门校准区域"作为用于确定快门的实际曝光时间的反馈(参见图la)。使用随用于连续行的时间变化 的平均行曝光读出值的变化，校准区域像素输出数据可以揭示快门实际上 在何时关闭。理想情况下，该校准区域的读出时间被设定为等于快门容差 (与机喊快门的膝光时间的最小和最大容差值相对应的时间之间的时间间 隔)。当图^M皮读出时，校准区域中的行的平均值(即，在给定的行上的所有像素的平均值)如图lb中所示。在机械快门打开时读出的行具有基本上 逐行增大的值。另一方面，在机械快门关闭时读出的行不具有这样的趋势 (即，基本上恒定)。这是由整体重置和滚动读出引起的。如图lb中所示，精确的快门关闭时间是在线10和12的相交处增大的 像素值的拐点处。设rO为校准区域中的第一行的指数，rm为校准区域中 的最后一行的指数，并且设rk为拐点处中的行的指数。另外，设滚动读出 速度为这样的，以便rm和r0读出的时间差等于已知的t一t (快门容差时 间，即，与最小和最大容差值相对应的时间之间的时间间隔)。在这些给 定前提下，可以由例如下式给出相对于r0读出时间的实际快门关闭时间t_2=(rk_rO)/(rm—rO)*tt并且，总曝光时间可以为t一l+t—2 。可以使用现有的具有整体重置功能的滚动快门CMOS传感器进行简 单的实施可以将传感器图像区域的上部用作校准区域。在系统实施中， 如此设定传感器读出速度，以便在快门容差时间期间读出合适数量的行。 在快门容差时间期间读出的行自动成为校准行。在系统实施中，如在图la 中所示，应在最早可能的快门关闭时间，即，标称快门关闭时间减去快门 容差时间(即，在与最小容差值相对应的时间)，开始传感器读出。根据本发明的进一步的实施例，图2示出了利用CMOS传感器的双滚 动读出速度来确定机械快门曝光时间(例如关闭时间)的另一实例，其示 出了随在CMOS传感器上的位置变化的行时间曝光。如果以相同的速度读出所有的传感器行，则读出速度应具有这样的值rl是最后一行的指数(先前已说明了其他 符号)。换句话说，总读出时间必须是这样的，以便校准区域中的行的读 出时间变为t一t。优化总读出时间的唯一方法是优化校准区域中的行数。作 为替换例，根据进一步的实施例，CMOS传感器可具有这样的功能，以便 其行的一部分可可以以与其他行不同的速度被读出。如图2中所示，可以 以与实际图像区域不同的速度(即较慢的速度)读出校准区域。这样，可 以分别优化校准区域读出时间、图像区域读出时间和校准区域中的行数。 可以在CMOS传感器中实现这样的功能。根据本发明实施例，图3示出了利用具有延迟的CMOS传感器的双滚 动读出速度来确定机械快门曝光时间(例如关闭时间)的又一实例，其示 出了随在CMOS传感器上的位置变化的行时间曝光。在图3的实例中，在 "双传感器读出速度，，方法的变型中，当传感器读出速度改变时发生小的 延迟。该延迟确保即使才咸快门在其容差区域的外部，当读出实际图像区 域时机械快门也从不关闭。根据本发明实施例，图4a和4b示出了利用具有延迟的CMOS传感器 的双滚动读出速度和部分滚动重置确定机械快门啄光时间(例如，关闭时 间)的再一实例，其示出了随在CMOS传感器上的位置变化的行时间曝光 (图4a)以及随用于在CMOS传感器的校准区域中的连续行的时间变化 的平均行曝光读出值(图4b)，其中向图像传感器的(用于提供实际图像 信号的)剩余区域提供整体重置。对于稍微较长的曝光时间，校准区域中的值变得更加难于解译。其原 因在于，膝光时间比t一t长或者比校准区域读出时间长。这样，校准区域 中的像素值具有仅仅很小的差异。当然，如果曝光时间更长，由于快门容 差变为小于总体曝光时间，精确的机械快门曝光时间反馈变得不很重要。 并且，可以增加校准区域读出时间，以使时间差(像素值差)更明显。可 替代地，可以通过在校准区域中在读出期间应用滚动重置，获得非常精确 的快门反馈。这可以使得如此设定校准区域曝光时间，以便可以与实际曝 光时间无关地容易地解译像素输出。当应用滚动重置且滚动膝光时间足够短时，像素值从基本恒定的饱和值(完全在快门打开时发生曝光)变化为零(完全在快门关闭时发生曝光)，并且精确的快门关闭时间在线14和 16的相交处，如图4b中所示。此外，注意，可以实施对CMOS传感器的部分滚动重置。当使用电子 快门时，传感器总是使用滚动重置。在该实施中，仅仅对图像区域的上部 (校准区域)应用滚动重置。该思想的变型为在t一l处对校准区域应用另 一整体重置。然而，与滚动重置相比，在校准区域中使用整体重置不会提 供任何优点。由于仅仅使用校准区域中的线的平均，因此不需要精确的水平l象素数 据。因此，根据另一实施例，可以将校准区域像素结合到非常大的超像素， 这些超像素的长度为CMOS传感器的一条线，其高度为所述CMOS传感 器的(提供实际图像信号的)实际图像区域中的像素的高度。这样的超像 素的特性比仅仅单个小像素的特性好得多噪声较小、信号较大、更加灵 敏。由于较好的信噪比，利用这样的超像素使得精确的快门关闭时间的检 测更容易。因此，根据本发明各种实施例的机械快门曝光时间的确定能够a)利 用机械快门使曝光时间非常短且精确；b)从照相机中摒弃ND (中性密度) 滤光器或光圏，这使其更加廉价且更小巧；c)使用否则不可能使用的利用 机械快门的特定高动态范围的技术等。可能引起的明显问题在于，实际快门关闭不骤速，如图la、 2、 3和 4a中所示。实际上，实际快门具有有限的关闭时间，在这期间图#>变暗。 然而，该有限的关闭时间不是问题仍可以从校准区域像素输出中读出膝 光时间，在此所述的实施例中描述了类似的方法。仅仅需要具有足够长的 校准时间。此外，即使具有非常不理想的快门，各种实施例，诸如双读出 速度传感器、具有延迟的双读出速度传感器、尤其是具有部分整体重置的 双读出，可1更于实施。为了实施本发明的各种实施例，需要用于校准区域的额外的像素。然 而，即使非常少量的校准行(例如，IO个校准行)也使得快门啄光时间精确得多。实际上，精确度正比于校准行数。因此，如果自然快门容差为士0.2ms,在具有IO个校准行的系统中，有效容差变为士0.02ms.如果在黑暗中捕捉图像，由于关闭或打开快门时图像区域没有差别， 因此反馈不工作。然而，在黑暗或甚至孩吏光条件下，由于无论如何曝光时 间通常都比快门容差长，因此不需要曝光时间反馈。根据本发明实施例，图5示出了具有照相机(例如，数字照相机)22 的电子设备20(例如，移动式电话)的方框图的其中一个实例，该电子设 备用于利用图像传感器(例如，CMOS传感器)的滚动读出执行对机械快 门啄光时间(例如，实际关闭时间)的确定。电子i殳备20可以是但不限于 照相机、数字照相机、无线通信设备、移动式电话、照相机-电话移动设备、 便携式电子设备、非便携式电子设备等。根据在此描述的各种实施例，照相机20可以包括机械快门24和具有 用于捕捉图像的滚动快门性能的图像传感器26 (例如，CMOS传感器)， 以揭，供图《象信号34。例如，根据在图la、 2、 3和4a中所示的方案，快门 和读出控制模块28可有助于使用控制信号的^快门24和图像传感器26 的性能。根据本发明的各种实施例，处理模块33可包括校准处理模块30，使 用在此描述的预定标准，该校准处理模块30可用于使用图像信号34的(作 为图像信号34的组分的)校准图像信号来确定机械快门的关闭时间。因此， 模块33可提供机械快门曝光信号36，该^快门曝光信号36包括根据例 如在图lb或4b中所示的算法计算(或估算)出的机械快门的关闭时间。 图像信号34的(作为图像信号34的组分的)实际图像信号利用信号36 来处理和补偿，并且被提供为补偿后的实际图像信号38，以在将来4吏用， 如图5中所示。模块28可以是在照相机22中(或通常在电子设备20中)的专用块， 或者其可被并入在模块33或电子设备20的其他模块内。才艮据本发明实施例，模块33、 30或32可以作为软件或硬件块或其组 合而实现。此外，模块33、 30或32可以作为分立的模块而实现或者与照相机22或电子设备20的任何其他块或模块组合，或者根据功能将其分成 多个块。在照相机22中(或通常在电子设备20中)的所有或选定的模块/ 块可以使用一个集成电路而实现。图6示出了根据本发明实施例示例利用图像传感器(例如，CMOS传 感器)的滚动读出来确定才几械快门曝光时间(例如，关闭时间)的流程图。图6的流程图>(5^3^示多种方案中的一种可能的方案。图6中示出的 步骤的顺序不是绝对必需的，因此，通常，可以不按次序地执行各个步骤。 在根据本发明实施例的方法中，在笫一步骤40中，如在此所述的，使用具 有滚动快门性能的M快门24提供对图像的预定曝光(预定曝光由整体重 置时间和^快门的关闭时间限定)，在接下来的步骤42中，使用例如图 像传感器26，响应于预定曝光，通过使用图像的滚动读出来提供包括在图 像信号34中的校准和实际图像信号。在接下来的步骤44中，使用校准图像信号确定^快门24的关闭时 间(即，实际关闭时间)，其中通过在与枳械快门的预定曝光的最小和最 大容差值相对应的时间之间的时间间隔期间使用图像传感器26的预定校 准区域而滚动读出图像的预定部分，提供该校准图像信号。在接下来的步 骤46中，将计算出的机械快门24的关闭时间用于补偿实际图像信号，从 而提供补偿后的实际图像信号38。如上所述，本发明提供这样的方法和对应的由各种模块构成的设备， 该设备提供用于执行所述方法的步骤的功能。模块可以作为硬件而实现， 或者可以作为通过计算机处理器执行的软件或固件而实现。实际上，在固 件或软件的情况下，可以作为计算^序产品来提供本发明，其中该计算 机程序产品包括计算机可读的存储结构，在该存储结构上包含用于通过计 算机处理器执行的计算机程序码(即，软件或固件)。并且，注意，对于具体应用，可以分立、组合或选择组合地4吏用在此 所述的本发明的各种实施例。应理解，上述设置仅仅是对本发明的原理的应用的示例。只要不脱离 本发明的范围，本领域技术人员可以设计多种修改和可替代的设置，并且所附的权利要求书旨在涵盖这些修改和设置。
权利要求
1.一种装置，包括机械快门，其被配置为提供对图像的预定曝光，所述预定曝光由整体重置时间和所述机械快门的关闭时间限定；以及具有滚动快门性能的图像传感器，其响应于所述预定曝光，被配置为通过滚动读出所述图像而提供包括校准图像信号和实际图像信号的图像信号，其中通过在与所述预定曝光的最小和最大容差值相对应的时间之间的时间间隔期间使用所述图像传感器的预定校准区域而滚动读出所述图像的预定部分，提供所述校准图像信号，以使用所述校准图像信号来补偿所述实际图像信号而利用预定标准确定所述机械快门的所述关闭时间。
2. 根据权利要求l的装置，还包括校准处理模块，其用于确定所述机械快门的所述关闭时间。
3. 根据权利要求l的装置，其中所述关闭时间由这样的点确定，在该点处，在所述滚动读出所述图^^的所述预定部分期间，随在所述预定曝光期间用于连续行的时间变化的平均行曝光读出值在与所述预定曝光的所述最小容差值相对应的所述时间之后显著提高之后变得基本恒定。
4. 根据权利要求l的装置，其中所述图像传感器的所述预定校准区域在所述图1象传感器的传感器阵列的其中所述滚动读出开始的 一侧中，并且包括预定数量的行。
5. 根据权利要求l的装置，其中在与所述预定曝光的所述最大容差值相对应的所述时间之后，所述图像传感器被配置为改变所述图像的所述滚动读出的速度。
6. 根据权利要求l的装置，其中在与所述预定曝光的所述最大容差值相对应的所述时间之后，所述图像传感器被配置为将所述滚动读出停止一预定暂停时间，且在所述暂停时间之后继续所述滚动读出。
7. 根据权利要求l的装置，其中在所述时间间隔期间，所述图像传感器被配置为向所述图像传感器的所述预定校准区域提供部分滚动重置，且向所述图4象传感器的剩余区域提供整体重置。
8. 根据权利要求7的装置，其中所述关闭时间由这样的点确定，在该点处，在所述图4象的所述预定部分的所述滚动读出期间，随在所述预定曝光期间用于连续行的时间变化的平均行曝光值在与所述预定曝光的所述最小容差值相对应的所述时间之后基本恒定之后开始显著降低至零。
9. 根据权利要求l的装置，其中所述装置是电子设备的一部分或者用于无线通信的电子设备的一部分。
10. 根据权利要求l的装置，其中所述校准区域包括超像素，其中所述超像素中的每个超像素被构造为以下之一超单元具有所述图像传感器的一条线的长度和在所述图像传感器的提供所述实际图像信号的实际图像区域中的像素的高度，像素的行在模拟域中被组合，以使一行呈现为一个超像素，以及像素的行在数字域中被组合，以使一行呈现为一个超像素。
11. 根据权利要求l的装置，其中集成电路包括所述装置中的所有或选定的模块。
12. 根据权利要求l的装置，其中在与所述预定膝光的所述最小容差值相对应的时间，对所述校准区域应用进一步的整体重置。
13. 根据权利要求1的装置，其中通过对所述图像传感器的未用作预定校准区域的剩余区域的滚动读出，提供所述实际图像信号。
14. 根据权利要求l的装置，其中在所述预定校准区域的顶部上设置漫射器元件。
15. 根据权利要求l的装置，其中所述图像传感器是互4峻属氧化物半导体传感器。
16. —种方法，包括以下步骤使用机械快门提供对图像的预定曝光，所述预定曝光由整体重置时间和所述机械快门的关闭时间限定；通过使用具有滚动快门性能的图像传感器响应于所述预定爆光而滚动读出所述图像，提供包括校准图像信号和实际图像信号的图像信号，其中通过在与所述预定膝光的最小和最大容差值相对应的时间之间的时间间隔期间使用所述图像传感器的预定校准区域而滚动读出所述图像的预定部分，提供所述校准图像信号，以补偿所述实际图像信号；以及使用用于所述补偿的所述校准图像信号，确定所述机械快门的所述关闭时间。
17. 根据权利要求16的方法，其中所述关闭时间由这样的点确定，在该点处，在所述滚动读出所述图^^的所述预定部分期间，随在所述预定曝光期间用于连续行的时间或行数变化的平均行曝光读出值在与所述预定曝光的所述最小容差值相对应的所述时间之后显著提高之后变得基本恒定。
18. 根据权利要求16的方法，其中所述图像传感器的所述预定校准区域在所述图l象传感器的传感器阵列的其中所述滚动读出开始的一侧中，并且包括预定数量的行。
19. 根据权利要求16的方法，其中在与所述预定曝光的所述最大容差值相对应的所述时间之后，所述图像传感器被配置为改变所述图<象的所述滚动读出的速度。
20. 根据权利要求16的方法，其中在与所述预定曝光的所述最大容差值相对应的所述时间之后，所述图^f象传感器净皮配置为将所述滚动读出停止一预定暂停时间，且在所述暂停时间之后继续所述滚动读出。
21. 根据权利要求16的方法，其中在所述时间间隔期间，所述图像传感器被配置为仅仅向所述图像的预定部分提供部分滚动重置，且对其他图像区域使用整体重置。
22. 根据权利要求21的方法，其中所述关闭时间由这样的点确定，在该点处，在所述图像的所述预定部分的所述滚动读出期间，随在所述预定啄光期间用于连续行的时间或行数变化的平均行曝光值在与所述预定曝光的所述最小容差值相对应的所述时间之后基本恒定之后开始显著降低至零。
23. 根据权利要求16的方法，其中所述校准区域包括超像素，其中所述超像素中的每个超像素被构造为以下之一超单元具有所述图像传感器的一条线的长度和在所述图像传感器的提供所述实际图像信号的实际图像区域中的像素的高度，像素的行在模拟域中被组合，以使一行呈现为一个超像素，以及像素的行在数字域中被组合，以使一行呈现为一个超像素。
24. —种计算机程序产品，包括计算机可读的存储结构，在其上包含有计算机程序码，以利用所述计算机程序码由计算机处理器执行，其中所述计算机程序码包括用于执行根据权利要求15的方法的指令，其通过照相机的或者包括照相机的电子设备的任何元件或元件的组合而执行。
25. —种电子设备，包括机械快门，其用于提供对图像的预定膝光，所述预定曝光由整体重置时间和所述机械快门的关闭时间限定；具有滚动快门性能的图像传感器，其响应于所述预定膝光，用于通过滚动读出所述图像而提供包括校准和实际图像信号的图像信号，其中通过在与所述预定曝光的最小和最大容差值相对应的时间之间的时间间隔期间使用所述图像传感器的预定校准区域而滚动读出所述图像的预定部分，提供所述校准图像信号，以使用所述校准图像信号来补偿所述实际图像信号而利用预定标准确定所述机械快门的所述关闭时间。
26. 根据权利要求25的电子设备，还包括校准处理才莫块，其用于确定所述机械快门的所述关闭时间。
27. 根据权利要求25的电子设备，其中所述^快门和所述图像传感器是数字照相机的部件。
28. —种装置，包括用于啄光图像的工具，其用于提供对图像的预定曝光，所述预定曝光由整体重置时间和所述图像曝光工具的关闭时间限定；用于传感的工具，其响应于所述预定曝光，用于通过滚动读出所述图像而提供包括校准图像信号和实际图像信号的图像信号，其中通过在与所述预定膝光的最小和最大容差值相对应的时间之间的时间间隔期间使用所述用于传感的工具的预定校准区域而滚动读出所述图像的预定部分，提供所述校准图像信号，以使用所述校准图傳*信号来补偿所述实际图像信号而利用预定标准确定所述用于膝光图像的工具的所述关闭时间。
29. 根据权利要求28的装置，其中所述用于曝光图像的工具是机械快门，且所述用于传感的工具是具有滚动快门性能的图4象传感器。
30. —种处理模块，包括校准处理模块，其被配置为通过确定机械快门的关闭时间来响应于图像信号而提供指示对图像的预定曝光的机械快门曝光信号，所述预定曝光由整体重置时间和所述机械快门的关闭时间限定，其中所述机械快门被配置为提供所述预定曝光，并且其中所述图像信号包括校准图像信号和实际图像信号，且由具有滚动快门性能的图像传感器使用对所述图像的滚动读出、响应于所述预定曝光而产生，并且其中通过在与所述预定曝光的最小和最大容差值相对应的时间之间的时间间隔期间使用所述图像传感器的预定校准区域而滚动读出所述图像的预定部分，提供所述校准图像信号。
31. 根据权利要求30的处理模块，还包括图像处理模块，其响应于所述机械快门啄光信号，且被配置为提供补偿的实际图像信号。
32. 根据权利要求31的处理模块，其中所述校准处理模块和所述图像处理模块被组合。
33. 根据权利要求30的处理模块，其中集成电路包括所述处理模块中的所有或选定的模块。
全文摘要
说明书和附图给出了一种新的方法、装置和软件产品，以使用在数字照相机中或在具有数字照相机的电子设备中的图像传感器的预定校准区域来利用图像(例如，互补金属氧化物半导体)传感器的滚动输出，确定机械快门曝光时间(例如，实际关闭时间)。
文档编号H04N5/235GK101543055SQ200780043936
公开日2009年9月23日 申请日期2007年11月16日 优先权日2006年11月27日
发明者J·阿拉卡尔胡 申请人:诺基亚公司