专利名称：用于使用滚动快门的成像传感器的闪烁检测电路的制作方法
技术领域：
本揭示内容大体有关 于闪烁检测电路以及使用该闪烁检测电路的装置。本专利申请案主张美国临时专利申请案第61/114，748号(申请于2008年11月14日，标题为“用于使用滚动快门的成像传感器的闪烁检测电路”)的优先权及权益，其内容全部并入本文作为参考资料。
背景技术：
CMOS成像传感器常见于许多手持装置。此技术的挑战之一为由荧光灯与传感器之电子滚动快门的相互作用造成的影像闪烁(image flicker)。非平稳序列对于多帧程序 (multi frame process)构成挑战问题。为了应付这些限制，提出一种新程序以利用帧对齐来改善闪烁检测效能。此方法大幅改善在信号交换(handshake)及垂直平移(vertical panning)情况下的效能。成像装置越来越常见于许多数字手持装置。这些装置许多使用有电子滚动快门的 CMOS成像传感器。不像机械快门，滚动快门需要以不同的时段来曝光影像的不同部份。具体言之，每条相继影像横列在时间上有偏移。这种方法的结果之一是在荧光灯下影像中产生空间闪烁(spatial flicker)，因为每条横列暴露于不同的照度总量。稳健地检测此闪烁是必要的，以便正确地将相机组构成可移除瑕疵。及时成像系统对闪烁检测有更多限制。 实际的成像系统需要以15或30帧/秒(fps)操作而大幅减少影像的空间闪烁频率使得检测程序更具挑战性。已有人针对此问题提出各种方法。Baer等人提出修改传感器架构以相反的顺序读出每个像素两次以及加总结果来减少闪烁的出现，这描述于R. L. Baer, R. Kakarala, “用于减少由光源闪烁造成之瑕疵的系统与方法”的美国专利第7，397，503号。其它的方法使用摄取影像或影像序列(image sequence)来检测闪烁。许多此类方法依赖序列的 (sequentail)帧以便检测闪烁，或描述于D. Poplin，“用于埋藏式相机系统的自动闪烁检测方法”，IEEE 消费电子产品汇刊，52 (2)，308-311 (2006) ；T. Tajbakhsh, R. R. Grigat，“滚动快门相机系统的照明闪烁频率分类”，IASTED 2007，信号与影像处理，288-293 (2007)的记录汇编；以及，M. Kaplinsky, I. Subbotin，“针对有滚动快门之成像器方法用于照明光源频率与光学积分时间之持续时间的失配检测方法”，美国专利第7，142，234号。这些可行是假设有永远平稳的场景，然而实际上这种情形很少见。已发现，荧光光源的照度会因电源的交流电而随着时间改变。取决于地理位置，电源供给为60或者是50Hz。传输至光源的电力以供给频率的两倍振荡而导致照度以120或者是100Hz变化。光源的照度模型是用以下的函数建立
0 Bcos(^t), . ,D- 2/Bτ
、JV2 T22(i)在此，A为在电源电压零点交叉(zero crossing)处的直流照度，此时没有电力传输至光源。照度的直流部份不包含任何闪烁，因此为求描述简洁，设定A为零。B为纯量，其决定在给定光源下闪烁的大小而且等于电压在最大值减去常数A的照度。A与B为随着光源而有所不同的常数。T为闪烁周期。人的视力感觉不到在此频率的闪烁，不过，滚动快门 CMOS传感器可拾取此变异。 为使描述简洁，
图1绘出方程式1在F= 120Hz及A = 0、B= 1下的曲线图。下方图示典型的电子滚动快门。在滚动快门中，每一横列在不同时刻开始及结束积分。任何两条横列之间的差异用ΔΓ表示。横列1的信号与随着曲线的积分时间在该曲线下以下降影线图示的面积成正比。因此，横列η的信号正比于以上升影线图示的面积。交叉影线的面积对应至横列1与横列η —起积分的时间。此示横列1的总面积大于横列η的面积，因而横列1的信号也如此。由于曝光有此相对差异，所以本身在影像上以由暗至明的条纹(banding)呈现。并非所有的积分时间会产生闪烁。如果设定积分时间为闪烁频率的倍数，则曲线下的面积为常数，而与偏移ΔΓ无关。在此情形下，没有闪烁存在。因此，用以下方程式表示积分时间
权利要求
1.一种设备，其包含有一滚动快门组构的一 CMOS成像传感器；以及电路，其可操作以比较该CMOS成像传感器所摄取的第一帧与该CMOS成像传感器所摄取的第二帧以判断这些帧之间场景内容是否不对齐；如果判断它们不对齐，通过使该第二帧与该第一帧重新对齐来产生经重新对齐的一第二帧；以及使用源于该经重新对齐的第二帧的亮度数据与源于该第一帧的亮度数据以判断不合意闪烁情况是否存在，如果成立，调整该CMOS成像传感器的曝光时间以减少闪烁。
2.如权利要求1所述的设备，其中该电路比较该第一帧与该第二帧以只用y方向的数个像素横列来判断不对齐。
3.如权利要求1所述的设备，其中该电路可操作以通过将该第一帧投影于一直行来产生第一直行投影，将该第二帧投影于一直行来产生第二直行投影，以及计算该第一及第二直行投影的交叉相关值，来判断这些帧之间场景内容是否不对齐。
4.如权利要求3所述的设备，其中该电路可操作以通过平均与该第一帧关连的多个直行值来产生该第一直行投影，以及通过平均与该第二帧关连的多个直行值来产生该第二直行投影。
5.如权利要求1所述的设备，其中该电路可操作以通过比较与该第一帧关连的至少一像素区块、与该第二帧关连的对应至少一像素区块，来判断这些帧之间场景内容是否不对齐。
6.如权利要求3所述的设备，其中该电路可操作以通过使该第二直行投影直行移位以重新对齐该第一直行投影来产生经重新对齐的该第二帧。
7.如权利要求1所述的设备，其中该电路可操作以通过比较闪烁频率的最近窗口的信号功率与周围频率窗口的平均信号功率来判断是否存在不合意的闪烁情况。
8.一种由电子设备执行的方法，其包含下列步骤比较由一成像传感器摄取的第一帧与由该成像传感器摄取的第二帧以判断这些帧之间场景内容是否不对齐；如果判断它们不对齐，通过使该第二帧与该第一帧重新对齐来产生经重新对齐的第二帧；使用源于该经重新对齐的第二帧的亮度数据与源于该第一帧的亮度数据来判断是否存在不合意的闪烁情况；以及如果成立，调整该成像传感器的曝光时间以减少闪烁。
9.如权利要求8所述的方法，其更包含下列步骤只用在y方向的数个像素横列用来比较由该成像传感器摄取的该第一帧与由该成像传感器摄取的该第二帧以判断这些帧之间场景内容是否不对齐。
10.如权利要求8所述的方法，其更包含下列步骤将该第一帧投影于一直行来产生第一直行投影；将该第二帧投影于一直行来产生第二直行投影；以及计算该第一及第二直行投影之间的交叉相关值以判断这些帧之间场景内容是否不对齐。
11.如权利要求10所述的方法，其更包含下列步骤通过平均与该第一帧关连的多个直行值来产生该第一直行投影；以及通过平均与该第二帧关连的多个直行值来产生该第二直行投影。
12.如权利要求8所述的方法，其更包含下列步骤比较与该第一帧关连的至少一像素区块、与该第二帧关连的对应至少一像素区块以判断这些帧之间场景内容是否不对齐。
13.如权利要求10所述的方法，其更包含下列步骤使该第二直行投影直行移位以与该第一直行投影重新对齐来产生经重新对齐的该第二帧。
14.如权利要求8所述的方法，其更包含下列步骤比较闪烁频率的最近窗口的信号功率与周围频率窗口的平均信号功率；以及判断是否存在不合意的闪烁情况。
15.一种集成电路，其包含电路，其可操作以比较第一摄取帧与第二摄取帧以判断这些帧之间场景内容是否不对齐；如果判断它们不对齐，通过使该第二帧与该第一帧重新对齐来产生经重新对齐的一第二帧；以及使用源于该经重新对齐的第二帧的亮度数据与源于该第一帧的亮度数据以判断不合意的闪烁情况是否存在，以及若成立，产生曝光时间控制信息供输出至一相机的一成像传感器以减少闪烁。
16.如权利要求15所述的集成电路，其中该电路比较该第一摄取帧与该第二摄取帧以通过只用在y方向的数个像素横列来判断不对齐。
17.如权利要求15所述的集成电路，其中该电路可操作以通过将该第一摄取帧投影于一直行来产生第一直行投影，将该第二摄取帧投影于一直行来产生第二直行投影，以及计算该第一及第二直行投影之间的交叉相关值，来判断这些帧之间场景内容是否不对齐。
18.如权利要求17所述的集成电路，其中该电路可操作以通过平均与该第一摄取帧关连的多个直行值来产生该第一直行投影，以及通过平均与该第二摄取帧关连的多个直行值来产生该第二直行投影。
19.如权利要求15所述的集成电路，其中该电路可操作以通过比较与该第一摄取帧关连的至少一像素区块、与该第二摄取帧关连的对应至少一像素区块来判断这些帧之间场景内容是否不对齐。
20.如权利要求17所述的集成电路，其中该电路可操作以通过使该第二直行投影直行移位以重新对齐该第一直行投影来产生经重新对齐的该第二帧。
21.如权利要求15所述的集成电路，其中该电路可操作以通过比较闪烁频率的最近窗口的信号功率与周围频率窗口的平均信号功率来判断是否存在不合意的闪烁情况。
全文摘要
电路、设备及方法提供闪烁检测及改良影像产生给使用成像传感器的数字相机。在一实施例中，电路及方法可操作以比较第一摄取帧与第二摄取帧(例如，若需要可呈序列及连续或非连续)，以判断两帧之间场景内容是否不对齐。如果判定该等帧不对齐，通过使第二帧与第一帧重新对齐来产生经重新对齐之第二帧。源于经重新对齐之第二帧的亮度数据与源于第一帧之像素的亮度数据用来判断是否存在不合意的闪烁情况。如果检测到不合意的闪烁情况，则产生输出至摄取该帧之成像传感器的曝光时间控制信息以减少闪烁。例如，在数字相机的预览模式期间，可完成此操作，或可在任何其它适当时间进行。
文档编号H04N5/374GK102273194SQ200980154027
公开日2011年12月7日 申请日期2009年11月13日 优先权日2008年11月14日
发明者G·C·H·格林兰, M·阿列克西克, S·戈马 申请人:Ati技术无限责任公司