基于多个影像的闪烁侦测方法及电路的制作方法
【专利说明】基于多个影像的闪烁侦测方法及电路 【技术领域】
[0001] 本发明是有关于一种闪烁侦测方法及相关电路，且特别是有关于基于多个影像的 闪烁侦测方法及电路。 【【背景技术】】
[0002] 用于拍摄影像及/或录制影片的数字影像系统，像是智能型手机、移动电话、手持 计算机、便携计算机、平板计算机、笔记本电脑、穿戴式配件（例如，眼镜或手表）、导航装 置、数字相机、网络相机（例如，IP相机）、数字摄录机、游戏控制器、交互式玩具以及监视系 统等等，已成为现代电子装置的重要部份。
[0003] 在现代的数字影像系统中，影像的取得典型上是通过滚动快门以控制对影像传 感器的曝光来实现。影像传感器可包括排成阵列的多个像素传感器；针对排成同一条 线的像素传感器，例如，水平扫描线，此线的各像素传感器所获得的光数据可在读出间隔 (interval)内依序地被读出。通过滚动快门机制，不同线（行）的读出间隔被安排成依序 地发生，而非共同地发生，因此，即便没有实体光屏蔽，仍可避免影像传感器在读出周期收 集过多的光量，进而降低影像传感器的成本。然而，滚动快门也会因为依序的行（线）俘获 及读出而引入大量人工产物，其一就是变动光源所造成的亮度闪烁。
[0004] 因此，如何侦测并移除影像的亮度闪烁噪声，是目前业界所致力的课题之一。 【
【发明内容】
】
[0005] 本发明提供一种基于多个影像的闪烁侦测方法以及电路。
[0006] 本发明提供一种基于多个影像的闪烁侦测方法，包含对各影像提供整合闪烁信 号，包括：沿着各影像的一方向累加各影像的多个像素的像素数据；执行移动补偿，包括： 比较两影像的两整合闪烁信号，以提供闪烁信号差；执行闪烁特征俘获，包括：基于闪烁信 号差进行频率分析，以提供闪烁特征值；以及执行闪烁判定，包括：依据闪烁特征值决定是 否应拒绝无闪烁假设。
[0007] 本发明还提供一种基于多个影像的闪烁侦测电路，包括整合闪烁信号计算模块， 用以针对各影像提供整合闪烁信号；移动补偿模块，通过比较两影像的两整合闪烁信号，以 提供闪烁信号差；闪烁特征俘获模块，根据闪烁信号差进行频率分析，以提供闪烁特征信 号；以及闪烁判定模块，用以执行闪烁判定，以响应于闪烁特征信号。
[0008] 本发明通过以上方案，可以有效地解决亮度闪烁的问题。 【【附图说明】】
[0009] 图1图示了依据本发明的一实施例的闪烁侦测流程图。
[0010] 图2图示了依据本发明第一实施例的闪烁侦测电路。
[0011] 图3图示了连续读出以及闪烁。
[0012] 图4图示了两连续帧之间的差异。
[0013] 图5图示了依据本发明的一实施例的整合闪烁信号的形成。
[0014] 图6图示了依据本发明的一实施例的强度调制。
[0015] 图7图示了依据本发明的一实施例的强度补偿。
[0016] 图8图示了说明两连续帧的整合闪烁信号间的移动的一示例。
[0017] 图9图示了移动补偿的一示例。
[0018] 图10图示了依据本发明的一实施例的移动估计的流程图。
[0019] 图11图示了错误减少的一示例。
[0020] 图12图示了决定用于闪烁特征俘获的取样频率的示例。
[0021] 图13图示了决定用于闪烁特征俘获的取样频率的示例。 【【具体实施方式】】
[0022] 影像在环境光下被俘获，而在大部份所感受到的环境光之中，部份会受到亮度变 动的影响。举例来说，汲取交流电源的人造光源会产生光强度变动。在变动光源下，像是用 于室内照明的日光灯，影像传感器的不同行（线）会因为依序的行俘获以及读出而被不同 的亮度曝光，进而对所俘获的影像造成带效应（banding effect)，例如，闪烁伪像，使得影 像质量降低。为了抑制或消除带效应，可将每一条线的曝光时间设成与亮度变动的时间周 期相同，故影像中的每条线在曝光时间中可被等量的光子所曝光。为此，侦测闪烁的频率相 当重要，可进而设定曝光时间。
[0023] 日光灯的闪烁频率可对应至供应电源的交流电流频率。通过磁性镇流器 (magnetic ballast)，闪烁频率可以是供电电源频率的两倍，因为镇流器可在正、负电压差 启动。若闪烁频率被决定，数字影像系统可随需求而改变其曝光表（例如，AE表，AE表示自 动曝光）。更具体地说，倘若侦测到120Hz的闪烁，影像系统可采用针对60Hz交流源光（其 曝光时间等于8. 33毫秒的倍数）的曝光表，但仍可观察IOOHz的闪烁，反之亦然。例如，倘 若侦测到IOOHz的闪烁，影像系统可切换至针对50Hz交流源光（其曝光时间等于10毫秒 的倍数）的曝光表，并持续侦测120Hz的闪烁是否出现。
[0024] 请参考图1以及图2。图1绘示依据本发明的一实施例的基于影像的闪烁侦测流 程图100,其可利用帧（frame)到帧之间的差以增强闪烁侦测的信号噪声比。图2绘示电 路200,其可被嵌入至电子装置（未绘示）当中，并可采用流程图100以依据电子装置中 影像系统（未绘示）的影像传感器30所俘获的影像进行闪烁侦测。举例来说，电路200 可以是基频处理器、应用处理器、电子信号处理器、微控制器、集成电路、或是芯片上系统 (system-on-chip，S0C)、控制器、微控制器等等。电路200包括曝光及帧率控制模块31、整 合闪烁信号计算模块32、移动估计模块33、强度补偿模块34、移动补偿模块35、移动估计错 误减小模块36、闪烁特征俘获模块37、频率选择模块38、闪烁判定模块39以及自动调谐模 块40。
[0025] 大多现代电子装置的制造商规定闪烁侦测要能在影像系统开启间隔侦测动态的 光频率切换。这样的要求需要电子装置随时动态分析影像图样IOOHz或120Hz的闪烁，而 非只在电子装置的初始电源开启阶段（或相机开启阶段）进行分析。因为动态侦测的要 求，电路200可一直操作在使能于消除所侦测的闪烁频率的闪烁的模式，并使能动态闪烁 侦测，以检测当前光源是否改变频率。举例来说，电路200可持续地（例如，周期性地）重 复执行流程图100或通过情境感知（context awareness)执行流程图100。
[0026] 为通过抑制闪烁以达到更佳的用户体验，电路200可准备两组AE表分别用于50Hz 以及60Hz :50Hz AE表组可设计来消除50Hz交流源光的闪烁，而60Hz AE表组可设计来消 除60Hz交流源光的闪烁。举例来说，用以消除50Hz交流源闪烁的50Hz AE表组可包括针 对影像传感器30的多个离散曝光时间，各曝光时间可以是10毫秒的倍数；另一方面，用以 消除60Hz交流源闪烁的60Hz AE表组可包括另外的多个离散曝光时间，各曝光时间可以是 8. 33毫秒的倍数。当电路200采用50Hz AE表组来控制影像传感器30,电路200亦可执行 流程图100以侦测当前的环境光是否在60Hz的交流电源下产生变动。类似地，当电路200 采用60Hz闪烁AE表组，电路200亦可执行流程图100以侦测当前的环境光是否在50Hz的 交流电源下产生变动。
[0027] 连同图1及图2,请参考图3,其绘示依据本发明的一实施例的影像传感器30的连 续读出。如图3所示，影像传感器30的各行（水平线）可被曝光一曝光时间E，并在曝光后 的一读出间隔被读出。举例来说，在行1的曝光之后，行1中像素的像素数据可在一读出间 隔TRl被读出；在行2的曝光之后，邻近之行2中像素的像素数据可在一读出间隔TR2被读 出等等。不同行的读出间隔，例如TRl至TR5,可维持相同的间隔并标示为读出时间TR。
[0028] 为了降低复杂度、耗费的资源以及实现影像读出的成本，影像传感器30,例如， CMOS传感器阵列，可设计在任意时间仅对一行作读取。影像传感器30可包括单一行读出电 路（未绘示）。在完成每一行的曝光后，可读出完整行中像素的像素数据。这样的单行读取 机制在不同行的读出间隔之间可能需要作逐行的延迟，因为不同行的像素数据可能不会同 时被读出。举例来说，如图3所示，行2的读出间隔TR2可起始于行1的读出间隔TRl的末 端之后，行3的读出间隔TR3可起始于行2的读出间隔TR2的末端之后。因此，不同行的曝 光起始处之间存在一逐行延迟，以确保各行皆被曝光相同的时间。举例来说，如图3所示， 行2的曝光起始处可通过将行1的曝光起始处延迟一读出时间TR后而得到。此延迟是读 出电路用以完成读出一行的时间。
[0029] 在光变动强度如波形300下俘获影像，相继的俘获（曝光）及读出亦可能造成闪 烁，若各行的曝光时间E不等于变动强度的变动周期T_f Ik的整数倍，其可能在读出的影像 上形成不必要的带效应。图3亦绘示受到带效应闪烁影响的示例性影像301。在相继的俘 获以及读出之下，时间的变动波形300转换成不想要的空间亮度变化加载了读出影像301 中所要的内容，使影像301中的结果内容受到亮、暗带交错的干扰，此干扰沿着影像301的 行水平延伸，并以空间边带周期TB垂直地重复。也就是说，时间的强度变动周期T_flk反 应在空间边带周期TB上。
[0030] 为解决闪烁的问题，流程图100的闪烁侦测可用来判定闪烁是否存在于一给定的 闪烁频率上，因而电路200可适应性地选择合适的AE表组，以消除带效应，进而得到无带效 应的影像302。
[0031] 请再参考图1及图2,电路200 (图2)中模块的功能以及流程图100 (图1)中的主 要步骤说明如下。
[0032] 步骤2 :通过曝光及帧率控制模块31提供曝光时间E'以及帧率R'，以进行最佳闪 烁侦测。因此，在流程图100的闪烁侦测间隔，用于对各行作曝光的曝光时间E(图3)可被 设为等于曝光时间E'，而用于俘获连续帧的帧率可设为帧率R'。
[0033] 在此实施例中，侦测闪烁的能力可仰赖源自带效应的空间闪烁图样的存在；闪烁 图样可基于一或多个俘获影像而取得，例如基于