专利名称：具有用于为视频提供强度校正的电路的集成电路以及为视频提供强度校正的方法
技术领域：
本发明大体上涉及集成电路，且明确地说，涉及一种为视频提供强度校正的方法。
背景技术：
视频监视市场在最近几年里响应于相机技术的降价和改进而经历需求增长。数字记录装置和能够进行视频分析的新型计算平台的改进能力也有助于需求增长。视频监视系统的应用的范围从已知封闭环境或未知动态环境两者中的侵入保护到活动监控与跟踪，例如在空中监视应用中。另外，因为需要较佳视频分辨率，所以人们关注于针对视频监视使用高清晰度(HD)速率。集成电路为包括监视设备的任何电子装置的整体部分。经常一起使用多种集成电路以实现电子装置(例如视频监视网络)的操作。尽管集成电路通常经设计以用于特定应用，但某些集成电路可具有可配置逻辑。举例来说，专用集成电路(ASIC)可具有包含可配置逻辑的部分。具有可配置逻辑的另一类型的集成电路为可编程逻辑装置(PLD)。可编程逻辑装置经设计为用户可编程的，使得用户可实施其选择的逻辑设计。一种类型的可编程逻辑装置为复合可编程逻辑装置(CPLD)。CPLD包括两个或两个以上具有两级AND/OR结构的“功能块”，其连接在一起且通过互连开关矩阵连接到输入/输出(I/O)资源。另一类型的可编程逻辑装置为现场可编程门阵列(FPGA)。在典型的FPGA中，可配置逻辑块(CLB)阵列耦合到可编程输入/输出块(IOB)。CLB和IOB通过可编程路由资源分层结构互连。对于这两种类型的可编程逻辑装置来说，所述装置的功能性受出于所述目的而提供到所述装置的配置位流的配置数据位控制。至于任何电子系统，总是需要提高系统质量且降低系统成本。尽管俘获视频数据的系统可与任何类型的集成电路一起使用，但图像质量和需要处理的数据量在实施所述系统以满足消费者需要时构成重大问题。
发明内容
本发明揭示一种为视频的帧提供强度校正的方法的实施例。所述方法可包含评估所述视频的帧的一部分；确定所述帧的当前块与先前帧的对应块的强度差值；在满足第一组参数的情况下用局部强度校正来校正所述帧的所有块；以及在不满足所述第一组参数的情况下用全局强度校正和局部强度校正两者来校正所述帧的所述当前块。在满足所述第一组参数的情况下用局部强度校正来校正所述帧的所有块可包含确定所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值是否超过预定阈值且全局增益因子是否在预定范围之外。用全局强度校正和局部强度校正两者来校正所述帧的所述当前块包含使用全局增益因子来校正所述帧的所述当前块；在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的当前块与所述先前帧的对应块的强度差值；以及确定是否要使用局部强度校正来校正帧的所述当前块。
在此实施例中，所述确定是否要使用局部强度校正来校正帧的所述当前块的步骤可包含在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块之间的强度差值是否超过第二预定阈值。所述确定是否要使用局部强度校正来校正帧的所述当前块的步骤可包含确定所述全局增益因子是否在预定范围之外。所述方法的此实施例可进一步包含确定两个先前块是否失真，且在所述两个先前块不失真的情况下用失真块的编号更新局部强度计数器。另外，所述方法的此实施例可进一步包含在所述当前帧中的所述两个先前块失真的情况下校正先前块。根据替代实施例，一种为视频的帧提供强度校正的方法包含评估所述视频的帧的一部分；确定所述帧的当前块与先前帧的对应块的强度差值；在所述帧的经校正当前块与先前帧的对应块的强度差值小于预定阈值或全局增益因子在预定范围内的情况下使用全局增益因子来校正所述帧的所述当前块；在使用所述全局增益因子来校正所述帧的当前块之后确定所述帧的当前块与所述先前帧的对应块的强度差值；以及确定是否要使用局部强度校正来校正所述帧的所述当前块。可在所述帧的所述当前块与所述先前帧的所述对应块的强度差值超过第二预定阈值且所述全局增益因子在预定范围之外的情况下，针对所述帧的每一块以逐块为基础来执行局部强度校正。所述方法的此实施例可进一步包含在确定所述帧的所述当前块与所述先前帧的所述对应块的强度差值之前估计全局增益因子，且使用所述全局增益因子来校正所述帧的一部分。在此实施例中，所述确定是否要使用局部强度校正来校正帧的所述当前块的步骤可包含在使用所述全局增益因子来校正所述帧的所述当前块之后将所述帧的所述当前块与所述先前帧的所述对应块的强度差值与第二预定阈值进行比较，且确定所述全局增益因子是否在预定范围之外。所述方法的此实施例可进一步包含确定在使用所述全局增益因子来校正所述帧的所述当前块之后所述帧的所述当前块与所述先前帧的所述对应块的强度差值是否已超过所述第二预定阈值，且确定所述全局增益因子是否在预定范围内。此实施例可进一步包含确定两个先前块是否失真，且在所述两个先前块不失真的情况下用失真块的编号更新局部强度计数器。另外，此实施例可进一步包含在所述当前帧中的所述两个先前块失真的情况下校正先前块。本发明还揭示一种具有用于为视频的帧提供强度校正的电路的集成电路的实施例。所述集成电路包含缓冲器，其经耦合以接收与所述视频相关联的数据的帧；处理器， 其耦合到所述缓冲器，所述处理器分析所述视频的帧的一部分，其中所述处理器在所述帧的经校正部分与先前帧的对应部分的强度差值大于预定阈值且全局增益因子在预定范围之外的情况下用局部强度校正来校正所述帧的所有块；以及存储器，其耦合到所述处理器， 所述存储器接收由所述处理器产生的用于所述帧的经校正强度系数。在此实施例中，所述当前帧的所述经校正部分和所述先前帧的所述对应部分可包含所述当前帧的顶部五行和所述先前帧的顶部五行。所述处理器可在所述帧的当前块与所述先前帧的对应块的强度差值小于预定阈值或所述全局增益因子在预定范围内的情况下通过以下步骤来校正所述帧的所述当前块(1)使用全局增益因子来校正所述帧的所述当前块；( 在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块的强度差值；以及C3)确定是否要使用局部强度校正来校正帧的所述当前块。所述处理器可通过在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值是否超过第二预定阈值，来确定是否要使用局部强度校正来校正帧的所述当前块。所述处理器可通过确定所述全局增益因子是否在预定范围之外来确定是否要使用局部强度校正来校正帧的所述当前块。所述处理器可进一步确定两个先前块是否失真且在所述两个先前块不失真的情况下用失真块的编号来更新局部强度计数器、或在所述当前帧中的所述两个先前块失真的情况下校正先前块。
图1为根据本发明实施例的监视系统的框图；图2为根据本发明实施例的耦合到用于接收用于视频图像的像素的参数的存储器的集成电路的框图；图3为根据本发明实施例的用于选择用于校正帧的图像强度的格式的电路的框图；图4为展示根据本发明实施例的全局强度校正的框图；图5为展示根据本发明实施例更新帧的强度值的框图；图6为展示根据本发明实施例的为视频图像提供强度校正的方法的流程图；图7为根据本发明实施例的用于提供全局和局部强度校正的电路的框图；图8为根据本发明实施例的用于实施图1到图7的电路的可编程逻辑装置的框图；图9为根据本发明实施例的图8的电路的可配置逻辑元件的框图。
具体实施例方式首先转向图1，展示根据本发明实施例的监视系统的框图。如图1所示，监视系统 100包含多个类似相机系统101，其耦合到控制计算机102。每一相机系统101包含相机 103，其为通常可得且可根据例如高清晰度电视(HDTV)标准等预定义标准产生视频图像。 相机耦合到相机系统的数据处理块104，所述数据处理块104可包含具有可编程逻辑的集成电路106和处理器108。如下文将更详细描述，处理器可并入到具有可编程逻辑的集成电路中。图像调节块110与相机介接以在必要时执行解交错、在必要时执行输入数据速率的上变频/下变频转换，且执行全局运动补偿以实现图像稳定和帧间对准。或者，相机可提供图像调节块的特征。强度校正块112自动适应由环境和相机的自调整功能两者所造成的照明变化，且维持帧之间的平滑强度转变。背景估计块114在存在混乱和移动对象的情况下确定背景，且实现干净利落的前景分割以便检测移动对象，如下文将更详细地描述。背景估计块114产生对背景的估计。阴影移除块116防止将阴影检测为前景，同时对象跟踪块 118允许在帧之间跟踪所检测对象的移动。也就是说，所跟踪的对象可由与对象相关联的像素随时间的改变来识别，其中所述改变如果满足预定准则就可被视为移动对象。为了产生对象跟踪信息，移除与所述对象有关的背景和任何阴影。编码器120压缩视频流，之后予以发送到网络信道。控制计算机可接着使用所述对象跟踪信息与经解压缩的视频信号来在较长时间跨度上以改进的分辨率更容易地识别所关注的对象。
例如对象跟踪信息等低带宽分级信息可在分级块122中产生且连同元数据一起存储在元数据缓冲器124中。举例来说，元数据可包括获取视频的日期以及相机设定的细节，例如镜头、焦距、光圈、快门定时和白平衡。处理器108还可响应于监视程序1 提供相机控制功能126。网络接口 130将经编码的视频数据、元数据和相机控制信息提供到网络通信链路129。控制计算机102耦合到网络通信链路129以针对相机系统101中的每一者从网络接口 130接收数据。控制计算机可为任何类型的通用计算机，其具有监视器以用于针对相机系统中的一者或一者以上显示图像。通信链路1 可为任何类型的有线或无线通信网络(例如电信网络)或数据网络(例如局域网(LAN)或广域网(WAN))的一部分。低带宽功能可归属于在集成电路(其可为(例如)具有可编程逻辑的集成电路)外部的处理器或具有可编程逻辑的集成电路(例如具有嵌入式处理器核心的FPGA)的嵌入式处理器核心。尽管数据处理块104经展示为与相机分离，但任何部分或整个数据处理块可并入在相机中。类似地，尽管控制计算机102经展示为与相机系统分离，但控制计算机可并入在相机系统中的一者或一者以上中。通过采用监视系统的相机系统的数据处理块104，实施低成本监视系统。然而，为了提供有益的对象跟踪信息，必须执行强度校正、背景估计和阴影移除。通过针对每一相机实施例如强度校正和背景估计等高处理带宽功能，可在控制计算机远端处实施处理密集型功能来提供对象跟踪，其中将表示视频图像和对象跟踪信息的经压缩数据提供到控制计算机。现转向图2，展示根据本发明实施例的耦合到用于接收视频图像的像素的参数的存储器的集成电路的框图。集成电路202包含硬件加速器，其提供强度校正块和背景估计与相减块两者。明确地说，集成电路202可耦合到芯片外存储器204，以用于存储由集成电路202产生的数据。像素缓冲器206经耦合以接收图像调节电路(例如图像调节电路110) 的输出。像素缓冲器的输出耦合到全局与局部强度校正块208。全局与局部强度校正块208 的输出或由夜景对比度增强块210处理的数据由多路复用器211选择且耦合到自适应背景估计与相减块212。如下文将更详细地描述，图2的电路对HD序列执行视频分割而不需要存储帧，因而在外部存储器带宽的方面提供高效率电路。所述电路在集成电路上的占用面积的方面也较小，且可在监视市场中广泛使用。人眼中的感受器仅能够检测到波长为400nm到700nm的光。这些感受器被称为视锥且具有三种不同类型，其中一种类型用于红光，一种类型用于绿光，一种类型用于蓝光。 如果观测到单个波长的光，那么这三个感受器的相对响应让人能辨别出所述光的称为色彩的内容。这种现象非常有用，因为其使得能够通过简单地将来自仅三种不同波长的各种比例的光相加在一起来产生一定范围的色彩。这种称为加色调配的过程用于彩色电视系统中，其中待显示的所得图像被分解为待显示的图片元素或像素的阵列。一般来说，每一像素显示一定比例的红色、绿色或蓝色。图像的红色、蓝色和绿色表示通常称为RBG。然而，传输或存储这些RBG色彩分量需要大量带宽，且集成电路可能较难以处理所述数据，例如高清晰度电视(HDTV)图像中的大量数据。因此，经常使用亮度与色彩差异编码来减小待显示的图像的带宽。举例来说，YUV格式含有表示与明度相关联的亮度分量(也称为亮度)的Y部分，以及表示与色彩相关联的色度分量(也称为色度1和色度幻的U和V部分。除了减小带宽之外，YUV格式比标准RBG格式更贴切地建模人类对色彩的感知。YUV420意味着对于每四个亮度(Y)字节，存在两个色度字节(交替的Cr和 Cb)。即使在YUV格式所提供的带宽减小的情况下，HDTV格式也具有大量数据要求。HDTV 帧可具有1920x1080个像素，且可使用传统标准清晰度TV的带宽的六倍。因此，存储为背景图像的数据的量的任何减小将为有益的。如图2所示，实施全局与局部强度校正和自适应背景估计与相减以产生与图像的背景部分相关联的参数。视频包含一序列图像(也称为帧)。基于帧间差异的背景估计算法在处理变动背景场景时容易出错。执行像素时间中值滤波的方法需要大量帧缓冲，因而使得其对高动态场景无吸引力。尽管基于获得像素的在线时间均值的自适应背景方法需要较少帧缓冲，但像素在真实场景中可能随时间具有一个以上均值，其中每一均值代表像素的不同背景模式。此类像素为多模式的，且当在在线求平均值方案中使用单个统计表示时未能如此恰当表征。可采用使用正态分布混合物来建模多模式背景图像序列的自适应方法。对于每一像素，其背景混合物中的每一正态分布对应于在像素中观测到特定强度或色彩的概率。这与其中出现在像素视野中的一个以上表面产生背景混乱的场景相符。每一表面由具有等于表面强度或色彩的均值和归因于表面纹理、照明波动或相机噪声引起的变化的正态分布来表示。根据图3的电路，减少的数据传送要求也可通过采用使用全局强度校正和局部强度校正两者的强度校正来实现。也就是说，因为局部强度校正为处理密集型的， 所以下文阐述的提供全局和局部强度校正的方法也可针对像素的强度值减少更新要求，且因此减小传输数据所需要的带宽。图3为根据本发明实施例的用于选择用于校正帧的图像强度的格式的电路的框图。明确地说，全局强度校正块302和局部强度校正块304经耦合以接收输入信号，且分别产生像素的经修改强度值和Λ似。控制单元306可用以控制多路复用器308以用于选择待产生作为经修改强度值/…的正确值。如下文将更详细地描述，可执行对全局强度校正和局部强度校正的选择以使处理器密集型的局部强度校正的量减到最小，以在处理视频图像时使数据处理要求减到最少。视频监视系统通常在能完全控制照明条件的控制良好的环境中较好地起作用。由于在视频监视和移动对象检测与跟踪中所使用的大多数算法假定恒定的图像强度，所以环境照明的改变可影响这些算法的执行。图像强度的改变可分类为全局和局部强度改变。全局强度改变为均勻地影响整个帧的平衡改变。举例来说，全局强度改变可由归因于灯光接通或断开引起的照明改变造成，或由云朵在太阳前面移动造成。另外，相机采用技术组合来最佳地将所反射的光映射到其数字化器的动态范围，且可改变图像强度。通常所使用的技术为用以根据视域中的照明量来设置曝光度的自动增益控制(AGC)、使相机参考适应“真正白色”以校正所有色彩的强度的自动白平衡以及用以控制穿过镜头进入的光量(即，曝光度)的自动光阑控制。在同时具有昏暗和明亮对象的场景中，AGC可能在尝试使所述水平达到平均水平时由于过亮或过暗而发生补偿过度/不足。或者，局部强度改变可导致不平衡的改变，其对所述帧的若干区域的影响大于对所述帧的其余部分的影响，且可突然地并在例如相机闪光等短时间周期内发生。图像强度可如下建模 1. I(t) = a(t) Ir (t) +Ntotal (t)(1) 其中I(t)为当前图像强度，IJt)为参考图像强度，a(t)为表观增益因子，且Ntotal (t)为具有均值零的总噪声。全局强度改变可如等式1所示使用表观增益因子来校正。
权利要求
1.一种为视频的帧提供强度校正的方法，所述方法包含评估所述视频的帧的一部分；确定所述帧的当前块与先前帧的对应块的强度差值；在满足第一组参数的情况下用局部强度校正来校正所述帧的所有块；以及在不满足所述第一组参数的情况下用全局强度校正和局部强度校正两者来校正所述帧的所述当前块。
2.根据权利要求1所述的方法，其中在满足所述第一组参数的情况下用局部强度校正来校正所述帧的所有块包含确定所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值是否超过预定阈值且全局增益因子是否在预定范围之外。
3.根据权利要求1或2所述的方法，其中用全局强度校正和局部强度校正两者来校正所述帧的所述当前块包含使用全局增益因子来校正所述帧的所述当前块；在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的当前块与所述先前帧的对应块的强度差值；以及确定是否要使用局部强度校正来校正帧的所述当前块。
4.根据权利要求3所述的方法，其中确定是否要使用局部强度校正来校正帧的所述当前块包含在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块之间的强度差值是否超过第二预定阈值。
5.根据权利要求4所述的方法，其中确定是否要使用局部强度校正来校正帧的所述当前块包含确定所述全局增益因子是否在预定范围之外。
6.根据权利要求1到5中任一权利要求所述的方法，其进一步包含确定两个先前块是否失真且在所述两个先前块不失真的情况下用失真块的编号更新局部强度计数器。
7.根据权利要求6所述的方法，其进一步包含在所述当前帧中的所述两个先前块失真的情况下校正先前块。
8.一种具有用于为视频的帧提供强度校正的电路的集成电路，所述集成电路包含缓冲器，其经耦合以接收与所述视频相关联的数据的帧；处理器，其耦合到所述缓冲器，所述处理器分析所述视频的帧的一部分，其中所述处理器在当前帧的经校正部分与先前帧的对应部分的强度差值大于预定阈值且全局增益因子在预定范围之外的情况下用局部强度校正来校正所述帧的所有块；以及存储器，其耦合到所述处理器，所述存储器接收由所述处理器产生的用于所述帧的经校正强度系数。
9.根据权利要求8所述的集成电路，其中所述当前帧的所述经校正部分和所述先前帧的所述对应部分包含所述当前帧的顶部五行和所述先前帧的顶部五行。
10.根据权利要求8或9所述的集成电路，其中所述处理器在所述帧的当前块与所述先前帧的对应块的强度差值小于预定阈值或所述全局增益因子在预定范围内的情况下通过以下步骤来校正所述帧的所述当前块使用全局增益因子来校正所述帧的所述当前块；在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块的强度差值；以及确定是否要使用局部强度校正来校正帧的所述当前块。
11.根据权利要求10所述的集成电路，其中所述处理器通过在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值是否超过第二预定阈值，来确定是否要使用局部强度校正来校正帧的所述当前块。
12.根据权利要求11所述的集成电路，其中所述处理器通过确定所述全局增益因子是否在预定范围之外来确定是否要使用局部强度校正来校正帧的所述当前块。
13.根据权利要求8到12中任一权利要求所述的集成电路，其中所述处理器进一步确定两个先前块是否失真，且在所述两个先前块不失真的情况下用失真块的编号来更新局部强度计数器或在所述当前帧中的所述两个先前块失真的情况下校正先前块。
全文摘要
本发明揭示一种为视频提供强度校正的方法。所述方法可包含评估(602)所述视频的帧的一部分；确定(604)所述帧的当前块与先前帧的对应块的强度差值；在满足第一组参数的情况下用局部强度校正来校正(607)所述帧的所有块；以及在不满足所述第一组参数的情况下用全局强度校正和局部强度校正两者来校正(608、614)所述帧的所述当前块。本发明还揭示一种具有用于为视频提供强度校正的电路的集成电路(202)。
文档编号G06T5/50GK102317970SQ201080007676
公开日2012年1月11日 申请日期2010年1月7日 优先权日2009年2月12日
发明者穆罕默德·S·萨耶德, 贾斯汀·G·戴尔发 申请人:吉林克斯公司