专利名称：一种视频序列明暗变化修复的方法和视频处理设备的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及一种视频序列明暗变化修复的方法和视频处理设备。
背景技术：
摄像机在拍摄一幅场景时，场景整体亮度可能突然出现增强或者减弱的情况，为了防止曝光不正常，摄像机内部会自动调整亮度增益，从而引起亮度上的明暗变化。下面为两种典型的情况的描述 情况一在某一正常的场景中，突然有一亮度较低的物体进入摄像头视野，摄像头检测到场景整体亮度降低，为了防止出现欠曝，摄像头会自动将亮度增益调大，背景区域会有一个亮度增强的变化。
情况二在某一正常的场景中，突然有一亮度较高的物体进入摄像头视野，摄像头检测到场景整体亮度提高，为了防止出现过曝，摄像头会自动将亮度增益调小，背景区域会有一个亮度减弱的变化。
视频背景出现明暗变化所引起的直接后果是画面背景出现较明显的明暗变化，视频质量变差。而且，在对这样的视频序列进行压缩编码传输时，会降低编码器的压缩率。针对视频背景明暗变化所引起的这些问题，有必要针对这样的视频序列的背景区域进行亮度补偿，以避免背景区域发生亮度上的跳变。
现有技术中提出了一种基于块的图像序列明暗变化修复的方法，该方法首先建立一种视频明暗变化的数学模型，具体如下 Ln，n+1(x，y)＝fn，n+1(Ln(x，y)，x，y)＝an，n+1(x，y)Ln(x，y)+bn，n+1(x，y)(1) 式(1)中的Ln(x，y)为序列中第n帧图像的亮度信息，an，n+1(x，y)为第n帧与第n+1帧图像之间亮度变化的乘性因子，bn，n+1(x，y)为第n帧与第n+1帧图像之间亮度变化的加性因子，这两个因子的二维多项式表示如下 an，n+1(x，y)＝a(0，0)+a(1，0)x+a(0，1)y+...+a(i，j)xiyj(2) bn，n+1(x，y)＝b(0，0)+b(1，0)x+b(0，1)y+...+b(i，j)xiyj 由式(2)可以看出，某一像素的乘性因子和加性因子与该像素的位置有关，但由于明暗变化的大面积覆盖特性，可以假定在一个足够小的范围内，乘性因子和加性因子保持不变。基于这一假设，该方法将图像分割成8×8大小的亮度块，以块为基本单元估计出乘性因子和加性因子。估计好参数后，逐块建立一个补偿模型以完成对当前发生明暗变化的帧的亮度修复。
在对现有技术的研究和实践过程中，发明人发现，由于该技术方案基于所建立的线性的视频明暗变化的数学模型，对于存在较多运动的图像序列，无法很好地对图像的背景区域亮度进行修复和补偿，造成图像质量较差。
发明内容
本发明实施例要解决的技术问题是提供一种视频序列明暗变化修复的方法，能够提高视频序列中图像的质量。
为解决上述技术问题，本发明所提供的视频序列明暗变化修复的方法和视频处理设备实施例是通过以下技术方案实现的 本发明实施例提供了一种视频序列明暗变化修复的方法，该方法包括 选取视频序列中未发生亮度上跳变的连续P帧图像中的一帧作为后面视频序列的参考帧； 根据所述参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于所述参考帧的亮度补偿函数； 采用所述亮度补偿函数，对当前帧的亮度进行补偿。
本发明实施例还提供了一种视频处理设备，该设备包括参考帧选取单元、亮度补偿函数获取单元、亮度补偿单元，其中 参考帧选取单元，用于选取视频序列中未发生亮度上跳变的连续P帧图像中的一帧作为后面视频序列的参考帧； 亮度补偿函数获取单元，用于根据所述参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数； 亮度补偿单元，用于采用亮度补偿函数获取单元所获取的亮度补偿函数，对当前帧的亮度进行补偿。
从以上技术方案可以看出，通过选取视频序列中未发生亮度上跳变的连续P帧图像中的一帧作为后面视频序列的参考帧，然后根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数，采用所述亮度补偿函数，对当前帧的亮度进行补偿，从而实现对图像亮度的修复。由于选用亮度上未发生跳变的连续P帧图像中的一帧作为参考帧，且采用参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧的相对于参考帧的亮度补偿函数，图像中静止区域的亮度是严格遵循亮度补偿函数做出响应的，排除了图像中运动区域可能由于运动物体的变化、遮挡出现亮度上的较大变化而使图像修复出现失真的情况，因此，可以获得较好的图像质量。
图1为本发明实施例一中视频序列明暗变化修复的方法流程图； 图2为本发明实施例二中视频序列明暗变化修复的方法流程图； 图3a为本发明实施例二中修正前亮度变化关系模拟图； 图3b为本发明实施例二中修正后亮度变化关系模拟图； 图4为本发明实施例三中视频序列明暗变化修复的方法流程图； 图5为本发明实施例四中视频处理设备结构示意图； 图6为本发明实施例五中视频处理设备结构示意图； 图7为本发明实施例六中视频处理设备结构示意图； 图8为本发明实施例七中视频处理设备结构示意图。
具体实施例方式 本发明实施例提供了一种视频序列明暗变化修复的方法和视频处理设备，用于提高视频序列中图像的质量。
为使本发明实施例的目的、技术方案及优点更加清楚明了，以下参照附图，对本发明实施例进行评细描述 参照图1，为本发明实施例一中视频序列明暗变化修复的方法流程图，通过选取一个亮度参考帧，对每一个当前帧进行亮度补偿，从而维持当前帧的背景区域亮度相对于参考帧保持不变，以下通过步骤进行详细说明 101、选取视频序列中亮度上未发生跳变的连续P帧图像中的一帧作为后面视频序列的参考帧； 对于参考帧的选择可以遵循如下原则如果视频序列中连续多帧图像亮度上未发生跳变，可以选择连续多帧图像中的一帧作为后面视频序列的参考帧，例如，可以将连续多帧图像的最后一帧作为后面视频序列的参考帧。
为了较好地反映图像序列背景亮度的稳定性，可以连续检测5帧以上的图像，例如，如果选取5帧，且这5帧图像没有发生亮度上的跳变，则可将第5帧作为后面视频序列的参考帧。
102、根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数； 从信号处理和分析的角度，可以将参考帧的静止区域亮度作为输入信号，当前帧的静止区域亮度看作是输入信号对应于某一个响应函数的输出信号，这种亮度响应关系可以描述为y＝f(x)，其中，x表示参考帧的静止区域亮度，y表示当前帧的静止区域亮度，f表示响应函数。很显然，理想的响应函数应该是y＝x。如果是这种响应关系，当前帧静止区域亮度和参考帧静止区域亮度之间不会出现任何的闪烁跳变和明暗变化。基于这一思想，可以求出当前帧的静止区域亮度和参考帧的静止区域亮度之间的亮度响应函数。为了得到亮度响应函数，选取参考帧的静止区域亮度和当前帧的静止区域亮度作为研究对象。之所以只选取参考帧和当前帧的静止区域亮度作为研究对象，是因为，图像中运动区域可能会因为运动物体的变化，遮挡等因素使得亮度出现较大的变化，而图像中静止区域的亮度是严格遵循亮度响应函数的。
对亮度响应函数y＝f(x)进行求逆运算，得到亮度补偿函数f-1(f(x))＝x。
103、采用所述亮度补偿函数，对当前帧的亮度进行补偿。
采用f-1(f(x))＝x对当前帧进行亮度补偿，可以使当前帧的背景区域亮度和参考帧的背景区域亮度近似相等，从而消除背景区域的明暗变化，提高图像质量。
从该实施例可以看出，在确定视频序列中连续P帧图像未发生亮度上的跳变时，选取所述连续P帧图像中的一帧(例如，最后一帧)作为后面视频序列的参考帧，然后根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数，采用所述亮度补偿函数，对当前帧的亮度进行补偿，从而实现对图像亮度的修复。由于选用视频序列中亮度上未发生跳变的连续P帧图像中的一帧作为参考帧，且采用参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数，图像中静止区域的亮度是严格遵循亮度补偿函数做出响应的，排除了图像中运动区域可能由于运动物体的变化、遮挡出现亮度上的较大变化而使图像修复出现失真的情况，因此，可以获得较好的图像质量。
参考图2，为本发明实施例二中视频序列明暗变化修复的方法流程图，以下通过具体步骤进行详细说明 201、选取视频序列中未发生亮度上跳变的连续P帧图像中的一帧作为后面视频序列的参考帧； 例如，在具体实施中，可以选择所述连续P帧图像中的最后一帧作为后面视频序列的参考帧。
202、根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧的静止区域亮度相对于参考帧的静止区域亮度的亮度响应函数，为一个线性函数； 发明人通过的大量的视频序列进行测试分析，发现亮度响应函数近似是一个线性函数，可以描述为 y＝a+b×x(3) (3)式中的x表示参考帧的静止区域亮度，y表示当前帧的静止区域亮度，a和b是描述线性响应函数的参数。
由于亮度响应函数为一个线性函数，因此，可以采用最小二乘法获得线性函数的参数a和b，具体计算参看式(4)-(7) a＝y-b×x(5) 式(4)-(7)中的xi表示参考帧图像中第i个样本的亮度值，x表示参考帧中所有样本的亮度的平均值，yi表示当前帧图像中第i个样本的亮度值，y表示当前帧所有样本的亮度的平均值。
在具体实施中，为了降低噪声对所选取样本的影响，可以将参考帧的静止区域和当前帧的静止区域划分为一些m×n大小的静止块来作为样本，而不是直接使用静止区域中的静止像素点来作为样本。m和n分别用于表示当前帧/参考帧中横向和纵向像素点的个数，m、n的大小需要适度，m、n的取值过小的话，可能无法有效降低图像中噪声对样本的影响；m、n的取值过大的话，造成样本个数过小，不能满足最小乘法的要求。发明人经过实验发现，m、n的取值一般为4～32之间比较好，m、n的取值可以相同、也可以不同。
如此一来，上面(4)-(7)式中的xi则表示参考帧中第i个样本静止块的亮度值(此处，使用静止块中所有像素亮度的平均值来作为样本静止块的亮度值，以降低噪声的影响)，x表示参考帧中所有样本静止块的亮度值的平均值，yi表示当前帧中第i个样本静止块的亮度值(此处，也是使用静止块中所有像素亮度的平均值来作为样本静止块的亮度值，以降低噪声的影响)，y表示当前帧所有样本静止块的亮度值的平均值。
对于如何能够准确地确定图像中的静止区域，也就是寻找出运动矢量为零的区域，在现有视频编码协议(如H263、H264、MPEG协议)中进行运动估计时一般采用的是SAD(Sum of Absolute Difference，绝对误差和)准则，参见下面的式(8) x，y＝-N，-(N-1)，...N-1，N (8) 式(8)中，Lref(i+x，j+y)表示参考帧中像素点的亮度值，Lcur(i，j)表示当前帧中像素点的亮度值；m、n为运动估计时所选取的分块的大小，建议m与n的取值范围均为[4，32]，m与n的取值可以相同，也可以不同，推荐m、n的取值同为16；x、y表示运动估计的范围，式(8)中的运动估计范围为[-N，N]之间；S为判断阈值，当x、y都为0时，式(8)还满足的话，则认为当前帧中的当前块相对于参考帧没有运动，也即为静止块。
然而，发明人发现，利用式(8)进行运动估计是基于背景亮度没有发生变化的前提下进行的，而本实施例中，背景亮度已经发生了改变，如果仍然采用式(8)的方法进行运动估计的话，因为背景亮度变化的影响，无法准确地找到图像中的静止块。
发明人发现，当摄像机内部器件检测到场景整体亮度发生变化的时候，它会自动调整增益，因此场景中物体的亮度变化是一种乘性变化，根据这一结论，采用如下方式，使得在背景亮度发生改变的情况下仍然可以准确地找到图像中所有的静止块，参照式(9)-(10) x，y＝-N，-(N-1)，...N-1，N (9) 参数k表示将要搜索的样本块在参考帧和当前帧中的平均亮度的比值，加上这一参数后，即使场景亮度发生了变化，仍然可以准确地找到图像中所有的静止块。实际上使用上式(9)进行静止块判断时，是不用在图像中进行搜索的，也就是说在x、y都为0时，直接判断上式(9)是否成立，就可以确定当前块是否是静止块了。成立时，为静止块；不成立时为非静止块。
找到图像中所有的静止块以后，将这些静止块作为使用最小二乘法的样本，利用(4)-(7)式即可拟合出参数a和参数b，然而此时得到的参数有可能仍然是不准确的，因为使用的样本静止块中可能会存在一些异常样本静止块，它们的存在会影响拟合得到的参数a和参数b的准确度。为了消除异常样本静止块的影响，必须首先剔除掉这些异常样本静止块，再对余下的样本静止块进行线性拟合，这样就可以得到比较准确的线性响应函数的参数a和参数b。
具体实现时，可以依照如下步骤进行首先根据所有样本静止块拟合得到一条直线表达式，然后计算所有样本静止块到该拟合直线的距离，可以近似认为这些距离的大小是符合高斯分布的。对于高斯分布，有(11)式成立 p(|x-μ|≤3σ)≥97.3％(11) 其中，μ是高斯分布的平均值，σ是均方根。式(11)描述的意义是对于高斯分布而言，任一采样样本的值与所有采样样本的平均值之差小于3倍均方根的概率大于等于97.3％。上式称为高斯分布的3σ准则(落在区间内的概率大于等于97.3％)。也就是说，如果某一采样样本与所有采样样本平均值之差小于3σ，就认为该采样样本是合理数据，否则就认为该采样样本是异常数据并且丢弃它。
先使用这一准则剔除找到的图像中所有的静止块样本中的异常静止块样本，再使用余下的静止块样本重新拟合得到一条直线，然后计算样本静止块到该直线的距离，再使用3σ准则剔除异常样本静止块，使用余下的样本静止块重新拟合得到直线......不断重复这一过程，直到所有的样本静止块都满足3σ准则为止，此时拟合得到的亮度响应函数能够准确地描述静止块在参考帧和当前帧中的亮度变化情况，可以参看图3a和图3b中使用matlab(一种仿真软件)模拟得到的结果。
图3a和图3b中的横坐标表示参考帧图像中静止块的亮度值(此值为块中所有像素亮度的平均值)，纵坐标表示当前帧图像中静止块的亮度值(此值也为块中所有像素亮度的平均值)，整个曲线描述的是这两帧图像中静止块的亮度值之间的亮度响应关系。从图3a中可以看出，修正前的静止块亮度值有一部分散乱地分布在直线周围，而从图3b中可以看出，经过高斯准则修正后的静止块亮度值则基本上都在直线上。
203、求取亮度响应函数的逆函数，得到亮度补偿函数； 得到了亮度响应函数，我们可以求出逆函数，见(12)式 y＝(x-a)/b(12) 根据逆函数，可以得到亮度补偿函数，见(13)式 y′＝(y-a)/b(13) (13)式中的y表示当前帧补偿之前的亮度，y′表示当前帧经过补偿以后的亮度。
可以看出，利用上述线性的亮度响应函数所得到的亮度补偿函数也为一个线性函数。
204、采用所述亮度补偿函数，对当前帧的亮度进行补偿。
得到静止块亮度在参考帧和当前帧的亮度响应函数后，再使用(13)式对当前帧图像逐像素点进行补偿，在此需要说明的是，也可以只对当前帧中静止区域的像素进行补偿，而对非静止区域不进行补偿，即可使得当前帧背景区域亮度和参考帧背景区域亮度基本保持一致，从而达到消除图像背景明暗变化的目的。经过(13)式的亮度补偿，理论上当前帧的静止区域亮度可以保持和参考帧完全相同。
从该实施例可以看出，通过选取连续P帧未发生跳变的图像中的一帧作为后面视频序列的参考帧，并根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数，采用所述亮度补偿函数，对当前帧的亮度进行补偿，从而实现对图像亮度的修复。由于选用亮度上未发生跳变的连续P图像中的一帧作为参考帧，且采用参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数，图像中静止区域的亮度是严格遵循亮度补偿函数做出响应的，排除了图像中运动区域可能由于运动物体的变化、遮挡出现亮度上的较大变化而使图像修复出现失真的情况，因此，可以获得较好的图像质量。
另外，在求取亮度补偿函数参数的过程中，将参考帧的静止区域和当前帧的静止区域划分为一些静止块，以降低图像噪声对所选取样本的影响，而采用高斯分布的3σ准则剔除异常样本静止块，可以进一步提高所求取的亮度补偿函数参数的准确性，从而进一步提高补偿后图像的质量。
参照图4，为本发明实施例三中视频序列明暗变化修复的方法流程图，以会议电视终端系统中的应用为例，以下通过具体步骤进行详细说明 401、对于连续视频序列中的当前帧图像进行处理，首先，判断“需要检测参考帧标志”是否为“真”(当程序初始化时，“需要检测参考帧标志”被设置为“真”，以使得程序能够进入初始的参考帧检测)，如果为“真”，则执行步骤402；如果为“假”，则执行步骤405； 402、进行参考帧检测； 可以采用如下方法进行参考帧检测计算连续视频序列中每一帧图像的平均亮度值；确定视频序列中连续P帧图像中每一帧图像的平均亮度值与前一帧图像的平均亮度值差值的绝对值与前一帧图像的平均亮度值的比值小于预设的阈值时，将这连续P帧图像的一帧作为后面视频序列的参考帧； 具体实施中，可以选择连续P帧图像的最后一帧作为后面视频序列的参考帧； 参考帧的选取方法具体为计算输入的每一帧图像的平均亮度值，如果连续存在P帧图像的平均亮度值Lave_cur相对于其前一帧图像的平均亮度值Lave_pre的变化满足于下面的式(14)时 |Lave_cur-Lave_pre|/Lave_pre＜Q(14) 上面式(14)-(16)中，m、n表示图像的大小，表示大小为m×n的图像；Lcur(i，j)表示当前帧中坐标为(i，j)像素点的亮度值，Lpre(i，j)表示当前帧前面一帧图像中坐标为(i，j)像素点的亮度值。
选择这连续P帧图像的最后一帧作为参考帧。P取值为正整数，发明人通过大量实验发现，P的取值范围控制在[10，50]之间较好，建议P的取值为20。因为，如果P的取值过小的话，不能够较好的反映图像序列背景亮度的稳定性；而P的取值过大的话，检测过程又过长，检测不到参考帧的概率变得较大。实验表明，Q取值控制在
间较好，建议Q的取值为0.005。因为，如果Q的取值过小，则检测算法对图像亮度变化过于敏感，造成无法找到参考帧；而Q的取值过大的话，又会造成检测算法对图像亮度变化过于迟钝，检测到的参考帧不合要求。
403、判断是否检测到参考帧，如果是，则执行步骤404；如果否，则执行步骤412，以对当前帧进行编码或输出显示等处理，当前帧处理完毕，当下一帧图像到达时，将又从步骤401处开始对其进行处理。
404、存储参考帧，并将“需要检测参考帧标志”设置为“假”，然后执行步骤405； 405、进行静止块检测； 可以采取如下方法进行静止块检测，将当前帧和参考帧都划分为m×n大小的小块，并计算出当前帧和参考帧中各个m×n块的块内平均亮度值Lave_cur(i)和Lave_ref(i)，i＝{1，2，3，...M}，M为当前帧/参考帧中划分出的m×n块的个数，其中m和n用于表示静止块的大小，二者可以相同也可以不同，推荐范围为[4，32]，建议将参考帧和当前帧图像划分为16×16大小的小块。
i＝{1，2，3，...M}(17) i＝{1，2，3，...M}(18) 上面二式中，Lcur(i，j，k)、Lref(i，j，k)分别表示当前帧、参考帧中第i个m×n块中像素点的亮度值。然后，使用下面的判断式来确定当前帧中的第i个m×n块相对于参考帧是否为静止块 上面式中，i＝{1，2，3，...M}，M为当前帧/参考帧中划分出的m×n块的个数；Lcur(i，j，k)、Lref(i，j，k)分别表示当前帧、参考帧中第i个m×n块中像素点的亮度值；S为判断是否为静止块的判决门限，取值大小与所选取的块大小有关，其与m×n大小块之间关系可表示为S＝A×m×n，此处A为调节系数，取值为正整数，取值建议为在[1，10]之间，A的取值为4时判断静止块的准确度较好。
通过上式(19)，可以得到当前帧与亮度参考帧间属于静止块的个数N，并标记出M个块中哪些块是静止块。
406、根据检测得到的静止块个数，判断视频场景是否发生变化，如果是，则执行步骤407；如果否，则执行步骤408； 当前帧和参考帧间属于静止块的个数N小于预设值时，认为视频场景发生变化。
407、将“需要检测参考帧的标识”设置为“真”，并执行步骤411； 当视频场景发生变化时，需要重新寻找参考帧，已有的参考帧作废，执行步骤411，对当前帧进行编码或输出显示等处理，当前帧处理完毕。
当进行下一帧图像处理时，程序又从步骤401处开始运行，因为“需要检测参考帧的标识”被设置为“真”，所以开始寻找新的参考帧，并以新的参考帧作为后续视频背景亮度的补偿目标。
408、剔除异常静止块； 可以使用高斯分布的3σ准则，剔除步骤405中检测出的所有静止块中的异常静止块。对于高斯分布，有p(|x-μ|≤3σ)≥97.3％(前面的(11)式，此式称为高斯分布的3σ准则)成立，其中，μ是高斯分布的平均值，σ是均方根。
(11)式所描述的意义是对于高斯分布而言，任一采样点的值与整个采样点的平均值之差小于3倍均方根的概率大于97.3％；也就是说，如果采样值与采样平均值之差小于3σ，就认为该数据是合理数据，否则就认为该数据是异常数据并且丢弃它。在剔除静止块的处理过程中，可以理解为当静止块亮度值的变化与所有静止块亮度值的平均变化值之间的差小于3倍的均方根时，则认为此静止块为合理的静止块，否则就认为该静止块为异常静止块，将其从静止块的集合中剔除。具体实现过程描述如下 首先，计算静止块集合N中所有静止块亮度变化比值的平均值μ，其计算公式如下 i＝{1，2，3，...N}(20) 上式中，N为所有静止块的个数，Lave_cur(i)和Lave_ref(i)的计算方法见前面的式(17)、(18)所示，表示第i个静止块在当前帧和参考帧中的块内平均亮度值。
其次，计算出所有静止块亮度变化比值的均方根σ，其计算方法如下式所示 i＝{1，2，3，...N}(21) 上式中，μ为所有静止块亮度变化比值的平均值，计算方法见式(20)；N、Lave_cur(i)和Lave_ref(i)的意义与(20)中相同。
最后，使用下面的公式来剔除静止块集合N中异常静止块，当静止块的亮度变化比值不满足下式时，视其为异常静止块，将其从静止块集合中剔除。
|(Lave_cur(i)/Lave_ref(i))-μ|≤3σ(22) 对所有静止块都使用上式(22)进行判断，满足上式的静止块保留，不满足上式的静止块剔除之，以得到新的静止块集合M1。
不断重复上面的处理过程，直到某个静止块集合中的所有静止块都同时满足式(22)，这样就得到了最终的静止块集合Nn。
409、计算补偿函数中的参数； 发明人通过的大量的视频序列进行测试分析，发现亮度响应函数近似是一个线性函数y＝a+b×x(如前面式(3)所示)，其对应的逆函数为y＝(x-a)/b(如前面式(12)所示)，则得到亮度补偿函数y′＝(y-a)/b (如前面式(13)所示)，也为一条直线，因此可以采用最小二乘法进行线性拟合，得到亮度补偿函数y′＝(y-a)/b(如前面式(13)所示)中的参数a和b。先根据所有静止块的亮度拟合得到一条直线表达式，然后计算所有静止块的亮度值到该拟合直线的距离，可以近似认为这些距离的大小是符合高斯分布的。使用高斯分布的3σ准则剔除异常静止块，再次使用余下的静止块的亮度值重新拟合得到一条直线......不断重复上述过程，直到所有静止块的亮度值都满足3σ准则为止、具体实现过程如下 首先，计算出当前帧和参考帧中所有静止块(这些静止块属于静止块集合Nn)亮度的平均值y和x，计算公式如下 i＝{1，2，3，...N}(23) i＝{1，2，3，...N}(24) 上面二式中，N为静止块集合Nn中所有静止块的个数，Lave cur(i)和Lave_ref(i)表示静止块在当前帧和参考帧中的块内平均亮度值； 其次，通过最小二乘法拟合得到亮度补偿函数的参数a和b，其计算公式如下 a＝y-b×x(26) 那么，亮度补偿函数y′＝(y-a)/b可以演化为 by′-y+a＝0(27) 式中y为函数的输入，y′为函数的输出，亮度补偿函数表示为平面上一条直线。平面上一点(x0，y0)到此直线的距离可表示为 再次，分别将各个静止块在当前帧中的块内平均亮度值Lave_cur(i)和在参考帧中块内平均参考值Lave_ref(i)，作为式(27)的输入和输出(Lave_cur(i)，Lave_ref(i)，利用公式(28)计算出各个静止块亮度值点(Lave_cur(i)，Lave_ref(i))相对于亮度补偿函数所在直线间的距离D(i)。同时，计算出所有静止块到亮度补偿函数所在直线间距离的平均值Dμ 接着，计算出这些静止块到亮度补偿函数所在直线间距离的均方根Dσ 最后，使用高斯分布的3σ准则(可以近似认为这些距离的大小是符合高斯分布的)剔除不满足高斯分布3σ准则的静止块，当静止块到亮度补偿函数所在直线间距离不满足下式时，视其为异常静止块，将其从静止块集合中剔除。
|D(i)-Dμ|≤3×Dσ(31) 再使用余下的静止块重复上述过程，直到某静止块集合中所有静止块的亮度值都满足高斯分布的3σ准则为止。此时，求得的参数a和b为最终的亮度补偿函数的参数。
在求取补偿函数过程中，通过剔除异常样本静止块，可以尽可能地保证亮度补偿函数的准确性，提高图像质量。
410、对图像进行补偿修复； 根据步骤409计算出的亮度补偿函数的参数a和b，使用公式y′＝(y-a)/b(如前面式(13)所示)对当前帧中的所有像素点的亮度值进行补偿，也可以只对当前帧中的静止区域部分的像素点的亮度值进行补偿，式(13)中的y表示当前帧补偿之前的某像素点的亮度，y′表示当前帧经过补偿以后的某像素点的亮度。
对当前帧进行修复后，当前帧处理完毕，可以执行步骤411以进一步对当前帧进行处理，当下一帧图像到达时，将又从401处开始对其进行处理。
411、对图像进行压缩编码、存储或输出显示。
经过之前对图像进行修复后，可以对图像进行压缩编码或者输出显示。并且，由于进行修复后，图像质量得到提高，因此，在对图像进行编码时，可以节省码流，降低码率，提高压缩比。另外，如果摄像头等视频捕捉装置所输入的视频信号的格式与进行图像修复所需要的YCbCr(YCbCr是一种数字视频图像数据格式，由ITU-T制定的CCIR601标准中所规定，其中Y表示图像的亮度分量数据，Cb、Cr表示图像的两个色度分量数据)格式不一致时，可以在图像修复前进行格式转换。如果图像修复输出的视频信号的格式与视频显示格式不一致时，可以在前述几个视频修复动作之后进行视频格式转换，以支持显示器所需要的显示类型。
可见，通过检测并选取有效的参考帧，并在求取一个线性的亮度响应函数所对应的亮度补偿函数的参数后，利用该亮度补偿函数进行亮度补偿，从而对图像进行修复，由于选用亮度上未发生跳变的连续P帧图像中的一帧作为参考帧，根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数，静止区域的亮度是严格遵循亮度补偿函数做出响应的，排除了运动区域可能由于运动物体的变化、遮挡出现亮度上的较大变化而使图像修复出现失真的情况，因此，采用该亮度补偿函数对图像的亮度进行补偿，可以很好地修复图像质量可以获得较好的图像质量。
另外，在求取亮度响应函数的过程中，将参考帧的静止区域和当前帧的静止区域划分为一些静止块，可以降低图像噪声对所选取样本的影响，而采用高斯分布的3σ准则在求取亮度补偿函数参数前后剔除异常样本静止块，可以进一步提高所求取的亮度补偿函数参数的准确性，进一步提高图像质量。
可以理解的是，本申请文件中提到的求取补偿函数参数的算法是统计逼近算法，因此，只要拥有一定数量的样本静止块即可通过最小二乘法求取到补偿函数的参数，所以，求取样本静止块的策略将非常灵活，可以将图像中所有样本静止块都找出来，也可以只从图像中某一部分中求取样本静止块，只要静止块的数量达到一定数目即可，另一方面，求取的样本静止块越多，通过最小二乘法求取的补偿函数的参数将越准确。同时，如前所述，静止块的大小也是可以选择的。
以上对本发明实施例中的图像修复的方法进行了详细的描述，为使本领域技术人员更好地理解和实现本发明实施例，以下对本发明实施例中所使用的视频处理设备进行相应的描述 参照图5，为本发明实施例四中视频处理设备结构示意图，该视频处理设备包括参考帧选取单元501、亮度补偿函数获取单元502、亮度补偿单元503，其中 参考帧选取单元501，用于选取视频序列中未发生亮度上跳变的连续P帧图像中的一帧作为后面视频序列的参考帧； 亮度补偿函数获取单元502，用于根据所述参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数； 亮度补偿单元503，用于采用亮度补偿函数获取单元503所获取的亮度补偿函数，对当前帧的亮度进行补偿。
可以看出，该视频处理设备通过参考帧选取单元502选取视频序列中未发生亮度上跳变的连续P帧图像，并从所述连续P帧图像中选取一帧作为后面视频序列的参考帧，然后由亮度补偿函数获取单元502根据所述参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数，并由亮度补偿单元503采用亮度补偿函数获取单元502所获取的亮度补偿函数，对当前帧进行亮度补偿，从而实现对图像亮度的修复。由于选用亮度上未发生跳变的连续P图像中的一帧作为参考帧，且采用参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧的相对于参考帧的亮度补偿函数，图像中静止区域的亮度是严格遵循亮度补偿函数做出响应的，排除了图像中运动区域可能由于运动物体的变化、遮挡出现亮度上的较大变化而使图像修复出现失真的情况，因此，可以获得较好的图像质量。
在具体实施中，参考帧选取单元501可以选取视频序列中未发生亮度上跳变的连续P帧图像中的最后一帧作为后面视频序列的参考帧。
以下通过几个较佳的实施例来进一步描述本发明对视频序列明暗变化进行修复的视频处理设备 参照图6，为本发明实施例五中视频处理设备结构示意图，实施例四的视频处理设备中所述的参考帧选取单元501包括 帧亮度计算子单元601，用于计算视频序列中连续P帧图像中每一帧图像的平均亮度值与所述每一帧图像的前一帧图像的平均亮度值差值的绝对值； 参考帧选取子单元，用于确定所述绝对值与所述每一帧图像的前一帧图像的平均亮度值的比值是否小于预设的阈值，当小于预设的阈值时，确定视频序列中连续P帧图像未发生亮度上的跳变，并选取所述视频序列中连续P帧图像中的一帧作为后面视频序列的参考帧。
参照图7，为本发明实施例六中视频处理设备结构示意图，实施例四的视频处理设备中所述的亮度补偿函数获取单元502可以包括 亮度响应函数获取子单元701，用于根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度响应函数； 亮度补偿函数计算子单元702，用于求取所述亮度响应函数获取单元所得到的亮度响应函数的逆函数，得到亮度补偿函数。
具体的，亮度补响应函数获取单元701所获取的亮度响应函数具体可以为一个线性函数，而为了降低图像噪声的影响，所述的亮度响应函数获取单元可以获取参考帧和当前帧中采样得到的样本静止块的亮度值，所述亮度响应函数获取子单元701具体可以包括 亮度响应函数参数获取模块，用于根据参考帧中所有样本静止块的亮度值、参考帧中所有样本静止块的亮度值的平均值、当前帧中所有样本静止块的亮度值以及当前帧中所有样本静止块的亮度值的平均值，采用最小二乘法，得到所述线性函数的参数。
可以理解的是，本实施例中的具体实施方式
也适用于实施例六所描述的视频处理设备。
参照图8，为本发明实施例七中视频处理设备结构示意图，以在实施例四基础上进行扩展为例进行说明，该视频处理设备还可包括压缩编码单元801，用于对进行亮度补偿后的图像进行压缩编码。
由于该视频处理设备采用根据参考帧的静止区域亮度和当前帧的静止区域亮度所得到的亮度补偿函数进行补偿后，增加了相邻视频帧之间的相关性，由于这种相关性增强，因此，该视频处理设备在进行压缩编码时，可以节省码流，降低码率，提高压缩比。
可以理解的是，上述扩展也适用于实施例四或实施例五所描述的视频处理设备，不再一一举例说明。而且，本发明以上各实施例所描述的视频处理设备可以用于多种系统或者与其他的视频装置集成在一起，例如，该视频处理设备具体可以是摄像机，含有上述对视频图像明暗变化进行修复功能的摄像机能够将拍摄的视频图像进行明暗变化修复从而为用户提供具有较高质量的视频图像，也可以用于会议电视终端系统中，该会议电视终端系统还包括一个用于捕获视频的装置如摄像头，一个用于输出显示视频的装置如显示器，其中，摄像头完成视频的捕捉，生成视频信号，本发明所介绍的视频处理设备可以接收摄像装置所输入的视频信号，并对图像的明暗变化进行修复，当然，同时还可以进行去除噪声、缩放图像以及叠加字幕等处理，生成输出视频序号后，可以输出到显示装置进行显示，当然，也可以暂时存储或进行压缩编码，由于本发明所介绍的视频处理设备可以使图像明暗变化得到很好的修复，提高了相邻视频帧之间的相关性，在进行压缩编码时，可以节省码流，降低码率，提高压缩比，进而可以节省存储空间。
并且，如果摄像装置所输出的视频格式与视频处理设备输入所需要的视频格式不同，上述视频处理设备在进行图像变化修复前，可以对视频格式进行转换。
可以理解的是，本发明实施例中所介绍的视频处理设备也可以用独立的数字处理芯片来实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括如下步骤 选取视频序列中未发生亮度上跳变的连续P帧图像中的一帧作为后面视频序列的参考帧； 根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数； 采用所述亮度补偿函数，对当前帧的亮度进行补偿。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种视频序列明暗变化修复的方法和视频处理设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1、一种视频序列明暗变化修复的方法，其特征在于，包括
选取视频序列中未发生亮度上跳变的连续P帧图像中的一帧作为后面视频序列的参考帧；
根据所述参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于所述参考帧的亮度补偿函数；
采用所述亮度补偿函数，对当前帧的亮度进行补偿。
2、如权利要求1所述的视频序列明暗变化修复的方法，其特征在于，确定视频序列中连续P帧图像未发生亮度上的跳变的方法包括
计算视频序列中连续P帧图像中每一帧图像的平均亮度值与所述每一帧图像的前一帧图像的平均亮度值差值的绝对值，确定所述绝对值与所述每一帧图像的前一帧图像的平均亮度值的比值小于预设的阈值。
3、如权利要求2所述的视频序列明暗变化的修复方法，其特征在于，所述预设的阈值取值范围为
。
4、如权利要求1至3任一项所述的视频序列明暗变化修复的方法，其特征在于，所述视频序列中未发生亮度上跳变的连续的图像个数P的取值范围为[10，50]。
5、如权利要求1所述的视频序列明暗变化修复的方法，其特征在于，所述根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数具体为
根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度响应函数；
求取所述亮度响应函数的逆函数，得到亮度补偿函数。
6、如权利要求5所述的视频序列明暗变化修复的方法，其特征在于，所述亮度补偿函数为一个线性函数。
7、如权利要求6所述的视频序列明暗变化修复的方法，其特征在于，所述求取所述线性函数的参数的方法包括
根据参考帧中所有样本静止块的亮度值、参考帧中所有样本静止块的亮度值的平均值、当前帧中所有样本静止块的亮度值以及当前帧中所有样本静止块的亮度值的平均值，采用最小二乘法，得到所述线性函数的参数。
8、如权利要求7所述的视频序列明暗变化修复的方法，其特征在于，确定所述当前帧和参考帧间的样本静止块的方法包括
求取当前帧中第i个块的平均亮度值i＝{1，2，3，...M}，和参考帧中相对应的第i个块的平均亮度值i＝{1，2，3，...M}，所述当前帧/参考帧中图像块的平均亮度值表达式中，m和n分别用于表示当前帧/参考帧中横向和纵向像素点的个数，M表示当前帧/参考帧中划分出的m×n块的个数，Lcur(i，j，k)、Lref(i，j，k)分别表示当前帧、亮度参考帧中第i个m×n块中像素点的亮度值；
通过确定当前帧与参考帧间属于静止块的个数N，并标记出M个块中哪些是静止块，其中，S＝A×m×n，A为调节系数，取值为正整数。
9、如权利要求8所述的视频序列明暗变化修复的方法，其特征在于，所述m与n的取值范围均为[4，32]。
10、如权利要求8所述的视频序列明暗变化修复的方法，其特征在于，所述调节系数A的取值范围为[1，10]。
11、如权利要求8所述的视频序列明暗变化修复的方法，其特征在于，在求取所述线性函数的参数之前进一步包括
当采样静止块亮度变化比值与所有采样静止块亮度变化比值的平均值之差大于所有采样静止块亮度变化比值的均方根的3倍时，将该样本静止块剔除。
12、如权利要求8所述的视频序列明暗变化修复的方法，其特征在于，得到亮度补偿函数后，进一步包括
当采样静止块的亮度值与由所有采样静止块的亮度值拟合得到的直线的距离大于所有采样静止块平均亮度值与所述直线距离的均方根的3倍时，将所述采样静止块剔除。
13、如权利要求8至12任一项所述的视频序列明暗变化修复的方法，其特征在于，进一步包括
当所述当前帧与参考帧间属于静止块的个数N小于预设值时，确定当前帧发生了亮度上的跳变，执行所述选取视频序列中未发生亮度上跳变的连续P帧图像的一帧作为后面视频序列的参考帧的步骤，重新选取参考帧。
14、如权利要求1至3或5至12任一项所述的视频序列明暗变化修复的方法，其特征在于，进一步包括
对进行亮度补偿后的图像进行压缩编码、输出显示或者存储。
15、一种视频处理设备，其特征在于，包括参考帧选取单元、亮度补偿函数获取单元、亮度补偿单元，其中
参考帧选取单元，用于选取视频序列中未发生亮度上跳变的连续P帧图像中的一帧作为后面视频序列的参考帧；
亮度补偿函数获取单元，用于根据所述参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度补偿函数；
亮度补偿单元，用于采用亮度补偿函数获取单元所获取的亮度补偿函数，对当前帧的亮度进行补偿。
16、如权利要求15所述的视频处理设备，其特征在于，参考帧选取单元包括
帧亮度计算子单元，用于计算视频序列中连续P帧图像中每一帧图像的平均亮度值与所述每一帧图像的前一帧图像的平均亮度值差值的绝对值；
参考帧选取子单元，用于确定所述绝对值与所述每一帧图像的前一帧图像的平均亮度值的比值是否小于预设的阈值，当小于预设的阈值时，确定视频序列中连续P帧图像未发生亮度上的跳变，并选取所述视频序列中连续P帧图像中的一帧作为后面视频序列的参考帧。
17、如权利要求15所述的视频处理设备，其特征在于，所述亮度补偿函数获取单元包括
亮度响应函数获取子单元，用于根据参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于参考帧的亮度响应函数；
亮度补偿函数计算子单元，用于求取所述亮度响应函数获取单元所得到的亮度响应函数的逆函数，得到亮度补偿函数。
18、如权利要求17所述的视频处理设备，其特征在于，所述亮度响应函数获取子单元包括亮度响应函数参数获取模块，用于根据参考帧中所有样本静止块的亮度值、参考帧中所有样本静止块的亮度值的平均值、当前帧中所有样本静止块的亮度值以及当前帧中所有样本静止块的亮度值的平均值，采用最小二乘法，得到所述线性函数的参数。
19、如权利要求15至18任一项所述的视频处理设备，其特征在于，还包括以下至少其中之一
压缩编码单元，用于对进行亮度补偿后的图像进行压缩编码；
显示单元，用于对进行亮度补偿后的图像进行输出显示；
存储单元，用于对进行亮度补偿后的图像进行存储。
全文摘要
本发明实施例公开了一种消除视频背景明暗变化的方法和视频处理设备。所述方法包括选取视频序列中未发生亮度上跳变的连续P帧图像中的一帧作为后面视频序列的参考帧；根据所述参考帧的静止区域亮度和当前帧的静止区域亮度得到当前帧相对于所述参考帧的亮度补偿函数；采用所述亮度补偿函数，对当前帧的亮度进行补偿。采用上述方法及对应设备，可以获得较好的图像质量。
文档编号H04N5/243GK101651786SQ200810146258
公开日2010年2月17日 申请日期2008年8月14日 优先权日2008年8月14日
发明者魏小霞, 维 黄 申请人:深圳华为通信技术有限公司