一种基于梯度融合的夜间视频增强方法与流程

本发明涉及一种基于梯度融合的夜间视频增强方法，属于视频监控增强
技术领域：
。
背景技术：
：由于夜间的低照度条件，会造成监控系统拍摄到的夜间视频图像清晰度比较低、部分区域信息丢失，从夜间视频中提取到有效的信息就比较困难。对夜间视频进行增强，对视频目标检测与跟踪以及后续的分析非常重要。目前国内常用的夜间视频增强方法有基于对比度的视频增强方法、基于滤波器的视频增强方法、基于小波变换的视频增强方法以及基于帧亮度融合的夜间视频增强方法，前三类方法只是在现有的视频图像信息的基础上对图像的对比度、动态范围、灰度值进行调整，此类方法无法增强已经丢失的视频信息。而基于帧亮度融合的增强方法属于视频帧融合技术，但是该算法在把白天的静态背景亮度融合到夜间视频帧中，容易造成视频图像颜色漂移。技术实现要素：本发明的目的在于针对已有的技术存在的缺陷，提供一种基于梯度融合的夜间视频增强方法，通过将白天视频背景帧的梯度信息融合到夜间视频的梯度图像中，弥补夜间视频图像中丢失的细节信息，使用泊松方程加上白天背景帧的边界条件可以得到还原后的图像，在增强视频图像亮度的同时抑制色彩漂移的现象。为实现上述目的，本发明采用下述技术方案：一种基于梯度融合的夜间视频增强方法，由以下步骤组成：步骤1：下载同一监控摄像头拍摄的夜间视频videonight(i,j,l)，其中1≤i≤M，1≤j≤N，1≤l≤L；以及白天视频videoday(i,j,k)，其中1≤i≤M，1≤j≤N，1≤k≤K；其中i和j分别为夜间视频和白天视频图像中像素的行坐标和列坐标，M、N分别表示夜间视频和白天视频图像的行数、列数；l表示夜间视频的帧号，L表示夜间视频图像的帧数，k表示白天视频的帧号，K表示白天视频图像的帧数；步骤2：利用混合高斯背景建模从白天视频videoday(i,j,k)中提取只包含静态区域的背景图像Iday-background(i,j)；步骤3：将步骤2中的背景图像Iday-background(i,j)从RGB空间转换到HSV空间，并提取出背景图像V分量Vday-background(i,j)，并求得其对应的梯度图像Gday-background；步骤4：选取夜间视频videonight(i,j,l)的任意一帧，并将夜间视频图像从RGB空间转换到HSV空间，提取出夜间视频图像V分量Vnight，求得其对应的梯度图像Gnight；步骤5：根据增强公式，将白天视频的背景的梯度图像Gday-background融合到夜间视频的梯度图像Gnight中；步骤6：利用泊松方程，得到增强后的Vnight-enhancement；步骤7：加上之前未处理的夜间视频图像的H、S分量，转换到RGB空间，得到增强后的夜间视频图像Inight-enhancement。上述步骤2由以下具体步骤组成：步骤2-1：在对混合高斯分布函数进行初始化之后，将重新获取的视频图像的像素点与已知模型对比，如果差值小于事先设置的阈值，则满足条件，对参数进行更新：μi,t＝(1-ρ)×μi,t-1+ρ×Xt(1)Σi,t=(1-ρ)+ρ×diag[(Xt-μi,t)T(Xt-μi,t)]---(2)]]>其中Xt表示时刻t的视频帧，μi,t表示均值，ρ是更新速率，为协方差；如果差值不满足条件，则不需要对高斯分布函数进行修改；步骤2-2：对运动目标进行分割：B=argbmin{Σibwi,t>T}---(3)]]>其中Wi,t表示高斯分布函数的权重，T表示设置的阈值。如果排在前面的像素点的权重大于阈值T＝0.5，则该像素点的值由对应的高斯分布的像素值决定；步骤2-3：空间约束条件：Lavr=Σi=1i=3Σj=1j=3Li,j---(4)]]>其中Li,j表示视频图像像素点的值，Lavr是将当前像素点的周边3×3的模板内所有像素值进行排序，去掉最大值和最小值之后作加权平均，选择最接近的高斯分布像素值而且权重大于设置的阈值，则高斯分布的像素值即为该像素点的值。上述步骤3和步骤4由以下具体步骤组成：步骤3-1/4-1：将图像从RGB空间转换到HSV空间，提取出V分量：V(x,y)＝0.298×R(x,y)+0.587×G(x,y)+0.114×B(x,y)(5)步骤3-2/4-2：计算V分量图像Vday-background(i,j)、Vnight在x方向的梯度值Gx-db、Gx-night：Gx-db/x-night(x,y,k)＝V(i+1,j,k)-V(i,j,k),1≤i≤M,1≤j≤N,1≤k≤K(6)计算V分量图像Vday-background(i,j)、Vnight在y方向的梯度值Gy-db、Gy-night：Gy-db/y-night(x,y,k)＝V(i,j+1,k)-V(i,j,k),1≤i≤M,1≤j≤N,1≤k≤K(7)上述步骤5中使用的增强公式为：Gx,y=Gx-db+Gx-nvideoGy-db+Gy-nvideo---(8)]]>其中Gx-db表示白天背景图像在x方向的梯度，Gx-nvideo表示夜间视频图像在x方向的梯度，Gy-db表示白天背景图像在y方向的梯度，Gy-nvideo表示夜间视频图像在y方向的梯度，Gx/y表示增强后的图像在x、y方向的梯度。上述步骤6中用于图像重建的泊松方程如下：minf∫∫p|▿f-▿v|2dxdy,▿v=G---(9)]]>fp=fp*---(10)]]>其中p是边界，fp表示在p内的像素值，表示在p外的像素值，v表示待重建的视频图像，G表示需要重建视频图像的像素点的梯度。与现有技术相比，本发明的有益效果在于：1、本发明能通过空间约束条件减少车流量较大时存在的黑色噪声。2、本发明利用梯度融合能增强夜间视频、突出细节信息、图像颜色保真。附图说明图1为本发明的流程图。图2为本发明步骤2的流程图。图3为本发明步骤3、4、5、6的流程图。图4为白天背景帧的RGB图。图5为本发明中下载的夜间视频第250帧。图6为本发明增强后的RGB图像。具体实施方式下面结合附图，对本发明的具体实施例做进一步地说明。如图1所示，一种基于梯度融合的夜间视频增强方法，由以下步骤组成：步骤1：下载同一监控摄像头拍摄的夜间视频videonight(i,j,l)，其中1≤i≤M，1≤j≤N，1≤l≤L；以及白天视频videoday(i,j,k)，其中1≤i≤M，1≤j≤N，1≤k≤K；其中i和j分别为夜间视频和白天视频图像中像素的行坐标和列坐标，M、N分别表示夜间视频和白天视频图像的行数、列数；l表示夜间视频的帧号，L表示夜间视频图像的帧数，k表示白天视频的帧号，K表示白天视频图像的帧数；在实施例中M、N、L和K分别为240、320、450和300。步骤2：利用混合高斯背景建模从白天视频videoday(i,j,k)中提取只包含静态区域的背景图像Iday-background(i,j)；步骤3：将步骤2中的背景图像Iday-background(i,j)从RGB空间转换到HSV空间，并提取出背景图像V分量Vday-background(i,j)，并求得其对应的梯度图像Gday-background；步骤4：选取夜间视频videonight(i,j,l)的任意一帧，并将夜间视频图像从RGB空间转换到HSV空间，提取出夜间视频图像V分量Vnight，求得其对应的梯度图像Gnight；步骤5：根据增强公式，将白天视频的背景的梯度图像Gday-background融合到夜间视频的梯度图像Gnight中；步骤6：利用泊松方程，得到增强后的Vnight-enhancement；步骤7：加上之前未处理的夜间视频图像的H、S分量，转换到RGB空间，得到增强后的夜间视频图像Inight-enhancement。如图2所示，上述步骤2由以下具体步骤组成：步骤2-1：在对混合高斯分布函数进行初始化之后，将重新获取的视频图像的像素点与已知模型对比，如果差值小于事先设置的阈值，本实施例中设置为10，则满足条件，对参数进行更新：μi,t＝(1-ρ)×μi,t-1+ρ×Xt(1)Σi,t=(1-ρ)+ρ×diag[(Xt-μi,t)T(Xt-μi,t)]---(2)]]>其中Xt表示时刻t的视频帧，μi,t表示均值，ρ是更新速率，设置为0.005，为协方差。如果差值不满足条件，则不需要对高斯分布函数进行修改。步骤2-2：对运动目标进行分割：B=argbmin{Σibwi,t>T}---(3)]]>其中Wi,t表示高斯分布函数的权重，T表示设置的阈值。如果排在前面的像素点的权重大于阈值，T＝0.5，则该像素点的值由对应的高斯分布的像素值决定。步骤2-3：空间约束条件：Lavr=Σi=1i=3Σj=1j=3Li,j---(4)]]>其中Li,j表示视频图像像素点的值，Lavr是将当前像素点的周边3×3的模板内所有像素值进行排序，去掉最大值和最小值之后作加权平均，选择最接近的高斯分布像素值而且权重大于设置的阈值0.007，则高斯分布的像素值即为该像素点的值。对于短时间存在的像素值，利用周边的像素点的值辅助进行准确的判断，以得到较稳定的像素值，排除噪声的干扰。如图3所示，上述步骤3、4、5、6由以下具体步骤组成：步骤3-1/4-1：将图像从RGB空间转换到HSV空间，提取出V分量：V(x,y)＝0.298×R(x,y)+0.587×G(x,y)+0.114×B(x,y)(5)步骤3-2/4-2：计算V分量图像Vday-background(i,j)、Vnight在x方向的梯度值Gx-db、Gx-night：Gx-db/x-night(x,y,k)＝V(i+1,j,k)-V(i,j,k),1≤i≤M,1≤j≤N,1≤k≤K(6)计算V分量图像Vday-background(i,j)、Vnight在y方向的梯度值Gy-db、Gy-night：Gy-db/y-night(x,y,k)＝V(i,j+1,k)-V(i,j,k),1≤i≤M,1≤j≤N,1≤k≤K(7)上述步骤5中使用的增强公式为：Gx,y=Gx-db+Gx-nvideoGy-db+Gy-nvideo---(8)]]>其中Gx-db表示白天背景图像在x方向的梯度，Gx-nvideo表示夜间视频图像在x方向的梯度，Gy-db表示白天背景图像在y方向的梯度，Gy-nvideo表示夜间视频图像在y方向的梯度，Gx/y表示增强后的图像在x、y方向的梯度。上述步骤6中用于图像重建的泊松方程如下：minf∫∫p|▿f-▿v|2dxdy,▿v=G---(9)]]>fp=fp*---(10)]]>其中p是边界，fp表示在p内的像素值，表示在p外的像素值，v表示待重建的视频图像，G表示需要重建的图像区域内的梯度。在得到增强后的梯度图像，要用泊松方程和白天背景帧的边界条件进行图像重构。当前第1页1 2 3