专利名称：一种针对摄像机采集视频的夜间效果去除方法
技术领域：
本发明涉及ー种视频处理技术，具体是ー种针对摄像机采集视频的夜间效果去除方法。
背景技术：
在视频处理技术方面，传统的对于夜晚图像的处理比较简单，主要是通过增加亮度的方法提闻图像像素的売度，从而提闻整幅图像売度。基于非线性反色调映射的夜间图像增强，近年来，有各种各样的色调映射算法问世。其中一组复杂的算法是基于对比度或者梯度域的方法，这些算法的侧重点在于对比度的保持而不是亮度的映射，这种方法的思路起源于人眼对于对比度或者不同亮度区域的亮度比例最敏感。这种色调映射由于较好地保存了对比度的细节，所有通常会产生非常鋭利的图像，但是这样做的代价是使得整体的图像对比度变得平缓。这种色调映射方法的例子包括梯度域高动态范围压缩，以及高动态范围图像感知框架。总体来说，色调映射算子可以分为4种
(1)全局算子对每个象素使用同一个非线性的变换曲线；
(2)局部算子对每个象素考虑它的周围信息来选择变换函数；
(3)频率域算子根据图像的空间频率信息来压缩动态范围；
(4)梯度域算子从梯度域对图像进行多尺度衰减，再从新梯度图像恢复出亮度图像。相对于色调映射，反色调映射将低动态范围图像转换成高动态范围图像，在能够被人类视觉系统感知的前提下，扩大图像的亮度分布范围。与色调映射相比，反映射的研究工作起步较晚，应用也不够广泛。典型的反色调映射算法可以通过对低动态范围图像的象素做线性或者指数的膨胀，加上对象素取值设定阂值，来实现图像亮度范围的提升。夜间图像光线暗、对比度低，可以看作是低动态范围图像的ー种，将反色调映射应用于夜间图像增强领域，提出一种非线性反色调映射算子来增强低动态范围视频，取得了较好的增强效果。非线性反色调映射算子Berulett采用基于对数的非线性映射算子进行夜间图像增强。考虑到对数函数、指数函数以及双曲正切函数曲线的相似性，我们将对数反色调映射算子进行拓展，采用三种非线性映射算子对视频帧进行预处理，增强图像的对比度和细节，并对其增强效果以及处理时间进行简单的比较。另ー种方法Retinex算法是Edwin Land提出来的一个关于人类视觉系统如何调节感知到物体的顔色和亮度的模型，在这ー模型中，图像由两部分组成，一部分是场景中物体的光亮亮度，对应于图像的低频部分，另一部分是场景中物体的反射亮度，对应于图像的高频部分，通常它们也被称为亮度图像和反射图像。因此如果从给定的图像中分离出亮度图像和反射图像，在顔色恒定的条件下，就可通过改变亮度图像和反射图像在原图像中的比例来达到增强图像的目的。基于SSR和小波变换的图像增強，分析夜间图像的直方图可知，原始夜间图像中蓝绿两种原色的低频分量较多，而红色原色的中频分量较多，所以夜间图像偏向于红色色调。这样就不适合采用MSR算法对夜间图像进行增强，而SSR增强算法，受高斯函数的參数的影响，不同的參数的高斯函数，会对图像的增强产生不同的效果。采用较小的參数，主要用来突出图像的纹理细节，而采用较大的參数，则可以在比较大的程度上恢复图像的色彩。目前，该领域对普通低质图像的增强研究比较热，但是对夜晚图像去除黑夜的研究比较少，然而在实际应用中，例如智能交通监控和室内监控中，在夜晚条件下很难分辨出物体的轮廓和顔色信息，人们关心的是监控的固定场景中物体的轮廓和顔色等细节信息。传统的夜晚监控主要采用红外摄像机，得到的一般是灰度图像。对于想得到图中色彩和细节信息的需求无法满足。而且红外摄像机的价格较高，不适合广泛应用。普通的摄像机在夜晚很难正常工作，夜晚亮度低，光线差，监控视频质量较低。夜晚的视频监控对于安全防盗工作尤为重要，关于除夜的研究较少，针对传统的摄像机，本发明提出一种新的方法。
发明内容
本发明所要解决的技术问题是提供一种针对摄像机采集的夜间视频进行夜间效果去除的方法，该方法还原的视频图像接近白天视频的效果，且该方法对于普通摄像机也有较好的还原效果。本发明所述的ー种针对摄像机采集视频的夜间效果去除方法，其包括以下步骤
1)采集同一场景白天各种光照条件下的图像形成集合；
2)训练样本，创建字典，设置阈值；
3)将夜晚在同一场景采集的视频流中，获取其中ー帧图像，
4)进行颜色模型处理和去噪处理；
5)步骤4)处理后的图像与步骤2)创建的字典进行对比，进行去除模糊和超分辨率增强处理，根据阈值计算出背景 6)将夜晚采集的视频流输入，依次获取每一帧图像；
7)进行颜色模型处理和去噪处理得到前景图像；
8)将步骤7)获得的图像和步骤5)获得的背景图像进行融合；
9)去除噪声并存储在新创的视频文件中，
10)转到步骤6)直到视频流的最后ー帧图像处理完毕，结束。上述步骤4)和步骤7)所述的颜色模型处理过程为
对彩色图像的三通道之间的关系，提出了一个颜色模型，该模型的主要公式如下
F^ v. ニ 255*[￠1 -f)/(1-)]⑴
Gこ.=255 *[(1 + ^^^)/(2)
5〔ニ,〕= 255 *[(1 + ん、I (I — e^^)](3)
式中，《为设置參数，取值范围为_5〈 a〈0，Af为整幅图像均值，今 >为原图像中像素点(X，y)的R通道值，qリ)为原图像中像素点(X，y)的G通道值，为原图像中像素点(X，y)的B通道值，Pired为整幅图像的R通道的均值，为整幅图像的G通道的均值，
I为整幅图像的B通道的均值；通过对黑夜图像的每个像素点的三个通道分别代入公式
中，得到的新的灰度值，这样得到的新的图像颜色上保持平衡，亮度上得到增强。 上述步骤4)和步骤7)所述的去噪处理过程为
a.噪声点的检测检查图像中每个像素，设是被噪测像素点，其在位置(i，j)处的像素灰度值为；;令表示以像素/为中心的窗ロ区域，依据下式计算出其中的极大值和极小值
f _ -OWr ⑴4)* Z ふ*レ Z1 r (4)
J(Kj) € ^A-tLoi = (-1,1)
ZiLfl e s mm(w[/(U1 ]) < <max(Xふ』])(5)
式中，n表示噪声，s表示信号，当中心像素的值与相邻的四个像素的绝对差值超过阈值K时,认为此像素点为噪声点；
b.对噪声点的滤除对检测出的噪声点进行中值滤波去除。上述步骤5)中去除模糊过程为
首先初始化图像，再代入初始化的模糊核，根据式(6)通过迭代运算计算出估计的模糊
核，
V = k*X + ￡(6)
在公式(6)中，X表示源图像，ト表示模糊核，I表示模糊图像，为常数；
再通过图像的去卷积运算得到初歩的去模糊图像
k = Mg min ||x * k — y f2 + y |Ar|ミ(7)
这是ー个最小ニ乘规则化问题，可以用ー个近似形式的公式求た
..............)
P(i)-P(x)+ri
(8)
式中，m表示傅里叶变换，F(I)-1表示傅里叶逆变换，W)表示内: )的共轭负数，。表示对应元素相乘；
把经过去模糊处理的图像代入初始化图像中，再通过模糊核和字典迭代计算超分辨率中的稀疏因子a，最后图像可以用X =Z^近似代替原图像。对于步骤4)处理后的图像称为图像A，字典中的背景图像称为图像B，步骤5)前景和背景分离的过程为
5. I)首先把图像A和图像B分成大块，分别比较两图像相同位置的块的相似度，这里的相似度函数使用RMSE，即均方根误差，当两个块的相似度大于或等于阈值时认为两个块属于同一场景，即都是背景，第一层标记前景块的位置；当两个块的相似度低于阈值时就认为两块属于不同的场景，分别属于前景和背景；
5. 2)再把经过处理后的两幅图像按照更小的块划分，继续比较相似度，首先比较是否达到阈值，如果大于或等于阈值为背景；小于阈值在判断是否已经标记过，被ー层标记过则为前景，没标记过的为背景，此次标记前景块的位置为第二层标记；
5. 3)再把图像按照更小的块进行划分，比较相同位置的块，当相似度值低于阈值时，判断是否被第二层标记过。当相似度值大于或等于阈值时，认为此块为背景，这样就可以准确地分离出前景和背景。本发明的有益效果
本发明针对的是智能视频监控中摄像机所拍摄到的固定场景的除夜问题，这在以前的文献和专利中很少涉及。本方法过程简単，效率较高，对于固定场景夜晚的视频监控可以有效实现除夜，监控视频中的物体的轮廓和顔色可以得到增强，整幅图像的效果接近白天的图像，很容易得到出图像的细节信息，获得接近白天的视频效果；且本发明通过不同的场景验证了其正确性。
图I是本发明的流程图。
具体实施例方式本发明的目的是针对视频监控的固定场景的除夜方法研究与实现，我们以西土城路交通视频监控的一段来说明我们的方法，别的固定场景的除夜完全可以依此实现。本发明主要从以下四个部分进行说明顔色模型处理，去噪，去模糊和超分辨率增强，背景前景融合。I. 颜色模型处理
夜晚条件下，场景光线较暗，对比度低，加上车辆车灯的照射以及车灯地面反光的影响，普通的摄像机在夜晚光线较暗的情况下无法正常工作。由于夜晚光线暗，首先要提高图像的亮度，但要保持图像的顔色信息，传统的提高图像亮度的方法是在亮度通道上直接增加亮度值，我们根据彩色图像的三通道之间的关系，提出了一个颜色模型，主要是对夜晚的图像进行处理，对三通道分别处理，不仅提高亮度还可以保留顔色信息。主要公式如下
权利要求
1.一种针对摄像机采集视频的夜间效果去除方法，其特征在于包括以下步骤 1)采集同一场景白天各种光照条件下的图像形成集合； 2)训练样本，创建字典，设置阈值； 3)将夜晚在同一场景采集的视频流中，获取其中一帧图像， 4)进行颜色模型处理和去噪处理； 5)步骤4)处理后的图像与步骤2)创建的字典进行对比，进行去除模糊和超分辨率增强处理，根据阈值计算出背景图； 6)将夜晚采集的视频流输入，依次获取每一帧图像；7)进行颜色模型处理和去噪处理得到前景图像； 8)将步骤7)获得的图像和步骤5)获得的背景图像进行融合； 9)去除噪声并存储在新创的视频文件中， 10)转到步骤6)直到视频流的最后一帧图像处理完毕，结束。
2.根据权利要求I所述的针对摄像机采集视频的夜间效果去除方法，其特征在于步骤4)和步骤7)所述的颜色模型处理过程为 对彩色图像的三通道之间的关系，提出了一个颜色模型，该模型的主要公式如下
3.根据权利要求I所述的针对摄像机采集视频的夜间效果去除方法，其特征在于步骤4)和步骤7)所述的去噪处理过程为 a.噪声点的检测检查图像中每个像素，设是被噪测像素点，其在位置(i，j)处的像素灰度值为；;令表示以像素为中心的窗口区域，依据下式计算出其中的极大值和极小值
4.根据权利要求I所述的针对摄像机采集视频的夜间效果去除方法，其特征在于步骤5)中去除模糊过程为 首先初始化图像，再代入初始化的模糊核，根据式(6)通过迭代运算计算出估计的模糊核， y = k*x+￡(6) 在公式(6)中，3Γ表示源图像表示模糊核,7表示模糊图像，f为常数； 再通过图像的去卷积运算得到初步的去模糊图像
5.根据权利要求I所述的针对摄像机采集视频的夜间效果去除方法，其特征在于，对于步骤4)处理后的图像称为图像Α，字典中的背景图像称为图像B，步骤5)前景和背景分离的过程为.5. I)首先把图像A和图像B分成大块，分别比较两图像相同位置的块的相似度，这里的相似度函数使用RMSE，即均方根误差，当两个块的相似度大于或等于阈值时认为两个块属于同一场景，即都是背景，第一层标记前景块的位置；当两个块的相似度低于阈值时就认为两块属于不同的场景，分别属于前景和背景； .5. 2)再把经过处理后的两幅图像按照更小的块划分，继续比较相似度，首先比较是否达到阈值，如果大于或等于阈值为背景；小于阈值在判断是否已经标记过，被一层标记过则为前景，没标记过的为背景，此次标记前景块的位置为第二层标记； .5.3)再把图像按照更小的块进行划分，比较相同位置的块，当相似度值低于阈值时，判断是否被第二层标记过，当相似度值大于或等于阈值时，认为此块为背景，这样就可以准确地分离出前景和背景。
全文摘要
本发明公开了一种针对摄像机采集视频的夜间效果去除方法，其包括以下步骤首先采集同一场景白天各种光照条件下的图像形成集合；训练样本，创建字典，设置阈值；将夜晚获取的一帧图像进行颜色模型处理和去噪处理；根据阈值计算出背景图；之后将夜晚采集的视频流依次获取每一帧图像；进行颜色模型处理和去噪处理得到前景图像；再与获得的背景图像进行融合；去除噪声并存储在新创的视频文件中直到视频流的最后一帧图像处理完毕。本方法过程简单，效率较高，对于固定场景夜晚的视频监控可以有效实现除夜，监控视频中的物体的轮廓和颜色可以得到增强，整幅图像的效果接近白天的图像，很容易得到出图像的细节信息，获得接近白天的视频效果。
文档编号H04N9/64GK102665034SQ201210070189
公开日2012年9月12日 申请日期2012年3月16日 优先权日2012年3月16日
发明者傅慧源, 吴世新, 明安龙 申请人:江苏华枫物联网科技有限公司