一种基于互斥性稀疏编码的雨天视频图像分离方法与流程

本发明涉及视频图像处理的技术领域，尤其涉及到一种基于互斥性稀疏编码的雨天视频图像分离方法。

背景技术：

随着宽带网络技术的发展和平安城市等项目的推进，视频监控技术已广泛地应用于教育、政府、安防、交通、运动等众多领域，并且随着视频处理技术的提高，视频监控技术在室外的应用场景也逐渐增多。由于室外环境经常需要面临雨雪等恶劣天气，而该种恶劣气候条件对视频图像的特征有着不可估计的损坏，如大雾天气下图像的可见度、对比度都会受到严重影响，而雨雪天气可能会引起部分图像被遮挡，从而影响对图像的进一步处理。

现有的资料中大多是对雨天视频的处理，视频中相邻帧的冗余特性有助于雨的检测，也能够提供丰富的信息对检测到的有雨区域进行修补复原。然而这种相邻帧的冗余特性可能会因为视频中高速运动的物体所破坏掉，因此考虑如何从雨天视频图像中消除雨对图像特征的损坏，将雨层图像分离出来具有重要的应用价值。

garg和nayar在文献[garg,k.,s.k.nayar.detectionandremovalofrainfromvideos.ieeeconferenceoncomputervision&patternrecognition.2004.p.i-528-i-535vol.1.]中，对雨的物理特性进行了分析描述。zhang等人[zhang,x.,h.li,y.qi,etal.rainremovalinvideobycombiningtemporalandchromaticproperties.ieeeinternationalconferenceonmultimediaandexpo.2006.p.461-464.]借助于雨在视频中所呈现的时间特性和色度特性来进行雨的检测。这两种方法基本上是通过雨的颜色信息来检测图像中雨的存在，在文献[brewer,n.,n.liu,usingtheshapecharacteristicsofraintoidentifyandremoverainfromvideo.2008:springerberlinheidelberg.451-458.]中，nathan和liu等人则主要使用雨滴的形状特征来对雨进行检测。bossu等人在文献中[bossu,j.,n.hautière,j.p.tarel,rainorsnowdetectioninimagesequencesthroughuseofahistogramoforientationofstreaks.internationaljournalofcomputervision,2011.93(3):p.348-367.]，主要探讨了如何检测视频中是否存在雨。shaodi等人在文献[you,s.,r.t.tan,r.kawakami,etal.adherentraindropdetectionandremovalinvideo.ieeeconferenceoncomputervision&patternrecognition.2013.p.1035-1042.]中考虑了下雨时，雨滴溅在摄像机镜头上所拍摄视频的处理。santhaseelan等人[santhaseelan,v.,v.k.asari,utilizinglocalphaseinformationtoremoverainfromvideo.internationaljournalofcomputervision,2014.112(1):p.71-89.]提出了利用相位一致性特征来对雨进行检测。上述方法不管是视频的检测过程还是修复过程，都需要相邻的帧提供信息，不能适用于有高速运动目标的视频图像。

现有的文献中关于图像信号的分离多采取双系统的方式，有些方法采用两个固定的系统[starck.j.l.,y.moudden,j.bobin,etal.morphologicalcomponentanalysis.optics&photonics.2005.internationalsocietyforopticsandphotonics.p.59140q-59140q-15.]对信号进行刻画从而分离，而有些方法通过自适应的学习字典来进行信号分离的方法，对字典的学习一般需要两层图像中的某一层的相似模板或者根据用户指定两层图像在图像中的相应位置从而提取局部区域来对字典进行初始化[peyré,g.,j.fadili,j.-l.starck,learningthemorphologicaldiversity[j].siamjournalonimagingsciences,2010.3(3):p.646-669.]。然而对于雨天视频图像来说，人们很难事先得到分离的雨图来对雨的字典进行初始化，雨天视频图像中也不存在某一个区域全部是雨，能够抽取出来作为字典的初始化，因此，很难按照传统的方式对雨层和图像层分别学习两个不同的字典或系统来刻画两层图像使之分离。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种达到将真实图像与雨层图像分离效果、使雨天视频图像更加清晰的基于互斥性稀疏编码的雨天视频图像分离方法。

为实现上述目的，本发明所提供的技术方案为：

将真实图像与雨水的分离看成信号分离问题，在分离过程中利用真实图像层和雨层之间的内在属性差异，通过约束稀疏编码系数的互斥性，在不断迭代学习中得到一个有互斥性的字典，将雨天视频图像中的雨层与真实图像层在迭代中逐渐分离，最后达到清晰图像的效果。

进一步地，分离的具体步骤如下：

s1、将雨天视频图像中的图像帧抽取出来，对每一帧图像进行s2-s6的操作；

s2、初始化字典d¹，雨块和真实图像块对应的编码系数和雨块的堆叠矩阵和真实图像块的堆叠矩阵指示变量w¹；(此时迭代次数l为0，没有经过迭代)

s3、利用稀疏逼近的方式更新雨块与真实图像块所对应的编码系数，得到最新的编码系数和

s4、利用雨块最新的编码系数和字典d¹对雨块进行重构，再从雨块重构回雨层，得到雨层的亮度r^l+1；

s5、根据雨层的亮度r^l+1和雨图的生成模型计算出真实图像层的亮度i^l+1；

s6、通过雨层的亮度r^l+1、真实图像层的亮度i^l+1、雨块与图像块所对应的最新的编码系数和更新字典d¹，以及更新指示变量w¹；若字典d¹没有变化或变化可以忽略，则进入步骤s7，否则返回步骤s3；

s7、将真实图像层重新组合回视频。

进一步地，步骤s3利用稀疏逼近的方式更新雨块与真实图像块所对应的编码系数，得到最新的编码系数和的具体步骤如下：

通过上一步迭代得到的字典d¹，雨块与图像块的堆叠矩阵和指示变量w¹，稀疏度ti，计算真实图像块的最新的编码系数公式如下：

其中，c[:,j]代表稀疏系数的第j列；

根据真实图像块的最新的编码系数指示变量w¹和字典d¹，抽取图像中残余雨量r^l+1，公式如下：

并将残余雨量r^l+1叠加至上一轮的雨层图像中，利用稀疏逼近进行雨块最新编码系数的计算，公式如下：

其中，tr为雨块的稀疏度。

进一步地，步骤s4得到雨层的亮度r的具体步骤如下：

利用雨块最新的编码系数和字典d¹对雨块进行重构，得到新的雨块矩阵计算公式如下：

雨块矩阵经过重组后得到雨层图像对应的亮度r^l+1。

进一步地，步骤s5根据雨层的亮度r^l+1,输入的雨图j和雨图的生成模型计算出真实图像层的亮度i^l+1，公式如下：

i^l+1:＝(j-r^l+1)./(1-r^l+1)。

进一步地，步骤s6更新字典d¹的具体步骤如下：

首先将雨层的亮度r^l+1和真实图像层的亮度i^l+1通过操作堆叠算子p转换为堆叠的矩阵块，计算公式如下：

再通过求解最优化模型，得到字典更新；最优化模型如下：

进一步地，所述步骤s6中更新指示变量w¹，得到最新的指示变量w^l+1；具体步骤如下：

根据雨块的最新的编码系数生成新的指示变量，当编码系数对应的该行上有非零值时，则指示变量在该点设置为1，表明该行对应的字典原子可划分至雨层，反之指示变量在该点设置为0；

定义最新的指示变量w^l+1为上一个指示变量w¹的子集，即：

w^l+1＝w^l+1.*w^l。

传统的方案是对雨层和真实图像层分别学习两个不同的字典或系统来刻画两层图像来使之分离。

与传统方案相比，本方案原理如下：

将真实图像与雨水的分离看成信号分离问题，在分离过程中利用真实图像层和雨层之间的内在属性差异，通过约束稀疏编码系数的互斥性，在不断迭代学习中得到一个有互斥性的字典，将雨天视频图像中的雨层与真实图像层在迭代中逐渐分离，最后达到清晰图像的效果。

与传统方案相比，本方案达到将真实图像与雨层图像分离效果的同时使雨天视频图像更加清晰。

附图说明

图1为本发明一种基于互斥性稀疏编码的雨天视频图像分离方法的流程图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

参见附图1所示，本实施例所述的一种基于互斥性稀疏编码的雨天视频图像分离方法，包括以下步骤：

s1、将雨天视频图像中的图像帧抽取出来，对每一帧图像j进行s2-s6的操作。

s2、初始化字典d¹，雨块和真实图像块对应的编码系数和雨块的堆叠矩阵和真实图像块的堆叠矩阵指示变量w¹。

s3、利用稀疏逼近的方式更新雨块与真实图像块所对应的编码系数，得到最新的编码系数和

具体过程为：

通过上一步迭代得到的字典d¹，雨块与图像块的堆叠矩阵和指示变量w¹，稀疏度ti，计算真实图像块的最新的编码系数公式如下：

其中，c[:,j]代表稀疏系数的第j列；

根据真实图像块的最新的编码系数指示变量w¹和字典d¹，抽取图像中残余雨量r^l+1，公式如下：

并将残余雨量r^l+1叠加至上一轮的雨层图像中，利用稀疏逼近进行雨块最新编码系数的计算，公式如下：

s4、利用雨块最新的编码系数和字典d¹对雨块进行重构，再从雨块重构回雨层，得到雨层的亮度r^l+1；

具体过程为：

利用雨块最新的编码系数和字典d¹对雨块进行重构，得到新的雨块矩阵计算公式如下：

雨块矩阵经过重组后得到雨层图像对应的亮度r^l+1。

s5、根据雨层的亮度r^l+1,输入的雨图j和雨图的生成模型计算出真实图像层的亮度i^l+1，计算公式如下：

i^l+1:＝(j-r^l+1)./(1-r^l+1)。

s6、通过雨层的亮度r^l+1、真实图像层的亮度i^l+1、雨块与图像块所对应的最新的编码系数和更新字典d¹，以及更新指示变量w¹；

其中，更新字典d¹的具体过程如下：

将雨层的亮度r^l+1和真实图像层的亮度i^l+1通过操作算子p转换为堆叠的矩阵块：

再通过求解最优化模型，得到字典更新；最优化模型如下：

更新指示变量w¹，得到最新的指示变量w^l+1；具体步骤如下：

根据雨块的最新的编码系数生成新的指示变量，当编码系数对应的该行上有非零值时，则指示变量在该点设置为1，表明该行对应的字典原子可划分至雨层，反之指示变量在该点设置为0；

定义最新的指示变量w^l+1为上一个指示变量w¹的子集，即：

w^l+1＝w^l+1.*w^l。

若字典d¹没有变化或变化可以忽略，则进入步骤s7，否则返回步骤s3。

s7、将真实图像层重新组合回视频。

本实施例避开了显式地检测与修补，将真实图像与雨水的分离看成信号分离问题，在分离过程中利用真实图像层和雨层之间的内在属性差异，通过约束稀疏编码系数的互斥性，在不断迭代学习中得到一个有互斥性的字典，将雨天视频图像中的雨层与真实图像层在迭代中逐渐分离，最后达到清晰图像的效果。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。