一种基于稀疏编码融合的夜间监控视频实时增强方法
【专利摘要】该发明公开了一种基于稀疏编码融合的夜间监控视频实时增强方法，涉及计算机视觉领域和信号处理领域，特别是涉及稀疏编码、图像增强、信息融合和视频图像处理的方法。通过白天和夜间的视频数据集的稀疏训练和学习，以获得较为高质量的原子集和对应的稀疏编码；通过稀疏编码融合算法，重构出增强的背景；然后，使用背景差方法，把运动物体从原夜间视频帧中提取出来；最后将增强的背景和运动物体融合得到最终的增强后的视频帧，从而具有在夜间监控视频增强过程中计算复杂度低、计算时间短、增强效果好、增强图像噪音小的效果。
【专利说明】一种基于稀疏编码融合的夜间监控视频实时增强方法
【技术领域】
[0001] 本发明涉及计算机视觉领域和信号处理领域，特别是涉及稀疏编码、图像增强、信 息融合和视频图像处理的方法。
【背景技术】
[0002] 视频增强在计算机视觉领域的研究由来已久。它主要解决如下问题：如何将较低 质量（亮度小，对比度低，细节模糊等）的输入视频流输出为高质量（亮度大，对比度高，细 节清晰）的视频流。目前视频增强技术在视频监控领用已经展开了大量的应用研究，尤其 是针对特定地点的的夜间视频监控。夜间环境下的若光照影响给视频增强技术带来了不小 的挑战。
[0003] 根据视频增强技术中是否利用被增强图像本身以外的信息，目前关于视频增强常 用的方法可以分为两大类：自身修补增强和信息融合增强。其中前者主要依靠算法提高被 增强图像的质量，后者主要将外来有用信息，一般是同一地点的白天视频信息，和夜间视频 信息通过融合算法来增强视频质量。目前自身修补类的增强技术有：伽马校准增强，直方图 均衡增强，色调映射增强，HDR(高动态范围成像）增强，小波变换增强等。而信息融合类的 增强技术有：同态滤波融合增强，梯度融合增强，高斯混合模型增强等。关于这两类技术的 比较，自身修补增强技术的时间复杂度会较高，而且增强效果相对较低，不宜应用于实时视 频监；而信息融合类增强方法却利用较低的时间复杂度实现较好的增强效果。由于时间复 杂性的限制，使得信息融合类方法更适宜于实时视频监控领域。通过融合类增强技术的基 本流程，如图1所示，由于白天信息的加入导致这类技术出现了新的问题：过度增强、夜灯 不亮、夜间倒影等问题。这些问题在图2中有很好的显示。左边的图是原来的视频帧，右边 的图示利用白天背景融合增强后的视频帧。增强的效果看上去很好，但是正如上面所标注 的ABC三个问题也很明显。A:由于过多增强，导致运动的人和背景的对比度降低，这使得在 增强后的视频中，原本应该被重点关注的人不再那么突出；B:树上的彩灯也由于白天强光 的影响，甚至不能判断其是否正常工作，这会妨碍夜间监控的有效性；C:由于白天的背景 中有倒影，导致在增强过后的视频帧中倒影不合理出现。
[0004] 稀疏编码是较为常用的数据压缩算法，该算法包括原子字典更新和稀疏编码更 新两个迭代过程。追踪算法是较为常用的求解字典原子的方法，稀疏编码的更新过程中， 由于目标函数的不同，所采用的更新方法也不同；对于没有惩罚项的优化目标，K_SVD是常 用的求解算法。最终的编码以原子字典为引用，压缩原始数据，同时也能移除原始数据中的 噪音和冗余。
【发明内容】
[0005] 针对【背景技术】的不足之处，本发明提供一种基于稀疏编码融合的夜间监控视频实 时增强方法，达到在夜间监控视频增强过程中计算复杂度低、计算时间短、增强效果好、增 强图像噪音小的目的。
[0006] 本发明的技术方案是一种基于稀疏编码融合的夜间监控视频实时增强方法，本方 法通过白天和夜间的视频数据集的稀疏训练和学习，以获得较为高质量的原子集和对应的 稀疏编码；通过稀疏编码融合算法，重构出增强的背景；然后，使用背景差方法，把运动物 体从原夜间视频帧中提取出来；最后将增强的背景和运动物体融合得到最终的增强后的视 频帧，从而实现发明目的。因而该方法包括以下步骤：
[0007] A、离线学习和融合：通过大量视频数据集的稀疏训练和学习，得到原子字典和稀 疏编码，并通过稀疏融合算法重构出增强后的背景；
[0008] A1、收集大量特定地点的白天和夜间监控视频流数据；
[0009] A2、使用MCL (mutual coherence learning:互相干扰性学习）方法训练和学习 A1 中收集到的数据，将视频数据中每一帧划分为若干小块，求出白天数据和夜间数据视频帧 中相同位置小块的原子字典和稀疏编码；
[0010] A3、将学习到的白天的原子字典和稀疏编码与夜间的原子字典和稀疏编码，按照 公式（1)进行融合；
[0011] Pscf(i) = yDdXd(i)+nDnXn(i)⑴
[0012] 公式中i为图像块序号，Psrf⑴是融合后i号的图像块，Dd是白天的原子字典，D n 是夜间的原子字典，xd(i)是白天的i号图像块的稀疏编码，xn(i)是夜间的i号图像块的 稀疏编码，η和Y分别是白天和夜间的融合系数；
[0013] Α4、将融合后的图像块按照块序号重构出增强后的背景图；
[0014] Α5、将夜间原子字典和对应稀疏编码按照DnXn⑴的方式重构出夜间稳定背景图；
[0015] B、在线提取和融合：在实时视频流中提取出运动物体，并将之融合进A4得到的增 强后的背景中；
[0016] B1、采集当前视频，并使用A5中重构出的夜间稳定背景图提取出当前视频帧中的 运动物体；
[0017] B2、将提取出的运动物体融合到A4得到的增强后背景图中，得到夜间效果增强视 频。
[0018] 步骤A2中MCL (mutual coherence learning:互相干扰性学习）方法过程进一步 包括：
[0019] A21、将白天视频中的每一帧划分为若干小的图像块y，并对在同一个坐标位置的 块赋予一个块序号i，对每一个拥有相同块序号的图像块进行如下训练；
[0020] A22、随机初始化原子字典Dadp ·…，di，·…，dk])，di表示字典中原子；
[0021] A23、使用正交追踪算法计算出稀疏编码矩阵Xdxp . . .，Xi, . . . xj)，使得任一 Xi 满足公式（2)
[0022]
【权利要求】
1. 一种基于稀疏编码融合的夜间监控视频实时增强方法，该方法包括： A、 离线学习和融合：通过大量视频数据集的稀疏训练和学习，得到原子字典和稀疏编 码，并通过稀疏融合算法重构出增强后的背景； A1、收集大量特定地点的白天和夜间监控视频流数据； A2、使用MCL(mutual coherence learning:互相干扰性学习）方法训练和学习 A1中 收集到的数据，将视频数据中每一帧划分为若干小块，求出白天数据和夜间数据视频帧中 相同位置小块的原子字典和稀疏编码； A3、将学习到的白天的原子字典和稀疏编码与夜间的原子字典和稀疏编码，按照公式 (1)进行融合； PScf(i) = YDdXd(i)+nDnXn(i)⑴ 公式中i为图像块序号，Psrf(i)是融合后i号的图像块，Dd是白天的原子字典，D n是夜 间的原子字典，Xd(i)是白天的i号图像块的稀疏编码，Xn(i)是夜间的i号图像块的稀疏 编码，η和γ分别是白天和夜间的融合系数； Α4、将融合后的图像块按照块序号重构出增强后的背景图； Α5、将夜间原子字典和对应稀疏编码按照DnXn(i)的方式重构出夜间稳定背景图； B、 在线提取和融合：在实时视频流中提取出运动物体，并将之融合进A4得到的增强后 的背景中； B1、采集当前视频，并使用A5中重构出的夜间稳定背景图提取出当前视频帧中的运动 物体； B2、将提取出的运动物体融合到A4得到的增强后背景图中，得到夜间效果增强视频。
2. 如权利要求1所述的一种基于稀疏编码融合的夜间监控视频实时增强方法，其特征 在于步骤A2中互相干扰性学习的具体步骤包括： A21、将白天视频中的每一帧划分为若干小的图像块y，并对在同一个坐标位置的块赋 予一个块序号i，对每一个拥有相同块序号的图像块进行如下训练； A22、随机初始化原子字典D ([屯，...，屯，...，dk])，屯表示字典中原子； A23、使用正交追踪算法计算出稀疏编码矩阵Xdxp . . .，Xi,. . . xm])，使得任一 Xi满足 公式（2) min \\yt- Dx. ||2 s.t. || ||0< Κ (.2) 公式中yi是收集视频中的每一帧划分为的图像块信息，D是原子字典，I I · I L是零范 式计算，κ是稀疏度； Α24、对于字典中每一个原子屯按照公式（3)进行重新初始化
(3) 公式中Y是收集到的视频数据，对于特定编码i，指代所有编号i块的全部训练数据； A25、计算?//?/,如果其大于0,则将标志位flag置为1，否则将flag置为-1 ; A26、对于字典中每一个原子屯，利用A25的计算结果按照公式（4)进行更新
(4) 公式总β为梯度参数； Α27、比较屯在更新前后的变化，如果没有变化则跳到Α28,如果有变化则返回Α25 ; A28、返回A23,直到训练得到的稀疏编码X不再变化，从而求白天视频帧中相同位置小 块的原子字典和稀疏编码； A29、采用A21?A28相同的方法计算出夜间视频视频帧中相同位置小块的原子字典和 稀疏编码。
3. 如权利要求1所述的一种基于稀疏编码融合的夜间监控视频实时增强方法，其特征 在于步骤B1中夜间运动物体提取过程进一步包括： B11、按照公式（5)对于帧中的每一个像素进行标示位赋值
(5) 公式中的（x，y)是像素坐标，L(x，y)是（x，y)坐标对应的像素的标示位，B(x，y)和 N(x，y)分别是对应的背景图像素值和夜间帧像素值，?\是设定的阈值； Β12、根据每个像素的标示位建立二值化图,将所有L为1的像素赋值为255, L为0的 像素赋值为〇 ; Β13、对二值化的图进行高斯腐蚀，得到腐蚀后的图； Β14、对于腐蚀后的图每一像素值进行阈值判断，二值化，如果大于某阈值，则赋值为 255,否则赋值为0 ; Β15、对于腐蚀后的二值化图进行膨胀计算，膨胀后再次二值化处理； Β16、根据膨胀后的二值化图中像素值为255坐标位置，将夜间视频帧中相应的坐标像 素提取出，再融合到增强后的背景图中去。
4. 如权利要求3所述的一种基于稀疏编码融合的夜间监控视频实时增强方法，其特征 在于所述步骤Β11中对于帧中的每一个像素进行标示位赋值时，针对8位的数字化图像，阈 值?\的置信区间为130-160。
5. 如权利要求3所述的一种基于稀疏编码融合的夜间监控视频实时增强方法，其特征 在于所述步骤Β14中对于腐蚀后的图进行二值化时，针对8位的数字化图像，阈值的的置信 区间为160-190。
【文档编号】H04N19/90GK104253994SQ201410446313
【公开日】2014年12月31日 申请日期:2014年9月3日 优先权日:2014年9月3日
【发明者】饶云波, 丁先树, 雷航, 刘虹呈 申请人:电子科技大学