一种基于非局部正则化和关键帧的视频超分辨方法
【专利摘要】本发明提出了一种基于非局部正则化和关键帧的视频超分辨方法，实现步骤为：(1)输入视频X；（2）对视频X中的一帧低分辨率图像作双三次插值放大获得放大图像；对距离放大图像最近的高分辨率图像作高通滤波，获得低、高频分量；(3)分别在放大图像和低频分量中提取图像块，并对放大图像块进行非局部正则化，低频图像块作k-means聚类；（4）将新的放大图像块与聚类中心作比较，找到最相似的类，在最相似类中找到相似的低频图像块；(5)由相似的低频图像块找到相对应的高频图像块，再对高频图像块作非局部加权，得到重构的高分辨率图像；(6)对视频每一帧低分辨率图像重复步骤(2)～(5)，获得高分辨率视频。本发明用于视频的增强或恢复。
【专利说明】一种基于非局部正则化和关键帧的视频超分辨方法【技术领域】
[0001]本发明属于视频图像处理【技术领域】，具体涉及一种基于非局部正则化和关键帧的视频超分辨方法，对低分辨率的视频进行超分辨，应用于视频图像的增强或恢复。
【背景技术】
[0002] 视频超分辨技术是为了获得更准确的视频信息，通过多种技术手段提高视频的清晰度、抑制噪声的一门学科。它是视频图像处理中重要而又富有挑战性的研究内容，对于视频超分辨问题，研究者已经提出了很多方法。
[0003]2008年Brandietal.等人提出了一种有效的视频超分辨的方法，在传输压缩视频的时候，将传输的几帧原始未压缩的图像作为关键帧，将这几帧关键帧作为数据库，由于这几帧关键帧与非关键帧有很大的相似度，因此非关键帧在这几个关键帧中配对时，配对出错率会大大降低，从而提高超分辨率算法的鲁棒性，见F.Brandi, R.DeQueirozandD.Mukherjee, “SuperResolutionofVideoUsingKeyFrames”，inIEEEISCAS, May2008, pp.1608-1611.。输入的视频序列中包含高分辨率帧和低分辨率帧，其中定义包含高频信息的几帧为关键帧，其余帧仅包含低频信息为非关键帧，将关键帧与非关键帧独立编码，对关键帧进行处理，得到相应的高频信息和低频信息，找到关键帧与非关键帧的低频信息的对应关系，直接将关键帧的高频信息加到非关键帧中，实现直接运动补偿。但是，这种方法由于是传统的基于全局运动估计搜索方式，很难找到真实的运动向量，因此在运动补偿后会引起块效应而降低视频图像效果。
[0004]2010 年，C.S.Byung 在 Brandi 的方法上进行了改进，见 C.S.Byung, J.Shin-Cheoland C.Yanglim, “Keyframe-basedvideosuper-resolutionusingb1-directionaloverlappedblock motioncompensationandtraineddictionary，，，inIEEEIPTA, July2010,PP.181-186。在视频中传输几帧包含高频信息的关键帧，通过相邻的关键帧，经过双向运动估计及运动补偿，从而实现非关键帧的超分辨；其中所采用的运动补偿方法是重叠块的运动补偿，来寻找匹配的高频信息。相对于Brandi的直接运动补偿,效果更好点，高频信息的添加更加精确一些，但是当视频中具有噪声时，在运动补偿的过程中，对匹配准则的要求很高，且添加的高频信息有限，造成视觉效果质量下降。
【发明内容】
[0005]本发明的目的在于针对已有技术的不足，提出一种基于非局部正则化和关键帧的视频超分辨方法，以对视频中每一帧低分辨率含噪图像，在不需要精确地匹配准则下能够获取更多的高频信息，更好的恢复低分辨率含噪图像的高频信息，进而获得边缘清晰、视觉效果好的高分辨率视频。
[0006]为实现上述目的，本发明提出了一种基于非局部正则化和关键帧的视频超分辨方法，包括如下步骤:
[0007](I)输入视频X，提取视频X中的每一帧图像，得到高分辨率图像帧Xh，h =I,..., Μ,和低分辨率含噪图像帧Xt，t = 1，...，N，并定义高分辨率图像帧Xh为关键帧，定义低分辨率含噪图像帧Xt为非关键帧，其中M为视频X中高分辨率图像的帧数，N为视频X中低分辨率含噪图像的帧数；
[0008](2)利用视频中高分辨率图像帧Xh与低分辨率含噪图像帧Xt的关系，对低分辨率含噪图像帧Xt中的任意一帧图像进行超分辨重建，重建过程如下:
[0009]2a)对任意一帧低分辨率含噪图像S进行双三次插值放大，放大因子λ = 2，获得低分辨率含噪放大图像Y。；
[0010]2b)通过高通滤波器对距离低分辨率图像S最近的一帧高分辨率图像进行滤波，将该高分辨率图像分解为高频分量Xp和低频分量X。；
[0011]2c)在低频分量X。中提取含噪的低频图像块;T j = 1，...，U，U为含噪低频图
像块的数目，在低分辨率含噪的放大图像Y。中提取含噪的低分辨率放大图像块〗i =1，...，K，K为放大图像块的数目；
[0012]2d)对含噪的低分辨率放大图像块t进行非局部正则化，得到去噪的低分辨率放大图像块及;，非局部正则化函数为:
[0013]
【权利要求】
1.一种基于非局部正则化和关键帧的视频超分辨方法，其特征在于:包括如下步骤: (1)输入视频X，提取视频X中的每一帧图像，得到高分辨率图像帧xh，h= 1，...，M，和低分辨率含噪图像帧Xt，t = 1，...，N，并定义高分辨率图像帧Xh为关键帧，定义低分辨率含噪图像帧Xt为非关键帧，其中M为视频X中高分辨率图像的帧数，N为视频X中低分辨率含噪图像的帧数； (2)利用视频X中高分辨率图像帧Xh与低分辨率含噪图像帧Xt的关系，对低分辨率含噪图像帧Xt中的任意一帧图像进行超分辨重建，重建过程如下: 2a)对任意一帧低分辨率含噪图像S进行双三次插值放大，放大因子λ =2，获得低分辨率含噪放大图像Y。； 2b)通过高通滤波器对距离低分辨率图像S最近的一帧高分辨率图像进行滤波，将该高分辨率图像分解为高频分量Xp和低频分量X。； 2c)在低频分量X。中提取含噪的低频图像块Xi, j = 1，...，U，U为含噪低频图像块的数目，在低分辨率含噪的放大图像Y。中提取含噪的低分辨率放大图像块Y^i = I,..., K,K为放大图像块的数目； 2d)对含噪的低分辨率放大图像块Y。1进行非局部正则化，得到去噪的低分辨率放大图像块R。1，非局部正则化函数为:
2.根据权利要求1所述的基于非局部正则化和关键帧的视频超分辨方法，其特征在于:所述步骤(1)中的视频X，包括高分辨率图像和低分辨率含噪图像，其图像分布为:首尾两帧为高分辨率图像，且从首帧高分辨率图像开始每隔八帧低分辨率含噪图像就会出现一帧高分辨率图像，直到尾帧为止。
3.根据权利要求1所述的基于非局部正则化和关键帧的视频超分辨方法，其特征在于:所述步骤2c)中的含噪的低频图像块Xt/和含噪的低分辨率放大图像块ΥΛ其大小均为5 X 5，重叠块的大小均为4X4。
4.根据权利要求1所述的基于非局部正则化和关键帧的视频超分辨方法，其特征在于:所述步骤2f)中寻找与去噪的低分辨率放大图像块R/最相似的那一类的过程为先计算去噪的低分辨率放大图像块R/与步骤2e)中的聚类中心的均方差，并找出这些均方差中的最小值，此最小值所对应的聚类中心就是与去噪的低分辨率放大图像块Rj的最相似块，包含这个最相似块的类即为与去噪的低分辨率放大图像块R/最相似的那一类。
【文档编号】G06T5/50GK103914816SQ201410077085
【公开日】2014年7月9日 申请日期:2014年3月4日 优先权日:2014年3月4日
【发明者】王爽, 焦李成, 张阳, 马文萍, 马晶晶, 侯彪, 岳波, 霍丽娜 申请人:西安电子科技大学