基于NormLV特征的低秩稀疏邻域嵌入超分辨方法

基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
【专利摘要】本发明公开了一种基于NormLV特征的低秩稀疏邻域嵌入的超分辨方法。首先，构造NormLV特征将邻域嵌入算法进行特征增强，通过该特征来选取近邻；将训练集进行分组得到索引集；利用低秩稀疏邻域嵌入算法计算权值矩阵；将权值矩阵归一化；线性组合得到高分辨图像块；融合高分辨图像块得到初始的高分辨图像；最后，结合一致性先验和全局约束，利用TV和IBP算法进一步提高图像超分辨重建的质量。本发明将稀疏表示与邻域嵌入算法相结合，解决了低分辨图像与高分辨图像邻域关系的不一致性影响超分辨重建质量的技术问题。采用本发明获得高分辨图像能恢复更加清晰丰富的纹理细节和图像边缘，相比其他方法，有更好的视觉效果。
【专利说明】基于NormLV特征的低秩稀疏邻域嵌入超分辨方法

【技术领域】
[0001] 本发明属于图像处理【技术领域】，主要设及图像超分辨方法，具体是一种基于 NormLV特征的低秩稀疏邻域嵌入超分辨方法，由此获得的高质量的图像为后续图像处理、 分析与理解提供很大的帮助，可用于不同领域，例如生物医学、视频与多媒体系统、军事侦 察等领域。

【背景技术】
[0002] 随着Internet应用的日益普及和移动通信技术的飞速发展，图像超分辨重构在 图像处理领域得到了广泛的应用，可W克服成像系统分辨率的不足。在不同领域中取得了 良好的效果，例如生物医学、视频与多媒体系统、军事侦察等领域。经过近30年的发展和研 究，图像超分辨方法主要分为基于插值的方法、基于重构的方法、基于实例学习的方法。其 中邻域嵌入超分辨方法是一种简单而有效的实例学习超分辨方法。
[0003] 邻域嵌入超分辨方法是将流形学习中局部线性嵌入思想引入超分辨重建中，假设 低维空间和高维空间的局部空间结构是相似的，具体到图像超分辨率重建来看，对应的低 维空间是由低分辨率图像块构成，而高维空间是由高分辨率图像块构成。邻域嵌入超分辨 算法主要分为=步；捜索k近邻、计算重建权值、线性组合高分辨图像块。然而传统的基于 邻域嵌入算法的超分辨方法存在W下几个问题；1) 一阶梯度和二阶梯度特征提取方法只 能表示水平和垂直方向的特征，不能更好表示图像块，从而会造成筛选出来的邻域不准确； 2)由于特征提取的不准确性导致低分辨图像块与高分辨图像块之间的映射非一对一的线 性映射；3)使用欧氏距离来严格寻找固定的k近邻进行线性嵌入，容易导致欠拟合或过拟 合现象，而且找近邻的时候不能排除噪声样本或者外来干扰样本；4)对于邻域嵌入算法， 由于在整个训练集上进行k-近邻捜索，当训练集规模较大的情况下，算法比较耗时。综上 可知，传统的邻域嵌入超分辨方法在特征表示筛选出来的邻域不准确、捜索k近邻不能排 除噪声样本或者外来干扰样本、计算重构权值容易导致欠拟合或过拟合和算法比较耗时方 面有些不足之处。


【发明内容】

[0004] 本发明的目的在于针对上述现有方法的不足，提供一种利用NormLV特征，很好实 现邻域嵌入超分辨算法中特征增强，效率高的基于NormLV特征的低秩稀疏邻域超分辨方 法。
[0005] 本发明实现基于NormLV特征的低秩稀疏邻域超分辨的技术方案包括有如下步 骤：
[0006] 步骤1 ;读入一幅不含噪声的低分辨彩色RGB图像Lt，将RGB图像转换为彩色空间 的YCb&图像，将其中的色度分量Cb和&直接利用Bicubic插值法进行插值，将其中的亮 度分量Y用NormLV特征提取方法进行操作；
[0007] 步骤2 ;特征提取：将低分辨图像亮度分量Y提取NormLV特征，得到低分辨率图像 训练集Xs;
[000引步骤3 ;分组对于低分辨率图像训练集X,中每个向量，在X,中选出K个最近邻 图像块，并把K个最近邻图像块和放到一个组Gi中，
[0009]

【权利要求】
1. 一种基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，其特征在于，包括有如下步 骤： 步骤1 :读入一幅不含噪声的低分辨彩色RGB图像Lt，将RGB图像转换为彩色空间的YCbCr图像，将其中的色度分量Cb和Cr直接利用Bicubic插值法进行插值，将其中的亮度 分量Y用NormLV特征提取方法进行操作； 步骤2 :特征提取：将低分辨图像亮度分量Y提取NormLV特征，得到低分辨率图像训练 集Xs; 步骤3 :分组：对于低分辨率图像训练集Xs中每个向量 <，在Xs中选出K个最近邻图 像块，并把K个最近邻图像块和X丨放到一个组Gi中， G-K}U{^', 其中Gi表示与训练集中第i个样本 < 相关的组,NK(i)表示由的K个最近邻图像块 构成的索引集，1彡i彡N; 为了节省内存空间，保持索引即可，所以将索引集Gi表示为： Gi= {i}U{j,jGNK(i)} 步骤4 :低秩稀疏邻域嵌入：对于每个测试图像块x/，用低秩稀疏邻域嵌入算法进行线
分辨图像块特征的低秩分量f; 步骤5 :归一化：将低分辨图像全部的权值矩阵屯，归一化：
步骤6:线性组合：线性组合邻域集Nk(j)中对应的高分辨图像块特征的低秩分量 ，得到低分辨图像块x/的高分辨图像块特征的估计W，即
本发明将低分辨图像的权值映射到高分辨图像中，使得低分辨图像与高分辨图像邻域 关系的一致性。 步骤7 :将低分辨率图像块X/的均值I_n与高分辨特征估计值进行线性组合得到最 后的高分辨率图像块V
步骤8 :融合：将得到的所有的高分辨图像块融合为初始高分辨图像估计H0，对于相邻 图像块之间的重叠区域，使用平均融合的方法得到初始高分辨图像Htl的像素值； 步骤9 :去模糊：对Htl使用TV去模糊算法获得去模糊的高分辨图像H; 步骤10 :反向投影：对去模糊后的高分辨图像H，用IBP算法获得最终高分辨图像:
其中y为平衡参数； 最终完成基于NormLV特征的低秩稀疏邻域嵌入超分辨重建，即低分辨图像Lt的高分 辨图像估计为最终高分辨图像",r。
2. 根据权利要求1所述的基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，其中步骤 2所述的NormLV特征提取方法具体步骤如下： 2a)将低分辨图像亮度分量Y自上而下，从左到右划分成大小为sXs的图像块，相邻图 像块之间重叠1个像素； 2b)提取低分辨图像块的一阶梯度特征▽firetgradimt; 2c)提取低分辨图像块的Norm特征▽N_，所谓的Norm特征即是中间像素点的值减去 块的均值； 2d)提取低分辨图像块的LV特征Vw，LV特征为将图像水平和垂直方法融合起来，用 中间值减去上下左右四个方向的像素值； 2e)为了更好得表示低分辨图像块，采用多个特征融合的方法将一阶梯度特征、Norm特征和LV特征融合为新的NormLV特征，NormLV特征表达式为：
之后将得到的图像块提取其NormLV特征构造测试集X, 。同时对于训练样 本集，低分辨训练样本集提取NormLV特征X= ，高分辨训练样本集提取强度特征 1HC。
3. 根据权利要求1所述的基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，其中步骤 4所述的低秩稀疏邻域嵌入算法具体步骤如下： 4a)对于每个测试图像块X/，在低分辨率图像训练集\中找出最相似的 <，并得到与 <相关的组Gi，其中Gi包含K+1个索引； 4b)将与x/相关的K个低分辨率图像梯度特征向量构成一个矩阵e，其中Ii =[x)，...，xf，...xf]。同理，将对应的K个高分辨率图像强度特征向量构成矩阵^ ， 其中片=[^，...，心...3^]; 4c)输入图像块X/与低分辨率图像特征矩阵1^组成矩阵& =[x/，￡+]; 4d)将巧和Hi进行低秩矩阵分解，具体优化函数为：
其中，',^和耳分别为低分辨图像特征矩阵A的低秩分量和稀疏分量；^^和仏分别 为高分辨图像特征矩阵H1的低秩分量和稀疏分量；.被分成两个部分，一部分是输入低 分辨率图像块< 对应的列向量(x/l-部分是训练集低分辨率图像特征矩阵1^的分块矩 阵4,即 4e)对于每个输入图像块的列向量^；〇4，在训练集低分辨率图像特征矩阵Li的分 块矩阵 < 中找出K个近邻^，aeNk (j)，然后用稀疏表示计算权值，优化函数为：
其中(Al= ，Wj= [Wl，j，...，Wa，j，...，WK，j]T。上述优化问题 是典型凸优化问题，采用OMP或BP算法就可求解出权值矩阵Wj，这种方法求出权值能更好 的反映低分辨图像块与高分辨图像块之间的映射关系。
【文档编号】G06T5/50GK104504672SQ201410830062
【公开日】2015年4月8日 申请日期:2014年12月27日 优先权日:2014年12月27日
【发明者】张小华, 焦李成, 何攀辉, 田小林, 王爽, 朱虎明, 马晶晶 申请人:西安电子科技大学