专利名称：基于对偶约束的联合学习超分辨方法
技术领域：
本发明属于图像处理技术领域，涉及机器学习和邻域嵌入(Neighbor Embedding) 图像超分辨方法，可用于自然图像超分辨恢复。
背景技术：
在实际应用中，大多数图像处理系统，如医学诊断、模式识别、视频监控、生物鉴 别、高清晰电视HDTV成像等应用领域，往往需要处理高分辨图像。高分辨率的医学图像为 医生的正确诊断能提供可靠依据，高分辨视频图像能有效提高目标识别的精度。无疑，通过 提高电子成像设备分辨率级别是提高成像分辨率的有效途径之一。一方面，通过改进光学 传感器件制造技术，缩小光学传感器感光元件的物理尺寸，从而增加物理成像单元的密度， 可提高成像分辨率。然而，采用这种方法必定会导致成像设备成本的增加，限制消费类成 像设备的应用与推广；另一方面，通过增加光学传感器的设计尺寸，增加单位面积像素的个 数，也可提高成像的空间分辨率，但该方法会导致成像性能的急剧下降。而且，实际应用中， 在远距离成像环境下，如视频监控、遥感成像和SAR成像，即便使用高分辨率的成像设备仍 然无法获得满足实际应用要求的高分辨图像。因此，需要寻求提高现有图像分辨率的其它 有效方法。通过信号处理技术，设计高效的超分辨图像重建算法，是解决该问题的关键技 术，即图像超分辨重建技术。1984 年，Tsai 和 Huang 等人在文献“T. S. Huang and R. Y. Tsai, "Multi-frame imagerestoration and registration, "Adv. Comput. Vis. Image Process. , vol. 1, PP. 317-339，1984. ”中最早提出了图像超分辨技术的思想。他们通过低分辨率图像间的相 对运动，在频域建立低分辨率图像与期望的高分辨率图像之间的关系，采用低分辨率图像 的离散傅里叶变换与连续的高分辨率图像采样之间的关系实现超分辨反问题求解。近三十 多年来，很多学者对超分辨问题进行了广泛而深入的研究，大体上，超分辨重建方法可分为 三类基于插值的方法、基于多帧低分辨图像的方法和基于实例学习的方法。1)基于插值的方法是一种直接而高效的提高图像分辨率的方法。该方法通过一 个插值核或插值基函数估计高分辨图像中每个像素的值。如最近邻插值、双线性插值和双 立方插值等均是常见的图像插值放大方法。具有代表性的插值超分辨方法有=Ui^nGross 在 “H. Ur, D. Gross, “ Improved resolution from sub-pixel shifted pictures,，，CVGIP : GraphicalModels and Image Processing, vol. 54, pp. 181-186,Mar. 1992.，，一文中提出的 对空间变换的低分辨率图像合成的非均勻插值方法；Nguyen和Milanfa在“N. Nguyen and P. MilanFar. "An efficient wavelet-based algorithm for image superresolution,，，in Proc. Int. Conf. ImageProcessing, vol. 2，2000，pp 351—354” 中提出了 一种有效的基 于小波的超分辨重构算法；XinLi等人在“Χ. Li and Μ. Orchard, "New edge directed interpolation, " IEEE Trans. ImageProcess. , vol. 10, no. 10, pp. 1521-1527, Oct. 2001，， 中提出的利用低分辨图像和待估计的高分辨图像局部协方差几何对偶关系估计插值像素 的方法，该方法在一定程度上保持图像边缘信息。然而，实际应用结果表明，随着图像放大倍数的增加，单个图像中能利用的信息越来越少，直接插值生成的高分辨图像会越来越模 糊，最终导致边缘和纹理等高频信息的丢失，尽管效率高，但满足不了图像处理系统的实际 应用要求。2)基于多帧低分辨图像方法使用该类方法进行超分辨的前提是首先必须获取 同一场景的多个低分辨图像，每个低分辨图像间具有亚像素大小的移动。为实现超分辨 重建，首先需要选择一个低分辨图像作为参考图像，在假设运动模型已知的情况下，先对 图像进行配准，然后在需要放大的高分辨图像网格内进行图像融合，并结合一定的先验信 息，实现超分辨反问题的稳定求解。如Zhang等人在文献“X.Zhang，Ε. Y. Lam, Ε. Χ. Wu, and K.Kffong,"Application of Tikhonov regularization to super-resolution reconstruction of brain MRIimage,，，Lecture Notes in Computer Science,vol. 4987, pp. 51-56,2008.，，中提出的Tikhonov正则化重建方法是多帧图像超分辨重建算法中最 具代表性的正则化方法之一。该方法通过引入平滑约束项抑制重建图像的噪声，但同时 也损失了低分辨图像中的细节信息。另一种具有代表性的方法是由Farsiu等人在文献 "S.Farsiu, M. D. Robinson, Μ. Elad and P. Milanfar,"Fast and robust multi-frame super resolution, "IEEE Trans. Image Processing, vol. 13,no. 10,pp. 1327-1344,2004.，， 中提出的使用双边总变分(bilateral total variation,BTV)算子作为正则项，用I1范数 度量数据逼近项的稳健超分辨率重建算法。该算法具有较好的稳健性，边缘保持性能优于 传统的 Tikhonov 正则化方法。X. Li 等人在文献"X. Li, X. Gao, Y. Hu, D. Tao, and B. Ning, "A Multi-frame Image Super-Resolution Method,，，Signal Processing, vol. 90, no. 2, pp. 405-414,Feb. 2010. ”中提出了局部自适应双边总变分(LABTV)正则项的多帧超分辨方 法，该方法能在保持边缘的同时有效抑制噪声，具有很强的鲁棒性。然而，由于模糊过程和 成像模型假设存在不足，很难实现精确的图像配准。为克服该问题，M. Protter等人分别 在文献"M. Protter, M. Elad, "Generalizing the nonlocal-means to super-resolution reconstruction, ” IEEE Trans. Image Process.，vol. 18, no. 1，pp. 36-51, Jan. 2009.，，禾口 "Μ. Protter,Μ. Elad,"Super Resolution With Probabilistic Motion Estimation,"IEEE Trans. Image Process.，vol. 18，no. 8，pp. 1899-1904，Aug. 2009.，，中提出了概率运动和模 糊配准的思想，通过引入非局部均值(Non-local Means)去噪的思想，利用图像中结构的冗 余性实现视频图像的超分辨重建。主观上，他们的方法能取得较好的超分辨效果，但由于重 建算法是逐个像素处理的，实时性低，算法性能有待进一步提高。在通常情况下，满足多帧 超分辨重建条件的多个低分辨图像无法获取，而且成像模型估计不准确和配准不精确均会 导致重建质量的下降。3)基于实例学习的方法该方法能有效克服多帧低分辨图像超分辨存在的不足， 只需要单个低分辨图像即可实现超分辨恢复。该方法利用高、低分辨率图像间的共现先 验，通过学习两者间的对应关系预测高分辨图像。Freeman等人最早提出实例学习的图像 Igiilii^。 ftkil、]5feM$“W· Τ. Freeman, Ε. C. Pasztor, and 0. Τ. Carmichael, "Learning low-levelvision, " International Journal of Computer Vision, vol.40, no. 1, pp. 25-47, Oct. 2000.，，禾口 “I Τ. Freeman, Τ. R. Jones, and Ε. C. Pasztor, "Example-based super-resolution,，，IEEEComput. Graph. App 1. , vol. 22, no. 2, pp. 56-65, Mar-Apr. 2002，， 两文中提出利用Markov网络建立低分辨图像和高分辨场景之间的关系，通过信任传播算法实现高分辨图像的最大后验估计，具有较直接的插值方法更强的超分辨恢复能力。然而， 他们的算法依赖于实例图像的数量和类别，对训练图像的类型比较敏感，泛化能力不强，且 网络的训练效率也不高。针对Freeman等人提出的实例学习算法需要学习大量实例图像块 的不足，Chang 等人在"H. Chang, D. -Y. Yeung, and Y. Xiong. , "Super-resolution through neighbor embedding,，，in Proc. IEEE Comput. Soc. Conf. on Computer Vision and Pattern Recognition, 2004, pp. 275-282. ” 一文中使用邻域嵌入(Neighbor Embedding)的思想实 现图像超分辨。他们假设低分辨图像和高分辨图像在其各自的特征空间中处在相似的几何 拓扑结构上，即处于相似结构的流形上。基于此，提出了邻域嵌入超分辨重建的思想，利用 局部线性嵌入LLE计算输入的低分辨块的q个邻域关系，通过最小化它们之间的重构误差 来获得一组重建系数，通过线性组合输入的低分辨块的q个邻域所对应的高分辨块得到高 分辨估计。与Freeman等人提出的方法相比，邻域嵌入超分辨方法能在相对较少的训练样 本下能获得较好的超分辨恢复能力。然而，该方法存在主要的问题在于高、低分辨图像块的 相似流形结构是预先假设的。实际上，由于模糊和下采样，同一个高分辨图像块可能对应多 个不同的低分辨图像块，使得在低分辨图像块的特征空间中相近的邻域在高分辨图像块的 特征空间中并不处于同一个邻域内。因此，选择有效的特征描述图像块和重构函数能改善 邻域嵌入图像超分辨方法的质量。为改善邻域嵌入算法的超分辨能力，在Chang工作的基础上，Chan等人在“Τ. M Chan, J.Zhang, J.Pu, and H. Huang, "Neighbor embedding based super-resolution algorithm throughedge detection and feature selection,，，Pattern Recognition Letters, vol. 30，no. 5，pp. 494-502，Apr. 2009. ” 一文中，强调边缘和特征在邻域嵌 入超分辨算法中的关键作用，通过边缘检测和提升策略，区分对待边缘图像块和非边 缘图像块。对边缘图像块和非边缘图像块选择不同的邻域个数实现嵌入，取得了一 定的效果。K. Zhang等人在Chang和Chan等人的基础上，在“K. Zhang, X. Gao, X. Li， and Da. Tao,"Partially supervised neighbor embedding forexample-based image super-resolution,"IEEE Journal of Selected Topic in Signal Processing2010,DOI 10. 1109/JSTSP. 2010. 2048606. ”中提出了多流形的思想，使用非监督高斯混合模型聚类算 法预测每个块的类别信息，并结合局部线性嵌入LLE，提出了部分监督的邻域嵌入超分辨重 构算法，在一定程度上克服LEE方法存在的不足。已有的邻域嵌入超分辨重建方法主要存在以下两个主要问题(1)假设低分辨图像块和高分辨图像块在各自的特征空间上具有相似的流形结 构。实际上，由于模糊和下采样，低分辨图像和高分辨图像间存在不确定性关系，因而，通常 情况下，这种假设并不成立，导致已有的邻域嵌入超分辨重建方法不能稳定求解，容易导致 图像模糊；(2)通过搜索输入的低分辨图像块在训练集中的q-近邻，使用邻域嵌入算法估计 最优重构权值，将对应的高分辨图像块进行线性组合得到低分辨图像块的高分辨估计，以 达到图像超分辨的目的。然而，该方法仅在低分辨图像块构成的特征空间进行邻域嵌入，而 没有考虑训练集中高分辨图像块特征对重构结果的影响，使得在低分辨图像块的特征空间 的最优重构，在高分辨图像块的特征空间并不是最优的。
发明内容
本发明目的在于克服上述已有邻域嵌入超分辨算法的不足，提出了一种基于对偶 约束的联合学习超分辨方法，通过构造低分辨和高分辨图像块的联合特征子空间，以实现 邻域嵌入实例超分辨重建，提高邻域嵌入超分辨重建效果。实现本发明的技术思路是在训练阶段，使用大量的高分辨自然图像生成训练集， 对训练集中每个低、高分辨图像块特征进行组合，构成对偶特征。对每个对偶特征，选择K 个最近邻对偶建立成组块对。在测试阶段，查找与输入的低分辨图像块的特征向量最匹配 的成组块对，对成组块对中的K个低分辨图像块的特征向量和高分辨图像块的特征向量进 行联合学习，构造低分辨和高分辨图像块的特征向量的投影矩阵，将输入的低分辨图像块 和对应的成组块对中高分辨图像块的特征向量分别投影到一个联合特征子空间，在这个联 合特征子空间中进行q-近邻的选择和重构权值的计算，最后将q-近邻对应的高分辨图像 块进行线性组合，得到输入的低分辨图像块的高分辨估计。具体实现步骤包括如下(1)采集高分辨灰度自然图像，模拟图像降质过程，生成低分辨图像，对低分辨图 像使用双立方插值进行2倍放大，得到插值图像，对插值图像和原始高分辨图像，分别随机 选择大小为6X6的低分辨图像块和对应大小为9X9的高分辨图像块，并提取水平和垂直
方向上的一阶和二阶梯度特征，构造低分辨图像块训练集足=·(χ〗1:和高分辨图像块训练
集忑，以及高分辨图像块的高频细节训练集I，其中x:表示第i个低分辨图
像块特征向量，4表示第i个高分辨图像块特征向量，X表示第i个高分辨图像块的高频细 节特征向量，N表示训练集中样本总个数；(2)将低分辨图像块训练集足=Pti和高分辨图像块训练集忑的每个 特征对进行组合，经归一化后，得到对偶特征Ci，将N个对偶特征构成对偶特征集
C = (Ci)^i，对每个对偶特征Ci，选择K个最近邻，构成成组块对集合fG]:，其中Gi表示对偶
集C中第i个对偶特征Ci的K个最近邻组成的成组块对，K = 128 ；(3)输入待处理的低分辨彩色图像F，并将图像F从红、绿、蓝的RGB颜色空间转换 到YCbCr颜色空间，其中Y表示亮度分量，两个色差分量Cb和Cr表示颜色信息；(4)对YCbCr颜色空间中的亮度分量Y使用双立方插值进行2倍放大，得到插值图 像 Iint ；(5)将插值图像Iint自上而下、从左到右划分成大小为6X6的图像块，使相邻块之 间重叠2个像素，提取该图像块在水平和垂直方向的一阶和二阶梯度特征构成低分辨图像
块测试集足=^G，其中丨表示低分辨图像块测试集Xt中的第j个特征向量，M表示该测
试集Xt中样本总个数；(6)对低分辨图像块测试集足中每个特征向量丨，在低分辨图像块训练
集足=PG:中查找与<最匹配的样本<，得到该样本所对应的成组块对Gi,从该成组块对 Gi中分离出K个低分辨图像块和高分辨图像块特征向量，分别构成低分辨图像块成组矩阵 J1和高分辨图像块成组矩阵Jh，其中Λ e i d"KJh G j ，d和m分别是低分辨图像块和对应
8的高分辨图像块特征向量的维数，K表示每个成组块对中低、高分辨率特征向量组成的对偶 个数，d = 144，m = 324 ；(7)使用联合学习方法分别构造低分辨图像块成组矩阵J1的投影矩阵P1和高分 辨图像块成组矩阵Jh的投影矩阵ph，将低分辨图像块测试集Xt中的特征向量X/通过投影矩 阵P1变换成一个i rxl (r+1 ( d)维的变换特征if X/，将高分辨图像块成组矩阵Jh中的K个 特征向量通过投影矩阵Ph变换成i %维的变换特征if人，将低分辨图像块测试集中的特征 向量χ/的变换特征if Χ/与高分辨图像块成组矩阵Jh的K个变换特征if人构成一个i 维 的联合特征子空间S ；(8)在联合特征子空间S中选择特征向量X/的变换特征if X/的q个邻域，使用邻域 嵌入算法，估计最优权值，将变换特征if <的q个邻域在高频细节训练集I = [y〗G1中对应 的q个高频细节特征向量进行线性组合，并加上输入的低分辨图像块的灰度均值 ，得到低 分辨图像块的特征向量< 的高分辨图像块的估计γ，低分辨图像块测试集足=&/1二中所
有特征向量的高分辨图像块估计构成了预测结果集K =[>^二，q = 5 ；(9)按插值图像Iint中图像块的划分顺序合并所有预测结果集K =[>^二，对重叠
区域的像素取平均值进行融合，得到高分辨图像的初始化估计\ ；(10)利用全局重构约束F = DBX和反向投影算法，通过如下迭代公式进一步改善 超分辨图像的质量Xn+1 = Xn+ α [BtDt (F-DBXn) + μ (Xn-X0)]其中η (η > 0)表示迭代次数，X0表示高分辨图像的初始化估计，Xn表示第η次迭 代后的高分辨图像，Χη+1表示第η+1次迭代的高分辨图像，F表示输入的低分辨图像，α表 示梯度下降的迭代步长，B和D分别表示模糊和下采样操作，T表示矩阵的转置操作，Bt和 Dt分别表示去模糊和上采样操作，μ表示反向投影约束项与先验惩罚项的平衡参数；(11)对输入的低分辨彩色图像F在YCbCr颜色空间中的两个色差分量Cb和Cr直 接采用双立方插值进行3倍放大，并组合亮度分量Y的超分辨估计Χη，将YCbCr颜色空间的 超分辨结果转换到RGB颜色空间，得到输入的低分辨图像F被放大了 3倍的RGB图像。与已有的邻域嵌入超分辨重建方法相比，本发明具有以下优点(1)本发明由于在低分辨图像块与对应的高分辨图像块的特征向量间建立了对偶 特征，在图像超分辨恢复的变态反问题上建立了较强的约束，使得超分辨反问题能进一步 稳定求解；(2)本发明由于对输入的低分辨图像块最匹配的对偶特征构成的成组块对进行 联合学习，构造成组块对中低分辨图像块与高分辨图像块的特征向量构成的联合特征子空 间，并在该联合特征子空间进行邻域的选择和最优权值的估计，使得邻域嵌入算法能综合 利用低分辨和高分辨图像块的特征，有利于提高超分辨重建的质量；(3)仿真结果表明，与现有的邻域嵌入超分辨重建算法相比，本发明能恢复更多的 图像细节，产生更加清晰的图像边缘和纹理，避免产生明显的图像失真和伪像。本发明的技术过程和效果可结合以下附图详细说明。
9
图1是本发明基于对偶约束的联合学习超分辨总流程图；图2是本发明与已有邻域嵌入算法对人物图像进行3倍放大后在视觉上进行对比 的结果图；图3是本发明与已有邻域嵌入算法对动物图像进行3倍放大后在视觉上进行对比 的结果图；图4是本发明与已有邻域嵌入算法对花草图像进行3倍放大后在视觉上进行对比 的结果图。
具体实施例方式参照图1，基于对偶约束的联合学习超分辨方法主要包括两个阶段训练集生成 阶段和图像超分辨阶段。一 .训练集生成阶段步骤1，模拟图像降质过程，构建特征库，生成训练集。la)采集大量的高分辨灰度自然图像，对每个高分辨图像经过4X4平均模糊和3 倍下采样生成对应的低分辨图像；lb)对每个低分辨图像，使用双立方插值进行2倍放大，得到插值图像，并使用以 下4个卷积核= [_l，0，l]，f2 = [_l，0，l]T，f3 = [l，0，-2，0，l]，f4 = [1，0，_2，0，1]T 分别与
插值图像和对应的原始高分辨图像进行卷积，生成插值图像和原始高分辨图像在水平方向 和垂直方向上的一阶梯度和二阶梯度图像；Ic)对插值图像的4个梯度图像，随机选择大小为6X6的梯度图像块，组成一个 6X6X4= 144维的特征向量，构成低分辨图像块训练集足=，对原始高分辨图像的4 个梯度图像，选择与插值图像对应位置上的4个9X9的梯度图像块，组成一个9X9X4 = 324维的特征向量，构成高分辨图像块训练集Z5 = ，N表示训练集中样本总个数；Id)在插值图像中提取与1. c)相同位置上的6X6图像块，计算它的灰度均值，同 时提取原始高分辨图像中对应位置上9X9的图像块，减去插值图像块的灰度均值，构成高
分辨图像块的高频细节训练集I =[y〗G，其中每个特征向量γ的维数为9X9 = 81维。步骤2，构造对偶特征，建立成组块对集。2a)将低分辨图像块训练集足=bj:和高分辨图像块训练集忑=^丨^的每个特 征对fx丨，<j进行组合，使用如下公式进行归一化
权利要求
一种基于对偶约束的联合学习超分辨方法，包括如下步骤(1)采集高分辨灰度自然图像，模拟图像降质过程，生成低分辨图像，对低分辨图像使用双立方插值进行2倍放大，得到插值图像，对插值图像和原始高分辨图像，分别随机选择大小为6×6的低分辨图像块和对应大小为9×9的高分辨图像块，并提取水平和垂直方向上的一阶和二阶梯度特征，构造低分辨图像块训练集和高分辨图像块训练集以及高分辨图像块的高频细节训练集其中表示第i个低分辨图像块特征向量，表示第i个高分辨图像块特征向量，表示第i个高分辨图像块的高频细节特征向量，N表示训练集中样本总个数；(2)将低分辨图像块训练集和高分辨图像块训练集的每个特征对进行组合，经归一化后，得到对偶特征ci，将N个对偶特征构成对偶特征集对每个对偶特征ci，选择K个最近邻，构成成组块对集合其中Gi表示对偶集C中第i个对偶特征ci的K个最近邻组成的成组块对，K＝128；(3)输入待处理的低分辨彩色图像F，并将图像F从红、绿、蓝的RGB颜色空间转换到YCbCr颜色空间，其中Y表示亮度分量，两个色差分量Cb和Cr表示颜色信息；(4)对YCbCr颜色空间中的亮度分量Y使用双立方插值进行2倍放大，得到插值图像Iint；(5)将插值图像Iint自上而下、从左到右划分成大小为6×6的图像块，使相邻块之间重叠2个像素，提取该图像块在水平和垂直方向的一阶和二阶梯度特征构成低分辨图像块测试集其中表示低分辨图像块测试集Xt中的第j个特征向量，M表示该测试集Xt中样本总个数；(6)对低分辨图像块测试集中每个特征向量在低分辨图像块训练集中查找与最匹配的样本得到该样本所对应的成组块对Gi，从该成组块对Gi中分离出K个低分辨图像块和高分辨图像块特征向量，分别构成低分辨图像块成组矩阵Jl和高分辨图像块成组矩阵Jh，其中d和m分别是低分辨图像块和对应的高分辨图像块特征向量的维数，K表示每个成组块对中低、高分辨率特征向量组成的对偶个数，d＝144，m＝324；(7)使用联合学习方法分别构造低分辨图像块成组矩阵Jl的投影矩阵Pl和高分辨图像块成组矩阵Jh的投影矩阵Ph，将低分辨图像块测试集Xt中的特征向量通过投影矩阵Pl变换成一个(r+1≤d)维的变换特征将高分辨图像块成组矩阵Jh中的K个特征向量通过投影矩阵Ph变换成维的变换特征将低分辨图像块测试集中的特征向量的变换特征与高分辨图像块成组矩阵Jh的K个变换特征构成一个维的联合特征子空间S；(8)在联合特征子空间S中选择特征向量的变换特征的q个邻域，使用邻域嵌入算法，估计最优权值，将变换特征的q个邻域在高频细节训练集中对应的q个高频细节特征向量进行线性组合，并加上输入的低分辨图像块的灰度均值得到低分辨图像块的特征向量的高分辨图像块的估计低分辨图像块测试集中所有特征向量的高分辨图像块估计构成了预测结果集q＝5；(9)按插值图像Iint中图像块的划分顺序合并所有预测结果集对重叠区域的像素取平均值进行融合，得到高分辨图像的初始化估计X0；(10)利用全局重构约束F＝DBX和反向投影算法，通过如下迭代公式进一步改善超分辨图像的质量Xn+1＝Xn+α[BTDT(F DBXn)+μ(Xn X0)]其中n(n≥0)表示迭代次数，X0表示高分辨图像的初始化估计，Xn表示第n次迭代后的高分辨图像，Xn+1表示第n+1次迭代的高分辨图像，F表示输入的低分辨图像，α表示梯度下降的迭代步长，B和D分别表示模糊和下采样操作，T表示矩阵的转置操作，BT和DT分别表示去模糊和上采样操作，μ表示反向投影约束项与先验惩罚项的平衡参数；(11)对输入的低分辨彩色图像F在YCbCr颜色空间中的两个色差分量Cb和Cr直接采用双立方插值进行3倍放大，并组合亮度分量Y的超分辨估计Xn，将YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到输入的低分辨图像F被放大了3倍的RGB图像。FDA0000027698570000011.tif,FDA0000027698570000012.tif,FDA0000027698570000013.tif,FDA0000027698570000014.tif,FDA0000027698570000015.tif,FDA0000027698570000016.tif,FDA0000027698570000017.tif,FDA0000027698570000018.tif,FDA0000027698570000019.tif,FDA00000276985700000110.tif,FDA00000276985700000111.tif,FDA00000276985700000112.tif,FDA00000276985700000113.tif,FDA00000276985700000114.tif,FDA00000276985700000115.tif,FDA00000276985700000116.tif,FDA00000276985700000117.tif,FDA00000276985700000118.tif,FDA0000027698570000021.tif,FDA0000027698570000022.tif,FDA0000027698570000023.tif,FDA0000027698570000024.tif,FDA0000027698570000025.tif,FDA0000027698570000026.tif,FDA0000027698570000027.tif,FDA0000027698570000028.tif,FDA0000027698570000029.tif,FDA00000276985700000210.tif,FDA00000276985700000211.tif,FDA00000276985700000212.tif,FDA00000276985700000213.tif,FDA00000276985700000214.tif,FDA00000276985700000215.tif,FDA00000276985700000216.tif,FDA00000276985700000217.tif,FDA00000276985700000218.tif,FDA00000276985700000219.tif,FDA00000276985700000220.tif,FDA00000276985700000221.tif
2.根据权利1所述的联合学习超分辨方法，其中步骤(2)所述的对每个对偶特征Ci，选择K个最近邻，构成成组块对集合fG]:，按如下步骤进行(2a)对低分辨图像块和高分辨图像块训练集足=WGjPZ5中的每一个特征对fx〗，z丨;[进行组合，建立对偶特征集C = (Ci)^i，对偶特征集C中的每个对偶特征向量Ci按下 式归一化得到上式中，m和d分别表示低、高分辨图像块的特征维数；(2b)根据得到的对偶特征集C = ^二，按如下公式构造每个对偶特征向量Ci的K个近 邻构成成组块对Gi:
3.根据权利要求1所述的基于对偶约束的联合学习超分辨方法，其中步骤(7)所述的 将低分辨图像块测试集中的特征向量X/的变换特征if X/与高分辨图像块成组矩阵Jh的K个 变换特征if人构成一个i 维的联合特征子空间S，按如下步骤进行(3a)对测试集足=fx/二中的低分辨图像块特征向量x/，查找训练集足=·(χ丨〔中最匹配的样本<所对应的成组块对Gi,从该成组块对Gi中分离出K个低分辨和高分辨图像3块的特征向量，构成低分辨图像块成组矩阵J1和高分辨图像块成组矩阵Jh，其中Λ dxK, 人e j ，d和m分别是低分辨图像块和对应的高分辨图像块特征向量的维数，K表示每个 成组块对中低、高分辨率特征组成的对偶个数；(3b)利用低分辨图像块成组矩阵J1和高分辨图像块成组矩阵Jh，使用联合学习算法， 按如下表达式计算低分辨图像块成组矩阵J1的投影矩阵P1和高分辨图像块成组矩阵Jh的 投影矩阵Ph:fΓ^ τ'J1 0__ ι —Γ'J10 _Γ^ Ph0 Jh-I I0JhPhV_ η __ η _L JLη __ η _J其中I表示单位矩阵，T表示矩阵的转置运算，tr(g)表示矩阵的迹； (3c)根据计算出的所述投影矩阵P1* !^将低分辨图像块测试集Xt中的特征向量χ/通 过投影矩阵P1变换成一个i rxl (r+1 ( d)维的变换特征if x/，将高分辨图像块成组矩阵Jh 中的K个特征向量通过投影矩阵Ph变换成i %维的变换特征if人，将低分辨图像块测试集 中的特征向量χ/的变换特征if Χ/与高分辨图像块成组矩阵Jh的K个变换特征if人构成一个 i 维的联合特征子空间S。
4.根据权利要求1所述的基于对偶约束的联合学习超分辨方法，其中步骤(8)所述的 在联合特征子空间S中选择特征向量X/的变换特征if X/的q个邻域，使用邻域嵌入算法，估计最优权值，是通过如下表达式估计2argmin PlrXjt - ^ WijP1hJh,SNg(J)2式中Ng (j)表示测试集Xt中第j个特征向量χ/在联合特征子空间S中的邻域集合，且 邻域集合中元素的个数Ing(j) I = q, Wij表示第j个输入样本χ/与编号为i的邻域间的权 值，τ表示矩阵的转置运算。全文摘要
本发明公开了一种基于对偶约束的联合学习超分辨方法，主要解决现有邻域嵌入超分辨方法导致图像模糊的问题，其步骤是(1)使用高分辨图像生成训练集，建立低分辨和高分辨图像块的成组块对；(2)提取低分辨图像块的特征向量，在训练集中查找最匹配的成组块对；(3)对成组块对中低分辨和高分辨块的特征向量，进行联合学习，构造投影矩阵，生成联合特征子空间；(4)在生成的联合特征子空间中使用邻域嵌入估计高分辨图像块；(5)将所有估计的高分辨图像块合成高分辨图像；(6)对合成的高分辨图像，利用全局重构约束和反向投影算法改善图像质量。实验结果表明，本发明具有更强的超分辨能力，可用于低分辨自然图像的放大。
文档编号G06T5/50GK101976435SQ20101029856
公开日2011年2月16日 申请日期2010年10月7日 优先权日2010年10月7日
发明者张凯兵, 李洁, 沐广武, 王茜, 田春娜, 路文, 邓成, 高新波 申请人:西安电子科技大学