一种基于像素强度的图像超分辨率重建方法
【技术领域】
[0001] 本发明属于图像处理技术领域，具体涉及一种基于像素强度的图像超分辨率重建 方法。
【背景技术】
[0002] 随着信息技术的发展，高质量数字图像的需求越来越迫切。但数字图像在采集过 程中受到成像设备的限制（制造工艺与成本）以及成像过程中受到运动模糊、光学模糊、随 机噪声以及低采样率等因素的影响，拍摄得到的图像质量往往不是很理想。图像超分辨率 重建（super-resolution，SR)技术是一种提高图像分辨率的信号处理技术，它利用单幅或 多幅的低分辨率图像重建高分辨率图像或图像序列，增加了高频信息，去除了在成像过程 中引起的退化，从而提高图像质量、改善图像视觉效果。近年来，图像超分辨率重建已经成 为数字图像处理领域的研宄热点，具有十分重要的理论意义和广阔的应用前景，在遥感成 像、医疗成像、卫星成像、模式识别、军事侦察、安全监控、交通识别、案件侦破等领域得到了 广泛应用。
[0003]图像超分辨率重建方法主要可以分为以下几类：频（率）域方法、空（间）域方 法、基于学习的方法。
[0004]频域的方法主要利用低分辨率图像的混叠来重建高分辨率图像。该类方法中最早 的方法主要利用了傅里叶变换的混叠和平移性质的原理。之后，出现了许多改进的工作。频 域法依赖于图像的观测模型，只限于全局平移运动和线性空间不变模糊，因此在实际中应 用受限。
[0005]为了克服频域法的缺陷，提出了许多空域的方法，主要方法有：非均匀插值法、迭 代反投影法、凸集投影法、最大后验概率法。
[0006]非均匀插值方法的理论基础是低分辨率图像经过运动估计后映射到高分辨率网 格上时是非均匀的，因此通过对非均匀采样点的内插就可以得到高分辨率网格上采样点的 像素值，运算量小。该类方法要求所有的低分辨率（LR)图像具有相同的噪声分布和模糊函 数。目前，该类方法的最新代表是FeiZhou提出的基于插值和多面拟合的图像超分辨率重 建方法（Interpolation-BasedImageSuper-ResolutionUsingMultisurfaceFitting， 简称为MFISR)。迭代反投影法是利用图像降质模型生成低分辨率图像，与观测的低分辨率 图像差分，把残差投影到估计的高分辨率图像中，重复这一过程，直到估计的高分辨率图像 满足迭代停止的条件。该类算法具有原理简单，计算速度快的优点，缺点是难以利用图像 的先验知识，而且对选取最合适的反向投影算子没有明确的方法，解不唯一。凸集投影法 是一种基于集合理论的超分辨率重建方法，能够较好地保持图像边缘等细节信息，而且容 易加入先验知识。但重建结果受到初始估计值的影响较大，解不唯一。最大后验概率法是 一种基于统计理论的超分辨率重建方法，是目前最具有前景的超分辨率重建算法之一，其 原理是在已知低分辨率图像序列的条件下，使得高分辨率图像的后验概率最大。该类方法 的主要优点是方便添加图像的先验知识去正则化该不适定反问题，而且具有较强的去噪能 力，其缺点是运算量大。
[0007] 另一种重建方法是基于机器学习原理的方法。该类方法首先由Freeman在提出， 通过对低分辨率图像集进行训练产生一个学习模型，利用该模型计算出图像高频细节信 息。另外，还有学者把流形学习的思想引入到图像超分辨率重建，提出了基于邻域嵌入的图 像超分辨率重建方法，并取得了较好的重建效果。也有人提出利用稀疏表示进行图像超分 辨率重建，通过计算低分辨率图像的稀疏系数，在高分辨率图像字典中寻找一致的稀疏系 统，获得高分辨率图像。
【发明内容】
[0008] 本发明的目的是提供一种基于像素强度的图像超分辨率重建方法，解决了现有技 术中存在的因异常数据对估计值的影响而造成的难以提高重建质量的问题。
[0009] 本发明所采用的技术方案是，一种基于像素强度的图像超分辨率重建方法，具体 按照以下步骤实施：
[0010] 步骤1、将低分辨率图像进行图像配准；
[0011] 步骤2、将步骤1得到的配准后的图像进行图像融合；
[0012] 步骤3、将步骤2得到的图像进行图像重建，得到最终的高分辨率像素值图像。
[0013] 本发明的特点还在于，
[0014] 步骤1，设低分辨率图像为Tji= 1，2,…，N)，N为图像个数，
[0015]步骤1具体为：
[0016] 对多幅低分辨率图像凡（i= 1，2,…，N)进行PSNR和FSMc质量评估，从中选择 一副PSNR和FSMc值最大的图像作为参考图像，设为，采用SIFT算法提取低分辨率图像 中凡（i= 1，2,…，N)的特征点Pi，用特征点集合Pi分别表示如下：
[0018] 上式中，每个特征点集合Pi中的mi分别为每个低分辨率图像Ti的特征点数目，其 中i= 1，2,…，N，对参考图像1\中的每个特征点Pi，计算其它低分辨率图像Tji= 2,…，N) 中的所有特征点到参考图像1\的特征点的距离，距离表示如下：
[0020] 上式中，j表示128维SIFT特征的索弓丨，ti= 1，2,…，m丨，t2 = 1，2,. . .，max(m2,m3,. . .，mN)，对上述距离进行升序排列，提取出上述距离中的最小距离屯 和次小距离d2，并求出最小距离屯和次小距离(12的匹配比r，r=d/4，当最小距离屯和 次小距离(12的匹配比r>n时，n为阈值，说明参考图像!\中的该特征点和与其距离最近 的特征点匹配成功，当最小距离屯和次小距离d2的匹配比r〈n时，说明参考图像Ti中的 该特征点和与其距离最近的特征点匹配不成功，进而得到参考图像1\与低分辨率图像Ti(i =2,…，N)对应的匹配点的匹配点对Qi:
[0022] 式（2)中，nii为匹配点对的数目，
[0023] 对式（2)通过仿射变换公式，得到仿射变换参数：两幅图像之间的旋转角度0 ^口 位移量AXi、Ayi，仿射变换公式表示为：
[0024] Q1=RiQi+ADj (3)
[0025] 式⑶中，氏为2X2的旋转矩阵，AD为2X1的平移向量，RJP AD汾别表示 为：
[0028] 9i为旋转角度，AxpAyi分别为横坐标和纵坐标的位移量。
[0029] 步骤1中阈值n= 〇? 85。
[0030] 步骤2具体为：当步骤1得到待配准图像Tji= 2,…，N)与参考图像之间的 旋转角度0JP位移量ADi后，将配准后的低分辨率图像根据缩放因子的大小进行插值放 大，然后将放大后的图像再依照配仿射变换参数：旋转角度0JP位移量AxpAyi进行配 准，映射到高分辨率网格上。
[0031] 步骤3为：首先为步骤2中的每个高分辨率网格节点构造一个初始邻域进行曲面 拟合，获得估计值，然后按步长扩大邻域范围再进行曲面拟合，获得估计值，最后用MAP方 法估计高分辨率像素值，具体步骤如下：
[0032]步骤（3. 1)、邻域扩展：对于步骤2中映射到高分辨率网格上的图像，为每个网格 节点选择初始邻域值h和最大邻域值b2，步长设为0. 1 ;
[0033] 步骤（3. 2)、像素搜索：步骤（3. 1)中的从h开始到b2结束，对高分辨率网格上的 节点进行邻域搜索得到K个邻域NBji= 1，2,…，K)，根据bi、b2和步长值得