一种基于sae和稀疏表示的图像超分辨率方法
【技术领域】
[0001] 本发明属于图像处理领域，涉及一种基于SAE和稀疏表示的图像超分辨率方法。
【背景技术】
[0002] 随着科技的发展与社会安全意识的不断加强，视频监控系统被广泛应用于公共安 全领域。高质量、高分辨率图像由于可以反映视觉场景、人物中更多的细节信息，因而对于 视频监控系统功能的实现至关重要。然而，在实际应用中，低分率图像的产生不可避免。一 方面，许多成像系统（如红外成像仪和CCD、CMOS传感器等）由于受其固有的传感器阵列排 列密度的限制以及目标移动、聚焦不良、系统噪声等因素影响，使其自身采集图像的分辨 率难以达到期望的水平，具有模糊、噪声、变形等缺陷，形成低分辨率图像；另一方面，由于 监控系统监控设备安装位置不佳、监控距离较远、监控角度大、视频压缩采样严重等因素的 影响，往往会导致监控画面辨识度较差，分辨率较低。而低分辨率的图像对于提取视频监控 图像中有用的关键信息如刑侦中犯罪人员的人脸信息、交通事故中违章车辆的牌照以及驾 驶员人脸特征等将造成诸多不便，从而影响视频监控系统在日常监控、刑侦、反恐、交通监 测等方面的实际应用性能，因而研宄如何获取或提高图像的分辨率具有重要的现实意义。 作为提高图像分辨率的一种重要技术手段，图像超分辨率（Super-Resolution，简称SR)技 术可以采用软件方法从一幅或多幅已观测的低分辨率图像中恢复重建出高分辨率图像或 图像序列。这种技术由于可以从软件算法上显著提高图像的空间分辨率，弥补硬件采集成 像系统的不足，降低应用成本，因而在遥感图像系统、卫星成像系统、医学图像诊断系统、数 字电视系统、视频监控、刑侦影像分析系统等图像处理系统中具有十分重要的应用价值和 广阔的应用前景。
[0003]目前，按照重建高分辨率图像思想原理的不同，现有的超分辨率技术主要分为三 种类型，即基于插值的超分辨率技术、基于重建的超分辨率技术以及基于学习的超分辨率 技术。
[0004] 基于插值的图像超分辨率技术的基本思想是首先把一幅待放大的单帧低分辨图 像配准到所期望的高分辨率图像的像素点上，再使用插值技术在高分辨率图像中把没有配 准的像素点计算出来。传统的插值技术包括最近邻插值法、二次插值法、双三次插值法等。 这类技术发展起步较早，其特点是简单直观，一般运算速度比较快，在实时性要求较强但图 像要求较低的场合具有较好的实用价值。但这种方法在没有引入额外先验信息的情况下， 仅凭单帧图像插值很难恢复高分辨率图像所具有的细节信息，因而其重建能力有限，重建 过程中很难恢复有效的高频信息，重建的图像中容易存在局部振铃效应或整体偏光滑，也 容易产生模糊或锯齿效应。
[0005] 基于重建的超分辨率技术按照研宄空间的不同又主要分为频域法和空域法两类。 基于频域类的超分辨率重建技术主要是利用傅里叶变换空域上的平移对应于频域上的相 移性质，从具有不同相位的低分辨率图像的频谱中估计出高分辨率图像的频谱，然后进行 傅里叶反变换重构出高分辨率图像。由于图像的卷积、平移、旋转等运算在频域中可以方便 地转化成易于处理的算术运算形式，使得基于频域类的超分辨率重建方法在理论推导和计 算上都有一定的优势。但随着人们研宄的深入发现，这类重建方法难于处理噪声问题，并且 难于在处理过程中添加先验信息，使得这类方法的研宄受到了限制。基于空域类的超分辨 率重建技术则是通过建立图像退化的物理模型，假设低分辨率图像是通过原始高分辨率图 像经几何形变、模糊和降采样操作得到的结果，最终利用多帧低分辨率图像间的融合来反 演高分辨率图像。目前，这类超分辨率重建方法典型的有迭代反向投影法（IBP)、凸集投影 法（POCS)、最大后验概率（MAP)方法、最大似然概率（ML)方法以及混合MAP/POCS法等。基 于空域类的方法中，由于其观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、非理 想采样等内容，具有很强的包含空间先验约束的能力，能够弥补频域法以及传统插值方法 重建高分辨率图像过程中的一些不足之处。但这种基于重建的图像超分辨技术需要依赖大 量同一场景下或相关性、互补性很强的大量低分辨率图像，并且这类方法侧重于从信号处 理的角度恢复高分辨率图像，对图像内容和结构知识的理解学习能力较弱。
[0006] 基于学习的超分辨率技术基本思想是首先选定一组高分辨率和低分辨率训练图 像样本集，然后通过学习策略在高低分辨率集合上建立一种对应关系，然后利用学习到的 这种对应关系作为先验信息对输入的低分辨率图像（或图像块）进行超分辨率重建，从而 可以得到质量更高的高分辨率图像。由于这种方法借助训练样本集可以较好地恢复高分辨 率图像，从而受到国内外研宄者的普遍关注。如2000年，三菱技术研宄实验院的Freeman 通过运用马尔可夫网络模型将样本图像库中的高、低分辨率图像块学习训练成一一对应的 关系，从而估计出输入低分辨率图像的高频细节信息。2004年，Chang等人受流行学习的启 发，假设高低分辨率图像块之间具有相似的局部几何流形，对于输入的低分辨率图像块，寻 找它在低维流形中的K近邻关系，并根据这种关系得到对应的加权系数，最后利用得到的 加权系数对其高维流形进行估计，从而估计出高分辨率图像。2008年，YangJianchao等 人提出了基于稀疏表示的图像超分辨率重建方法，假设高、低分辨率图像块在超完备字典 对下具有相同的稀疏表示，通过从样本集中训练得到的高低分辨率字典对输入低分辨率图 像进行超分辨率重建。相比于传统的方法，基于学习尤其是稀疏表示的方法既可以解决传 统超分辨率重建方法中先验信息缺乏的问题，又可以通过训练集对图像内容与结构进行理 解，求解恢复出图像中没有的高频细节信息，使得这种方法在图像超分辨率技术研宄中领 域具有的前景。
[0007] 然而，传统的基于稀疏表示的图像超分辨率技术多采用由人工设计的特征提取算 子（如梯度或拉普拉斯算子等）对图像（块）进行特征提取，这种方法的优点在于所提取的 特征能够描述图像的结构、边缘特征，缺点在于一方面由人工设计的特征提取算子所提取 的特征固定单一，另一方面这种方法容易造成特征空间维数的增大，直接用于字典训练时， 易出现字典训练难度大、数据过拟合现象，为避免这种现象，往往采用一些数据降维方法 (如PCA方法、流行降维的方法等）降低特征空间的维度，将降维后的特征用于字典训练，由 于人工特征提取和降维方法独立进行，这种方法在一定程度上将损害原特征空间描述图像 的可靠性。
【发明内容】
[0008] 有鉴于此，本发明的目的在于提供一种基于稀疏自编码（SAE)和稀疏表示的超分 辨率方法，使用了基于稀疏自编码（SAE)模型对高、低分辨率图像进行特征提取，实现对原 始图像特征的压缩表示，将压缩表示的图像特征直接用于高低字典对的训练，利用训练的 字典对可以实现对低分辨率图像进行超分辨率重构。
[0009] 为达到上述目的，本发明提供如下技术方案：
[0010] 一种基于SAE和稀疏表示的图像超分辨率方法，包括以下步骤：步骤一：对原始 训练图像库中的每一张高分分辨率源图像Src_imgH进行下采样，将其缩小到原来的1/R 倍，R为期望的放大倍数，然后通过插值放大，得到失去高频细节信息的图像Interp_imgH, 这样即可得到一系列用于字典训练使用的高、低分辨率图像对[Src_imgHset,Interp_ imHset];步骤二：在训练阶段，对每幅低分辨图像Interp_imgH采用随机采样的方式采集 m个pXp的图像块，并记录每幅图像块中相应采样点在原图像中的位置信息和所有相关的 低分辨率图像采样块；步骤三：在训练阶段，利用高低分辨率图像间的差分方法得到插值 放大过程中丢失的高频细节成分图像，借助低分辨率采样块时记录的采样点位置信息对高 频细节图像进行采样，即可得到与低分辨率图像块相对应反映高频细节成分的高分辨率图 像块；步骤四：在训练阶段，利用深度学习中的稀疏自编码（SAE)模型采用无监督学习的方 式分别对上述每幅图图像中所采集的高、低分辨率图像块进行训练学习，将SAE模型训练 结束后的输入层与隐含层之间的权重特征作为对应图像所提取的特征，将所有图像的特征 组成联合矩阵，得到用于字典训练的所有低分辨率图像特征\和所有高分辨率图像特征 Xh;步骤五：在训练阶段，利用KSVD算法对由SAE提取的所有低分辨率图像特征进行字典 训练，得到描述低分辨率图像的低分辨字典DL和相关的稀疏表达系数矩阵A，通过结合稀 疏表达系数矩阵A和高分辨率图像特征Xh，估计出对应的高分辨率字典Dh=XhAT (AA，、 步骤六：在重构测试阶段，将低分辨率测试输入图像插值放大到指定倍数R，得到待重建的 插值低分辨率图像，运用压缩感知中正交匹配跟踪算法（OMP)算法计算该插值低分辨率图 像在字典队下的稀疏表达矩阵B，这样利用DhB可以估计图像插值过程中丢失的高频细节 成分，将该成分与低分辨率插值图像进行叠加融合即可估计重构出所需完整的高分辨率图 像。
[0011] 进一步，在步骤一中，利用图像上采样和下采样过程中保持采样因子相同可以从 原始高分辨率训练集中得到失去高频细节信息的低分辨率图像，建立存在对应关系的高、 低分辨率图像训练集。
[0012] 进一步，在步骤二中，在高、低分辨率图像训练集中，通过随机采样方式对每幅低 分辨率图像进行处理，获取大量的由图像中不同位置点处像素组成的低分辨率图像块，为 提取高分辨率细节图像块提供相应的采样点的位置数据。
[0013] 进一步，在步骤三中，通过获取低分辨率图像块时记录的采样点位置信息，在高分 辨率细节图像中提取对应的高分辨率图像块。
[00