基于压缩感知的红外行人图像超分辨率重建方法及系统与流程

本发明涉及图像超分辨率重建领域，尤其涉及一种基于压缩感知的红外行人图像超分辨率重建方法及系统。

背景技术：

红外成像技术具有抗干扰和识别能力强的特点，在视频监控、医学检测和工业检测领域有着广泛和深入的应用。当前红外成像应用中，大多数采用小面阵的红外探测器采集图像。然而，随着应用范围的不断扩展，小面阵红外成像设备采集到的低分辨率红外图像难以满足日益增长的应用需求。因此，提高红外成像的图像分辨率具有十分重要的现实意义。采用大面阵的红外探测器是最直接有效的方法，由于技术水平的限制，国内的大面阵探测器性能与国外的存在一定的差距，国外的往往价格高昂，出于设备成本的考虑，难以广泛采用；通过图像处理的方法提高图像的分辨率是另一种手段，能够在现有设备条件下通过软件算法的方式提升图像质量。过去十年，压缩感知理论在图像处理领域的应用取得了许多瞩目的成果。借鉴压缩感知先进理论的图像超分辨率算法，可以显著提高图像的质量，具有十分重要的现实意义。

图像的超分辨率重建技术按照原理划分可分为三类：基于插值、基于重构和基于学习的方法。基于插值的方法实现简单，运算速度快，但是其难以恢复成像时丢失的高频信息，因而成像质量较差；基于重构的方法是对相同场景的多幅低分辨率图像在空间域或者变换域重建出高分辨率图像，该类方法对图像采集有一定要求，其应用具有一定得局限性；而基于学习的超分辨重建算法是通过训练集获取低分辨率图像与高分辨率图像之间的映射关系，在已知低分辩图像的条件下，利用该映射关系求解最优值，即高分辨率图像。

压缩感知理论给出了从低维信号高精度地恢复出原始的高维信号的方法。将压缩感知与图像超分辨相结合可以高质量的、高效的从低分辩图像重建出高分辨率图像，实现利用现有红外成像设备，获取高分辨行人图像的目标。

技术实现要素：

本发明要解决的技术问题在于针对现有红外成像设备成像分辨率低的问题，提供一种基于压缩感知的超分辨率重建方法，将采集到的低分辨率红外行人图像重建成为高分辨图像。

本发明解决其技术问题所采用的技术方案是：

提供一种基于压缩感知的红外行人图像超分辨率重建方法，包括以下步骤：

s1、训练样本的收集和预处理，将高分辨率和低分辨率两个红外探测器相邻放置面对同一场景，采集相同场景下高低分辨率两种类型图像，低分辨率图像利用线性插值放大至与高分辨图像相同大小，然后将图像分割成图像块，分别构建高低分辨率字典的训练样本集；

s2、高分辨率字典与低分辨率字典的训练，提取图像特征，使用相同的稀疏编码算法来对高、低分辨率图像块的特征进行训练，获得高、低分辨率字典，使得高分辨率图像块和低分辨率图像块在各自对应字典的表征下具有相同的稀疏表示；

s3、对输入的低分辨率红外行人图像提取特征，在低分辨率字典表征下获得图像的稀疏表示；

s4、通过步骤s3得到的稀疏表征和高分辨率字典进行重建，得到高分辨率图像。

接上述技术方案，所述高分辨率为640×512，低分辨率为320×256。

接上述技术方案，步骤s1具体为：

s101、架设两台红外探测器，相邻放置面对同一场景，一台为高分辨率探测器，另一台为低分辨率探测器，同时采集视频图像；

s102、利用线性插值算法，将低分辨率红外探测器采集的视频图像扩展成高分辨率的视频图像；

s103、两组视频图像中，找出相同场景下同一时刻的图像帧，组成图像对；对于每一个图像对，分别对两副图像进行9×9的图像分块操作；高分辨率图像块组成高分辨字典训练样本集，而低分辨率图像块组成低分辨率字典训练样本集。

接上述技术方案，步骤s2中具体为：

s201、高分辨率字典dh和低分辨率字典dl分别通过以下公式训练得到：

式中，x^h和y^l分别是高分辨率样本集和低分辨率样本集；

s202、在训练字典过程中，使用相同的稀疏编码算法来对s103中的图像对进行同时训练，这一过程由下述公式描述：

其中，n和m分别为样本库建立过程中高、低分辨率图像块向量的维数。

接上述技术方案，步骤s3具体为：

s301、将低分辨率图像i1插值放大至期望得到的高分辨率图像相同大小，然后将放大后的图像进行分块构成低分辨率图像块；

s302、获得的低分辨率图像块求解其在低分辩字典表征下的稀疏表示向量α，该稀疏表示向量为对应高分辨率图像块对应的稀疏表示向量。

接上述技术方案，步骤s4具体为：

s401、由s302得到的图像块稀疏表示向量α和s201训练获得的高分辨率字典dh，重构出高分辨率图像块，计算公式为：dhα；

s402、利用计算得到的高分辨率图像块，拼接成完整的图像；并对图像块之间的边界做图像的平滑处理。

本发明还提供了一种基于压缩感知的红外行人图像超分辨率重建系统，包括：

训练样本的收集和预处理模块，用于将高分辨率和低分辨率两个红外探测器相邻放置面对同一场景，采集相同场景下高低分辨率两种类型图像，低分辨率图像利用线性插值放大至与高分辨图像相同大小，然后将图像分割成图像块，分别构建高低分辨率字典的训练样本集；

高分辨率字典与低分辨率字典的训练模块，用于提取图像特征，使用相同的稀疏编码算法来对高、低分辨率图像块的特征进行训练，获得高、低分辨率字典，使得高分辨率图像块和低分辨率图像块在各自对应字典的表征下具有相同的稀疏表示；

稀疏表示模块，用于对输入的低分辨率红外行人图像提取特征，在低分辨率字典表征下获得图像的稀疏表示；

重建模块，用于通过得到的图像的稀疏表示和高分辨率字典进行重建，得到高分辨率图像。

接上述技术方案，所述训练样本的收集和预处理模块具体用于：

通过架设的两台红外探测器同时采集视频图像，两台红外探测器相邻放置面对同一场景，一台为高分辨率探测器，另一台为低分辨率探测器；

利用线性插值算法，将低分辨率红外探测器采集的视频图像扩展成高分辨率的视频图像；

两组视频图像中，找出相同场景下同一时刻的图像帧，组成图像对；对于每一个图像对，分别对两副图像进行9×9的图像分块操作；高分辨率图像块组成高分辨字典训练样本集，而低分辨率图像块组成低分辨率字典训练样本集。

接上述技术方案，所述高分辨率字典与低分辨率字典的训练模块具体用于：

通过以下公式训练得到高分辨率字典dh和低分辨率字典dl：

式中，x^h和y^l分别是高分辨率样本集和低分辨率样本集；

在训练字典过程中，使用相同的稀疏编码算法来对获得的图像对进行同时训练，这一过程由下述公式描述：

其中，n和m分别为样本库建立过程中高、低分辨率图像块向量的维数。

接上述技术方案，所述稀疏表示模块具体用于：

将低分辨率图像i1插值放大至期望得到的高分辨率图像相同大小，然后将放大后的图像进行分块构成低分辨率图像块；

获得的低分辨率图像块求解其在低分辩字典表征下的稀疏表示向量α，该稀疏表示向量为对应高分辨率图像块对应的稀疏表示向量；

所述重建模块具体用于：

由得到的图像块稀疏表示向量α和训练获得的高分辨率字典dh，重构出高分辨率图像块，计算公式为：dhα；

利用计算得到的高分辨率图像块，拼接成完整的图像；并对图像块之间的边界做图像的平滑处理。

本发明产生的有益效果是：本发明将压缩感知理论结合到红外行人图像的处理中，实现图像的超分辨重构功能。基于该理论，采集高、低分辨率红外行人图像构建图像块样本集用于训练高、低分辨率字典，相同目标在高、低分辨率字典下具有相同的稀疏表示系数。因此，采用训练好的字典，通过低分辨率图像求解其在低分辩字典下的表示系数，再利用高分辨字典就能重构出对应的高分辨图像。本发明重建的图像细节较为丰富，计算效率高，可作为图像后处理算法在当前红外监控设备中稳定运行，提升当前设备采集到的图像的分辨率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明基于压缩感知的红外行人图像超分辨率重建方法流程图；

图2是本发明实施例中高分辨图像块的示例图；

图3是本发明实施例基于压缩感知的红外行人图像超分辨率重建系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明基于压缩感知的红外行人图像超分辨率重建方法首先对相同场景采集图像，利用高、低分辨率图像对构建高、低分辨率样本集，用于训练出高、低分辨率字典。训练中将首先将图像进行分块，利用目标检测算法对图像块进行检测，保证图像块中检测出完整的或是部分的行人目标。高、低分辨率图像中对应位置的图像块在高、低分辨率字典的表征下，具有相同的稀疏表示系数。因此，高分辨的重建过程为，将低分辩图像利用低分辨率字典求解稀疏表示系数，通过该系数与高分辨字典重建出高分辨图像。

本发明实例提供了一种基于压缩感知的红外行人图像超分辨率重建方法，方法流程图见图1，详述见下文：

s01，训练样本的收集和预处理，将高分辨率(640×512)和低分辨率(320×256)两个红外探测器相邻放置面对同一场景，采集相同场景下高低分辨率两种类型图像，低分辨率图像利用线性插值放大至与高分辨图像相同大小(640×512)，然后将图像分割成图像块分别构建高低分辨率字典的训练样本集；

进一步地，本发明的步骤s01中，所采用的训练样本的收集和预处理的方法具体为：

s101，架设两台红外探测器，相邻放置面对同一场景，一台为高分辨率(640×512)探测器，另一台为低分辨率(320×256)探测器，同时采集红外行人视频图像。

s102，利用线性插值算法，将低分辨率红外探测器采集的视频图像扩展成分辨率为640×512的视频图像。

s103，两组视频图像中，筛选出包含行人的红外视频数据，找出相同场景下同一时刻的图像帧，组成图像对。然后采用sift算子将低分辨率图像与高分辨图像进行图像配准。对于每一个图像对，分别对两副图像进行9×9的图像分块操作，经过经验分析，该分块方法能够保证高分辨图像和低分辨率图像下的每一个图像块都包含有行人的信息。高分辨率图像块组成高分辨字典训练样本集，而低分辨率图像块组成低分辨率字典训练样本集。训练样本集数量越大，构建的字典就越为精确，此外，训练样本还需要尽可能的广泛收集各种类型的红外行人图像，样本间相似度越小，样本越丰富，算法的应用范围就能更为广阔。

s02，高分辨率字典与低分辨率字典的训练，首先提取图像特征，使用相同的稀疏编码算法来对高、低分辨率图像块的特征进行训练，获得高、低分辨率字典，使得高分辨率图像块和低分辨率图像块在各自对应字典的表征下具有相同的稀疏表示；

进一步地，本发明的步骤s02中,高分辨率字典与低分辨率字典的训练方法具体为：

s201高分辨率字典dh和低分辨率字典dl分别通过以下公式训练得到：

式中，x^h和y^l分别是高分辨率样本集和低分辨率样本集，λ是正则化参数，‖·‖1表示矩阵的1阶范数。

s202在训练字典过程中，为了使相同目标不同分辨率的图像具有一致的稀疏表示稀疏，需要使用相同的稀疏编码算法来对s103中的图像对进行同时训练，这一过程由下述公式描述：

其中，n和m分别为样本库建立过程中高、低分辨率图像块向量的维数。

构造字典我们采用k阶奇异值分解算法，即k-svd算法。k-svd的算法包含三个步骤：随机初始化字典d；固定字典，求取每个样本的稀疏编码；逐列更新字典，并更新对应的非零编码。

s03，对输入的低分辨率图像提取特征，在低分辨率字典表征下获得图像的稀疏表示；

进一步地，本发明的步骤s03中低分辨率图像稀疏表示的方法具体为：

s301，将低分辨率图像i1插值放大至期望得到的高分辨率图像相同大小，得到图像xl，然后将放大后的图像进行分块构成低分辨率图像块{xl}。

s302，获得的低分辨率图像块求解其在低分辩字典表征下的稀疏表示向量α，该向量即为对应高分辨率图像块对应的稀疏表示向量。

通过以下公式求解稀疏表示系数α：

f为高通滤波器，用于提取图像块的一阶和二阶梯度。求解上述公式即可得到图像块xl在低分辩字典dl下的稀疏表示系数α。

s04，高分辨率图像通过前一步得到的稀疏表征和高分辨率字典重建。

进一步地，本发明的步骤s4中高分辨率图像重构的方法具体为：

s401,由s302得到的图像块稀疏表示向量α和s201训练获得的高分辨率字典dh，重构出高分辨率图像块，计算公式为：

xh＝dhα

s402,利用计算得到的高分辨率图像块{xh}，拼接成完整的图像。此外，为了使得图像块之间保持连续和相容，图像块之间的边界还需要做图像的平滑处理。

为了实现上述实施例的方法，本发明实施例还提供了基于压缩感知的红外行人图像超分辨率重建系统，如图3所示，具体包括：

训练样本的收集和预处理模块，用于将高分辨率和低分辨率两个红外探测器相邻放置面对同一场景，采集相同场景下高低分辨率两种类型图像，低分辨率图像利用线性插值放大至与高分辨图像相同大小，然后将图像分割成图像块，分别构建高低分辨率字典的训练样本集；

高分辨率字典与低分辨率字典的训练模块，用于提取图像特征，使用相同的稀疏编码算法来对高、低分辨率图像块的特征进行训练，获得高、低分辨率字典，使得高分辨率图像块和低分辨率图像块在各自对应字典的表征下具有相同的稀疏表示；

稀疏表示模块，用于对输入的低分辨率红外行人图像提取特征，在低分辨率字典表征下获得图像的稀疏表示；

重建模块，用于通过得到的稀疏表示和高分辨率字典进行重建，得到高分辨率图像。

各个模块的具体实现过程和上述实施例的方法步骤一样，在此不赘述。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。