一种基于深度残差网络的压缩感知重建方法和系统与流程

本发明涉及数字成像技术领域，特别涉及一种基于深度残差网络的压缩感知重建方法和系统。

背景技术：

在传统的数字成像技术中，根据香农采样定理(若想从采集的数字信号中还原得到原始的模拟信号，信号的采样频率必须大于等于信号最高频率的两倍)，需要先对场景或信号进行完全采样，再进行压缩从而便于信号的传输和存储，如图1所示，这样先采样后压缩的信号处理方式带来了大量的采样和计算上的浪费。

压缩感知理论作为一种全新的采样理论，于2006年由candes等人提出，其思想核心在于利用测量矩阵对具有稀疏属性或是可压缩属性的信号进行少量非自适应的测量即可以较高的概率完美重建该稀疏信号。具体说来如图2所示，将原来的采样和压缩两步融为一体，通过压缩感知设备一次性完成，之后在“信号重构”步骤中的算法来实现重建。这样一来，原先传统方法中在采用过程需要的大量空间就被节省出来了，同时简化了信号采集步骤，提升信号的采集效率。

压缩感知理论的数学模型表示为：

y＝φx式(1)

其中x表示长度为n的一维信号，φ具体代表φ(m×n)的测量矩阵，y是采集所得的测量向量，维度为m(m＜＜n)。

由于x的维度远大于y，所以式(1)是一个欠定方程，目前常用的求解算法主要有两类：基于贪婪算法和基于最优化的重建算法。

(1)基于贪婪算法的重建算法，是在每次迭代中从事先构造的冗余字典里选择一个或几个和观测值有最大相关的原子，按照一定的准则选取之后，最后会找到一组和观测值最为匹配同时也是最稀疏的原子组合，接着完成信号的重建。较为经典的算法是匹配追踪算法(matchingpursuit,mp)，其每一次迭代是在冗余字典里寻找和剩余分量最相近的那个原子做匹配，在其基础上的改进算法还有正交匹配追踪算法(omp)、romp、分段追踪算法stomp等。

(2)基于最优化的重建算法，是将欠定的重建方程视为一个有约束的最优化问题，然后通过不同的优化算法来实现重构，多为基于l1凸优化问题来求解。比如基追踪算法bp(basispursuit)，在每次迭代过程中不断寻找最匹配的那个原子；还有迭代收缩ist算法(iterativeshrinkagethreshold)，仅需要确定阈值和步长；梯度追踪算法gpsr(gradientpursuitforsparsereconstruction)用于稀疏重建，将无约束的l1问题转为边界约束的二次问题，再用梯度投影迭代来求解。

除了上述的两大类方法之外，目前较好的传统的压缩感知重建算法还有利用全变分(totalvariation,tv)正则的算法，较有代表性的是tval3算法，另外还有引入非局部图像块的相似性约束的算法nlr-cs等。

不同于传统算法，近来有研究者提出用深度学习的方法融入到压缩感知重建算法中，比如2016年kulkauni的工作，其针对测量值直接用深度神经网络所学习得到的模型进行重建，得到的图像质量超过了传统算法的重建结果。其具体训练网络的结构如图3所示，由一层全连接网络及6层卷积网络构成。

对于传统的压缩感知重建算法，主要存在重建效率低，耗时长，同时重建的图像质量在采样率较低的时候比较差；基于深度学习的reconnet网络对图像质量的提升也有限，而且卷积神经网络随着网络层数的增加错误率也会上升，不适于用在压缩感知重建任务中。

技术实现要素：

本发明针对压缩感知重建技术中目前存在的重建效率低以及重建质量差的问题，提出了一种基于深度残差网络的压缩感知重建方法，其中包括：

步骤1、获取原始图像信号作为训练数据，并通过尺度变换和分割处理将该训练数据分割为多个图像块；

步骤2、根据每个该图像块的亮度分量和压缩感知理论模型，获得该亮度分量对应的测量值；

步骤3、通过全连接网络对该测量值进行线性映射处理，得到初步重建结果；

步骤4、将该初步重建结果输入深度残差网络，训练得到估计残差值；

步骤5、将该估计残差值与该初步重建结果进行融合，生成重建信号。

该基于深度残差网络的压缩感知重建方法，其中步骤1中该尺度变换包括，对该训练数据进行0.75、1和1.5倍缩放，生成缩放数据；该分割处理包括，根据预设步长和预设图像尺寸对该缩放数据进行分割，生成多个该图像块。

该基于深度残差网络的压缩感知重建方法，其中步骤4中该深度残差网络包括多个残差学习模块，每个该残差学习模块具有多个卷积层，每个该卷积层后设有修正线性单元。

该基于深度残差网络的压缩感知重建方法，其中该步骤5还包括：根据该重建信号和该亮度分量，建立损失函数，并根据该损失函数对该深度残差网络中参数进行更新。

该基于深度残差网络的压缩感知重建方法，其中该损失函数采用均方误差算法来衡量该重建信号和该亮度分量的平均误差。

本发明还提出了一种基于深度残差网络的压缩感知重建系统，其中包括：

分割模块，用于获取原始图像信号作为训练数据，并通过尺度变换和分割处理将该训练数据分割为多个图像块；

线性映射模块，用于根据每个该图像块的亮度分量和压缩感知理论模型，获得该亮度分量对应的测量值，并通过全连接网络对该测量值进行线性映射处理，得到初步重建结果；

深度残差网络训练模块，用于将该初步重建结果输入深度残差网络，训练得到估计残差值；

融合模块，用于将该估计残差值与该初步重建结果进行融合，生成重建信号。

该基于深度残差网络的压缩感知重建系统，其中该尺度变换包括，对该训练数据进行0.75、1和1.5倍缩放，生成缩放数据；该分割处理包括，根据预设步长和预设图像尺寸对该缩放数据进行分割，生成多个该图像块。

该基于深度残差网络的压缩感知重建系统，其中该深度残差网络包括多个残差学习模块，每个该残差学习模块具有多个卷积层，每个该卷积层后设有修正线性单元。

该基于深度残差网络的压缩感知重建系统，其中该融合模块还包括：根据该重建信号和该亮度分量，建立损失函数，并根据该损失函数对该深度残差网络中参数进行更新。

该基于深度残差网络的压缩感知重建系统，其中该损失函数采用均方误差算法来衡量该重建信号和该亮度分量的平均误差。

由此本发明具有以下技术进步：

1、本发明的算法中采用深度残差网络，针对的是压缩感知测量值y的重建，通过一层全连接网络从测量值得到初步重建结果，可实现对测量值到图像的还原重建；

2、在初步重建结果的基础上，使用深度残差网络实现了对结果质量的提升和优化，尤其用到深度残差网络仅学习与目标之间的差异这一特点，有效地改进了原先卷积网络的不足，通过大量的训练，显著提升图像的质量；

附图说明

图1为根据香农采样定理对信号进行采集与恢复的流程示意图；

图2为根据压缩感知理论对信号进行采集与恢复的流程示意图；

图3为reconnet网络结构示意图；

图4为本发明预训练结果对比表格图；

图5为本发明与其它重建算法的耗时对比表格图；

图6为本发明与其它重建算法的结果对比表格图；

图7为本发明残差重建网络结构图；

图8为本发明残差重建网络训练流程图；

图9为本发明残差重建网络的融合示意图；

图10a、图10b和图10c为本发明与现有技术的重建结果对比图。

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

根据压缩感知理论模型y＝φx，其中x是信号，本发明中指的是图像，φ是测量矩阵，图像x经过φ的运算，也就是测量得到测量值y，本发明就是利用测量值y来重新恢复图像x。

本发明的重建算法网络结构图如图7所示，具体训练过程分为预训练和深度残差网络训练两部分，下面具体介绍流程。具体实施流程如图8所示

步骤1：获取原始图像信号作为训练数据，并通过尺度变换和分割处理将该训练数据分割为多个图像块。具体来说，步骤1包括获取训练数据，并对训练数据，即所有的训练图像首先按照比例0.75、1和1.5进行尺度变换，再进行分割处理，根据预设步长和预设图像尺寸对该缩放数据进行分割，生成多个该图像块，在本实施例中按照步长14选取33×33大小的图像块，最终共得到86656个图像块，其中变换比例、步长等可根据实际需要进行调整；

步骤2：根据每个该图像块的亮度分量和压缩感知理论模型，获得该亮度分量对应的测量值。对每一个图像块，取其亮度分量作为xi，再由yi＝φxi得到其测量值yi，这里φ为随机高斯矩阵，则(yi,xi)即为残差重建学习网络的输入-输出对；

步骤3：预训练，通过全连接网络对该测量值进行线性映射处理，得到初步重建结果。图7中的线性映射即为预训练，经过线性映射会得到一个初步的图像，以为随后的计算残差提供基础图像。具体包括由图7中第一层全连接网络作为线性映射获得线性映射结果，作为初步重建结果即有：

其中f是为了区分步骤4中的r，表示这一步的f和w跟步骤4的f、w不一样，f是全连接(full-connection)的缩写，w^f是这层全连接网络的参数。线性映射层共1089个神经元，需要将其转为33×33大小的初步重建图，训练得到的网络参数会被保存成一个caffemodel文件；

步骤4：将该初步重建结果输入深度残差网络，训练得到估计残差值。计算残差值，将上一步中作为输入，在第三步中训练的caffemodel基础上继续新的训练，即通过残差网络可得到一个估计残差值即有：

其中r代表残差(residual)的缩写，f^r和w^r是残差网络的映射和参数，残差网络f^r(·)，其中·指代上面公式括号里的内容，共有3个残差学习模块，每个模块包含3个卷积层，其中第一层卷积核大小为11×11，得到64个特征图，第二层卷积核大小1×1，得到32个特征图，第三层卷积层的核大小为7×7，得到1个特征图，这里每一卷积层后需要加修正线性(relu)单元。

步骤5：将该估计残差值与该初步重建结果进行融合，生成重建信号。融合，即将线性映射的结果与计算所得的残差值进行融合，并根据该重建信号和该亮度分量，建立损失函数，并根据该损失函数对该深度残差网络中参数进行更新。如图9所示，进行的计算，最终得到：

其中代表融合以后的结果，步骤3得到步骤4得到d，融合以后便是也就是优化以后的图像。

该损失函数采用均方误差算法来衡量该重建信号和该亮度分量的平均误差，最终的损失函数形式为：

n代表训练集大小，在本实施例中即为86656，也就是所有图像块的平均误差。需要注意的是，损失函数是用于计算输出结果与目标xi之间差别的函数，并不是与输入图像结合，例如后面公式里的

步骤5损失函数会计算出损失(误差)，用于指导步骤3、4进行训练，步骤3、4、5是一个不断迭代的过程，直到损失已经满足训练要求(损失很小)，才会完成训练。

完成上述训练之后，进入测试，本发明对测试集中11幅图进行了测试，得到的结果如图10a、图10b和图10c所示，和reconnet算法做了对比。其中白色方框的内容会在图像右下角或左下角进行放大，便于观察细节差别。mr指采样率，psnr是数值上与原始图像之间的差别，数值越大差别越小，

本发明针对压缩感知的测量值用深度残差网络进行重建恢复，网络的训练分为两步，训练的数据来自reconnet工作中所用到的91幅图片。

①预训练，即用线性映射的方式获得初步的重建结果，如图4所示，图中loss为训练的误差值，越小表明结果越好，psnr是衡量图像质量的指标，值越大说明图像质量越高，从图4的结果来看，仅fc(线性映射层)的初步结果就已经表现优于reconnet，说明该层的重建能力十分有效；

②深度残差网络训练，在预训练的结果上继续训练，所得部分结果如图6所示，这里本发明对比了4个目前已有的较好的压缩感知重建算法，分别是：tval3，nlr-cs，sda和reconnet，前两个算法属于基于迭代计算的传统算法，后两个是基于深度学习的方法，从图6的结果来看，可以发现本发明所提出的网络度残差网络“deepresreconnet”首先在重建图像质量上明显高于其他算法；其次对比基于深度学习的两个算法，该网络在较小采样率下重建结果更为鲁棒；另外，结合图5的重建耗时来看，本发明的方法在速度上全面超过其他算法，其中高出传统算法100倍以上，其中图5内数据单位为秒，图6内数据单位为db。

以下为与上述方法实施例对应的系统实施例，本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效，为了减少重复，这里不再赘述。相应地，本实施系统中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种基于深度残差网络的压缩感知重建系统，其中包括：

分割模块，用于获取原始图像信号作为训练数据，并通过尺度变换和分割处理将该训练数据分割为多个图像块；

线性映射模块，用于根据每个该图像块的亮度分量和压缩感知理论模型，获得该亮度分量对应的测量值，并通过全连接网络对该测量值进行线性映射处理，得到初步重建结果；

深度残差网络训练模块，用于将该初步重建结果输入深度残差网络，训练得到估计残差值；

融合模块，用于将该估计残差值与该初步重建结果进行融合，生成重建信号。

该基于深度残差网络的压缩感知重建系统，其中该尺度变换包括，对该训练数据进行0.75、1和1.5倍缩放，生成缩放数据；该分割处理包括，根据预设步长和预设图像尺寸对该缩放数据进行分割，生成多个该图像块。

该基于深度残差网络的压缩感知重建系统，其中该深度残差网络包括多个残差学习模块，每个该残差学习模块具有多个卷积层，每个该卷积层后设有修正线性单元。

该基于深度残差网络的压缩感知重建系统，其中该融合模块还包括：根据该重建信号和该亮度分量，建立损失函数，并根据该损失函数对该深度残差网络中参数进行更新，其中该损失函数采用均方误差算法来衡量该重建信号和该亮度分量的平均误差。