一种基于ER网络多帧图像去模糊系统及其方法与流程

本发明涉及计算机视觉领域，具体是指一种基于er网络多帧图像去模糊系统及其方法。
背景技术：
：退化图像的复原是计算机视觉领域的一个关键任务，是当前热门的研究问题，从复原方法角度可以分为非盲复原和盲复原，非盲复原已知图像退化的点扩散函数，结合模糊图像和正则化规则进行反解卷积，完全的盲复原算法是在模糊参数和噪声参数都未知的情况下进行图像复原，其输入仅仅只有退化图像，非盲复原需要预知点扩散函数或点扩散函数符合特定的先验分布，所以这类方法难以应用到真实图像的复原，从退化因素角度可以分为运动模糊，抖动模糊,失焦模糊，物理模糊,噪声干扰和大气湍流模糊，如前所述，大气湍流模糊的图像往往受到多种退化因素的影响，同时退化严重，其复原难度是最大的，从输入数据角度可分为单帧复原和多帧复原。多帧复原是输入连续的多帧图像，实现图像的复原，也可以用于视频复原。求取清晰图像是一个非适定的反问题，难以直接求取得最优的唯一解，一种直观的方法是通过引入正则化先验，例如tikhonov等，再通过优化算法求解方程得到清晰图像，这类方法在处理严重退化图像的复原问题时，存在模型过度简化，正则化规则难以确定的问题，使得算法稳定性差，甚至发生完全失败的现象，近年来，利用深度卷积神经网络(cnn)强大的表示学习能力进行图像复原的工作日益增多并取得了显著的效果，这类基于学习的方法实现图像复原，存在需要大量训练数据，模型泛化能力和可解释性差等问题，融合两者的优点进行退化图像复原也是解决问题的一种思路，一种方法是利用深度神经网络学习图像的先验，然后用于传统方法求解，另外一种方法是利用传统方法复原后利用深度神经网络增强图像的细节信息。技术实现要素：基于以上问题，本发明提供了一种基于er网络多帧图像去模糊系统及其方法，解决了大气湍流退化图像具有随机性，多帧之间具有较为明显的互补信息，同时多帧之间也具有随机的差异性问题。为解决以上技术问题，本发明采用的技术方案如下：一种基于er网络多帧图像去模糊系统，包括接受指令模块，用于接收用户创建的任务指令；指令生成模块，用于用户创建任务指令；采集模块，用于接收用户上传的模糊目标图像；清晰化处理模块，用于将用户上传的模糊目标图像进行清晰化处理。进一步，所述清晰化处理模块包括退化模型，用于生成第一退化图像和第一退化图像序列；ernet神经网络模型，包括多帧互补信息提取网络、信息精细化网络和时空注意力机制，用于将第一退化图像进行排序，并生成新的第二退化序列；退化特征抽取器，包含第一2d卷积层、第一最大池化层和第一flatten层，用于输出退化特征向量；清晰特征抽取器，包含第二2d卷积层、第二最大池化层和第二flatten层，用于输出清晰特征向量；退化图像生成器，用于输入退化特征向量后输出第二退化图像；清晰图像生成器，用于输入清晰特征向量后输出与第二退化图像相对应的清晰图像；多帧互补信息提取网络，包括第三3d卷积层、第四3d卷积层、3d转置卷积层、第三最大池化层和第一残差分解块，用于提取输入退化图像序列各帧的有效信息，并将有效信息融合成单通道特征图进行输出；时空注意力机制，包括3d全局平局池化、3d全局最大池化、多个全连接层、第二残差分解块、第五3d卷积层、2d全局平局池化、2d全局最大池化和第三2d卷积层，用于加强输入退化图像序列的有效信息，并输出单通道特征图；信息精细化网络，包括编码器、解码器、第三2d卷积层和第四2d卷积层，所述编码器包括4个第三残差分解块和相对应的4个下采样层，所述解码器包括4个上采样层和相对应的4个第四残差分解块，用于对多帧互补信息提取网络和时空注意力机制的输出进行修正。一种基于er网络多帧图像去模糊方法，采用上述一种基于er网络多帧图像去模糊系统，包括步骤一、退化模型的构建，包括如下步骤：s11、构建大气湍流特性的点扩散函数psf，公式如下：psf＝exp{-3.44(αfu/r)5/3}；其中，u表示频率，(u,v)表示单位脉冲，α表示波长，f表示光学系统的焦距，r表示弗里德参数；s12、退化模型表示为：y＝t(x*psf+n)；其中，n表示泊松噪声，*表示卷积操作，+表示求和操作，所述泊松噪声n受分布参数λ影响；步骤二、由选取的若干张空间目标清晰图像组成仿真数据集；步骤三、步骤二中的仿真数据集输入退化模型中生成供训练的第一退化图像和第一退化图像序列；步骤四、将第一退化图像输入ernet神经网络模型进行第一退化图像序列的排序，并生成第二图像序列，并对ernet神经网络模型的排序结果进行评估；步骤五、将第二退化图像序列输入多帧互补信息提取网络和时空注意力机制，所述多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据；步骤六，用户输入模糊目标图像，生成清晰目标图像。进一步，所述步骤三中，第一退化图像的生成方法具体包括s31、在预设的固定退化范围内随机生成多组退化干扰，其中，预设退化范围为(rx,ry)、(λx,λy)，r在(rx,ry)中选取，λ在(λx,λy)中选取；s32、预设输入的退化图像序列共有k帧，即在退化范围内随机生成k个psf和噪声；s33、将生成的k个psf分别与空间目标清晰图像卷积得到对应的k帧空间目标模糊图像，将各帧空间目标模糊图像与对应的噪声相加，生成第一退化图像，并输出第一退化图像序列。进一步，所述步骤四中，将单帧的第一退化图像输入到ernet神经网络模型，第一退化图像先后经过第一2d卷积层、第一最大池化层和第一flatten层，输出退化特征向量，将退化特征向量输入退化图像生成器，输出第二退化图像；第一退化图像先后经过第二2d卷积层、第二最大池化层和第二flatten层，输出清晰特征向量，将清晰特征向量输入清晰图像生成器，输出与第二退化图像相对应的清晰图像，最终生成第二图像序列。进一步，所述步骤四中，k组第一退化图像序列逐帧输入到ernet神经网络模型，得到退化特征向量组dvec和清晰特征向量组svec，预设每组输入的退化图像序列共有l帧，用表示第k个退化特征向量组的第i个退化特征向量，用表示第k个清晰特征向量组的第j个清晰特征向量，其中，0＜k＜k，因此，每组清晰特征向量的平局值作为清晰度指标，公式为：其中，sveck表示第k个清晰特征向量组的平均值，将退化特征向量组中的每个退化特征向量与sveck求欧几里得距离公式为：其中，l2表示欧几里得距离函数，将输入第一退化图像序列的顺序记为rankinp，将ernet神经网络模型的排序结果记为rankoutp，使用加权肯德尔距离衡量输入第一退化图像序列的顺序与ernet神经网络模型的排序结果之间的差距，将加权肯德尔距离的平均值作为ernet神经网络模型的评估结果，评估结果记为mrn，公式为：其中，τ为加权肯德尔距离函数。进一步，多帧互补信息提取网络由卷积核为f×1×1的第三3d卷积层和卷积核为1×k×k的第四3d卷积层以残差的方式组合而成，所述卷积核为f×1×1的第三3d卷积层进行时间域特征学习，所述卷积核为1×k×k的第四3d卷积层进行空域特性的学习。进一步，将第二退化图像序列作为输入，输入到多帧互补信息提取网络，在编码时，图像特征每经过一个第一残差分解块会被第三最大池化层进行一次下采样，在解码时，图像特征先经过一个3d转置卷积层进行上采样，然后输入到第一残差分解块中，第三3d卷积层对输入的第二退化图像序列进行像素级修正，第四3d卷积层对最后一个第一残差分解块的特征进行融合并输出2d的单通道特征图。进一步，时空注意力机制的过程包括s51、将第二退化图像序列作为原始特征输入3d全局平局池化和3d全局最大池化，得到第一特征向量和第二特征向量，将第一特征向量和第二特征向量分别传入不同的全连接层，将两个不同的全连接层的输出相加并与多帧的原始特征相乘，得到多帧注意力特征；s52、将第二退化图像序列作为原始特征输入2d全局平局池化和2d全局最大池化，得到第一一维向量和第二一维向量，将第一一维向量和第二一维向量分别传入不同的全连接层，将两个不同的全连接层的输出相加并与多帧注意力特征相乘，得到通道注意力特征；s53、沿着空间维对通道注意力特征进行取均值与取最大值操作得到两个单通道特征图分别为空间均值图和空间最大值图；s54、连接空间均值图和空间最大值图并进行2d卷积与通道注意力特征相乘得到空间注意图。进一步，所述多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据，信息精细化网络在编码时，图像特征每经过一个第三残差分解块就会进入相对应的下采样层中，解码时，图像特征每经过一个上采样层就会进入相对应的第四残差分解块中，第三2d卷积层和第四2d卷积层的卷积核都为(1,1)，用来对输入的图像特征做修正。与现有技术相比，本发明的有益效果是：1.完善的镜像权限管理体系，用户通过授权请求获取授权，经验证成功后的用户才能进行后续操作，确保镜像的分享安全，团队的协作便利；2.用户获得授权后只需将新镜像推送到镜像注册表或镜像仓库，即可更新容器化应用的运行版本。附图说明图1为本发明的流程图；图2为本发明生成第一退化图像序列的流程图；图3为本发明残差连接方式组合的结构图；图4为本发明ernet神经网络模型在32×32patch上的复原效果图；图5为本发明与5种基线方法进行实验对比的图像复原效果图；图6为本发明与dmphn、aittalaetal、simhetal运动模糊复原效果的对比图一；图7为本发明与dmphn、aittalaetal、simhetal运动模糊复原效果的对比图二。具体实施方式下面结合附图对本发明作进一步的说明。本发明的实施方式包括但不限于下列实施例。本实施例中，一种基于er网络多帧图像去模糊系统，包括接受指令模块，用于接收用户创建的任务指令；指令生成模块，用于用户创建任务指令；采集模块，用于接收用户上传的模糊目标图像；清晰化处理模块，用于将用户上传的模糊目标图像进行清晰化处理。进一步，所述清晰化处理模块包括退化模型，用于生成第一退化图像和第一退化图像序列；ernet神经网络模型，包括多帧互补信息提取网络、信息精细化网络和时空注意力机制，用于将第一退化图像进行排序，并生成新的第二退化序列；退化特征抽取器，包含第一2d卷积层、第一最大池化层和第一flatten层，用于输出退化特征向量；清晰特征抽取器，包含第二2d卷积层、第二最大池化层和第二flatten层，用于输出清晰特征向量；退化图像生成器，用于输入退化特征向量后输出第二退化图像；清晰图像生成器，用于输入清晰特征向量后输出与第二退化图像相对应的清晰图像；多帧互补信息提取网络，包括第三3d卷积层、第四3d卷积层、3d转置卷积层、第三最大池化层和第一残差分解块，用于提取输入退化图像序列各帧的有效信息，并将有效信息融合成单通道特征图进行输出；时空注意力机制，包括3d全局平局池化、3d全局最大池化、多个全连接层、第二残差分解块、第五3d卷积层、2d全局平局池化、2d全局最大池化和第三2d卷积层，用于加强输入退化图像序列的有效信息，并输出单通道特征图；信息精细化网络，包括编码器、解码器、第三2d卷积层和第四2d卷积层，所述编码器包括4个第三残差分解块和相对应的4个下采样层，所述解码器包括4个上采样层和相对应的4个第四残差分解块，用于对多帧互补信息提取网络和时空注意力机制的输出进行修正。一种基于er网络多帧图像去模糊方法，采用上述一种基于er网络多帧图像去模糊系统，包括步骤一、退化模型的构建；大气湍流始终进行着不规则的运动，运动中的物理量是时间和空间的随机变量，需要用统计规律来描述，为此引入了大气湍流结构函数的概念，关于大气湍流的相关工作包括大气湍流影响下光学天文成像的研究、通过模拟kolomogorov相位屏来进行湍流退化的仿真实验等，基于以上的研究与实验，本发明采用了以下具有大气湍流特性的点扩散函数psf，公式如下：psf＝exp{-3.44(αfu/r)5/3}；其中，u表示频率，(u,v)表示单位脉冲，α表示波长，f表示光学系统的焦距，r表示弗里德参数，退化模型表示为：y＝t(x*psf+n)；其中，n表示泊松噪声，*表示卷积操作，+表示求和操作，泊松噪声n受分布参数λ影响，λ可根据实际情况进行人为预设。步骤二、由选取的若干张空间目标清晰图像组成仿真数据集；空间目标清晰图像来自stk卫星工具包，可对卫星的轨道、姿态进行计算，并根据真实的信息计算各空间目标的位置和实际的光照，它还提供了很多空间目标表面的纹理信息和航天模型，因而可以对空间视景进行模拟，本实施例选取了几十种具有代表性的空间目标进行图像采集，最终采集了1200多张空间目标清晰图像组成仿真数据集。步骤三、步骤二中的仿真数据集输入退化模型中生成供训练的第一退化图像和第一退化图像序列；其中，为了更好地模拟不同时刻空间目标清晰图像的随机变化，需要在一个固定的退化范围内随机生成多组退化干扰，因此，首选需要预设一个退化范围，由步骤一可知，造成图像退化的点扩散函数psf和泊松噪声n分别由r和λ决定，在探索r和λ的取值边界时，利用variance和brenner两个无参考图像的质量评估方法，不断地将生成的退化图像与真实的空间目标清晰图像的得分进行比对来调整退化边界，最终，本实施例中预设两个退化范围(rx,ry)、(λx,λy)，综上，如图2所示，第一退化图像序列的生成方法包括：s31、在预设的固定退化范围内随机生成多组退化干扰，r在(rx,ry)中选取，λ在(λx,λy)中选取；s32、预设输入的退化图像序列共有k帧，即在退化范围内随机生成k个psf和噪声；s33、将生成的k个psf分别与空间目标清晰图像卷积得到对应的k帧空间目标模糊图像，将各帧空间目标模糊图像与对应的噪声相加，生成第一退化图像，并输出第一退化图像序列。步骤四、将第一退化图像输入ernet神经网络模型进行第一退化图像序列的排序，并生成第二图像序列，并对ernet神经网络模型的排序结果进行评估；其中，将单帧的第一退化图像输入到ernet神经网络模型时，第一退化图像会经过退化特征抽取器，在其中，第一退化图像在每一个第一2d卷积层之后，图像特征会经过第一最大池化层进行下采样，并在最后一个第一最大池化层后对图形特征进行flatten操作，输出退化特征向量，将退化特征向量输入退化图像生成器，输出与第一退化图像尺寸相同的第二退化图像；同理，第一退化图像会经过清晰特征抽取器，在其中，第一退化图像在每一个第二2d卷积层之后，图像特征会经过第二最大池化层进行下采样，并在最后一个第二最大池化层后对图形特征进行flatten操作，输出清晰特征向量，将清晰特征向量输入清晰图像生成器，输出与第一退化图像尺寸相同的清晰图像，至此，通过ernet神经网络模型生成了第二图像序列，需特别说明的是，退化图像生成器和清晰图像生成器共享参数，可以提高退化特征向量和清晰特征向量的针对性，即让退化特征向量尽可能地学习退化特征，清晰特征向量尽可能地学习清晰特征。另外，将k组有序的第一退化图像序列逐帧输入到ernet神经网络模型后，还需要对ernet神经网络模型的排序结果进行评估，具体方式如下：k组第一退化图像序列逐帧输入到ernet神经网络模型，得到退化特征向量组dvec和清晰特征向量组svec，预设每组输入的退化图像序列共有l帧，用表示第k个退化特征向量组的第i个退化特征向量，用表示第k个清晰特征向量组的第j个清晰特征向量，其中，0＜k＜k，因此，每组清晰特征向量的平局值作为清晰度指标，公式为：其中，sveck表示第k个清晰特征向量组的平均值，将退化特征向量组中的每个退化特征向量与sveck求欧几里得距离公式为：其中，l2表示欧几里得距离函数，越小则表示第k组中第i帧的退化成都越小，反之则表示第k组中第i帧的退化成都越大，将输入第一退化图像序列的顺序记为rankinp，将ernet神经网络模型的排序结果记为rankoutp，使用加权肯德尔距离衡量输入第一退化图像序列的顺序与ernet神经网络模型的排序结果之间的差距，将加权肯德尔距离的平均值作为ernet神经网络模型的评估结果，评估结果记为mrn，公式为：其中，τ为加权肯德尔距离函数，mrn越大，表示ernet神经网络模型的排序结果与输入第一退化图像序列越接近，ernet神经网络模型排序效果好，反之，mrn越小，则表示ernet神经网络模型排序效果差。步骤五、将第二退化图像序列输入多帧互补信息提取网络和时空注意力机制，所述多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据；其中，在多帧互补信息提取网络中，一个f×k×k的3d卷积核会产生f·k2个参数，当k增大时，参数的数量将会指数级地增加，为了即保留3d卷积核的特性又可以减少网络参数的方法，如图3所示，将多帧互补信息提取网络由卷积核为f×1×1的第三3d卷积层和卷积核为1×k×k的第四3d卷积层以残差的方式组合而成，卷积核为f×1×1的第三3d卷积层进行时间域特征学习，卷积核为1×k×k的第四3d卷积层进行空域特性的学习，进行残差分解有如下三个优势：(1)极大的降低了网络的参数量，当卷积核的合数为n，分解后单个3d卷积层的参数里从(f×k2)×n变为(f+k2)×n；(2)f×1×1的第三3d卷积层增加了网络的非线性，有助于提升网络的表达能力；(3)残差的连接方式可以加速网络的训练过程。另外，输入到多帧互补信息提取网络的多帧有效信息之间包含互补信息，需要将各帧的有效信息从退化干扰中提取出来，而3d卷积层具有在多帧有效信息上进行特征学习的特点，可以有效提取各帧的特征信息，基于此，本实施例中，将第二退化图像序列作为输入，输入到多帧互补信息提取网络，在编码时，图像特征每经过一个第一残差分解块会被第三最大池化层进行一次下采样，在解码时，图像特征先经过一个3d转置卷积层进行上采样，然后输入到第一残差分解块中，第三3d卷积层对输入的第二退化图像序列进行像素级修正，第四3d卷积层对最后一个第一残差分解块的特征进行融合并输出2d的单通道特征图。另外，由于输入的多帧有效信息之间具有差异性，针对其中重要的特征需要赋予更高的关注度，需注意的是，由于大气湍流的高随机性，在实际采集的空间目标清晰图像中，有些时刻的帧可能比其他时刻的帧清晰得多，基于此，引入一个时空注意力机制，一方面可以增强输入多帧中重要的特征，另一方面可以利用这类“格外”清晰的空间目标清晰图像的清晰特征，时空注意力机制包含3个部分如下：s51、帧注意过程，将第二退化图像序列作为原始特征输入3d全局平局池化和3d全局最大池化，得到第一特征向量和第二特征向量，将第一特征向量和第二特征向量分别传入不同的全连接层，将两个不同的全连接层的输出相加并与多帧的原始特征相乘，得到多帧注意力特征；s52、通道注意过程，将第二退化图像序列作为原始特征输入2d全局平局池化和2d全局最大池化，得到第一一维向量和第二一维向量，将第一一维向量和第二一维向量分别传入不同的全连接层，将两个不同的全连接层的输出相加并与多帧注意力特征相乘，得到通道注意力特征；s53、空间注意过程，沿着空间维对通道注意力特征进行取均值与取最大值操作得到两个单通道特征图分别为空间均值图和空间最大值图；s54、连接空间均值图和空间最大值图并进行2d卷积与通道注意力特征相乘得到空间注意图。另外，将空间注意图和多帧互补信息提取网络的输出结果的单通道特征图相加，作为信息精细化网络，信息精细化网络在编码时，图像特征每经过一个第三残差分解块就会进入相对应的下采样层中，解码时，图像特征每经过一个上采样层就会进入相对应的第四残差分解块中，第三2d卷积层和第四2d卷积层的卷积核都为(1,1)，用来对输入的图像特征做修正，信息精细化网络的最终输出是一帧尺寸与输入帧相同的复原图像，也是整个系统的最终输出，引入信息精细化网络的原因在于：(1)多帧互补信息提取网络和时空注意力机制在提取信息时，不可避免地会携带一些退化信息，因此需要对输出结果进一步提炼；(2)ernet神经网络模型的排序结果不能保证所有的输入序列都完全有序，需要对排序结果造成的误差进行补偿。步骤六，用户输入模糊目标图像，生成清晰目标图像；本实施例中，对ernet神经网络模型排序效果进行一个实测(为了方便描述，以下所有表中，ernet神经网络模型简称为ranknet、所有网络模型中的残差分解块均统称为rdb、信息精细化网络简称为rn、时空注意力机制简称为stam)，在测试时，按照退化程度从小到大的顺序，生成了1000组第二退化图像序列，预设每组的帧序为{1,2,3,4,5,6,7}，通过步骤四的方法，计算ernet神经网络模型排序效果，此外，还测试variance，brenner，laplacian，tenengrad这四种经典的无参考图像评估方法在这1000组第一退化图像序列上的排序效果，在下表中，展示了五种排序方法下得到的加权肯德尔距离的平均值，具体如下：methodsmrnlaplacian0.0913tenengrad0.1852variance0.6704brenner0.6841ranknet0.7123在下表中，列举了5组输入第一退化图像序列在各排序方法下的输出序列，具体如下：本实施例中，对图形复原效果也进行了一个实测，下表终结了消融性研究的结果，如下所示：variationsmodel1model2model3model4model5rdb√√√√ranknet√√√rn√√stam√psnr25.915625.757726.058026.571726.9423ssim0.93360.92750.93690.94890.9558parameters10.0828m7.4242m7.4242m19.8844m20.1122m通过上表可以看出，多帧互补信息提取网络、时空注意力机制和信息精细化网络在使用了时差分解块后在表达能力上的差距不大，且牺牲了一定的模型性能，但是模型的参数明显更少，可以获得更高的计算效率和潜在的泛化能力，在增加ernet神经网络模型后，整个模型的性能得到了明显的提升，对输入多帧有效信息进行排序可以提高模型的表达能力，说明排序可以减少数据模式的复杂度，提升了网络性能，增加信息精细化网络后，ernet神经网络模型的性能得到了显著提升，说明ernet神经网络模型的表达能力更强，可以提取更好的特征，完成图像重建，时空注意力机制可以有效地提取输入多帧图像特征中的重要特征，对多帧互补信息提取网络提取的图像特征进行了有效补偿，从结果看，同样效果非常明显。图4展示了ernet神经网络模型在32×32patch上的复原效果，从图4中可以看出各帧图像都经历了严重的退化，前7帧图像是经过ernet神经网络模型排序后的结果，可以看出其退化程度越来越严重，经过ernet神经网络模型后，图像中的纹理特征以及结构特征有了很大程度的恢复，需要特别指出的是，由于ernet神经网络模型是一个端到端的结构，因此在实际测试中，输入的帧序列可以是任意大小的图像，在后续的测试中，采用的就是直接将原始的第二退化图像序列输入模型，得到复原的图像。因为空间目标图像主要受噪声和模糊两种退化因素影响，其复原难度较大，为了更好地分析评估算法的性能，选取了当前领域内有代表性的5种基线方法进行实验对比，aittalaetal是将多帧2d图像同时输入到神经网络进行图像复原的方法，simhetal是一种多帧作为输入，每个像素学习自适应核的方法，fastmbd则是传统的多帧去模糊方法，cbdnet是一个能很好复原实际退化图像的方法，dmphn则是一个用于图像去模糊的深度分层栈多块网络。为了在进行对比实验中体现公平性，所有多帧方法使用的都是和ernet神经网络模型一样的测试序列，对于单帧方法，使用最小程度的第一退化图像作为测试数据，即r＝0.01、λ＝35，需要训练的基线方法都采用了作者提供的源代码和参数在相同的训练集上进行了重新训练，下表列出了本发明与其他五种基线方法在测试集上的平均psnr和ssim值，如下所示：methodpsnrssimdmphn25.40060.9308cbdnet25.29540.9226fastmbd17.20040.7125simhetal26.27360.9456aittalaetal26.03860.9468ranknet26.94230.9558从上表种可以看出，在重度退化情况下，传统的基于正则化构造目标函数，通过迭代优化求解的方法，很难获得好的效果，几乎完全失败，simhetal方法构造了分层的网络模型，同时每个像素学习自适应模糊核，能够部分解决模糊不一致的问题，其获得了排名第2的结果，aittalaetal方法通过最大池化操作，提取多帧之间的显著信息，也取得了较好的效果，尤其是ssim(结构相似性)表现较为突出，dmphn和cbdnet由于网络模型表达能力有限，没有充分利用帧间互补信息，结果要差一些，在图5中我们列出了测试集中的一些图像的复原效果，如图5所示，本发明不仅能复原出更清晰的图像，还能复原出更丰富的纹理信息。本实施例中，还将ernet神经网络模型应用在了运动模糊重建上，结果表明，运动模糊的重建难度小于湍流模糊退化的重建，实验结果表明本发明同样能够很好地应用运动模糊复原，本实施例中在urban100、set5、set14以及t91四个数据集上模拟了不同角度和模糊程度的退化图像，不同的角度可以模拟物体运动的方向或者相机抖动的方向，不同的模糊程度可以模拟运动模糊的退化程度，实验过程中，运动模糊的角度范围为40°到50°，模糊核尺寸为15到30个像素，并在在两个范围内随机生成角度与模糊核对清晰图像进行退化来生成训练数据，选取了dmphn、aittalaetal.和simhetal三种新颖的复原方法来进行对比，这三类方法都表明在运动模糊上获得了基线水平的性能，使用的测试集为bsd100，如下表所示：dmphnaittalasimhranknetssim0.89480.91580.93150.9460psnr25.132126.518327.358729.4329上表结合图6-图7，可以看出本发明在去运动模糊上显著优于对比的方法，相比排名第2的方法，本发明在psnr上提高了近8％。如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。当前第1页12