一种基于ER网络多帧图像去模糊系统及其方法与流程

文档序号:23581842发布日期:2021-01-08 14:11阅读:来源:国知局

技术特征:

1.一种基于er网络多帧图像去模糊系统,其特征在于:包括

接受指令模块,用于接收用户创建的任务指令;

指令生成模块,用于用户创建任务指令;

采集模块,用于接收用户上传的模糊目标图像;

清晰化处理模块,用于将用户上传的模糊目标图像进行清晰化处理。

2.根据权利要求1所述的一种基于er网络多帧图像去模糊系统,其特征在于:所述清晰化处理模块包括

退化模型,用于生成第一退化图像和第一退化图像序列;

ernet神经网络模型,包括多帧互补信息提取网络、信息精细化网络和时空注意力机制,用于将第一退化图像进行排序,并生成新的第二退化序列;

退化特征抽取器,包含第一2d卷积层、第一最大池化层和第一flatten层,用于输出退化特征向量;

清晰特征抽取器,包含第二2d卷积层、第二最大池化层和第二flatten层,用于输出清晰特征向量;

退化图像生成器,用于输入退化特征向量后输出第二退化图像;

清晰图像生成器,用于输入清晰特征向量后输出与第二退化图像相对应的清晰图像;

多帧互补信息提取网络,包括第三3d卷积层、第四3d卷积层、3d转置卷积层、第三最大池化层和第一残差分解块,用于提取输入退化图像序列各帧的有效信息,并将有效信息融合成单通道特征图进行输出;

时空注意力机制,包括3d全局平局池化、3d全局最大池化、多个全连接层、第二残差分解块、第五3d卷积层、2d全局平局池化、2d全局最大池化和第三2d卷积层,用于加强输入退化图像序列的有效信息,并输出单通道特征图;

信息精细化网络,包括编码器、解码器、第三2d卷积层和第四2d卷积层,所述编码器包括4个第三残差分解块和相对应的4个下采样层,所述解码器包括4个上采样层和相对应的4个第四残差分解块,用于对多帧互补信息提取网络和时空注意力机制的输出进行修正。

3.一种基于er网络多帧图像去模糊方法,采用上述一种基于er网络多帧图像去模糊系统,其特征在于:包括

步骤一、退化模型的构建,包括如下步骤:

s11、构建大气湍流特性的点扩散函数psf,公式如下:

psf=exp{-3.44(αfu/r)5/3};

其中,u表示频率,(u,v)表示单位脉冲,α表示波长,f表示光学系统的焦距,r表示弗里德参数;

s12、退化模型表示为:

y=t(x*psf+n);

其中,n表示泊松噪声,*表示卷积操作,+表示求和操作,所述泊松噪声n受分布参数λ影响;

步骤二、由选取的若干张空间目标清晰图像组成仿真数据集;

步骤三、步骤二中的仿真数据集输入退化模型中生成供训练的第一退化图像和第一退化图像序列;

步骤四、将第一退化图像输入ernet神经网络模型进行第一退化图像序列的排序,并生成第二图像序列,并对ernet神经网络模型的排序结果进行评估;

步骤五、将第二退化图像序列输入多帧互补信息提取网络和时空注意力机制,所述多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据;

步骤六,用户输入模糊目标图像,生成清晰目标图像。

4.根据权利要求3所述的一种基于er网络多帧图像去模糊方法,其特征在于:所述步骤三中,第一退化图像的生成方法具体包括

s31、在预设的固定退化范围内随机生成多组退化干扰,其中,预设退化范围为(rx,ry)、(λx,λy),r在(rx,ry)中选取,λ在(λx,λy)中选取;

s32、预设输入的退化图像序列共有k帧,即在退化范围内随机生成k个psf和噪声;

s33、将生成的k个psf分别与空间目标清晰图像卷积得到对应的k帧空间目标模糊图像,将各帧空间目标模糊图像与对应的噪声相加,生成第一退化图像,并输出第一退化图像序列。

5.根据权利要求3所述的一种基于er网络多帧图像去模糊方法,其特征在于:所述步骤四中,将单帧的第一退化图像输入到ernet神经网络模型,第一退化图像先后经过第一2d卷积层、第一最大池化层和第一flatten层,输出退化特征向量,将退化特征向量输入退化图像生成器,输出第二退化图像;第一退化图像先后经过第二2d卷积层、第二最大池化层和第二flatten层,输出清晰特征向量,将清晰特征向量输入清晰图像生成器,输出与第二退化图像相对应的清晰图像,最终生成第二图像序列。

6.根据权利要求4所述的一种基于er网络多帧图像去模糊方法,其特征在于:所述步骤四中,k组第一退化图像序列逐帧输入到ernet神经网络模型,得到退化特征向量组dvec和清晰特征向量组svec,预设每组输入的退化图像序列共有l帧,用表示第k个退化特征向量组的第i个退化特征向量,用表示第k个清晰特征向量组的第j个清晰特征向量,其中,0<k<k,因此,每组清晰特征向量的平局值作为清晰度指标,公式为:

其中,sveck表示第k个清晰特征向量组的平均值,将退化特征向量组中的每个退化特征向量与sveck求欧几里得距离公式为:

其中,l2表示欧几里得距离函数,将输入第一退化图像序列的顺序记为rankinp,将ernet神经网络模型的排序结果记为rankoutp,使用加权肯德尔距离衡量输入第一退化图像序列的顺序与ernet神经网络模型的排序结果之间的差距,将加权肯德尔距离的平均值作为ernet神经网络模型的评估结果,评估结果记为mrn,公式为:

其中,τ为加权肯德尔距离函数。

7.根据权利要求3所述的一种基于er网络多帧图像去模糊方法,其特征在于:多帧互补信息提取网络由卷积核为f×1×1的第三3d卷积层和卷积核为1×k×k的第四3d卷积层以残差的方式组合而成,所述卷积核为f×1×1的第三3d卷积层进行时间域特征学习,所述卷积核为1×k×k的第四3d卷积层进行空域特性的学习。

8.根据权利要求3所述的一种基于er网络多帧图像去模糊方法,其特征在于:将第二退化图像序列作为输入,输入到多帧互补信息提取网络,在编码时,图像特征每经过一个第一残差分解块会被第三最大池化层进行一次下采样,在解码时,图像特征先经过一个3d转置卷积层进行上采样,然后输入到第一残差分解块中,第三3d卷积层对输入的第二退化图像序列进行像素级修正,第四3d卷积层对最后一个第一残差分解块的特征进行融合并输出2d的单通道特征图。

9.根据权利要求3所述的一种基于er网络多帧图像去模糊方法,其特征在于:时空注意力机制的过程包括

s51、将第二退化图像序列作为原始特征输入3d全局平局池化和3d全局最大池化,得到第一特征向量和第二特征向量,将第一特征向量和第二特征向量分别传入不同的全连接层,将两个不同的全连接层的输出相加并与多帧的原始特征相乘,得到多帧注意力特征;

s52、将第二退化图像序列作为原始特征输入2d全局平局池化和2d全局最大池化,得到第一一维向量和第二一维向量,将第一一维向量和第二一维向量分别传入不同的全连接层,将两个不同的全连接层的输出相加并与多帧注意力特征相乘,得到通道注意力特征;

s53、沿着空间维对通道注意力特征进行取均值与取最大值操作得到两个单通道特征图分别为空间均值图和空间最大值图;

s54、连接空间均值图和空间最大值图并进行2d卷积与通道注意力特征相乘得到空间注意图。

10.根据权利要求3所述的一种基于er网络多帧图像去模糊方法,其特征在于:所述多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据,信息精细化网络在编码时,图像特征每经过一个第三残差分解块就会进入相对应的下采样层中,解码时,图像特征每经过一个上采样层就会进入相对应的第四残差分解块中,第三2d卷积层和第四2d卷积层的卷积核都为(1,1),用来对输入的图像特征做修正。


技术总结
本发明涉及计算机视觉领域,具体是一种基于ER网络多帧图像去模糊系统,包括接受指令模块、指令生成模块、采集模块、清晰化处理模块;一种基于ER网络多帧图像去模糊方法,包括步骤一、退化模型的构建,步骤二、建立仿真数据集,步骤三、生成供训练的第一退化图像和第一退化图像序列,步骤四、利用ERnet神经网络模型进行第一退化图像序列的排序,并对ERnet神经网络模型的排序结果进行评估,步骤五、将多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据,步骤六,用户输入模糊目标图像,生成清晰目标图像;解决了大气湍流退化图像具有随机性,多帧之间具有较为明显的互补信息,同时多帧之间也具有随机的差异性问题。

技术研发人员:谢春芝;高志升
受保护的技术使用者:西华大学;成都视证科技有限公司
技术研发日:2020.10.28
技术公布日:2021.01.08
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1