一种基于多尺度注意力机制的辐射干扰图像复原方法

1.本发明涉及图像处理技术领域，具体涉及一种基于多尺度注意力机制的辐射干扰图像复原方法。


背景技术：

2.随着计算机视觉技术的快速发展，越来越多的行业利用视觉技术解决行业内的相关问题。但是由于图像获取设备存在天然的物理局限性，在图像获取过程中很容易受到各种噪声的污染，尤其是医学、遥感成像和核工业等存在放射性环境的领域。这些场景中的图像会受到核辐射干扰，造成图像的退化，严重的会对相机等视觉传感器设备内部电子元器件造成永久性破坏。受辐射干扰的图像严重影响图像的质量和有效信息提取，影响各类视觉技术在放射环境中的应用效果。因此，辐射干扰图像复原技术对改善放射环境中各类视觉技术的应用效果至关重要。


技术实现要素：

3.针对现有技术的不足，本发明提供了一种基于多尺度注意力机制的辐射干扰图像复原方法，其目的在于，提升对受辐射干扰的图像的复原效果。
4.本发明是通过以下技术方案来实现的：
5.一种基于多尺度注意力机制的辐射干扰图像复原方法，该方法包括如下步骤：
6.(1)获取训练数据集:由获取的未受辐射干扰的图像根据辐射干扰图像的特性构建伪辐射后的退化图像；将未受辐射干扰的图像和伪辐射后的退化图像组成图像对；处理伪辐射后的退化图像获取的噪点位置和噪点强度构建噪声注意力图；由未受辐射干扰的原始图像、伪辐射后的退化图像和噪声注意力图构成一个图像组；再将若干张未受辐射干扰的图像按照上述方法进行重复构建得到若干图像组，统一图像组中图像的分辨率，将图像组中每张图像同时预处理为大小相等的图像块，得到训练数据集；
7.(2)建立多尺度注意力机制的图像复原网络模型：所述图像复原网络模型由第一特征提取通道和第二特征提取通道并联构成；所述第一特征提取通道由u-net网络组成，第二特征提取通道由噪声特征检测网络和u-net网络的编码结构部分组成；所述多尺度注意力机制具体为将第一特征通道的u-net网络的编码结构部分中每一个模块的输出特征图和第二特征提取通道的u-net网络编码结构部分中相同尺度模块输出特征图逐点叠加，作为第一特征通道的u-net网络的编码结构部分后一模块的输入；利用步骤(1)所述的训练数据集对所述图像复原网络模型进行训练，得到训练好的图像复原模型；
8.(3)复原辐射干扰图像：将辐射干扰图像输入步骤(2)建立的多尺度注意力机制的图像复原网络模型，输出即为清晰无噪声图像；
9.进一步地，所述步骤(1)中的噪声注意力图为根据辐射干扰后图像噪声的特点对伪辐射后的退化图像进行形态学操作后，获取的包含退化图像噪点位置及噪点强度的图像；具体为，对伪辐射后的退化图像和对所述的伪辐射后的退化图像进行开运算操作后的
图像i
noiseopen
做差获取亮斑点噪声位置图i
noiselight
；对所述伪辐射后的退化图像取反后得到的图像i
noiseinv
和对图像i
noiseinv
进行开运算后的图像i
noiseinvopen
做差获取暗斑点的噪声位置图i
noisedark
，将图像i
noiselight
和图像i
noisedark
叠加后得到所述的噪声注意力图。
10.进一步地，所述步骤(2)中的第一特征提取通道中u-net网络采用亚像素卷积操作来进行上采样，跳跃连接采用张量对应元素叠加的方式来实现信息融合，并且删除u-net网络中通道数为512和1024的卷积层，使u-net网络中的下采样和上采样的次数均减少到2次。
11.进一步地，所述步骤(2)中第二特征提取通道由噪声特征检测网络和u-net网络的编码结构部分组成，且两个模块为顺次连接。
12.进一步地，所述步骤(2)中第二特征提取通道中噪声特征检测网络由5个卷积模块组成，在每个卷积模块顺次连接的基础上，第一个卷积模块输入直接连接到第五个卷积模块；
13.具体地，所述第一个卷积模块由一层卷积层组成，滤波核大小为3
×3×
c，c表示输入图像的通道数，当c＝1时，代表输入图像为灰度图像，当c＝3时，代表输入图像为彩色图像；第二个卷积模块由resnet网络中的残差块组成；第三个卷积模块由密集连接网络中的密集连接模块组成；第四个模块由残差网络(resnet)网络中的残差模块组成；第五个卷积模块由一层卷积层组成,滤波核大小为3
×3×
k，k表示第四个模块输出特征图的通道数，该卷积层输出特征图通道数为c。
14.进一步地，所述步骤(2)中的第二特征提取通道中u-net网络的编码结构部分为：删除所述u-net网络中上采样部分结构以及通道数为512和1024的卷积层，使所述u-net网络的编码结构部分下采样的次数减少到2次。
15.进一步地，，所述步骤(2)中的多尺度注意力机制具体为，所述第二特征提取通道每次下采样后的卷积层输出特征图和所述第一特征提取通道u-net网络中的下采样对应卷积层输出特征图逐点叠加，作为所述第一特征提取通道u-net网络下一卷积层的输入。
16.进一步地，所述步骤(2)中的所述的图像复原网络模型训练过程中，利用所述训练数据集对所述模型进行训练时，所使用的损失函数表达式为：
[0017][0018]
其中，表示求取两变量均方误差操作，表示所述第一特征提取通道中u-net网络解码结构重建的图像，i
clear
表示所述训练数据集图像组中未受辐射干扰的图像，λ表示控制所述的第二特征提取通道中噪声特征检测网络损失在整体损失所占比重的超参数，表示所述的第二特征提取通道中噪声特征检测网络输出图像，i
noiseattentionmap
表示所述训练数据集图像组中噪声注意力图。
[0019]
本发明有益效果如下：
[0020]
使用了双通道网络结构来同时提取图像不同层次的信息，其中一个通道构建了提取噪声特征的cnn模型，将获取噪声图像中噪声位置及噪声强度的任务转换为检测图像中的噪声特征，将其作为噪声注意力图，简化了任务的难度，具体而言，我们建立了一个子网络来学习如何消除图像背景及提取出大颗粒噪声斑点。由于图像中大颗粒噪声斑点是稀疏的，这种方法能够大大加快模型收敛，并快速获得图像噪声特征，并通过u-net网络编码结构部分来充分挖掘噪声信息，然后采用多尺度注意力机制和另一个通道的u-net网络编码
结构部分进行信息融合，充分利用获得图像噪声信息的不同层次特征来激发网络的潜力，实现提取出噪声特征先验信息的最大化利用。最终通过另一个通道的u-net网络的解码结构恢复出清晰图像。
附图说明
[0021]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]
图1为本发明的图像复原模型训练方法流程示意图；
[0023]
图2为本发明的噪声注意力图获取流程示意图；
[0024]
图3为本发明的图像复原模型结构示意图；
[0025]
图4为本发明的噪声特征检测网络(noiselocation-net)结构示意图；
[0026]
图5为本发明的图像复原方法功能原理框图。
具体实施方式
[0027]
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0028]
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
[0029]
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0030]
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
[0031]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0032]
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
[0033]
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
[0034]
实施例1
[0035]
本实施例1提供一种受辐射干扰的图像复原模型训练系统，该系统包括：
[0036]
获取模块，用于获取训练数据集。
[0037]
其中，所述训练数据集包括多个图像组，每一个图像组均包括伪辐射后的退化图像、未受辐射干扰的图像和噪声注意力图，伪辐射后的退化图像为构建的伪辐射干扰退化图像，未受辐射干扰的图像为同背景下的未退化图像，噪声注意力图为显示伪辐射干扰退化图像的噪点位置及噪点强度的噪声注意力图，如图2所示，对所述的伪辐射后的退化图像进行开运算操作后获取图像i
noiseopen
，具体为先采用3
×
3大小的结构元素对伪辐射后的退化图像做腐蚀操作，再使用3
×
3大小的结构元素对伪辐射后的退化图像做膨胀操作；对伪辐射后的退化图像和图像i
noiseopen
做差获取亮斑点噪声位置图i
noiselight
；对所述伪辐射后的退化图像取反后得到图像i
noiseinv
，对图像i
noiseinv
进行开运算操作获取图像i
noiseinvopen
，具体为先采用3
×
3大小的结构元素对图像i
noiseinv
做腐蚀操作，再使用3
×
3大小的结构元素对图像i
noiseinv
做膨胀操作；将图像i
noiseinv
和图像i
noiseinvopen
做差获取暗斑点的噪声位置图i
noisedark
，将图像i
noiselight
和图像i
noisedark
叠加后得到所述的噪声注意力图；
[0038]
建立模块，用于建立图像复原网络模型。
[0039]
如图3所示，建立的所述基础网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出通过多尺度注意力机制连接；
[0040]
训练模块，用于利用所述训练数据集对所述图像复原网络模型进行训练，得到训练好的图像复原模型。
[0041]
本实施例1中，利用上述的图像复原网络模型训练系统实现了图像复原模型训练方法，最终得到图像复原模型。如图1所示，该方法包括：
[0042]
使用获取模块获取训练数据集。其中，所述训练数据集包括多个图像组，每一个图像组均包括伪辐射后的退化图像、未受辐射干扰的图像和噪声注意力图，伪辐射后的退化图像为伪辐射干扰退化图像，未受辐射干扰的图像为同背景下的未退化图像，噪声注意力图为显示辐射后退化图像的噪点位置及噪点强度的噪声注意力图；
[0043]
使用建立模块建立图像复原网络模型。建立的所述图像复原网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出通过多尺度注意力机制连接；
[0044]
使用训练模块利用所述训练数据集对所述图像复原网络模型进行训练，得到训练好的图像复原网络模型。
[0045]
如图3所示，本实施例1中，所述的第一特征提取通道中u-net网络中的采用亚像素卷积操作来进行上采样，跳跃连接采用张量对应元素叠加的方式来实现信息融合，还包括删除所述u-net网络中通道数为512和1024的卷积层，使所述u-net网络中的下采样和上采样的次数均减少到2次。
[0046]
本实施例1中，所述的第二特征提取通道由噪声特征检测网络和u-net网络的编码结构部分组成，两个模块顺次连接。
[0047]
其中，噪声特征检测网络由5个卷积模块组成，在每个卷积模块顺次连接的基础上，第一个卷积模块输入直接连接到第五个卷积模块。第一个卷积模块由一层卷积层组成，滤波核大小为3
×3×
c，c表示输入图像的通道数，当c＝1时，代表输入图像为灰度图像，当c
＝3时，代表输入图像为彩色图像；第二个卷积模块由resnet网络中的残差块组成；第三个卷积模块由密集连接网络(densenet)中的密集连接模块组成；第四个模块由残差网络(resnet)中的残差模块组成；第五个卷积模块由一层卷积层组成，滤波核大小为3
×3×
k，k表示第四个模块输出特征图的通道数，该卷积层输出特征图通道数为c。
[0048]
其中，所述的第二特征提取通道中u-net网络的编码结构部分，为删除所述u-net网络中上采样部分结构，还包括删除通道数为512和1024的卷积层，使所述u-net网络的编码结构部分下采样的次数减少到2次。
[0049]
本实施例1中，利用所述训练数据集对所述图像复原网络模型进行训练，得到训练好的图像复原模型，包括：
[0050]
将所述多个图像组中的伪辐射后的退化图像输入所述图像复原网络模型，获得所述的第一特征提取通道中u-net网络多个输出图像和所述的第二特征提取通道中噪声特征检测网络多个输出图像；
[0051]
根据所述第一特征提取通道中u-net网络多个输出图像和所述多个图像组中对应的未受辐射干扰的图像，构建内容损失函数；
[0052]
根据所述的第二特征提取通道中噪声特征检测网络多个输出图像和所述多个图像组中对应的噪声注意力图，构建噪声注意力图损失函数；
[0053]
将内容损失函数和噪声注意力图损失函数按一定比例叠加，构建完整的所述图像复原网络模型损失函数；
[0054]
对所述图像复原网络模型损失函数的最小值进行优化，获得优化后的网络参数；
[0055]
利用优化后的网络参数对所述图像复原网络模型进行迭代更新，得到最终训练好的图像复原模型。
[0056]
实施例2
[0057]
如图5所示，本实施例2中，提供一种图像去噪方法，该方法包括：
[0058]
获取模块，获取待处理的辐射场景下受污染退化图像；
[0059]
处理模块，用于利用所述的图像复原网络模型训练方法得到的复原网络对获取的待处理的图像进行处理，得到复原后的图像。
[0060]
本实施例2中，利用上述的图像复原系统实现了一种受辐射干扰图像复原方法，该方法包括：利用获取模块获取待处理的图像，利用处理模块使用训练好的图像复原模型对待处理的受辐射干扰的图像进行处理，得到复原后的清晰图像。
[0061]
本实施例2中，所述训练好的图像复原网络模型使用图像复原模型训练系统得到，该系统包括：
[0062]
获取模块，用于获取训练数据集。其中，所述训练数据集包括多个图像组，每一个图像组均包括伪辐射后的退化图像、未受辐射干扰的图像和噪声注意力图，伪辐射后的退化图像为构建的伪辐射干扰退化图像，未受辐射干扰的图像为同背景下的未退化图像，噪声注意力图为显示伪辐射干扰退化图像的噪点位置及噪点强度的噪声注意力图；
[0063]
建立模块，用于建立图像复原网络模型。建立的所述图像复原网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出通过多尺度注意力机制连接；
[0064]
训练模块，用于利用所述训练数据集对所述图像复原网络模型进行训练，得到训
练好的图像复原模型。
[0065]
本实施例2中，利用上述的图像复原网络模型训练系统得到图像复原模型，包括：
[0066]
使用获取模块获取训练数据集。其中，所述训练数据集包括多个图像组，每一个图像组均包括伪辐射后的退化图像、未受辐射干扰的图像和噪声注意力图，伪辐射后的退化图像为构建的伪辐射后的退化图像，未受辐射干扰的图像为同背景下的未退化图像，噪声注意力图为显示伪辐射干扰退化图像的噪点位置及噪点强度的噪声注意力图；
[0067]
使用建立模块建立图像复原网络模型。建立的所述图像复原网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出通过多尺度注意力机制连接；
[0068]
使用训练模块利用所述训练数据集对所述图像复原网络模型进行训练，得到训练好的图像复原网络模型。
[0069]
本实施例2中，所述的第一特征提取通道中u-net网络中的采用亚像素卷积操作来进行上采样，跳跃连接采用张量对应元素叠加的方式来实现信息融合，还包括删除所述u-net网络中通道数为512和1024的卷积层，使所述u-net网络中的下采样和上采样的次数均减少到2次。
[0070]
本实施例2中，所述的第二特征提取通道由噪声特征检测网络(noiselocation-net)和u-net网络的编码结构部分组成，两个模块顺次连接。
[0071]
其中，噪声特征检测网络由5个卷积模块组成，在每个卷积模块顺次连接的基础上，第一个卷积模块输入直接连接到第五个卷积模块。第一个卷积模块由一层卷积层组成，滤波核大小为3
×3×
c，c表示输入图像的通道数，当c＝1时，代表输入图像为灰度图像，当c＝3时，代表输入图像为彩色图像；第二个卷积模块由resnet网络中的残差块组成；第三个卷积模块由密集连接网络(densenet)中的密集连接模块组成；第四个模块由残差网络(resnet)中的残差模块组成；第五个卷积模块由一层卷积层组成，滤波核大小为3
×3×
k，k表示第四个模块输出特征图的通道数，该卷积层输出特征图通道数为c。
[0072]
其中，所述的第二特征提取通道中u-net网络的编码结构部分，为删除所述u-net网络中上采样部分结构，还包括删除通道数为512和1024的卷积层，使所述u-net网络的编码结构部分下采样的次数减少到2次。
[0073]
本实施例2中，利用所述训练数据集对所述图像复原网络模型进行训练，得到训练好的图像复原模型，包括：
[0074]
将所述多个图像组中的伪辐射后的退化图像输入所述图像复原网络模型，获得所述的第一特征提取通道中u-net网络多个输出图像和所述的第二特征提取通道中噪声特征检测网络多个输出图像；
[0075]
根据所述第一特征提取通道中u-net网络多个输出图像和所述多个图像组中对应的未受辐射干扰的图像，构建内容损失函数；
[0076]
根据所述的第二特征提取通道中噪声特征检测网络多个输出图像和所述多个图像组中对应的噪声注意力图，构建噪声注意力图损失函数；
[0077]
将内容损失函数和噪声注意力图损失函数按一定比例叠加，构建完整的所述图像复原网络模型损失函数；
[0078]
对所述图像复原网络模型损失函数的最小值进行优化，获得优化后的网络参数；
[0079]
利用优化后的网络参数对所述图像复原网络模型进行迭代更新，得到最终训练好的图像复原模型。
[0080]
本实施例2中，采用退化方程i
noise
＝hi
clean
+n对构建的图像复原网络进行训练。其中，h为退化矩阵，hi
clean
为清晰图像在退化矩阵h的作用下得到的低分辨率图像，n为辐射单粒子效应所引入的大噪点噪声，i
clean
为未受辐射干扰图像，i
noise
为辐射干扰退化图像。通过网络模型来预测i
clean
＝f(i
noise
)中的f(
·
)算子，最后将真实受辐射干扰退化图像输入网络模型，得到复原后的清晰图像。
[0081]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。