基于残差通道注意力网络的太赫兹图像重建方法及系统

1.本发明涉及太赫兹图像数据处理技术领域，特别是涉及基于残差通道注意力网络的太赫兹图像重建方法及系统。


背景技术：

2.本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
3.由于太赫兹波具有良好的穿透性、安全性等优良特性，太赫兹成像在医学影像、安全检查、环境监测等方面具有广泛的应用前景。然而在实际应用中，受到成像信号频率、成像环境、探测器、器件制造工艺等因素的影响，利用实际太赫兹成像系统采集的太赫兹图像往往存在信噪比低，边缘模糊严重等现象。提高太赫兹图像质量的方法有两种，一种是提高硬件系统的性能，但是该方法成本高，开发周期长。因此，通过图像处理的方法提高已有太赫兹图像的分辨率，能够在一定程度上弥补现有系统的不足，传统的数字图像处理方法对太赫兹图像质量改善有限，2014年dong chao等人提出了超分辨卷积神经网络方法对低分辨率图像进行重建，在此基础上又出现了多种类型的卷积神经网络方法，对自然图像的降噪、分辨率提升效果显著，但是将超分辨算法直接应用于太赫兹图像，并不能取得好的改善效果。


技术实现要素：

4.为了解决现有技术的不足，本发明提供了基于残差通道注意力网络的太赫兹图像重建方法及系统；目的在于结合太赫兹成像原理对基于卷积神经网络的超分辨算法进行改进，基于残差网络结构，增加通道注意力机制，通过自适应的调整个通道的特征响应值，加强有用信息的特征抑制无用特征，提高网络性能，从而解决太赫兹图像模糊、重建效果差的问题，实现太赫兹图像的去噪、边缘特征提升，改善太赫兹图像质量。
5.第一方面，本发明提供了基于残差通道注意力网络的太赫兹图像重建方法；
6.基于残差通道注意力网络的太赫兹图像重建方法，包括：
7.获取待处理的太赫兹图像；
8.将待处理的太赫兹图像，输入到训练后的残差通道注意力网络中，得到待处理太赫兹图像的超分辩率重建图像；
9.其中，残差通道注意力网络，基于残差网络结构增加通道注意力机制，用于改善待处理的太赫兹图像质量。
10.第二方面，本发明提供了基于残差通道注意力网络的太赫兹图像重建系统；
11.基于残差通道注意力网络的太赫兹图像重建系统，包括：
12.获取模块，其被配置为：获取待处理的太赫兹图像；
13.重建模块，其被配置为：将待处理的太赫兹图像，输入到训练后的残差通道注意力网络中，得到待处理太赫兹图像的超分辩率重建图像；
14.其中，残差通道注意力网络，基于残差网络结构增加通道注意力机制，用于改善待
处理的太赫兹图像质量。
15.第三方面，本发明还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
16.第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
17.与现有技术相比，本发明的有益效果是：
18.本发明提供了一种基于残差通道注意力网络的太赫兹图像重建方法，本发明利用太赫兹时域光谱成像原理构建了退化图模型，使得训练过程更加适用于太赫兹图像，利用残差网络与通道注意力机制相结合，充分发挥残差学习，和通过对通道进行加权，强调有效信息，抑制无效信息，提高了网络运行时间，减少了参数计算，重建出具有清晰边缘信息的太赫兹图像，相比于已有技术，能够有效提升网络性能。
19.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
20.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
21.图1为本发明实施例的网络结构图；
22.图2为本发明实施例的特征提取单元；
23.图3为本发明实施例的残差通道注意力机制单元；
24.图4为本发明实施例的特征重建单元；
25.图5为待重建的太赫兹图像；
26.图6为本发明实施例的重建后的太赫兹图像。
具体实施方式
27.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
28.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.另外，为了便于清楚描述本发明实施例的技术方案，在本发明实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字
样也并不限定一定不同。
30.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
31.实施例一
32.本实施例提供了基于残差通道注意力网络的太赫兹图像重建方法；
33.基于残差通道注意力网络的太赫兹图像重建方法，包括：
34.s101：获取待处理的太赫兹图像；
35.s102：将待处理的太赫兹图像，输入到训练后的残差通道注意力网络中，得到待处理太赫兹图像的超分辩率重建图像；
36.其中，残差通道注意力网络，基于残差网络结构增加通道注意力机制，用于改善待处理的太赫兹图像质量。
37.进一步地，如图1所示，所述残差通道注意力网络，其网络结构包括：
38.依次连接的特征提取单元、第一残差通道注意力机制单元、第二残差通道注意力机制单元、第三残差通道注意力机制单元、第四残差通道注意力机制单元、第五残差通道注意力机制单元、第六残差通道注意力机制单元和特征图重建单元。
39.进一步地，所述第一残差通道注意力机制单元、第二残差通道注意力机制单元、第三残差通道注意力机制单元、第四残差通道注意力机制单元、第五残差通道注意力机制单元、第六残差通道注意力机制单元，均用于解决网络收敛慢的问题，建立通道间的依赖关系，自适应的调整各通道的特征响应值。
40.进一步地，所述特征图重建单元，用于从特征图恢复得到高分辨图像。
41.进一步地，如图2所示，所述特征提取单元，其结构包括：
42.依次串联的九个卷积单元，每个卷积单元均包括依次连接的卷积层和relu函数层；相邻两个卷积单元中，前一个卷积单元的relu函数层与后一个卷积单元的卷积层连接；第一个卷积单元的输入端用于输入待处理的太赫兹图像；最后一个卷积单元的输出端与第一残差通道注意力机制单元连接。
43.进一步地，所述特征提取单元，用于学习浅层和深层图像特征，输入x，x为训练集中经过退化图退化处理的低分辨率图像，分别经过由一个卷积层和一个relu激活函数重复9次构成的卷积单元，得到x1，x1为一个集合，代表不同通道特征图；
44.进一步地，所述卷积单元，用于增强特征，降低图像噪声；
45.进一步地，所述卷积单元的卷积层，用于获取图像局部特征；
46.进一步地，所述卷积单元的relu函数层，用于对卷积层的输出结果做一次非线性映射。
47.进一步地，所述第一残差通道注意力机制单元、第二残差通道注意力机制单元、第三残差通道注意力机制单元、第四残差通道注意力机制单元、第五残差通道注意力机制单元、第六残差通道注意力机制单元的内部结构是一致的。
48.进一步地，如图3所示，第一残差通道注意力机制单元，包括：
49.依次连接的resnet残差网络的基本组块、自适应平均池化层、第一全连接层、relu函数层、第二全连接层、sigmoid函数层、乘法器和加法器；
50.其中，resnet残差网络的基本组块的输出端与乘法器的输入端连接；
51.其中，resnet残差网络的基本组块的输入端与加法器的输入端连接。
52.其中，自适应平均池化层、第一全连接层、relu函数层、第二全连接层、sigmoid函数层一次连接组成了通道注意力机制。
53.其中，resnet残差网络的基本组块，用于以跳层连接的形式实现不同分辨率特征组合，得到特征图；
54.自适应平均池化层，通过adaptiveavgpool2d()函数实现，实现对任何尺寸大小的输入，输出尺寸为指定大小的情况下，输入和输出特征数目不变，用于降低resnet残差网络的基本组块输出的特征图的维度，将特征图的尺寸从w*h*c变为1*1*c。
55.第一全连接层，用于对自适应平均池化层输出的特征图进行缩放，缩放系数为r；
56.relu函数层，用于对卷积层的输出结果做一次非线性映射；
57.第二全连接层，用于对特征图进行缩放，其中，缩放系数为1/r；
58.sigmoid函数层，用于得到c个通道各自的权重值；
59.乘法器，用于将resnet残差网络的基本组块输出的特征图，乘上c个通道各自的权重值，得到最终不同通道权重的输出特征图；
60.加法器，用于将乘法器的输出值与resnet残差网络的基本组块的输入端的输入值相加，最终得到w*h*c大小的输出特征图x2。
61.进一步地，所述resnet残差网络的基本组块，包括：
62.依次连接的卷积层c1、第一批量归一化层、relu函数层、卷积层c2和第二批量归一化层。
63.其中，卷积层c1，用于减小参数数量；
64.第一批量归一化层，用于归一化处理；
65.relu函数层，用于对relu的输入进行非线性映射；
66.卷积层c2，用于减小参数数量；
67.第二批量归一化层，用于归一化处理；
68.进一步地，所述自适应平均池化adaptive average pooling，对于任何尺寸大小的输入，输出尺寸为指定值，但是输入和输出特征的数目不会变化。
69.进一步地，如图4所示，所述特征图重建单元，包括：
70.依次连接的卷积层d1、relu函数层、卷积层d2和上采样层；
71.其中，卷积层d1，用于减小参数数量；
72.relu函数层，用于进行非线性映射；
73.卷积层d2，用于减小参数数量；
74.上采样层，用于形成尺寸为rh*rw的高分辨率图像。
75.进一步地，所述训练后的残差通道注意力网络，其训练步骤包括：
76.构建训练集；所述训练集包括：已知高分辨率图像的低分辨率图像；所述低分辨率图像是对已知高分辨率图像采用退化图进行退化得到的；
77.将高分辨率图像和高分辨率图像对应的低分辨率图像，输入到残差通道注意力网络中；对网络进行训练，当训练满足设定次数时，停止训练，得到训练后的残差通道注意力网络。
78.进一步地，所述训练集的构建过程包括：
79.对开源图像训练数据集train400中的高分辨率图像hr的尺寸为w*h，按照设定的
尺度scale进行下采样；
80.采用插值方式将图像扩展为原hr图像相同尺寸大小，获得插值后的图像，对插值后的图像采用退化图进行退化处理，得到低分辨率图像lr，进而形成高分辨率图像hr与低分辨率图像lr图像对。
81.进一步地，所述退化图的构建过程包括：
82.设置模糊核大小为n*n，首先将模糊核向量化为n2*1维的向量；
83.然后通过主成分分析方法投影到t维线性空间中，再与取值范围为[c,d]的随机噪声连接形成t+1维向量v；
[0084]
将向量v拉伸为w*h*(t+1)维的张量，即为退化图。
[0085]
应理解的，待重建的太赫兹图像是通过太赫兹时域光谱系统的频域成像方法得到的，成像频率点为1.6thz，因此退化模型参数选取n为15，焦距为2mm，波束频率为1.6thz，计算得到点扩展函数，通过pca降维后与随机噪声一起拉伸为与lr图像相同尺寸的张量。
[0086]
进一步地，模糊核如式(1)所示：
[0087][0088]
其中，0<x<n，0<y<n；z为物体与成像设备的焦距；f为波束的频率；c为光速；k为波数；i
ref
为太赫兹成像设备在没有目标情况下的参考波束强度，na为孔径。x为被测目标点的x轴坐标，y为被测目标点的y轴坐标，α(f)为被测目标的在f频率点处的吸收系数，π为圆周率。
[0089]
本发明采用了基于太赫兹时域光谱成像原理的退化图模型，更加适应于太赫兹图像的重建；
[0090]
本发明基于残差网络和通道注意力机制网络构建了一种新型的网络结构，能够更好地学习从低分辨率图像到高分辨率图像之间的映射关系；
[0091]
将待处理的太赫兹图像输入至训练好的神经网络中，得到重建结构，其中待处理的太赫兹图像如图5所示，重建后的图像如图6所示。
[0092]
实施例二
[0093]
本实施例提供了基于残差通道注意力网络的太赫兹图像重建系统；
[0094]
基于残差通道注意力网络的太赫兹图像重建系统，包括：
[0095]
获取模块，其被配置为：获取待处理的太赫兹图像；
[0096]
重建模块，其被配置为：将待处理的太赫兹图像，输入到训练后的残差通道注意力网络中，得到待处理太赫兹图像的超分辩率重建图像；
[0097]
其中，残差通道注意力网络，基于残差网络结构增加通道注意力机制，用于改善待处理的太赫兹图像质量。
[0098]
此处需要说明的是，上述获取模块和重建模块对应于实施例一中的步骤s101至s102，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0099]
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
[0100]
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
[0101]
实施例三
[0102]
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
[0103]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0104]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0105]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0106]
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0107]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0108]
实施例四
[0109]
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
[0110]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。