一种基于自注意力对抗生成网络的毫米波图像增强方法与流程

本发明涉及太赫兹成像，尤其涉及一种基于自注意力对抗生成网络的毫米波图像增强方法。

背景技术：

1、太赫兹技术是一种新型的检测技术，具有高分辨率、高穿透能力等特点，被广泛应用于安全检查、物质鉴定等领域，在物流领域，太赫兹技术也被用于物流包裹的分类和识别，但由于太赫兹成像质量受到多种因素的影响，如运动模糊、噪声等，导致包裹分类准确率下降；在用太赫兹技术实现对物流包裹非接触式自动分拣中，太赫兹图像质量对分类器的判别具有极为重要的意义，因为低质量的图像会导致包裹分类准确率的下降，同时在较高配速下晃动的物流袋进一步降低图像的质量，会对物流公司和顾客都造成不必要的损失；因此，如何有效、快速地提高物流包裹的太赫兹成像质量，降低运动模糊对图像的影响，一直是物流领域研究的重点问题。

2、在现有技术中，由于物体的成分多样性以及太赫兹波段的特殊性质，直方图均衡化可能会导致亮度过度增强或细节丢失的问题；传统的滤波器方法如高通、低通、中值滤波等方法常用于去除图像中的噪声和平滑图像，然而，在物流包裹的太赫兹成像中，常常存在复杂的纹理、遮挡和多次散射等问题，这些问题会导致太赫兹图像中的细节信息被模糊或丢失，传统滤波器方法不够精确；传统的锐化方法如拉普拉斯算子、梯度算子等可以增强图像的边缘和细节信息，然而，太赫兹图像中存在运动模糊和噪声等问题，直接应用锐化算法可能会放大噪声并产生过度增强的边缘，导致图像质量进一步下降；基于运动补偿技术的方法是通过对图像进行运动估计和运动补偿来消除或减少运动模糊，然而，在复杂的物流环境下，对包裹的运动进行精确估计是非常困难的，尤其是针对快速移动和非刚性物体的情况，运动补偿技术无法很好地处理；基于波前传播方法的复杂性较高，且计算效率较低；基于gan(generative adversarial network，生成对抗网络)的图像重建方法，难以做到对噪声和边缘细节很好的区分，产生的图像可能会过度抑制噪声或损失细节信息，导致生成图像不真实或不准确，难以满足实时性的要求。

技术实现思路

1、本发明的目的在于，提供一种基于自注意力对抗生成网络的毫米波图像增强方法，解决以上技术问题；

2、一种基于自注意力对抗生成网络的毫米波图像增强方法，包括，

3、步骤s1，一太赫兹毫米波传感器对物流包裹进行图像采集获得毫米波图像数据集a和毫米波图像数据集b；

4、步骤s2，构建以自注意力机制为基础的对抗生成网络；

5、步骤s3，通过所述毫米波图像数据集a对所述对抗生成网络进行训练，并通过所述毫米波图像数据集b进行选择，得到图像增强模型；

6、步骤s4，利用所述图像增强模型对所述毫米波图像数据集a的测试集进行图像增强。

7、优选地，步骤s1中所述毫米波图像数据集a是一传送带以第一速度移动时采集得到的，所述毫米波图像数据集b是所述传送带以第二速度移动时采集得到的，所述第二速度低于所述第一速度。

8、优选地，步骤s2包括，

9、步骤s21，构建图像分块模块，对所述太赫兹毫米波传感器采集到的图像进行分块操作，得到分块后图像；

10、步骤s22，构建特征提取模块，通过多次堆叠深度可分离卷积的倒置线性瓶颈层模块以对所述分块后图像进行特征提取，得到特征提取后图像；

11、步骤s23，构建分块特征融合下采样模块，将所述特征提取后图像的二维特征图进行分块并结合成一特征向量，得到融合后图像；

12、步骤s24，建立图像增强模块，对所述融合后图像引入深度可分离卷积模块以进行图像增强；

13、步骤s25，构建图像增强主干特征网络，通过堆叠所述图像分块模块、所述特征提取模块、所述分块特征融合下采样模块以及所述图像增强模块，得到第四级特征图；

14、步骤s26，多尺度特征融合输出模块，将所述第四级特征图通过像素重组模块进行上采样，并融合各级特征，生成所述对抗生成网络。

15、优选地，步骤s21中所述分块操作是对所述太赫兹毫米波传感器采集到的图像进行二维卷积，得到所述分块后图像。

16、优选地，步骤s24中所述图像增强模块的自注意力机制的计算式为

17、

18、式中，attention(q,k,v)表示所述自注意力机制，q表示查询值，k表示键值，v表示键值对应的信息，dwconv(k)表示缩减后k矩阵，dwconv(v)表示缩减后v矩阵，t表示时间步，d表示向量维度。

19、优选地，所述图像增强模块的输出为

20、xout＝linear(gelu(dwconv(xatten)))+xatten

21、式中，xout表示所述图像增强模块的输出，linear(·)表示全连接层，gelu(·)表示激活函数，xatten表示自注意力层的输出结果，dwconv表示深度可分离卷积。

22、优选地，所述自注意力层的输出结果的计算式为

23、xatten＝attention(q,k,v)+xin

24、

25、式中，xatten表示所述自注意力层的输出结果，attention(q,k,v)表示所述自注意力机制，q表示查询值，k表示键值，v表示键值对应的信息，xin表示输入特征图，mq、mk、mv分别是学习判别信息的三个不同的可学习权重矩阵。

26、优选地，所述自注意力机制的复杂度为

27、

28、其中，o表示输出维度，n表示序列长度，s表示注意力窗口大小。

29、优选地，步骤s25包括，

30、步骤s251，通过所述图像分块模块，将特征图切块合并成序列，再输入所述特征提取模块，将提取后的特征输入所述分块特征融合下采样模块，得到第一级特征图；

31、步骤s252，将所述第一级特征图通过2个重复堆叠的所述图像增强模块，再通过所述分块特征融合下采样模块，得到第二级特征图；

32、步骤s253，将所述第二级特征图输入6个重复堆叠的所述图像增强模块和所述分块特征融合下采样模块，得到第三级特征图；

33、步骤s254，将所述第三级特征图输入2个重复堆叠的所述图像增强模块，得到所述第四级特征图。

34、优选地，所述第一速度为1m/s，所述第二速度为0.1m/s；

35、将所述毫米波图像数据集a和所述毫米波图像数据集b分别划分成训练集、验证集以及测试集。

36、本发明的有益效果是：由于采用以上技术方案，提高了毫米波图像质量，降低运动模糊对图像的影响，是一种复杂度低、实时性强的图像增强方法。

技术特征：

1.一种基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，包括，

2.根据权利要求1所述的基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，步骤s1中所述毫米波图像数据集a是一传送带以第一速度移动时采集得到的，所述毫米波图像数据集b是所述传送带以第二速度移动时采集得到的，所述第二速度低于所述第一速度。

3.根据权利要求1所述的基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，步骤s2包括，

4.根据权利要求3所述的基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，步骤s21中所述分块操作是对所述太赫兹毫米波传感器采集到的图像进行二维卷积，得到所述分块后图像。

5.根据权利要求3所述的基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，步骤s24中所述图像增强模块的自注意力机制的计算式为

6.根据权利要求5所述的基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，所述图像增强模块的输出为

7.根据权利要求6所述的基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，所述自注意力层的输出结果的计算式为

8.根据权利要求7所述的基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，所述自注意力机制的复杂度为

9.根据权利要求3所述的基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，步骤s25包括，

10.根据权利要求2所述的基于自注意力对抗生成网络的毫米波图像增强方法，其特征在于，所述第一速度为1m/s，所述第二速度为0.1m/s；

技术总结
本发明公开了一种基于自注意力对抗生成网络的毫米波图像增强方法，属于太赫兹成像技术领域；包括，步骤S1，一太赫兹毫米波传感器对物流包裹进行图像采集获得毫米波图像数据集A和毫米波图像数据集B；步骤S2，构建对抗生成网络；步骤S3，通过毫米波图像数据集A对对抗生成网络进行训练，并通过毫米波图像数据集B进行选择，得到图像增强模型；步骤S4，利用图像增强模型对毫米波图像数据集A的测试集进行图像增强。上述技术方案的有益效果是：提高了毫米波图像质量，降低运动模糊对图像的影响，是一种复杂度低、实时性强的图像增强方法。

技术研发人员：陈晓星,崔军伟,刘友明,宋启盛,陈超,王超琦
受保护的技术使用者：华太极光光电技术有限公司
技术研发日：
技术公布日：2024/3/21