一种自监督可重数化太赫兹图像危险品实例分割方法

本发明属于太赫兹图像危险品实例分割领域，尤其涉及一种自监督可重数化太赫兹图像危险品实例分割方法。

背景技术：

1、太赫兹是一种介于微波和红外波之间的射线，其波长范围在[30μm-3000μm]，因其可穿透性强和对人体无害的特点得到了广泛的应用。太赫兹安全检查相机(tssc)利用太赫兹射线对人体进行非接触式扫描，可以穿透多种材料来检测隐匿的物体。与传统的金属探测器相比，tssc不仅能够检测爆炸性液体和粉末，还能显示可疑物的形状和位置，在安检领域具有很大的应用潜力。早期的太赫兹安检图像危险品检测技术大多基于人工识别和图像处理方案，少数采用深度学习技术的方案则依赖于大量高质量的数据，无法实现低成本、高精度检测等问题，这些问题对太赫兹安防检测设备的实用性产生了重大影响。随着深度学习技术和自监督学习的发展，采用自监督学习方式可以不依赖大量有标签的数据便能增强模型的特征提取能力。此外，基于结构重参数化方法能够实现推理速度与精度的平衡。因此，开发能够在少量有标签的样本数据下实现低成本和高精度的危险品实例分割非常有助于太赫兹图像检测分割技术的应用和发展。

技术实现思路

1、针对太赫兹图像质量差，样本标注困难导致太赫兹图像中危险品实例分割成本高和精度低的问题，本发明提出一种自监督可重数化太赫兹图像危险品实例分割方法，通过结合自监督学习图像掩码建模方法和深度学习实例分割算法，以降低太赫兹图像中危险品的分割检测训练成本以及提高检测精度。

2、为实现上述目的，本发明提供了一种自监督可重数化太赫兹图像危险品实例分割方法，具体包括以下步骤：

3、获取太赫兹人体隐匿危险品安检图像数据集，并对所述太赫兹人体隐匿危险品安检图像数据集进行数据增强；

4、通过增强后的所述太赫兹人体隐匿危险品安检图像数据集预训练自监督学习图像掩码建模增强模型，获取所述自监督学习图像掩码建模增强模型的编码器参数；

5、将所述自监督学习图像掩码建模增强模型的编码器作为实例分割模型的初始特征提取主干网络；

6、迁移所述编码器参数，通过未增强的所述太赫兹人体隐匿危险品安检图像数据集微调所述实例分割模型的初始特征提取主干网络，获取所述实例分割模型的特征提取主干网络；

7、将待分割的人体隐匿危险品安检图像输入所述实例分割模型的特征提取主干网络，提取多尺度特征，将所述多尺度特征进行集成，并进行动态解耦，获取危险品检测分割结果。

8、可选的，获取所述太赫兹人体隐匿危险品安检图像数据集，并对所述太赫兹人体隐匿危险品安检图像数据集进行数据增强包括：

9、利用太赫兹成像设备，获取若干张目标图像；

10、标注若干张所述目标图像中危险品的轮廓，并将轮廓点的坐标转化生成标签数据，获取所述太赫兹人体隐匿危险品安检图像数据集；

11、采用基于medaugment的自动数据增强方法对所述太赫兹人体隐匿危险品安检图像数据集进行自动数据增强；

12、其中，所述基于medaugment的自动数据增强方法由像素增强空间和空间增强空间组成。

13、可选的，所述自监督学习图像掩码建模增强模型，用于基于spark的图像掩码建模方法提取特征能力；

14、其中，所述基于spark的图像掩码建模方法由编码器和解码器构成，将所述增强后的太赫兹人体隐匿危险品安检图像数据集进行随机遮挡，未遮挡的像素作为稀疏体素，采用稀疏卷积进行编码，所述编码器输出若干个层级的特征图，并获取目标级别的特征，多级特征融合模块收集若干个所述目标级别的特征进行优化并传递至所述解码器进行图像重建。

15、可选的，所述多级特征融合模块收集若干个所述目标级别的特征进行优化并传递至所述解码器进行图像重建之前还包括：

16、在每个层级中，基于所述目标级别的特征，通过最大池化、上采样操作调整每个j-th级别，实现特征尺寸对齐，并采用卷积实现通道数对齐，即：

17、

18、其中，i≥1，j<l，conv(·)代表1×1卷积改变通道数到ci，up(·)代表双线性插值，id(·)代表恒等映射，m(·)代表最大池化特征图si到hi×wi分辨率，s'ij为第i层中第j个级别经过对齐后输出的特征图，hi为第i层特征图的参考高度，wi为第i层特征图的参考宽度，l为编码器输出层数量。

19、可选的，通过所述增强后的太赫兹人体隐匿危险品安检图像数据集预训练所述自监督学习图像掩码建模增强模型，获取所述自监督学习图像掩码建模增强模型的编码器参数包括：

20、所述自监督学习图像掩码建模增强模型包括特征细化融合模块；

21、将所述自监督学习图像掩码建模增强模型作为自主监督学习的编码器，并通过所述特征细化融合模块将所述增强后的太赫兹人体隐匿危险品安检图像数据集中的图像进行融合，获取融合后的特征图；

22、填充稀疏特征映射所有空白位置，采用所述解码器对所述融合后的特征图进行解码和重建，完成所述自监督学习图像掩码建模增强模型的预训练，进而获取所述自监督学习图像掩码建模增强模型的编码器参数。

23、可选的，所述预训练过程为：

24、

25、其中，γi(·)和fi分别代表mfrf融合机制隐函数和融合后的特征图，i表示第i个输出层，ψi(·)和di分别代表掩码嵌入[mi]填充操作以及填充后的特征图，bi(·)代表解码器连续块的隐函数，s1、s2、s3分别对应主干里不同尺度的特征图。

26、可选的，迁移所述编码器参数，通过未增强的所述太赫兹人体隐匿危险品安检图像数据集微调所述实例分割模型的初始特征提取主干网络，获取所述实例分割模型的特征提取主干网络包括：

27、通过迁移所述编码器参数，将所述未增强的太赫兹人体隐匿危险品安检图像数据集输入所述实例分割模型，利用结构重参化模块对所述实例分割模型的初始特征提取主干网络进行微调训练，获取所述实例分割模型的特征提取主干网络；

28、其中，所述结构重参化模块，用于将给定的初始特征图进行卷积和分离，获取第一特征图和第二特征图，将所述第一特征图输入dbb模块，将所述dbb模块输出的特征图与所述第一特征图和所述第二特征图进行融合，并经过卷积操作输出目标特征图；

29、所述结构重参化模块为：

30、f1,f2＝split(conv(f))

31、fd1＝dbb(f1)

32、d＝conv(convcat(f1,f2,fd1))

33、其中，f1,f2为特征图，fd1为dbb模块输出的特征图，conv(·)和dbb(·)表示卷积和dbb模块的隐函数，split(·)和concat(·)分别表示分离和融合操作，d为输出特征图。

34、可选的，对所述实例分割模型的初始特征提取主干网络进行微调训练还包括：采用adamw函数对损失函数进行优化，即：

35、

36、lossb＝lossciou+lossdfl

37、其中，loss(θ)为损失函数，n为检测层个数，lossb为边框回归损失函数，lossc为分类损失函数，α1、α2为损失函数的权重系数，lossciou为边界框损失函数，lossdfl为预测框损失函数。

38、可选的，将所述待分割的人体隐匿危险品安检图像输入所述实例分割模型的特征提取主干网络，提取多尺度特征，将所述多尺度特征进行集成，并进行动态解耦，获取危险品检测分割结果包括：

39、将所述待分割的人体隐匿危险品安检图像输入所述实例分割模型，经过所述实例分割模型的特征提取主干网络，提取多尺度特征；

40、将所述多尺度特征进行集成，并通过动态解耦头部模块进行动态解耦，获取所述危险品检测分割结果；

41、其中，所述危险品检测分割结果包括危险品检测框、危险品类别代号、危险品分割掩膜和预测置信度的结果图像。

42、可选的，所述动态解耦头部模块，用于给定若干个尺寸依次减半的特征图，分别用卷积减低通道数得到若干个卷积后的特征图，并输入动态注意力模块，采用解耦头部进行危险品特征检测分割；

43、所述动态解耦头部模块为：

44、fs＝conv(f1)，fm＝conv(f2)，fb＝conv(f3)

45、a＝dyheadk(f1,f2,f3)

46、ol＝segl(a)

47、其中，f1、f2、f3、fs、fm、fb均为特征图，且f1∈r128×80×80，f2∈r256×40×40，f3∈r512×20×20，f1∈r128×80×80，f2∈r256×40×40，f3∈r512×20×20，dyheadk(·)表示由k个连续的dyheadblock组成的动态注意模块的隐函数，seg(·)表示解耦检测头的隐函数，conv(·)表示卷积函数，ol表示第l层解耦头的输出特征图，a为动态注意模块处理后的输出特征图。

48、本发明具有以下有益效果：

49、本发明通过自监督学习图像掩码建模方法以及多级特征细化融合机制，可以在少量样本训练下增强模型特征提取能力，从而降低数据标注和模型训练成本；在特征提取主干网络设计了一种结构重参化模块，能够提高实例分割模型的推理速度和检测精度；另外，在检测头部中设计了动态解耦头，可以有效降低实例分割模型的参数量以及提高检测精度；本发明有利于太赫兹安检图像危险品实例分割技术的应用研究。