太赫兹图像目标识别方法、装置、设备及介质

本公开涉及检测，尤其涉及一种太赫兹图像目标识别方法、装置、电子设备及介质。

背景技术：

1、对人员密集场所进行安全检查是预防公共安全事件发生的最为有效的方法。常见的安全检查手段主要为人工手持金属探测仪和x光安检机器相互搭配完成安检。手持式金属探测仪无法对非金属探测物品产生有效响应，可能对其他危险品造成漏检，且需要对被检人员逐一检查，安检效率十分低下，容易侵犯个人隐私。x光安检机和ct探测系统虽然能够穿透衣物来探测隐匿物且成像速度快，但是对于人体存在一定的辐射伤害。

2、近年来基于太赫兹技术的安检设备因具有独特的无损检测特性而在安检领域受到广泛关注。太赫兹波是指频率位于0.1thz-10thz，波长位于0.03mm-3mm的电磁波，其波长较短，有良好的穿透性，能够提供高分辨人体安检图像从而发现较小的隐匿目标。太赫兹波不仅能够发现金属危险物品，还能够探测塑料、陶瓷以及液体等非金属目标，在实际场景中适用性更加广泛。太赫兹无源探测技术不主动发射电磁波，通过接收目标自身辐射出的太赫兹波段的能量进行成像，对身体无害。太赫兹成像设备具有较强穿透性以及较高的分辨率，能够加快安检速度，节省人力成本。

3、目前已有一些学者针对太赫兹安检图像目标检测算法进行研究。santiago lopeztapia等人提出结合图像处理与统计机器学习技术的方法来解决太赫兹图像中的目标定位检测问题。传统的基于深度学习的目标检测方法通过构建深度神经网络来对图像中的目标区域坐标进行回归，通常会设置不同尺度的输出，用于检测目标区域中不同尺寸大小的目标，从而提高检测效果，但是这些方法的处理方式不够简洁，通过网络模型得到输出之后，还需要进行手工设计的后处理方式来对网络的输出进行“解码”，从而获得最终的检测结果。这种传统的深度学习目标检测方法存在一定的缺陷，泛化能力较差，其性能往往受到图像背景的复杂程度影响，图像背景变得复杂时目标检测的效率以及性能都会下降。此外，太赫兹成像系统所采集到的图像中的分辨率较低，噪声和模糊现象比较严重，无法很好地反应目标场景的特性，图像达不到所要求的质量。

技术实现思路

1、鉴于上述问题，本发明提供了一种太赫兹图像目标识别方法、装置、电子设备及介质，以解决上述技术问题。

2、本公开的一个方面提供了一种太赫兹图像目标识别方法，包括：对太赫兹图像进行特征提取，得到激活特征图；对所述激活特征图分别进行特征编码和卷积处理，得到所述激活特征图的位置编码矩阵和图片特征序列；将所述位置编码矩阵和所述图片特征序列输入编码器和解码器进行分类预测，得到多个检测结果，所述检测结果包括目标对象的类别和所述目标对象在所述太赫兹图像中的边界框信息；将所述多个检测结果进行匹配计算，将匹配度最高的检测结果输出。

3、根据本公开的实施例，所述所述对所述太赫兹图像进行特征提取前，所述方法还包括：采用直方图均衡化算法对所述太赫兹图像进行对比度拉伸。

4、根据本公开的实施例，所述对太赫兹图像进行特征提取，得到激活特征图包括：使用resnet-50特征提取网络的后三层卷积层对所述太赫兹图像进行特征提取，融合所述后三层卷积层中的深层卷积层提取的语义信息及所述后三层卷积层中的浅层卷积层提取的细节信息，得到所述激活特征图；在所述resnet-50特征提取网络的第二层中加入空洞卷积，增强所述激活特征图的特征表示效果。

5、根据本公开的实施例，所述对所述激活特征图分别进行特征编码和卷积处理，得到所述激活特征图的位置编码矩阵和图片特征序列包括：对所述激活特征图进行卷积降维处理，得到所述图片特征序列；对所述激活特征图上的像素点进行绝对位置编码，得到所述位置编码矩阵。

6、根据本公开的实施例，所述将所述位置编码矩阵和所述图片特征序列输入编码器和解码器进行分类预测，得到多个检测结果包括：将所述位置编码矩阵和所述图片特征序列进行加行操作输入至所述编码器，提取特征信息；将所述特征信息和n个查询元素输入所述解码器，分别进行自注意力计算和交叉注意力计算，得到n个检测结果，n为整数。

7、根据本公开的实施例，所述将所述多个检测结果进行匹配计算的匹配损失函数为：

8、

9、

10、其中，lmatch表示所述匹配损失函数，为一个布尔函数，当ci≠φ时为1，否则为0，为第s(i)个检测结果为类别ci的概率，bi和分别为第i个目标对象的真实框坐标与模型预测到的第s(i)个检测框的坐标，lciou和ll1分别为ciou损失函数和l1损失函数，λiou和λl1分别为ciou损失函数和l1损失函数的权重系数，lbox为l1损失函数和ciou损失函数的组合。

11、根据本公开的实施例，所述方法还包括：

12、计算匹配度最高的检测结果的损失函数，所述损失函数公式表示为：

13、

14、其中，lhungarian表示匈牙利匹配算法函数，y表示所述目标对象的真实类别和真实边界框信息，表示所述检测结果中预测目标对象的类别和所述目标对象在所述太赫兹图像中的边界框信息。

15、本公开的第二个方面提供了一种太赫兹图像目标识别装置，包括：特征提取模块，用于对太赫兹图像进行特征提取，得到激活特征图；特征编码模块，用于对所述激活特征图分别进行特征编码和卷积处理，得到所述激活特征图的位置编码矩阵和图片特征序列；特征检测模块，用于将所述位置编码矩阵和所述图片特征序列输入编码器和解码器进行分类预测，得到多个检测结果，所述检测结果包括目标对象的类别和所述目标对象在所述太赫兹图像中的边界框信息；结果匹配模块，用于将所述多个检测结果进行匹配计算，将匹配度最高的检测结果输出。

16、本公开的第三个方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现第一个方面中的任一项所述太赫兹图像目标识别方法中的各个步骤。

17、本公开的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现第一个方面中的任一项太赫兹图像目标识别方法中的各个步骤。

技术特征：

1.一种太赫兹图像目标识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述太赫兹图像进行特征提取前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述对太赫兹图像进行特征提取，得到激活特征图包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述激活特征图分别进行特征编码和卷积处理，得到所述激活特征图的位置编码矩阵和图片特征序列包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述位置编码矩阵和所述图片特征序列输入编码器和解码器进行分类预测，得到多个检测结果包括：

6.根据权利要求1所述的方法，其特征在于，所述将所述多个检测结果进行匹配计算的匹配损失函数为：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种太赫兹图像目标识别装置，其特征在于，包括：

9.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任一项所述太赫兹图像目标识别方法中的各个步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任一项太赫兹图像目标识别方法中的各个步骤。

技术总结
本公开提供了一种太赫兹图像目标识别方法，包括：对太赫兹图像进行特征提取，得到激活特征图；对激活特征图分别进行特征编码和卷积处理，得到激活特征图的位置编码矩阵和图片特征序列；将位置编码矩阵和图片特征序列输入编码器和解码器进行分类预测，得到多个检测结果，检测结果包括目标对象的类别和目标对象在太赫兹图像中的边界框信息；将多个检测结果进行匹配计算，将匹配度最高的检测结果输出。本公开还提供了太赫兹图像目标识别装置、设备及介质。

技术研发人员：李超,程璐,纪奕才,郑深,刘小军,方广有,吴一戎
受保护的技术使用者：中国科学院空天信息创新研究院
技术研发日：
技术公布日：2024/2/19