一种被动式太赫兹图像的固定背景下人体自动跟踪方法

本发明属于被动式太赫兹图像处理，特别涉及了一种被动式太赫兹图像的固定背景下人体自动跟踪方法。

背景技术：

1、太赫兹波是指一种处于微波和光波之间的，频率介于0.1～10thz波段内的电磁波，介于微波和红外波之间。因此，太赫兹具有以下竞争优势。太赫兹具有大多数非金属和非极性材料的良好穿透性，从而使其能够实现不透明物体的透视成像。太赫兹的辐射能量保持在毫伏电子伏的水平，远低于x射线产生的千伏电子伏的能量。因此，太赫兹辐射几乎不能穿透人体皮肤或产生有害的电离反应，从而确保其对人类和其他生物的高度安全应用。物质的太赫兹光谱包含丰富的物理和化学信息，这些信息彼此独特。太赫兹波以上的三种性能优势使其特别适用于安全检查领域。

2、安全检查应该说是太赫兹现阶段最吸引人的应用，因为x射线系统可以通过对人体有害的极高辐射水平探测普通衣物隐藏的物体。因此，x射线系统仅用于检测手提物品。相比之下，太赫兹成像技术不仅可以对隐藏的物体进行分类，还可以确保人体的安全使用。通常，太赫兹成像系统工作在主动模式或被动模式。主动太赫兹成像需要一个特殊的太赫兹发射器将太赫兹波投射到人体上，并收集回波以实现成像。虽然太赫兹波的功率适中，不会对健康造成危害，但太赫兹发射器增加了系统的成本和尺寸。相比之下，被动太赫兹成像直接检测黑体辐射产生的太赫兹波，因此完全无害，安检仪尺寸也更小巧隐蔽。然而，由于自然太赫兹辐射较弱，并伴有噪声干扰，被动太赫兹图像的质量很低，而且被动式太赫兹图像容易产生固定背景带，从而阻碍了隐蔽物体和准确识别。

3、基于上述背景条件与技术问题，目前亟需一种具有高分割度训练学习的自适应扣除固定背景的被动式太赫兹图像处理方法。

技术实现思路

1、针对上述问题，本发明提供了一种被动式太赫兹图像的固定背景下人体自动跟踪方法，其优点是构建多特征融合的语义分割网络，网络包含注意力金字塔模块和多尺度滤波融合模块，可高效应对不同噪声尺度和不同清晰度的被动式太赫兹图像，有效对被动式太赫兹图像中人物和背景进行分割，完成对固定背景下人体运动全过程的自动跟踪。

2、为实现上述技术目的，本发明采取的技术方案为：

3、一种被动式太赫兹图像的固定背景下人体自动跟踪方法，其中：建立基于编码器-解码器结构的语义分割网络的多特征融合神经网络模型，对被动式太赫兹图像中人物和背景进行语义分割，完成对固定背景下人体运动全过程的自动跟踪，该神经网络模型的编码器中添加了注意力金字塔模块和多尺度滤波融合模块，其中，注意力金字塔模块用于将空洞空间金字塔每一层的特征都获得通道注意力和空间注意力，突出特征图像中的有益信息并忽略无效信息，多尺度滤波融合模块用于提取不同滤波尺度的被动式太赫兹图像的特征，从而对不同噪声尺度的被动式太赫兹图像实现精确的语义分割。

4、在其中的一些实施例中，被动式太赫兹图像的固定背景下人体自动跟踪方法具体跟踪方法包括以下步骤：

5、s1:对输入语义分割网络的被动式太赫兹图像进行多尺度滤波；

6、s2:对s1所述的多尺度滤波后的图像输入语义分割网络的编码器；

7、s3:经过s2所述编码器的特征图像输入注意力金字塔模块；

8、s4:经过s3所述注意力金字塔模块的特征图像输入多尺度滤波融合模块；

9、s5:经过s3所述的多尺度滤波融合模块的特征图像输入语义分割网络的解码器，最后输出语义分割结果图，实现对实时采集的被动式太赫兹图像中人物和背景进行语义分割，完成对固定背景下人体运动全过程的自动跟踪。

10、在其中的一些实施例中，所述的注意力金字塔模块为对语义分割网络中的空洞空间金字塔模块的每一层特征图像添加注意力模块而成，

11、原始空洞空间金字塔为：

12、easpp(i)＝c[w1(i),w2(i),w3(i),w4(i),w5(i)]

13、其中i代表输入的特征图像，w1,w2,w3,w4,w5代表空洞空间金字塔中的不同尺度的特征提取；

14、注意力金字塔为：

15、epa(i)＝c[wcbam(w1(i′)),wcbam(w2(i)),wcbam(w3(i)),wcbam(w4(i)),wcbam(w5(i))]

16、其中wcbam代表注意力模块的卷积操作。

17、在其中的一些实施例中，所述的多尺度滤波融合模块用于输入神经网络的被动式太赫兹图像数据i进行多尺度滤波为{i,f(i,θ1),f(i,θ2),…,f(i,θn)}，其中f代表滤波函数，θ代表不同滤波尺度；

18、原始语义分割网络的编码器特征提取为：

19、e(i)＝w(i)

20、其中w代表编码器中的特征提取，其特征图像参数由(b,3,h,w)变为(b,c,h′,w′)，其中b为batch-size大小，3代表图像的rgb三通道，h和h′分别代表变化前后的特征图像的长度，w和w′分别代表变化前后的特征图像的宽度，

21、多尺度滤波融合模块的特征提取部分为：

22、emsf(i)＝w′{c[epa(w(i)),epa(w(f(i,θ1))),epa(w(f(i,θ2))),…,epa(w(f(i,θn)))]}

23、其中c代表卷积神经网络中的拼接融合操作,w′代表卷积核大小为1×1的卷积操作，通过此操作调整通道数将多滤波融合的特征图像拼接融合后的特征图像卷积为一张图像卷积后的大小，其特征图像参数由(b,3,h,w)经过特征提取和拼接融合变为(b,n×c,h′,w′)，再经过1×1卷积操作变为(b,c,h′,w′)。

24、本发明的有益效果是：

25、1、构建了一种用于被动式太赫兹图像语义分割的多特征融合卷积神经网络提出了注意力金字塔模块和多尺度滤波融合模块；通过注意力金字塔模块，能够是空洞空间金字塔每一层(即每一尺度)的特征都获得通道注意力和空间注意力，突出特征图像中的有益信息并忽略无效信息，有助于网络的特征提取，使得被动式太赫兹图像的边缘细节更加丰富，分割边缘也更加平滑。通过多尺度滤波融合模块可以提取不同滤波尺度的被动式太赫兹图像的特征，再通过1×1卷积的自动选择合适的特征，从而达到对不同噪声尺度的被动式太赫兹图像都能进行准确的语义分割。

26、2、有效对被动式太赫兹图像中人物和背景进行分割，完成对固定背景下人体运动全过程的自动跟踪。

技术特征：

1.一种被动式太赫兹图像的固定背景下人体自动跟踪方法，其特征是：建立基于编码器-解码器结构的语义分割网络的多特征融合神经网络模型，对被动式太赫兹图像中人物和背景进行语义分割，完成对固定背景下人体运动全过程的自动跟踪，该神经网络模型的编码器中添加了注意力金字塔模块和多尺度滤波融合模块，其中，注意力金字塔模块用于将空洞空间金字塔每一层的特征都获得通道注意力和空间注意力，突出特征图像中的有益信息并忽略无效信息，多尺度滤波融合模块用于提取不同滤波尺度的被动式太赫兹图像的特征，从而对不同噪声尺度的被动式太赫兹图像实现精确的语义分割。

2.根据权利要求1所述的一种被动式太赫兹图像的固定背景下人体自动跟踪方法，其特征是：具体跟踪方法包括以下步骤：

3.根据权利要求2所述的一种被动式太赫兹图像的固定背景下人体自动跟踪方法，其特征是：所述的注意力金字塔模块为对语义分割网络中的空洞空间金字塔模块的每一层特征图像添加注意力模块而成，

4.根据权利要求3所述的一种被动式太赫兹图像的固定背景下人体自动跟踪方法，其特征是：所述的多尺度滤波融合模块用于输入神经网络的被动式太赫兹图像数据i进行多尺度滤波为{i,f(i,θ1),f(i,θ2),…,f(i,θn)}，其中f代表滤波函数，θ代表不同滤波尺度；

技术总结
本发明公开了一种被动式太赫兹图像的固定背景下人体自动跟踪方法，其技术要点在于，设计一种用于被动式太赫兹图像中人物和背景进行语义分割，完成对固定背景下人体运动全过程的自动跟踪的多特征融合神经网络模型，该模型基于编码器‑解码器结构的语义分割网络，在其基础上添加注意力金字塔模块和多尺度滤波融合模块。首先对输入语义分割网络的被动式太赫兹图像进行多尺度滤波然后进入编码器，经过编码器后的特征图像依次输入注意力金字塔模块和多尺度滤波融合模块，最后将特征图像输入语义分割网络的解码器，输出语义分割结果图，实现对实时采集的被动式太赫兹图像中人物和背景进行语义分割，完成对固定背景下人体运动全过程的自动跟踪。

技术研发人员：徐帆,商智高,刘纪坤,丁嘉炜,张艺佳
受保护的技术使用者：南京航空航天大学
技术研发日：
技术公布日：2024/1/14