一种自适应微多普勒角点特征提取方法及装置

本发明涉及雷达信号处理领域，具体涉及一种自适应微多普勒角点特征提取方法及装置。

背景技术：

1、超宽带(ultra-wideband，uwb)穿墙雷达(through-the-wall radar，twr)利用低频电磁波的穿透能力来探测墙后的人体目标，广泛应用于灾害救援等领域。在这些领域中，人体行为识别是最热门的研究课题之一。然而，受限于墙体对电磁波传播的衰减、折射和多径效应等影响，导致回波信号出现显著失真及特征提取困难等问题。因此，直接移植现有的以行为识别为背景的分类模型，识别准确率显著降低。

2、对于uwb twr人体活动识别任务，学界现有方法的研究经历了两个发展阶段：经典方法和智能方法。在经典方法中，使用函数拟合或矩阵分解算法将图像转换为特征向量，然后采用统计决策方法进行分类。该类方法所定义的实验场景相对简单，但具有很强的可解释性。智能方法则主要基于深度学习技术展开研究，包括自动编码器网络(auto encodernetwork，aen)、残差连接卷积神经网络(residual convolutional neural network，res-cnn)、长短期记忆网络(long-short-term-memory network，lstm)、多层感知机(multi-layer perceptron，mlp)和概率图神经网络(probability graph model，pgm)。

3、在之前的工作中，研究了基于特征表示学习的各种网络模型，分别实现了更精细的微多普勒特征提取，或更快的人体行为识别推理速度。由于具有强大的参数估计能力，基于神经网络的算法通常是人体行为识别任务的最佳选择。然而，现有模型直接使用距离-时间图(range-time map，rtm)或多普勒-时间图(doppler-time map，dtm)进行训练和验证，特征提取的可解释性较差，进而导致准确性、泛化能力和鲁棒性下降。

4、基于上述研究，现有方法主要依赖于接收到的信号幅度和时间信息，但这些方法对于复杂场景中的目标行为提取并不准确或完整。为了解决上述问题，我们提出了一种创新的特征提取方法，结合了微多普勒角点特征。我们的方法基于穿墙雷达接收到的信号中的微弱多普勒频移信息，并利用超宽带雷达波形收发、信号预处理、数据预处理、成像重构、图像解译等技术来提取目标的角点特征。通过对目标人体行为的微多普勒角点特征进行分析，我们能够实现更准确、可靠的行为识别。

技术实现思路

1、有鉴于此，本发明提供了一种自适应微多普勒角点特征提取方法及装置，能够解决墙壁对电磁信号传播带来的不良影响，如衰减、折射和多径效应，超宽带穿墙雷达回波信号明显失真，人体行为识别的特征提取准确率大幅下降，对抗低信噪比图像输入时的鲁棒性较差，系统部署非常具有挑战性的技术问题。

2、为了解决上述技术问题，本发明是这样实现的。

3、一种微多普勒角点特征提取方法，包括：

4、步骤s1：获取穿墙雷达人体行为回波的原始数据，对所述原始数据进行预处理；所述预处理包括杂波及噪声抑制、图像对比度增强、图像坐标轴变换，得到处理后的雷达平方距离-时间图像r2tm以及平方多普勒一时间图像d2tm；

5、步骤s2：利用高斯差分卷积滤波器提取仿真的雷达平方距离一时间图像以及平方多普勒-时间图像上的微多普勒角点监督标签，然后利用监督标签训练μ d-cornerdet模型，该模型基于可变形卷积网络、领域自适应可变形卷积网络、特征金字塔网络和区域可学习全局注意力模块共同构建；

6、步骤s3：推理阶段，使用μ d-cornerdet模型对实测数据的雷达平方距离一时间图像以及平方多普勒-时间图像进行预测，获取角点特征图。

7、较佳的，所述步骤s1中，经过混频和低通滤波，得到穿墙雷达人体运动的基带时域回波信号，对回波信号进行离散反傅里叶变换将接收到的回波信号转换为一维的距离像；通过沿着慢时间维度拼接距离剖面，分别进行通道校正、杂波和噪声抑制，得到距离-时间矩阵φr(ts，n)；基于距离-时间矩阵φr(ts，n)，得到雷达距离-时间图rtm和多普勒一时间图dtm，进而得到雷达平方距离-时间图像r2tm以及平方多普勒一时间图像d2tm。

8、较佳的，所述步骤s1中，获得所述雷达平方距离-时间图像r2tm的方法包括：通过对矩阵φr(ts，n)取绝对值，并将其转换为伪彩色图像，可以得到rtm。采用自适应直方图均衡算法实现rtm的对比度增强。然后，通过插值将rtm的距离维度从线性轴拉伸到平方轴，得到r2tm；其中，在插值过程中，使用间隔填充算法，在垂直坐标上用存在像素信息的顺序的灰度值填充空的距离单元。

9、较佳的，所述步骤s1中，获得所述平方多普勒-时间图像d2tm的方法包括：沿着快时间维度对距离-时间矩阵φr(ts，n)进行求和，并在慢时间维度上执行短时傅里叶变换来生成dtm，然后对dtm进行对比度增强、伪彩色映射和垂直坐标轴拉伸来生成d2tm，其中，在拉伸过程中，将图像沿着零多普勒轴裁剪成两个半矩阵，并进行分别的间隔填充。

10、较佳的，所述利用高斯差分卷积滤波器提取仿真的雷达平方距离一时间图像以及平方多普勒-时间图像上的微多普勒角点监督标签的方法包括：

11、假设输入的r2tm和d2tm均统一为变量i(x，y)，其中x和y表示水平和垂直两个图像空间尺度；高斯核的定义如下：

12、

13、其中，σ是高斯核的标准差；据此，高斯差分卷积核表示为：

14、

15、其中，k＝1，2，3，...，k，表示一个尺度集的图像缩放金字塔层数，表示拉普拉斯算子；

16、对i(x，y)进行高斯差分卷积，并在多个尺度集上进行非极大值抑制：

17、

18、其中，*代表图像卷积算子。对于某个尺度集内的每个图像，在最大值对应的矩形窗口内选择中心点作为角点的坐标。通过遍历各个尺度集，在不同的图像尺度集下获得了一系列的角点坐标，作为μ d-cornerdet模块的训练监督标签。

19、较佳的，在r2tm和d2tm中，所得的微多普勒角点特征剔除以下坐标范围的角点：(1)r2tm[0：0.09m2，：]，(2)d2tm[-4.5：4.5hz2，：]；根据上述标准，从高斯差分卷积结果中选择并存储有效的二维坐标形式的角点特征。

20、较佳的，所述利用监督标签训练μ d-cornerdet模型的方法包括：

21、μ d-cornerdet模块使用resnet-101作为主干网络，使用下采样特征金字塔网络和上采样特征金字塔网络作为连接部分，并使用全连接层作为分类和回归的头部，具体方案如下：

22、主干网络输入实测的r2tm和d2tm图像，通过伪彩色图映射的方式变换为3通道，并统一缩放为224×224尺度。将输入图像经过大小为7×7，通道数为64的卷积层处理，得到输入特征图；

23、将特征图分别通过大小为1×1、3×3和1×1，通道数为64、64、256的卷积层处理，并将处理结果和输入特征图相加得到输出特征图，以此作为resnet-101中的一个一级处理模块；将上述一级处理模块重复三次，得到resnet-101中的一个二级处理单元。接下来，将二级处理单元顺序堆叠，每次堆叠时处理单元各层中的卷积通道数均为上次堆叠对应层卷积通道数的一倍，如此重复四次；最后顺序连接平均池化层，得到主干网络；

24、上采样特征金字塔网络空间尺度从大到小的各个层与resnet-101主干中四个二级处理单元按其排列顺序一一对应，各个层为对应的二级处理单元的输入特征图沿通道维拼接得到；下采样特征金字塔网络空间尺度从大到小的各个层与resnet-101主干中四个二级处理单元按其排列顺序一一对应，各个层为对应的二级处理单元的输入特征图沿通道维反序拼接得到。上采样特征金字塔网络中，每一层的图像均经过可变形卷积模块dcn处理，每一层的处理结果与下一层的输入均直接求和；下采样特征金字塔网络中，每一层的图像同样均经过可变形卷积模块dcn处理，每一层的处理结果与上一层的输入均直接求和；

25、接着，下采样特征金字塔网络与上采样特征金字塔网络各层的输出经过可学习全局注意力模块lrga处理后，再将对应两层的处理结果进行层间通道维拼接操作，得到一层特征，由此形成一个拼接特征金字塔，通过领域自适应可变形卷积网络模块tdcn进行层间连接，每一层中来自上采样特征金字塔网络和下采样特征金字塔网络的图像均经过tdcn处理，并逐层求和，由此实现将该拼接后的特征金字塔映射到头部模块中，进行分类和二维坐标回归。

26、较佳的，头部模块的分类和二维坐标回归由全连接层实现；在回归分支中，输出节点的数量对应于所需微多普勒角点数量的两倍，其输出包含角点的水平和垂直坐标(x，y)的两个协变量；分类分支的输出结果是一个二进制值，其中1表示它是一个所需的角点，而0表示它是由高斯差分卷积模块滤除的不需要的角点；训练过程中，两个分支的全连接层参数同时进行优化；

27、分类分支的训练使用交叉熵损失函数进行实现；回归分支的训练使用最小均方误差损失函数实现。

28、较佳的，推理过程中，通过网络逐层的顺序迭代，同时给出r2tm和d2tm上的角点坐标以及角点的类型，保留分类分支输出为1的角点，剔除分类分支输出为0的角点。

29、一种微多普勒角点特征提取方法的装置，其特征在于，包括：图像处理模块、特征提取模块以及预测模块；

30、所述图像处理模块用于实现所述步骤1的方法；

31、所述特征提取模块用于实现所述步骤2的方法；

32、所述预测模块用于实现所述步骤3的方法。

33、本发明具有如下有益效果：

34、本发明公开的一种自适应微多普勒角点特征提取方法及装置，能够实现较高的微多普勒角点特征提取准确率，且由于其子模块的搭建方法基于监督-非监督模型、多尺度网络等技术，使得算法整体的训练和预测对低信噪比的穿墙雷达数据具备鲁棒性，为系统部署及复杂场景下的人体行为特征提取提供了可能。

35、本发明公开的一种自适应微多普勒角点特征提取方法及装置，有别于传统的穿墙雷达人体运动特征提取及行为识别技术。该技术无需直接接触人体，通过墙壁传输的穿墙雷达信号即可实现对人体行为的识别。相比传统摄像头等需要直接观察人体的方法，这种非接触式的特点可以在隐私保护和安全性方面具有优势；

36、本发明公开的一种自适应微多普勒角点特征提取方法及装置，有别于传统的穿墙雷达人体运动特征提取及行为识别技术。该技术所用的穿墙雷达信号具有较强的穿透能力，可以穿过双层空心砖墙等较厚非金属障碍材质，实现对墙壁后的人体行为的监测和识别。这使得该技术在复杂城市楼宇环境中仍然能够有效工作，不受墙壁遮挡的限制；

37、本发明公开的一种自适应微多普勒角点特征提取方法及装置，有别于传统的穿墙雷达人体运动特征提取及行为识别技术。该技术基于微多普勒角点特征的穿墙雷达人体行为识别技术能够实时地对人体行为进行监测和识别。穿墙雷达信号的超宽带特性使得其对变化较快的人体动作具有较高的捕捉能力，并且相对稳定，不受光照、天气等环境因素的干扰；

38、本发明公开的一种自适应微多普勒角点特征提取方法及装置，有别于传统的穿墙雷达人体运动特征提取及行为识别技术。该技术由于基于微多普勒角点特征的穿墙雷达人体行为识别技术主要依赖雷达信号的特征提取和分析，相对于图像处理等传感器技术，其对于光线、阴影、色彩等因素的干扰较小，因此具有较高的准确性、鲁棒性；

39、本发明公开的一种自适应微多普勒角点特征提取方法及装置，有别于传统的穿墙雷达人体运动特征提取及行为识别技术。该技术相比于摄像头等视觉传感器，该技术在人体行为识别时不涉及图像和面部特征，更加注重人体运动的检测和分析。这种特点可以在一定程度上减少对个人隐私的侵犯，保护用户的隐私权。