一种基于SIMO多普勒雷达的多目标动作识别方法

一种基于simo多普勒雷达的多目标动作识别方法
技术领域
1.本发明涉及智能人机交互与人类行为感知领域，特别是涉及一种基于射频设备的多目标行为感知领域。


背景技术：

2.文献“lou,xinye,et al."gesture
‑
radar：enabling natural human
‑
computer interactions with radar
‑
based adaptive and robust arm gesture recognition."2018ieee international conference on systems，man,and cybernetics(smc).ieee,2018.”提出了一种基于单发单收多普勒雷达完成单目标动作识别的方法，该方法基于对多普勒雷达感知原理的深度理解，构建出一套可解释的、低成本且高效的单目标手势识别方案，文献“peng,zhengyu,et al."an fmcw radar sensor for human gesture recognition in the presence of multiple targets."2017first ieee mtt
‑
s international microwave bio conference(imbioc)ieee,2017.”使用fmcw雷达论证了包含距离信息的多普勒雷达在多目标场景下进行手势识别的有效性，文献“goswami,piyali,et al."real
‑
time multi
‑
gesture recognition using 77 ghz fmcw mimo single chip radar."2019 ieee international conference on consumer electronics(icce).ieee,2019.”创新性的使用自研的77ghz高功率多发多收(mimo)fmcw雷达实现了有干扰的手势识别系统，文献“zhao,mingmin，et al."rf
‑
based 3d skeletons."proceedings of the 2018 conference of the acm special interest group on data communication.2018.”则首次使用fmcw雷达阵列实现了室内多目标的动态感知与建模，上述三个文献均利用了fmcw雷达的高分辨率与调频特性，实现了多目标感知或其他高精度的感知任务，但是基于cw调试的普通多普勒雷达不具备这样的特点。文献“j.ma and x.zhang，“blind source separation algorithm based on maximum signal noise ratio,”in proc.1st int.conf.intell.netw.intell.syst.(icinis),nov.2008,pp.625
–
628.”提出了基于最大信噪比的独立成分分析方法，基于此，文献“gu,zhitao,et al."remote blind motion separation using a single
‑
tone simo doppler radar sensor."ieee transactions on geoscience and remote sensing 57.1(2018)：462
‑
472.”创新性的使用自研的单发多收(simo)多普勒雷达验证了其在多目标识别任务重中的可行性，并使用电动滑轨作为测试对象，成功分离了不同滑轨的周期性运动信号。
3.传统的多普勒雷达基于多普勒效应设计，接收的感知信号为运动目标的多普勒频移。该频移仅能表征是否有物体靠近或远离，而不能反应目标的数量、方向、距离等信息。然而，相关技术中并没有形成针对于多普勒雷达的多目标动作识别解决方案，基于对这些工作的学习与研究。


技术实现要素：

4.要解决的技术问题
5.为了避免现有技术的不足之处，本发明提出一种基于simo多普勒雷达的多目标动作识别方法，能够解决传统的基于多普勒雷达的感知系统不具备多目标感知的能力的问题。
6.技术方案
7.一种基于simo多普勒雷达的多目标动作识别方法，其特征在于步骤如下：
8.步骤1：使用单发多收的多普勒雷达采集多个目标的手势动作信号，采集过程中要求双目标位于雷达天线阵列的前方区域；
9.步骤2：对采集到的信号进行端点检测与信号分割；
10.步骤3：基于分割后的信号片段，采用低通滤波滤除高频噪声，并使用离散小波变换进行数据降维；
11.步骤4：使用基于最大信噪比的独立成分分析算法snrica分离两个不同的信号，具体步骤如下：
12.1)本发明使用的雷达设备为单发双收双通道多普勒雷达，因此经过预处理后的信号四个通道分别为i1(t)、i2(t)、q1(t)、q2(t)，将实数域的信号映射到复数域上，令：
[0013][0014]
对x(t)做平滑滤波可得x(t)的估计
[0015]
2)求解
[0016]
3)解矩阵w
est
＝[eig(k2‑1k1)]
*
；则矩阵w
est
为盲信号分离问题模型y＝wx中系数矩阵w的最佳估计；
[0017]
4)解矩阵y＝w
est
x，得出分离后的信号值；其中y可记为：
[0018][0019]
其中即为分离后的双目标运动信号；
[0020]
步骤5：对每个目标各自进行双阶段特征提取，具体如下：
[0021]
首先对分离所得信号进行快速傅里叶变化，对变换后的时频域图提取信号强度最大的包络线，之后采用时间窗口滑动的方法，将每一个动作划分为5个帧，对每个帧的峰值包络提取包括均值、方差、起止点斜率、最大值、最小值在内的特征值计算，作为其动态特征；采用dacm算法对各目标的动作波形进行还原，还原后的动作波形为：
[0022][0023]
还原动作波形后，采用滑动窗口的方法将图像分帧，并在每一帧采集包括均值、方差、最大值、最小值、正负值累加和比率特征；之后对该波形进行处理，叠加每个点之前的相位，即：
[0024][0025]
同样采用滑动窗口的方法将图像分帧，并在每一帧采集包括最小值、最大值、起止点斜率、累加和特征，与动作波形提取的波形合并为静态特征；
[0026]
提取了动态与静态特征之后使用lstm处理每个动作的动态特征，以提取时域上的深层特征；之后，将处理后的特征与静态特征拼接，得到每个目标的特征向量；将两个目标的特征向量拼接后，与全连接层相连；
[0027]
步骤6：将提取到的特征向量作为训练样本，打上标签后输入分类器进行训练，采取同样的步骤获取待识别数据，输入训练好的模型中处理并分类。
[0028]
优选地：步骤1中所述的多普勒雷达为rfbeam klc7。
[0029]
优选地：步骤2使用双门限的端点检测法分割信号段。
[0030]
优选地：步骤3采用均值平滑滤波器处理信号：假设新号段为x(t)，输出信号为y(t)，滤波过程使用公式进行处理。
[0031]
优选地：步骤6中分类器为svm分类器。
[0032]
有益效果
[0033]
本发明提出的一种基于simo多普勒雷达的多目标动作识别方法，解决了智能人机交互与无线感知领域中基于多普勒雷达的感知方案不具备多目标感知的能力的问题。首先使用单发多收的多普勒雷达采集多个目标的手势动作信号，采集到的信号经由上位机接收并录制，交给后续算法处理；然后，对数据进行预处理，包括端点检测与信号分段、低通滤波、离散小波变换等；其次，采用基于最大信噪比的独立成分分析方法分离多目标信号，之后创新地采用双阶段特征提取的方法分别提取各个目标的特征向量，最后使用简单分类器如svm、rf进行训练与分类，并根据分类所得结果判断出每一个被检测目标的手势动作。通过该方式，本发明能够使用多普勒雷达识别多目标运动模式。
[0034]
本发明使用商用设备rfbeam klc7、st200搭建了感知平台，通过实验证实了本发明可实现多目标的周期性滑轨运动的运动模式识别、非周期性手势动作识别，对六种基础手势的多目标手势识别的准确度可达90％。
附图说明
[0035]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0036]
图1为本发明中基于simo多普勒雷达的多目标手势识别系统的框架。
[0037]
图2为系统框架中双阶段特征提取的算法子模块框架图。
[0038]
图3为本发明的实例部署图。
具体实施方式
[0039]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不
用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0040]
本发明采取的技术方案整体分为三个部分。首先需要使用单发多收的多普勒雷达采集多个目标的手势动作信号，采集过程中要求双目标位于雷达天线阵列的前方区域，双目标的相对位置和角度无严格要求，采集到的信号经由上位机接收并录制，交给后续算法处理；在第二个部分，本发明对数据进行预处理，包括端点检测、数据分段、低通滤波、离散小波变换等方法以消除噪声并进行数据降维；之后进入第三个部分，也是本发明的核心部分，首先采用基于最大信噪比的独立成分分析方法分离多目标信号，之后采用双阶段特征提取的方法分别提取各个目标的运动(手势)状态特征：第一，分别提取目标的静态特征与动态特征，提取的过程应用了运动波形还原的dacm算法、快速傅里叶变换fft及时频域分析的方法，第二，将多目标的各自的特征进行加权融合，在特征提取之后，由于分类器不是本发明的重点，因此最后使用简单分类器如svm、rf对处理过后的特征进行训练与分类，并根据分类所得结果判断出每一个被检测目标的手势动作。
[0041]
参照图1，本发明的具体实施步骤如下：
[0042]
步骤一、感知任务的发起者以商用simo多普勒雷达(如rfbeam klc7)和笔记本电脑依照图3部署感知环境。两个人(感知目标)在雷达前方2m左右的位置面向雷达站立，系统正常运行时，同一时刻内两人各自做手势动作，以完成动作信号采集。
[0043]
步骤二、对采集到的信号进行端点检测与信号分割。具体的，本发明使用双门限的端点检测法分割信号段。所用设备采样率为66khz，每帧大小设置为6000(即0.1秒长度)，帧移设置为3000(0.05秒)，如果每个帧表示为x(i)，那么短时过零率sn和短时能量se分别为：
[0044][0045][0046]
公式中t代表过零阈值，依照经验设置为0.015。
[0047]
步骤三、基于分割后的信号片段，采用低通滤波滤除高频噪声，并使用离散小波变换进行数据降维。具体的，本发明采用均值平滑滤波器处理信号。假设新号段为x(t)，输出信号为y(t)，滤波过程使用公式进行处理。
[0048]
对于滤波之后的信号，使用离散小波变换进行数据降维，迭代次数为8次，即离散小波变换的层数为8层。
[0049]
步骤四、前三步骤完成了基本的数据预处理之后，在该步骤使用基于最大信噪比的独立成分分析算法snrica分离两个不同的信号，算法步骤如下：
[0050]
1)本发明使用的雷达设备为单发双收双通道多普勒雷达，因此经过预处理后的信号四个通道分别为i1(t)、i2(t)、q1(t)、q2(t)，将实数域的信号映射到复数域上，令：
[0051]
[0052]
对x(t)做平滑滤波可得x(t)的估计
[0053]
2)求解
[0054]
3)解矩阵w
est
＝[eig(k2‑1k1)]
*
。则矩阵w
est
为盲源信号分离问题模型y＝wx中系数矩阵w的最佳估计；
[0055]
4)解矩阵y＝w
est
x，得出分离后的信号值。其中y可记为：
[0056][0057]
其中即为分离后的双目标运动信号。
[0058]
步骤五、此处使用pca算法对分离后的信号进行滤波，以消除上一步骤信号处理的过程中引入的噪声；
[0059]
步骤六、参照图2对每个目标各自进行双阶段特征提取。
[0060]
首先对分离所得信号进行快速傅里叶变化，对变换后的时频域图提取信号强度最大的包络线，之后采用时间窗口滑动的方法，将每一个动作划分为5个帧，对每个帧的峰值包络提取包括均值、方差、起止点斜率、最大值、最小值等在内的特征值计算，作为其动态特征；我们采用dacm算法对各目标的动作波形进行还原，还原后的动作波形为：
[0061][0062]
还原动作波形后，采用滑动窗口的方法将图像分帧，并在每一帧采集包括均值、方差、最大值、最小值、正负值累加和比率等特征；之后对该波形进行处理，叠加每个点之前的相位，即：
[0063][0064]
同样采用滑动窗口的方法将图像分帧，并在每一帧采集包括最小值、最大值、起止点斜率、累加和等特征，与动作波形提取的波形合并为静态特征。
[0065]
提取了动态与静态特征之后使用lstm处理每个动作的动态特征，以提取时域上的深层特征。之后，将处理后的特征与静态特征拼接，得到每个目标的特征向量。将两个目标的特征向量拼接后，与全连接层相连，以达到特征信息补充的作用。
[0066]
步骤七、将提取到的特征向量作为训练样本，打上标签后输入简单分类器(如随机森林)进行训练，采取同样的步骤获取待识别数据，输入训练好的模型中处理并分类。
[0067]
至此，即可实现基于simo多普勒雷达的多目标动作识别方案。
[0068]
本发明为基于多普勒雷达进行多目标识别的新兴技术，针对多普雷雷达的多目标识别性能瓶颈做出了针对性的创新，结合盲源信号分离领域的研究成果与适应性的特征提取方案，仅仅使用简单分类器就可以实现高效的多目标动作识别解决方案。
[0069]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替
换，这些修改或替换都应涵盖在本发明的保护范围之内。