基于多频多域深度学习的雷达步态识别方法与流程

本发明涉及一种分类方法，尤其涉及一种基于多频多域深度学习的雷达步态识别方法。
背景技术：
：在人体步态识别领域，雷达式的人体步态识别具有全天时、全天候、可远距离探测的优点。目前雷达式人体步态识别方法中，通常是对单频连续波雷达的回波数据进行时频分析，得到人体步态的时频域微多普勒谱图，从谱图中人工提取人体步态参数，用传统机器学习的方法来进行步态分类。上述基于单频率时频域微多普勒谱图的识别方法存在两个主要的不足之处：其一，单频率谱图只能得到某一频率下的人体步态特征，然而人体对不同频率的电磁波有着不同的散射特性，所以单频率的回波数据对步态的反映不够全面。其二，仅从时频域提取特征，忽视了原始人体雷达回波中蕴含的时域深层次信息，无法提高识别的准确率。技术实现要素：本发明的目的就在于提供一种解决上述问题，利用频率步进连续波雷达采集步态信息，将分别得到每类步态的多频率时频域微多普勒谱图和时域距离像，再利用多个卷积神经网络分别提取各自特征结合成新的特征向量训练分类器，从而得到识别精度高，抗噪性能好的雷达步态识别方法。为了实现上述目的，本发明采用的技术方案是这样的：一种基于多频多域深度学习的雷达步态识别方法，包括以下步骤：(1)采用频率步进连续波雷达对人体多种不同步态进行n次采样，记录每次采样的步态类别，每次采样得到一个步态样本，所述样本为n×m的矩阵，其中，n为采样周期个数，m为一个采样周期中步进频率的个数，n次采样得到一数据集x,x＝{xi∈rn×m|i＝1,2,…,n}所述r表示实数，n×m为矩阵维数，xi为x中第i个样本；(2)将每个xi的每一列的数据进行平均对消运动滤波，得到矩阵pi，则数据集x中所有样本进行平均对消运动滤波后构成数据集pp＝{pi∈rn×m|i＝1,2,…,n}；(3)将每个pi的每一列数据进行短时傅里叶变换，得到m个频率的时频域谱图则数据集p中所有样本的时频域谱图集合为其中表示第i个样本的第j个频率的时频域谱图；(4)用均值哈希算法计算得到g1中m个频率时频域谱图的哈希值hj(j＝1,2,…,m)，并分别计算h1与hj(j＝2,3,…,m)之间的汉明距离，将汉明距离值小于5的时频域谱图分为同一组，一共得到q组时频域谱图，并记录同一组内的频率下标，将g2,g3，…，gn中的时频域谱图按此频率下标分组，分组完成后，将同一组内的多张时频域谱图组合成一张多通道的高维时频域谱图，得到则g中所有样本的高维时频域谱图为(5)将步骤(1)中每个xi的每一行的数据进行ifft变换，形成快慢时间数据平面,记为qi，qi∈rn×m；(6)对qi沿慢时间进行双脉冲运动滤波，运动滤波后的矩阵即为时域距离像ri，则x中n个样本的时域距离像数据集合为r，r＝{ri|i＝1,2,…,n}；(7)建立一用于提取步骤(4)f中高维时频域谱图特征的第一卷积神经网络和一用于提取步骤(6)r中时域距离像的第二卷积神经网络；对f中每张高维时频域谱图按步态类别标记，送入第一卷积神经网络训练得到第一训练模型，再将fi中q张高维时频域谱图输入第一训练模型中，获取全连接层输出的用于分类的的特征向量ui，ui的大小为200×q；则f中输出的所有特征向量u,u＝{ui|i＝1,2,…,n}；将r中每张时域距离像的步态类别进行标记，并将其以f中fi的样本顺序送入卷积神经网络训练得到第二训练模型，再次将ri输入第二训练模型中，获取全连接层输出的用于分类的特征向量vi,vi的大小为100×1；则r中所有的时域距离像的特征输出为v，v＝{vi|i＝1,2,…,n}；(8)将ui每行依次连接得到(200×q)×1的一维向量，并将其与vi进行连接得到一(200×q+100)×1的一维向量ci,则ui和vi拼接得到所有特征向量c,c＝{ci∈r(200×q+100)×1|i＝1,2,…,n}(9)建立一个稀疏自编码器网络，并在其后连接一个softmax分类器，将c输入稀疏自编码器网络和softmax分类器中训练，得到能识别步态类别类模型。作为优选：所述步骤(2)中，采用下式进行平均对消运动滤波，作为优选：所述步骤(6)中，采用下式进行双脉冲运动滤波，qi(x,y)＝ri(x+1,y)-ri(x,y)x＝1,2,...,n-1,y＝1,2,...,m。与现有技术相比，本发明的优点在于：本发明中，通过频率步进连续波雷达采集步态样本，得到数据集x，再利用步骤(2)(3)(4)对数据集x进行处理，得到所有样本的高维时频域谱图f，利用步骤(5)(6)对数据集x进行处理，得到所有样本的时域距离像数据集合r；构建一提取f中高维时频域谱图特征的第一卷积神经网络和提取r中时域距离像特征的第二卷积神经网络；第一、第二卷积神经网络均为cnn，包括卷积层、池化层、全连接层，和softmax分类器；其中softmax分类器的作用是接收全连接层的数据，提取特征向量，并根据特征向量输出分类结果；所以步骤(7)中，不仅要利用f和r对第一、第二卷积神经网络进行训练，训练完成后，再次输入f和r，得到对应的特征向量u和特征向量v；利用步骤(8)将特征向量u和特征向量v融合得到新的特征向量c,此时得到的新的特征向量c,能更完整的获得时频域谱图和时域距离像的特征信息，同时也避免了复杂的图像处理和特征提取过程，并将其传入到稀疏自编码神经网络去除无用的特征，把处理好的特征向量输入到分类器中完成分类。本发明的好处是分别用卷积神经网络来提取多频率时频域微多普勒谱图和时域距离像的信息，然后综合用于步态的识别，具有识别精度高，抗噪性能好等优势，因此具有更高的实用性。经过本方法构建了一种基于频率步进连续波雷达的步态识别模型，并通过该模型输出高精度的步态类别。附图说明图1为本发明中频率步进连续波雷采集的步态样本矩阵；图2为数据集x的矩阵分布示意图；图3为本发明第一卷积神经网络的一种结构图；图4为本发明第二卷积神经网络的一种结构图；图5为本发明中稀疏自编码网络的一种结构图；图6为实施例2中采集到正常行走的步态经步骤(3)处理后的时频域谱图；图7为实施例2中采集到弓腰行走的步态经步骤(3)处理后的时频域谱图；图8为实施例2中采集到匍匐前进的步态经步骤(3)处理后的时频域谱图；图9为实施例2中正常行走的步态经步骤(6)处理后的时域距离像；图10为实施例2中弓腰行走的步态经步骤(6)处理后的时域距离像；图11为实施例2中匍匐前进的步态经步骤(6)处理后的时域距离像。图12为第一卷积神经网络训练结果；图13为第二卷积神经网络训练结果；图14为稀疏自编码及其。连接的softmax分类器训练结果。具体实施方式下面将结合附图对本发明作进一步说明。实施例1：参见图1到图5，一种基于多频多域深度学习的雷达步态识别方法，包括以下步骤：(1)采用频率步进连续波雷达对人体多种不同步态进行n次采样，记录每次采样的步态类别，每次采样得到一个步态样本，所述样本为n×m的矩阵，其中，n为采样周期个数，m为一个采样周期中步进频率的个数，n次采样得到一数据集x,x＝{xi∈rn×m|i＝1,2,…,n}所述r表示实数，n×m为矩阵维数，xi为x中第i个样本；假设频率步进连续波雷达的频率为f1，步进为df，一个周期采样具体可参见图1。(2)将每个xi的每一列的数据进行平均对消运动滤波，得到矩阵pi，则数据集x中所有样本进行平均对消运动滤波后构成数据集pp＝{pi∈rn×m|i＝1,2,…,n}；(3)将每个pi的每一列数据进行短时傅里叶变换，得到m个频率的时频域谱图则数据集p中所有样本的时频域谱图集合为其中表示第i个样本的第j个频率的时频域谱图；(4)用均值哈希算法计算得到g1中m个频率时频域谱图的哈希值hj(j＝1,2,…,m)，并分别计算h1与hj(j＝2,3,…,m)之间的汉明距离，将汉明距离值小于5的时频域谱图分为同一组，一共得到q组时频域谱图，并记录同一组内的频率下标，将g2,g3，...，gn中的时频域谱图按此频率下标分组，分组完成后，将同一组内的多张时频域谱图组合成一张多通道的高维时频域谱图，得到则g中所有样本的高维时频域谱图为(5)将步骤(1)中每个xi的每一行的数据进行ifft变换，形成快慢时间数据平面,记为qi，qi∈rn×m；(6)对qi沿慢时间进行双脉冲运动滤波，运动滤波后的矩阵即为时域距离像ri，则x中n个样本的时域距离像数据集合为r，r＝{ri|i＝1,2,…,n}；(7)建立一用于提取步骤(4)f中高维时频域谱图特征的第一卷积神经网络和一用于提取步骤(6)r中时域距离像的第二卷积神经网络；对f中每张高维时频域谱图按步态类别标记，送入第一卷积神经网络训练得到第一训练模型，再将fi中q张高维时频域谱图输入第一训练模型中，获取全连接层输出的用于分类的的特征向量ui，ui的大小为200×q；则f中输出的所有特征向量u,u＝{ui|i＝1,2,…,n}；将r中每张时域距离像的步态类别进行标记，并将其以f中fi的样本顺序送入卷积神经网络训练得到第二训练模型，再次将ri输入第二训练模型中，获取全连接层输出的用于分类的特征向量vi,vi的大小为100×1；则r中所有的时域距离像的特征输出为v，v＝{vi|i＝1,2,…,n}；(8)将ui每行依次连接得到(200×q)×1的一维向量，并将其与vi进行连接得到一(200×q+100)×1的一维向量ci,则ui和vi拼接得到所有特征向量c,c＝{ci∈r(200×q+100)×1|i＝1,2,…,n}(9)建立一个稀疏自编码器网络，并在其后连接一个softmax分类器，将c输入稀疏自编码器网络和softmax分类器中训练，得到能识别步态类别类模型。本实施例中：所述步骤(2)中，采用下式进行平均对消运动滤波，所述步骤(6)中，采用下式进行双脉冲运动滤波，qi(x,y)＝ri(x+1,y)-ri(x,y)x＝1,2,...,n-1,y＝1,2,...,m。进行未知步态识别的时候，将待识别的步态样本执行步骤(2)(3)(4)输入第一卷积神经网络和执行步骤(5)(6)输入第二卷积神经网络，然后两个卷积神经网络的输出向量特征按步骤(8)方式拼接后输入步骤(9)中的稀疏自编码网络及其softmax分类器,即可得到样本的步态类别。本发明利用频率步进连续波雷达多次采样，得到人体不同步态的样本，对每个样本分别处理得到多频率时频域微多普勒谱图和时域距离像，再将多频率时频域谱图按相似度分组，然后将同一组时频域谱图组合为一多通道的高维时频域谱图，并运用多个卷积神经网络来分别提取多组高维时频域谱图和时域距离像的分类特征向量，将提取的多组时频域特征和时域特征结合为一个新的特征向量，并将其传入到稀疏自编码神经网络去除无用特征后输入到分类器中完成分类训练。实施例2：参见图1到图11。(1选定一开阔区域，设置好雷达，所述雷达为100个步进频率的频率步进连续波雷达，为了获得最佳的实验结果，我们每种步态的测量时间为200个脉冲重复周期共6秒。雷达采集到的样本为200×100的矩阵，一人在雷达的探测方向上分别以正常行走、弓腰行走，匍匐前进三种步态行进。每种步态分别采集1000次，一共得到3000个步态样本，3000个步态样本随机排序，组合成数据集x,,其中xi表示第i个样本i＝1,2,...,3000。(2)对每个xi的每一列的数据进行平均对消运动滤波，矩阵中同一列信号，其载波频率是相同的，这样可以抑制固定目标和慢速杂波，保留运动目标信息，滤波后的矩阵记为pi,则数据集x中所有样本滤波后得到集合p,p＝{pi∈r200×100i|i＝1,2,…,3000}(3)将每个pi的每一列数据进行短时傅里叶变换，得到m个频率的时频域谱图则数据集p中所有样本进行短时傅里叶变换得到时频域谱图集合为其中。表示第i个样本的第j个频率的时频域谱图；参见图6、图7和图8。(4)计算哈希值和汉明距离，将时频域谱图分组，本实施例中，一共得到10组时频域谱图，将同一组内的10张时频域谱图组合成一张10通道的高维时频域谱图，表示第i个样本的第j张高维时频域谱图。则(5)将步骤(1)中每个xi的每一行的数据进行ifft变换，形成快慢时间数据平面,记为qi，qi∈rn×m；(6)对qi沿慢时间进行双脉冲运动滤波，运动滤波后的矩阵即为时域距离像ri，则x中n个样本的时域距离像数据集合为r＝{ri|i＝1,2,…,3000}，参见图9、图10、图11。(7)建立一用于提取步骤(4)f中高维时频域谱图特征的第一卷积神经网络和一用于提取步骤(6)r中时域距离像特征的第二卷积神经网络；其中：第一卷积神经网络：其结构由3个卷积层，2个池化层，2个为别为648和200的全连接层，以及一个softmax分类器组成，每个卷积层采用relu激活函数，卷积步长为2。正则函数：l2正则。l2正则：c0表示原始的代价函数，表示l2正则化项；对f中每张高维时频域谱图按步态类别标记，对f中的每一的步态类别进行标记，的步态类别记为的编码采用one_hot编码类别正常行走弓腰行走匍匐前进one_hot编码100010001将其随机排序得到所有高维时频域谱图数据集：s＝{(si,label(si))|i＝1,2,…,10×3000＝30000}，si表示第i张高维时频域谱图。然后按0.8:0.2的比例对s进行随机划分，可以分别获得训练集strain和测试集stest：strain＝{(si,label(si))|i＝1,2,…,0.8×10×3000＝24000}stest＝{(si,label(si))|i＝1,2,…,0.2×10×3000＝6000}用训练集strain和测试集stest分别训练和测试第一卷积神经网络，训练结果如图12，由于卷积神经网络的权值共享性质,该卷积神经网络即可以提取该高维图像特征，其输出分类特征向量为一个200×1的向量。为了获取样本fi的所有特征表达，用10个第一神经网络分别提取这10张高维时频域谱图的特征，得到一个200×10的特征矩阵ui，该矩阵则可表达fi样本的时频域谱图特征。第二卷积神经网络的结构由3个卷积层，2个池化层，2个为别为216和100的全连接层，以及一个softmax分类器组成，每个卷积层采用relu激活函数，卷积步长为2,正则函数：l2正则。ll2正则：c0表示原始的代价函数，表示l2正则化项；对r中的每一ri的步态类别进行标记，ri的步态类别记为label(ri),label(ri)的编码采用one_hot编码：然后将其随机排序得到时域距离像数据集t＝{(ti,label(ti))|i＝1,2,…,3000}然后按0.8:0.2的比例对t进行随机划分，可以分别得到第二卷积神经网络的训练集ttrain和测试集ttest：ttrain＝{(ti,label(ti))|i＝1,2,…,0.8×3000＝2400}ttest＝{(ti,label(ti))|i＝1,2,…,0.2×3000＝600}用时域距离像训练集ttrain和测试集ttest分别训练和测试第二卷积神经网络，其训练结果如图13所示，由于卷积神经网络的权值共享性质，该卷积神经网络即可以提取时域距离像特征，其输出分类特征为一个100×1的向量。将ri分别以fi的样本顺序输入第二卷积神经网络，ri输出结果为一100×1的向量vi，该向量则能表达ri的特征。(8)将ui每行依次连接得一(200×10)×1的一维向量，并将其与vi进行连接得到一(200×10+100)×1的一维向量ci,则ui和vi拼接得到所有特征向量c,c＝{ci∈r(200×10+100)×1|i＝1,2,…,n}同理将c以0.8：0.2的比例划分为训练集ctrain和测试集ctest:ctrain＝{(ci,label(ci))|i＝1,2,…,0.8×3000＝2400}ctest＝{(ci,label(ci))|i＝1,2,…,0.2×3000＝600}(9)建立一个稀疏自编码器网络，并在其后连接一个softmax分类器，将ctrain和ctest输入稀疏自编码器网络和softmax分类器中训练和测试，训练结果如图14，最终得到能识别步态类别的模型。经过该方法得到的模型，可以对未知的步态类别进行精确的识别。识别方法如下：采用频率步进连续波雷达采集步态样本，此时的步态样本为待识别的步态样本，将待识别的步态样本执行步骤(2)(3)(4)输入第一卷积神经网络和执行步骤(5)(6)输入第二卷积神经网络，然后两个卷积神经网络的输出向量特征按步骤(8)方式拼接后输入步骤(9)中的稀疏自编码网络及其softmax分类器,即可得到样本的步态类别。当前第1页12