一种基于自组织映射网络的穿墙雷达人体动作表征方法与流程

本发明涉及穿墙雷达人体动作表征
技术领域：
，特别是针对墙体等非透明障碍物后隐蔽人体目标动作表征问题。
背景技术：
：穿墙雷达人体动作表征在摔倒检测、安全监控、反恐行动和人质救援等领域具有重要应用价值。国内外许多研究机构开展了穿墙雷达人体动作表征的研究，也提出了一系列人体动作的表征方式。清华大学g.li教授团队利用多基雷达对人体动作进行采集，得到对应的微多普勒特征，并提出了基于深度卷积神经网络的人员识别及步态分类方法(z.chen,g.li,f.fioranelli,etal.personnelrecognitionandgaitclassificationbasedonmultistaticmicro-dopplersignaturesusingdeepconvolutionalneuralnetworks[j].ieeegeoscienceandremotesensingletters,2018:1-5)。美国维纳诺瓦大学m.amin教授团队研究了基于雷达的老人摔倒检测方法和技术，通过利用短时傅里叶变换和小波变换等线性和双线性时频分析方法，获得摔倒特征并完成摔倒动作的识别(m.amin,y.zhang,f.ahmad,etal.radarsignalprocessingforelderlyfalldetection:thefutureforin-homemonitoring[j].ieeesignalprocessingmagazine,2016,33(2):71-80)。美国密苏里州密苏里哥伦比亚欧洲经委会部的研究人员使用了倒谱系数(mfcc)来表示各种人类活动的多普勒特征，如行走、弯腰、跌倒等，利用svm和knn等两种不同的分类器，根据提取的mfcc特征自动检测跌倒动作(l.liu,m.popescu,m.skubic,etal.automaticfalldetectionbasedondopplerradarmotionsignature[c].internationalconferenceonpervasivecomputingtechnologiesforhealthcareandworkshops,dublin,ireland,2011,222-225)。上述研究均使用信号变换方法，通过将原始雷达信号转换到各种不同信号域，如多普勒域、小波域和倒谱域，将穿墙人体动作回波分解为几个较为简单的分量表示。然而这些分量可能丢失了一些很难被检测到的基本特征，因此不能很好地代表人体动作的内在特征。技术实现要素：本发明为解决穿墙雷达人体动作表征问题，提出了一种基于自编码自组织映射网络的穿墙人体动作新的表征方法。首先，对原始距离像数据进行预处理，使其满足深度学习的训练数据集条件。然后使用具有三个全连接层的自动编码器网络(autoencodernetwork，aen)来降低距离像数据维度并提取距离像特征，最后，使用自组织映射(selforganizedmapping，som)网络将训练好的aen连接起来，以建立隐蔽人体动作瞬时姿态的索引映射，将穿墙人体动作的时序距离像数据转换为包含运动语义信息的整数序列。本发明技术方案如下：一种基于自组织映射网络的穿墙雷达人体动作表征方法，包括以下步骤：步骤1：雷达回波数据处理步骤1.1、雷达回波信号建模使用一发一收穿墙雷达探测隐藏在厚度为的墙壁后的单个人体目标的动作，一发一收穿墙雷达发射的步进频率波形为s(t)，其表达式为其中，k表示步进频信号的频点总数，k表示步进频信号的频点数，t表示每个频点的持续时间，f0表示起始频率，δf表示频率步进，函数rect(·)为于是，t时刻距离雷达rtar处目标反射回波表示为其中，p表示目标体表面上p个强散射中的第p个散射点，σp表示第p个强散射点的散射强度，τp表示第p个强散射点和雷达之间的往返时间延迟，ψ(t)表示杂波和噪声；将sr(t)与s(t)进行混频，滤除二阶和高阶谐波频率后，以区间t对所得结果进行采样，得到如下离散向量sr＝[sr,0,sr,1,…,sr,k-1]t(4)其中ψk表示第k次采样时的杂波和噪声；将公式(4)中的sr通过汉明窗以抑制距离旁瓣电平，以间隔δf从0hz填充到f0hz之后，对其进行n点快速逆傅立叶变换，得到一个慢时间周期的距离像(下面均简称为单周期距离像)，表示为srp＝[srp(0),srp(1),…,srp(n-1)]t(6)其中表示第n个距离单元对应的距离像数据，n表示距离向单元的索引数，取值范围为[0,n-1]，k0表示从0hz到f0hz的0填充数，n表示快速逆傅立叶变换的总点数。步骤1.2、在步骤1.1得到的单周期距离像的基础上，采用动目标检测(movingtargetindicator，mti)算法、归一化处理和阈值化方法来提高距离像数据的信噪比(signal-noiseratio,snr)，阈值门限可由下式计算得到：其中，表示噪声最大分贝值，表示所有样本数据的最大分贝值，表示所有样本数据的最小分贝值；步骤1.3、单周期距离像距离截断：为降低计算量并使数据满足实际需要，将单周期距离像进行截取，截取点数应被计算为其中，nd表示截取的距离像点数，rtar,max表示隐蔽人体目标动作的最远发生距离，rradar,max表示穿墙雷达最远可探测的单程距离，n表示快速逆傅立叶变换的总点数；步骤2：基于aen的距离像数据特征预提取；由于隐蔽人体动作随时间变化，于是每个慢时间时刻的人体姿态都对应一个单周期距离像，所以整个人体动作对应着多周期距离像。进一步地，由于每个单周期距离像都包含数百个甚至更多的距离单元，使得单周期距离像具有较高的数据处理维度，因此需要对预处理后的每个单周期距离像数据进行降维处理。为了尽可能地挖掘单周期距离像中人体姿态信息且避免重要信息丢失，本发明利用aen对单周期距离像进行姿态特征预提取；步骤2.1、训练aen网络：使用多层全连接层构造aen，包括编码子网络部分和解码子网络部分。两个部分在结构上镜像对称，且共享一个称为特征层的公共层。当输入单周期距离像动作数据时，编码子网络将数据与网络中的权重参数作用生成编码特征并从特征成输出，然后该编码特征又经解码子网络与网络中的权重参数作用试图恢复原始单周期距离像动作数据。因此通过调整aen中的权重参数，使aen的输出与输入间的误差最小，即可在特征层得到单周期距离像动作数据的有效低维特征表示；设第m个慢时间周期距离像表示为将其输入到aen，那么aen中第l个隐藏层的输出表示为其中，和分别表示第l个隐藏层的输入和输出，且w[l-1,l]表示第l-1和第l个隐藏层之间的连接权重矩阵；b[l-1,l]表示第l隐藏层中的偏置向量；f表示激活函数，且选择relu函数作为激活函数，表示为因此，aen的训练过程等价于求解以下优化问题其中，w和b分别表示aen中的所有权重和所有偏差向量；函数dist(x,y)表示x和y之间的距离，通常使用均方误差(meansquarederror，mse)函数，表示为aen(srp[m],w,b)表示在w和b条件下输入srp[m]的估计；步骤2.2、aen网络训练完成后，只保留aen的编码子网络部分，通过获取对应的aen特征层输出，实现单周期距离像动作数据的降维和特征提取；步骤3：基于som网络的人体动作类型的时序表征通过预训练的aen提取特征后，将单周期距离像转化为低维特征表示形式。因此，隐蔽人体动作对应的多周期距离像就转化为了对应一系列低维特征向量的时间序列表示形式。由于这些特征向量在数值上是连续的，其所在的对应特征空间是有限维连续空间。但是同一种动作在相邻慢时间周期的隐蔽人体动作姿态具有相似性，并且隐蔽人体动作类型是离散的，因此，本发明利用som网络将连续特征空间映射到另一个新的有限维离散空间，使相似姿态特征用统一的特征表示，从而进一步简化穿墙人体动作的表征，凸显动作随时间状态的转移特性。som网络是一种利用竞争机制学习输入数据拓扑结构的无监督学习方法。som网络由单个输入层和单个竞争层构成，两层之间通过大量的权连接完全连接，每个权连接的维数等于som网络输入的维数。竞争层是由在二维平面上排列成阵列形式的多个神经元组成的，这些神经元相互竞争，即som网络竞争层中只有一个神经元被输入向量激活，其余神经元全部被抑制。具有相似特征的输入会激活竞争层中距离较近的神经元，而具有不同特征的输入会激活竞争层中距离较远的神经元，因此，som网络本质上是一种聚类方法，即对提取的单周期距离像特征向量进行聚类，并以聚类中心神经元所在二维平面中的坐标进行表示。步骤3.1、训练som网络：设由从训练的aen中提取的距离分布特征向量组成的数据集包含m个样本；数据：训练数据集xm，训练数据集中的样本数量m；输入：竞争层的大小l＝q×q，迭代次数i，学习衰减率η；输出：som网络的权重w；s1.随机初始化wj(i)，其中j＝1,…,l,i＝0；s2.初始化学习率α(i)＝1,i＝0；s3.初始化邻近尺度σλ(i)＝q/2,i＝0；s4.对于第i次迭代，进行如下处理：s5.从xm中随机取出一个数据样本x(i)；s6.求解s7.更新学习率α(i)＝α(0)e-η(i-1)；s8.更新邻域函数λ(j,j*(i),i)；s9.计算误差s10.更新权重s11.对步骤s5～s10循环迭代i次。其中，j*(i)称为第i次迭代期间的最佳匹配单元(bestmatchingunit，bmu)，其连接的权重向量与第i次迭代的输入数据最相似；为了进一步减小bmu的权向量与输入数据之间的误差，权值更新过程根据s9表示的误差调整当前权值；由于bmu的权重与更远的神经元的权重差异越来越大，只更新bmu附近可调距离范围内的神经元的权重向量，这在s8中表示为邻域函数λ(j,j*(i),i)；通常，λ(j,j*(i),i)被指定为高斯函数，表示为：其中然后，根据s10所示的步骤更新权重向量，并在i次迭代后获得最终权重；步骤3.2、在训练som网络之后，将步骤2中aen提取的距离像特征向量转移到竞争层中bmu的坐标上，通过训练好的som网络将距离像特征向量映射出两个相似的动作能够被翻译成两个具有相似语义的句子，并被显示为两个相似的空间三维轨迹。本发明的有益效果是：本发明提出了一种基于自编码自组织映射网络的穿墙人体动作表征方法，类似于自然语言，将每个单周期距离像视为一个单词，将多时间帧隐藏的人体动作距离像数据视为一个句子，从而将穿墙人体运动的回波信号解释为具有运动语义的简单整数序列，简化并保持穿墙人体动作表示的有效性。附图说明图1为一发一收穿墙雷达探测墙后的人体动作场景示意图；图2为基于自编码自组织映射网络的穿墙人体动作表征框架示意图；图3为自编码网络结构示意图；图4为自组织映射网络结构示意图；图5为具体实施方式中实验场景示意图；图6为具体实施方式中四种类型动作的距离像示例，(a)拳击；(b)不摆动手臂的抬腿运动；(c)拾取；(d)两只手臂平行升降；图7为具体实施方式中四种类型动作的原始距离像及aen估计输出距离像和特征提取的示例；(a)～(d)为拳击、不摆动手臂的抬腿运动、拾取以及两只手臂平行升降四种动作的原始距离像；(e)～(h)是训练后的aen对(a)～(d)的估计输出距离像；(i)～(l)是对应于(a)～(d)的学习到的16维距离像特征向量；图8为四种类型动作的最终顺序表示和相对应的原始距离像的测试示例，(a)～(d)为拳击、不摆动手臂的抬腿运动、拾取以及两只手臂平行升降四种动作的原始距离像；(e)～(h)是在三维空间中可视化的(a)～(d)的相应转移整数序列。具体实施方式下面根据一个具体的实验数据给出本发明的具体实施方式：具体实施方式使用一种自行研制的一发一收穿墙雷达，通过发射频率为1.6ghz至2.2ghz步进频信号来进行穿墙人体动作探测。在电子科技大学的科研楼a进行数据采集，建立数据集。试验场景如图5所示。邀请4名志愿者进行数据采集，在雷达的视线范围内，站在距离墙体1.5米处位置，进行以下四种运动：(a)拳击；(b)不摆动手臂的抬腿运动；(c)弯腰拾取；(d)两只手臂平行升降。图6给出了四种类型动作的距离像示例。每个实验人员将每个动作重复54次，每次动作的持续时间不同，对雷达回波预处理后得到相应的距离像数据。步骤1：雷达回波数据处理步骤1.1、雷达回波信号建模假设使用一发一收穿墙雷达探测隐藏在厚度为dw＝70cm的墙壁后的单个人体目标的运动，一发一收穿墙雷达发射的步进频信号频点总数k＝301，每个频点的持续时间t＝100μs，起始频率f0＝1.6ghz，频率步进δf＝2mhz，发射的步进频信号波形s(t)的表达式为其中，函数rect(·)为于是t时刻距离雷达rtar处目标反射回波可以表示为将sr(t)与s(t)进行混频，滤除二阶和高阶谐波频率后，以区间t＝10-4s对所得结果进行采样，得到如下离散向量sr＝[sr,0,sr,1,…,sr,300]t(19)其中ψk表示第k次采样时的杂波和噪声。将公式(18)中的sr(t)通过汉明窗以抑制旁瓣电平，并以间隔δf＝2mhz从0hz填充到f0＝1.6ghz，填充数k0＝f0/δf＝1.6ghz/2mhz＝800，对其进行n＝8192点快速傅立叶逆变换，得到慢时间维的单周期距离像。步骤1.2、在步骤1.1得到的距离像基础上，采用mti算法、归一化处理和阈值化方法来提高距离像数据的信噪比。在采集到的样本数据库中，阈值门限设置为：此外，为了使框架生成的动作表征具有鲁棒性，在原始雷达回波中加入11个不同级别的加性高斯白噪声进行数据增强，将信噪比从8db扩展到18db，区间为1db。因此，数据集包含了(1+11)×54×4×4＝10368个样本。步骤1.3、单周期距离像距离截断：由于每个测试目标在1.5m的距离处执行每个动作类型，执行8192点快速逆傅里叶变换，为降低计算量并使数据满足实际需要，将每个示例的距离像周期截断到512个距离像元中。截取点数与实际距离的对应关系为步骤2：基于aen的距离像数据特征预提取将采集到的数据集分成一个包含8448个示例的训练子数据集xm和一个包含1920个示例的测试子数据集。构造一个aen来降低预处理后的距离像维度，并进行特征提取。采用四叉交叉验证的方法来选择aen中合适的超参数。对于aen的训练，选取学习率为1.0的adadelta算法作为优化器，选取mse函数作为原始距离像数据与aen估计结果之间的损失。最后选取最佳超参数为：编码密集层为3层，每层对应256、128、64个神经元；特征层为1层，每层对应16个神经元。图7示出了四个运动类别的转移的低维距离像的示例。在图7中，每个距离像都被转换成固定和较短长度的向量，类似的特征也对应于类似的距离像。因此，aen能够减小原始距离像的尺寸，而不会显著损失信息。步骤3：基于som网络的人体动作类型的时序表征将som网络中竞争层的尺寸设计为5×5，因为更大的尺寸会带来巨大的计算消耗和模式分裂问题。另一方面，较小的尺寸使得som网络具有较低的模式识别能力。使用从aen中提取的与训练数据相对应的特征作为输入，并利用tensorflow在两个nvidiageforcegtx1080tigpu上构建一个图形，每个图形具有11gb内存，以增强构建的som网络的训练过程。数据：训练子数据集xm，训练数据集中的样本数量m＝8448；输入：竞争层的大小l＝5×5，迭代次数i＝500，学习衰减率η＝1；输出：som网络的权重w；s1.随机初始化wj(i)，其中j＝1,…,l,i＝0；s2.初始化学习率α(i)＝1,i＝0；s3.初始化邻近尺度σλ(i)＝5/2,i＝0；s4.对于第i次迭代：s5.从xm中随机取出一个数据样本x(i)；s6.求解s7.更新学习率α(i)＝α(0)e-η(i-1)；s8.更新邻域函数λ(j,j*(i),i)；s9.计算误差s10.更新权重s11.对步骤s5～s10循环迭代i次。在训练期间，最大历元设置为500，初始学习率设置为1.0。经过500次训练，som网络已经了解了任意两个距离像之间的相似性，并为每个原始距离像数据建立了索引。因此，当一个人执行特定的运动类型时，相应的连续距离像数据可以被转换成一系列整数，这意味着运动的“语义”。为了验证有效性，在测试数据集上评估了所提出的框架。图8示出了四种穿墙运动类型的最终顺序表示及其相应的测试原始距离像。在图8中，可以看到：(a)每个运动类型的任何原始时间序列距离像都可以被转换成由提议的aen-som框架提取的整数序列；(b)不同的运动类型对应于不同的整数序列。因此，所提出的穿墙人体运动表示框架是有效的。表1具体实施方式中的雷达参数参数数值频率范围1.6ghz～2.2ghz频点数301频点持续时间100μs单周期持续时间30.1ms当前第1页12