一种基于CSI的与位置无关的人体活动识别方法

本发明属于无线通信，具体的说是一种基于对比增量学习图神经网络的位置无关动作识别技术。

背景技术：

1、近年来，人体动作识别在安全监控、娱乐、智能家居等领域起着重要的作用。人体动作识别系统采用了不同的技术，如基于可穿戴传感器、雷达、计算机视觉等。与其他人体动作识别技术相比，基于wifi的技术具有成本低、无需穿戴设备、不会涉及隐私问题等优势。

2、wifi信号包括接收信号强度信息(rssi)和信道状态信息(csi)。rssi广泛应用于基于wifi的人体动作识别，它是多径的聚合信号强度，具有简单性和低硬件要求的优势，但基于rssi的感知准确度较低。而csi信号可以从子载波中提取更丰富的多径信息，csi以物理层为基础，描述了信道的幅度和相位特性，能够更好地反映细粒度的信道信息。

3、当人类在采集动作时所处位置发生变化时，由于在接收器产生的多径叠加信号不同，所采集的wifi信号也不相同。因此，基于csi的人体动作识别中面临着一个系统泛化性能的问题，即位置泛化能力。在实际应用中，人类做动作时所处的位置和环境并不固定，而且会出现对新类别动作进行识别的需求。一个直接的方案是对所有位置采集活动样本来进行训练，当有新类别动作出现时需要采集新样本再和旧样本一起重新训练模型。然而这需要的耗费大量时间与精力，所需成本太高。因此需要一个泛化能力强的系统，该系统只需有限位置的样本来识别任意位置的动作，只需少量样本就能识别新类别动作。

4、目前，解决该问题的技术体现在两个方面。一方面，研究员通过将动作信号单独提取出来以降低位置变化所带来的影响，从而减少所需样本的数量。例如研究员通过从信号中提取出的一种与环境无关的动作信号bvp，开发了一个跨域手势识别系统widar3.0；也有通过利用降秩和稀疏分解算法将手势信号从背景信息中分离出来的手势识别系统；还有通过在手势识别中引入多视图概念来获取与目标位置和方向无关的特征，从而实现手势和信号特征一对一映射的方法。然而，这些方法具有局限性，包括容易受到遮挡和方向等因素的影响、可识别的面积范围小等。另一方面是通过迁移学习或者元学习的方法来减少目标位置所需样本的数量。首先研究员通过有限的位置采集的数据样本进行训练，然后利用迁移学习的方法将模型迁移至目标位置，只利用少量样本即可实现对目标位置动作的识别；或者采集有限的动作类别训练模型，再然后迁移到目标域识别新类动作。然而，迁移学习或者元学习在学习了新活动后，新模型对以前学过的活动识别精度大幅下降，相当于模型为了学习新任务而遗忘了旧任务，它只在当前场景下有效，无法实现持续的学习。

技术实现思路

1、本发明是为了解决上述现有技术存在的不足之处，提出了一种基于csi的与位置无关的人体活动识别方法，以期能在有限位置有限类别的动作样本作为训练集的情况下，实现对室内任意位置的动作的识别，同时对于新类别的动作只需少量样本且无需重新训练整个网络，从而能减少对室内任意位置动作以及新类别动作识别时所需的样本数量。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种基于csi的与位置无关的人体活动持续学习识别方法的特点在于，是按如下步骤进行：

4、步骤1、csi数据的收集以及预处理：

5、步骤1.1、选取室内空间的一块矩形区域；在所述矩形区域的外侧使用路由器作为wifi信号的发送设备，记为ap，且发送设备ap上有tx根发送天线，在矩形区域的外侧使用网卡作为接收设备，记为rp，接收设备rp上有rx根接收天线；

6、步骤1.2、将矩形区域均匀划分为m块，并在每一块的中心点的位置设定为一个标定点，从而共得到m个标定点；在所述矩形区域中非标定点的位置上随机选取n个点作为测试点；在m个位置中选取m1个位置作为训练位置，将其余m2个位置和n个任意位置作为测试位置，m＝m1+m2；

7、步骤1.3、在第j个训练位置上执行a种人体动作，并在执行人体动作过程中使用所述接收设备rp对所述发送设备ap发送的不同信道上的csi信号进行u次采集，从而得到m1个标定点的csi数据；其中，将采集的第j个点上执行第i种动作且维度为tx×rx×δ×t的csi数据作为单个样本，记为其中，t为单个样本的序列长度，δ为子载波数量，j∈[1,m1]，i∈[1,a]；

8、步骤1.4、将单个样本中第tx根发送天线与第rx根接收天线之间第sub个子载波在第t个时间点上的csi数据记为csitx,rx,sub,t；将第一根发送天线与第rx根接收天线之间第sub个子载波第t个时间点上的csi数据csi1,rx,sub,t除以第二根发送天线与第rx根接收天线之间第sub个子载波第t个时间点上的csi数据csi2,rx,sub,t后，得到单个样本中去除载波频率偏移和采样频率偏移的csi商数据；从csi商数据中得到单个样本的幅度和相位；tx∈[1,tx]；rx∈[1,rx]；sub∈[1,δ]；t∈[1,t]；

9、通过线性变换去除所述单个样本的csi商数据中每个子载波上相位的残留误差，从而在子载波的维度上将去误差后的相位与单个样本的幅度进行拼接，并构成维度为rx×2δ×t的单个csi样本；

10、根据接收天线的不同编号，将单个csi样本分成rx个csi样本，并将第j个点上执行第i种动作的第k个csi样本记为

11、步骤1.5、对去噪后的第j个点上执行第i种动作的第k个csi样本随机生成一段1到t之间的索引，并选取前q个索引进行升序排序后，得到排序后的索引序列index，根据排序后的索引序列index对第k个csi样本进行q次采样，得到采样后的第k个样本

12、步骤1.6、对去噪后的第j个点上执行第i种动作的第k个csi样本以t/q为间隔进行采样，从而得到第k个csi样本

13、步骤1.7、将和进行拼接后得到拼接后的第k个样本

14、步骤2、建立基于多元时间图神经网络的特征提取网络，包括：图学习模块、时间卷积模块以及图卷积模块：

15、步骤2.1、使用图学习模块构建邻接矩阵a；

16、步骤2.2、利用卷积核为1×1的卷积层将拼接后的第k个样本投影到潜在空间，从而得到第k个隐藏状态

17、步骤2.3、所述时间卷积模块包含两个扩张感知层，其中，一个扩张感知层后连接有正切双曲线激活函数层；另一个扩张感知层后连接有sigmoid激活函数层；所述扩张感知层中有若干个不同卷积核大小的一维膨胀卷积层；

18、第k个隐藏状态输入时间卷积模块中，并分别经过两个扩张感知层及其对应的激活函数层的处理后，相应得到正切双曲线激活特征向量和门控向量将正切双曲线激活特征向量和门控向量相乘，从而得到第k个时间步态特征

19、步骤2.4、所述图卷积模块由两个混合跳跃传播层组成，每个混合跳跃传播层均包含一层图卷积层和一个多层感知机；其中一个混合跳跃传播层中的图卷积层利用邻接矩阵a对所输入的特征进行特征聚合，另一个混合跳跃传播层中的图卷积层利用邻接矩阵a的转置at对所输入的特征进行特征聚合；

20、输入图卷积模块中，并分别经过两个混合跳跃传播层的处理后，相应得到两个图卷积特征和将两个图卷积特征和相加后得到第k个时空融合特征

21、步骤3、结合监督对比损失对网络进行迭代训练：

22、步骤3.1、将时空融合特征按照对应的原始时空融合特征以及对应的数据增强时空融合特征进行拆分，并将所有训练位置上的所有类别的时空融合特征拆分后的集合记为x；

23、步骤3.2、使用式(1)来计算损失函数lsup：

24、

25、式(1)中，|x|表示集合x的特征总数，xq表示集合x中第q个原始时空融合特征或数据增强时空融合特征；p(q)是除第q个原始时空融合特征或数据增强时空融合特征xq以外且与xq相同类别的原始时空融合特征或数据增强时空融合特征的集合，|p(q)|表示集合p(q)的特征总数，yp表示p(q)所对应特征集合中第p个原始时空融合特征或数据增强时空融合特征；o(q)表示除第q个原始时空融合特征或数据增强时空融合特征yq相同类别的其他所有类别原始时空融合特征或数据增强时空融合特征的集合，|o(q)|表示集合|o(q)|的特征总数，zo表示o(q)所对应特征集合中第o个原始时空融合特征或数据增强时空融合特征；τ为温度系数；

26、步骤3.3、利用梯度下降法对所述特征提取网络进行训练，并计算所述损失函数lsup以更新网络参数，直到所述损失函数lsup收敛为止，从而得到训练好的特征提取网络；

27、步骤4、构建由两层全连接层及其中间连接的relu层组成的分类器，并在基于m1个训练位置上的动作类别所获取的csi数据集对分类器进行训练时，冻结训练完毕的特征提取网络的网络参数，并计算交叉熵损失函数用于更新分类器的参数，直到交叉熵损失函数收敛为止，从而得到人体动作分类模型；对(m2+n)个测试位置上的动作样本数据进行预处理后，将csi数据输入所述人体动作分类模型，得到相应的分类结果；

28、步骤5、当要学习b种新类别动作时，重复步骤1的过程采集并处理csi数据后，将处理后的数据和之前a种旧类别的csi数据一起按照步骤4的过程更新分类器，从而得到识别新旧动作且位置无关的人体动作分类模型，进而实现对(m2+n)个测试位置上的新旧类别动作样本数据所对应的csi数据进行分类识别。

29、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述人体活动识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

30、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述人体活动识别方法的步骤。

31、与现有技术相比，本发明的有益效果在于：

32、1、本发明提出了一种全新的结构解决位置无关的动作识别方法，通过使用对比学习来增强模型的泛化能力，并结合增量学习构成了一个有效的学习机制，从而充分利用了感知信息，为实现位置无关的动作识别且持续学习新类别动作提供了有力条件。

33、2、本发明提出从时间和空间两个方面构建正样本：时间上让样本在时间维度上进行随机的缩放构建有差异但相同类别的正样本，空间上利用标签将不同位置但相同类别的动作归为正样本，从而模型能够充分提取动作样本中同类动作共性特征，同时突出类别之间的差异，提升了模型对位置的泛化能力以及持续学习新类别动作的能力，使得特征提取模块无需重新训练也能让整个模型在识别任意位置的新旧动作时拥有优异性能。

34、3、本发明使用多元时间图神经网络，充分利用单个样本中变量对之间的潜在的空间依赖性，使用混合跳跃传播层和扩张感知层来捕获时间序列中的时空依赖关系，从而充分提取csi动作数据这种多变量时间序列的特征，对时空特征进行有效的融合，为后续特征的对比学习提供有效支撑。