一种跨域双模态特征融合的实时人体行为识别方法与流程

本发明涉及无线通信技术和计算机视觉领域，具体来说是一种跨域双模态特征融合的实时人体行为识别方法。

背景技术：

1、随着科学技术的发展，人员行为识别在健康管理、视频监控、智能家居等领域得到广泛应用。现有人员行为识别技术主要包括基于可穿戴传感器设备的识别方法以及基于计算机视觉的识别方法等，这些方法在相关领域都取得了良好的识别效果。但是，基于可穿戴设备的人员行为识别方法在一定程度上会对人员的正常行为造成阻碍，且一套完整的动作传感设备通常需要较高的成本，不利于大规模的人员行为识别。基于计算机视觉的人员行为检测方法虽然部署起来较为方便，但是会受到光线的视线传播，照明强度等因素的影响导致识别准确率降低。

2、近年来，基于wifi的动作识别得到了人们的广泛关注，wifi信号不受视线传播的影响，并且利用广泛普及的商用wifi设备采集人体动作样本成本较低。基于csi的人体活动那个识别主要包括接受信号强度指示(rssi)和信道状态信息(csi)。信道状态信息(csi)是从wifi设备中提取的无线信道物理层信息，可以提供细粒度的动作信息，已经被广泛应用于基于wifi的动作识别的研究。但是由于无线信道的时变特性以及多径效应的影响，基于csi的人体活动识别技术在多人检测、跨域识别领域仍存在技术难点。

技术实现思路

1、本发明是为了解决上述现有问题的不足之处，提出一种跨域双模态特征融合的实时人体行为识别方法，以期能适应复杂的识别场景，实现在存在干扰的环境下的单人或多人行为识别，从而能提高识别准确性和抗干扰能力。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种跨域双模态特征融合的实时人体行为识别方法的特点在于，是按如下步骤进行：

4、步骤1、采集csi动作样本数据和视频样本数据；

5、步骤1.1、在矩形区域内选定间距均为d的p1个位置区域和p2个随机位置区域，其中，p1个位置区域为训练位置，p2个随机位置区域作为测试位置，且p1+p2＝m；

6、步骤1.2、在所述矩形区域的外围放置一台路由器作为wifi信号的发送设备，记为ap，在所述矩形区域的外围放置一台具有无线网卡的pc作为接收设备，记为rp1，在所述矩形区域的外围放置一台摄像头作为视频数据接收设备，记为rp2；

7、步骤1.3、令q名实验人员分别在m个位置执行n种动作，其中，q1名人员作为训练人员，q2名人员作为测试人员，且q1+q2＝q，并通过rp1接收q名实验人员动作的csi数据；同时，使用rp2采集q名实验人员动作的视频数据；

8、步骤2、对数据进行预处理；

9、步骤2.1、通过小波变换对csi数据的幅度值进行降噪处理，再进行等间隔采样，从而得到csi动作样本集合t＝{(xji,yji)|i∈[1,q]，j∈[1,m]}，其中，xji表示第j个位置上的第i名人员的csi动作样本，yji为xji对应的真实标签；

10、对视频数据进行等间隔采样，从而构建视频动作样本数据集v＝{(vji,yji)|i∈[1,q]，j∈[1,m]}，其中，vji表示第j个位置上的第i名人员的视频动作样本，yji为vji对应的真实标签，且其中，表示视频动作样本vji的第k帧图像；f表示视频动作样本的总帧数；

11、步骤3、构建双模态人员行为识别网络，包括：特征提取模块、特征融合模块、特征对齐模块与分类模块；

12、步骤3.1、构建所述特提取模块，包括：csi动作特征提取模块和视频动作特征提取模块；

13、步骤3.1.1、所述csi动作特征提取模块用于提取csi动作样本xji中的csi动作样本特征

14、步骤3.1.2、所述视频动作特征提取模块用于提取视频动作样本vji中的视频动作特征

15、步骤3.2、所述特征融合模块是由3个全连接层fc构成；

16、将csi动作样本特征和视频动作特征输入到特征融合模块中，并利用式(1)得到融合特征

17、

18、式(1)中，fc1表示第1个全连接层，fc2表示第2个全连接层，fc3表示第3个全连接层；

19、步骤3.3、所述特征对齐模块由梯度反转层grl和鉴别器网络disc构成；

20、所述梯度反转层grl在网络正向传播时，保持输入的融合特征自身的梯度；在网络反向传播时，将输入的融合特征的梯度取反后乘以参数λ，且λ∈[0,1]；

21、所述鉴别器网络disc由两层一维卷积层，一层leaky relu层和一层全连接层构成；

22、所述融合特征输入鉴别器网络disc中，并依次经过第一层一维卷积层、一层leak relu层、第二层一维卷积层和一层全连接层后得到域特征

23、所述域特征通过softmax函数后得到分类概率序列，并将分类概率序列中最大概率所对应的类别作为xji和vji的域标签；

24、步骤3.4、由xji和vji的域标签及其真实标签中的人员和位置构建交叉熵损失函数loss1；

25、步骤3.5、构建所述分类模块是由全连接层fc构成；

26、所述融合特征输入所述分类模块中进行处理后，得到特征向量序列再通过softmax函数的处理后，得到特征概率向量，并将特征概率向量中最大概率所对应的类别作为预测的动作种类；

27、步骤3.6、由xji和vji的预测的动作种类及其真实标签中的动作种类构建交叉熵损失函数loss2；

28、步骤3.7、构建总损失loss＝loss1+αloss2，其中，α为权重因子；

29、步骤4、基于csi动作样本集合t和视频动作样本数据集v，利用梯度下降法对所述双模态人员行为识别网络进行训练，并对loss进行误差反向传播以更新网络参数，直到loss收敛为止，从而得到训练好的人员行为识别模型用于对任意位置上的动作进行识别。

30、本发明所述的一种跨域双模态特征融合的实时人体行为识别方法的特点也在于，所述步骤3.1中的csi动作特征提取模块由一层gat网络、一层int网络、一层平均池化层avgpool和一层flatten网络构成；其中，所述gat网络由a个图注意力层构成；所述int网络是由b个inception网络构成；

31、所述csi动作样本xji输入双模态人员行为识别网络中，并由特征提取模块中csi动作特征提取模块的gat网络进行处理后，得到图注意力特征

32、所述图注意力特征输入到int网络中进行特征提取，得到动作特征

33、所述动作特征依次经过平均池化层avgpool和flatten网络的处理后，得到csi动作样本特征

34、所述步骤3.2中的视频动作特征提取模块包括：空间特征提取模块和时间特征提取模块；

35、其中，所述空间特征提取模块是由f个并行的空间特征提取单元组成，每个空间特征提取单元由一层resnet-50残差网络和一层flatten层构成；

36、所述时间特征提取模块依次由s层lstm长短时记忆网络和一层flatten层构成；

37、所述视频动作样本输入输入双模态人员行为识别网络中，并由视频动作特征提取模块中的空间特征提取模块的f个并行的空间特征提取单元进行处理后，得到相应空间动作特征其中，表示第k个空间特征提取单元对提取的空间动作特征；

38、所述空间动作特征输入所述时间特征提取模块中进行处理后，得到视频动作特征

39、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述实时人体行为识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

40、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述实时人体行为识别方法的步骤。

41、与现有技术相比，本发明的有益效果在于：

42、1、本发明结合了基于csi的人体活动识别和基于计算机视觉的人体活动识别两种人员行为识别技术，充分利用了两种模态样本信息的互补特性，能够有效的解决单模态方法易受环境干扰的技术难题，实现了抗干扰、高精度的人员行为识别。

43、2、本发明使用鉴别器网络对样本的人员、位置等域变化信息进行特征级别的对齐训练，增强了特征提取器对域无关特征的提取能力，通过一次训练就可以实现任意人员与位置的人体行为的识别，从而提高了模型对人员变化、位置变化的泛化能力。