联合红外和WiFi的人体动作识别方法

本技术涉及动作识别，具体地，涉及一种联合红外和wifi的人体动作识别方法。

背景技术：

1、人体动作识别(har)是智能交通、智能交互系统、医疗监测等领域的一个重要研究课题。大多数har方法都集中于在可见光环境下的应用。然而，在一些现实场景中，如夜间视频监控系统和公共安全应用程序，很难在昏暗或黑暗的场景中收集可见光图像或视频。

2、基于热成像的红外(ir)视频被广泛认为是在没有光的情况下实现har任务的有效候选者。然而，红外视频通常提供低分辨率的图像，没有颜色和纹理信息，这可能导致har性能不佳。因此，无光环境下的har仍然是如今所面临的一个巨大的挑战。同时，wifi信号被认为是光照条件不好的环境中实现har的另一个可靠选择，近年来引起了广泛关注。对于har任务，wifi比其他无线信号有以下优势：1)目标不需要可穿戴设备；2)智能家居无线通信服务的普及意味着wifi信号可以很容易地以非常便宜的价格收集。然而实际上，由于wifi信号粗糙且非常依赖于周围环境，目前仅使用单一wifi信号的har性能一直令人不满意。

技术实现思路

1、为了克服现有技术中的至少一个不足，本技术提供一种联合红外和wifi的人体动作识别方法。

2、第一方面，提供一种联合红外和wifi的人体动作识别方法，包括：

3、获取待识别人体动作的红外视频信号和wifi信号：

4、采用双流卷积残差网络提取红外视频信号的红外特征，采用双向长短期记忆网络提取wifi信号的wifi特征；

5、采用深度神经网络分别提取红外特征和wifi特征的非线性特征，记为第一模态特征和第二模态特征；

6、将第一模态特征和第二模态特征输入深度典型相关分析网络中，深度典型相关分析网络中的重构网络对第一模态特征和第二模态特征进行重构，并确定两个模态的重构误差之和最小时的重构后的第一模态特征和重构后的第二模态特征；

7、计算重构后的第一模态特征和重构后的第二模态特征之间的相关性，并确定相关性最大时的第一模态特征对应的深度典型相关分析网络的参数向量，以及相关性最大时的第二模态特征对应的深度典型相关分析网络的参数向量；

8、将相关性最大时的第一模态特征对应的深度典型相关分析网络的参数向量，以及相关性最大时的第二模态特征对应的深度典型相关分析网络的参数向量映射到公共空间上，得到映射矩阵；

9、将映射矩阵输入到线性的机器学习分类器svm中，得到待识别人体动作的识别结果。

10、在一个实施例中，采用双流卷积残差网络提取红外视频信号的红外特征，采用双向长短期记忆网络提取wifi信号的wifi特征，包括：

11、将红外视频信号的多张单帧图像与叠加光流帧输入到双流卷积残差网络，得到红外视频信号的红外特征；

12、将wifi信号的csi信息进行预处理，并将预处理后csi信息输入到双向长短期记忆网络，得到wifi信号的wifi特征。

13、在一个实施例中，深度典型相关分析网络的具体实现功能采用以下公式：

14、

15、约束条件：

16、

17、

18、

19、其中，n为样本个数，i为样本标号，f(x)为第一模态特征，x为红外特征，g(y)为第二模态特征，y为wifi特征，u为深度神经网络的所有输出单元的cca方向，u＝[u1，...ul...，ul]，ul为深度神经网络的第l个输出单元的cca方向，l为深度神经网络中输出单元的个数，v为深度神经网络的所有输出单元的cca方向，v＝[v1，...vm…，vl]，vm为深度神经网络的第m个输出单元的cca方向，u和v的方向不同，λ为权衡参数，f(xi)为第i个样本对应的红外特征xi对应的第一模态特征，p为第一重构非线性函数，g(yi)为第i个样本对应的wifi特征yi对应的第二模态特征，q为第二重构非线性函数；i为单元矩阵，rx和ry为正则化参数。

20、在一个实施例中，将相关性最大时的第一模态特征对应的深度典型相关分析网络的参数向量，以及相关性最大时的第二模态特征对应的深度典型相关分析网络的参数向量映射到公共空间上，得到映射矩阵，采用以下公式：

21、

22、其中，d为映射矩阵，为相关性最大时的第j个模态特征对应的深度典型相关分析网络的参数向量，zjk为第j个模态的第k个样本，nj为第j个模态的样本个数，djk为第j个模态的第k个样本的映射值。

23、第二方面，提供一种联合红外和wifi的人体动作识别装置，包括：

24、信号获取模块，用于获取待识别人体动作的红外视频信号和wifi信号：

25、第一特征提取模块，用于采用双流卷积残差网络提取红外视频信号的红外特征，采用双向长短期记忆网络提取wifi信号的wifi特征；

26、第二特征提取模块，用于采用深度神经网络分别提取红外特征和wifi特征的非线性特征，记为第一模态特征和第二模态特征；

27、特征重构模块，用于将第一模态特征和第二模态特征输入深度典型相关分析网络中，深度典型相关分析网络中的重构网络对第一模态特征和第二模态特征进行重构，并确定两个模态的重构误差之和最小时的重构后的第一模态特征和重构后的第二模态特征；

28、网络参数确定模块，用于计算重构后的第一模态特征和重构后的第二模态特征之间的相关性，并确定相关性最大时的第一模态特征对应的深度典型相关分析网络的参数向量，以及相关性最大时的第二模态特征对应的深度典型相关分析网络的参数向量；

29、映射模块，用于将相关性最大时的第一模态特征对应的深度典型相关分析网络的参数向量，以及相关性最大时的第二模态特征对应的深度典型相关分析网络的参数向量映射到公共空间上，得到映射矩阵；

30、识别模块，用于将映射矩阵输入到线性的机器学习分类器svm中，得到待识别人体动作的识别结果。

31、在一个实施例中，第一特征提取模块，还用于：

32、将红外视频信号的多张单帧图像与叠加光流帧输入到双流卷积残差网络，得到红外视频信号的红外特征；

33、将wifi信号的csi信息进行预处理，并将预处理后csi信息输入到双向长短期记忆网络，得到wifi信号的wifi特征。

34、在一个实施例中，深度典型相关分析网络的具体实现功能采用以下公式：

35、

36、约束条件：

37、

38、

39、

40、其中，n为样本个数，i为样本标号，f(x)为第一模态特征，x为红外特征，g(y)为第二模态特征，y为wifi特征，u为深度神经网络的所有输出单元的cca方向，u＝[u1，...ul...，ul]，ul为深度神经网络的第l个输出单元的cca方向，l为深度神经网络中输出单元的个数，v为深度神经网络的所有输出单元的cca方向，v＝[v1，...vm...，vl]，vm为深度神经网络的第m个输出单元的cca方向，u和v的方向不同，λ为权衡参数，f(xi)为第i个样本对应的红外特征xi对应的第一模态特征，p为第一重构非线性函数，g(yi)为第i个样本对应的wifi特征yi对应的第二模态特征，q为第二重构非线性函数；i为单元矩阵，rx和ry为正则化参数。

41、在一个实施例中，映射模块的具体实现功能采用以下公式表示：

42、

43、其中，d为映射矩阵，为相关性最大时的第j个模态特征对应的深度典型相关分析网络的参数向量，zjk为第j个模态的第k个样本，nj为第j个模态的样本个数，djk为第j个模态的第k个样本的映射值。

44、第三方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，以实现上述的联合红外和wifi的人体动作识别方法。

45、第四方面，提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时，以实现上述的联合红外和wifi的人体动作识别方法。

46、相对于现有技术而言，本技术具有以下有益效果：本技术的方法联合均不受光照影响的红外和wifi数据，充分考虑到红外视频和wifi信号之间的异构差异，从而设计了一个双分支网络，分别从不同的模态中提取判别特征；为了充分利用多模态信息的互补性，采用基于子空间投影的特征融合方法，对不同模态的特征进行融合，进行判别分析；该方法将多模态特征非线性投影到公共空间中，通过支持向量机进行最终动作分类。本技术的方法有效地解决了光线条件不足情况下的人体动作识别，优化了基于红外数据的人体动作识别的性能，进一步提高了无光照环境下的人体动作识别准确率。