基于卷积与循环神经网络融合的人类活动识别方法

本发明涉及计算、深度学习，尤其涉及一种基于卷积与循环神经网络融合的人类活动识别方法。

背景技术：

1、在过去的几年中，深度学习在人类活动识别领域中得到了广泛的应用。传统的方法通常使用手工设计的特征和分类器来进行人类活动的识别，而深度学习方法则可以从原始传感器数据中提取特征，从而实现更准确的识别。其中，卷积神经网络(cnn)和循环神经网络(rnn)是深度学习中最常用的模型之一。cnn能够有效地提取时间序列数据中的空间特征，而rnn则能够捕捉时间序列数据中的时间特征。

2、然而，人类活动识别仍然存在一些挑战，例如不确定性和模糊性信息方面的问题。由于传感器数据的噪声和不完整性，人类活动的识别往往存在不确定性。同时，由于人类活动的复杂性和多样性，往往存在模糊性信息。

3、在之前的研究中，一些学者已经尝试了将cnn和rnn结合起来来解决人类活动识别问题。然而，这些方法通常只使用了单一的cnn或rnn模型，没有充分利用它们的优势。此外，这些方法往往没有充分考虑不确定性和模糊性信息的问题，因此在处理复杂的人类活动时性能可能会有所下降。

4、如何解决上述技术问题为本发明面临的课题。

技术实现思路

1、本发明的目的在于提供一种基于卷积与循环神经网络融合的人类活动识别方法，在满足轻量级便于嵌入实现的同时，捕获数据内的信息的多样性，使模型具有更高的精度，和泛化性，利用模糊数学做聚类，提高模型对不确定性和模糊性信息的处理能力，从而实现更准确的人类活动识别。

2、为了实现上述发明目的，本发明采用技术方案具体为：一种基于卷积与循环神经网络融合的人类活动识别方法，包括以下步骤：

3、步骤一、使用卷积和循环神经网络融合的多头卷积来提取特征

4、使用卷积神经网络与循环神经网络结合的卷积头来做特征提取，并且使用的是多头卷积；

5、步骤二、使用模糊聚合层来融合所有卷积头部的输出，通过步骤一的处理，得到多个特征图，通过模糊聚合，用于提高重要特征的权重；

6、步骤三、使用模糊c均值聚类将cnn特征图映射到模糊数；

7、随机初始化模糊隶属度矩阵u，并迭代更新直到收敛，迭代过程类似于传统的k-means聚类，增加了模糊隶属度矩阵u，它表示每个特征图对每个聚类的隶属度；

8、步骤四、使用svm做分类。

9、作为本发明提供的一种基于卷积与循环神经网络融合的人类活动识别方法进一步优化方案，所述步骤一中，使用卷积和循环神经网络融合的多头卷积来提取特征包括以下内容：

10、本发明中首次使用了卷积神经网络与循环神经网络结合的卷积头来做特征提取，并且使用的是多头卷积，本发明使用三个卷积头，得到不同感受野的特征，卷积层由一组滤波器k＝[k1,k2,…,kc],其中ki表示第i个滤波器，通过标准卷积，传感器输入x＝[x1,x2,…,xc]被变化为输出的y＝[y1,y2,…,yc]，其中c表示滤波器的数量，为了便于标记，省略滤波器大小和偏置项，可以将通道处的输出特征图公式化：

11、

12、其中*表示卷积运算，因此可以通过跨所有通道的求和来计算每个输出特征图，重复公式c次，能够获得最终输出y，实际上，特定卷积层内的感受野主要由固定的核大小预先确定，小滤波器在计算上是高效的，但同时难以捕获长范围上下文信息，这可能导致较少的区分性特征图，为了避免上述缺点，本发明基于分组卷积的思想，采用非均匀卷积对普通卷积进行增强，以提高har的性能。

13、作为本发明提供的一种基于卷积与循环神经网络融合的人类活动识别方法进一步优化方案，所述步骤一种，基于分组卷积采用非均匀卷积对普通卷积进行增强，用于提高har的性能，具体为：

14、f1，f2和f3依次由分组卷积，relu激活和gru组成，分组卷积和扩张卷积被集成到具有较大内核大小的分支中，这可以避免沉重的模型开销，膨胀d是一个超参数，称为膨胀卷积中的膨胀率，对于卷积网络，这是扩展接受视图的重要方式，核大小为5×1的标准卷积可以用核大小为3×1、扩张大小为2的扩张卷积代替，核尺寸为7×1的标准卷积可以用核尺寸为3×1、膨胀尺寸为3的膨胀卷积代替，以此类推。

15、作为本发明提供的一种基于卷积与循环神经网络融合的人类活动识别方法进一步优化方案，所述步骤二中，使用模糊聚合层来融合所有卷积头部的输出，通过步骤一的处理，得到多个特征图，具体为：

16、假设有n个特征图，每个特征图的维度是l×c，其中l表示特征长度，c表示通道数，设第i个输入的特征图为xi∈rl×c，则模糊聚合层的输出y∈rl×c表示为：

17、

18、其中，wi表示第i个输入特征图的模糊权重，*表示卷积操作，模糊权重wi是根据输入特征图xi和一组模糊原型之间的相似度计算的，其中lp表示模糊原型的长度，相似性使用余弦相似度来计算，即：

19、

20、其中，α是一个超参数，cossim(xi,pj)表示输入特征图xi和模糊原型pj之间的余弦相似度，分母是为了将所有模糊权重归一化为概率分布，在训练过程中，模糊原型pj是通过聚类算法从所有训练样本中学习得到的，模型使用反向传播算法来更新pj和其他参数。

21、作为本发明提供的一种基于卷积与循环神经网络融合的人类活动识别方法进一步优化方案，所述步骤三中，模糊c均值聚类算法的步骤如下：

22、1)初始化模糊隶属度矩阵：将每个时间序列随机分配到各个类别上，得到一个模糊隶属度矩阵u；

23、

24、其中，uij表示数据点i对于聚类中心j的隶属度，dij表示数据点i到聚类中心j之间的距离，m是模糊度参数，c是聚类中心的数量；

25、2)计算聚类中心：根据模糊隶属度矩阵u，计算每个类别的聚类中心，得到聚类中心矩阵c；

26、

27、其中，vj表示聚类中心j的特征向量，xi表示数据点i的特征向量，wi表示数据点i的权重；

28、3)更新模糊隶属度矩阵：根据聚类中心矩阵c，更新模糊隶属度矩阵u，得到新的模糊隶属度矩阵u；

29、4)判断停止条件：如果当前的模糊隶属度矩阵u与上一次的模糊隶属度矩阵u之间的差距小于一定阈值，则停止迭代；否则，返回至步骤2)；最终得到每个时间序列在不同类别上的隶属度，每个时间序列对应的模糊子集。

30、作为本发明提供的一种基于卷积与循环神经网络融合的人类活动识别方法进一步优化方案，所述步骤四中，使用svm做分类，先使用模糊c均值聚类的输出作为svm分类器的输入，使用具有径向基函数rbf内核的多类svm。

31、作为本发明提供的一种基于卷积与循环神经网络融合的人类活动识别方法进一步优化方案，所述svm的超参数，包括正则化参数和内核带宽，使用训练集上的交叉验证进行调整，在测试期间，使用经过训练的svm来预测新输入序列的活动类别，预测的类别是输出模糊数中隶属度最高的类别。

32、与现有技术相比，本发明的有益效果为：

33、1、本发明使用头卷积和gru的组合可以捕捉时间序列数据中的时序和空间信息，更好地表示人类活动的动态特征，从而提高识别准确率。

34、2、本发明中的模糊权重可以对不同通道的特征进行加权融合，使得模型可以更好地适应不同的数据集和任务，提高模型的泛化能力。

35、3、本发明中采用模糊c均值聚类可以对模糊权重进行聚类分析，识别出不同聚类中心的权重，从而更好地理解不同类别的特征权重所代表的含义。

36、4、本发明使用svm作为一种经典的分类器，具有较高的准确率和较好的鲁棒性。与其他分类器相比，svm在处理高维数据和小样本数据时表现更为优秀，可以有效避免过拟合问题。

37、5、本发明中采用新的人类活动识别方法通过多种技术手段的组合，可以更好地捕捉人类活动的动态特征，提高识别准确率和泛化能力，并且采用svm作为分类器可以保证较高的分类准确率和鲁棒性。