一种基于3D脉冲神经网络的行为识别方法、系统及装置

本发明涉及计算机视觉，尤其涉及一种基于3d脉冲神经网络的行为识别方法、系统及装置。

背景技术：

1、计算机视觉领域的研究者将预测一个给定视频中人类行为状态的技术称为行为识别。行为识别的主要目标是利用获取到的特定对象的视频数据，从中提取出关键的行为特征并进行识别。行为识别技术在各个领域具有广泛的应用，包括视频监控、智能交通、人机交互等。通过行为识别，我们可以实现对人类行为的自动分析和理解，从而提供实时的智能决策和服务。现有基于卷积神经网络的行为识别方法已经在一些场景下可以达到令人满意的识别准确率，但是运行功耗高和边缘设备部署困难的问题仍然存在。

2、中国专利cn114037047a公开了一种脉冲神经网络的训练方法，其将目标卷积神经网络转换为初始脉冲神经网络，同时在时间域和空间域对初始神经网络进行训练进一步微调网络，将训练后的初始脉冲神经网络作为目标脉冲神经网路。

3、上述技术方案尽管的转换方法取得了很好的性能，然而大多应用在图像分类、目标检测等任务上，缺少对行为识别任务的研究，上述方法在3d网络的转换上会带来性能退化问题。

技术实现思路

1、有鉴于此，本发明提出了一种基于3d脉冲神经网络的行为识别方法、系统及装置，对两个3d网络进行转换，针对转换过程中的转换误差进行处理，进而提高识别的效率。

2、本发明的技术方案是这样实现的：

3、第一方面，本发明提供了一种基于3d脉冲神经网络的行为识别方法，包括以下步骤：

4、s1、采集视频数据集，建立3d人工神经网络；所述视频数据集包括训练集和测试集；

5、s2、将所述训练集的视频数据输入至3d人工神经网络进行训练，得到训练好的3d人工神经网络识别模型；

6、s3、构建3d脉冲神经网络模型；

7、s4、将所述3d人工神经网络识别模型的参数映射到3d脉冲神经网络模型上，设置缩放因子对所述3d脉冲神经网络模型进行缩放；

8、s5、将所述测试集的视频数据输入至缩放后的3d脉冲神经网络模型进行测试，输出视频中行为的预测排序，根据所述预测排序得到视频数据的行为标签。

9、在以上技术方案的基础上，优选的，步骤s3具体包括：

10、在构建3d脉冲神经网络模型时，使用双阈值神经元配合猝发机制对3d脉冲神经网络模型中神经元的膜电位进行充放电、重置以及发放脉冲。

11、在以上技术方案的基础上，优选的，所述双阈值神经元的放电表达式为：

12、；

13、其中，sjh（t）表示第h层第j个神经元t时刻二值输出脉冲，vjh（t）表示在t时刻第h层的第j个神经元的膜电位，λh表示双阈值神经元的正阈值，-λh表示双阈值神经元的负阈值，mjh（t）表示第h层第j个神经元在t时间内不考虑电势重置积累的电势总和。

14、在以上技术方案的基础上，优选的，所述猝发机制的放电表达式为：

15、；

16、其中clip为裁剪激活函数，floor表示向下取整，ceil表示向上取整，β表示猝发机制允许在一个时间步长内的最大脉冲发放数。

17、在以上技术方案的基础上，优选的，步骤s4具体包括：

18、s41、将所述训练好的3d人工神经网络识别模型的权重参数映射到3d脉冲神经网络模型中；

19、s42、将所述训练好的3d人工神经网络识别模型的阈值参数映射到3d脉冲神经网络模型中各层神经元的正阈值上；

20、s43、将所述训练好的3d人工神经网络识别模型的阈值参数取反映射到3d脉冲神经网络模型中各层神经元的负阈值上；

21、s44、将所述3d脉冲神经网络模型每层神经元的初始膜电位设置为神经元阈值的一半；

22、s45、设置缩放因子对3d脉冲神经网络模型中神经元阈值进行缩放。

23、在以上技术方案的基础上，优选的，步骤s45具体包括：

24、在3d脉冲神经网络模型中设置缩放因子；

25、将所述3d脉冲神经网络模型中的每个神经元都设置初始阈值；

26、通过将所述每个神经元的初始阈值与缩放因子相乘对3d脉冲神经网络模型中每个神经元的阈值进行缩放。

27、更进一步优选的，步骤s5具体包括：

28、将测试集的视频数据进行参数配置，得到配置后的视频数据；

29、将所述配置后的视频数据中的每个片段重复传入至缩放后的3d脉冲神经网络模型进行前向传播，得到视频数据在不同步长的行为预测概率；

30、将所述行为预测概率进行排序，并进行求和平均，计算出各时间步长下的准确率；

31、根据准确率保存3d脉冲神经网络模型，并输出视频数据的行为标签。

32、第二方面，本发明提供了一种基于3d脉冲神经网络的行为识别系统，采用如上述任一项所述的基于3d脉冲神经网络的行为识别方法，包括：

33、采集模块，用于采集视频数据集，其中视频数据集包括训练集和测试集；

34、3d人工神经网络，用于使用训练集的视频数据进行训练，得到训练好的3d人工神经网络识别模型；

35、参数映射模块，用于将训练好的3d人工神经网络识别模型的参数映射到3d脉冲神经网络模型；

36、3d脉冲神经网络模型，用于对视频数据进行识别并通过网络传播，得到视频数据的行为标签。

37、第三方面，本发明提供了一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，

38、所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

39、所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如上述任一项所述的基于3d脉冲神经网络的行为识别方法。

40、第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现如上述任一项所述的基于3d脉冲神经网络的行为识别方法。

41、本发明的基于3d脉冲神经网路的行为识别方法相对于现有技术具有以下有益效果：

42、(1)通过建立3d人工神经网络，使用训练集的视频数据对3d人工神经网络进行训练，得到训练好的3d人工神经网络识别模型，并将3d人工神经网络识别模型的参数映射到3d脉冲神经网络模型，通过3d脉冲神经网络模型对视频数据进行3d特征进行提取，实现基于3d脉冲神经网络的行为识别，提高3d脉冲神经网络模型识别的准确性和可靠性；

43、(2)通过在构建3d脉冲神经网络模型时，使用双阈值神经元配合猝发机制对3d脉冲神经网络模型中神经元的膜电位进行充放电、重置以及发放脉冲，能够降低3d脉冲神经网络模型的计算开销，同时节省计算资源，提高3d脉冲神经网络模型的计算效率；

44、(3)通过将3d人工神经网络中的最大池化层替换成平均池化层，且将每层的激活函数替换成可训练阈值的裁剪激活函数，使3d人工神经网络识别模型的输出更具可解释性，通过裁剪激活函数学习和调整阈值，能够有效提高人工神经网络的灵活性和泛化能力。