一种基于脉冲神经网络的人体动作识别方法

本发明涉及人体动作识别，具体为一种基于脉冲神经网络的人体动作识别方法。

背景技术：

1、人体动作识别作为人工智能重要的研究分支之一，也被广泛地应用于视频监控、机器人和虚拟技术等各个领域，并且，人体动作识别技术结合机器视觉等技术，能够实现在复杂的场景下人体动作的识别和分析，在日常的学习和工作中，准确高效地识别人体的动作可以极大地提升工作的效率和生活的体验感。

2、lif(leaky ihtergrate-and-fire，泄露-整合-激发模型)模型是脉冲神经网络中最简单且方便使用的一种脉冲神经元模型，lif(leaky ihtergrate-and-fire，泄露-整合-激发模型)的脉冲神经元动力学方程为：其中v(t)代表了在t时刻神经元的膜电位，x(t)代表在t时刻输入到神经元的值，τ是膜时间常数，vreset是静息电位，当膜电位v(t)在t时刻超过了当前的动作电位的阈值vth resh old，神经元将会发放一束神经脉冲，同时膜电位v(t)将会回到静息电位的值vreset＜vth resh old，lif(leaky ihtergrate-and-fire，泄露-整合-激发模型)神经元同时也实现了计算消耗和生物学合理性之间的平衡。

3、现有人体动作识别方法大多是利用rgb图像提取人体的骨架信息进行分析处理，这是对人体动作识别方法的延续和扩展，使模型的判别性和适用性得到一定程度的提升，但这种从rgb图像中提取骨架信息，切换成二维彩色图像及二维灰度图像的方法会造成一部分关键信息在模态切换时的丢失，这使其方法的研究本身具有局限性，目前利用深层卷积脉冲神经网络识和动态视觉相机收集和分析处理数据，并将其应用于人体动作识别的方法研究还比较缺乏，基于此，特提出一种基于脉冲神经网络的人体动作识别方法。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于脉冲神经网络的人体动作识别方法，解决了现有人体动作识别方法容易出现数据丢失的问题。

3、(二)技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：一种基于脉冲神经网络的人体动作识别方法，具体包括以下步骤：

5、步骤一、数据采集：利用动态视觉相机采集人体工作数据样本，建立人体动作数据集，作为事件序列数据；

6、步骤二、流积分：按照设定的时间步长t将步骤一中的事件序列数据流积分成框架序列数据；

7、步骤三、模型搭建：使用脉冲神经元编码处理单元和分类器搭建脉冲神经网络模型；

8、步骤四、模型训练：将步骤一中的人体动作数据集输入到步骤三中搭建后的脉冲神经网络模型中进行训练，得到训练后的脉冲神经网络模型；

9、步骤五、识别输出：将步骤二中的框架序列数据输出到步骤四中训练后的脉冲神经网络模型中，由训练后的脉冲神经网络模型输出识别结果。

10、本发明进一步设置为：所述步骤一中事件序列数据记为e(xi，yi，ti，pi)；

11、其中i＝1，…，n；n表示为每帧视频图像中的事件序列个数，x，y分别表示为图像中投影的坐标；t表示为视频中的时间序列；p表示为视频图像中的事件状态，分别是on事件和off事件，代表此时图像中该点是否为发生位移的事件，如果是发生位移的事件则为on事件，反之为off事件。

12、本发明进一步设置为：所述步骤二中框架序列数据的生成包括：

13、根据不同场景将事件序列的数量n根据时间步长t进行划分，记流积分后的框架序列数据中的某一帧为f(j)，在(p，x，y)位置的像素值为f(j，x，y，p)；其中f(j)是介于索引jl和jr从事件序列积分得到的：

14、

15、

16、

17、其中floor(·)函数表示向下取整；t表示数据中的时间序列；θx，y，p(xi，yi，pi)表示为示性函数，当且仅当(x，y，p)＝(xi，yi，pi)时取值为1，其余情况为0。

18、本发明进一步设置为：所述步骤三中的脉冲神经元编码处理单元包括二维卷积层、第一平方积分发放神经元和最大池化层，所述二维卷积层、第一平方积分发放神经元和最大池化层依次对接设置。

19、本发明进一步设置为：所述步骤三中的分类器包括全连接层、第二平方积分发放神经元、投票层和输出层，所述全连接层、第二平方积分发放神经元、投票层和输出层依次对接设置，并且第二平方积分发放神经元与自连接有状态突触对接。

20、本发明进一步设置为：所述第一平方积分发放神经元和第二平方积分发放神经元均用于处理脉冲信号，当累计的脉冲信号超过动作电位的激发阈值时，发放脉冲神经信号。

21、本发明进一步设置为：所述第一平方积分发放神经元和第二平方积分发放神经元中的离散脉冲神经元利用充电离散方程c[t]、放电离散方程d[t]和重置离散方程进行描述，包括：

22、c[t]＝f(v[t-1]，x[t])

23、

24、r[t]＝v[t]-vth resh old·d[t]

25、其中，v[t]代表了在t时刻神经元的膜电位，x[t]代表在t时刻输入到神经元的值，vth resh old为当前动作电位的阈值电压，r[t]是神经元释放脉冲后的膜电位；

26、为构造函数参数中的替代函数，是一个阶跃函数：

27、所述重置离散方程采用软重置方式，即神经元在释放脉冲后，膜电位减去阈值电压而不是直接被设置成重置电压vreset；

28、f(v[t-1]，x[t])是神经元的状态更新方程，其中第一平方积分发放神经元和第二平方积分发放神经元的状态更新方程为：

29、v[t]＝f(v[t-1]，x[t])＝v[t-1]+x[t]2。

30、本发明进一步设置为：所述自连接有状态突触用于给第二平方积分发放神经元增加一个回路，使第二平方积分发放神经元在t-1时刻的输出d[t-1]，会与下一时刻t的外界输入x[t]相加作为下一次的共同输入，记x[t]为t时刻整个模块的输入，i[t]是单个神经元的输入，o[t]是整个模块的输出，其计算方式包括：

31、i[t]＝x[t]+o[t-1]。

32、(三)有益效果

33、本发明提供了一种基于脉冲神经网络的人体动作识别方法。具备以下有益效果：

34、(1)本发明通过利用动态视觉相机采集到事件序列数据进行流积分成为框架序列数据，并采用了有监督深层卷积脉冲神经网络对人体动作进行识别，使用平方积分发放神经元，通过将外源输入x[t]变为x[t]2，增大脉冲发放的概率，同时使用自连接有状态的突触机制，兼顾了所用的模型生物学的可解释性以及合理性，可用于人体体态姿势发生变化时的精准动作识别。

35、(2)本发明人体动作识别准确率较高，在仿真实验中脉冲神经网络平均可以达到90％以上的准确率。

36、(3)本发明通过利用动态视觉相机只拍摄运动物体的轨迹的特性，有效避免背景环境噪音的干扰，减少人体动作的关键数据丢失同时也保障了设计的脉冲神经网络模型能够充分利用有效数据，提升模型的鲁棒性和泛化能力。