一种基于深度脉冲神经网络的高帧率目标检测方法与流程

本发明属于计算机视觉，涉及一种基于深度脉冲神经网络的高帧率目标检测方法。

背景技术：

1、在复杂战场环境下的高帧率目标检测识别系统，在军事领域有着非常广泛的应用，如遥感探测、航空航天、目标监视等。得益于信息时代下日渐兴起的、基于大数据的机器学习的技术支持，在军事上，智能化、高帧率目标检测系统已成为现阶段和未来武器系统的重要组成部分，是武器系统变得更加具有精确性和智能化的一个重要指标，也是高分辨率成像探测设备中的一种关键技术。因此，对智能化高帧率目标检测进行理论和应用研究，具有重大的理论和实际意义。

2、当前应用于高帧率目标检测领域二阶段的rcnn模型、fast r-cnn模型、faster r-cnn模型和一阶段的yolo模型、ssd模型等均在检测精度或是检测速度上有着良好的表现，但面临的挑战在于网络模型的计算复杂度过高、计算开销过大、小尺度目标检测的准确率较低，因此寻找一种降低网络计算开销、提升网络运行效率、降低网络能源消耗的方法很有必要。

3、结合脉冲神经网络及网络模型的压缩、加速方法可以有效解决上述困扰型号已久的问题。并且，本发明具备低功耗、轻量化的特点，可以很好地满足在移动端、嵌入式应用条件下完成高帧率目标检测的需求，提高了高帧率目标检测应用场景的普适性。因此有必要开展基于脉冲神经网络与网络压缩、加速技术的高帧率目标检测系统设计及其核心算法的研发。

技术实现思路

1、本发明解决的技术问题是：克服现有技术的不足，提出一种基于深度脉冲神经网络的高帧率目标检测方法，实现低能耗、智能化、高帧率、高实时性的目标检测。

2、本发明解决技术的方案是：提出一种基于深度脉冲神经网络的高帧率目标检测方法，包括以下步骤：

3、s1、通过dnn转换snn的方式，由yolov3-tiny神经网络模型转换得到脉冲神经网络；

4、s2、使用通道归一化方法，在脉冲神经网络每层的通道维度上，通过最大激活值对权值及偏置进行归一化处理，输出归一化后的权值及偏置；

5、s3、对通道归一化处理后的脉冲神经网络，使用阈值不平衡的有符号神经元方法设置神经元的正负激活阈值，选择脉冲神经网络中需要被激活的神经元；

6、s4、基于stdp的无监督学习训练方法，对步骤s3优化后的脉冲神经网络进行训练，得到高帧率目标检测模型；

7、s5、对高帧率目标检测模型进行张量分解与量化压缩，得到轻量化的高帧率目标检测模型；

8、s6、将待检测的图像输入轻量化的高帧率目标检测模型，输出图像中目标的类别和目标边界位置坐标。

9、进一步的，步骤s1所述脉冲神经网络的结构包括13个侧抑制层、6个池化层、2个预测层、2个特征融合层和1个上采样层，激活函数采用leaky integrate-and-fire激活函数；

10、脉冲神经网络以视频帧图像作为输入，脉冲神经网络的第一部分由5个侧抑制层和4个池化层交替堆叠组成，视频帧图像输入到脉冲神经网络第一部分的第一个侧抑制层；然后网络结构分为两条分支，第一条分支由5个侧抑制层和2个池化层交替堆叠组成，得到浅层特征；另一条分支通过1个特征融合层得到深层特征，所述深层特征经过1个侧抑制层和1个上采样层后与第一条分支的浅层特征通过另一个特征融合层进行融合，然后利用2个侧抑制层提取特征；在两条分支的最后各有1个预测层来计算并输出检测目标的位置和类别。

11、进一步的，步骤s2所述通道归一化方法，具体为：

12、当前层的权值乘以上一层的最大激活值，同时除以当前层的最大激活值，得到当前层经通道归一化的权重：

13、

14、当前层的偏置除以当前层的最大激活值，得到当前层经通道归一化的偏置：

15、

16、其中，i和j为维度下标，l表示网络层数，表示第l层、i和j维的权值，表示第l层、j维的偏置，表示第l-1层、i维的最大激活值，表示第l层、j维的最大激活值，表示第l层、i和j维归一化后的权值，表示第l层、j维归一化后的偏置。

17、进一步的，步骤s3所述使用阈值不平衡的有符号神经元方法设置神经元的正负激活阈值，具体为：

18、设置神经元正激活阈值与负激活阈值，分别为vth与膜电压超过正激活阈值的神经元为正激活状态，激活值设置为1；膜电压低于负激活阈值的神经元为负激活状态，激活值设置-1；不处于激活状态的神经元，激活值设置为0。

19、进一步的，步骤s3所述选择脉冲神经网络中需要被激活的神经元，具体为：

20、

21、其中，vmem表示膜电压，vth，pos表示正值区域临界电压，大小为vth，vth，neg表示负值区域临界电压，大小为α为正值；1表示神经元处于正激活状态时的激活值，-1表示神经元处于负激活状态时的激活值，0表示神经元尚未处于激活状态。

22、进一步的，步骤s5所述对高帧率目标检测模型进行张量分解与量化压缩，具体为：

23、所述张量分解：将高帧率目标检测模型的特征值和权重转变为张量形式并对张量进行分解，使用分解后的多个子张量的乘积近似代替原有权重；

24、所述量化压缩：将分解后的子张量中的元素从浮点数转换为固定精度的整数，对量化后的整数值以更紧凑的格式编码并进行存储。

25、进一步的，所述将脉冲神经网络中的特征值和权重转变为张量形式并对张量进行分解，具体为：

26、s501、对高帧率目标检测模型参数矩阵进行张量化表示，得到用高维张量表示的模型参数和输入特征；

27、s502、对张量化表示的高帧率目标检测模型进行张量链式分解，得到用低阶张量序列表示的参数张量化分解形式；

28、s503、利用张量链式分解后的高帧率目标检测模型进行推理计算，得到运用张量分解时的目标检测结果。

29、进一步的，s501所述用高维张量表示的模型参数和输入特征，包括：

30、给定权重参数矩阵w，通过矩阵分解和形变操作将w张量化表示为d维的张量给定输入特征x，同样通过矩阵分解和形变操作将x张量化表示为d维的张量特征

31、s502所述用低阶张量序列表示的参数张量化分解形式，包括：

32、给定张量化表示的d维张量参数使用d个张量核的集合进行分解和表示，其中lk代表每一维度张量的大小，r表示分解秩，为分解后矩阵的维度大小，k∈[1，d]；中每一个元素均通过如下方式重建：

33、

34、其中pk表示矩阵中某一维度切片的序号，pk∈[1，lk]；

35、s503所述运用张量分解时的目标检测结果，具体为：

36、

37、其中，是目标检测计算输出，到是4维张量核，是张量化特征，是张量化偏置，i和j是多维张量中维度的序号，且ik×jk＝pk。

38、进一步的，所述量化压缩，具体为：

39、通过逐次渐进低比特量化模型压缩技术，将张量链式分解后的高帧率目标检测模型压缩到8-bit整型，得到轻量化的高帧率目标检测模型。

40、第二方面，提出一种计算机可读存储介质，所述的计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述一种基于深度脉冲神经网络的高帧率目标检测方法的步骤。

41、本发明与现有技术相比的有益效果是：

42、(1)本发明通过基于通道级别归一化方法及阈值不平衡的有符号神经元为基础的脉冲神经网络，并融合从基于stdp的无监督学习中提取的特征，可以实现高精度、低功耗、高实时性的目标检测。相比于现有技术，本发明提出的目标检测模型可运行于低功耗，低空间占用的移动端平台，可有效的节省电力、空间体积等资源消耗。

43、(2)本发明通过深度张量链式压缩技术，将目标检测模型权重参数数据中的多个高维权重核(kernel)分解成为一个低维矩阵序列的乘积，此低维矩阵序列可近似拟合模型中的权重大小，并将权重参数数量大幅缩小，将模型计算复杂度从幂指数降低为线性。通过深度张量压缩技术压缩目标检测模型，大大减小了模型的参数量、模型大小及模型训练时间。