一种基于脉冲事件的时间表面特征提取方法

1.本发明属于脉冲神经网络技术领域，具体涉及一种基于脉冲事件的时间表面特征提取方法。


背景技术：

2.与传统的基于帧的摄像机相比，地址事件表示(aer)摄像机由于具有高时间分辨率和低功耗的优势，近年来吸引了国内外许多学者的关注。aer摄像机能够将视觉输入记录为异步离散事件，因此它们非常适合与脉冲神经网络(snn)结合，这一点在神经形态硬件上具有生物学上的合理性和更高的效率。
3.脉冲神经网络执行基于事件的对象识别任务时核心处理部分一般分为三个步骤，即特征提取、脉冲编码和分类。其中特征提取是许多高级视觉任务的基本构建模块，它一般衔接数据预处理过程和学习过程，是学习过程的基础，好的特征提取算法将会使得后面的学习算法分类事半功倍。
4.目前特征提取方法主要有时间表面、hmax、boe、pca、mds等。时间表面是一种新型的基于事件的时空特征提取方法，使用脉冲事件序列提供的丰富时间信息来创建脉冲事件时间表面上下文，并用时间衰减核来计算时间表面，以表示本地空间邻域内历史脉冲事件活动。然而由于时间表面存在对脉冲的空间位置不敏感的缺陷，噪音会极大程度影响时间表面特征的准确度，导致了该特征提取方法受噪音影响非常严重。
5.本发明的目的在于针对时间表面特征提取方法空间位置不敏感的问题，为了更好的区分空间位置不同的重要性，提出了一种基于脉冲事件的时间表面特征提取方法。该方法在对象提取的精确度上有所提升，对于噪声图像的鲁棒性也有所提高。
6.计算时间表面时，我们对不同位置上的事件一视同仁而没有加以区分，导致模型受噪音影响明显且缺少准确的空间信息，而当前事件相机的低传感器分辨率又加剧了这一缺点。在现实世界中，人们在观察一幅画面时，通常将注意画面中重要的位置，即对象存在的位置，而降低对无关事物的关注。因此本发明从从信息检索与数据挖掘领域中常用的tf-idf加权技术中得到了启发，我们将通过挖掘样本内空间位置和样本间相同像素的重要性差异来区分不同位置的重要性，将模型计算的重点放在重要的位置上。


技术实现要素：

7.基于现有技术中存在的上述缺点和不足，本发明的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本发明的目的之一是提供满足前述需求之一或多个的一种基于脉冲事件的时间表面特征提取方法。
8.为了达到上述发明目的，本发明采用以下技术方案：
9.一种基于脉冲事件的时间表面特征提取方法，所述方法包括步骤：
10.s1、获取事件脉冲样本集，所述事件脉冲样本集中包括若干个事件脉冲样本，所述事件脉冲样本将视觉图像变化记录为在不同时刻出现于各个像素位置的脉冲；
11.s2、统计每个所述事件脉冲样本中每个像素位置的脉冲出现次数，根据所述脉冲出现次数计算每个像素位置的自信息，得到空间位置自信息集，所述空间位置自信息集记录了每个像素位置的自信息大小；
12.s3、统计每个所述事件脉冲样本中每个像素位置上的脉冲出现频率，分别得到每个所述事件脉冲样本的脉冲出现频率集；
13.s4、根据所述空间位置自信息集及每个所述事件脉冲样本的所述脉冲出现频率集，将所述自信息及所述频率结合得到每个所述事件脉冲样本的空间位置重要性集，所述空间位置重要性集记录了每个所述事件脉冲样本中每个像素位置的重要性高低；
14.s5、将所述事件脉冲样本的像素位置分为长宽各有固定数量像素的k个像素组，每个所述像素组为一个空间单元；
15.s6、对于每个脉冲，统计过去δt时间内发生于其所在空间单元内的历史脉冲，得到该脉冲时空邻域内的历史脉冲序列；
16.s7、对于每个脉冲，将其历史脉冲序列中的历史脉冲结合其空间位置重要性全部相加，得到该脉冲的时间表面特征，时间表面特征用于表示一个脉冲的空间邻域内的历史事件脉冲活动。
17.作为优选方案，所述步骤s2具体包括如下步骤：
18.s21、根据每个所述事件脉冲样本分别统计得到每个所述事件脉冲样本的像素位置脉冲次数集；所述像素位置脉冲次数集记录了每个所述事件脉冲样本中每个像素位置的脉冲出现次数；
19.s22、从每个所述事件脉冲样本的所述像素位置脉冲次数集中整合相同像素位置的脉冲次数，计算得到每个像素位置的自信息；
20.s23、使用所述每个像素位置的自信息构建空间位置自信息集。
21.作为进一步优选的方案，所述步骤s21的计算方法具体为：
22.分别设定像素位置脉冲次数集：
[0023][0024]
其中表示在第n个事件脉冲样本中像素位置(i，j)上脉冲出现的次数；w表示事件脉冲样本空间的宽度，h表示事件脉冲样本空间的高度；
[0025]
所述步骤s22的计算方法具体为：
[0026][0027]
其中i
ij
表示每个像素位置的自信息；n表示事件脉冲样本总数；
[0028]
所述步骤s23的具体为：
[0029]
使用上述i
ij
构建空间位置自信息集si：
[0030]
si＝{i
ij
|i＝0，1，...，w-1；j＝0，1，...，h-1}。
[0031]
作为优选方案，所述步骤s3的计算方法具体为：
[0032]
构建脉冲出现频率集fre＝{vn|n＝0，1，...，n-1}；fre由n个矩阵vn构成，其中vn表示第n个事件脉冲样本中各像素位置上脉冲频率的矩阵，表示在位置(i，j)上脉冲出现的频率。
[0033]
作为优选方案，所述步骤s4的计算方法具体为：
[0034][0035]
其中表示第n个事件脉冲样本中像素位置(i，j)上脉冲的重要性，i
ij
表示位置(i，j)上脉冲的空间位置自信息，表示在位置(i，j)上脉冲出现的频率；
[0036]
然后构建包含n个矩阵qn的空间位置重要性集：
[0037][0038]
其中qn表示第n个事件脉冲样本的空间位置重要性矩阵。
[0039]
作为优选方案，所述步骤s6具体为：
[0040]
对于每个脉冲ek，统计过去δt时间内发生于其所在空间单元内的历史脉冲，得到该脉冲时空邻域内的历史脉冲序列：
[0041][0042]
其中z
l
＝zk+δz表示像素位置空间范围，pk表示脉冲事件的极性，δz∈[-ρ，ρ]2。。
[0043]
t
l
表示处于过去δt时间的时空邻域内的历史脉冲e
l
发生时刻。
[0044]
作为进一步优选的方案，所述步骤s7具体为：
[0045]
对于每个脉冲ek，根据ek所在样本的位置重要性矩阵qn，将ek的时空邻域内的历史脉冲序列中每个历史脉冲结合其所在像素位置的位置重要性q
l
计算时间表面特征，并将该时间表面特征存储于矩阵中：
[0046][0047]
其中q1表示ek时空邻域内的历史脉冲e
l
所在像素位置的空间位置重要性，τ表示衰减常量。
[0048]
本发明与现有技术相比，有益效果是：
[0049]
本发明的方法在为脉冲神经网络提取时间表面特征的同时区分了不同空间位置的重要性，提高了对象提取的精确度，提升了抗噪声干扰的鲁棒性。
附图说明
[0050]
图1是本发明实施例提取时间表面特征并传递神经冲动的流程图；
[0051]
图2是本发明实施例的神经冲动的传递流程图。
具体实施方式
[0052]
为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0053]
实施例：本实施例的一种基于脉冲事件的时间表面特征提取方法，针对现有的时间表面特征提取方法对脉冲空间位置不敏感的缺陷，基于脉冲事件发生的空间位置判断各
空间位置的重要性，从而忽略掉不重要位置的噪声脉冲干扰。
[0054]
本实施例的方法包括以下步骤：
[0055]
s1、获取事件脉冲样本集，事件脉冲样本集中包括若干个事件脉冲样本，事件脉冲样本将视觉图像变化记录为在不同时刻出现于各个像素位置的脉冲；
[0056]
事件脉冲样本由地址事件表示(aer)摄像机采集得到，aer摄像机能够将某一像素点的图像变化记录为该点于某一时刻出现脉冲信息，具有高时间分辨率和低功耗的优势，非常适合用于对象识别任务。由相同aer摄像机采集得到的事件脉冲样本具有相同的像素空间大小，即相同的长宽像素数及像素位置。本实施例中脉冲为e＝{t，(x，y)，p}的形式，t为脉冲发生时间；(x，y)为脉冲发生位置；p为脉冲的极性，取值为-1或1。
[0057]
s2、统计每个事件脉冲样本中每个像素位置的脉冲出现次数，根据脉冲出现次数计算每个像素位置的自信息，得到空间位置自信息集，空间位置自信息集记录了每个像素位置的自信息大小；
[0058]
进一步的，步骤s2可以分为以下步骤：
[0059]
s21、根据每个事件脉冲样本分别统计得到每个事件脉冲样本的像素位置脉冲次数集；像素位置脉冲次数集记录了每个事件脉冲样本中每个像素位置的脉冲出现次数；
[0060]
s22、从每个事件脉冲样本的像素位置脉冲次数集中整合相同像素位置的脉冲次数，计算得到每个像素位置的自信息；
[0061]
s23、使用每个像素位置的自信息构建空间位置自信息集。
[0062]
本实施例详细提供步骤s21—s23的一种实施方式：
[0063]
s21、设置一个与事件脉冲样本的像素空间大小相同的矩阵xn的列表imgcount，列表中包括n个样本xn，即将imgcount表示为
[0064]
imgcount＝{xn|n＝0，1，...，n-1}；
[0065]
且其中
[0066]
表示在位置为(i，j)上的脉冲出现的次数。n表示样本的数量，w表示样本空间的宽度，h表示样本空间的高度。
[0067]
假设存在a和b两个事件脉冲样本，像素空间的长宽均为2。且样本a中位置(0，0)(0，1)(1，0)(1，1)分别出现1、2、3、4次脉冲，样本b中相同位置分别出现6、5、4、3次脉冲。则且imgcount＝{xa，xb}。
[0068]
s22、将a、b样本中每个相同像素位置的脉冲次数整合计算，从而得到每个像素位置所出现的脉冲的自信息。
[0069]
自信息的具体计算公式为：其中i
ij
表示每个像素位置的自信息；n表示事件脉冲样本总数，如此便得到每个像素位置(i，j)所出现的脉冲的自信息，并将每个像素位置(i，j)所出现的脉冲的自信息构建成一个与像素空间大小相同的空间位置自信息集矩阵：
[0070]
si＝{i
ij
|i＝0，1，...，w-1；j＝0，1，...，h-1}；
[0071]
其中w表示像素空间的宽度，h表示像素空间的高度。
[0072]
于是在步骤s23中，根据上述s21中的a和b两个事件脉冲样本得到的空间位置自信
δt，tk)、并发生于该脉冲所在像素位置附近δz邻域、与ek处于同一空间单元c的全部脉冲，得到脉冲ek时间邻域、空间邻域内的历史脉冲序列
[0092][0093]
其中e
l
：z
l
表示能够统计时空邻域内的历史脉冲e
l
的空间范围为z
l
，z
l
＝zk+δz表示统计的范围z
l
为脉冲ek的像素位置zk周围δz区域，δz∈[-ρ，ρ]2。t
l
表示能够统计时空邻域内的历史脉冲e
l
的时间范围[t
k-δt，tk)。p
l
表示脉冲e
l
的极性。
[0094]
具体的，假设ρ＝1，k＝3，w＝h＝3，事件e1＝{(1，0)，1，0}，e2＝{(0，1)，2，0}，e3＝{(1，1)，2.5，0}，若时间窗口δt＝1，那么当脉冲e3到达时，e3的时空邻域内的历史脉冲即为e3前δt时间内、发生在(1，1)周围1的脉冲，即
[0095]
然后进行步骤s7、对于每个脉冲，将其历史脉冲序列中的历史脉冲结合其空间位置重要性全部相加，得到该脉冲的时间表面特征，时间表面特征用于表示一个脉冲的空间邻域内的历史事件脉冲活动。
[0096]
具体的，对于每个脉冲ek，根据ek所在样本的位置重要性矩阵qn，将ek的时空邻域内的每个历史脉冲与其所在像素位置的位置重要性结合，从而计算ek的时间表面特征并将ek的时间表面特征存储于矩阵中：
[0097][0098]
上式中q
l
表示ek的时空邻域内的每个历史脉冲的位置重要性，τ表示时间衰减常量，计算结果储存于大小为(2
×
ρ+1)2的矩阵内。
[0099]
使用上述步骤s4计算得到的空间位置重要性矩阵和步骤s6中统计得到的邻域历史脉冲序列计算e3的时间表面特征，假设脉冲e3的空间位置重要性为根据上式计算可得即脉冲e2的位置重要性q2＝2、脉冲出现时间t2＝2；脉冲e3的位置重要性q3＝2、脉冲出现时间t3＝2.5，和累加的位置分别为e
3-e2的位置和e
3-e3的位置，即(1，1)-(0，1)＝(1，0)和(1，1)-(1，1)＝(0，0)。
[0100]
则最终得到的单元c中时间表面特征为
[0101]
通过上述方法提取得到的时间表面特征考虑到了不同样本中不同位置的空间重要性不同，能够更好的避免噪声干扰。步骤s7得到时间表面特征后，则可以使用时间表面特征向脉冲神经网络中的神经元传递脉冲，其完整的流程图如图1所示。
[0102]
进一步的，脉冲的生成方法如图2所示，神经元膜电位能够进行累加，并在达到阈值时向下一层发放脉冲。根据上述示例得到的假设阈值为0.3，那么在e3到达时则
可以使位置(0，1)及位置(0，0)处的神经元膜电位达到阈值，发放脉冲。从而将位置(1，0)、时间2、极性0；位置(0，0)、时间2.5、极性0作为脉冲信息传递到下一层，并将整个单元重置为
[0103]
应当说明的是，上述实施例仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。