一种基于超图模型的事件相机步态识别方法

本发明属于计算机视觉，尤其涉及超图、利用事件相机输出的事件数据进行步态识别的方法，具体为一种基于超图模型的事件相机步态识别方法。

背景技术：

1、步态识别是计算机视觉中一个重要的课题，其是指通过行人步态运动的方式进行身份的辨别。因其具有难以伪装性和非接触性，在银行、机场、地铁等公共场所的安全监控中具有得天独厚的优势。基于卷积神经网络(cnns)的方法在这个领域表现出了优异的性能，大多数的方法都依赖于传统的帧图像(rgb图像或灰度图像)来完成步态识别，但是基于帧图像的步态识别算法在恶劣的条件下(例如，低光照，快速运动情况等)识别效果会急剧下降。

2、事件相机是一种新颖的仿生视觉传感器，其异步捕捉场景中的光强度变化进而输出事件。因此，它提供非常高的时间分辨率(高达1mhz)，且功耗非常小。由于光强变化是在对数尺度中计算，因此其能够在非常高的动态范围下进行工作(140db)。当对数尺度的像素光强变化高于或低于阈值时，事件相机触发形成“on”和“off”事件。目前大多数处理事件数据的方法首先将事件数据累积堆叠成帧图像，然后使用cnn进行处理。然而，基于事件帧图像的表示方法堆叠时间窗口内的事件流，在提取事件数据空间信息时未完全捕捉事件流的时序信息和全局信息，而事件流的时空信息和全局信息对于基于事件流的步态识别是非常关键的，因此为充分挖掘事件流的全局信息和事件点之间的高阶相关性，例如事件流内含的时空关系以及运动关系等，本发明基于超图模型处理事件流数据，用于提取步态识别的关键特征，为提高基于事件相机的步态识别精度提供了可能。接下来详细介绍这一领域中相关的背景技术。

3、(1)基于卷积神经网络的步态识别

4、一种经典的基于轮廓的步态识别方法是基于背景减法提取轮廓，对步态的结构和转移特征进行建模。han等人(individual recognition using gait energy image)进一步改进了基于轮廓的方法，从步态模板中提取了尺度不变特征，虽然模板和特征的方法得到了广泛的研究，但设计良好的特征表示仍然是困难的任务。amir等人(a low power,fully event-based gesture recognition system)将事件数据的切片作为步态识别的运动特征图，并结合运动边界直方图，探讨了基于事件帧图像处理的方法应用于步态识别的可行性。park等人(computationally efficient,real-time motion recognition basedon bio-inspired visual and cognitive processing)使用浅层神经网络提取空间金字塔核特征来进行基于事件相机的步态识别任务。

5、(2)基于图神经网络的步态识别

6、bin等人(graph-based spatio-temporal feature learning for neuromorphicvision sensing)首次引入基于图的事件流表示来解决步态识别问题，从短时间间隔内的事件流构建二维图结构，并采用图卷积网络进行特征提取来完成任务。后续有研究人员从离散的事件流切片中产生一系列二维图，利用图卷积从中来提取空间特征，并使用三维卷积神经网络从图网络中提取时间特征。zhang等人(event-stream representation forhuman gaits identification using deep neural networks)提出了基于三维图的事件流表示方法，并基于三维图卷积网络提取特征，以实现基于事件的步态识别。但是基于图的事件流表示方法未能充分挖掘事件数据的时空关系及全局信息，这对于提高步态识别任务的识别精度是非常重要的。

技术实现思路

1、为解决上述问题，本发明提供一种基于超图模型的事件相机步态识别方法。该方法能够从嘈杂的事件流中挖掘事件数据的时空关系和全局信息来构建具有高阶相关性的超图，并以此为输入设计融合超图卷积、注意力机制和注意力机制的超图神经网络提取用于步态识别的特征，从而实现根据步态精确地推断出身份。

2、本发明的技术方案：

3、一种基于超图模型的事件相机步态识别方法，在给定恶劣条件下的步态识别场景，利用事件相机捕捉的行人步态异步离散事件流，步骤如下：

4、(1)在保留原始步态事件流结构的前提下，对原始的步态事件流序列进行降采样处理，将处理后的每个事件点(xi,yi,ti)视为超图的一个节点，该节点包含步态事件数据的时空信息，利用knn方法寻找每个节点的最近k个节点组成一条超边，遍历所有节点，构建成步态事件流序列对应的超图；

5、具体步骤如下：

6、基于步态事件数据的超图构建

7、事件数据ε用以下公式进行表达：

8、

9、其中，(xi,yi)是事件的像素坐标，ti是事件的时间戳，pi＝±1是事件的极性，i表示事件数据中的第i个事件点；将(xi,yi,ti)视为事件点的三维坐标，pi为每个事件点的节点特征；

10、超图数据的主要元素有两个：节点和超边；将降采样后的事件点的节点特征看作超图中的节点，以此构造节点之间的超边；给定超图中的节点特征表示f＝f1,f2,…,fn，其中fi表示某样本中第i个事件点的特征，根据两个特征之间的距离构建超图；以顶点v表示超图中的样本事件点，超边e表示包含灵活数量事件点的集合，超图公式化为h＝{v,e}，其中表示超图中n个节点集合，表示超图中的m条超边集合；超图的顶点集和超边集定义如下：

11、con(e)＝{v1,v2,…,vn}(2)

12、adj(v)＝{e1,e2,…,em}(3)

13、其中，con(e)表示超边e的顶点集，adj(v)表示包含顶点v的所有超边组成的超边集，n和m是超边e中的顶点数和包含顶点v的超边数；计算两个顶点vi＝(xi,yi,ti,pi)和vj＝(xj,yj,tj,pj)欧氏距离，如果两个顶点在时空距离r内，即d(vi,vj)≤r，则生成对应的边，否则两个节点之间不存在边；欧氏距离表示如下：

14、

15、其中，表示节点vi的第k个特征；

16、(2)针对步骤1)中生成的包含步态事件数据时空信息的超图，构建出一个融合超图卷积、注意力机制和残差模块的超图神经网络模型，基于超图神经网络模型挖掘步态事件数据的特征，包括步态事件数据的自身属性和时空特征；

17、具体步骤如下：

18、基于超图神经网络模型的步态识别

19、提出一个融合超图卷积、注意力机制和残差模块的超图神经网络模型；

20、1)超图卷积

21、超图结构中定义卷积操作的关键是衡量两个顶点之间的转移概率，通过转移概率在图神经网络中传播每个顶点的嵌入特征；超图卷积的概率转移被如下定义：

22、

23、其中，表示网络第l层第i个节点的特征，σ是非线性激活函数，n是节点数量，m是超边数量，是由超边和节点组成的关联矩阵，是每条超边e∈e被分配的正值权重，是第l层和第l+1层之间的权重矩阵，表示超图的关联矩阵；关联矩阵被写为：

24、h(l+1)＝σ(hwhtv(l)p)  (6)

25、其中，h(l+1)和h(l)分别对应第l+1层和第l层的输入；

26、然而，hwht不具有受约束的光谱半径,这意味着h(l)的尺度可能会改变。在网络模型的优化过程中，堆叠多个超图卷积层，如公式(6)会导致数值不稳定性，并增加梯度爆炸或消失的风险。因此本发明添加一个对称的归一化操作，以规范化公式中的特征约束，并得出了最终的公式表示：

27、h(l+1)＝σ(d-1/2hwb-1htd-1/2h(l)p)  (7)

28、其中，d和b分别表示超图中顶点和超边的度矩阵；

29、通过顶点之间的高阶关系建立和局部聚类结构，实现顶点之间的有效信息传播；

30、2)超图注意力网络；

31、超图卷积有一种天生的注意力机制。我们可以从公式(7)中发现，节点之间的转移矩阵非二进制的。换言之，对于给定的顶点，其输入和输出被明确的分配了不同的重要性。然而，在给定超图结构(关联矩阵h)后，这种注意机制是不可学习和训练的。超图注意力的目标是学习动态关联矩阵，从而获得能够更好地揭示顶点之间内在关系的动态转移矩阵。本发明也引入了超图注意力，对于给定的顶点vi及其相关的超边vj，注意力得分为：

32、

33、其中，σ是非线性激活函数，ni是顶点vi的领域集，sim表示相似性函数，用于计算两个顶点之间的成对相似性，定义如下：

34、sim(vi,vj)＝αt[vi||vj]  (9)

35、其中，α表示输出标量相似性值的权重向量，[,||,]表示级联操作；

36、3)超图池化模块和残差模块；

37、本发明采用了图最大池化操作来降低网络的复杂度，同时缓解网络深度过拟合的问题。与卷积神经网络里的最大池化操作类似，由于本发明将事件点的坐标像素范围限定为[128×128×128]，因此这里的最大池化操作将每个维度按照池化尺寸d进行切分，经过最大池化操作的图在每个坐标维度的最大事件数量是在训练期间，通过反向传播训练数据的交叉熵损失来更新参数；在测试期间，预测事件数据的标签以评估模型的分类性能。当事件数据中存在多种关系信息时，通过超边集的构建将它们结合起来，将各种超边融合在一起，以建模数据上的复杂关系。

38、(3)对于步态事件数据的特征，进行行人步态匹配，利用欧式相似度找到目标视频所属的行人标号。

39、本发明的有益效果：

40、(1)基于事件的超图构图方式

41、由于事件数据具有高时间分辨率与稀疏等特性，为挖掘用于步态识别的有效特征，本发明首次提出以超图结构表征事件流。本发明提出的超图模型事件流表示方式充分发挥挖掘事件数据的时空关系和全局信息，并基于降采样事件流进行超图构建，可以更有效的提取步态序列的事件特征且减少了计算量。

42、(2)基于混合超图卷积网络的步态识别方法

43、本发明提出了一个融合超图卷积、注意力机制和残差模块的超图神经网络模型，结合超图神经网络层的超大容量，最终使用softmax函数生成运动目标的类别标签。超图卷积和注意力都是端到端可训练的模块，并且只要观察到非成对关系，就可以插入到大多数的图神经网络模型变体中。本发明能有效地利用事件数据的特征从而解决步态识别难题。