基于图卷积网络的步态识别方法与流程

本发明属于计算机视觉技术领域，涉及基于图卷积网络的步态识别方法。

背景技术：

随着计算机视觉技术的发展，计算机被广泛的用于安全领域来进行身份识别。步态为步行姿态的缩写，经过心理学和生物学的证实，包含个体几乎唯一的特性，是应用于远距离视觉监控领域最有潜力的生物特征。且步态在其特点上来讲相比其他生物特征如指纹、人脸、虹膜等具有识别距离远、非侵犯性、难以伪装等优势，可以有效的减少身份识别所需要的时间成本。

步态识别技术可以直接从人步行的视频序列来提取生物特征，然后利用提取到的生物特征进行行人的身份判断与鉴别。传统的步态识别方法，比如利用步态能量图(gei)来将步态按照一个行走周期将信息融合成为一张静态的图片，然后利用图像分类技术来实现步态识别。这种方法虽然可以利用到步态的所有动态特征，但是其采用叠加的方式对每一时刻的状态进行累积，不能很好地反映步态的前后关系。同时，累积的方法面对衣物变化等情况时会极大的改变特征信息使识别很难有很好的表现。

技术实现要素：

本发明的目的是提供基于图卷积网络的步态识别方法，解决了现有技术中存在的不能反映步态前后关系以及面对衣物变化会极大的改变特征信息使识别很难有很好的表现的问题。

本发明所采用的技术方案是，基于图卷积网络的步态识别方法，具体按照以下步骤实施：步骤1、获取行人步态训练数据；步骤2、对步骤1得到的训练数据进行预处理，再利用分区策略对预处理得到的图像求取图像各分区重心得到训练样本；步骤3、搭建图卷积网络；步骤4、设计损失函数；步骤5、初始化神经网络参数；步骤6、训练搭建好的神经网络，将步骤2得到的训练样本作为输入，对应的实际身份标签作为输出，成批次地输入到网络中，计算前向传播的损失，使用反向传播算法，调整各层神经元参数；步骤7、使用训练好的神经网络进行识别，得到未知身份样本的身份信息。

本发明的特点还在于：

步骤1具体为：使用图像采集设备采集行人的步态特征数据，使用常用的步态识别用数据集或自行建立数据集，常用的步态识别用数据集包括casia-b数据集，ou-isir数据集或usf数据集。

步骤2具体包括以下步骤：

步骤2.1、对步骤1得到训练数据按帧进行拆分，得到n帧对应的n个图像；

步骤2.2、利用背景减除法提取图像中的运动对象得到行人二值图，对二值图按照相同宽高比例进行裁剪，得到原数据帧数数量，宽高比相同的步态剪影；

步骤2.3、对步态剪影以嵌套的方式进行分区，并求出每个分区的重心坐标位置；

步骤2.4、将每一帧人体分区重心图中的多个分区重心点按照人体结构以边的形式进行连接得到结构图；

步骤2.5、将每一帧重心图结构图在帧间沿相同分区重心进行连接得到人体重心轨迹图。

步骤2.3中分区包括行人整体，下半身，下半身左部，下半身右部，上本身，上半身左部和上半身右部。

步骤3中图卷积网络结构依次为：输入层、批归一化层、九个级联的图卷积层、全局平均池化层、全连接层和softmax输出层。

每个图卷积层包括三部分：1、注意力机制层，用于衡量不同重心点的重要性；2、空间图卷积层，在空间维度上，即单帧内对每个重心点上，进行图卷积操作，卷积核大小为3，用于计算某时刻空间中包含的信息；3、时间图卷积层，在时间维度上进行图卷积操作，卷积核大小为9，用于计算重心点在时间上运动包含的信息。

步骤4采用交叉熵损失函数，具体计算为：

其中m表示类别数量，即数据库中包含行人数目；yc为指示变量，在类别与样本类别相同时为1，否则为0；pc表示softmax层输出的属于类别c的预测概率。

步骤5具体为：对参数epoch，batch_size，learning_rate进行设定，epoch为训练遍历所有数据的次数，设定为5-10之间的整数；batch_size为每批次训练的样本数，设定为{8，16，32，64，128}中的一个，learning_rate为学习率，初始学习率为0.01，每遍历10次数据后学习率降低10％，共遍历全部样本60次。

步骤6具体为：将步骤2得到的训练样本作为输入，单个样本为一个三维矩阵(c,t,v)，c为关节特征也就是坐标，t＝30，v为节点数量，对应其身份标签作为输出，模型训练过程采用随机梯度下降法。

步骤7具体为：获取行人步态视频；将该步态视频进行预处理，并采用分区策略获取行人各分区重心结构轨迹图；将该轨迹图输入训练搭建好的神经网络模型中计算输出预测分类结果对应的标签。

本发明的有益效果是：

1、本发明基于图卷积网络的步态识别方法使用人体多分区重心结构轨迹图替代常用的步态能量图方式，放弃使用叠加效果，可以更好的保留时间维度上的运动信息，在对行走状态、外观有变化的情况下仍然保持良好效果；

2、本发明基于图卷积网络的步态识别方法针对使用的样本类型，采用基于原有的卷积神经网络得到的图卷积网络，相比传统的卷积方式图卷积可以更好的学习结构图中的信息，从而用于分类和识别任务；

3、本发明基于图卷积网络的步态识别方法将图卷积在时间维度上进行拓展，同时学习空间维度上的人体结构信息和时间维度上的轨迹运动信息，达到更好的识别效果。

附图说明

图1是本发明基于图卷积网络的步态识别方法的行人步态训练数据预处理流程图；

图2是本发明基于图卷积网络的步态识别方法的步态剪影分区示意图；

图3是本发明基于图卷积网络的步态识别方法的分区重心坐标位置示意图；

图4是本发明基于图卷积网络的步态识别方法的图卷积网络结构图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于图卷积网络的步态识别方法，具体按照以下步骤实施：

步骤1、获取行人步态训练数据，具体使用图像采集设备采集行人的步态特征数据，使用常用的步态识别用数据集或自行建立数据集，常用的步态识别用数据集包括casia-b数据集，ou-isir数据集或usf数据集；

步骤2、对步骤1得到的训练数据进行预处理，再利用分区策略对预处理得到的图像求取图像各分区重心得到训练样本，具体如图1所示，包括以下步骤：

步骤2.1、对步骤1得到训练数据按帧进行拆分，得到n帧对应的n个图像；

步骤2.2、利用背景减除法提取图像中的运动对象得到行人二值图，对二值图按照相同宽高比例进行裁剪，得到原数据帧数数量，宽高比相同的步态剪影；

步骤2.3、对步态剪影以嵌套的方式进行分区，并求出每个分区的重心坐标位置，具体为，按照图2所示，将行人的步态剪影以嵌套的方式分为七个分区，包括行人整体(1)，下半身(2)，下半身左部(3)，下半身右部(4)，上本身(5)，上半身左部(6)，上半身右部(7)，并求七个分区的重心坐标位置，如图3所示；

步骤2.4、将每一帧人体分区重心图中的多个分区重心点按照人体结构以边的形式进行连接得到结构图，如重心1为人的整体重心，与人体上半身重心5与下半身重心2相连，下半身重心2与下半身左部重心3及右部重心4相连，上半身重心5与上半身重心左部6及上半身重心右部7相连；

步骤2.5、将每一帧重心图结构图在帧间沿相同分区重心进行连接得到人体重心轨迹图，该轨迹图包含了人行走过程中的时空信息，为一个无向时空图，包含了帧内连接和帧间连接，在这个图中用v表示节点数量，v＝{vti|t＝1,...,t,i＝1,...,7}，包含了一个步态过程的所有节点，其中t＝30；

重心的计算公式如下：

其中a＝1,2，...,7表示分区，na表示该分区下剪影占据的像素数量，xiyi表示像素点的坐标，xaya表示计算得到的重心坐标；

步骤3、搭建图卷积网络具体为，搭建一个图卷积网络结构，如图4所示，其结构依次为，输入层、批归一化层、九个级联的图卷积层、全局平均池化层、全连接层和softmax输出层，每个图卷积层包括三部分：1、注意力机制层，用于衡量不同重心点的重要性；2、空间图卷积层，在空间维度上，即单帧内对每个重心点上，进行图卷积操作，卷积核大小为3，用于计算某时刻空间中包含的信息；3、时间图卷积层，在时间维度上进行图卷积操作，卷积核大小为9，用于计算重心点在时间上运动包含的信息，卷积层步长为1，即在时间上每次移动一帧，空间上每次移动1个节点，计算后进行下一帧节点的卷积，每个图卷积层后进行随机失活操作，随机失活概率为0.5以避免过拟合，在第4、7层图卷积层以步长为2进行卷积来降低数据维度，

图卷积公式如下：

其中节点vti邻域集的采样函数p定义为同时包含空间上的邻域和时间上的邻域，其中d(vtj,vti)表示vti到vtj的最小路径，|q-t|表示节点在时间上的距离，d与γ均为参数，因此采样函数可以写作p(vti,vtj)＝vtj，而权重函数并非给每个相邻节点一个唯一的标签，而是将一个关节点的邻域集划分为多个子集，权重函数w(vti,vtj)＝w'(lst(vqj))，其中l为将节点到子集标签的映射关系其中lti(vtj)是vti中单帧情况下的标签映射关系，实际训练参数d＝1,γ＝9,k＝2；

步骤4、设计损失函数，具体为采用交叉熵损失函数，具体计算为：

其中m表示类别数量，即数据库中包含行人数目；yc为指示变量，在类别与样本类别相同时为1，否则为0；pc表示softmax层输出的属于类别c的预测概率；

步骤5、初始化神经网络参数，具体为：对参数epoch，batch_size，learning_rate进行设定，epoch为训练遍历所有数据的次数，设定为5-10之间的整数；batch_size为每批次训练的样本数，设定为{8，16，32，64，128}中的一个，learning_rate为学习率，初始学习率为0.01，每遍历10次数据后学习率降低10％，共遍历全部样本60次；

步骤6、训练搭建好的神经网络，将步骤2得到的训练样本作为输入，对应的实际身份标签作为输出，成批次地输入到网络中，计算前向传播的损失，使用反向传播算法，调整各层神经元参数，具体步骤为训练时将处理得到的带有身份标签信息的人体分区重心轨迹图作为输入，单个样本为一个三维矩阵(c,t,v)，c代表关节特征也就是坐标，t＝30，数据集中一个人的一个步态周期一般为30帧以内，v表示节点数量，对应其身份标签作为输出，模型训练过程采用随机梯度下降法；

步骤7、使用训练好的神经网络进行识别，得到未知身份样本的身份信息，具体步骤为首先获取未知身份的行人步态视频，按照步骤2中的预处理过程获得行人多分区重心结构轨迹图，将其输入到步骤6得到训练好的网络模型中计算输出预测分类结果对应的标签。

本发明基于图卷积网络的步态识别方法通过采用多分区重心结构轨迹图放弃采用融合的方法可以更好的保留行人步态在时间上变化的重要信息，利用图卷积网络可以学习到这些信息并且用于身份的分析，行人在行走状态变化：如携带物，穿着不同时其各重心点在时间上的运动规律仍然比较稳定，因此本方法在这些情况下可以有更强的鲁棒性，识别结果可靠性高，计算成本低。