本发明涉及一种基于大间距深度度量学习的步态识别方法，属于模式识别技术领域。
背景技术：
步态识别通过人类的行走方式确定身份，最近受到越来越多的关注，与其他生物特征相比(如面部、虹膜、指纹)，步态有一些重要的优势：1)它比较适合远距离识别，特别是其他生物被遮挡或分辨率太低时；2)难以模仿或伪装，因为这是人的长期的行为习惯；3)不需要用户的配合即可达到较好识别效果。这些特性使得步态非常适合于安全防护的智能视频监控领域。
近年来大量步态识别方法被提出，一般可以分为两类：基于模型的方法和基于外观的方法。基于模型的方法通常表征人体关节的运动学，以便测量物理步态参数，如轨迹、肢体长度和角速度。然而，人体是一种高度灵活的结构，在许多场景中很难精确地从图像或视频中恢复人体结构。基于外观的方法不考虑身体结构，直接从视频中提取步态的外观特征，取得较好识别效果。因此基于外观的步态识别方法成为研究者关注的重点，然而，在现实中，有大量因素影响着步态的外观：如观察视角，携带物品，衣着等等。即使同一个人，这些因素影响下的外观差别非常大。外观的变化直接影响了提取步态特征的变化，例如不同角度的摄像头分别捕捉到人体的背景和侧面，穿着阿拉伯罩袍和普通衣服等等，这将直接导致步态的外观特征有较大变化，现有方法的步态识别性能会大大降低甚至失效。因此，如何提供不同因素下的步态识别准确率成为亟待解决的技术问题。
技术实现要素：
发明目的：本发明的目的是针对现有复杂情况下步态识别技术的不足，提供一种大间距深度度量学习的步态识别方法。
技术方案：一种基于大间距深度度量学习的步态识别方法，采用步态能量图来描述步态序列，通过大间距深度度量学习模型训练一个卷积神经网络，将该卷积神经网络作为特征抽取函数，从步态能量图中提取最优化的步态特征，利用最近邻分类器识别步态人的身份。该方法包括了训练阶段和识别阶段，具体如下：
阶段一、训练；
步骤1.1生成步态能量图。对任意人的行走视频，按时间采样出一个图像序列，对每个图像进行行人检测、前景与背景分离，分离后前景作二值化处理；对二值化后的步态图像尺度归一化操作，按照图像中人的身高裁剪头顶到脚底的图像，并长宽同比例缩放为统一尺度图像，生成尺度归一的二值化轮廓图；由二值化轮廓图序列计算步态周期；通过一个周期的二值化步态轮廓图，计算所有步态轮廓图的平均值即可生成步态能量图。
步骤1.2抽取三元组步态样本。对训练数据集中的所有步态能量图，随机抽取出一个步态能量图作为目标样本；再根据抽出步态能量图对应人的身份，再随机抽出同一人的另一个步态能量图作为正样本；随机抽取另一个人的步态能量图作为负样本；生成一个三元组(目标样本，正样本，负样本)。
步骤1.3建立并初始化大间距深度度量学习模型。构造三个同样参数的卷积神经网络，并增加一个大间距度量损失层。在训练工作开始前需对卷积神经网络进行初始化，采用高斯分布的随机数初始化。
步骤1.4抽取样本的特征三元组。将三元组步态样本送入大间距深度度量学习模型的卷积神经网络部分，提取出三元组步态特征，分别对应目标样本，正样本，及负样本的特征。
步骤1.5将步骤1.4中得到的步态三元组特征，利用代价函数计算损失值。
步骤1.6利用梯度下降算法对步骤1.5得到的损失值进行反馈，更新优化卷积神经网络的模型。
步骤1.7重复步骤1.4-1.6，直至该大间距深度度量学习模型收敛。
阶段二、识别：
步骤2.1将注册集中步态视频生成对应的步态能量图
将所有注册集中的步态视频采样步态图像序列，提取前景，生成二值图并尺度归一化，计算周期，将一个周期内的二值轮廓图计算平均值生成步态能量图。
步骤2.2将所有已注册的步态能量图输入大间距深度度量学习模型的卷积神经网络，提取出步态特征，并存储。
步骤2.3对待识别步态视频生成步态能量图。
步骤2.4将待识别步态能量图通过卷积神经网络提取步态特征。
步骤2.5将步骤2.4的待识别步态特征与步骤2.2存储的所有注册步态特征一一比对，利用最近邻分类规则，选择最相似的一个步态特征作为匹配成功特征。
步骤2.6将匹配成功的步态特征的所属人身份作为最终识别的结果输出。
有益效果：与现有技术相比，本发明提供的基于大间距深度度量学习的步态识别方法，所述步态识别通过本发明提供的大间距深度度量学习模型，可提取高区分力的步态特征，步态特征通过相似度计算进行匹配识别。本发明可应用于智能视频监控及智能视觉机器人等诸多领域，具有广泛的应用前景。
附图说明
图1是本发明的方法框架示意图；
图2是本发明复杂情况下步态能量图样例；
图3是本发明基于大间距深度度量学习的训练结构示意图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提供了一种基于大间距深度度量学习的步态识别方法，在所述方法中，大间距深度度量学习模型训练出一个卷积神经网络，所有步态能量图通过卷积神经网络提取出步态特征，利用步态特征的相似度识别步态人身份。
图1为本发明的方法框架示意图，本发明的步态识别方法涉及两个阶段：训练阶段与测试阶段。训练阶段用于训练一个卷积神经网络，将其作为特征抽取函数；测试阶段为用训练好的卷积神经网络抽取出步态的特征并识别。具体如下：
训练阶段：
步骤1.1，生成训练集步态能量图。
对训练集的原始视频进行处理，首先采样视频转化为图像序列，对每一幅图像利用行人检测技术检测出步态人的位置，利用图像分割技术，从图像背景中分离出前景，将前景转变为人形轮廓图；以人形的垂直高度作为身高，裁剪出从头顶到脚底的矩形，将高宽等比例缩放到高度为128个像素，计算人形轮廓的中心点，以中心点的垂线为对称轴，左右裁剪出宽度为88个像素的标准二值轮廓图i。
根据二值轮廓图序列中人形图像两脚分开距离计算步态的周期t，计算一个周期内所有二值轮廓图的平均值g即可生成步态能量图，计算公式为：
步骤1.2，抽取三元组步态样本。
对训练数据集中的所有步态能量图，随机抽取出一个步态能量图作为目标样本；再根据抽出步态能量图所对应的身份，再随机抽出同一人的另一个步态能量图作为正样本；随机抽取另一个人的步态能量图作为负样本；生成一个三元组(目标样本，正样本，负样本)。抽取每个人的概率要相等，随机抽取的同一个人的正样本步态能量图不能与目标样本重复，另一个人的步态能量图以80％的概率抽取与目标样本同行走条件的步态能量图。
步骤1.3，建立并初始化大间距深度度量学习模型。
如图3所示，大间距深度度量学习模型包括三个共享参数的卷积神经网络，以及计算损失的大间距度量代价函数。它以三元组步态样本作为输入，三个卷积神经网络的设置完全一致，并共享权重(即实时保持值的一致)。在工作前需对卷积神经网络进行初始化，采用高斯分布的随机数初始化，该高斯分布的均值为0，方差为0.01。使用的卷积神经网络包括10个卷积层与5个池化层，每两个卷积层后接一个池化层，每层的卷积核为3×3，步长为1，池化层为2×2最大值池化，最后一层为全局均值池化。
步骤1.4，抽取样本的特征三元组。
将三元组步态样本送入大间距深度度量学习模型的三个卷积神经网络部分，分别提取出目标样本、正样本、负样本的步态特征，形成步态特征三元组。
步骤1.5，计算损失。
将步骤1.4中得到的步态特征三元组，利用图3的大间距度量代价函数计算损失值，大间距代价函数为
步骤1.6，更新模型参数。
利用梯度下降算法对步骤1.5得到的损失值计算梯度。
令
正样本特征层
负样本特征层
其中，
步骤1.7，迭代训练。
重复步骤1.4-1.6，直至模型的大间距度量损失趋于稳定，说明其已收敛，否则不断迭代训练。
测试阶段：
测试主要利用训练阶段训练好的卷积神经网络作为特征抽取工具抽取注册集与待识别步态特征计算相似度。一般可以先把所有测试集的步态特征计算出，存储到特定位置。碰到一个待识别步态，直接提取待识别步态特征，与存储好的步态特征作对比，并识别出其身份，具体步骤如下：
步骤2.1，将注册集中步态视频生成对应的步态能量图
参考训练阶段的步骤1.1，将所有注册集中的步态视频采样步态图像序列，提取前景，生成二值图并尺度归一化，计算周期，将一个周期内的二值轮廓图计算平均值生成步态能量图。
步骤2.2，提取注册集步态特征
将所有已注册的步态能量图输入大间距深度度量学习模型的卷积神经网络，提取出步态特征并存储，原来的步态图维度为128×88，最后提取的特征为256维，将所有n人步态特征存储，存储到n×256矩阵中。
步骤2.3，对待识别步态生成步态能量图
待识别步态视频利用类似步骤1.1方法，计算生成一个步态能量图。
步骤2.4，提取待识别步态特征
将步骤2.3的步态能量图通过卷积神经网络，抽取出步态特征256维度的向量。
步骤2.5，相似度计算
将步骤2.4的待识别步态特征与步骤2.2存储的所有注册步态特征一一计算相似度，相似度通过欧式距离来计算，256维的向量与n个人的256向量分别计算欧式距离。
步骤2.6，识别输出结果
将n个相似度的值排序，选择最小的一个，找到对应步态特征的所属人身份，将该身份作为最终的识别结果输出。
步骤2.7，计算结束
综上所述，本发明提供了一种高性能的步态识别方法，此项技术可以应用于公共安全，家庭安防等场所的智能视频监控领域，例如，在机场大厅视频监控，实时监控视频中出现的人身份，如遇到恐怖分子或犯罪嫌疑人，则可立刻识别并报警。本发明基于大间距深度度量学习方法，通过深度度量学习模型与大间距度量代价函数，不断地训练优化卷积神经网络的参数；一次训练好的卷积神经网络，可终身使用于步态身份识别，待识别步态视频通过转化为步态能量图输入到卷积神经网络，提取出高鉴别力的步态特征，在复杂场景下具有较高的识别准确率。
本发明提供了基于大间距深度度量学习的步态识别的思路，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。