一种同时完成行人检测与行人重识别的方法与流程

本发明属于模式识别技术领域，更具体地，涉及针对行人检测与行人重识别的深度学习方法。

背景技术：

行人重识别是指在非重叠摄像机不同视角画面下自动匹配同一行人对象的技术，着眼与在无公共视域下的摄像头特定目标行人识别工作，由于视频清晰度局部遮挡等局限，很难通过人脸等具体信息直接寻找同一目标。重识别技术要求通过行人外貌轮廓纹理等信息，在合适的特征空间与度量准则下完成识别匹配。此任务首先要行人检测选取高概率行人框，后对多个候选框进行特征提取以及相似度匹配，最后锁定检索目标。

深度学习作为视频图像处理任务的新宠，在海量数据与高性能计算机的辅助下，物体识别，目标检测与追踪，图像分割等任务都大幅度超越传统的机器学习算法。可实际中高精度检测算法与高效追踪算法的组合往往不能发挥一加一大于二的功效，原因在于检测算法得到目标框与行人重识别训练集图片具有位置偏差，检测结果是在自然场景下算法求得，而行人重识别训练集图片多为人工裁剪获得，造成数据偏移不对称等问题。

技术实现要素：

针对现有技术的以上缺陷，本发明提出了一种基于深度学习同时完成行人检测与行人重识别方法，其目的使检测与重识别任务更好的无缝衔接，克服中间过度阶段数据不对称等问题，提升行人重识别技术精度。此外设计出检测与重识别通用的特征，大大提高时间效率，保证算法运行实时性的要求。

本发明的技术方案如下：

一种同时完成行人检测与行人重识别的方法，其特征在于：在同一深度学习网络结构中进行行人候选框预测，行人检测框回归，多行人分类联合学习的策略，主体网络结构为vgg16网络+ppn区域生成网络+全连接识别层，主要包括大量的卷积层，池化层与全连接层；具体包括以下步骤：

(1)数据集构建：在不同角度摄像头下的预设区域提取视频帧，人工标定行人位置框与相关的标签信息组成训练数据，或通过渠道获得类似的数据构建数据集；

(2)识别训练：采用vgg16卷积神经网络结构的前5个卷积层作为基础网络，再加入局部行人候选网络ppn生成候选行人框位置，根据ppn网络输出结果进行roi-pooling池化操作，采用三个全连接层进行特征融合，最后同时利用行人检测框偏移误差回归函数与多行人目标分类损失函数进行模型参数调整；

(3)特征计算：把最后一个全连接层的输出作为特征表示，利用此特征构建特征字典-特征检索库，测试阶段把检测模型所确定行人区域部分的深度学习特征与特征检索库中所有行人特征求相似度匹配；

(4)相似度确认：当二个特征相似度符合预设要求时，确定测试图片中的行人与图片库中相似度最大的人为同一个人。

本发明提出的一种基于深度学习同时完成行人检测与行人重识别方法，使用卷积神经网络通过多层非线性映射从大规模数据中自动学习特征。此外通过模型融合与目标函数联合学习，行人检测与行人重识别任务可共有特征且权值参数共享，提高了分类识别能力的同时提升效率，更好地完成行人重识别任务。本发明具体有以下优点：

1、本发明提出了一种端到端(endtoend)的深度学习行人检索加行人重识别的框架。

2、训练过程更靠近自然实际场景，抗干扰能力强，更适合自然场景下的重识别任务。

3、检测任务与识别任务权值共享，共用特征，做到无缝衔接。

4、本发明可高效实时处理监控系统的行人检测与行人重识别问题。

附图说明

图1是本发明的卷积神经网络结构图；

图2是本发明的深度学习行人检测与行人重识别监督训练流程图；

图3是本发明的行人检测与行人重识别的运行测试流程图。

具体实施方式

图1所示是发明的核心深度卷积神经网络结构图。

本发明采用的主体网络结构为vgg16网络+ppn区域生成网络+全连接识别层，主要包括大量的卷积层，池化层与全连接层。模型采用卷积网络学习图片中的隐含判别性特征克服传统特征的人为设计干扰，其中ppn行人候选区域网络与其对应的目标回归函数帮助生成高可能性行人框。roi-pooling层解决行人框提取特征图大小不一的问题，近似于resize的功能。末端的行人位置回归目标进一步修正行人框位置，行人分类目标对应的全连接层三的输出作为最终特征表示。

本发明采用的是技术方案是：在同一深度学习网络结构中进行行人候选框预测，行人检测框回归，多行人分类联合学习的策略，具体包括以下步骤：

步骤1：数据集构建：在不同角度摄像头下的预设区域提取视频帧，人工标定行人位置框与相关的标签信息组成训练数据，或通过渠道获得类似的数据构建数据集。

步骤2：识别训练：本发明采用vgg16卷积神经网络结构的前5个卷积层作为基础网络，又加入局部行人候选网络ppn生成候选行人框位置，根据ppn网络输出结果进行roi(regionofinterest)-pooling池化操作,采用三个全连接层进行特征融合，最后同时利用行人检测框偏移误差回归函数与多行人目标分类损失函数进行模型参数调整。在大量训练数据，深度学习误差反传与梯度下降优化策略支持下，可快速微调全局深度卷积神经网络。本发现检测算法与重识别共用特征表示，减少了模型复杂度，提高时间效率，采用联合学习加强特征的判别表达能力。

步骤3：特征计算：本发明把最后一个全连接层的输出作为特征表示，可利用此特征构建特征字典-特征检索库。测试阶段把检测模型所确定行人区域部分的深度学习特征与特征检索库中所有行人特征求相似度匹配即可。

步骤4：相似度确认：当二个特征相似度符合预设要求时，确定测试图片中的行人与图片库中相似度最大的人为同一个人。

以下通过实施例，结合附图，对本发明的实现方式进一步说明。

图2所示是本发明的深度学习行人检测与行人重识别监督训练流程图，解释如何进行网络监督训练：

s201数据集构建：在自扰场景下，不同角度不同区域的摄像头下采集过往行人视频(无需行人配合，可隔帧采样)，人工标定视频帧中行人位置框与标签信息，为节省工作量可通过高质量的追踪算法辅助标记，后期人工核对即可，一个高分辨率准确标注信息的数据库是所有算法任务的重要一环。

s202训练ppn行人候选网络模块，ppn是一种全卷积网络，可以针对生成检测建议框的任务端到端地训练。以vgg16卷积神经网络为基础网络正向传播，根据特征映射图中每个位置生成的9个获选框与真实标记的位置信息的交并比确定是否候选框有行人，并进行二值分类与框位置回归的反向误差学习。

s203与s204标准化行人特征映射图：在ppn网络训练完成后，固定相应参数，网络正向传播形成全图的特征映射图，根据ppn网络的行人框预测结果，在全图特征映射图中截取单个行人的特征，使用roi-pooling标准化特征图尺寸。

s205与s206：使用行人特征与位置回归与行人的损失函数在三个全连接层中训练学习，给定学习率下，通过梯度下降与链式求导原则根据偏导求权重的更新值，优化微调深度卷积神经网络，直到模型收敛稳定。

s207行人表示特征的提取：每个行人框对应的最后一个全连接层的输出值作为其对应的特征表示。

图3所示是本发明的行人检测与行人重识别的运行测试流程图，具体流程如下：

s301输入要查找的行人图片：行人输入图片输入到网络正向传播，不启用ppn网络部分，直接提取该行人的最后一个全连接层的激活值作为表示特征并保存。

s302与s303：摄像头实时采集数据，每帧图片输入到网络中，根据ppn网络的生成框建议，进一步获得行人的特征映射图，并进行roi-pooling标准化特征图尺寸。

s304每个行人的特征继续前传，提取最后一个全连接层的输出值作为其对应的特征表示。

s305计算相似度：计算301中查找人的特征与食品检测到行人特征的相似度，可通过余弦距离、欧式距离等多种计算方法，距离越小表示两特征越像，更有可能为同一行人目标。

s306确定结果：相似度达到预设值即可判定为同一人。