一种基于多任务深度学习的行人属性识别方法与流程

本发明属于计算机视觉与模式识别领域，更具体地涉及一种基于多任务深度学习的行人属性识别方法。

背景技术：

近年来，监控摄像头在城市中得到大量普及，对人们生活起到了保驾护航的作用。如今全球每天监控录像产生数据量就达到上千pb，随着高清4k技术的推广和普及，该数据量还将会成倍增长，视频监控也将步入更高清的大数据井喷时代。如何从海量的数据中进行有用的信息检索？是现代安防重点解决的问题之一。

在以往数据规模较小，通常人为从监控视频中找到符合特征的行人。如今随着监控数据的海量增长，人力资源成本的提高，仅依靠人力筛选已变得不切实际；另一方面，刑事案件往往对检索具有时效性要求。所以如何准确对视频中行人进行自动化描述和识别，对实现行人的快速检索具有十分重要的意义。

行人属性的识别是实现视频中行人检索的前提，目前学术界就行人属性识别也做了相关研究，大致可以分为基于传统特征算法的行人属性识别、基于深度学习的行人属性识别两种，具体方案如下：

1、基于传统特征算法的行人属性识别，这种方法需要进行特征模板的选取设计，如上衣颜色，利用上衣区域设计颜色特征匹配模板，并进行颜色分类，再在相同颜色中来进行特征匹配。该方法容易受到光照和环境的影响。虽然在资源占用方面具有一定优势，但是其受到环境因素的影响比较大。

2、基于单一任务深度学习的行人属性识别方法，该方法也需要进行特征选取，如性别、年龄、发型等，就其中一种特征训练一个深度网络模型，再利用网络模型的深度特征向量之间的余弦距离进行特征匹配。由于行人间存在较多相似性，而性别、年龄、发型都无法对是否是同一个人进行唯一认证，所以通常需要多组特征组合，而多个特征模型则会消耗更多的时间和硬件显存资源，从而大大增加了产品的成本。精度上有一定的优势，但是在多组属性加载模型对速度和显存都会带来很大负担，不利于产品化中使用。

技术实现要素：

针对现有技术的缺点，如精度差、速度慢和显存资源占用大等弊端，本发明的目的在于提出一种基于多任务深度学习的行人属性识别方法，本发明欲解决的技术问题是：一方面利用深度学习来学习更加鲁棒的特征；另一方面，考虑到行人属性间的特征存在着相关性，设计了一个多任务的深度网络，在一个网络中学习所有的行人属性，该方法不仅解决了资源的占用问题，同时由于在同一个网络中进行特征共享，大大提升了模型的识别精度和速度。为解决上述技术问题：

本发明提供了一种基于多任务深度学习的行人属性识别方法，其特征在于：包括如下步骤：

s1：获取多个点位、场景的监控视频，利用行人检测算法在监控视频检测出多姿态的行人样本图；

s2：对所检测出的所述行人样本图进行重命名，并进行行人属性手工标注，划分训练集样本和测试集样本；

s3：针对任务的需求设计多任务行人属性识别网络；

s4:将所述步骤s2收集的所述训练集样本放入所述步骤s3所设计的所述多任务行人属性识别网络进行训练，得到多任务行人属性识别模型；

s5:对于所述测试集样本，利用所述步骤s4得到的所述多任务行人属性识别模型对其中每个图片输出其属于所有属性中所有类别的置信度。

进一步地，在所述步骤s5中，还包括按照类别置信度大小排序，得到所述测试集样本图片在所有属性中所属的类别。

进一步地，在所述步骤s2中，还包括对所述行人样本图中相同姿态下的行人样本进行筛选和过滤，对剩余行人样本进行人工标注，给出该剩余行人样本每个图片所有类别的标签。

进一步地，所述类别至少包括性别、年龄、发型、是否戴口罩、是否戴帽子、是否背包、是否拎东西、上衣类型、下衣类型。

进一步地，对标注好的样本进行划分，随机选取其中20％的样本作为所述测试集样本，剩余的80％为所述训练集样本。

进一步地，所述多任务行人属性识别网络为多层深度神经网络结构。

进一步地，所述多层深度神经网络结构的输入层对应着多个行人属性输入数据向量，输出层每个节点对应着每个行人属性所述类别的预测。

进一步地，在预测过程中，学习属性间的相关性、属性的局部性及属性的全局性。

进一步地，所述属性间的相关性包括下衣属性，所述属性的局部性包括头部区域属性，所述属性的全局性包括全身区域属性。

进一步地，所述下衣属性为裙子，所述头部区域属性包括头发颜色、是否戴口罩，所述全身区域属性包括是否拎东西、是否背包。

与现有技术相比，本发明至少具有下述的有益效果或优点：

本发明提供的这种基于多任务深度学习的行人属性识别方法，一方面利用深度学习来学习更加鲁棒的特征；另一方面，考虑到行人属性间的特征存在着相关性，如性别和下衣类型，这两种属性间下衣属性为裙子的样本性别也基本为女性，设计了一个多任务的深度网络，在一个网络中学习所有的行人属性，该方法不仅解决了资源的占用问题，同时由于在同一个网络中进行特征共享，大大提升了模型的识别精度和速度。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1为本发明多任务深度学习的行人属性识别方法流程图。

图2为本发明实施例多任务网络结构示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明目的在于提出一种基于多任务深度学习的行人属性识别方法，本发明欲解决的技术问题是：一方面利用深度学习来学习更加鲁棒的特征；另一方面，考虑到行人属性间的特征存在着相关性，设计了一个多任务的深度网络，在一个网络中学习所有的行人属性，该方法不仅解决了资源的占用问题，同时由于在同一个网络中进行特征共享，大大提升了模型的识别精度和速度。为解决上述技术问题：

如图1所示的基于多任务深度学习的行人属性识别方法流程图，包括如下步骤：

s1：获取多个点位、场景的监控视频，利用行人检测算法在监控视频检测出多姿态的行人样本图；尽可能保证样本的多样性；

s2：对所检测出的所述行人样本图进行重命名，并进行行人属性手工标注，划分训练集样本和测试集样本；

s3：针对任务的需求设计多任务行人属性识别网络；

s4:将所述步骤s2收集的所述训练集样本放入所述步骤s3所设计的所述多任务行人属性识别网络进行训练，得到多任务行人属性识别模型；

s5:对于所述测试集样本，利用所述步骤s4得到的所述多任务行人属性识别模型对其中每个图片输出其属于所有属性中所有类别的置信度。

该方法还包括构建行人属性样本的过程和多任务行人属性识别网络的设计。具体如下：

在构建行人属性样本的过程中，考虑到行人检测算法在监控视频中获取行人图片存在一定的冗余，首先对相同姿态下的行人样本进行筛选和过滤；接着，对剩下的行人样本进行人工标注，给出每个图片所有类别中的标签，标注的类别有如下9种，分布为：性别(男/女)、年龄(少年/青年/中年/老年)、发型(长发/短发)、戴口罩(是/否)、戴帽子(是/否)、背包(是/否)、拎东西(是/否)、上衣类型(长袖/短袖)、下衣类型(裙子/长裤/短裤)；最后，对标注好的样本进行划分，随机选取其中20％的样本作为测试集，剩下80％为训练集。

在多任务行人属性识别网络的设计过程中，在多任务网络设计上，其所述的多任务网络结构为多层深度神经网络结构，输入层对应着多个属性输入数据向量，输出层每个节点对应着每个属性所述类别的预测。在多任务属性预测的过程中，由于一些属性间存在一定的相关性，如下衣属性为裙子的样本大部分都会是女性，所以多任务学习可以学习属性间的相关性，提升模型的表达能力，进一步提高模型识别精度。

考虑到任务属性的局部性与全局性，如头发颜色、戴口罩等属性属于头部区域，而拎东西，背包等属于全身区域，所以根据属性识别的任务难度，在不同的网络层下进行属性预测，浅层特征更容易学习到全局比较大的区域，如:拎东西，而性别、年龄则需要更深层的特征来进行拟合。其网络结构如图2所示。网络训练过程如下：

s1：根据人工给予的属性类别标签，按照属性进行分类；

s2：对每个属性都写成一个属性数据(data)层；

s3：在s2属性数据(data)层下，利用连接(concat)将所有属性数据(data)聚到data_all中；

s4：在s3中data_all提取数据进入主干网络进行特征提取；经过一系列的卷积(conv)和池化(pool)操作后，得到最后的特征向量；

s5：在s4的每个特征向量后接入softmax进行属性分类

s6：训练时,根据样本标签与预测标签的差距计算损失(loss)进行梯度回传更新网络；测试时，直接能获得该样本在所有属性下所属的类别置信度。

本发明实验案例使用现场各个场景的监控视频录像，采用本发明提出的基于多任务深度学习的行人属性识别方法，对在多个场景视频中出现的行人进行属性识别，统计行人属性识别的结果。得到结果如表1所示：

表1

由表1可知，基于多任务深度学习的行人属性识别方法获得了90.09％的整体准确率，由此说明了本文所提出的方法在的有效性和准确性；当算法的硬件配置如表2所示，每张行人图片的行人属性识别平均耗时为15ms，基本满足现实场景应用的需求。

表2

针对传统方法在速度和精度上的弊端，本方法能利用一个深度神经网络来减少资源的消耗，避免多模型加载所消耗的时间，从而达到速度的提升；另外，由于同一个网络中的特征共享能进一步促进精度的提升，从而达到现实场景应用的需求。

本发明检测采用深度学习方法，能解决更复杂环境下的行人属性识别，减少光照因素带来的影响，提升模型的泛化能力。通过一个网络模型解决多个任务，可以大大减少资源的消耗，同时，由于模型个数的减少间接增加了模型的处理速度，另外，由于同一网络的特征的共享，进一步提升了精度。这种基于多任务深度学习的行人属性识别方法，一方面利用深度学习来学习更加鲁棒的特征；另一方面，考虑到行人属性间的特征存在着相关性，如性别和下衣类型，这两种属性间下衣属性为裙子的样本性别也基本为女性，设计了一个多任务的深度网络，在一个网络中学习所有的行人属性，该方法不仅解决了资源的占用问题，同时由于在同一个网络中进行特征共享，大大提升了模型的识别精度和速度。

以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。