一种用于视频监控场景中行人重识别的方法与流程

本发明涉及计算机视觉技术领域，具体涉及一种用于视频监控场景中行人重识别的方法。

背景技术：

行人重识别(personre-identification)起于多相机的目标追踪研究中，旨在从其他摄像机中找出特定目标人物。行人重识别技术主要应用于安防领域，随着近年来视频监控系统的普及，视频图像成倍增长，过去完全依靠人工甄别监控视频的侦察方式显得效率低下，因此发展由计算机从行人中检索匹配目标人物的行人重识别技术显得尤为迫切。

由于监控环境复杂不可控，行人姿势的变化等条件的限制，从视频监控系统中获取的行人图像往往质量较低，依靠人脸、虹膜等生物特征来解决行人重识别收到限制，因此当前绝大部分研究人员依靠颜色、纹理等整体外观特征实现行人重识别。然而由于监控视频的视角、光照、远近等变化，行人外观常常发生很大变化，这给行人重识别带来了巨大挑战。

在行人重识别研究的早期，用于研究的数据集较小(几十至数百人)，大量手工设计的特征涌现出来，如mscr、biocov等。这些特征大体可分为低层视觉特征和中层语义特征两类：低层视觉特征涵盖颜色直方图、纹理特征和局部特征等，中层语义特征指发型、外套类型、是否背包等。同时，也有一些研究集中在上述描述子之间的距离度量，诞生了kissme、lmnn、xqda等度量方法。后来随着深度学习的流行，数据集规模的增大，基于cnn(的学习模型自2014年底逐渐被引入到行人重识别领域中。这类方法避免了手工设计、选择特征，将颜色、纹理和度量学习融合在一个统一的框架里。

技术实现要素：

本发明的目的是为了解决现有技术中的上述缺陷，提供一种结合深度学习特征与中层语义属性的用于视频监控场景中行人重识别的方法，该方法通过在ft-fnn网络中融入低层视觉特征特征、通过图像分类数据集预训练、行人属性数据集微调三大手段改善了深度特征的区别能力和属性识别的准确率。

本发明的目的可以通过采取如下技术方案达到：

一种用于视频监控场景中行人重识别的方法，所示方法包括下列步骤：

s1、预训练ft-fnn网络，将ft-fnn网络在imagenet数据集上进行预训练，使ft-fnn网络获取理想的初始值；

s2、微调ft-fnn网络，将ft-fnn网络的输出层替换为节点与属性个数一致的全连接层，实现行人属性数据集微调，识别行人的包括中层语义属性在内的不同属性；

s3、提取训练图像深度特征和属性特征，将训练集图像输入到训练好的ft-fnn网络中，取其融合层的输出作为深度特征，输出层的输出作为属性特征；

s4、优化属性权重，利用随机梯度下降算法求解设计的目标函数，求得各属性的相对权重，得到权重向量；同时取得深度特征与属性特征的相对权重；

s5、提取待识别图像属性特征，将待识别图像输入到ft-fnn网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；

s6、提取行人库属性特征，将行人库图像输入到ft-fnn网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；

s7、生成距离矩阵，根据属性特征及权值，计算每一幅待识别图像与行人库中每一幅图像之间的距离，得到距离矩阵；

s8、按序输出匹配图像，将结果由近到远排序，并输出匹配图像。

进一步地，所述步骤s1预训练ft-fnn网络中，引入数据增强、dropout机制，将ft-fnn网络输出层节点调整为与数据集的物体类别个数一致之后，将ft-fnn网络在imagenet数据集上进行预训练。

进一步地，所述步骤s2微调ft-fnn网络中，行人属性数据集微调通过加权交叉熵损失削弱属性不平衡的影响：

上式中g为属性组集合，n为该批次训练样本的数量，ng为训练集中该组属性数量，为第i个样本在第g个组中具有第k个属性的样本数量，概率为softmax函数应用于第g个属性组的fc8层的输出，记表示xi的第k个输出，则该softmax函数为

进一步地，所述步骤s4优化属性权重中以匹配行人的排序期望作为目标函数并使用梯度下降法优化，计算过程如下：

使用l1范数度量带匹配图片ip与行人库图片ig在属性空间的距离

dw(ip,ig)＝w^t|a(xp)-a(xg)|

上式中w表示属性权重向量，xp和xg表示图片ip和ig的特征，

设计如下目标函数：

上式中p为带识别图像(probe)集合，g为行人库(gallery)图像集合，dpp表示与g中匹配图像的距离，dpg表示某p∈p与其不匹配图像g之间的距离，lw为损失函数。w0为正则偏置项，λ为调整经验风险正则项之间权重的系数，签字损失函数lw定义如下：

初始时令各属性权重相等，采用梯度下降法求解目标函数最小值，求得较优的权重向量w。

进一步地，所述步骤s7生成距离矩阵中，计算p中各元素与g中各原始的距离dw(ip,ig)，形成如下的距离矩阵

上式中每项表示一对图片(p,g)按加权l1范数计算的距离；

其中，距离dw(ip,ig)采用对属性与低层特征之间按照各自度量方法分别求距离，再加权求和得到：

上式中ll为低层特征集合，ip,ig为待匹配图像与行人库图像，w^l,w^a分别为属性的权重和低层特征的权重。

进一步地，所述步骤s8按序输出匹配图像中，对p∈p，查找矩阵中p所在行，将距离升序排列，输出对于行人库图像g。

本发明公开的上述用于视频监控场景中行人重识别的方法可以的运用场景包括但不限于下述举例：

(1)、视频监控网络中的行人监控。在视频监控网络中，判断无重叠视域中检测到的行人是否为同一人，解决多摄像机跟踪领域无重叠视域的目标交接问题。

(2)、基于历史资料的行人检索。如在锁定某一犯罪嫌疑人后，在视频监控网络录像中找出其出现的其他地点。

本发明相对于现有技术具有如下的优点及效果：

(1)本文采用在大数据集上预训练网络，再在较小数据集上微调的训练方式，能避免网络陷入不佳的局部最优值，使得属性识别的准确率较高。

(2)借助深度网络优异的表达能力，颜色、纹理、空间结构等信息通过卷积网络自动习得，较手工设计描述子、进行属性分类简便、高效。

(3)优化属性权值，使部分判断不准确、易干扰识别结果的权重降低，判断准确、区分度较高。

(4)中层语义属性较低层纹理、颜色等视觉特征稳定，不易因光照、姿势的变化而产生较大变动。

(5)ft-ffn网络的输入包含手工提取的低层特征，实验证明一定手工低层特征的融入对高属性识别准确率和深度特征的判别力均有帮助。

附图说明

图1是本发明公开的一种用于视频监控场景中行人重识别的方法流程图；

图2是本发明中用于提取深度特征，同时获取语义属性特征的卷积网络示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如附图所示，图1为应用本文方法进行行人重识别的整体流程。其中本发明涉及的关键步骤为训练cnn网络及优化属性权重，属性特征的计算等，距离矩阵的计算及按序输出为行人重识别应用共有步骤。

图2为本文用于提取深度特征，同时获取语义属性特征的卷积网络，称为ft-fnn(fine-tuningfeaturefusionnet)。图中上半部分为alex网络，下半部分为一手工提取的特征elf16，两者在第七个全连接层融合。网络层的输出层节点个数与拟识别属性个数一致。

如附图1中所示，本实施例中一种用于视频监控场景中行人重识别的方法，通过如下步骤实现：

s1、预训练ft-fnn网络，将ft-fnn网络在imagenet数据集上进行预训练，使ft-fnn网络获取理想的初始值；

s2、微调ft-fnn网络，将ft-fnn网络的输出层替换为节点与属性个数一致的全连接层，用于识别行人的包括中层语义属性在内的不同属性；

s3、提取训练图像深度特征和属性特征，将训练集图像输入到训练好的ft-fnn网络中，取其融合层的输出作为深度特征，输出层的输出作为属性特征；

s4、优化属性权重，利用随机梯度下降算法求解设计的目标函数，求得各属性的相对权重，得到权重向量；同时取得深度特征与属性特征的相对权重。

s5、提取待识别图像属性特征，将待识别图像输入到ft-fnn网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；

s6、提取行人库属性特征，将行人库图像输入到ft-fnn网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；

s7、生成距离矩阵，根据属性特征及权值，计算每一幅待识别图像与行人库中每一幅图像之间的距离，得到距离矩阵；

s8、按序输出匹配图像，将结果由近到远排序，并输出匹配图像。

上述技术方案中，所述步骤s1中预训练卷积神经是在千万级图片分类数据集上进行训练，识别图片类别。预训练使得ft-fnn网络前几层能学习到图像中含有的颜色、纹理、形状特征，整个网络获得较好的初值。

本实施例引入数据增强、dropout等机制，首先将ft-fnn网络输出层节点调整为与数据集的物体类别个数一致，在imagenet2012数据集(包含上千万带物品类别标注的图片)上训练本文提出的ft-fnn网络。

所述步骤s2中将经过预训练网络的输出层替换，在行人属性数据集上训练，微调整个网络的权值，使网络能识别行人的性别、衣着等属性。

如图2所示，将训练好的ft-ffn输出层替换为与属性数目一致的全连接层，在行人属性数据集上训练ft-ffn网络。假定属性之间存在分组，使得组内仅有一个属性为正，例如性别组中的性别男与性别女。为减少样本属性不平衡的影响，ft-ffn网络中行人属性数据集微调使用如下的加权交叉熵loss函数

上式中g为属性组集合，ng为训练集中改组属性数量，为第i个样本在第g个组中具有第k个属性的样本数量。概率为softmax函数应用于第g个属性组的fc8层的输出。记表示xi的第k个输出，则该softmax函数为

所述步骤s3中将训练集图像输入到训练好的ft-fnn网络中，取其融合层的输出作为深度特征，输出层的输出作为属性特征。

具体地，将包含若干将已标定行人身份的训练集图片输入到ft-fnn网络，将第七个全连接层(即图2中低层特征与alex网络的融合层)输出，即为深度特征；将输出层的输出保存，即为属性特征。

所述步骤s4中利用随机梯度下降算法求解设计的目标函数，求得各属性的相对权重，得到权重向量；同时取得深度特征与属性特征的相对权重。

本文采用对属性与低层特征(low-levelfeature)之间按照各自度量方法分别求距离，再加权求和得到：

上式中ll为低层特征集合，ip,ig为待匹配图像与行人库图像，w^l,w^a分别为属性的权重和低层特征的权重。

属性空间的距离定义如下：

上式中w表示属性权重向量，xp和xg表示图片ip和ig的特征。设计如下目标函数

上式中p为待识别图像(probe)集合，g为行人库(gallery)图像集合，dpp表示与g中匹配图像的距离，dpg表示某p∈p与其不匹配图像g之间的距离。lw为损失函数。w0为正则偏置项，λ为调整经验风险正则项之间权重的系数。本发明定义的损失函数lw如下

初始时令各属性权重相等，采用梯度下降法求解目标函数最小值，求得较优的权重w^a。

使用同样方法求得属性与特征向量的相对权重w^l。

所述步骤s5和步骤s6中将待匹配图像与行人库图像输入到ft-fnn网络中，通过输出层与融合层的输出得到深度特征和属性特征。

其中，提取待匹配图像的属性特征：

对所有p∈p，利用步骤s4调整的网络参数w，前向传播得到属性特征

a(ip)＝hw,b(ip)(7)

将第七层的全连接层输出，得到深度特征

d(ip)＝h′w,b(ip)(8)

其中，提取行人库属性特征

对所有g∈g，利用步骤s4调整的网络参数w，前向传播得到属性特征

a(ig)＝hw,b(ig)(9)

将第七层的全连接层输出，得到深度特征

d(ig)＝h′w,b(ig)(10)

所述步骤s7和步骤s8中根据属性特征及权值，计算每一幅待匹配图像与行人库中每一幅图像之间的距离，将结果由近到远排序。

其中，生成距离矩阵

按(3)式计算p中各元素与g中各原始的距离dw(ip,ig)，形成如下的距离矩阵

上式中每项表示一对图片(p,g)按加权l1范数计算的距离。

其中，按序输出匹配图像

对p∈p，查找矩阵中p所在行，将距离升序排列，输出对于行人库图

像g，即可用于辅助检索犯罪嫌疑人等应用。

综上所述，本发明使用自定义的ft-fnn网络提取行人图片的深度特征和属性特征。首先将ft-fnn网络在imagenet数据集上进行预训练，使网络具有较好的初始值。然后将ft-fnn网络的输出层替换为节点与属性个数一致的全连接层，用于识别行人的不同属性。在行人属性数据集上微调网络，令网络学习判别行人的性别、年龄等语义属性。最后通过构造与正确匹配图像排序相关的目标函数，并通过梯度下降法求解，优化不同语义属性在计算行人图像间距离的作用，以及深度特征与属性特征的相对权重。通过识别行人属性对网络进行微调，能较大程度改善深度特征的区别能力；行人的语义属性一般不会随着光照、姿势、视角而变化，同时深度神经网络能大大提高行人语义属性判断的准确性，因此本发明能取得较好的效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。