本发明涉及深度学习技术，尤其是一种行人再识别模型训练方法及装置、电子设备和存储介质。
背景技术：
行人再识别，用于判断某个摄像头中的某个行人是否曾经出现在其他的摄像头中，即需要将某个行人特征与其他行人特征进行对比，判断是否属于同一个行人。
技术实现要素：
本发明实施例提供一种行人再识别模型训练方法及装置、电子设备和存储介质的技术方案。
本发明实施例提供的一种行人再识别模型训练方法，包括：
获取视频中各个追踪序列；
根据所述追踪序列选取未标注数据作为数据样本；
对所述数据样本进行特征提取，得到数据样本特征；
根据所述数据样本特征，对包括传导质心投影层的深度学习网络进行训练，得到行人再识别模型；其中，所述传导质心投影层是根据所述追踪序列确定的特征向量投影层。
在一种可选方式中，所述根据所述追踪序列选取未标注数据作为数据样本包括：
计算视频追踪序列中非同一身份用户的追踪序列的概率；
在所述非同一身份用户的追踪序列的概率大于预置的追踪序列概率阈值的条件下，确定出追踪序列数量以及追踪序列选取时间间隔，并确定图像帧选取时间间隔；
根据所述追踪序列数量、所述追踪序列选取时间间隔以及所述图像帧选取时间间隔，从视频帧中选择出所述未标注数据。
在一种可选方式中，所述追踪序列是指视频中同一个用户的所有视频帧中的外接框序列。
在一种可选方式中，还包括：确定所述传导质心投影层；
所述确定所述传导质心投影层包括：
计算所述追踪序列中每一帧在所述深度学习网络的特征空间中的特征向量平均值；
确定所述特征向量平均值为质心；
将每一帧的特征向量与所述质心进行内积计算，将得到的质心投影确定为所述传导质心投影层。
在一种可选方式中，基于半监督学习模式训练得到所述行人再识别模型，或者，基于无监督学习模式训练得到所述行人再识别模型。
在一种可选方式中，当基于半监督学习模式训练所述行人再识别模型时，所述数据样本还包括标注数据；
所述对所述数据样本进行特征提取得到数据样本特征包括：
将所述标注数据以及所述未标注数据进行卷积处理，分别得到标注数据特征和未标注数据特征；其中：所述数据样本特征包括所述标注数据特征和所述未标注数据特征。
在一种可选方式中，当基于无监督学习模式训练所述行人再识别模型时，所述对所述数据样本进行特征提取得到数据样本特征包括：
将所述未标注数据进行卷积处理，得到未标注数据特征；其中：所述数据样本特征为所述未标注数据特征。
本发明实施例还提供一种行人再识别模型训练装置，包括：
追踪序列获取单元，用于获取视频中各个追踪序列；
样本选取单元，用于根据所述追踪序列选取未标注数据作为数据样本；
特征提取单元，用于对所述数据样本进行特征提取，得到数据样本特征；
网络训练单元，用于根据所述数据样本特征，对包括传导质心投影层的深度学习网络进行训练，得到行人再识别模型；其中，所述传导质心投影层是根据所述追踪序列确定的特征向量投影层。
在一种可选方式中，所述样本选取单元包括：
计算子单元，用于计算视频追踪序列中非同一身份用户的追踪序列的概率；
确定子单元，用于在所述非同一身份用户的追踪序列的概率大于预置的追踪序列概率阈值的条件下，确定出追踪序列数量以及追踪序列选取时间间隔，并确定图像帧选取时间间隔；
选择子单元，用于根据所述追踪序列数量、所述追踪序列选取时间间隔以及所述图像帧选取时间间隔，从视频帧中选择出所述未标注数据。
在一种可选方式中，所述追踪序列是指视频中同一个用户的所有视频帧中的外接框序列。
在一种可选方式中，还包括：投影层确定单元，用于确定所述传导质心投影层；
所述投影层确定单元包括：
特征向量计算子单元，用于计算所述追踪序列中每一帧在所述深度学习网络的特征空间中的特征向量平均值；
质心确定子单元，用于确定所述特征向量平均值为质心；
质心投影子单元，用于将每一帧的特征向量与所述质心进行内积计算，将得到的质心投影确定为所述传导质心投影层。
在一种可选方式中，基于半监督学习模式训练得到所述行人再识别模型，或者，基于无监督学习模式训练得到所述行人再识别模型。
在一种可选方式中，当基于半监督学习模式训练所述行人再识别模型时，所述数据样本还包括标注数据；
所述特征提取单元具体用于：将所述标注数据以及所述未标注数据进行卷积处理，分别得到标注数据特征和未标注数据特征；其中：所述数据样本特征包括所述标注数据特征和所述未标注数据特征。
在一种可选方式中，当基于无监督学习模式训练所述行人再识别模型时，所述特征提取单元具体用于：将所述未标注数据进行卷积处理，得到未标注数据特征；其中：所述数据样本特征为所述未标注数据特征。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述行人再识别模型训练方法的步骤。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任一项所述行人再识别模型训练方法的步骤。
基于本发明上述实施例提供的行人再识别模型训练方法，对未标注数据中的用户做追踪(tracking)，得到若干追踪序列，然后直接将追踪序列的id作为类别id，输入带有传导质心投影层的网络中训练。相较于传统网络训练方法需要有标注的数据来训练，本发明实施例是利用追踪序列确定的未标注数据来训练深度学习网络，可提升模型性能。并且，可利用传导质心投影来有效利用无标注数据来提升网络的性能，这是因为，利用传导质心投影可避免未标注数据中相同身份的追踪序列之间的冲突，避免半监督学习过程中的迭代自我学习的过程，进而提升网络效果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明行人再识别模型训练方法一个实施例的流程图。
图2为本发明实施例中行人再识别模型训练方法中半监督学习模式的示意图。
图3为本发明实施例中行人再识别模型训练方法中无监督学习模式的示意图。
图4为本发明行人再识别模型训练装置一个实施例的结构示意图。
图5为本发明行人再识别模型训练装置另一个实施例的结构示意图。
图6为本发明电子设备一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
行人再识别是计算机视觉急智能视频监控领域的重要问题。行人再识别可以在很多领域有重要应用，如监控场景内对人体进行身份识别，多区域监控场景内对行人身份进行匹配，以及增强行人追踪的准确性。
然而，行人再识别的建模是很复杂的，行人在跨时空行走过程中姿态、着装、背景、光照和进入场景角度等变化非常大，对行人信息建模非常困难。对这些变化建模非常依赖于训练数据的数据量和数据的散度。然而现有行人再识别数据库都是以一百人到一千人为单位的，训练数据匮乏。此外，大规模的行人再识别数据标注也是十分困难的，因为当人数足够大时，标注员也很难分清衣着类似的两个人是否属于同一身份。然而很多现有方法都采用迭代的自我学习方式利用未标注数据，这些方法一方面由于迭代过程繁琐，训练缓慢，另一方面，初期对未标注样本的少量错误聚类会导致迭代后期的累积误差，造成蝴蝶效应。
传统的对于监督数据的训练利用行人的身份id作为监督，使用softmaxloss或hingeloss等来进行网络的优化，但是对于大量的无监督视频数据，行人的身份id很难获得，但是行人的追踪序列信息是很容易获得的，所以，本发明实施例提出基于传导质心投影的行人再识别模型训练方案。
图1为本发明行人再识别模型训练方法一个实施例的流程图。如图1所示，该实施例方法包括s101-s104。
s101：获取视频中各个追踪序列。
本发明实施例中，追踪序列可以理解为一段视频中同一个用户在所有帧中出现的外接框序列。在具体实现中，可以针对视频中未标注数据中的用户外接框序列做追踪(tracking)，得到若干追踪序列。
s102：根据追踪序列选取未标注数据作为数据样本。
如前所分析的，现有行人再识别数据库都是以一百人到一千人为单位的，训练数据匮乏；而且，大规模的行人再识别数据标注也是十分困难的，因为当人数足够大时，标注员也很难分清衣着类似的两个人是否属于同一身份。因此，本发明实施例提出的方案旨在从未标注数据中获取样本，具体的，是利用未标注的追踪序列来训练深度学习模型。
数据样本是指用于训练深度学习网络的数据。例如从视频中提取出的图像。相较于标注的数据，特别的，本发明实施例中的数据样本包括未标注的数据，从而扩充样本，使得建模更加准确。
本发明实施例利用未标注数据的两个先验信息：1)视频片段中一个追踪序列中的图像一定属于同一个人。2)在深度学习分类模型训练过程中，最后一层全连接分类层的权重可以近似代表不同类的类别中心。其中:“追踪序列”可以理解为一段视频中同一用户在所有帧中出现的的外接框序列。
在选择minibatch(最小批尺寸)样本时，提出一种minibatch样本选择方案，将重复身份不同clusterid出现在同一个minibatch中的概率降到最低。具体的：每个minibatch中的追踪序列之间的时间间隔大于一个定值t，基于同一个人不会在t时刻内重复进入场景的假设，使得每两个追踪序列是同一个人的概率降到最低。
在一种可选方式中，获取数据样本的过程为：
(1)获取视频中各个追踪序列，并计算视频追踪序列中非同一身份用户的追踪序列的概率；
(2)在非同一身份用户的追踪序列的概率大于预置的追踪序列概率阈值的条件下，确定出追踪序列数量以及追踪序列选取时间间隔，并确定图像帧选取时间间隔；
(3)根据追踪序列数量、追踪序列选取时间间隔以及图像帧选取时间间隔，从视频帧中选择出数据样本。
例如：本发明实施例提出一种minibatch中的样本选择方式，该方式分为追踪序列的选取策略以及序列中的图像帧的选取策略。对于具有数量为n的视频追踪序列，假设其实际具有
上述描述了追踪序列选取策略和图像帧选取策略，这种追踪序列的选取保证了身份冲突概率最小化，图像帧的选取保证了同一身份用户被选取的图像间差异最大化。这两者保证了训练过程的稳定性和最优性。
s103：对数据样本进行特征提取，得到数据样本特征。
在一种可选方式中，将数据样本进行卷积处理(例如输入卷积神经网络)，从而得到数据样本特征。
s104：根据数据样本特征，对包括传导质心投影层的深度学习网络进行训练，得到行人再识别模型；其中，传导质心投影层是根据追踪序列确定的特征向量投影层。
在一种可选方式中，根据追踪序列确定传导质心投影层包括：
(1)计算追踪序列中每一帧在深度学习网络的特征空间中的特征向量平均值；
(2)确定特征向量平均值为质心；
(3)将每一帧的特征向量与质心进行内积计算，将得到的质心投影确定为传导质心投影层。
例如，本发明实施例利用上述第一个先验信息(视频片段中一个追踪序列中的图像一定属于同一个人)，可以得到每个聚类样本的中心点，利用第二个先验信息(在深度学习分类模型训练过程中，最后一层全连接分类层的权重可以近似代表不同类的类别中心)，可以把聚类的中心点作为该聚类的全连接层的权重加在原始的全连接层后面。这样生成的新层称为“传导质心投影层”。这样使用传导质心投影层的深度学习模型可以同时利用标注和未标注数据进行训练学习。其中，追踪序列中的每一帧在深度网络的特征空间中的特征向量平均值即为该追踪序列的质心，将每一帧的特征向量与该类别质心做内积，得到质心的投影。
深度学习是机器学习中一种基于对数据进行表征学习的方法，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。不同的学习框架下建立的学习模型很是不同。例如，卷积神经网络(convolutionalneuralnetworks，cnn)是一种深度的监督学习下的机器学习模型，而深度置信网(deepbeliefnets，dbn)是一种无监督学习下的机器学习模型。
例如，训练过程是：首先确定满足预置性能要求(例如准确度标准)的网络结构；然后根据数据样本特征训练网络，利用训练平台对网络进行训练，得到满足网络结构的深度学习网络。
可见，本发明实施例中，对未标注数据中的用户做追踪(tracking)，得到若干追踪序列，然后直接将追踪序列的id作为类别id，输入带有传导质心投影层的网络中训练。相较于传统网络训练方法需要有标注的数据来训练，本发明实施例是利用追踪序列确定的未标注数据来训练深度学习网络，可提升模型性能。并且，可利用传导质心投影来有效利用无标注数据来提升网络的性能，这是因为，利用传导质心投影可避免未标注数据中相同身份的追踪序列之间的冲突，避免半监督学习过程中的迭代自我学习的过程，进而提升网络效果。
本发明实施例可以分为半监督学习以及无监督学习方式。也即，可以基于半监督学习模式训练得到行人再识别模型，或者，基于无监督学习模式训练得到行人再识别模型。
一、基于半监督学习模式
当基于半监督学习模式训练行人再识别模型时，数据样本包括标注数据和未标注数据；其中：将标注数据以及未标注数据输入至卷积神经网络，分别得到标注数据特征和未标注数据特征，标注数据特征和未标注数据特征构成数据样本特征。
参考图2，为基于半监督学习模式本发明实施例示意图。如图2所示，具有标注行人身份id的数据作为标注数据(labeleddata)和追踪序列的无身份id信息的无标注数据(unlabeleddata)。这些数据共同作为一个任务输入cnn得到其对应的特征表达xl和xu,计算出无标签数据的传导质心投影cu,根据之前的第二条先验知识，该质心投影和标注数据的全连接分类层的权重wl拼接来作为整个任务的特征空间类别中心，可以看做原先只有标注数据训练的样本空间(m类)因为未标注数据的加入得到扩充(变为m+1类)，根据内积运算
二、基于无监督学习模式
当基于无监督学习模式训练行人再识别模型时，将未标注数据输入至卷积神经网络，得到未标注数据特征；其中：未标注数据特征即作为数据样本特征。
参考图3，为基于无监督学习模式本发明实施例示意图。如图3所示，未标注数据单独作为一个任务来训练cnn网络，得到其对应的特征表达xu。利用每一类样本计算的传导质心投影cu直接作为该batch数据的样本中心来，每一类样本的分类置信度由内积运算[cu]t·[xu]计算得到，该方式在不借助标注数据的帮助下依然能够很好的拉近类内距离，推远类间距离。
可见，相对于现有技术，利用传导质心投影来有效利用无标注数据来提升网络的性能；本发明实施例将不再需要迭代学习，因此操作简洁，效果提升更加明显，对于无标注数据的信息利用更加充分；而且本发明实施例具有无监督和半监督两种形式，可以适应任意的数据组合，因此扩展性强；通过minibatch选取策略，可以最小化未标注数据中相同id在batch中被同时选中的概率，并加大训练样本的类内方差，因此鲁棒性更好。
图4为本发明行人再识别模型训练装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述行人再识别模型训练方法实施例。如图4所示，该实施例的装置包括:
追踪序列获取单元401，用于获取视频中各个追踪序列；
样本选取单元402，用于根据所述追踪序列选取未标注数据作为数据样本；
特征提取单元403，用于对所述数据样本进行特征提取，得到数据样本特征；
网络训练单元404，用于根据所述数据样本特征，对包括传导质心投影层的深度学习网络进行训练，得到行人再识别模型；其中，所述传导质心投影层是根据所述追踪序列确定的特征向量投影层。
在一种可选方式中，所述追踪序列是指视频中同一个用户的所有视频帧中的外接框序列。
图5为本发明行人再识别模型训练装置另一个实施例的结构示意图。该实施例的装置可用于实现本发明上述行人再识别模型训练方法实施例。如图5所示，该实施例的装置包括:
追踪序列获取单元501，用于获取视频中各个追踪序列；
样本选取单元502，用于根据所述追踪序列选取未标注数据作为数据样本；
特征提取单元503，用于对所述数据样本进行特征提取，得到数据样本特征；
网络训练单元504，用于根据所述数据样本特征，对包括传导质心投影层的深度学习网络进行训练，得到行人再识别模型；其中，所述传导质心投影层是根据所述追踪序列确定的特征向量投影层。
在一种可选方式中，所述追踪序列是指视频中同一个用户的所有视频帧中的外接框序列。
在一种可选方式中，所述样本选取单元502包括：
概率计算子单元5021，用于计算视频追踪序列中非同一身份用户的追踪序列的概率；
间隔确定子单元5022，用于在所述非同一身份用户的追踪序列的概率大于预置的追踪序列概率阈值的条件下，确定出追踪序列数量以及追踪序列选取时间间隔，并确定图像帧选取时间间隔；
选择子单元5023，用于根据所述追踪序列数量、所述追踪序列选取时间间隔以及所述图像帧选取时间间隔，从视频帧中选择出所述未标注数据。
在一种可选方式中，该装置还包括：投影层确定单元505，用于确定所述传导质心投影层；
所述投影层确定单元505包括：
特征向量计算子单元5051，用于计算所述追踪序列中每一帧在所述深度学习网络的特征空间中的特征向量平均值；
质心确定子单元5052，用于确定所述特征向量平均值为质心；
质心投影子单元5053，用于将每一帧的特征向量与所述质心进行内积计算，将得到的质心投影确定为所述传导质心投影层。
在一种可选方式中，基于半监督学习模式训练得到所述行人再识别模型，或者，基于无监督学习模式训练得到所述行人再识别模型。
在一种可选方式中，当基于半监督学习模式训练所述行人再识别模型时，所述数据样本还包括标注数据；
所述特征提取单元503具体用于：将所述标注数据以及所述未标注数据进行卷积处理，分别得到标注数据特征和未标注数据特征；其中：所述数据样本特征包括所述标注数据特征和所述未标注数据特征。
在一种可选方式中，当基于无监督学习模式训练所述行人再识别模型时，所述特征提取单元503具体用于：将所述未标注数据进行卷积处理，得到未标注数据特征；其中：所述数据样本特征为所述未标注数据特征。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(pc)、平板电脑、服务器等。下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备600的结构示意图：如图6所示，计算机系统600包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(cpu)601，和/或一个或多个图像处理器(gpu)613等，处理器可以根据存储在只读存储器(rom)602中的可执行指令或者从存储部分608加载到随机访问存储器(ram)603中的可执行指令而执行各种适当的动作和处理。通信部612可包括但不限于网卡，所述网卡可包括但不限于ib(infiniband)网卡，
处理器可与只读存储器602和/或随机访问存储器630中通信以执行可执行指令，通过总线604与通信部612相连、并经通信部612与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，获取视频中各个追踪序列；根据所述追踪序列选取未标注数据作为数据样本；对所述数据样本进行特征提取，得到数据样本特征；根据所述数据样本特征，对包括传导质心投影层的深度学习网络进行训练，得到行人再识别模型；其中，所述传导质心投影层是根据所述追踪序列确定的特征向量投影层。
此外，在ram603中，还可存储有装置操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。在有ram603的情况下，rom602为可选模块。ram603存储可执行指令，或在运行时向rom602中写入可执行指令，可执行指令使处理器601执行上述通信方法对应的操作。输入/输出(i/o)接口605也连接至总线604。通信部612可以集成设置，也可以设置为具有多个子模块(例如多个ib网卡)，并在总线链接上。
以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
需要说明的，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如gpu和cpu可分离设置或者可将gpu集成在cpu上，通信部可分离设置，也可集成设置在cpu或gpu上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，获取视频中各个追踪序列；根据所述追踪序列选取未标注数据作为数据样本；对所述数据样本进行特征提取，得到数据样本特征；根据所述数据样本特征，对包括传导质心投影层的深度学习网络进行训练，得到行人再识别模型；其中，所述传导质心投影层是根据所述追踪序列确定的特征向量投影层。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本申请的方法中限定的上述功能。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。