行人重识别模型训练方法、装置、计算机设备和存储介质与流程

文档序号:20755249发布日期:2020-05-15 17:22阅读:168来源:国知局
行人重识别模型训练方法、装置、计算机设备和存储介质与流程

本申请涉及计算机技术领域,特别是涉及一种行人重识别模型训练方法、装置、计算机设备和存储介质。



背景技术:

随着视频监控技术的发展,出现了行人重识别技术。行人重识别技术是利用计算机视觉技术判断图像或视频序列中是否存在特定行人的技术,基于行人重识别技术,计算机能从海量的图像或视频数据中搜寻出目标行人的图像数据。

目前主要是通过深度学习实现行人重识别技术,利用大量携带有标签的行人全局图像或对携带有标签全局图像进行水平分割后的局部图像进行行人重识模型训练,根据训练得到的行人重识别模型完成行人重识别。

然而在模型训练时,由于只是基于人工为全局图像设置图像标签,之后将全局图像的图像标签笼统地归纳为局部图像的局部标签,因此当局部图像的图像信息并不足以识别行人时,直接将全局图像的图像标签确定为对应局部标签时,就会导致基于局部图像以及对应的图像标签训练而得的行人重识别模型的不准确。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种能够提升行人重识别模型准确率的行人重识别模型训练方法、装置、计算机设备和存储介质。

一种行人重识别模型训练方法,所述方法包括:

获取多个行人的全局图像、所述全局图像分割得到的多个局部图像以及全部全局图像中所包含的行人标识;

基于已训练的标签标注模型确定全局图像属于每个行人标识的概率,以及每个局部图像属于每个行人标识的概率;

将基于全局图像属于每个行人标识的概率生成的第一序列确定为相应全局图像的图像标签;

将每个局部图像属于每个行人标识的概率生成的第二序列确定为相应局部图像的图像标签;

基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练。

在其中一个实施例中,所述标签标注模型的训练过程包括:

获取行人的全局图像以及对应的分类标签;

提取所述全局图像的全局特征;

通过标签标注模型预测所述全局特征的分类结果;

按照所述分类结果与所述分类标签的差异,调整所述标签标注模型的参数并继续训练,直至满足训练停止条件。

在其中一个实施例中,所述提取所述全局图像的全局特征包括:

提取所述全局图像的多个局部特征;

拼接所述局部特征,得到所述全局图像的全局特征。

在其中一个实施例中,基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练包括:

确定当前顺序的行人重识别模型;

基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练;

将所述全局图像或局部图像输入训练后的当前顺序行人重识别模型,得到每个全局图像或局部图像的识别结果;

将所述基于当前顺序行人重识别模型得到的识别结果作为输入下一顺序行人重识别模型的图像标签,将所述下一顺序子模型作为当前顺序子模型,并返回至基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练的步骤,直至遍历完行人重识别模型中的子模型。

在其中一个实施例中,所述基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练包括:

基于所述全局图像以及对应的图像标签训练所述全局子模型;

根据所述人体部位标识从所述多个局部子模型中筛选出目标子模型;

基于与所述人体部位标识对应的局部图像以及与所述局部图像对应的图像标签训练所述目标子模型;

合并所述训练后的全局子模型以及目标子模型,得到所述行人重识别模型。

在其中一个实施例中,所述基于与所述人体部位标识对应的局部图像以及与所述局部图像对应的图像标签训练所述目标子模型包括:

通过所述目标子模型提取所述局部图像的局部特征;

根据所述局部特征预测局部识别结果;

按照所述局部识别结果与所述局部图像的图像标签之间的差异,调整所目标子模型的参数并继续训练,直至满足训练停止条件。

在其中一个实施例中,所述方法包括:

获取多个候选行人的待识别图像以及目标行人的目标图像;

将所述待识别图像以及目标图像输入行人重识别模型,得到多个待识别图像的第一全局特征以及与目标图像的第二全局特征;

分别将每个待识别图像的第一全局特征与第二全局特征进行相似度匹配;

将相似度符合条件的待识别图像中的候选行人确定为所述目标行人。

一种行人重识别模型训练装置,所述装置包括:

图像获取模块,用于获取多个行人的全局图像、所述全局图像分割得到的多个局部图像以及全部全局图像中所包含的行人标识;

图像标签获取模块,用于基于预训练的标签标注模型确定全局图像属于每个行人标识的概率,以及每个局部图像属于每个行人标识的概率;将基于全局图像属于每个行人标识的概率生成的第一序列确定为相应全局图像的图像标签;将每个局部图像属于每个行人标识的概率生成的第二序列确定为相应局部图像的图像标签;

模型训练模块,用于基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练。

一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取多个行人的全局图像、所述全局图像分割得到的多个局部图像以及全部全局图像中所包含的行人标识;

基于预训练的标签标注模型确定全局图像属于每个行人标识的概率,以及每个局部图像属于每个行人标识的概率;

将基于全局图像属于每个行人标识的概率生成的第一序列确定为相应全局图像的图像标签;

将每个局部图像属于每个行人标识的概率生成的第二序列确定为相应局部图像的图像标签;

基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取多个行人的全局图像、所述全局图像分割得到的多个局部图像以及全部全局图像中所包含的行人标识;

基于预训练的标签标注模型确定全局图像属于每个行人标识的概率,以及每个局部图像属于每个行人标识的概率;

将基于全局图像属于每个行人标识的概率生成的第一序列确定为相应全局图像的图像标签;

将每个局部图像属于每个行人标识的概率生成的第二序列确定为相应局部图像的图像标签;

基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练。

上述行人重识别模型训练方法、装置、计算机设备和存储介质,由于训练行人重识别模型所使用的图像标签是根据全局图像或局部图像属于每个行人标识的概率确定的,因此相比于传统的手工标定全局图像的图像标签,并笼统地将全局图像的图像标签归纳为局部图像的图像标签,上述行人重识别模型训练方法可以得到更为准确的图像标签,从而可以提升基于图像标签训练而得的行人重识别模型的准确性。

附图说明

图1为一个实施例中行人重识别模型训练系统的应用场景图;

图2为一个实施例中行人重识别模型训练方法的流程示意图;

图3a为一个实施例中全局图像的示意图;

图3b为一个实施例中局部图像的示意图;

图4为一个实施例中多个行人重识别模型示意图;

图5为一个实施例中行人重识别模型的结构示意图;

图6为一个实施例中行人重识别模型训练装置的结构框图;

图7为另一个实施例中行人重识别模型训练装置的结构框图;

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

图1为一个实施例中行人重识别模型训练方法的应用环境图。参照图1,该行人重识别模型训练方法应用于行人重识别模型训练系统。该行人重识别模型训练系统包括终端110和服务器120。该行人重识别模型训练方法可以在终端110或服务器120完成。基于训练结束后的图片特征提取模型提取图片特征也可以在终端110或服务器120完成。当需要从海量图像数据筛选出目标行人的图像数据时,终端110可以基于海量图像数据进行行人重识,也可以将海量数据发送至服务器120,由服务器120根据海量图像数据实现行人重识别。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑和笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中,如图2所示,提供了一种行人重识别模型训练方法,本实施例主要以该方法应用于上述图1中的计算机设备,如终端110或服务器120来举例说明。参照图2,行人重识别模型训练方法包括以下步骤:

s202,获取多个行人的全局图像、所述全局图像分割得到的多个局部图像以及全部全局图像中所包含的行人标识。

其中,全局图像可以是基于架设在图像采集区域附近的图像采集设备采集得到的行人的原始全身图像;局部图像是对全局图像进行分割后的包含行人某个部位的图像,比如可以将全局图像分割为包含行人头部、包含行人躯干以及包含行人腿部的多个局部图像。

行人标识为标识全部全局图像中所包含的不同行人的身份的标签,比如行人标识可以分别为id=1、id=2以及id=3,此时的全局图像为针对id=1、id=2以及id=3的三个不同行人所采集的图像数据。

具体地,可以在预设的图像采集区域部署图像采集设备,图像采集设备在当前采集时段内实时扫描摄像视野中的现实场景,并按照预设时间频率实时地生成图像帧,所生成的图像帧可缓存在图像采集设备本地。采集时段是指需要对图像采集区域进行采集的时间区间,包括采集起始时间和采集结束时间。时间频率是指单位时间内所需拍摄现场图像的帧数,如5帧/秒。在当前采集时段结束时,图像采集设备将采集到的当前采集时段的全部现场图像发送至计算机设备进行图像裁剪。

图3为一个实施例中全局图像以及局部图像的示意图,当接收到图像采集设备发送的现场图像后,行人重识别模型训练人员利用最紧凑的方框对现场图像进行裁剪,得到如图3a所示的全局图像。之后,行人重识别模型训练人员对全局图像进行分割,得到如图3b所示的多个局部图像。

当获取到全局局部图像后,行人重识别模型训练人员可以预先基于全局图像所属行人标识,手工为全局图像添加分类标签,并将为全局图像设置的分类标签赋予对应的局部图像。分类标签为指示当前图像所属行人标识的信息,比如当全局图像为针对三个行人标识为id=1、id=2以及id=3的行人所采集的图像数据时,属于id=1的行人的全局图像a的分类标签即可为[1,0,0](即属于id=1的概率为1,属于其他id的概率为0),属于id=2的行人的全局图像b的分类标签为[0,1,0];当局部图像来自全局图像a时,局部图像对应的分类标签与全局图像a的分来标签相同,为[1,0,0]。

在一个实施例中,行人重识别模型训练人员可以水平分割全局图像,得到包括头部的局部图像、包括躯干的局部图像以及包括腿部的局部图像。

在一个实施例中,可以在图像采集区域布置多个图像采集设备,以使从经过图像采集区域的行人至少能进入两个图像采集设备的扫描摄像视野。

在一个实施例中,当行人重识别模型训练人员对多张现场图像进行裁剪,得到多个行人的全局图像后,行人重识别模型训练人员可以将全局图像输入图像分割软件,以使图像分割软件根据预设的图像尺寸对全局图像进行重置,得到相同尺寸的多张全局图像,并将多张尺寸相同的全局图像进行分割,得到多个局部图像。

s204,基于预训练的标签标注模型确定全局图像之间相匹配的概率,以及每个局部图像来自各个全局图像的概率。

其中,标签标注模型可以为一个分类模型,具体可以根据需要自定义,如可以为经典的图像分类模型restnet-50、mgn(mutiplegranularitynetwork,多粒度网络)等,下述以mgn为例进行说明。行人重识别模型训练人员可以预先基于图像采集设备采集的全局图像以及对应的分类标签,或分割后的局部图像及对应的分类标签对标签标注模型进行训练,以使标签标注模型根据分类标签学习得到全部全局图像或局部图像中的每个不同类别的行人的图像特征。

具体地,计算机设备将训练标签标注模型时所使用的全局图像或局部图像输入预训练的标签标注模型,当预训练的mgn获取到行人图像时,mgn判断接收到的行人图像是否为全局图像,若是,mgn从全局图像中提取全局特征,并将全局特征与学习的到的全部不同行人的图像特征进行对比,得到全局图像属于每个行人标识的概率,即得到全局图像是针对与行人标识对应的行人所采集的图像数据的概率。mgn遍历图像采集器所采集的全部全局图像,从而得到每张全局图像属于每个行人标识的概率。比如,在上述举例中,当标签标注模型已经学习得到与三个不同行人标识对应的行人的图像特征时,标签标注模型提取全局图像a的全局特征,全局特征经过全连接层后,对全连接层输出进行归一化得到行人标识概率,即得到全局图像属于每个行人标识的概率。

当mgn接收到基于全局图像分割后的局部图像时,mgn提取局部图像的图像特征,局部特征经过全连接层后,对全连接层输出进行归一化得到行人标识概率。

在一个实施例中,mgn对全局图像进行特征提取,得到全局特征图,并将全局特征图进行切分,得到局部图像的局部特征图。mgn将局部图像特征输入全连接层后,对全连接层输出进行归一化得到行人标识概率,即得到局部图像属于每个行人标识的概率。

在一个实施例中,mgn按预设比例分割全局图像,得到多张局部图像,之后再提取局部图像的图像特征mgn将提取出的图像特征输入全连接层,并将全连接层输出进行归一化处理,得到每个局部图像所属每个行人标识的概率。

s206,将基于全局图像属于每个行人标识的概率生成的第一序列确定为相应全局图像的图像标签。

s208,将每个局部图像属于每个行人标识的概率生成的第二序列确定为相应局部图像的图像标签;

其中,图像标签为指示全局图像或局部图像属于每个行人标识的概率集。

具体地,当得到全连层输出的进行归一化处理后的全局图像属于每个行人标识的概率时,标签标注模型将全局图像属于每个行人标识的概率作为第一序列,并将第一序列确定为全局图像的图像标签。

当得到全连层输出的进行归一化处理后的局部图像属于每个行人标识的概率时,标签标注模型将局部图像属于每个行人标识的概率作为第二序列,并将第二序列确定为局部图像的图像标签。

在一个实施例中,当同时将全局图像以及基于全局图像分割后的局部图像同时输入预训练的标注标签模型时,标注标签模型基于全局图像的全局图像特征确定对应的图像标签,并直接将图像标签赋予基于全局图像分割而得的局部图像。比如,当确定全局图像a的图像标签为[0.5,0.25,0.25]时,来自全局图像a的局部图像的图像标签也为[0.5,0.25,0.25]。

s210,基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练。

具体地,当待训练的行人重识别模型获取得到全局图像及所对应的图像标签时,待训练的行人重识别模型初始化每个神经单元的参数以及权重,并基于每个单元的参数以及权重,确定全局图像中的全局特征。全局特征为从行人全身提取出的特征向量。行人重识别模型将全局特征输入全连层,得到全局图像属于每个行人标识的预测概率,并将预测概率以及全局图像的图像标签输入损失函数度量网络。损失函数度量网络将预测概率与对应的图像标签进行对比,得到预测概率与图像标签之间的偏差值,并基于随机梯度下降法将偏差值反传入行人重识别模型中,从而行人重识别模型根据偏差值进行权重以及参数的调整,直至偏差值符合预设的要求。

同理,当待训练的行人重识别模型获取得到局部图像以及对应的图像标签时,行人重识别模型基于从局部图像中提取出的局部图像特征以及对应的图像标签调整权重及参数。

在一个实施例中,当待训练的行人重识别模型获取得到全局图像以及对应的图像标签时,行人重识别模型对全局图像进行分割,得到多个局部图像,并分别提取局部图像的局部图像特征,之后将局部图像特征进行拼接,得到全局特征。待训练的行人重识别模型将拼接得到的全局图像以及对应的图像标签输入损失函数度量网络中,以使损失函数度量网络对应输出偏差值,从而待训练的行人重识别模型跟据偏差值对应调整权重和参数。由于行人重识别模型能够从局部图像中提取更细粒度的细节特征,因此相比于直接从全局图像中提取全局特征,基于局部图像特征拼接后的全局特征能够表现出更为丰富的细节特征,从而提升了根据拼接后的全局特征训练得到的模型的行人重识别准确率。

容易理解地,本申请提供的行人重识别模型训练方法中标签标注模型与行人重识别模型可以为同一类型的模型,也可以为不同类型的模型。

上述行人重识别模型训练方法中,由于训练行人重识别模型所使用的图像标签是根据全局图像或局部图像属于每个行人标识的概率确定的,因此相比于传统的手工标定全局图像的图像标签,并笼统地将全局图像的图像标签归纳为局部图像的图像标签,上述行人重识别模型训练方法可以得到更为准确的图像标签,从而可以提升基于图像标签训练而得的行人重识别模型的准确性。

在一个实施例中,标签标注模型的训练过程包括:获取行人的全局图像以及对应的分类标签;提取全局图像的全局特征;通过标签标注模型预测全局特征的分类结果;按照分类结果与分类标签的差异,调整标签标注模型的参数并继续训练,直至满足训练停止条件。

其中,标签标注模型包含对应的损失函数度量网络。

具体地,待训练的标签标注模型包含有模型参数。该模型参数作为本实施例中训练标签标注模型的初始参数参与初始权重。当标签标注模型获取得到全局图像及所对应的图像标签时,标签标注模型初始化每个神经单元的参数以及权重,并基于每个单元的参数以及权重确定全局图像中的全局特征。之后待训练的标签标注模型将全局特征输入全连层,得到全局图像属于每个行人标识的预测概率(记作分类结果),并将分类结果以及全局图像的分类标签输入损失函数度量网络。损失函数度量网络将分类结果与对应的分类标签进行对比,得到分类结果与分类标签之间的偏差值,并基于随机梯度下降法将偏差值反传入标签标注模型中,从而标签标注模型根据偏差值进行权重以及参数的调整,直至偏差值符合预设的要求。

本实施例中,将分类标签以及基于待训练的标签标注模型提取得到的全局特征一起输入损失函数度量网络中进行处理,可以根据得到的预测分类结果与分类标签之前的差异,逐步对标签标注模型中的参数以及权重进行调整,这样在参数调整的过程中,使得基于标签标注模型得到的预测分类结果能够更接近分类标签,从而提升了标签标注模型的准确性。

在一个实施例中,标签标注模型的训练过程包括:提取全局图像的全局特征包括:提取全局图像的多个局部特征;拼接局部特征,得到全局图像的全局特征。

具体地,标签标注模型获取得到全局图像及所对应的图像标签时,待训练的标签标注模型基于预设分割比例对全局图像进行分割,得到多个局部图像。比如,当预设分割比例为将全局图像水平分割为三部分时,标签标注模型将全局图像分割为包含行人头部部位的局部图像、包含躯干部位的句图像和包含腿部部位的局部图像。标签标注模型基于初始化的每个单元的参数以及权重确定局部图像中的局部特征,并将局部特征连接在一起,得到全局特征。比如,当确定了三个局部特征a,b,c时,其中a,b,c均为128维特征向量,此时标签标注模型将三个向量连接在一起,得到384维全局特征向量。

在一个实施例中,标签标注模型的训练人员可以在运算复杂度以及准确度之间进行衡量,确定标签标注模型对全局图像进行分割的数量。

本实施例中,由于从局部图像中提取出的局部特征能够反映出更细粒度的细节信息,因此相比于直接从全局图像中提取出全局特征,基于各局部特征拼接而成的全局特征能够体现出更丰富的图像信息。

在一个实施例中,基于所述全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练包括:确定当前顺序的行人重识别模型;基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练;将全局图像或局部图像输入训练后的当前顺序行人重识别模型,得到每个全局图像或局部图像的识别结果;将基于当前顺序行人重识别模型得到的识别结果作为输入下一顺序行人重识别模型的图像标签,将下一顺序子模型作为当前顺序子模型,并返回至基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练的步骤,直至遍历完行人重识别模型中的子模型。

具体地,图4为一个实施例中多个行人重识别模型示意图。如图4所示,行人重识别模型具有多个,且相互串联。当基于标签标注模型得到全局图像以及局部图像分别对应的图像标签后,标签标注模型将全局图像及所对应的图像标签,或者局部图像及所对应的图像标签输入串联的多个行人重识别模型中的第一位模型(记作当前顺序的行人重识别模型)。前顺序的行人重识别模型接收全局图像及所对应的图像标签,或者局部图像及所对应的图像标签,并基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对应调整模型中的参数以及权重,以使基于训练中的参数和权重得到的分类结果与图像标签之间的偏差值最小化。

在当前顺序的行人重识别模型训练完成后,已训练的当前顺序的行人重识别模型获取全局图像或者局部图像,并对全局图像或者局部图像进行识别,从而得到全局图像属于每个行人标识的概率,以及每个局部图像属于每个行人标识的概率。

当前顺序的行人重识别模型将基于全局图像属于每个行人标识的概率生成的第一序列确定为输入下一顺序行人重识别模型的全局图像的图像标签;将基于局部图像属于每个行人标识的概率生成的第二序列确定为输入下一顺序行人重识别模型的局部图像的图像标签,之后将局部图像以及对应的图像标签,或全局图像以及对应的图像标签对应输入下一顺序的行人重识别模型,以使下一顺序的行人重识别模型基于当前行人重识别模型输出的图像标签对应训练每个神经单元的参数以及权重。

本实施例中,通过将已训练的当前顺序的行人重识别模型的输出结果作为下一顺序待训练的行人重识别模型的输入图像标签,使得下一顺序待训练的行人重识别模型所得到的图像标签更为精准,从而基于更为精准的图像标签训练而得的行人重识别模型的识别准确率也能大大提升。

在一个实施例中,基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练包括:基于全局图像以及对应的图像标签训练所述全局子模型;根据人体部位标识从多个局部子模型中筛选出目标子模型;基于与人体部位标识对应的局部图像以及与局部图像对应的图像标签训练目标子模型;合并训练后的全局子模型以及目标子模型,得到行人重识别模型。

其中,人体部位标识为唯一标识一个人体部位的信息,比如当对全局图像进行水平分割为包含人体头部的局部图像、包含人体躯干的局部图像以及包含人体腿部的局部图像时,三个局部图像中所包含的人体部位标识可以分别为head(头部)、trunk(躯干)以及leg(腿部)。

全局子模型为可以基于全局图像以及全局图像所对应的图像标签进行深度学习的一个神经网络,通过对应训练全局子模型,后续可以基于已训练的全局子模型输出全局图像的识别结果。

局部子模型为可以基于局部图像以及局部图像所对应的图像标签进行深度学习的一个神经网络,通过对应训练局部子模型,后续可以基于已训练的局部子模型输出局部图像的识别结果。

具体地,图5为一个实施例中行人重识别模型的结构示意图。如图5所示,待训练的行人重识别模型中具有一个对全局图像进行分割的分割器。当分割器获取得到全局图像,并基于预设的分割比例对全局图像进行分割后,分割器统计局部图像中人体部位标识的种类,根据人体部位标识的种类确定待初始化的局部子模型的数量,并根据确定的数量初始化对应个待训练的局部子模型,之后分割器将人体部位标识与局部子模型标识之间的关系对应存储。局部子模型标识为唯一标识一个局部子模型的标签。

分割器将全局图像以及对应的图像标签输入全局子模型中,全局子模型基于全局图像以及对应的图像标签对应调整参数以及权重。分割器从局部图像中提取出人体部位标识,并基于人体部位标识与局部子模型标识之间的对应关系确定对应的局部子模型(记作目标子模型),然后将局部图像以及对应的图像标签输入目标子模型,以使目标子模型根据局部图像以及对应的图像标签对应调整参数和权重。

当全局子模型根据全部的全局图像完成模型训练以及局部子模型根据全部局部图像完成模型训练时,合并训练后的全局子模型以及目标子模型,得到行人重识别模型。

本实施例中,由于每个局部子模型是根据具有相同部位标签的局部图像训练而得,使得训练后的局部子模型能够更为精准地提取出相应部位的局部特征,从而后续行人重识别模型能够根据更为精准地局部特征从海量图像中筛选出特定行人的图像数据。

此外,由于行人重识别模型包括全局子模型以及局部子模型,从而当进行行人重识别时,行人重识别模型可以对全局特征以及局部特征进行综合判断,从而根据综合判断结果确定行人身份。

在一个实施例中,基于与人体部位标识对应的局部图像以及与局部图像对应的图像标签训练目标子模型包括:通过目标子模型提取局部图像的局部特征;根据局部特征预测局部识别结果;按照局部识别结果与局部图像的图像标签之间的差异,调整所目标子模型的参数并继续训练,直至满足训练停止条件。

具体地,当目标子模型获取得到局部图像及所对应的图像标签时,待训练的目标子模型初始化每个神经单元的参数以及权重,并基于每个单元的参数以及权重,确定全局图像中的局部特征。目标子模型将全局特征输入全连层中,得到分类结果,并将分类结果以及图像标签输入损失函数中。损失函数度量网络将分类结果与对应的图像标签进行对比,得到分类结果与图像标签之间的偏差值,并基于随机梯度下降法将偏差值反传入目标子模型中,从而目标子模型根据偏差值进行权重以及参数的调整,直至偏差值符合预设的要求。

本实施例中,将图像标签以及分类结果一起输入损失函数度量网络中进行处理,可以根据得到的分类结果与图像标签之前的差异,逐步对目标子模型中的参数以及权重进行调整,这样在参数调整的过程中,使得基于目标子模型得到的分类结果能够更接近图像标签,从而提升了目标子模型的准确性。

在一个实施例中,上述行人重识别模型训练方法还包括:获取多个候选行人的待识别图像以及目标行人的目标图像;将待识别图像以及目标图像输入行人重识别模型,得到多个待识别图像的第一全局特征以及与目标图像的第二全局特征;分别将每个待识别图像的第一全局特征与第二全局特征进行相似度匹配;将相似度符合条件的待识别图像中的候选行人确定为所述目标行人。

其中,候选行人为图像采集设备在采集时段内实时采集地多张现场图像中包含的多个不同行人。目标行人为需要从多个候选行人中筛选出的特定行人。

具体地,当需要从海量图像中筛选出特定行人的图像数据时,用户可以将基于目标行人所采集的目标图像输入行人重识别模型中。行人重识别模型从目标图像中提取目标行人的全局特征,并将全局特征存储于内存中。

进一步地,用户从图像采集设备中获取针对多个候选行人所采集的多张待识别图像,并将待识别图像输入行人重识别网络中。行人重识别网络提取候待识别图像的全局特征,并将提取出的全局特征进与预存储的全局特征进行相似度匹配,当相似度大于阈值时,可以认为待识别图像中的候选行人即为目标行人。

在一个实施例中,行人重识别模型可以预先提取目标行人的全局特征和局部特征,并将全局特征以及局部特征对应存储。当行人重识别模型提取出候选行人的全局特征以及局部特征时,行人重识别模型可以根据预存储的全局特征以及局部特征对提取出候选行人的全局特征以及局部特征进行综合匹配,当匹配结果符合条件时,将待识别图像中的候选行人确定为目标行人。

本实施例中,借助预训练的行人重识别模型对候选行人进行重识别,可以提升行人重识别的准确性。

应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图6所示,提供了一种行人重识别模型训练装置600,包括:图像获取模块602、图像标签获取模块604和模型训练模块606,其中:

图像获取模块602,用于获取多个行人的全局图像、全局图像分割得到的多个局部图像以及全部全局图像中所包含的行人标识。

图像标签获取模块604,用于基于已训练的标签标注模型确定全局图像属于每个行人标识的概率,以及每个局部图像属于每个行人标识的概率;将基于全局图像属于每个行人标识的概率生成的第一序列确定为相应全局图像的图像标签;将每个局部图像属于每个行人标识的概率生成的第二序列确定为相应局部图像的图像标签。

模型训练模块606,用于基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练。

在一个实施例中,如图7所示,上述行人重识别模型训练装置600还包括标签训练模型608,用于获取行人的全局图像以及对应的分类标签;提取全局图像的全局特征;通过标签标注模型预测全局特征的分类结果;按照分类结果与分类标签的差异,调整标签标注模型的参数并继续训练,直至满足训练停止条件。

在一个实施例中,标签训练模型608还用于提取全局图像的多个局部特征;拼接局部特征,得到全局图像的全局特征。

在一个实施例中,模型训练模块606还包括多重训练模块6061,用于确定当前顺序的行人重识别模型;基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练;将全局图像或局部图像输入训练后的当前顺序行人重识别模型,得到每个全局图像或局部图像的识别结果;将基于当前顺序行人重识别模型得到的识别结果作为输入下一顺序行人重识别模型的图像标签,将下一顺序子模型作为当前顺序子模型,并返回至基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练的步骤,直至遍历完行人重识别模型中的子模型。

在一个实施例中,模型训练模块606还包括子模型训练模块6062,用于基于全局图像以及对应的图像标签训练全局子模型;根据人体部位标识从多个局部子模型中筛选出目标子模型;基于与人体部位标识对应的局部图像以及与局部图像对应的图像标签训练目标子模型;合并训练后的全局子模型以及目标子模型,得到行人重识别模型。

在一个实施例中,子模型训练模块6062还用于通过所述目标子模型提取所述局部图像的局部特征;根据所述局部特征预测局部识别结果;按照所述局部识别结果与所述局部图像的图像标签之间的差异,调整所目标子模型的参数并继续训练,直至满足训练停止条件。

在一个实施例中,行人重识别模型训练装置600还用于获取多个候选行人的待识别图像以及目标行人的目标图像;将待识别图像以及目标图像输入行人重识别模型,得到多个待识别图像的第一全局特征以及与目标图像的第二全局特征;分别将每个待识别图像的第一全局特征与第二全局特征进行相似度匹配;将相似度符合条件的待识别图像中的候选行人确定为目标行人。

关于行人重识别模型训练装置的具体限定可以参见上文中对于行人重识别模型训练方法的限定,在此不再赘述。上述行人重识别模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储特征数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行人重识别模型训练方法。

本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:

获取多个行人的全局图像、全局图像分割得到的多个局部图像以及全部全局图像中所包含的行人标识;

基于已训练的标签标注模型确定全局图像属于每个行人标识的概率,以及每个局部图像属于每个行人标识的概率;

将基于全局图像属于每个行人标识的概率生成的第一序列确定为相应全局图像的图像标签;

将每个局部图像属于每个行人标识的概率生成的第二序列确定为相应局部图像的图像标签;

基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取行人的全局图像以及对应的分类标签;

提取全局图像的全局特征;

通过标签标注模型预测全局特征的分类结果;

按照分类结果与分类标签的差异,调整标签标注模型的参数并继续训练,直至满足训练停止条件。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

提取全局图像的多个局部特征;

拼接局部特征,得到全局图像的全局特征。

在一个实施例中,行人重识别模型具有多个;处理器执行计算机程序时还实现以下步骤:

确定当前顺序的行人重识别模型;

基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练;

将全局图像或局部图像输入训练后的当前顺序行人重识别模型,得到每个全局图像或局部图像的识别结果;

将基于当前顺序行人重识别模型得到的识别结果作为输入下一顺序行人重识别模型的图像标签,将下一顺序子模型作为当前顺序子模型,并返回至基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练的步骤,直至遍历完行人重识别模型中的子模型。

在一个实施例中,行人重识别模型具有全局子模型以及多个局部子模型;局部图像具有人体部位标识;处理器执行计算机程序时还实现以下步骤:

基于全局图像以及对应的图像标签训练全局子模型;

根据人体部位标识从多个局部子模型中筛选出目标子模型;

基于与人体部位标识对应的局部图像以及与局部图像对应的图像标签训练目标子模型;

合并训练后的全局子模型以及目标子模型,得到行人重识别模型。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

通过目标子模型提取局部图像的局部特征;

根据局部特征预测局部识别结果;

按照局部识别结果与局部图像的图像标签之间的差异,调整所目标子模型的参数并继续训练,直至满足训练停止条件。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取多个候选行人的待识别图像以及目标行人的目标图像;

将待识别图像以及目标图像输入行人重识别模型,得到多个待识别图像的第一全局特征以及与目标图像的第二全局特征;

分别将每个待识别图像的第一全局特征与第二全局特征进行相似度匹配;

将相似度符合条件的待识别图像中的候选行人确定为目标行人。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

获取多个行人的全局图像、全局图像分割得到的多个局部图像以及全部全局图像中所包含的行人标识;

基于已训练的标签标注模型确定全局图像属于每个行人标识的概率,以及每个局部图像属于每个行人标识的概率;

将基于全局图像属于每个行人标识的概率生成的第一序列确定为相应全局图像的图像标签;

将每个局部图像属于每个行人标识的概率生成的第二序列确定为相应局部图像的图像标签;

基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对待训练的行人重识别模型进行训练。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取行人的全局图像以及对应的分类标签;

提取全局图像的全局特征;

通过标签标注模型预测全局特征的分类结果;

按照分类结果与分类标签的差异,调整标签标注模型的参数并继续训练,直至满足训练停止条件。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

提取全局图像的多个局部特征;

拼接局部特征,得到全局图像的全局特征。

在一个实施例中,行人重识别模型具有多个;多个行人重识别模型相互串联;计算机程序被处理器执行时还实现以下步骤:

确定当前顺序的行人重识别模型;

基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练;

将全局图像或局部图像输入训练后的当前顺序行人重识别模型,得到每个全局图像或局部图像的识别结果;

将基于当前顺序行人重识别模型得到的识别结果作为输入下一顺序行人重识别模型的图像标签,将下一顺序子模型作为当前顺序子模型,并返回至基于全局图像及所对应的图像标签,或者局部图像及所对应的图像标签对当前顺序行人重识别模型进行训练的步骤,直至遍历完行人重识别模型中的子模型。

在一个实施例中,行人重识别模型具有全局子模型以及多个局部子模型;局部图像具有人体部位标识;计算机程序被处理器执行时还实现以下步骤:

基于全局图像以及对应的图像标签训练全局子模型;

根据人体部位标识从多个局部子模型中筛选出目标子模型;

基于与人体部位标识对应的局部图像以及与局部图像对应的图像标签训练目标子模型;

合并训练后的全局子模型以及目标子模型,得到行人重识别模型。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

通过目标子模型提取局部图像的局部特征;

根据局部特征预测局部识别结果;

按照局部识别结果与局部图像的图像标签之间的差异,调整所目标子模型的参数并继续训练,直至满足训练停止条件。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取多个候选行人的待识别图像以及目标行人的目标图像;

将待识别图像以及目标图像输入行人重识别模型,得到多个待识别图像的第一全局特征以及与目标图像的第二全局特征;

分别将每个待识别图像的第一全局特征与第二全局特征进行相似度匹配;

将相似度符合条件的待识别图像中的候选行人确定为目标行人。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1