行人重识别方法、装置、计算机设备及计算机存储介质与流程

文档序号:17645123发布日期:2019-05-11 00:56阅读:201来源:国知局
行人重识别方法、装置、计算机设备及计算机存储介质与流程

本发明涉及图像识别技术领域,尤其是涉及到行人重识别方法、装置、计算机设备及计算机存储介质。



背景技术:

行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术,弥补了目前固定摄像头的视觉局限,并与行人检测、行人跟踪技术相结合,可广泛应用于智能视频监控、智能安保等领域。

传统的行人重识别技术,主要使用三种方式进行行人再识别,第一种是基于特征处理,即通过设计更好的行人匹配模板及后续特征提取方法,获取更适合识别的行人特征,根据获取的行人特征对行人图像进行分类;第二种是基于度量学习,通过计算待识别行人与数据库中行人相似度,判断数据库中的行人是否为待识别的行人;第三种是基于局部特征方法,即通过图像切块或利用骨架关键点等方法获得行人图像更多的局部细节特征,通过提取的局部特征对待识别的行人图像进行分类。由此可见,这三种方式的目的都是为了获得更好的行人图像特征,以提高后续分类精度。然而,传统的行人重识别技术大部分提取特征的方法仍然是人为设计或加入先验知识,使得模型的泛化性不足,移植到别的行人识别场景性能不佳。

在现有技术中,深度神经网络可以从图片中提取足够精细的图像特征,再代入后续分类模型处理,部分程度上能替代传统行人重识别技术中提取特征的方法,但是,现有的深度神经网络模型并不是针对行人重识别任务特别设计的网络,若直接应用该网络获取的图像特征进行行人再识别效果并不理想,行人识别准确度低。



技术实现要素:

有鉴于此,本发明提供了一种行人重识别方法、装置、计算机设备及计算机存储介质,主要目的在于解决目前相关技术中行人识别的准确度低的问题。

依据本发明一个方面,提供了一种行人重识别方法,该方法包括:

获取多张行人样本图像,每个行人样本图像携带行人标识标签;

将所述多张行人样本图像输入至拼接的神经网络模型进行训练,构建行人重识别模型,所述拼接的神经网络模型包括预先训练好的残差网络模型和拼接层,所述预先训练好的残差网络模型用于提起行人图像的第一行人图像特征,所述拼接层用于提取行人图像的第二行人图像特征,并对所述第二行人图像特征进行分类;

将多个待识别行人图像输入至所述行人重识别模型,通过所述行人重识别模型的拼接层提取每个待识别行人图像的第二行人图像特征;

计算任意两个待识别行人图像的第二行人图像特征之间的相似度,将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。

进一步地,所述获取多张行人样本图像包括:

获取预设时间段内不同监控摄像头的监控视频;

识别所述监控视频中的目标行人,从所述监控视频中截取目标行人对应的图像帧,得到多张行人样本图像。

进一步地,所述识别所述监控视频中的目标行人包括:

计算监控视频中相邻两帧图像对应的像素点差值,得到所述相邻两帧图像的灰度差的绝对值;

若所述绝对值超过第二预设阈值,则识别出所述监控视频中的目标行人。

进一步地,在所述识别所述监控视频中的目标行人,从所述监控视频中截取目标行人对应的图像帧,得到多张行人样本图像之后,所述方法还包括:

对所述不同监控摄像头中相同的目标行人进行标识,得到用于区分目标行人的行人标识;

根据所述用于区分目标行人的行人标识对所述多张行人样本图像进行标记,得到携带行人标识标签的多张行人样本图像。

进一步地,所述将所述多张行人样本图像输入至拼接的神经网络模型进行训练,构建行人重识别模型包括:

通过所述预先训练好的残差网络模型提取所述多张行人样本图像的第一行人图像特征,并将所述第一行人图像特征输入至所述拼接层;

通过所述拼接层中的全局平均池化层求取所述第一行人图像特征的均值,得到第一行人图像的特征参数;

通过所述拼接层中的全连接层汇总所述第一行人图像的特征参数,得到多维度的特征参数;

通过所述拼接层中的批规划层规范化处理所述多维度的特征参数,并对规范化处理后的多维度特征参数进行非线性变换,得到行人样本图像的第二行人图像特征;

通过所述拼接层中的分类层对所述行人样本图像的第二行人图像特征进行分类,构建行人重识别模型。

进一步地,所述将所述多张行人样本图像输入至拼接的神经网络模型进行训练,构建行人重识别模型还包括:

通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化。

进一步地,所述通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化包括:

通过自适应学习率算法计算所述复合损失函数的最小值;

根据所述复合损失函数的最小值对所述行人重识别模型进行优化。

依据本发明另一个方面,提供了一种行人重识别装置,所述装置包括:

获取单元,用于获取多张行人样本图像,每个行人样本图像携带行人标识标签;

构建单元,用于将所述获取单元获取的多张行人样本图像输入至拼接的神经网络模型,构建行人重识别模型,所述拼接的神经网络模型包括预先训练好的残差网络模型和拼接层,所述预先训练好的残差网络模型用于提起行人图像的第一行人图像特征,所述拼接层中的前n层结构用于提取行人图像的第二行人图像特征,所述拼接层中的第n+1层结构用于对所述第二行人图像特征进行分类;

提取单元,用于将多个待识别行人图像输入至所述构建单元构建的行人重识别模型,通过所述行人重识别模型的拼接层中的前n层结构提取每个待识别行人图像的第二行人图像特征;

计算单元,用于计算任意两个所述提取单元提取的第二行人图像特征之间的相似度,将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。

进一步地,所述获取单元包括:

获取模块,用于获取预设时间段内不同监控摄像头的监控视频;

识别模块,用于识别所述获取模块获取的监控视频中的目标行人,从所述监控视频中截取目标行人对应的图像帧,得到多张行人样本图像;

进一步地,所述识别模块,具体用于计算监控视频中相邻两帧图像对应的像素点差值,得到所述相邻两帧图像的灰度差的绝对值;

所述识别模块,具体还用于若所述绝对值超过第二预设阈值,则识别出所述监控视频中的目标行人。

进一步地,所述获取单元还包括:

标识模块,用于对所述不同监控摄像头中相同的目标行人进行标识,得到用于区分目标行人的行人标识;

标记模块,用于根据所述用于区分目标行人的行人标识对所述多张行人样本图像进行标记,得到携带行人标识标签的多张行人样本图像。

进一步地,所述构建单元包括:

提取模块,用于通过所述预先训练好的残差网络模型提取所述多张行人样本图像的第一行人图像特征,并将所述第一行人图像特征输入至所述拼接层;

求取模块,用于通过所述拼接层中的全局平均池化层求取所述第一行人图像特征的均值,得到第一行人图像的特征参数;

汇总模块,用于通过所述拼接层中的全连接层汇总所述第一行人图像的特征参数,得到多维度的特征参数;

规范化模块,用于通过所述拼接层中的批规划层规范化处理所述多维度的特征参数,并对规范化处理后的多维度特征参数进行非线性变换,得到行人样本图像的第二行人图像特征;

分类模块,用于通过所述拼接层中的分类层对所述行人样本图像的第二行人图像特征进行分类,构建行人重识别模型。

进一步地,所述构建单元还包括:

优化模块,用于通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化。

进一步地,所述优化模块,具体用于通过自适应学习率算法计算所述复合损失函数的最小值;

所述优化模块,具体还用于根据所述计算子模块计算的复合损失函数的最小值对所述行人重识别模型进行优化。

依据本发明又一个方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现行人重识别方法的步骤。

依据本发明再一个方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现行人重识别方法的步骤。

借由上述技术方案,本发明提供的一种行人重识别方法及装置,与现有技术中通过人为设计行人匹配模板或在模板中加入先验知识相比,本发明实施例通过将多张行人样本图像输入至拼接的神经网络模型进行训练,构建行人重识别模型,这里拼接的神经网络模型包括预先训练好的残差网络模型和拼接层,该拼接层为针对行人重识别场景设计的网络模型,通过拼接层中的提取层提取每个待识别行人图像的第二行人图形特征,避免了特征提取模板泛化性不足的问题,能够在多场景进行行人识别,之后计算任意两个待识别行人图像的第二行人图像特征之间的相似度,提高了行人识别的准确度,而且拼接后的神经网络模型输出能够很好的兼容到行人重识别任务,并且效果有所提升。

附图说明

通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:

图1示出了本发明实施例提供的一种行人重识别方法流程示意图;

图2示出了本发明实施例提供的另一种行人重识别方法流程示意图;

图3示出了本发明实施例提供的一种行人重识别装置的结构示意图;

图4示出了本发明实施例提供的另一种行人重识别装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种行人重识别方法,可以提高行人识别的准确度,避免了特征提取模板泛化性不足的问题,能够在多场景进行行人识别,如图1所示,该方法包括:

101、获取多张行人样本图像,每个行人样本图像携带行人标识标签;

其中,行人样本图像均来自于不同的摄像头,各个摄像头拍摄的范围没有交叉,截取预设时间段内的监控视频作为选取行人样本图像的基础。

对于本发明实施例,选取同一条街道上的不同监控摄像头,截取预设时间段内不同摄像头内的监控视频,对截取的监控视频进行预处理,并提取行人图像,得到多张行人样本图像,为了区分行人图像中的不同行人,对行人样本图像中的相同行人进行标识,得到多张携带行人标识标签的行人样本图像。

需要说明的是,对选取的同一条街道上的监控视频的数量可以根据实际情况选定,本发明不做限定,对获取行人样本图像的数量,为了保证后续训练模型的精确,可以尽可能多获取行人样本图片,本发明不做限定。

例如,选取某一街道拐角处的两个相邻的监控摄像头a和监控摄像头b,所选取的监控摄像头a和监控摄像头b监控所覆盖的范围没有交叉,截取监控摄像头a和监控摄像头b中下午1点到2点的监控视频,分别对监控摄像头a和监控摄像头b中下午1点到2点的监控视频进行预处理和行人图像提取,获取监控摄像头a中的50张行人样本图像以及监控神像头b中的50张行人样本图像,之后对获取的行人样本图像进行标记,属于同一行人的样本图像携带相同标识。

102、将所述多张行人样本图像输入至拼接的神经网络模型进行训练,构建行人重识别模型,所述拼接的神经网络模型包括预先训练好的残差网络模型和拼接层;

其中,预先训练好的残差网络模型用于提取行人图像的第一行人图像特征,拼接层中的前n层结构用于提取行人图像的第二行人图像特征,拼接层中的第n+1层结构用于对第二行人图像特征进行分类。

对于本发明实施例,残差网络由简单的卷积层组合成一组模块,再由若干相同的模块相连组成较深的网络,残差网络模型已在imagenet训练集上训练好,用于提取行人图像的第一行人图像特征,由于直接使用预先训练好的残差网络模型提取的第一行人图像特征,对行人重识别任务效果不好,所以将残差网络模型作为主干网络,将其提取的第一行人图像特征输入拼接层进行调整,该拼接层拼在在残差网络模型后,为多层网络结构,该拼接层中的前n层结构可以包括全局平均池化层,包含512个隐节点的全连接层,批规范层,leakyrelu激活函数,丢失概率为0.5的dropout层,拼接层中的第n+1层结构可以为节点数为目标类别数的全连接层,将残差网络模型提取的第一行人图像特征输入至拼接层后,通过拼接层中的前n层结构对获取的第一行人图像特征进行调整,得到行人图像的第二行人图像特征,通过节点数为目标类别数的全连接层对第二行人图像特征进行分类,构建行人重识别模型。

103、将多个待识别行人图像输入至所述行人重识别模型,通过所述行人重识别模型的拼接层中的前n层结构提取每个待识别行人图像的第二行人图像特征;

其中,待识别行人图像来自不同监控摄像头中的监控视频,从不同监控摄像头中截取所需时间段的内的监控视频,对截取的监控视频进行预处理和行人图像提取,可以得到待识别行人图像,进一步将获取的待识别行人图像输入至构建好的行人重识别模型。

对于本发明实施例,该行人重模型包括残差网络模型与拼接层,由于拼接层有多层结构,残差网络模型用于提取待识别行人图像的第一行人图像特征,拼接层用于提取待识别行人图像的第二行人图像特征,并对行人图像特征进行分类,需要说明的是,这里并不是使用所有的拼接层,由于输入的待识别行人图像为未知身份的行人图像,通过行人重识别模型得到的分类结果可能不理想,在实际行人识别的过程中,所以本发明实施例仅通过行人重识别模型的拼接层中的前n层结构提取待识别行人图像的第二行人图像特征,并不通过拼接层中的第n+1层结构对提取的第二行人图像特征进行分类。

104、计算任意两个待识别行人图像的第二行人图像特征之间的相似度,将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人;

其中,第一预设阈值为预先设定好的行人图像特征之间的相似度阈值,该相似度阈值可以根据实际需求进行设置,也可以根据系统默认模式进行设置,本发明实施例不做限定。

对于本发明实施例,计算任意两个待识别行人图像的第二行人图像特征之间的相似度,由于属于同一行人的图像特征之间的相似度大于不同行人的图像特征之间的相似度,若计算结果高于预设的相似度阈值,则两个待识别行人图像中的行人认定为同一行人。

例如,计算任意两个待识别行人图像的第二行人图像特征之间的相似度,实际上是计算任意两个待识别行人图像的第二行人图像特征之间的距离,通过欧式距离计算方法对提取的任意两个多维第二行人图像特征向量进行距离计算,若计算的多维第二行人图像特征向量之间的距离大于第一预设阈值,则其对应的待识别行人图像中的行人认定为不是同一行人,若计算的多维第二行人图像特征向量之间的距离小于或者等于第一预设阈值,则其对应的待识别行人图像中的行人认定为是同一行人。

本发明提供一种行人重识别方法,与现有技术中通过人为设计行人匹配模板或在模板中加入先验知识相比,本发明实施例通过将多张行人样本图像输入至拼接的神经网络模型进行训练,构建行人重识别模型,这里拼接的神经网络模型包括预先训练好的残差网络模型和拼接层,该拼接层为针对行人重识别场景设计的网络模型,通过拼接层中的提取层提取每个待识别行人图像的第二行人图形特征,避免了特征提取模板泛化性不足的问题,能够在多场景进行行人识别,之后计算任意两个待识别行人图像的第二行人图像特征之间的相似度,提高了行人识别的准确度,而且拼接后的神经网络模型输出能够很好的兼容到行人重识别任务,并且效果有所提升。

本发明实施例提供了另一种行人重识别方法,如图2所示,所述方法包括:

201、获取预设时间段内不同监控摄像头的监控视频;

其中,所述监控视频为截取的相同时间段内来自于不同监控摄像头的视频,所述的监控摄像头为同一条街道或者街道拐角处的相邻或相近的监控摄像头,且不同摄像头监控的范围没有交叉,分别截取相同时间段内不同监控摄像头中的视频,得到行人检测的样本视频。

202、识别所述监控视频中的目标行人,从所述监控视频中截取目标行人对应的图像帧,得到多张行人样本图像;

其中,步骤202还包括:计算监控视频中相邻两帧图像对应的像素点差值,得到相邻两帧图像的灰度差的绝对值;若该绝对值超过第二预设阈值,则识别出监控视频中的目标行人。

对于本发明实施例,将截取的不同监控摄像头中的监控视频转换成图像序列,之后提取获取的图像序列中的行人图像帧,即进行行人检测,过滤掉无关背景帧。例如,可以通过opencv软件将截取的样本视频转换成一帧一帧的图像序列进行保存,当然也可以采用其他软件将获取的样本视频转换成图像序列,本发明不进行限定。

具体地,通过帧间差分法对获取的图像序列进行目标行人提取,由于通过视频转换得到的图像序列具有连续性的特点,如果相应的场景内没有目标行人出现,则相邻图像帧的变化很微弱,如果目标行人出现,则相邻的图像帧之间会有明显地变化,应用此原理对时间上连续的两帧图像进行差分运算,不同图像帧对应的像素点相减,得到灰度差的绝对值,具体计算方式如下述公式所示,

dn(x,y)=|fn(x,y)-fn-1(x,y)|

其中,fn为图像序列中第n帧图像,fn-1为第n-1帧图像,fn(x,y)和fn-1(x,y)为两帧图像对应的像素点的灰度值,dn(x,y)为差分图像。

设定第二预设阈值t,按照下述公式所示逐个对像素点进行二值化处理,得到二值化图像rn。

其中,灰度值为255的点为目标点,灰度值为0的点为背景点,进一步对得到的二值化图像rn进行连通性分析,得到目标行人图像。

最后,通过外接矩形框对获取的每个目标行人进行框定,然后将对应的图像帧中同一位置处的行人图像截取出来,保存到行人图像库中,得到行人样本图像,该行人样本图像包含同一行人的多张图像,例如,行人样本图像为65个行人的100张图像。

203、对所述不同监控摄像头中相同的目标行人进行标识,得到用于区分目标行人的行人标识;

对于本发明实施例,将属于同一行人的多张样本图像采用同一标识进行标记,以便区别行人样本图像中不同的行人,使行人样本图像中的行人携带不同的行人标识。

204、根据所述用于区分目标行人的行人标识对所述多张行人样本图像进行标记,得到携带行人标识标签的多张行人样本图像;

对于本发明实施例,根据用于区分行人的行人标识对获取的多张行人样本图像进行标记,可以通过手工或者应用软件的方式对行人样本图像进行标记,例如,应用lambletool图像标记工具对获取的行人样本图像进行标记。

205、将所述多张行人样本图像输入至拼接的神经网络模型进行训练,构建行人重识别模型,所述拼接的神经网络模型包括预先训练好的残差网络模型与拼接层;

其中,预先训练好的残差网络模型用于提取行人图像的第一行人图像特征,拼接层中的前n层结构用于提取行人图像的第二行人图像特征,拼接层中的第n+1层结构用于对第二行人图像特征进行分类。

对于本发明实施例,残差网络模型是一个在imagenet训练集上训练好的网络,使用预训练网络节省了行人重识别模型整体的训练时间,残差网络主要由卷积层模块组成,其作为主干网络提取输入的行人样本图像的第一行人图像特征,并将提取的行人图像的第一图像特征输入至拼接层,具体地,原残差网络提取第一行人图像特征后,经该网络倒数第二层输出,通过所述拼接层中的全局平均池化层求取所述第一行人图像特征的均值,得到第一行人图像的特征参数;通过所述拼接层中的包含512个隐节点的全连接层汇总所述第一行人图像的特征参数,得到多维度的特征参数;通过所述拼接层中的批规划层规范化处理所述多维度的特征参数,并将规范化处理后的多维度特征参数代入leakyrelu激活函数进行非线性变换,得到行人样本图像的第二行人图像特征。在训练行人重识别模型时,为了防止模型将样本误差过拟合,还需通过丢失概率为0.5的dropout层输出第二行人图像特征,之后再通过一个节点数为目标类别数的全连接层对所述行人样本图像的第二行人图像特征进行分类。将获取的多张行人样本图像输入至神经网络模型进行反复训练,构建行人重识别模型,所述行人重识别模型的拼接层中的前n层结构对残差网络提取的行人图像的第一行人图像进行调整,得到行人图像的第二行人图像特征,并通过拼接层中的第n+1层结构对行人图像的第二行人图像特征进行分类,将属于同一行人的图像分成一类,即将同一类图像中的行人认定为同一行人。需要说明的是,构建的行人重识别模型在进行行人识别或者测试时,提取的行人图像特征仅通过leakyrelu激活函数进行非线性变换后输出,不再经过dropout层和最后的全连接层进行分类,即在进行行人识别时,仅通过行人重识别模型的拼接层提取行人图像的第二行人图像特征。

其中,步骤205还包括:通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化。

具体地,通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对行人重识别模型进行优化还包括:通过自适应学习率算法计算复合损失函数的最小值;根据复合函数的最小值对行人重识别模型进行优化。

现有技术通常直接使用交叉熵损失函数对模型进行优化,对行人重识别模型的优化效果并不理想,由于中心损失函数表示每一类中每个样本的特征到特征中心距离的平方和,而平方和要尽可能小,即类内距尽可能小,所以通过中心损失函数对行人重识别模型进行优化,会使行人重识别模型的分类效果更加明显,即属于同一行人的图像更容易被分成一类,而不同行人之间的图像更易区分,本发明实施例通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化,能够提高行人重识别模型的分类效果要好于仅通过交叉熵损失函数优化的模型的分类效果。

具体地,通过自适应学习率算法计算复合损失函数的最小值,通过复合函数的最小值对行人重模型进行优化的步骤可以包括但不局限于下述实现方式:首先,计算复合损失函数关于参数的梯度;然后根据复合损失函数关于参数的梯度,获取复合损失函数关于参数的历史梯度,通过复合损失函数关于参数的历史梯度,计算复合损失函数关于参数的一阶动量和二阶动量;接着根据复合损失函数关于参数的梯度,计算当前时刻复合函数关于参数的下降梯度;最后根据获取的复合函数关于参数的当前时刻下降梯度和复合函数关于参数的一阶动量和二阶动量,进行参数更新,直至获取复合损失函数的最小值,停止参数更新,完成行人重识别模型的优化。

206、将多个待识别的行人图像输入至所述行人重识别模型,通过所述行人重识别模型的拼接层中的前n层结构提取每个待识别行人图像的第二行人图像特征;

其中,待识别的行人图像均来自监控摄像头中的监控视频,这里的监控摄像头可以为一个或者多个监控摄像头,本发明对监控摄像头的数量不进行限定。

对于本发明实施例,由于监控摄像头中的监控视频为连续的多帧视频图像,并且视频图像中并非具有目标行人,所以需要通过从监控视频中的视频图像中提取行人图像作为待识别的行人图像,进一步将待识别的行人图像输入至行人重识别模型。

具体通过行人重识别模型的拼接层中的前n层结构提取每个待识别行人图像的第二行人图像特征的实现过程可以参考步骤103中的描述,在此不进行赘述。

207、计算任意两个待识别行人图像的第二行人图像特征之间的相似度,将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人;

对于本发明实施例,具体可以根据欧式距离计算方法对获取的任意两个待识别行人图像的第二行人图像特征之间的距离进行计算,如下述公式所示,

其中,(x1、x2、…、xn)、(y1、y2、…、yn)分别为待识别行人图像的第二图像特征的特征向量。

将计算得到的任意两个待识别行人图像的第二行人图像特征之间的距离dab与第一预设阈值进行对比,若dab小于第一预设阈值,则判定两张待识别行人图像中的行人是同一行人,即两张待识别行人图像属于同一类;若dab大于或者等于第一预设阈值,则判定两张待识别行人图像中的行人不是同一行人,即所述两张待识别行人图像不属于同一类。

例如,有三张待识别的行人图像分别是a,b,c,通过欧式距离计算方法分别计算a与b,b与c以及a与c之间的欧式距离,若a与b之间的欧式距离,b与c之间的欧式距离和a与c之间的欧式距离分别小于第一预设阈值,则判定a,b,c三张图像中的行人为同一行人;若a与b之间的欧式距离,b与c之间的欧式距离和a与c之间的欧式距离分别大于或者第一预设阈值,则判定a,b,c三张图像中的行人分别是三个行人;若a与b之间的欧式距离小于第一预设阈值,b与c之间的欧式距离和a与c之间的欧式距离分别大于第一预设阈值,则判定a与b图像中的行人为同一行人,b和c图像中的行人为另一行人。

此外,也可以从待识别行人图像中识别出锁定的目标行人的图像,通过依次计算每个待识别行人图像的第二行人图像特征与锁定的目标行人图像特征之间的欧式距离,判断每个待识别的行人图像中的行人是否为锁定的目标行人,若该待识别行人图像的第二行人图像特征与锁定的目标行人图像特征之间的欧式距离小于第一预设阈值,则该判定待识别行人图像中的行人为锁定的目标行人;若该待识别行人图像的第二行人图像特征与锁定的目标行人图像特征之间的欧式距离大于或者等于第一预设阈值,则判定该待识别行人图像中的行人不是锁定的目标行人。

本发明提供另一种行人重识别方法,与现有技术中通过人为设计行人匹配模板或在模板中加入先验知识相比,本发明实施例通过将多张行人样本图像输入至拼接的神经网络模型进行训练,构建行人重识别模型,这里拼接的神经网络模型包括预先训练好的残差网络模型和拼接层,该拼接层为针对行人重识别场景设计的网络模型,通过拼接层中的提取层提取每个待识别行人图像的第二行人图形特征,避免了特征提取模板泛化性不足的问题,能够在多场景进行行人识别,并采用中心损失函数和自适应学习率算法对拼接层进行优化,提高了行人重识别模型的精度,之后计算任意两个待识别行人图像的第二行人图像特征之间的相似度,提高了行人识别的准确度,而且拼接后的神经网络模型输出能够很好的兼容到行人重识别任务,并且效果有所提升。

进一步地,作为图1所述方法的具体实现,本发明实施例提供了一种行人重识别模型装置,如图3所示,所述装置包括:获取单元31、构建单元32、提取单元33、计算单元34。

获取单元31,可以用于获取多张行人样本图像,每个行人样本图像携带行人标识标签;

构建单元32,可以用于将所述获取单元获取的多张行人样本图像输入至拼接的神经网络模型,构建行人重识别模型,所述拼接的神经网络模型包括预先训练好的残差网络模型和拼接层,所述预先训练好的残差网络模型用于提起行人图像的第一行人图像特征,所述拼接层中的前n层结构用于提取行人图像的第二行人图像特征,所述拼接层中的第n+1层结构用于对所述第二行人图像特征进行分类;

提取单元33,可以用于将多个待识别行人图像输入至所述构建单元构建的行人重识别模型,通过所述行人重识别模型的拼接层中的前n层结构提取每个待识别行人图像的第二行人图像特征;

计算单元34,可以用于计算任意两个所述提取单元提取的第二行人图像特征之间的相似度,将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。

作为图3中所示行人重识别装置的进一步说明,图4是根据本发明实施例另一种行人重识别装置的结构示意图,如图4所示,所述获取单元31包括:

获取模块311,可以用于获取预设时间段内不同监控摄像头的监控视频;

识别模块312,可以用于识别所述获取模块获取的监控视频中的目标行人,从所述监控视频中截取目标行人对应的图像帧,得到多张行人样本图像;

进一步地,所述识别模块312,具体用于计算监控视频中相邻两帧图像对应的像素点差值,得到所述相邻两帧图像的灰度差的绝对值;

所述识别模块312,具体还用于若所述绝对值超过第二预设阈值,则识别出所述监控视频中的目标行人。

进一步地,所述获取单元31还包括:

标识模块313,可以用于对所述不同监控摄像头中的相同的目标行人进行标识,得到用于区分目标行人的行人标识;

标记模块314,可以用于根据所述用于区分目标行人的行人标识对所述多张行人样本图像进行标记,得到携带行人标识标签的多张行人样本图像。

进一步地,所述构建单元32包括:

提取模块321,可以用于通过所述预先训练好的残差网络模型提取所述多张行人样本图像的第一行人图像特征,并将所述第一行人图像特征输入至所述拼接层;

求取模块322,可以用于通过所述拼接层中的全局平均池化层求取所述第一行人图像特征的均值,得到第一行人图像的特征参数;

汇总模块323,可以用于通过所述拼接层中的全连接层汇总所述第一行人图像的特征参数,得到多维度的特征参数;

规范化模块324,可以用于通过所述拼接层中的批规划层规范化处理所述多维度的特征参数,并对规范化处理后的多维度特征参数进行非线性变换,得到行人样本图像的第二行人图像特征;

分类模块325,可以用于通过所述拼接层中的分类层对所述行人样本图像的第二行人图像特征进行分类,构建行人重识别模型。

进一步地,所述构建单元32还包括:

优化模块326,可以用于通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化。

进一步地,所述优化模块326,具体用于通过自适应学习率算法计算所述复合损失函数的最小值;

所述优化模块326,具体还用于根据所述计算子模块计算的复合损失函数的最小值对所述行人重识别模型进行优化。

需要说明的是,本发明实施例提供的一种行人重识别装置所涉及各功能单元的其他相应描述,可以参考图1和图2中的对应描述,在此不再赘述。

基于上述如图1和图2所示方法,相应的,本发明实施例还提供了一种存储设备,其上存储有计算机程序,该程序被处理器执行时实现上述如图1和图2所示的行人重识别方法。

基于上述如图1和图2所示方法、如图3和图4所示虚拟装置的实施例,为了实现上述目的,本发明实施例还提供了一种行人重识别的实体装置,该实体装置包括存储设备和处理器;所述存储设备,用于存储计算机程序;所述处理器,用于执行所述计算机程序以实现上述如图1和图2所示的行人重识别方法。

通过应用本发明的技术方案,可以提高行人识别的准确度,避免了特征提取模板泛化性不足的问题,能够在多场景进行行人识别,而且拼接后的神经网络模型输出能够很好的兼容到行人重识别任务,并且效果有所提升。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是cd-rom,u盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述,不代表实施场景的优劣。

以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1