一种基于多任务学习的遮挡行人重识别方法

文档序号:25053272发布日期:2021-05-14 13:33阅读:来源:国知局

技术特征:
1.一种基于多任务学习的遮挡行人重识别方法,其特征在于,包括以下步骤:一个分支构建随机遮挡模块,自动生成部分遮挡图片,得到遮挡数据集进行学习;另一个分支针对全身图,分别对全身图进行局部特征学习和姿态估计,然后结合两者特征;结合全身图学习到的行人id和遮挡图学习到的行人id,按照相似度大小排列,得到识别结果;我们用遮挡图片作为query,全身图作为gallery,随机选择一半行人身份进行训练,得到网络模型;我们利用剩下的一半行人身份作为测试集,评估网络模型的识别效果,将测试数据集输入到模型中,采用平均精度均值map和累积匹配特征曲线cmc curve来评估模型效果;把gallery数据集输入到由步骤四得到的模型中,保存模型提取的行人图像特征,最终得到一个行人图像特征数据库,每个特征都有唯一的行人id;输入查询行人图像,得到行人特征,检索图像特征,计算相似度,选出相似度最高的图片,得到的id就是查询图像的行人id。2.如权利要求1所述的方法,其特征在于,所述的一个分支构建随机遮挡模块,具体步骤如下:一个有n张图m个行人id的数据集x,通过映射函数,把数据集x转化为数据集z,数据集z中的每张图片都是随机遮挡的图片;此外,我们需要学习一种特征提取器h,使同一人的特征接近,不同人的特征差距更大;然后我们在卷积神经网络中训练这些遮挡图片,来识别每个人的身份,在数据集x上训练;我们将行人重识别作为一个分类问题,并使用softmax损失作为身份损失。3.如权利要求1所述的方法,其特征在于,分别对全身图进行局部特征学习和姿态估计,然后结合两者学习到的特征得到行人id的结果,具体如下:全身图经过骨干网络resnet50得到tensor t;把tensor t水平均分成六部分,经过平均池化得到6个列向量g,然后对每一向量进行卷积操作,降低维数得到列向量h,最后所有的列向量h输入到由全连接层和softmax函数构成的分类器中,得到预测的行人id;然后对全身图进行姿态估计,输入图片,利用姿态估计器得到18个地标,对于每个地标,姿态估计器预测其坐标和置信度得分,然后与阈值γ进行比较,置信度大于γ的求出其坐标,小于γ的置为0;利用地标生成以地面真实位置为中心的二维高斯热图,每张热图明确编码了行人不同区域的信息;将tensor t平均池化为全局特征,每张热图乘以t,得到姿态引导特征图,聚焦行人非遮挡部分,抑制来自遮挡区域的信息;每一个姿态引导特征图经过一个平均池化层,生成一个2048维的特征向量,然后对所有特征向量最大池化,并将它们与全局特征连接起来,将其输入全连接层,得到姿态导向全局特征,使用softmax预测每个输入图像的id。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1