目标重识别方法、相关设备及可读存储介质

文档序号:30227496发布日期:2022-06-01 02:24阅读:57来源:国知局
目标重识别方法、相关设备及可读存储介质

1.本技术涉及图像处理技术领域,更具体的说,是涉及一种目标重识别方法、相关设备及可读存储介质。


背景技术:

2.目标重识别,是指从一个由多个摄像头拍摄得到的大规模目标监控图像数据库中,搜索并返回与待检索目标图片相同个体的来自其他摄像头的图像。目前比较常用的目标重识别有行人重识别、车辆重识别等。
3.现有的目标重识别方案,是使用待查询目标一个视角的图像特征从查询数据库中搜索与待查询目标身份相同的图像。但是,在实际场景中,两个不同的目标在同一视角下可能会出现相似的情况,同一目标在不同视角下可能会出现完全不同的情况,待查询目标一个视角的图像特征往往无法充分表达待查询目标的全局信息,因此,仅仅利用待查询目标一个视角的图像特征进行目标重识别,无法避免待查询目标视角变化带来的特征差异,可能会导致重识别的结果准确度较低。
4.因此,如何提升目标重识别的准确度,成为本领域技术人员亟待解决的技术问题。


技术实现要素:

5.鉴于上述问题,本技术提出了一种目标重识别方法、相关设备及可读存储介质。具体方案如下:
6.一种目标重识别方法,所述方法包括:
7.获取待查询目标的图像;
8.基于所述待查询目标的图像,确定所述待查询目标预设多个视角的图像特征;
9.根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定所述待查询目标的重识别结果。
10.可选地,所述基于所述待查询目标的图像,确定所述待查询目标预设多个视角的图像特征,包括:
11.将所述待查询目标的图像,输入预设多个视角的图像特征提取模型,所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征;所述预设多个视角的图像特征提取模型是以训练用预设多个视角的图像为训练样本,以训练用预设多个视角的图像标注的目标类别为样本标签,训练得到的;
12.基于所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定所述待查询目标预设多个视角的图像特征。
13.可选地,当所述待查询目标的图像包括所述预设多个视角中全部视角的图像时,所述基于所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定所述待查询目标预设多个视角的图像特征,包括:
14.将所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的
初始图像特征,确定为所述待查询目标预设多个视角的图像特征。
15.可选地,当所述待查询目标的图像包括所述预设多个视角中部分视角的图像时,所述基于所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定所述待查询目标预设多个视角的图像特征,包括:
16.确定所述待查询目标的图像对应的视角;
17.获取所述待查询目标的图像对应的视角的初始图像特征;
18.基于所述待查询目标的图像对应的视角的初始图像特征,生成所述待查询目标缺失视角的图像特征;所述缺失视角为所述预设多个不同视角中除所述待查询目标的图像对应的视角之外的视角;
19.将所述待查询目标的图像对应的视角的初始图像特征,以及生成的所述待查询目标缺失视角的图像特征,确定为所述待查询目标预设多个视角的图像特征。
20.可选地,所述确定所述待查询目标的图像对应的视角,包括:
21.将所述待查询目标的图像,输入视角预测模型,所述视角预测模型输出所述待查询目标的图像对应的视角;
22.所述视角预测模型是以训练用图像为训练样本,以训练用图像标注的视角为样本标签训练得到的。
23.可选地,所述基于所述待查询目标的图像对应的视角的初始图像特征,生成所述待查询目标缺失视角的图像特征,包括:
24.将所述待查询目标的图像对应的视角的初始图像特征输入图像特征生成模型,所述图像特征生成模型生成所述待查询目标缺失视角的图像特征;
25.所述图像特征生成模型是以训练用图像特征对为训练样本,以第一重构损失、第二重构损失、第三重构损失、第四重构损失及对比损失作为联合损失训练得到的;
26.所述训练用图像特征对包括第一训练用图像特征和第二训练用图像特征;所述第一训练用图像特征经过所述图像特征生成模型生成的第一图像特征与所述第一训练用图像特征之间的损失为所述第一重构损失;所述第一训练用图像特征经过所述图像特征生成模型生成的第二图像特征与所述第二训练用图像特征之间的损失为所述第二重构损失;所述第二训练用图像特征经过所述图像特征生成模型生成的第三图像特征与所述第二训练用图像特征之间的损失为所述第三重构损失;所述第二训练用图像特征经过所述图像特征生成模型生成的第四图像特征与所述第一训练用图像特征之间的损失为所述第四重构损失;所述第一训练用图像特征经过所述图像特征生成模型生成的第五图像特征与所述第二训练用图像特征经过所述图像特征生成模型生成的第六图像特征之间的损失为所述对比损失。
27.可选地,所述根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定所述待查询目标的重识别结果,包括:
28.针对所述查询数据库中的图像,根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中所述图像的图像特征,计算查询数据库中所述图像对应的得分;
29.基于查询数据库中各个图像对应的得分,确定所述待查询目标的重识别结果。
30.可选地,所述根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中所述图像的图像特征,计算查询数据库中所述图像对应的得分,包括:
31.计算查询数据库中所述图像的图像特征与所述待查询目标每个视角的图像特征的相似度得分;
32.确定所述预设多个视角的权重;
33.基于预设多个视角对应的相似度得分以及预设多个视角对应的权重,计算查询数据库中所述图像对应的得分。
34.可选地,当所述待查询目标的图像包括所述预设多个视角中全部视角的图像时,所述确定所述预设多个视角的权重,包括:
35.确定查询数据库中所述图像的视角特征及所述待查询目标预设多个视角的视角特征;
36.基于查询数据库中所述图像的视角特征及所述待查询目标预设多个视角的视角特征确定所述预设多个视角的权重。
37.可选地,当所述待查询目标的图像包括所述预设多个视角中部分视角的图像时,所述确定所述预设多个视角的权重,包括:
38.确定查询数据库中所述图像的视角特征、所述待查询目标的图像对应的视角的视角特征及所述待查询目标缺失视角的预设权重;
39.根据所述查询数据库中所述图像的视角特征、所述待查询目标的图像对应的视角的视角特征,确定所述待查询目标的图像对应的视角的权重;
40.基于所述待查询目标的图像对应的视角的权重及所述待查询目标缺失视角的预设权重,确定所述预设多个视角的权重。
41.可选地,所述预设多个视角的图像特征提取模型,包括:
42.原始图像特征提取模块、视角权重矩阵确定模块和特征融合模块;
43.所述原始图像特征提取模块用于对所述待查询目标的图像进行特征提取,得到预设多个视角的原始图像特征;
44.所述视角权重矩阵确定模块用于对预设多个视角的原始图像特征进行全局编码,得到预设多个视角的权重矩阵;
45.所述特征融合模块用于将预设多个视角的原始图像特征与预设多个视角的权重矩阵进行融合,得到预设多个视角的初始图像特征。
46.一种目标重识别装置,所述装置包括:
47.获取单元,用于获取待查询目标的图像;
48.确定单元,用于基于所述待查询目标的图像,确定所述待查询目标预设多个视角的图像特征;
49.重识别单元,用于根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定所述待查询目标的重识别结果。
50.可选地,所述确定单元,包括:
51.多视角初始图像特征确定单元,用于将所述待查询目标的图像,输入预设多个视角的图像特征提取模型,所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征;所述预设多个视角的图像特征提取模型是以训练用预设多个视角的图像为训练样本,以训练用预设多个视角的图像标注的目标类别为样本标签,训练得到的;
52.多视角图像特征确定单元,用于基于所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定所述待查询目标预设多个视角的图像特征。
53.可选地,当所述待查询目标的图像包括所述预设多个视角中全部视角的图像时,所述多视角图像特征确定单元,包括:
54.第一多视角图像特征确定单元,用于将所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定为所述待查询目标预设多个视角的图像特征。
55.可选地,当所述待查询目标的图像包括所述预设多个视角中部分视角的图像时,所述多视角图像特征确定单元,包括:
56.视角确定单元,用于确定所述待查询目标的图像对应的视角;
57.初始图像特征获取单元,用于获取所述待查询目标的图像对应的视角的初始图像特征;
58.缺失视角的图像特征生成单元,用于基于所述待查询目标的图像对应的视角的初始图像特征,生成所述待查询目标缺失视角的图像特征;所述缺失视角为所述预设多个不同视角中除所述待查询目标的图像对应的视角之外的视角;
59.第二多视角图像特征确定子单元,用于将所述待查询目标的图像对应的视角的初始图像特征,以及生成的所述待查询目标缺失视角的图像特征,确定为所述待查询目标预设多个视角的图像特征。
60.可选地,所述视角确定单元,具体用于:
61.将所述待查询目标的图像,输入视角预测模型,所述视角预测模型输出所述待查询目标的图像对应的视角;
62.所述视角预测模型是以训练用图像为训练样本,以训练用图像标注的视角为样本标签训练得到的。
63.可选地,所述缺失视角的图像特征生成单元,具体用于:
64.将所述待查询目标的图像对应的视角的初始图像特征输入图像特征生成模型,所述图像特征生成模型生成所述待查询目标缺失视角的图像特征;
65.所述图像特征生成模型是以训练用图像特征对为训练样本,以第一重构损失、第二重构损失、第三重构损失、第四重构损失及对比损失作为联合损失训练得到的;
66.所述训练用图像特征对包括第一训练用图像特征和第二训练用图像特征;所述第一训练用图像特征经过所述图像特征生成模型生成的第一图像特征与所述第一训练用图像特征之间的损失为所述第一重构损失;所述第一训练用图像特征经过所述图像特征生成模型生成的第二图像特征与所述第二训练用图像特征之间的损失为所述第二重构损失;所述第二训练用图像特征经过所述图像特征生成模型生成的第三图像特征与所述第二训练用图像特征之间的损失为所述第三重构损失;所述第二训练用图像特征经过所述图像特征生成模型生成的第四图像特征与所述第一训练用图像特征之间的损失为所述第四重构损失;所述第一训练用图像特征经过所述图像特征生成模型生成的第五图像特征与所述第二训练用图像特征经过所述图像特征生成模型生成的第六图像特征之间的损失为所述对比损失。
67.可选地,所述重识别单元,包括:
68.计算单元,用于针对所述查询数据库中的图像,根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中所述图像的图像特征,计算查询数据库中所述图像对应的得分;
69.重识别结果确定单元,用于基于查询数据库中各个图像对应的得分,确定所述待查询目标的重识别结果。
70.可选地,所述计算单元,包括:
71.相似度得分计算单元,用于计算查询数据库中所述图像的图像特征与所述待查询目标每个视角的图像特征的相似度得分;
72.视角权重确定单元,用于确定所述预设多个视角的权重;
73.得分计算单元,用于基于预设多个视角对应的相似度得分以及预设多个视角对应的权重,计算查询数据库中所述图像对应的得分。
74.可选地,当所述待查询目标的图像包括所述预设多个视角中全部视角的图像时,所述视角权重确定单元,包括:
75.第一信息确定单元,用于确定查询数据库中所述图像的视角特征及所述待查询目标预设多个视角的视角特征;
76.第一视角权重确定子单元,用于基于查询数据库中所述图像的视角特征及所述待查询目标预设多个视角的视角特征确定所述预设多个视角的权重。
77.可选地,当所述待查询目标的图像包括所述预设多个视角中部分视角的图像时,所述视角权重确定单元,包括:
78.第二信息确定单元,用于确定查询数据库中所述图像的视角特征、所述待查询目标的图像对应的视角的视角特征及所述待查询目标缺失视角的预设权重;
79.第二视角权重确定子单元,用于根据所述查询数据库中所述图像的视角特征、所述待查询目标的图像对应的视角的视角特征,确定所述待查询目标的图像对应的视角的权重;
80.第三视角权重确定子单元,用于基于所述待查询目标的图像对应的视角的权重及所述待查询目标缺失视角的预设权重,确定所述预设多个视角的权重。
81.可选地,所述预设多个视角的图像特征提取模型,包括:
82.原始图像特征提取模块、视角权重矩阵确定模块和特征融合模块;
83.所述原始图像特征提取模块用于对所述待查询目标的图像进行特征提取,得到预设多个视角的原始图像特征;
84.所述视角权重矩阵确定模块用于对预设多个视角的原始图像特征进行全局编码,得到预设多个视角的权重矩阵;
85.所述特征融合模块用于将预设多个视角的原始图像特征与预设多个视角的权重矩阵进行融合,得到预设多个视角的初始图像特征。
86.一种目标重识别设备,包括存储器和处理器;
87.所述存储器,用于存储程序;
88.所述处理器,用于执行所述程序,实现如上所述的目标重识别方法的各个步骤。
89.一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实
现如上所述的目标重识别方法的各个步骤。
90.借由上述技术方案,本技术公开了一种目标重识别方法、相关设备及可读存储介质。在获取待查询目标的图像之后,基于该待查询目标的图像,确定该待查询目标预设多个视角的图像特征;根据该待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定该待查询目标的重识别结果。本方案中,待查询目标预设多个视角的图像特征能够充分表达待查询目标的全局信息,可以有效降低因待查询目标视角变化带来的特征差异,因此,能够提升重识别的结果准确度。
附图说明
91.通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本技术的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
92.图1为本技术实施例公开的一种目标重识别方法的流程示意图;
93.图2为本技术实施例公开的一种预设多个视角的图像特征提取模型的结构示意图;
94.图3为本技术实施例公开的一种预设多个视角的图像特征提取模型的具体结构示例示意图;
95.图4为本技术实施例公开的一种图像特征生成模型的结构示意图;
96.图5为本技术实施例公开的一种目标重识别装置结构示意图;
97.图6为本技术实施例公开的一种目标重识别设备的硬件结构框图。
具体实施方式
98.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
99.接下来,通过下述实施例对本技术提供的流式网络服务负载方法进行介绍。
100.参照图1,图1为本技术实施例公开的一种目标重识别方法的流程示意图,该方法可以包括:
101.步骤s101:获取待查询目标的图像。
102.在本技术中,待查询目标的图像可以为待查询目标一个视角的图像,也可以为待查询目标多个视角的图像,待查询目标一个视角的图像可以为预设多个视角的任一视角的图像,待查询目标多个视角的图像可以为预设多个视角中全部或部分视角的图像,对此,本技术不进行任何限定。
103.需要说明的是,在本技术中,针对不同的重识别场景,待查询目标可以为任意类型的个体,比如,车辆、行人等,对此,本技术不进行任何限定。
104.另外,待查询目标的图像可以为图像拍摄装置(如,摄像头等)拍摄的原始图像,也可以为对图像拍摄装置(如,摄像头等)拍摄的原始图像进行预处理(比如,图像截取、图像降噪、图像增强等)后得到的图像。
105.步骤s102:基于所述待查询目标的图像,确定所述待查询目标预设多个视角的图像特征。
106.在本技术中,作为一种可实施方式,如果所述待查询目标的图像包括预设多个视角中全部视角的图像,则可以分别对待查询目标的每个视角的图像进行特征提取,得到所述待查询目标预设多个视角的图像特征。具体实现方式将通过后面实施例详细说明,此处不再展开描述。
107.作为另一种可实施方式,如果所述待查询目标的图像中包括预设多个视角中部分视角(为便于描述,后面称之为已有视角)的图像,则可以对待查询目标的已有视角的图像进行特征提取,得到所述待查询目标预设多个视角中已有视角的图像特征,对于预设多个视角中除已有视角之外的其他视角(为便于描述,后面称之为缺失视角),可以基于任意一个已有视角的特征生成,已有视角的图像特征和缺失视角的图像特征组成待查询目标预设多个视角的图像特征。具体实现方式将通过后面实施例详细说明,此处不再展开描述。
108.步骤s103:根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定所述待查询目标的重识别结果。
109.在本技术中,可以预先对查询数据库中各个图像进行特征提取,得到查询数据库中各个图像的图像特征。作为一种可实施方式,可以将查询数据库中各个图像输入图像特征提取模型,得到查询数据库中各个图像的图像特征,图像特征提取模型可以采用神经网络模型,比如残差网络(如,resnet50)、卷积神经网络等,对此,本技术不进行任何限定。
110.作为一种可实施方式,可以将所述待查询目标预设多个视角的图像特征与查询数据库中各个图像的图像特征进行匹配,确定所述待查询目标的重识别结果。具体实现方式将通过后面实施例详细说明,此处不再展开描述。
111.本实施例公开了一种目标重识别方法。在获取待查询目标的图像之后,基于该待查询目标的图像,确定该待查询目标预设多个视角的图像特征;根据该待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定该待查询目标的重识别结果。本方法中,待查询目标预设多个视角的图像特征能够充分表达待查询目标的全局信息,可以有效降低因待查询目标视角变化带来的特征差异,因此,能够提升重识别的结果准确度。
112.在本技术的另一个实施例中,对步骤s102基于所述待查询目标的图像,确定所述待查询目标预设多个视角的图像特征的具体实现方式进行了说明,该方式可以包括如下步骤:
113.步骤s201:将所述待查询目标的图像,输入预设多个视角的图像特征提取模型,所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征。
114.参照图2,图2为本技术实施例公开的一种预设多个视角的图像特征提取模型的结构示意图,该模型可以包括:原始图像特征提取模块、视角权重矩阵确定模块和特征融合模块。所述原始图像特征提取模块用于对所述待查询目标的图像进行特征提取,得到预设多个视角的原始图像特征;所述视角权重矩阵确定模块用于对预设多个视角的原始图像特征进行全局编码,得到预设多个视角的权重矩阵;所述特征融合模块用于将预设多个视角的原始图像特征与预设多个视角的权重矩阵进行融合,得到预设多个视角的初始图像特征。每个视角的初始图像特征是在目标整体信息的指导下得到的,更为鲁棒,能够避免目标视
角变化带来的特征差异。
115.为便于理解,假设预设多个视角为前视图、后视图、侧视图这3个视角,待查询目标的图像为同一辆车的前视图、后视图、侧视图这3个视角的图像,将该辆车的3个视角的图像输入原始图像特征提取模块,原始图像特征提取模块得到该辆车前视图的原始图像特征、后视图的原始图像特征以及侧视图的原始图像特征。所述视角权重矩阵确定模块对该辆车前视图的原始图像特征、后视图的原始图像特征以及侧视图的原始图像特征进行全局编码得到前视图的权重、后视图的权重以及侧视图的权重。所述特征融合模块将该辆车前视图的原始图像特征与前视图的权重进行融合得到该辆车前视图的初始图像特征,将该辆车后视图的原始图像特征与后视图的权重进行融合得到该辆车后视图的初始图像特征,将该辆车侧视图的原始图像特征与侧视图的权重进行融合得到该辆车侧视图的初始图像特征。
116.可以理解的是,预设多个视角的图像特征提取模型中各个模块可以采用多种神经网络结构实现。参照图3,图3为本技术实施例公开的一种预设多个视角的图像特征提取模型的具体结构示例示意图,该示例中,原始图像特征提取模块可以采用残差网络(即图3中所示的resnet50),视角权重矩阵确定模块可以包括池化层(即图3中所示的pooling)、特征融合层、第一全连接层(即图3中所示的fc+relu)、第二全连接层(即图3中所示的fc和sigmoid)、矩阵维度调整层(即图3中所示的expand)。特征融合模块可以将每个视角的原始图像特征与该视角的权重相乘,得到该视角的初始图像特征。
117.需要说明的是,所述预设多个视角的图像特征提取模型是以训练用预设多个视角的图像为训练样本,以训练用预设多个视角的图像标注的目标类别为样本标签,通过交叉熵损失训练得到的。
118.所述交叉熵损失函数可以表示为:
[0119][0120]
其中,b表示每批次图像的数量,m表示目标训练集的类别总数,表示每批次中第i张图像关于第c类类别的概率,p
ic
表示每批次中第i张图像关于第c类类别的预测概率。
[0121]
为便于理解,在车辆重识别场景中,假设预设多个视角分别为前视、后视、侧视这三个视角,则预设多个视角的图像特征提取模型在训练时,训练集中包括多组训练用预设多个视角的图像,每组训练用预设多个视角的图像包括一辆车前视图、后视图及侧视图。每组训练用预设多个视角的图像标注的目标类别为图中所示车辆的类别。
[0122]
需要说明的是,在预设多个视角的图像特征提取模型训练时,每个训练样本是包含预设多个视角中全部视角的图像的,实际场景中,待查询目标的图像可能无法包含预设多个视角中的全部视角的图像。如果所述待查询目标的图像包括预设多个视角中全部视角的图像,则将所述待查询目标的图像输入预设多个视角的图像特征提取模型,得到所述待查询目标预设多个视角的初始图像特征。如果所述待查询目标的图像中包括预设多个视角中部分视角的图像,则可以选取已有视角的图像作为缺失视角的图像,与已有视角的图像一起输入预设多个视角的图像特征提取模型,得到待查询目标预设多个视角的初始图像特征,需要注意的是,此时得到的缺失视角的初始图像特征实际上是已知视角的初始图像特征,在进行后续处理时会被替换掉,具体将通过后面的实施例详细说明。
[0123]
为便于理解,假设预设多个视角为前视图、后视图、侧视图这3个视角,如果待查询目标的图像为同一辆车的前视图、后视图、侧视图这3个视角的图像,则将该辆车的前视图、后视图、侧视图输入预设多个视角的图像特征提取模型,得到该辆车的前视图的初始图像特征、后视图的初始图像特征以及侧视图的初始图像特征。如果待查询目标的图像仅包括同一辆车的前视图和侧视图,则可以将该辆车的前视图作为缺失的该辆车的后视图,与该辆车的前视图和侧视图一起输入预设多个视角的图像特征提取模型,得到待查询目标预设多个视角的初始图像特征。需要注意的是,此时得到的后视图的图像特征实际是前视图的图像特征,在进行后续处理时会被替换掉。
[0124]
步骤s202:基于所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定所述待查询目标预设多个视角的图像特征。
[0125]
作为一种可实施方式,当所述待查询目标的图像包括所述预设多个视角中全部视角的图像时,所述基于所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定所述待查询目标预设多个视角的图像特征,包括:将所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定为所述待查询目标预设多个视角的图像特征。
[0126]
作为另一种可实施方式,当所述待查询目标的图像包括所述预设多个视角中部分视角的图像时,所述基于所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定所述待查询目标预设多个视角的图像特征,包括:
[0127]
步骤s301:确定所述待查询目标的图像对应的视角。
[0128]
作为一种可实施方式,所述确定所述待查询目标的图像对应的视角,包括:将所述待查询目标的图像,输入视角预测模型,所述视角预测模型输出所述待查询目标的图像对应的视角;所述视角预测模型是以训练用图像为训练样本,以训练用图像标注的视角为样本标签训练得到的。
[0129]
为便于理解,假设预设多个视角为前视图、后视图、侧视图这3个视角,待查询目标的图像为同一辆车的两个图像,则分别将该辆车的图像输入视角预测模型,即可得到每个图像对应的视角。加入两个图像对应的视角分别为前视图和侧视图,则待查询目标的图像对应的视角即为前视图和侧视图。
[0130]
需要说明的是,本步骤中确定的所述待查询目标的图像对应的视角即为上述内容中提到的已知视角。
[0131]
步骤s302:获取所述待查询目标的图像对应的视角的初始图像特征。
[0132]
在本步骤中,所述待查询目标的图像对应的视角的初始图像特征可以基于预设多个视角的图像特征提取模型得到。具体的,可以选取已有视角的图像作为缺失视角的图像,与已有视角的图像一起输入预设多个视角的图像特征提取模型,得到待查询目标预设多个视角的初始图像特征,其中已有视角的初始图像特征即为所述待查询目标的图像对应的视角的初始图像特征。
[0133]
步骤s303:基于所述待查询目标的图像对应的视角的初始图像特征,生成所述待查询目标缺失视角的图像特征。
[0134]
需要说明的是,所述缺失视角为所述预设多个不同视角中除所述待查询目标的图像对应的视角之外的视角。
[0135]
作为一种可实施方式,所述基于所述待查询目标的图像对应的视角的初始图像特征,生成所述待查询目标缺失视角的图像特征的具体实现方式,可以包括:将所述待查询目标的图像对应的视角的初始图像特征输入图像特征生成模型,所述图像特征生成模型生成所述待查询目标缺失视角的图像特征。
[0136]
需要说明的是,所述图像特征生成模型是以训练用图像特征对为训练样本,以第一重构损失、第二重构损失、第三重构损失、第四重构损失及对比损失作为联合损失训练得到的;
[0137]
所述训练用图像特征对包括第一训练用图像特征和第二训练用图像特征;所述第一训练用图像特征经过所述图像特征生成模型生成的第一图像特征与所述第一训练用图像特征之间的损失为所述第一重构损失;所述第一训练用图像特征经过所述图像特征生成模型生成的第二图像特征与所述第二训练用图像特征之间的损失为所述第二重构损失;所述第二训练用图像特征经过所述图像特征生成模型生成的第三图像特征与所述第二训练用图像特征之间的损失为所述第三重构损失;所述第二训练用图像特征经过所述图像特征生成模型生成的第四图像特征与所述第一训练用图像特征之间的损失为所述第四重构损失;所述第一训练用图像特征经过所述图像特征生成模型生成的第五图像特征与所述第二训练用图像特征经过所述图像特征生成模型生成的第六图像特征之间的损失为所述对比损失。
[0138]
为便于理解,参照图4,图4为本技术实施例公开的一种图像特征生成模型的结构示意图,如图4所示,第一训练用图像特征为x1,第二训练用图像特征为x2,第一图像特征为第二图像特征为第三图像特征为第四图像特征为第五图像特征为z1,第六图像特征为z2。重构损失为图4中所示“mse loss”,对比损失为图4中所示“contrastive loss”。
[0139]
步骤s304:将所述待查询目标的图像对应的视角的初始图像特征,以及生成的所述待查询目标缺失视角的图像特征,确定为所述待查询目标预设多个视角的图像特征。
[0140]
在本步骤中,可以将预设多个视角的图像特征提取模型输出的缺失视角的初始图像特征替换为生成的待查询目标缺失视角的图像特征,得到所述待查询目标预设多个视角的图像特征。
[0141]
在本技术的另一个实施例中,对步骤s103根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定所述待查询目标的重识别结果,包括:
[0142]
步骤s401:针对所述查询数据库中的图像,根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中所述图像的图像特征,计算查询数据库中所述图像对应的得分。
[0143]
作为一种可实施方式,可以针对查询数据库中的图像,计算所述图像的图像特征与所述待查询目标每个视角的图像特征的相似度;并基于各个视角对应的相似度,计算最终相似度;将每个图像的最终相似度作为该图像对应的得分。但是该方式未考虑待查询目标图像的视角与查询数据库中图像的视角相似度,导致重识别结果准确度较低
[0144]
为解决上述问题,本技术给出另外一种可实施方式,在该方式可以包括如下步骤:
[0145]
步骤s501:计算查询数据库中所述图像的图像特征与所述待查询目标每个视角的图像特征的相似度得分。
[0146]
在本步骤中,可以基于多种相似度计算方法计算查询数据库中所述图像的图像特征与所述待查询目标每个视角的图像特征的相似度得分,对此,本技术不进行任何限定。
[0147]
步骤s502:确定所述预设多个视角的权重。
[0148]
在本技术中,作为一种可实施方式,当所述待查询目标的图像包括所述预设多个视角中全部视角的图像时,所述确定所述预设多个视角的权重,包括:确定查询数据库中所述图像的视角特征及所述待查询目标预设多个视角的视角特征;基于查询数据库中所述图像的视角特征及所述待查询目标预设多个视角的视角特征确定所述预设多个视角的权重。
[0149]
其中,可以将所述查询数据库中所述图像,以及,所述待查询目标的图像,输入视角预测模型,所述视角预测模型输出所述查询数据库中所述图像的视角特征、所述待查询目标预设多个视角的视角特征。可以计算查询数据库中所述图像的视角特征与所述待查询目标预设多个视角的每个视角特征的相似度,再将各个相似度归一化,即可得到预设多个视角的权重。
[0150]
在本技术中,作为另一种可实施方式,当所述待查询目标的图像包括所述预设多个视角中部分视角的图像时,所述确定所述预设多个视角的权重,包括:确定查询数据库中所述图像的视角特征、所述待查询目标的图像对应的视角的视角特征及所述待查询目标缺失视角的预设权重;根据所述查询数据库中所述图像的视角特征、所述待查询目标的图像对应的视角的视角特征,确定所述待查询目标的图像对应的视角的权重;基于所述待查询目标的图像对应的视角的权重及所述待查询目标缺失视角的预设权重,确定所述预设多个视角的权重。
[0151]
其中,可以将所述查询数据库中所述图像,以及,所述待查询目标的图像,输入视角预测模型,所述视角预测模型输出查询数据库中所述图像的视角特征、所述待查询目标的图像对应的视角的视角特征。可以计算查询数据库中所述图像的视角特征与所述待查询目标的图像对应的每个视角的视角特征相似度,再将各个相似度归一化,即可得到所述待查询目标的图像对应的视角的权重。
[0152]
步骤s503:基于预设多个视角对应的相似度得分以及预设多个视角对应的权重,计算查询数据库中所述图像对应的得分。
[0153]
在本技术中,针对每个视角,可以将该视角对应的相似度得分乘以该视角对应的权重,得到该视角的得分,将各个视角的得分求和得到查询数据库中所述图像对应的得分。
[0154]
步骤s402:基于查询数据库中各个图像对应的得分,确定所述待查询目标的重识别结果。
[0155]
在本技术中,可以确定查询数据库中得分满足预设条件的图像为所述待查询目标的重识别结果。预设条件可以为得分大于预设阈值,和/或,得分排名topn,n为大于等于1的整数。
[0156]
下面对本技术实施例公开的目标重识别装置进行描述,下文描述的目标重识别装置与上文描述的目标重识别方法可相互对应参照。
[0157]
参照图5,图5为本技术实施例公开的一种目标重识别装置结构示意图。如图5所示,该目标重识别装置可以包括:
[0158]
获取单元11,用于获取待查询目标的图像;
[0159]
确定单元12,用于基于所述待查询目标的图像,确定所述待查询目标预设多个视角的图像特征;
[0160]
重识别单元13,用于根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定所述待查询目标的重识别结果。
[0161]
作为一种可实施方式,所述确定单元,包括:
[0162]
多视角初始图像特征确定单元,用于将所述待查询目标的图像,输入预设多个视角的图像特征提取模型,所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征;所述预设多个视角的图像特征提取模型是以训练用预设多个视角的图像为训练样本,以训练用预设多个视角的图像标注的目标类别为样本标签,训练得到的;
[0163]
多视角图像特征确定单元,用于基于所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定所述待查询目标预设多个视角的图像特征。
[0164]
作为一种可实施方式,当所述待查询目标的图像包括所述预设多个视角中全部视角的图像时,所述多视角图像特征确定单元,包括:
[0165]
第一多视角图像特征确定单元,用于将所述预设多个视角的图像特征提取模型输出所述待查询目标预设多个视角的初始图像特征,确定为所述待查询目标预设多个视角的图像特征。
[0166]
作为一种可实施方式,当所述待查询目标的图像包括所述预设多个视角中部分视角的图像时,所述多视角图像特征确定单元,包括:
[0167]
视角确定单元,用于确定所述待查询目标的图像对应的视角;
[0168]
初始图像特征获取单元,用于获取所述待查询目标的图像对应的视角的初始图像特征;
[0169]
缺失视角的图像特征生成单元,用于基于所述待查询目标的图像对应的视角的初始图像特征,生成所述待查询目标缺失视角的图像特征;所述缺失视角为所述预设多个不同视角中除所述待查询目标的图像对应的视角之外的视角;
[0170]
第二多视角图像特征确定子单元,用于将所述待查询目标的图像对应的视角的初始图像特征,以及生成的所述待查询目标缺失视角的图像特征,确定为所述待查询目标预设多个视角的图像特征。
[0171]
作为一种可实施方式,所述视角确定单元,具体用于:
[0172]
将所述待查询目标的图像,输入视角预测模型,所述视角预测模型输出所述待查询目标的图像对应的视角;
[0173]
所述视角预测模型是以训练用图像为训练样本,以训练用图像标注的视角为样本标签训练得到的。
[0174]
作为一种可实施方式,所述缺失视角的图像特征生成单元,具体用于:
[0175]
将所述待查询目标的图像对应的视角的初始图像特征输入图像特征生成模型,所述图像特征生成模型生成所述待查询目标缺失视角的图像特征;
[0176]
所述图像特征生成模型是以训练用图像特征对为训练样本,以第一重构损失、第
二重构损失、第三重构损失、第四重构损失及对比损失作为联合损失训练得到的;
[0177]
所述训练用图像特征对包括第一训练用图像特征和第二训练用图像特征;所述第一训练用图像特征经过所述图像特征生成模型生成的第一图像特征与所述第一训练用图像特征之间的损失为所述第一重构损失;所述第一训练用图像特征经过所述图像特征生成模型生成的第二图像特征与所述第二训练用图像特征之间的损失为所述第二重构损失;所述第二训练用图像特征经过所述图像特征生成模型生成的第三图像特征与所述第二训练用图像特征之间的损失为所述第三重构损失;所述第二训练用图像特征经过所述图像特征生成模型生成的第四图像特征与所述第一训练用图像特征之间的损失为所述第四重构损失;所述第一训练用图像特征经过所述图像特征生成模型生成的第五图像特征与所述第二训练用图像特征经过所述图像特征生成模型生成的第六图像特征之间的损失为所述对比损失。
[0178]
作为一种可实施方式,所述重识别单元,包括:
[0179]
计算单元,用于针对所述查询数据库中的图像,根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中所述图像的图像特征,计算查询数据库中所述图像对应的得分;
[0180]
重识别结果确定单元,用于基于查询数据库中各个图像对应的得分,确定所述待查询目标的重识别结果。
[0181]
作为一种可实施方式,所述计算单元,包括:
[0182]
相似度得分计算单元,用于计算查询数据库中所述图像的图像特征与所述待查询目标每个视角的图像特征的相似度得分;
[0183]
视角权重确定单元,用于确定所述预设多个视角的权重;
[0184]
得分计算单元,用于基于预设多个视角对应的相似度得分以及预设多个视角对应的权重,计算查询数据库中所述图像对应的得分。
[0185]
作为一种可实施方式,当所述待查询目标的图像包括所述预设多个视角中全部视角的图像时,所述视角权重确定单元,包括:
[0186]
第一信息确定单元,用于确定查询数据库中所述图像的视角特征及所述待查询目标预设多个视角的视角特征;
[0187]
第一视角权重确定子单元,用于基于查询数据库中所述图像的视角特征及所述待查询目标预设多个视角的视角特征确定所述预设多个视角的权重。
[0188]
作为一种可实施方式,当所述待查询目标的图像包括所述预设多个视角中部分视角的图像时,所述视角权重确定单元,包括:
[0189]
第二信息确定单元,用于确定查询数据库中所述图像的视角特征、所述待查询目标的图像对应的视角的视角特征及所述待查询目标缺失视角的预设权重;
[0190]
第二视角权重确定子单元,用于根据所述查询数据库中所述图像的视角特征、所述待查询目标的图像对应的视角的视角特征,确定所述待查询目标的图像对应的视角的权重;
[0191]
第三视角权重确定子单元,用于基于所述待查询目标的图像对应的视角的权重及所述待查询目标缺失视角的预设权重,确定所述预设多个视角的权重。
[0192]
作为一种可实施方式,所述预设多个视角的图像特征提取模型,包括:
[0193]
原始图像特征提取模块、视角权重矩阵确定模块和特征融合模块;
[0194]
所述原始图像特征提取模块用于对所述待查询目标的图像进行特征提取,得到预设多个视角的原始图像特征;
[0195]
所述视角权重矩阵确定模块用于对预设多个视角的原始图像特征进行全局编码,得到预设多个视角的权重矩阵;
[0196]
所述特征融合模块用于将预设多个视角的原始图像特征与预设多个视角的权重矩阵进行融合,得到预设多个视角的初始图像特征。
[0197]
参照图6,图6为本技术实施例提供的目标重识别设备的硬件结构框图,参照图6,目标重识别设备的硬件结构可以包括:至少一个处理器1,至少一个通信接口2,至少一个存储器3和至少一个通信总线4;
[0198]
在本技术实施例中,处理器1、通信接口2、存储器3、通信总线4的数量为至少一个,且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信;
[0199]
处理器1可能是一个中央处理器cpu,或者是特定集成电路asic(application specific integrated circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
[0200]
存储器3可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器;
[0201]
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
[0202]
获取待查询目标的图像;
[0203]
基于所述待查询目标的图像,确定所述待查询目标预设多个视角的图像特征;
[0204]
根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定所述待查询目标的重识别结果。
[0205]
可选的,所述程序的细化功能和扩展功能可参照上文描述。
[0206]
本技术实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的程序,所述程序用于:
[0207]
获取待查询目标的图像;
[0208]
基于所述待查询目标的图像,确定所述待查询目标预设多个视角的图像特征;
[0209]
根据所述待查询目标预设多个视角的图像特征,以及,查询数据库中各个图像的图像特征,确定所述待查询目标的重识别结果。
[0210]
可选的,所述程序的细化功能和扩展功能可参照上文描述。
[0211]
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0212]
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
[0213]
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1