图像识别方法、装置、电子设备和可读存储介质与流程

文档序号:28861709发布日期:2022-02-12 01:06阅读:56来源:国知局
图像识别方法、装置、电子设备和可读存储介质与流程

1.本技术涉及机器学习技术领域,具体而言,涉及一种图像识别方法、装置、电子设备和可读存储介质。


背景技术:

2.在智能交通等领域中,对于如非机动车、行人、机动车等对象的快速检索和目标属性的识别应用需求广泛,可辅助交警维护交通秩序,可辅助快速寻找目标人员。
3.目前,常用的处理方式是利用机器学习模型来实现图像识别处理,从而进行是否存在目标对象的判断。在进行是否存在目标对象的判断时,一般是采用将待识别图像与预设已知图像进行比对,通过设置阈值来判断。但是,由于不同图像的图像质量存在较大不同,而现有技术中设置固定阈值的方式,将可能导致高质量图像的召回率降低或低质量图像的准确率降低的问题。


技术实现要素:

4.本技术的目的包括,例如,提供了一种图像识别方法、装置、电子设备和可读存储介质,其能够提高图像属性识别结果的准确率和召回率。
5.本技术的实施例可以这样实现:
6.第一方面,本技术提供一种图像识别方法,所述方法包括:
7.利用训练得到的识别模型获得待识别图像的特征信息;
8.利用训练得到的评估模型获得所述待识别图像的质量分值;
9.计算所述待识别图像的特征信息与多个预设图像中各所述预设图像的特征信息之间的相似度;
10.基于得到的多个相似度获得所述待识别图像的重识别结果,并基于所述待识别图像的质量分值和各所述相似度,得到所述待识别图像的属性识别结果,所述属性识别结果表征所述待识别图像是否具有与各所述相似度对应的预设图像相同的目标对象。
11.在可选的实施方式中,所述方法还包括预先训练得到识别模型的步骤,该步骤包括:
12.利用采集的多个训练样本对构建的第一网络模型进行训练,并获得所述第一网络模型得到的各所述训练样本的特征信息;
13.基于多个训练样本的特征信息,计算得到各所述训练样本的质量分值;
14.根据各所述训练样本的质量分值对各所述训练样本的训练权重进行调整后继续对所述第一网络模型进行训练,直至满足预设要求时,得到所述第一网络模型对应的识别模型。
15.在可选的实施方式中,所述方法还包括预先训练得到评估模型的步骤,该步骤包括:
16.在所述第一网络模型训练迭代后,基于得到的各所述训练样本的质量分值并利用
所述多个训练样本对构建的第二网络模型进行训练;
17.在对各所述训练样本的训练权重进行调整并继续对所述第一网络模型训练得到更新的质量分值后,基于更新的质量分值对所述第二网络模型进行训练,直至满足预设要求时,得到所述第二网络模型对应的评估模型。
18.在可选的实施方式中,所述基于多个训练样本的特征信息,计算得到各所述训练样本的质量分值的步骤,包括:
19.针对各所述训练样本,根据所述训练样本与所属相同类别的训练样本的特征信息计算得到类内距离,根据所述训练样本与所属不同类别的训练样本的特征信息计算得到类间距离;
20.基于各所述训练样本的类内距离和类间距离,得到各所述训练样本的质量分值。
21.在可选的实施方式中,所述计算所述待识别图像的特征信息与多个预设图像中各所述预设图像的特征信息之间的相似度的步骤之前,所述方法还包括:
22.对所述待识别图像的特征信息进行降维处理,以得到设定维数的特征信息。
23.在可选的实施方式中,所述利用训练得到的识别模型获得待识别图像的特征信息的步骤,包括:
24.确定各个预设图像中目标对象所在区域,对各所述预设图像的未包含目标对象的区域进行像素遮挡处理;
25.对待识别图像执行与各所述预设图像相同区域的像素遮挡处理;
26.利用训练得到的识别模型获得像素遮挡处理后的待识别图像和各个预设图像的特征信息。
27.在可选的实施方式中,所述基于所述待识别图像的质量分值和各所述相似度,得到所述待识别图像的属性识别结果的步骤,包括:
28.基于所述待识别图像的质量分值设置判别阈值;
29.根据所述判别阈值和各所述相似度,得到所述待识别图像的属性识别结果。
30.在可选的实施方式中,所述根据所述判别阈值和各所述相似度,得到所述待识别图像的属性识别结果的步骤,包括:
31.将各所述相似度与所述判别阈值进行比较,若所述相似度小于所述判别阈值,则确定所述待识别图像不具有与该相似度对应的预设图像相同的目标对象;
32.若所述相似度大于或等于所述判别阈值,则确定所述待识别图像具有与该相似度对应的预设图像相同的目标对象。
33.第二方面,本技术提供一种图像识别装置,所述装置包括:
34.信息获得模块,用于利用训练得到的识别模型获得待识别图像的特征信息;
35.分值获得模块,用于利用训练得到的评估模型获得所述待识别图像的质量分值;
36.计算模块,用于计算所述待识别图像的特征信息与多个预设图像中各所述预设图像的特征信息之间的相似度;
37.结果获得模块,用于基于得到的多个相似度获得所述待识别图像的重识别结果,并基于所述待识别图像的质量分值和各所述相似度,得到所述待识别图像的属性识别结果,所述属性识别结果表征所述待识别图像是否具有与各所述相似度对应的预设图像相同的目标对象。
38.第三方面,本技术提供一种电子设备,包括:存储器和处理器,其中,所述存储器,用于存储计算机程序,所述处理器,用于执行所述计算机程序,以实现前述实施方式任一项所述的图像识别方法。
39.第四方面,本技术提供一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如前述实施方式任一项所述的图像识别方法。
40.本技术实施例的有益效果包括,例如:
41.本技术提供一种图像识别方法、装置、电子设备和可读存储介质,利用训练得到的识别模型获得待识别图像的特征信息,并利用训练得到的评估模型获得待识别图像的质量分值。再计算待识别图像的特征信息与多个预设图像中各预设图像的特征信息之间的相似度,基于得到的多个相似度获得待识别图像的重识别结果,并基于待识别图像的质量分值和各相似度,得到待识别图像的属性识别结果,该属性识别结果可表征待识别图像是否具有与各相似度对应的预设图像相同的目标对象。该方案,在属性识别结果确定过程中,将图像质量分值纳入考虑,可以适应性地基于图像分值进行属性识别结果的判断,提高属性识别结果的准确率和召回率。
附图说明
42.为了更清楚地说明本技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本技术的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
43.图1为本技术实施例提供的图像识别方法的应用场景示意图;
44.图2为本技术实施例提供的图像识别方法的流程图;
45.图3为本技术实施例提供的图像识别方法中,模型训练方法的流程图;
46.图4为本技术实施例提供的网络模型的结构示意图;
47.图5为图3中步骤s102包含的子步骤的流程图;
48.图6为本技术实施例提供的图像识别方法中,模型训练方法的另一流程图;
49.图7为图2中步骤s201包含的子步骤的流程图;
50.图8为本技术实施例提供的像素遮挡处理后的图像示意图;
51.图9为图2中步骤s204包含的子步骤的流程图;
52.图10为本技术实施例提供的电子设备的结构框图;
53.图11为本技术实施例提供的图像识别装置的功能模块框图。
54.图标:110-存储介质;120-处理器;130-图像识别装置;131-信息获得模块;132-分值获得模块;133-计算模块;134-结果获得模块;140-通信接口。
具体实施方式
55.针对基于图像识别的方式进行如非机动车、机动车和行人等的检测应用,目前已存在较多的处理方式。例如,现有处理方式中有采用多粒度深度特征融合的多尺度行人重识别方式,主要是通过选取残差网络,挖掘全局粗粒度融合特征,局部粗粒度融合特征,局部注意力细粒度融合特征,融合所有特征进行重识别,缓解复杂背景或姿态变化给重识别
带来的压力。但是该种方式中其网络存在各种分支,训练难度较大,部署应用时资源消耗较大。
56.此外,现有技术还有采用基于ptgan(person transfer gan)的行人重识别方式,主要是通过事先训练一个ptgan的风格背景迁移算法,重识别时先将当前摄像头下待检索目标背景转换为目标摄像头下的背景,再进行重识别,缓解跨摄像头检索难度大的问题。但是,该方式中ptgan网络灵活度不够,现实应用场景中背景复杂,无法很好地处理。
57.此外,现有技术中还有采用基于深度学习的行人重识别与特征识别融合的方式,主要是通过将行人重识别和行人属性(如性别、年龄)识别任何融合,通过重识别和属性识别结果判断是否是同一个人。但是,该方式需要大量的人力标注行人各属性标签,且网络分支较多,训练和部署过程都较复杂。
58.可见,现有技术中在为了提高对图像识别处理的召回率和准确率时,所采用的处理方式大多存在网络模型复杂或需大量人力标注的缺陷。
59.针对现有技术中所存在的上述问题,本技术提供一种图像识别方案,通过在属性识别结果确定过程中,将图像质量分值纳入考虑,可以适应性地基于图像质量情况进行属性识别结果的判断,提高属性识别结果的准确率和召回率。
60.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
61.因此,以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围,而是仅仅表示本技术的选定实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
62.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
63.在本技术的描述中,需要说明的是,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
64.需要说明的是,在不冲突的情况下,本技术的实施例中的特征可以相互结合。
65.请参阅图1,为本技术实施例提供的图像识别方法的应用场景示意图,该场景中包含处理设备和终端设备,其中,终端设备可为多个,多个终端设备与处理设备可通信连接,以实现数据、信息的交互。
66.其中,各终端设备可为摄像设备,如安装在道路旁的摄像设备,可用于采集道路上、道路旁的行人、车辆等的图像,并将采集的图像发送至处理设备。
67.处理设备可为后台服务器,例如交管部门的提供交管平台的后台服务器。处理设备可基于接收到的各终端设备发送的图像进行分析处理,从而实现目标重识别和属性识别。其中,所述的目标重识别指的是针对待重识别检索的图像,通过一定的技术和庞大的底库图像比对检索的过程,该技术可输出相同摄像头或不同摄像头下与待重识别检索的图像相同或相似的图像。属性识别指的是图像中的目标的一些特性识别,例如是否包含非机动车、车上的人是否穿白色衣服等。
68.其中,处理设备可以是单独的服务器,也可以是由多台服务器构成的服务器集群,对此本实施例不作具体限制。
69.可以理解,图1所示的场景仅为一种可行的示例,在其它可行的实施例中,该场景也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
70.图2示出了本技术实施例提供的图像识别方法的流程示意图,该图像识别方法可由图1中所示的处理设备实现。应当理解,在其它实施例中,本实施例的图像识别方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。该图像识别方法的详细步骤介绍如下。
71.s201,利用训练得到的识别模型获得待识别图像的特征信息。
72.s202,利用训练得到的评估模型获得所述待识别图像的质量分值。
73.s203,计算所述待识别图像的特征信息与多个预设图像中各所述预设图像的特征信息之间的相似度。
74.s204,基于得到的多个相似度获得所述待识别图像的重识别结果,并基于所述待识别图像的质量分值和各所述相似度,得到所述待识别图像的属性识别结果,所述属性识别结果表征所述待识别图像是否具有与各所述相似度对应的预设图像相同的目标对象。
75.本实施例中,可预先基于训练样本训练得到识别模型和评估模型,其中,训练得到的识别模型可以用于对图像进行处理,可以通过识别模型得到图像的特征信息。而评估模型可以用于对图像的质量进行评估,其中,图像的质量评估结果可以体现出图像识别效果的优良程度。
76.在预先训练得到识别模型和评估模型的基础上,在实际应用阶段,获得需要进行识别处理的待识别图像,其中,待识别图像可以是与处理设备通信连接的任一终端设备所采集的图像。对于待识别图像的识别处理,可以包括识别出待识别图像与多个预设图像之间的相似程度,还可以包括识别出待识别图像中是否具有目标对象,目标对象可以是例如非机动车、机动车、白色上衣的行人等不限。可以根据需求确定目标对象的设定。
77.其中,所述的多个预设图像可以是预先存入数据库的图像,各个预设图像可以作为比对的对象。可首先利用预先训练得到的识别模型获得待识别图像的特征信息,并通过预先训练得到的评估模型获得待识别图像的质量分值。
78.在此基础上,计算待识别图像和各个预设图像之间的相似度,可以基于待识别图像的特征信息和各个预设图像的特征信息进行相似度的计算。例如,可以采用欧式距离来体现图像之间的相似度。
79.在得到待识别图像和各个预设图像之间的相似度的基础上,则可以按相似度从高到低的顺序对各个预设图像进行排序,排序后的结果则可作为待识别图像的重识别结果。
80.此外,还可基于待识别图像的质量分值和各个相似度,得到待识别图像的属性识别结果。其中,待识别图像的质量分值可体现出待识别图像的图像质量高低,在实施过程中,一般性地,高质量的图像更容易被识别正确、低质量的图像更容易识别错误。若不同质量情况的图像均无差别地采用一样的判断标准,则可能会导致高质量图像的召回率降低、低质量图像的准确率降低。因此,在属性识别的过程中,将待识别图像的质量分值纳入考虑,可以适应性地基于待识别图像的质量高低情况,进行属性识别的判别。
81.其中,属性识别结果可以表征出待识别图像是否具有与各预设图像相同的目标对
象。例如,属性识别的目标是确定待识别图像中是否包含非机动车,则多个预设图像中各个预设图像可包含非机动车图像,或者部分预设图像中包含有非机动车图像,另外部分预设图像中未包含非机动车图像。
82.基于待识别图像的质量分值以及待识别图像与各个预设图像之间的相似度,可以得到待识别图像的属性识别结果,也即,得到待识别图像是否具有各个预设图像相同的目标对象。
83.本方案中,在属性识别结果确定过程中,将图像分值纳入考虑,可以适应性地基于图像分值进行属性识别结果的判断,可以提高属性识别结果的准确率和召回率。
84.请参阅图3,以下首先对预先训练得到识别模型和评估模型的过程进行介绍。
85.s101,利用采集的多个训练样本对构建的第一网络模型进行训练,并获得所述第一网络模型得到的各所述训练样本的特征信息。
86.s102,基于多个训练样本的特征信息,计算得到各所述训练样本的质量分值。
87.s103,根据各所述训练样本的质量分值对各所述训练样本的训练权重进行调整后继续对所述第一网络模型进行训练,直至满足预设要求时,得到所述第一网络模型对应的识别模型。
88.本实施例中,可获得历史产生的不同位置的终端设备所采集的图像,作为训练样本。训练样本可划分为多组,可通过聚类算法对训练样本进行聚类,然后再结合人工处理进行类内、类间清洗处理。其中,同一组可包含多张训练样本,该多张训练样本可以是针对同一个人、同一辆非机动车的不同终端设备所拍摄的图像。同一组中的多张训练样本可利用同一个id 进行标记,如此,同一个id的多张训练样本可具有多种不同的背景、姿态等,以丰富训练样本的形式。
89.请结合参阅图4,本实施例中,构建的第一网络模型可为deep layeraggregation(dlanet)网络模型,以dla60x为主体部分,此外其中融入无参attention模块simam,使得网络训练时更关注每张训练样本的重要信息。此外,在第一网络模型中还加入有external attention注意力模块,使得模型学习不同训练样本间潜在的联系。
90.第一网络模型在主体部分后设置有全连接层fc,输入全连接层的特征维度设置为1024维,此外,优化器可选用sgd(stochastic gradient descent,随机梯度下降),学习率衰减测量采用固定步长衰减。
91.本实施例中,在利用训练样本训练第一网络模型时,采用的度量损失函数可为triplet loss和arcface loss,结合两者得到的第一网络模型的综合损失函数如下:
92.l=λ1tripletloss+λ2arcfaceloss
93.其中,λ1和λ2分别是网络训练时tripletloss和arcfaceloss的权重。
94.在将训练样本输入至第一网络模型之前,可对各训练样本进行预处理,例如可包括随机裁剪、随机加模糊噪声、随机变亮变暗、数据增强、随机擦除数据增强等,最后将训练样本缩放至宽高192*288尺寸,再输入至第一网络模型,以对模型进行训练。
95.输入第一网络模型的各个训练样本的样本标签可为各训练样本所属id,在经过第一网络模型的处理后,模型最终可输出各训练样本的输出id,并且,还可得到各训练样本的特征信息。
96.判断第一网络模型的训练效果的优良,可以通过各训练样本的质量分值进行判
断。各训练样本的质量分值可以基于第一网络模型得到的训练样本的特征信息进行计算得到。
97.在实施时,一般性地,图像质量越高的图像越容易被识别、图像质量越低的图像越容易被错误识别。因此,在模型训练过程中,可以提高对图像质量较低的图像的学习力度,从而使得模型能够学习到更多的图像质量较低的图像的特征信息,从而提高后续模型在对图像质量较低的图像进行处理时的准确性。
98.因此,本实施例中,在基于第一网络模型得到的特征信息计算得到各训练样本的质量分值后,可以根据各训练样本的质量分值对各训练样本的训练权重进行调整。
99.其中,训练样本的训练权重的调整方式可以是,质量分值较高的训练样本的训练权重可适当降低,质量分值较低的训练样本的训练权重可适当提高。例如,假设训练样本的质量分值为q,则其训练权重可调整为1/q。
100.在调整各个训练样本的训练权重后,可基于调整后的训练权重对第一网络模型进行继续训练。在满足预设要求的情况下,可以得到基于第一网络模型得到的识别模型。
101.其中,判断训练是否满足预设要求的方式可以是,例如第一网络模型的损失函数达到收敛不再降低时可判定满足预设要求,或者是模型迭代次数达到设定的最大次数时判定满足预设要求,或者是模型训练时长达到设定的最大时长时判定满足预设要求。
102.请参阅图5,在本实施例中,在上述基于第一网络模型得到的训练样本的特征信息计算得到的训练样本的质量分值的步骤,可以通过以下方式实现:
103.s1021,针对各所述训练样本,根据所述训练样本与所属相同类别的训练样本的特征信息计算得到类内距离,根据所述训练样本与所属不同类别的训练样本的特征信息计算得到类间距离。
104.s1022,基于各所述训练样本的类内距离和类间距离,得到各所述训练样本的质量分值。
105.本实施例中,在判断图像的质量高低时,若图像与所属同一类图像之间的距离越近、与所属不同类图像之间的距离越远,则表明图像的质量越高。因此,可以结合图像与同一类图像之间的距离、与不同类图像之间的距离来得到图像的质量分值。
106.由上述可知,训练样本划分为多组,每组训练样本具有同一个id,也即同一组训练样本可作为同一个类别。针对各个训练样本,可以基于该训练样本的特征信息以及与其所属同一个id的其他各个训练样本的特征信息,得到该训练样本的类内距离。此外,针对该训练样本,可从所属其他id的训练样本中每个id选取一张训练样本,分别计算该训练样本与各个其他id 的训练样本在特征信息上的距离,进而得到类间距离。
107.其中,类内距离可以是计算得到的多个类内特征信息之间的距离的平均值,类间距离可以是多个类间特征信息之间的距离的平均值。其中,类内、类间的特征信息之间的距离可采用wasserstein距离计算公式计算得到。
108.假设利用x、y、f分别表示训练样本集、训练样本的样本标签、提取的特征信息,则构成三元组形式的数据集如下:
[0109][0110]
其中,n表示训练样本的数量,所属同一个id的训练样本构成正样本对,所属不同
id的训练样本构成负样本对。则针对每一个训练样本,构成的类内、类间分布可分别如下:
[0111][0112][0113]
其中,<f(xi),f(xj)>表示两个训练样本的特征信息的余弦距离。计算类内、类间相似度分布wasserstein距离,如下:
[0114][0115]
进一步地,为了将类内距离、类间距离转换为标准统一的质量分值,可将所有训练样本的质量分值标准化到[0,100]区间,质量分值可表示为如下:
[0116][0117]
其中:
[0118][0119]
其中:
[0120][0121]
如此,则可以基于各个训练样本的类内距离和类间距离,得到训练样本的质量分值。
[0122]
本实施例中,在模型训练阶段可以利用上述的计算类内距离和类间距离的方式计算训练样本的质量分值,但是在实际识别阶段,则无法利用该种方式得到图像的质量分值。而本实施例中,可预先训练得到评估模型,在实际识别阶段可利用评估模型评估得到图像的质量分值。
[0123]
请参阅图6,本实施例中,可通过以下方式预先训练得到评估模型:
[0124]
s104,在所述第一网络模型训练迭代后,基于得到的各所述训练样本的质量分值并利用所述多个训练样本对构建的第二网络模型进行训练。
[0125]
s105,在对各所述训练样本的训练权重进行调整并继续对所述第一网络模型训练得到更新的质量分值后,基于更新的质量分值对所述第二网络模型进行训练,直至满足预设要求时,得到所述第二网络模型对应的评估模型。
[0126]
请结合参阅图4,本实施例中,在训练识别模型的同时可以进行评估模型的训练,构建的第二网络模型可以通过复用第一网络模型的架构得到。并且,可以利用第一网络模型的模型参数初始化第二网络模型,起到知识迁移的作用,提升第二网络模型的评估结果与第一网络模型的重识别的匹配度。
[0127]
在第一网络模型每次迭代后,基于第一网络模型得到的训练样本的特征信息计算得到训练样本的质量分值,该质量分值可以作为输入到第二网络模型的训练样本的样本标签。
[0128]
其中,输入到第二网络模型的训练样本可以缩放处理至宽高192*288 的尺寸。在第一网络模型的基础上,第二网络模型可在最后一层全连接层之前,设置dropout层,以防
止模型过拟合。第二网络模型的损失函数可采用smooth
l1
loss损失函数,如下所示:
[0129][0130]
在利用基于第一网络模型得到的特征信息所获得的质量分值作为标签,对第二网络模型进行训练。在每次第一网络模型调整训练样本的训练权重迭代训练后,可以基于迭代训练得到的特征信息计算得到的质量分值作为第二网络模型下一轮迭代训练时输入的训练样本的新的样本标签。
[0131]
若第二网络模型的训练满足预设要求,例如第二网络模型的损失函数达到收敛不再降低,或者是第二网络模型的训练次数达到设定最大次数,或训练时长达到设定最大时长时可以判定训练满足预设要求。则可以得到由第二网络模型训练得到的评估模型。
[0132]
如此,可以通过第一网络模型、第二网络模型交替迭代训练的方式,达到两者相互促进特征学习的作用,提升两者的效果。
[0133]
本实施例中,通过以上方式可以预先训练得到识别模型和评估模型,得到的识别模型和评估模型可以用于实际识别阶段对待识别图像的处理。
[0134]
本实施例中,在上述实际识别阶段中,可以在基于识别模型得到待识别图像的特征信息、基于评估模型得到待识别图像的质量分值后,计算待识别图像与各个预设图像的特征信息之间的相似度。
[0135]
为了去除噪声特征、降低处理负担,还可在计算相似度之前,进行主成分降维操作。详细地,可对待识别图像的特征信息进行降维处理,以得到设定维数的特征信息。
[0136]
待识别图像在经过识别模型处理后可提取得到1024维特征信息,所述的设定维数可为512维,也即,将1024维特征信息通过pca降维至512 维。
[0137]
在降维处理时,可利用均值mean和降维转换矩阵a实现降维处理,其中,均值mean和降维转换矩阵a可预先利用训练样本以及训练完成的识别模型得到。详细地,可以在训练完成识别模型后,将各个训练样本遍历识别模型进行特征信息提取,并基于提取的特征信息进行均值mean和降维转换矩阵a的计算。
[0138]
基于均值mean、降维转换矩阵a以及1024维的特征信息,可通过以下公式得到512维的特征信息:
[0139]
x
512
=(x
1024-mean)*a
t
[0140]
如此,通过对待识别图像进行主成分降维处理,可去除噪声特征,提升识别效果。
[0141]
本实施例中,对于待识别图像的属性识别处理主要是针对某一目标对象的识别,例如非机动车、机动车、骑行的人的背部等,而这些目标对象一般并不会占据图像的整个版面,且一般是位于图像的某个相对固定的区域,例如,目标对象是非机动车时,则该目标对象占据的区域为图像的下半部分、在目标对象为骑行的人的背部时,则该目标对象占据的区域为图像的上部分。
[0142]
可见,目标对象往往仅处于图像的某部分区域,若对图像的全部区域均进行识别处理,则在需要耗费较长时间、较多资源的情况下,并不会提高识别的效果。
[0143]
基于上述考虑,本实施例中,请参阅图7,在进行待识别图像的特征信息的提取时,可以通过以下方式实现:
[0144]
s2011,确定各个预设图像中目标对象所在区域,对各所述预设图像的未包含目标对象的区域进行像素遮挡处理。
[0145]
s2012,对待识别图像执行与各所述预设图像相同区域的像素遮挡处理。
[0146]
s2013,利用训练得到的识别模型获得像素遮挡处理后的待识别图像和各个预设图像的特征信息。
[0147]
本实施例中,在实际识别阶段,可对各个预设图像和待识别图像进行像素遮挡处理,以使识别模型可以更关注于目标对象相关的特征信息的提取。
[0148]
可首先确定预设图像中目标对象所在区域,例如针对的目标对象为非机动车,则目标对象所在区域为图像的下部分,若针对的目标对象为骑行的人,则目标对象所在区域为图像的上部分。在此基础上,对各预设图像中未包含目标对象的区域进行像素遮挡处理,例如目标对象为非机动车,则可以将图像的上部分进行像素遮挡处理。可采用灰色像素对各预设图像的上部分进行遮挡处理。
[0149]
同样地,可以对待识别图像执行与各个预设图像相同的像素遮挡处理。在目标对象为非机动车时,则像素遮挡处理的图像可如图8中所示。
[0150]
利用预先训练得到的识别模型提取像素遮挡处理后的待识别图像和各预设图像的特征信息。如此,识别模型在进行特征信息提取时,可以更加关注于目标对象相关的特征信息的处理,提升特征提取的精准性。
[0151]
在上述基础上可以基于评估模型得到的待识别图像的质量分值以及得到的待识别图像与各个预设图像之间的相似度,得到待识别图像的属性识别结果。
[0152]
本实施例中,将待识别图像的质量分值纳入考虑,可以适应性地基于待识别图像的质量优劣情况进行属性识别的判断标准调整。
[0153]
可选的,请参阅图9,在基于质量分值和相似度,得到属性识别结果的步骤中,可以通过以下方式实现:
[0154]
s2041,基于所述待识别图像的质量分值设置判别阈值。
[0155]
s2042,根据所述判别阈值和各所述相似度,得到所述待识别图像的属性识别结果。
[0156]
一般性地,图像质量越高的图像越容易被正确识别、图像质量越低的图像越容易被错误识别。因此,若对不同图像质量的图像均设置相同的判断标准,则其中图像质量较高的图像的召回率可能降低,图像质量较低的图像的准确率可能降低。
[0157]
因此,本实施例中,可以基于待识别图像的质量分值设置判别阈值,例如,质量分值较高则判别阈值可设置的较低,质量分值较低则判别阈值可设置的较高。
[0158]
在此基础上,基于设置的判别阈值与各个相似度,得到待识别图像的属性识别结果,也即,判定待识别图像中是否具有与各个预设图像相同的目标对象。
[0159]
本实施例中,基于图像的质量分值设置判别阈值,可适应性地基于图像质量情况调整判别的标准,可以提高高质量图像的召回率、低质量图像的判别准确性。
[0160]
详细地,在确定属性识别结果时,可将各相似度与判别阈值进行比较,若相似度小于判别阈值,则确定待识别图像不具有与该相似度对应的预设图像相同的目标对象。若相似度大于或等于判别阈值,则确定待识别图像具有与该相似度对应的预设图像相同的目标对象。
[0161]
本实施例所提供的图像识别方案,在目标重识别任务中引入图像质量识别任务,从而可以针对不同质量情况的图像适应性地调整属性识别的判别标准,从而提高高质量图像的识别召回率、低质量图像的识别准确性。
[0162]
在模型训练阶段,为了提高模型对低质量图像的学习力度,在模型每次迭代后基于得到的训练样本的特征信息得到质量分值,并基于质量分值调整训练样本的训练权重,从而不断提升识别模型的训练效果。
[0163]
在此基础上,引入可评估图像质量的评估模型,通过识别模型提取的特征信息计算得到的质量分值,对评估模型进行训练。通过识别模型和评估模型的交替迭代训练,起到相互促进提升的效果。使得训练得到的评估模型可用于后续的图像质量的评估判断。
[0164]
并且,对于识别模型提取的特征信息进行了pca降维处理,可以去除提取的噪声特征,提升识别效果。
[0165]
请参阅图10,为本技术实施例提供的电子设备的示例性组件示意图,该电子设备可为图1中所示的处理设备。该电子设备可包括存储介质110、处理器120、图像识别装置130及通信接口140。本实施例中,存储介质110 与处理器120均位于电子设备中且二者分离设置。然而,应当理解的是,存储介质110也可以是独立于电子设备之外,且可以由处理器120通过总线接口来访问。可替换地,存储介质110也可以集成到处理器120中,例如,可以是高速缓存和/或通用寄存器。
[0166]
图像识别装置130可以理解为上述电子设备,或电子设备的处理器120,也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述图像识别方法的软件功能模块。
[0167]
如图11所示,上述图像识别装置130可以包括信息获得模块131、分值获得模块132、计算模块133和结果获得模块134。下面分别对该图像识别装置130的各个功能模块的功能进行详细阐述。
[0168]
信息获得模块131,用于利用训练得到的识别模型获得待识别图像的特征信息;
[0169]
可以理解,该信息获得模块131可以用于执行上述步骤s201,关于该信息获得模块131的详细实现方式可以参照上述对步骤s201有关的内容。
[0170]
分值获得模块132,用于利用训练得到的评估模型获得所述待识别图像的质量分值;
[0171]
可以理解,该分值获得模块132可以用于执行上述步骤s202,关于该分值获得模块132的详细实现方式可以参照上述对步骤s202有关的内容。
[0172]
计算模块133,用于计算所述待识别图像的特征信息与多个预设图像中各所述预设图像的特征信息之间的相似度;
[0173]
可以理解,该计算模块133可以用于执行上述步骤s203,关于该计算模块133的详细实现方式可以参照上述对步骤s203有关的内容。
[0174]
结果获得模块134,用于基于得到的多个相似度获得所述待识别图像的重识别结果,并基于所述待识别图像的质量分值和各所述相似度,得到所述待识别图像的属性识别结果,所述属性识别结果表征所述待识别图像是否具有与各所述相似度对应的预设图像相同的目标对象。
[0175]
可以理解,该结果获得模块134可以用于执行上述步骤s204,关于该结果获得模块
134的详细实现方式可以参照上述对步骤s204有关的内容。
[0176]
在一种可能的实施方式中,所述图像识别装置130还包括训练模块,该训练模块用于:
[0177]
利用采集的多个训练样本对构建的第一网络模型进行训练,并获得所述第一网络模型得到的各所述训练样本的特征信息;
[0178]
基于多个训练样本的特征信息,计算得到各所述训练样本的质量分值;
[0179]
根据各所述训练样本的质量分值对各所述训练样本的训练权重进行调整后继续对所述第一网络模型进行训练,直至满足预设要求时,得到所述第一网络模型对应的识别模型。
[0180]
在一种可能的实施方式中,上述训练模块还可以用于:
[0181]
在所述第一网络模型训练迭代后,基于得到的各所述训练样本的质量分值并利用所述多个训练样本对构建的第二网络模型进行训练;
[0182]
在对各所述训练样本的训练权重进行调整并继续对所述第一网络模型训练得到更新的质量分值后,基于更新的质量分值对所述第二网络模型进行训练,直至满足预设要求时,得到所述第二网络模型对应的评估模型。
[0183]
在一种可能的实施方式中,上述训练模块具体可以用于:
[0184]
针对各所述训练样本,根据所述训练样本与所属相同类别的训练样本的特征信息计算得到类内距离,根据所述训练样本与所属不同类别的训练样本的特征信息计算得到类间距离;
[0185]
基于各所述训练样本的类内距离和类间距离,得到各所述训练样本的质量分值。
[0186]
在一种可能的实施方式中,所述图像识别装置130还可以包括降维模块,该降维模块可以用于:
[0187]
对所述待识别图像的特征信息进行降维处理,以得到设定维数的特征信息。
[0188]
在一种可能的实施方式中,上述计算模块133具体可以用于:
[0189]
确定各个预设图像中目标对象所在区域,对各所述预设图像的未包含目标对象的区域进行像素遮挡处理;
[0190]
对待识别图像执行与各所述预设图像相同区域的像素遮挡处理;
[0191]
利用训练得到的识别模型获得像素遮挡处理后的待识别图像和各个预设图像的特征信息。
[0192]
在一种可能的实施方式中,上述结果获取模块具体可以用于:
[0193]
基于所述待识别图像的质量分值设置判别阈值;
[0194]
根据所述判别阈值和各所述相似度,得到所述待识别图像的属性识别结果。
[0195]
在一种可能的实施方式中,上述结果获取模块具体可以用于:
[0196]
将各所述相似度与所述判别阈值进行比较,若所述相似度小于所述判别阈值,则确定所述待识别图像不具有与该相似度对应的预设图像相同的目标对象;
[0197]
若所述相似度大于或等于所述判别阈值,则确定所述待识别图像具有与该相似度对应的预设图像相同的目标对象。
[0198]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
[0199]
进一步地,本技术实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有机器可执行指令,机器可执行指令被执行时实现上述实施例提供的图像识别方法。
[0200]
具体地,该计算机可读存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该计算机可读存储介质上的计算机程序被运行时,能够执行上述图像识别方法。关于计算机可读存储介质中的及其可执行指令被运行时,所涉及的过程,可以参照上述方法实施例中的相关说明,这里不再详述。
[0201]
综上所述,本技术实施例提供的图像识别方法、装置、电子设备和可读存储介质,利用训练得到的识别模型获得待识别图像的特征信息,并利用训练得到的评估模型获得待识别图像的质量分值。再计算待识别图像的特征信息与多个预设图像中各预设图像的特征信息之间的相似度,基于得到的多个相似度获得待识别图像的重识别结果,并基于待识别图像的质量分值和各相似度,得到待识别图像的属性识别结果,该属性识别结果可表征待识别图像是否具有与各相似度对应的预设图像相同的目标对象。该方案,在属性识别结果确定过程中,将图像质量分值纳入考虑,可以适应性地基于图像分值进行属性识别结果的判断,提高属性识别结果的准确率和召回率。
[0202]
以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1