未知类别图像分类方法、装置、计算机设备及存储介质与流程

本发明实施例涉及图像识别领域，尤其涉及一种未知类别图像分类方法、装置、计算机设备及存储介质。

背景技术：

1、目前，基于监督学习的电力图像缺陷分类模型已经得到了广泛应用，然而，这类模型需要大规模有标签图像进行模型训练来学习特征提取能力，在电力设备缺陷识别场景中，为每一个缺陷类别采集足够的图像往往是不现实的，此外还需要投入大量的人力对采集的原始图像进行标注，训练好的模型在没有图像参与训练的类别上表现效果下滑，新的缺陷类别需要重新训练，不利于电力设备缺陷的及时识别，因此需要引入零样本学习实现对未知类别的准确快速识别。

2、零样本学习的任务是为未知类别(训练集中不包含该类别的样本)进行图像分类，这就需要中间特征在类别标签与图像之间建立联系，目前零样本学习领域常用的中间特征有属性向量、词向量等，属性向量是人类对类别图像的直观感受，效果往往比依赖于上下文信息得到的词向量好，然而属性标注过程需要大量人力投入和专家知识，限制了零样本学习在新数据集上的拓展。此外，受限于人类的认知局限，其标注的属性无法遍历视觉空间，因而图像中一些具有辨别性的特征无法被属性捕捉，导致零样本学习效果不佳。

技术实现思路

1、鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种未知类别图像分类方法、装置、计算机设备及存储介质。

2、第一方面，本发明实施例提供一种未知类别图像分类方法，包括：

3、基于已知类别的第一图像训练初始类别标签嵌入提取模型；

4、基于未知类别的第二图像对所述初始类别标签嵌入提取模型进行微调，得到微调后的第二类别标签嵌入提取模型；

5、获取待分类的第三图像，基于所述第二类别标签嵌入提取模型对所述第三图像进行分类，得到所述第三图像对应的图像类别。

6、在一个可能的实施方式中，所述方法还包括：

7、将所述第一图像分割成多个第一图像块；

8、将所述多个第一图像块输入至初始模型中，得到所述第一图像对应的第一已知类别标签嵌入；

9、基于所述第一已知类别标签嵌入对所述第一图像进行还原，得到还原后的第一图像。

10、在一个可能的实施方式中，所述方法还包括：

11、通过第一公式计算所述第一图像和所述还原后的第一图像的重构损失，所述重构损失采用均方误差计算，所述第一公式为：

12、

13、其中，lres表示均方误差，n表示图像中像素点个数，i表示其中一个像素点，xi表示第一图像的一个像素点，xi′表示还原后的第一图像的一个像素点；

14、基于所述均方误差通过第二公式计算训练所述初始模型的损失函数，所述第二公式为：

15、lc＝αlcls+βlres+γls

16、其中，α、β、γ分别表示各部分的重要程度，为超参数，lcls表示类别标签嵌入分类损失，lcls＝ce(y′x,yx)，yx为图像x的真实标签，分类标签y′x为函数fcls输出并使用交叉熵计算分类损失，ls表示将已知类别标签嵌入映射到语义空间的映射函数fs的目标函数，通过第三公式计算得到，所述第三公式为：

17、

18、其中，wvc表示类别c的词向量；

19、在所述损失函数lc符合预设条件时，将所述初始模型作为所述初始类别标签嵌入提取模型。

20、在一个可能的实施方式中，所述方法还包括：

21、将所述未知类别的第二图像分割成多个第二图像块；

22、将所述多个第二图像块和多个随机初始化可学习的提示向量输入到所述初始类别标签嵌入提取模型，得到所述第二图像对应的类别标签嵌入；

23、计算所述第二图像对应的类别标签嵌入与所述第一已知类别标签嵌入的第一相似度；

24、计算所述第二图像对应的类别标签嵌入对应的类别词向量与所述第一已知类别标签嵌入对应的词向量的第二相似度；

25、基于所述第一相似度和所述第二相似度以及第二图像与还原的第二图像的重构损失对所述初始类别标签嵌入提取模型进行微调，得到微调后的第二类别标签嵌入提取模型和更新后的提示向量。

26、在一个可能的实施方式中，所述方法还包括：

27、基于第四公式计算所述第一相似度和所述第二相似度之间的距离，所述第四公式为：

28、

29、其中，p为第一相似度，q为第二相似度，i表示一个像素点；

30、将lpt最小值作为损失值对所述初始类别标签嵌入提取模型进行微调，得到微调后的第二类别标签嵌入提取模型。

31、在一个可能的实施方式中，所述方法还包括：

32、将所述已知类别的第一图像重新输入至所述第二类别标签嵌入提取模型，得到每个已知类别对应的第二已知类别标签嵌入；

33、基于所述第二已知类别标签嵌入更新所述未知类别的第二图像对应的类别标签嵌入；

34、基于所述第二已知类别标签嵌入和更新后的未知类别的第二图像对应的类别标签嵌入更新原始类别标签嵌入数据库。

35、在一个可能的实施方式中，所述方法还包括：

36、将所述待分类的第三图像分割成多个第三图像块；

37、将所述多个第三图像块以及更新后的提示向量输入至所述第二类别标签嵌入提取模型，得到所述第三图像对应的第三类别标签嵌入；

38、将原始类别标签嵌入数据库中与所述第三类别标签嵌入的相似度最高的类别标签嵌入对应的图像类别作为所述第三图像对应的图像类别。

39、第二方面，本发明实施例提供一种未知类别图像分类装置，包括：

40、训练模块，用于基于已知类别的第一图像训练初始类别标签嵌入提取模型；

41、微调模块，用于基于未知类别的第二图像对所述初始类别标签嵌入提取模型进行微调，得到微调后的第二类别标签嵌入提取模型；

42、分类模块，用于获取待分类的第三图像，基于所述第二类别标签嵌入提取模型对所述第三图像进行分类，得到所述第三图像对应的图像类别。

43、第三方面，本发明实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的未知类别图像分类程序，以实现上述第一方面中所述的未知类别图像分类方法。

44、第四方面，本发明实施例提供一种存储介质，包括：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中所述的未知类别图像分类方法。

45、本发明实施例提供的未知类别图像分类方案，通过基于已知类别的第一图像训练初始类别标签嵌入提取模型；基于未知类别的第二图像对所述初始类别标签嵌入提取模型进行微调，得到微调后的第二类别标签嵌入提取模型；获取待分类的第三图像，基于所述第二类别标签嵌入提取模型对所述第三图像进行分类，得到所述第三图像对应的图像类别。相比于现有的零样本学习方法的图像属性标注需要人工标注和专家知识，限制了零样本学习在新数据集上的拓展，且标注的属性无法遍历视觉空间，图像中一些具有辨别性的特征无法被属性捕捉，导致零样本学习效果不佳的问题，由本方案，利用自监督的类别标签嵌入学习模型为已知类别标签学习类别嵌入，在该模型的基础上，利用未知类别图像进行微调后对未知类别标签嵌入进行聚类，然后计算已知类别标签与未知类别标签的语义相似度、已知类别标签嵌入与未知类别标签嵌入的相似度，从而确定聚类后未知类别表征与标签的对应关系，完成零样本学习任务，提升了未知类别的图像分类准确率，降低人工成本。