图像分类方法和设备与流程

本技术涉及图像处理，尤其涉及一种图像分类方法和设备。

背景技术：

1、随着图像处理技术的不断发展，图像处理技术被广泛用来解决各种问题，例如，通过图像处理技术实现图像分类。

2、现有技术中，可以图像本身进行分类处理，以得到图像的类别。

3、但上述方式中，仅通过对图像本身进行处理，以得到图像的类别，这样的方式由于所获取到的信息不足，导致分类结果并不准确；进而，导致图像类别判断错误，进而影响图像分类的准确性。

技术实现思路

1、本技术提供一种图像分类方法和设备，用以解决的问题。

2、第一方面，本技术提供一种图像分类方法，所述方法包括：

3、获取待分类图像和所述待分类图像的至少一个图像信息；其中，所述图像信息中包括描述文本，所述描述文本表征对图像的描述的文本内容；

4、根据所述待分类图像和所述至少一个图像信息，确定所述待分类图像的特征描述向量，其中，所述特征描述向量中包括至少一个细节描述信息，所述细节描述信息表征待分类图像的细节内容；

5、根据所述待分类图像和所述特征描述向量，确定并输出所述待分类图像的图像类别。

6、一个示例中，根据所述待分类图像和所述至少一个图像信息，确定所述待分类图像的特征描述向量，包括：

7、根据所述待分类图像和所述图像信息，生成与所述图像信息对应的扩展描述信息集合；其中，所述扩展描述信息集合包括至少一个扩展描述文本，所述扩展描述文本表征针对图像信息所描述的文本内容的细节属性；

8、根据各所述扩展描述信息集合，确定所述特征描述向量。

9、一个示例中，根据各所述扩展描述信息集合，确定所述特征描述向量，包括：

10、对所述扩展描述信息集合进行编码处理，得到所述扩展描述信息集合对应的特征矩阵集合；其中，所述特征矩阵集合中包括与扩展描述信息集合中的每一扩展描述文本对应的描述特征矩阵，所述描述特征矩阵用于表征扩展描述文本；

11、根据各所述特征矩阵集合，确定所述特征描述向量。

12、一个示例中，根据各所述特征矩阵集合，确定所述特征描述向量，包括：

13、基于预设的自注意力模型，对所述特征矩阵集合进行拟合处理，得到与所述特征矩阵集合对应的自注意力矩阵；其中，所述自注意力矩阵表征针对图像信息所描述的文本内容的细节属性；

14、根据所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵，确定所述特征描述向量中与特征矩阵集合对应的细节描述信息。

15、一个示例中，根据所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵，确定所述特征描述向量中与特征矩阵集合对应的细节描述信息，包括：

16、根据预设超参数，对所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵进行处理，得到与所述特征矩阵集合对应的拟合矩阵集合；其中，所述拟合矩阵集合包括与特征矩阵集合中的描述特征矩阵对应的拟合矩阵；所述拟合矩阵表征针对图像信息所描述的文本内容的细节属性；

17、对与所述特征矩阵集合对应的拟合矩阵集合中的各拟合矩阵进行均值计算处理，得到所述特征描述向量中与特征矩阵集合对应的细节描述信息。

18、一个示例中，所述拟合矩阵集合中第i个拟合矩阵为mi＝β·n+(1-β)ki；其中，β为所述预设超参数，ki为所述特征矩阵集合中的第i个描述特征矩阵，n为与特征矩阵集合对应的自注意力矩阵；i为大于或者等于1的正整数。

19、一个示例中，根据各所述特征矩阵集合，确定所述特征描述向量，包括：

20、对所述特征矩阵集合进行聚类处理，以剔除所述特征矩阵集合中的离散的描述特征矩阵，得到处理之后的特征矩阵集合；

21、基于预设的自注意力模型，对所述处理之后的特征矩阵集合进行拟合处理，得到所述特征描述向量中与特征矩阵集合对应的细节描述信息。

22、一个示例中，所述图像信息中还包括至少一个问题信息，所述问题信息表征针对图像信息中的描述文本的问题；

23、根据所述待分类图像和所述图像信息，生成与所述图像信息对应的扩展描述信息集合，包括：

24、基于预设模型对所述待分类图像进行识别，得到图像识别信息；其中，所述图像识别信息表征待分类图像的特征；

25、基于预设模型对图像识别信息对所述图像信息中的问题信息进行处理，得到与所述图像信息中的问题信息对应的回复文本；

26、基于所述问题信息中的描述文本和各所述回复文本，生成与所述图像信息对应的扩展描述信息集合。

27、一个示例中，根据所述待分类图像和所述图像信息，生成与所述图像信息对应的扩展描述信息集合，包括：

28、对所述图像信息中的描述文本进行特征提取处理，得到与所述图像信息对应的关键特征信息；其中，所述关键特征信息表征描述文本的关键词；

29、对与所述图像信息对应的关键特征信息进行文本拓展处理，得到与所述图像信息对应的扩展描述信息集合。

30、一个示例中，对与所述图像信息对应的关键特征信息进行文本拓展处理，得到与所述图像信息对应的扩展描述信息集合，包括：

31、从预设数据库中提取与所述图像信息对应的关键特征信息所匹配的文本；其中，所述预设数据库中包括多个文本；

32、根据所述图像信息中的描述文本和所匹配到的文本，生成与所述图像信息对应的扩展描述信息集合。

33、一个示例中，根据所述待分类图像和所述特征描述向量，确定并输出所述待分类图像的图像类别，包括：

34、对所述待分类图像进行特征提取处理，得到图像特征向量；

35、根据所述图像特征向量和所述特征描述向量，确定并输出所述待分类图像的图像类别。

36、一个示例中，根据所述图像特征向量和所述特征描述向量，确定并输出所述待分类图像的图像类别，包括：

37、针对所述特征描述向量中的每一细节描述信息，对所述图像特征向量和该细节描述信息进行相似度计算处理，得到与该细节描述信息对应的相似度信息；所述相似度信息表征图像特征向量与细节描述信息之间的相似度；

38、根据各所述相似度信息，确定并输出所述待分类图像的图像类别。

39、一个示例中，所述细节描述信息具有类别标签；根据各所述相似度信息，确定并输出所述待分类图像的图像类别，包括：

40、对各所述相似度信息进行归一化处理，得到各归一化后的相似度信息；

41、确定各归一化后的相似度信息中的最大值，并确定该最大值对应的细节描述信息所归属的类别标签，为所述待分类图像的图像类别；并输出所述待分类图像的图像类别。

42、第二方面，本技术提供一种装置，所述装置包括：

43、获取单元，用于获取待分类图像和所述待分类图像的至少一个图像信息；其中，所述图像信息中包括描述文本，所述描述文本表征对图像的描述的文本内容；

44、确定单元，用于根据所述待分类图像和所述至少一个图像信息，确定所述待分类图像的特征描述向量，其中，所述特征描述向量中包括至少一个细节描述信息，所述细节描述信息表征待分类图像的细节内容；

45、输出单元，用于根据所述待分类图像和所述特征描述向量，确定并输出所述待分类图像的图像类别。

46、一个示例中，所述确定单元，包括：

47、生成子单元，用于根据所述待分类图像和所述图像信息，生成与所述图像信息对应的扩展描述信息集合；其中，所述扩展描述信息集合包括至少一个扩展描述文本，所述扩展描述文本表征针对图像信息所描述的文本内容的细节属性；

48、确定子单元，用于根据各所述扩展描述信息集合，确定所述特征描述向量。

49、一个示例中，所述确定子单元，包括：

50、编码模块，用于对所述扩展描述信息集合进行编码处理，得到所述扩展描述信息集合对应的特征矩阵集合；其中，所述特征矩阵集合中包括与扩展描述信息集合中的每一扩展描述文本对应的描述特征矩阵，所述描述特征矩阵用于表征扩展描述文本；

51、确定模块，用于根据各所述特征矩阵集合，确定所述特征描述向量。

52、一个示例中，所述确定模块，包括：

53、第一拟合子模块，用于基于预设的自注意力模型，对所述特征矩阵集合进行拟合处理，得到与所述特征矩阵集合对应的自注意力矩阵；其中，所述自注意力矩阵表征针对图像信息所描述的文本内容的细节属性；

54、确定子模块，用于根据所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵，确定所述特征描述向量中与特征矩阵集合对应的细节描述信息。

55、一个示例中，所述确定子模块，具体用于：

56、根据预设超参数，对所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵进行处理，得到与所述特征矩阵集合对应的拟合矩阵集合；其中，所述拟合矩阵集合包括与特征矩阵集合中的描述特征矩阵对应的拟合矩阵；所述拟合矩阵表征针对图像信息所描述的文本内容的细节属性；

57、对与所述特征矩阵集合对应的拟合矩阵集合中的各拟合矩阵进行均值计算处理，得到所述特征描述向量中与特征矩阵集合对应的细节描述信息。

58、一个示例中，所述拟合矩阵集合中第i个拟合矩阵为mi＝β·n+(1-β)ki；其中，β为所述预设超参数，ki为所述特征矩阵集合中的第i个描述特征矩阵，n为与特征矩阵集合对应的自注意力矩阵；i为大于或者等于1的正整数。

59、一个示例中，所述确定模块，包括：

60、处理子模块，用于对所述特征矩阵集合进行聚类处理，以剔除所述特征矩阵集合中的离散的描述特征矩阵，得到处理之后的特征矩阵集合；

61、第二拟合子模块，用于基于预设的自注意力模型，对所述处理之后的特征矩阵集合进行拟合处理，得到所述特征描述向量中与特征矩阵集合对应的细节描述信息。

62、一个示例中，所述图像信息中还包括至少一个问题信息，所述问题信息表征针对图像信息中的描述文本的问题；

63、所述生成子单元，包括：

64、识别模块，用于基于预设模型对所述待分类图像进行识别，得到图像识别信息；其中，所述图像识别信息表征待分类图像的特征；

65、第一处理模块，用于基于预设模型对图像识别信息对所述图像信息中的问题信息进行处理，得到与所述图像信息中的问题信息对应的回复文本；

66、生成模块，用于基于所述问题信息中的描述文本和各所述回复文本，生成与所述图像信息对应的扩展描述信息集合。

67、一个示例中，所述生成子单元，包括：

68、提取模块，用于对所述图像信息中的描述文本进行特征提取处理，得到与所述图像信息对应的关键特征信息；其中，所述关键特征信息表征描述文本的关键词；

69、拓展模块，用于对与所述图像信息对应的关键特征信息进行文本拓展处理，得到与所述图像信息对应的扩展描述信息集合。

70、一个示例中，所述拓展模块，包括：

71、提取子模块，用于从预设数据库中提取与所述图像信息对应的关键特征信息所匹配的文本；其中，所述预设数据库中包括多个文本；

72、生成子模块，用于根据所述图像信息中的描述文本和所匹配到的文本，生成与所述图像信息对应的扩展描述信息集合。

73、一个示例中，所述输出单元，包括：

74、处理子单元，用于对所述待分类图像进行特征提取处理，得到图像特征向量；

75、输出子单元，用于根据所述图像特征向量和所述特征描述向量，确定并输出所述待分类图像的图像类别。

76、一个示例中，所述输出子单元，包括：

77、第二处理模块，用于针对所述特征描述向量中的每一细节描述信息，对所述图像特征向量和该细节描述信息进行相似度计算处理，得到与该细节描述信息对应的相似度信息；所述相似度信息表征图像特征向量与细节描述信息之间的相似度；

78、输出模块，用于根据各所述相似度信息，确定并输出所述待分类图像的图像类别。

79、一个示例中，所述细节描述信息具有类别标签；所述输出模块，包括：

80、第二处理子模块，用于对各所述相似度信息进行归一化处理，得到各归一化后的相似度信息；

81、输出子模块，用于确定各归一化后的相似度信息中的最大值，并确定该最大值对应的细节描述信息所归属的类别标签，为所述待分类图像的图像类别；并输出所述待分类图像的图像类别。

82、第三方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

83、所述存储器存储计算机执行指令；

84、所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面所述的方法。

85、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。

86、第五方面，本技术提供一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序，使得电子设备执行第一方面所述的方法。

87、本技术提供的图像分类方法和设备，通过基于图像的原描述，生成图像的细节描述的信息，对图像的细节描述的信息和图像进行处理，输出图像的类别；进而，提高图像分类的准确性。