一种基于图结构的图像对比聚类方法及系统

本发明涉及机器学习和图像处理，具体为一种基于图结构的图像对比聚类方法及系统。

背景技术：

1、图像对比聚类是一种结合了对比学习和聚类算法的技术，通过对比学习方法，在未标记的图像数据集中识别相似和不同的模式，无需依赖于人工标注。并应用聚类算法将图像分组到不同的簇中，使得同一簇内的图像在某种程度上是相似的，而不同的簇的图像存在一定差异。这种方法在医学成像、卫星图像分析和社交媒体内容分类等多个领域都有广泛应用。

2、图结构数据，如属性图，除了节点的特征信息外，还包含了相邻节点之间边构成的结构信息，而图像数据集通常只包含图像的特征信息，大多数图像聚类算法仅仅考虑图像内在的特征信息，而无法有效的融合图像之间的结构信息。此外，对比学习方法将同一个图像的不同变换视为正样本对，而其余图像视为负样本对，即使是同一类的样本，从而导致聚类的偏差。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于图结构的图像对比聚类方法及系统，旨在解决上述背景技术中提出的问题。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、第一方面，提供了一种基于图结构的图像对比聚类方法，其特征在于，包括：

6、获取原始图像数据集，并对原始图像数据集进行两种变换，分别得到两个变换后的数据集；其中，两种变换包括，弱变换和强变换，，为变换集合；

7、将原始图像数据集和变换后的数据集输入到特征提取网络，分别获取原始图像数据集和两个变换后的数据集的特征；

8、将原始图像数据集特征和两个变换后的数据集的特征输入到对比网络，分别获取原始图像数据集和两个变换后的数据集的对比特征；

9、将对比特征，通过损失函数计算实例对比损失；

10、在对比特征上挖掘邻近图像，获取并更新每个样本的邻居；

11、利用邻居构建邻接矩阵，并加上不同的随机掩码，获得两种邻接矩阵;

12、利用特征和邻接矩阵a,，构建图结构数据；

13、将图结构数据输入到图神经网络聚合特征与其邻居特征，并获聚类分配；

14、利用聚类分配，通过损失函数计算簇级对比损失；

15、利用损失函数,计算最终损失函数l，并通过深度神经网络的反向传播机制共同优化特征提取网络、对比网络和图卷积神经网络；

16、重复上述步骤，直到满足迭代次数或网络收敛，得到并输出最终的聚类分组结果。

17、优选的，原始图像用于邻居挖掘和获取最终的聚类结果。

18、优选的，所述弱变换为随机裁剪与缩放，随机水平翻转，随机亮度、对比度、饱和度、色调变换和随机灰度变换。

19、优选的，所述强变换除了包括随机水平翻转、随机裁剪外，并从归一化对比度、均衡直方图、旋转、反转、增强色彩平衡、调整对比度、调整亮度、调整清晰度、仿射变换、减少每个颜色通道位数中随机选择四个组成。

20、优选的，所述邻接矩阵为添加自环的双向图：

21、

22、其中，和分别表示不同样本对比特征的索引，表示获取邻居，随机掩码以10%的概率随机删除相邻节点之间的边。

23、优选的，所述图神经网络为一层图卷积网络和一层全连接网络构成，输出维度为k，k表示数据包含的类别数。

24、优选的，所述损失函数l定义为：

25、

26、其中，表示实例对比损失，表示簇级对比损失，表示平衡系数。

27、第二方面，提供了一种基于图结构的图像对比聚类系统，其特征在于，包括：

28、获取模块，用于获取原始图像数据集，并对原始图像数据集进行两种变换，分别得到两个变换后的数据集；其中，两种变换包括弱变换和强变换，，为变换集合；

29、特征提取模块，用于将原始图像数据集和两个变换后的数据集输入到特征提取网络，分别获取原始图像数据集和两个变换后的数据集的特征；

30、对比特征提取模块，用于将原始图像数据集和两个变换后的数据集的特征输入到对比网络，获取原始图像数据集和两个对比特征；

31、实例对比模块，用于将对比特征，通过损失函数计算实例对比损失

32、更新模块，用于在对比特征上挖掘邻近图像，获取并更新每个样本的邻居；

33、处理模块，用于利用邻居构建邻接矩阵，并加上不同的随机掩码，获得两种邻接矩阵;

34、构建模块，用于利用特征和邻接矩阵，构建图结构数据；

35、聚类模块，用于将图结构数据输入到图神经网络聚合特征与其邻居特征，并获聚类分配；

36、簇级对比模块，用于利用聚类分配，通过损失函数计算簇级对比损失

37、优化模块，用于利用损失函数,计算最终损失函数l，并通过深度神经网络的反向传播机制共同优化特征提取网络、对比网络和图神经网络。

38、第三方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行第一方面的方法。

39、第四方面，提供了一种计算设备，包括：

40、一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行第一方面的的方法中的指令。

41、（三）有益效果

42、（1）本发明一种基于图结构的图像对比聚类方法及系统，解决了图像数据集通常只包含图像内在的特征信息，而无法有效融合图像之间的结构信息的问题。

43、（2）本发明一种基于图结构的图像对比聚类方法及系统，解决了对比学习方法将同一个图像的不同变换视为正样本对，而其余图像视为负样本对，即使是同一类的样本，从而导致聚类的偏差。

技术特征：

1.一种基于图结构的图像对比聚类方法，其特征在于，包括：

2.根据权利要求1所述的一种基于图结构的图像对比聚类方法，其特征在于：原始图像用于邻居挖掘和获取最终的聚类结果。

3.根据权利要求2所述的一种基于图结构的图像对比聚类方法，其特征在于：所述弱变换为随机裁剪与缩放，随机水平翻转，随机亮度、对比度、饱和度、色调变换和随机灰度变换。

4.根据权利要求3所述的一种基于图结构的图像对比聚类方法，其特征在于：所述强变换除了包括随机水平翻转、随机裁剪外，并从归一化对比度、均衡直方图、旋转、反转、增强色彩平衡、调整对比度、调整亮度、调整清晰度、仿射变换、减少每个颜色通道位数中随机选择四个组成。

5.根据权利要求1所述的一种基于图结构的图像对比聚类方法，其特征在于：所述邻接矩阵为添加自环的双向图：

6.根据权利要求5所述的一种基于图结构的图像对比聚类方法，其特征在于：所述图神经网络为一层图卷积网络和一层全连接网络构成，输出维度为k，k表示数据包含的类别数。

7.根据权利要求6所述的一种基于图结构的图像对比聚类方法，其特征在于：所述损失函数l定义为：

8.一种基于图结构的图像对比聚类系统，其特征在于，包括：

9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-7所述的方法中的任一方法。

10.一种基于图结构的图像对比聚类方法的计算设备，其特征在于，包括：

技术总结
本发明提供一种基于图结构的图像对比聚类方法及系统，涉及机器学习和图像处理领域。该方法包含以下步骤，获取原始图像数据集，对原始图像数据集进行两种不同的变换，分获取变换后的数据集的特征和对比特征，计算实例级对比损失，获取并更新每个样本的邻居，获取邻接矩阵并加上不同的随机掩码，构建图结构数据，输入到图神经网络聚合特征与其邻居特征，并获得聚类分配，计算簇级对比损失，通过实例级对比损失和簇级对比损失优化特征提取网络、对比网络和图卷积神经网络，重复上述步骤，直到满足迭代次数，输出聚类分组结果；本发明方法不仅能获取图像的语义信息，也能有效挖掘图像数据之间的结构信息。

技术研发人员：董仕豪,郑钰辉,程鑫,张家伟,张国庆,王金伟
受保护的技术使用者：南京信息工程大学
技术研发日：
技术公布日：2024/4/29