基于局部和全局邻居对齐的原型对比图像聚类方法及系统

本发明涉及机器学习和图像处理，具体为基于局部和全局邻居对齐的原型对比图像聚类方法及系统。

背景技术：

1、聚类作为数据挖掘和机器学习领域的一个核心任务，一直以来都受到广泛的关注和研究。随着信息时代的发展，我们面对着前所未有的大规模、多样化、高维度的数据。传统聚类算法，如k-means、层次聚类和谱聚类等，这些方法在处理高维数据、复杂分布或非线性可分数据时面临挑战。如，维度灾难。随着深度学习的发展，特别是卷积神经网络和自编码器在特征提取和表示学习方面取得的突破，研究人员开始探索将深度学习技术应用于聚类任务。

2、深度聚类通过深度神经网络学习数据的特征表示，能够从复杂数据中学习到抽象和非线性的特征，并以端到端的方式实现聚类，其性能很大程度上依赖于学习到的表示。对比学习由于其从未标注的数据中学习到具有判别性的特征表示而受到广泛关注，这类方法通常在现有论文moco[he k, fan h, wu y, et al. momentum contrast forunsupervised visual representation learning[c]//proceedings of the ieee/cvfconference on computer vision and pattern recognition. 2020: 9729-9738.]或simclr[chen t, kornblith s, norouzi m, et al. a simple framework forcontrastive learning of visual representations[c]//international conferenceon machine learning. pmlr, 2020: 1597-1607.]或simclr[chen t, kornblith s,norouzi m, et al. a simple framework for contrastive learning of visualrepresentations[c]//international conference on machine learning. pmlr, 2020:1597-1607.]的基础上结合特定的任务实现聚类，其损失函数通常由infonec或nt-xnet实现；虽然取得了不错的性能，但将同一样本的不同变换作为正样本对，其余样本视为负样本对的构造方式会导致类别冲突问题，即同一类的不同样本也视为负样本。

3、现有论文gdcl[zhao h, yang x, wang z, et al. graph debiasedcontrastive learning with joint representation clustering[c]//ijcai. 2021:3434-3440.], gcc[zhong h, wu j, chen c, et al. graph contrastive clustering[c]//proceedings of the ieee/cvf international conference on computer vision.2021: 9224-9233.], tcl[li y, yang m, peng d, et al. twin contrastive learningfor online clustering[j]. international journal of computer vision, 2022, 130(9): 2205-2221.]中，虽然通过纠正偏置缓解该冲突，但并没有从根本上解决类别冲突问题。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于局部和全局邻居对齐的原型对比图像聚类方法及系统，解决了上述背景技术中提出的问题。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、第一方面，提供了一种基于局部和全局邻居对齐的原型对比图像聚类方法，包括以下步骤：

6、步骤s1、接收原始图像数据集；

7、步骤s2、通过预设的目标网络的特征提取模块对原始图像数据集进行特征提取，获取特征；

8、步骤s3、在特征上执行k-means初始化聚类中心，并获取聚类分配概率；

9、步骤s4、对原始图像数据集进行小批次训练，随机选取未经过训练的小批次数据集并将其分别经过不同的变换和，得到变换后的数据集，其中，，和分别为弱变换和强变换，为变换集合；

10、步骤s5、通过在线网络特征提取模块和目标网络特征提取模块对变换后的数据集分别进行特征提取获取特征；

11、步骤s6、通过聚类分配概率和特征的原型，并计算原型对比损失；

12、步骤s7、分别在特征和全部特征上挖掘邻近样本特征，获取每个特征的局部邻居,和全局邻居,，并将邻居特征输入至在线网络的预测模块中获取局部预测特征；

13、步骤s8、分别将一个变换的特征与另一个变换的局部和全局预测特征对齐，计算邻居对齐损失；

14、步骤s9、和邻居对齐损失构成的损失通过反向传播更新网络权重，返回所述步骤s4直到训练整个图像数据集，并得到整个数据集的特征并更新全局邻居,；

15、步骤s10、返回所述步骤s2，直到满足最大迭代次数或网络收敛，并计算最终的聚类结果。

16、优选的，所述目标网络的特征提取模块由resnet和mlp网络作为主干，resnet输出维度为512，mlp为两层，维度为512-4096-256。

17、优选的，所述在特征上执行k-means初始化聚类中心，并获取聚类分配概率

18、通过在特征-means初始化聚类中心，聚类分配概率通过学生t-分布获得：

19、

20、其中，表示目标网络提取的第i个样本的特征，表示第个簇心，为学生t-分布的自由度，表示第i个样本属于第个类的概率。

21、优选的，所述弱变换为随机裁剪与缩放，随机水平翻转，随机亮度、对比度、饱和度、色调变换和随机灰度变换；

22、强变换包括包含随机水平翻转、随机裁剪，并从归一化对比度、均衡直方图、旋转、反转、增强色彩平衡、调整对比度、调整亮度、调整清晰度、仿射变换、减少每个颜色通道位数中选择四个组成。

23、优选的，在线网络由特征提取模块和预测模块构成，维度为512-4096-256-4096-256，而目标网络由特征提取模块构成，在线网络的特征提取模块与目标网络的特征提取模块结构相同权重不同。

24、优选的，所述原型对比损失定义为：

25、

26、其中，为类别个数，表示分别不同变换后的第k个原型，温度参数用于控制特征表示的尺度，原型通过小批量特征计算：

27、

28、

29、其中，为每次获取小批量数据，表示第i个样本属于第个类的概率，表示在线网络提取的第i个样本的弱变换特征，表示目标网络提取的第i个样本的强变换特征。

30、优选的，所述邻居对齐损失由局部邻居对齐损失和全局邻居对齐损失构成：

31、

32、

33、

34、其中，表示在线网络提取的小批次数据的弱变换特征，表示目标网络提取的小批次数据的强变换特征，分别表示获取局部和全局邻居，表示在线网络的预测模块。

35、优选的，所述损失定义为：

36、

37、其中，表示邻居对齐损失，表示原型对比损失，为平衡系数；

38、在线网络参数通过损失函数反向传播进行更新，目标网络参数通过动量和在线网络参数以移动平均策略更新：

39、。

40、第二方面，一种基于局部和全局邻居对齐的原型对比图像聚类系统，包括以下模块：

41、接收模块，被配置为接收原始图像数据集；

42、特征提取模块一，被配置为通过预设的目标网络的特征提取模块对原始图像数据集进行特征提取，获取特征；

43、聚类分配模块，被配置为在特征上执行k-means初始化聚类中心，并获取聚类分配概率；

44、训练模块，被配置为对原始图像数据集进行小批次训练，随机选取未经过训练的小批次数据集并将其分别经过不同的变换和，其中，，和分别为弱变换和强变换，为变换集合；

45、特征提取模块二，被配置为通过在线网络特征提取模块和目标网络特征提取模块对变换后的数据集分别进行特征提取获取特征

46、原型对比模块，被配置为通过聚类分配概率和特征计算每个批次变换后的数据集的原型，并计算原型对比损失；

47、预测模块，被配置为分别在特征和全部特征上挖掘邻近样本特征，获取每个特征的局部邻居,和全局邻居,，并将邻居特征输入至在线网络的预测模块中获取局部预测特征；

48、邻居对齐模块，被配置为分别将一个变换的特征与另一个变换的局部和全局预测特征对齐，计算邻居对齐损失

49、更新模块，被配置为原型对比损失和邻居对齐损失通过反向传播更新网络权重，直到训练整个原始图像数据集，并得到整个数据集的特征并更新全局邻居,。

50、第三方面，提供了一种计算设备，包括：

51、一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行第一方面的方法中的指令。

52、（三）有益效果

53、通过原型对比的方式将相同类的不同变换视为正样本对，其余类视为负样本对，不仅避免了对比学习中类别冲突的问题，而且使得不同类在空间中均匀分布；将同一样本不同变换的邻居和同类样本相同或不同变换的邻居视为正样本对并对齐，使得类内部分布变得紧凑；基于局部和全局邻居对齐策略可以获得更丰富的语义信息。