一种基于特征簇中心压缩的图像分类方法

本发明属于人工智能的图像分类领域，特别是涉及一种基于特征簇中心压缩的图像分类方法。

背景技术：

1、卷积神经网络在图像分类领域取得了重要的成果，这离不开高质量且平衡的训练数据，然而在真实场景下收集到的数据集往往展现出不平衡的分布状态，即少数类别有着丰富的样本量（多数类），而大多数类别存在很少的样本量（少数类）。在这种不平衡的数据集下训练的模型会对样本量丰富的类别为（多数类）展现出偏差，导致分类结果有着较高的错误率。

2、为了缓解这种数据集给模型造成的恶化现象，目前主流方法是基于类别重平衡策略，包括重采样和重加权。其中重采样方法致力于采样层面，通过利用上采样或下采样的采样策略，创造出一个相较平衡的训练数据；重加权的方法致力于损失函数层面，通过为样本量少的类别分配更高的权重，迫使模型在反向传播的过程中更关注这些类别。这类方法有效的缓解了样本量丰富的类别对模型的主导性，从而产生相对更准确的分类决策，但是由于原本数据集是不平衡的，通过过度的参数化操作，网络很容易拟合这种合成分布，尤其对样本量少的类别，因此该类方法面临着过拟合现象的风险。为了克服这种风险，有学者提出多专家的方法致力于模型的层面，将数据集分为三种类别，多数类（样本量丰富的类别），中间类（样本量适中的类别），少数类（样本量极少的类别），利用三个模型分别学习这三种类别的数据，然后再通过三个模型之间的相互学习，使得网络能够学习到每一类别的知识，从而提高分类性能，然而该方法需要较大的计算资源。

技术实现思路

1、本发明的目的是提供一种基于特征簇中心压缩的图像分类方法，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种基于特征簇中心压缩的图像分类方法，包括：

3、基于原始的不平衡数据集获取多种类别的原始特征簇并按类别进行扩张，获得对应的扩张特征簇；

4、基于所述扩张特征簇训练骨干网络与分类器；

5、将原始特征簇移动过程与知识蒸馏机制集成，结合训练后的骨干网络与分类器获得教师模型；

6、构建学生模型与联合损失函数，通过采样器为所述学生模型训练新的骨干网络，基于联合损失函数与所述教师模型对学生模型进行迭代训练，采用训练完成后的学生模型进行图像分类。

7、可选的，获得所述扩张特征簇的过程包括：预设扩张因子，将多种类别的原始特征簇中的原始主干特征分别与所述扩张因子相乘，建立线性扩张关系，获得扩张特征簇。

8、可选的，扩张因子的预设过程包括：设定初始扩张因子，基于等差扩展策略与初始扩张因子，分别获得每个类别的扩张因子，等差扩展策略如下：

9、

10、式中，是缩放超参数，是类别总数，是类的索引。

11、可选的，原始特征簇移动过程包括：通过引入标签获得每一类别的压缩索引、计算原始特征簇的质心点，获得质心点向量，基于所述质心点向量与对应的扩张因子进行原始特征簇移动，使得中心点与对应扩张特征簇的中心重合。

12、可选的，所述采样器在训练的迭代过程中依照预设采样策略减少多数类的采样概率并增加少数类的采样概率，直至趋于均匀。

13、可选的，预设采样策略如下：

14、

15、其中是最大迭代次数，是迭代轮次的索引，是类别的总数，是类别索引，是第类的样本数，是样本的总数。

16、可选的，将最小化散度损失与类平衡交叉熵损失求和获得所述联合损失函数。

17、可选的，所述最小化散度损失为：

18、

19、其中是蒸馏温度参数，是类别的总数，和表示来自教师和学生模型的个样本在温度参数的作用下的预测概率。

20、可选的，所述类平衡交叉熵损失如下：

21、

22、其中  是原始交叉熵损失函数。

23、本发明的技术效果为：

24、本发明从特征层面来解决不平衡数据集的图像分类问题，具体而言，在这类数据集特征映射过程中，决策边界和特征簇之间独特相互作用关系这个新角度解决该问题；引入了一个简单有效的两阶段训练框架，在该框架中，本发明提出了一个特征簇中心压缩(f3c)方法来增加特征簇与决策边界之间的可用空间，为困难样本点提供更大的容错区域。在图像分类领域中，通过应用当前主流的公开不平衡数据集与其他方法进行广泛的比对实验，验证了本发明的有效性和先进性。

技术特征：

1.一种基于特征簇中心压缩的图像分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于特征簇中心压缩的图像分类方法，其特征在于，

3.根据权利要求2所述的基于特征簇中心压缩的图像分类方法，其特征在于，

4.根据权利要求1所述的基于特征簇中心压缩的图像分类方法，其特征在于，

5.根据权利要求1所述的基于特征簇中心压缩的图像分类方法，其特征在于，

6.根据权利要求5所述的基于特征簇中心压缩的图像分类方法，其特征在于，

7.根据权利要求1所述的基于特征簇中心压缩的图像分类方法，其特征在于，

8.根据权利要求7所述的基于特征簇中心压缩的图像分类方法，其特征在于，

9.根据权利要求7所述的基于特征簇中心压缩的图像分类方法，其特征在于，

技术总结
本发明公开了一种基于特征簇中心压缩的图像分类方法，属于人工智能的图像分类领域，包括：获取多种类别的原始特征簇并按类别进行扩张，获得对应的扩张特征簇；基于扩张特征簇训练骨干网络与分类器；将原始特征簇移动过程与知识蒸馏机制集成，结合训练后的骨干网络与分类器获得教师模型；构建学生模型与联合损失函数，通过采样器为学生模型训练新的骨干网络，基于联合损失函数与教师模型对学生模型进行迭代训练，采用训练完成后的学生模型进行图像分类。本发明引入两阶段训练框架，并在在框架中提出一个特征簇中心压缩方法来增加特征簇与决策边界之间的可用空间，为困难样本点提供更大的容错区域，从特征层面来解决不平衡数据集的图像分类问题。

技术研发人员：徐昊,王静文,李健,吴涵,周琦
受保护的技术使用者：吉林大学
技术研发日：
技术公布日：2024/1/15