组织病理学图像分类的自适应颜色空间选择模型训练方法

本发明涉及深度学习图像分类领域，尤其涉及组织病理学图像分类的自适应颜色空间选择模型训练方法。

背景技术：

1、图像分类是图像分析领域的核心问题之一，与传统的手动提取图像特征用于图像分类的机器学习方法相比，深度学习方法能够自动提取图像特征，并且具有准确率高、泛化能力强等优点，成为近年来计算机视觉领域研究所使用的主流方法。其中卷积神经网络模型是图像分类问题中广泛使用的一类模型，这类模型主要使用卷积核来提取输入图像的空间结构性特征以及其他图像信息，例如纹理特征与颜色特征。

2、对于图像的颜色特征而言，由于图像通常以rgb色彩模式存储在硬件设备中，因此深度学习模型大多以该模式下的图像作为输入。然而rgb颜色空间中像素点的距离与感知上的颜色区别弱相关，这使得rgb颜色空间图像并不适合用于进行颜色转换以及其他科学研究，并且对于深度学习模型而言，rgb往往不是最优的颜色空间选择。有许多其他常用的颜色空间，例如：lab、hsv、yuv等，在许多图像分析领域具有更优异的表现。此外，有效地结合多种颜色空间的图像信息进行分类往往能够得到更好的分类结果。

3、此外，在组织病理学图像中，由于需要使用染色剂使不同的组织结构呈现出颜色差异，因此针对这种类型图像的识别容易受到所使用的颜色空间的影响。并且在rgb颜色空间中难以对组织病理学图像进行染色分离，从而使组织病理学图像的结构差异不明显。

技术实现思路

1、本发明的目的在于提供组织病理学图像分类的自适应颜色空间选择模型训练方法。

2、本发明采用的技术方案是：

3、组织病理学图像分类的自适应颜色空间选择模型训练方法，其包括以下步骤：

4、(1)使用自适应颜色空间选择模型进行颜色空间选择：

5、s1、确定待选择的n种颜色空间，分别记为c1,c2,…,cb。建立自适应颜色空间选择模型，称为模型1，模型1主要包括用于特征提取的卷积模块和输出分类结果的1×1输出卷积层。其中卷积模块和1×1输出卷积层全部使用组卷积，分组个数为n，不同组之间不进行通道交互。

6、s2、获取用于训练模型的组织病理学图像数据集，设数据集共有m个分类类别，记为k1,k2,…,km。在步骤s1中的1×1输出卷积层中，输出维度为n×m，即每组卷积都有m个输出，这m个输出分别对应m个类别的输出值。1×1输出卷积层的输出记为ki,j(其中1≤i≤n,1≤j≤m，表示输出卷积层中的第i个分组的第j个输出)。

7、s3、在将组织病理学图像送入模型1训练之前，将图像转换到步骤s1中的n种颜色空间中，从而分别得到在n种颜色空间中的图像。之后将这n种颜色空间图像分别对应送入自适应颜色空间选择模型的n个分组中，即将每种颜色空间图像作为组卷积中一组的输入。

8、s4、对模型的输出ki,j乘上可学习的权重参数矩阵s，其中矩阵s的大小为n×m。将输出卷积层的输出ki,j与矩阵s中的元素si,j进行对应元素相乘，之后得到的网络输出为(ks)i,j。

9、s5、将模型的输出(ks)i,j与颜色空间权重向量w＝[w1,w2,…,wn]t按行相乘，其中向量w中元素为可通过反向传播进行优化的参数，得到(ks)u,jwi。通过计算

10、

11、可以得到类别输出概率y＝[y1,y2,…,ym]。

12、s6、在1×1输出卷积层上添加一个自适应权重模块，该模块将所有颜色空间图像的特征图经过全局平均池化后的输出作为输入，输出大小为m，设这m个元素为aj(1≤j≤m)，分别表示m个类别的输出值。之后将步骤s4的输出与自适应权重模块的输出进行对应元素相乘得到最终的输出y′＝[y1a1,y2a2,…,ymam]。

13、s7、选择交叉熵损失函数计算输出y′与真实图像标签的误差值，之后对模型进行反向传播训练。在学习率变化策略上，结合使用预热学习率与余弦退火学习率方法。在训练完成后输出颜色空间权重向量w，其中w中的n个元素分别表示步骤s1中n种颜色空间的重要性程度。之后根据下方规则选择出新的颜色空间组合t：

14、t＝{wj≥(max(wi)×0.9)}

15、其中1≤i≤n，即选择出重要性程度大于等于最大权重的90％的前t种颜色空间。若|t|＝1则再将权重值为第二大的颜色空间加入集合t，从而使得t＝2，并将2种颜色空间的图像作为后续特征融合模型的输入。

16、(2)使用前t种颜色空间图像对特征融合模型进行训练：

17、s8、对模型1进行修改，将组卷积的分组个数设置为t，修改组卷积层的总通道数，使得网络模型的大小基本保持不变，将选择出的前t种颜色空间图像分别作为每个分组的输入，移除步骤s5中的颜色空间权重向量w，并对模型参数进行重新初始化，修改后的模型称为模型2。

18、s9、将特征融合模型训练分为两个阶段，在训练的阶段一中：按照步骤s7中对模型训练的方法训练模型2，之后保存模型2训练好的参数。在训练的阶段二中：对模型2进行修改，移除权重参数矩阵s并在模型2输出处的特征提取模块头部加上通道混洗(channelshuffle)操作，从而融合不同分组中的特征；同时在通道混洗之后加入se(squeeze andexcitation)模块，实现对不同分组特征的权重赋值，并将通道混洗与se模块统称为特征融合模块；最终得到输出层与模型2的输出层保持一致的模型3。之后将训练阶段一中保存的模型2的非特征融合模块层参数迁移到模型3中。

19、s10、使用预热学习率与改进的余弦退火学习率方法训练模型3，在改进的余弦退火学习率方法中，设模型迭代训练t轮，初始学习率设为l，第e轮迭代的学习率为：

20、

21、其中使用上述训练策略训练好的模型3即为最终的特征融合模型。

22、进一步地，步骤s1中n取值为8，8种颜色空间包括rgb、lab、hsv、ycrcb、xyz、hls、luv、yuv。

23、进一步地，作为一种较优的实施方式，步骤s1中卷积模块和输出卷积层的总通道数设为n的倍数，从而能够使用组卷积对通道进行均分。

24、进一步地，作为一种较优的实施方式，步骤s4中权重矩阵s与s5中的权重向量w为可学习的参数，且元素初始值全部设为1。

25、进一步地，作为一种较优的实施方式，步骤s10中令去除余弦退火学习率中小于设定数值的学习率，以防止学习率太小无法对模型进行有效的训练。

26、作为一种可选实施方式，设定数值为：

27、本发明采用以上技术方案，与现有技术相比，本发明的有益效果如下：

28、1、步骤s1中建立的模型1可以经过一次性训练直接从多种颜色空间中选择出最优的颜色空间组合，从而只需要使用更少的计算量。

29、2、步骤s4中的类别输出权重矩阵对每种颜色空间分组的输出进行加权，能够使选择出的颜色空间搭配更有效。

30、3、步骤s8中通过修改组卷积层的总通道数，可以在选择不同颜色空间数量的情况下控制模型的参数规模，防止因选择的颜色空间数量不同而使得模型参数量具有较大的差异。

31、4、步骤s9中使用通道混洗操作与se模块来融合不同颜色空间图像特征，可以提高分类准确率。

32、5、由于步骤s9中模型3迁移了部分模型2的参数，因此在步骤s10中使用预热学习率与改进的余弦退火学习率方法来训练模型，具有更好的训练效果。