基于语义空间注意力的病理图像分类方法

本发明涉及计算机，涉及病理图像分类技术，特别涉及一种基于语义空间注意力的病理图像分类方法。

背景技术：

1、背景技术涉及三大块：无监督分割，注意力机制，病理图像分类。

2、1)无监督分割

3、分割算法目的在于从图像中分离出特定的对象区域，分割后，每个区域内的像素一般比较相似，具有相似的语义。随着深度学习的发展，神经网络在图像分割上展现出优越的性能，图像分割可以看作是一种像素级别的分类。根据分割的标签粒度，可以分成有监督分割、弱监督分割、半监督分割和无监督分割等。有监督分割是一种最基本的分割方法，需要像素级别的标签，制作标签的成本也最大。弱监督分割依赖于点级别、目标框或者图像类别的标签。半监督分割中，只有部分样本的标签可以获得。无监督分割不需要图像的标签或者对象的信息，自动从图像中找到可以分离的物体，这需要依靠一些预处理的图像分割算法，比如slic和felz算法，然后将这些粗糙的分割结果进一步优化。

4、无监督分割主要依靠一些无监督的方法，常见的有k-means聚类、均值漂移和基于区域的分割。k-means将像素聚成k个簇，这些簇通常表示不同的物体或者区域。均值飘移也是一种聚类技术，通过对密度的估计来找到像素的聚类中心，这是一种非参数的方法。均值漂移开始选择一个随机点，然后沿着密度更高的方向移动，最终找到一个局部的密度区域最大值。基于区域的分割的基本思想是将图像分成多个不同的区域，每个区域有共同的属性，例如相同的颜色、纹理等。通常采用基于阈值的方法或者边缘检测的方法，多个的区域也可以进一步合并成一个大的区域。

5、无监督分割网络有基于自编码的和基于稀疏编码的方法等。基于自编码的方法通过编码器将输入的图像编码成低维特征向量，解码器将其恢复成原始数据并进行分割预测。基于稀疏编码的方式使用稀疏编码来表示稀疏特征，并将像素分配到指定区域。稀疏编码可以从原始数据中提取重要的特征，使得像素更容易被分类。

6、2)注意力机制

7、注意力机制是深度学习中常见的技术，注意力机制的核心是使网络模型更加关注于判别性的区域。自注意力的成功设计引起了很多的相关研究，除了自注意力，还有其他一些主流的注意力方法，例如通道注意力和空间注意力。通道注意力主要侧重于学习与通道相关的注意力权重，使得网络模型关注于重要的通道，抑制不关键的通道。senet是经典的基于通道注意力的方法，squeeze和excitation是两个针对通道的关键操作，建模了通道间相互依赖的关系。空间注意力侧重于学习特征图的空间关系，目标是学习空间相关的注意力权重。在特征图中，计算一个点与其他位置的关系，可以得到注意力权重；也可以通过最大池化和平均池化来计算空间注意力权重。cbam是经典的融合了通道注意力和空间注意力的方法，其中通道注意力和空间注意力都是通过池化来获得，这种不引入额外学习参数的简单方法却能有效提升网络模型性能，但是这种设计本质上仍旧缺乏像素信息的交互能力。空间注意力的权重值可以直观地显示出网络模型所关注的区域，这种空间注意力在一定程度上也可以作为网络模型的可解释性。目前有研究针对空间注意力的一致性进行了探索，让网络模型在不同深度的特征图的注意力分布保持一致。

8、3)病理图像分类

9、图像分类是一种最基本的机器学习任务，用于对图像进行分类。图像分类根据输入的图像，提取特征表示，进行类别预测。随着卷积神经网络的发展，分类网络模型的预测性能已经接近人类的水平，甚至在一些领域上超越了人类的分类水平。这些网络模型往往需要大量的人工标记的图像数据用于训练，在测试阶段，网络模型对新的图像进行预测。

10、病理图像分类是图像分类任务中特殊的一类，它使用计算机视觉技术对医学图像进行分类。病理图像通常是组织切片或者细胞切片的数字化图像。病理图像分类是将病理图像自动分类为不同的类别，例如正常组织、恶性肿瘤或者良性肿瘤。病理图像分类可以辅助病理医生诊断，大大减轻病理医生的工作量。

11、目前有一系列的针对病理图像分类的方法被提出，主要有基于多视图的，基于多尺度的和多实例学习的方法。基于多视图的方法在学习一致性的同时，结合了多个视图的互补信息，例如结合传统的纹理信息和神经网络的深度特征图。基于多尺度的方法结合了不同的放大倍率的图像，避免放大倍率带来的视觉干扰。多实例学习解决病理图像中全切片诊断问题，其中超大像素的全切片当作包，patch当作包中的实例。一系列针对提取病理图像特征的方法也被提出，更加关注于浅层的纹理信息或者上下文全局的信息。然而这些方法忽略了病理图像的细胞区域占比少的特点，这个特点使得信息交互困难，不利于分类网络模型学习判别性信息。

技术实现思路

1、本发明的目的是提供一种语义空间注意力的病理图像分类方法，该方法通过提取语义信息并融入注意力机制实现对病理图像的分类。该方法考虑到病理图像中细胞区域占比少，可以通过在相同语义区域内充分交互信息，加强对细胞区域的专注。

2、实现本发明目的的具体技术方案是：

3、一种基于语义空间注意力的病理图像分类的方法，该方法包括如下步骤：

4、步骤一：建立病理图像数据集

5、所述病理图像数据集格式为：图像与标签其中m表示数据的数量，xi表示第i张病理图像，yi表示第i张病理图像对应的真实标签；

6、步骤二：确定语义信息提取网络模型

7、采用felz算法得到初步的语义信息，然后采用一个卷积神经网络进行语义信息优化；该卷积神经网络由四个基本卷积块组成，每个卷积块包括一个2d卷积层、批量归一化和relu激活函数；

8、步骤三：建构语义信息

9、步骤a1：将病理图像xi输入到felz算法中，得到初步的语义信息其中k表示语义信息区域类别的数量，ck表示该语义信息属于第k类；

10、步骤a2：通过卷积神经网络计算每个像素点的输出概率，即其中n代表图像中像素点的数量，net()代表卷积神经网络；

11、步骤a3：最大化输出概率，即yn＝argmax(pn)，argmax()代表最大化输出概率函数；

12、步骤a4：同一个语义信息区域内数量最多的yn作为每个像素点的语义信息类别标签，即

13、

14、步骤a5：采用交叉熵损失作为损失函数，即loss＝cross entropy(pn，tn)，其中cross entropy代表交叉熵函数；

15、步骤a6：通过随机梯度下降优化语义信息网络模型；

16、步骤a7：重复上述a1至a6操作直至网络模型收敛，获得每个像素点对应的语义信息类别标签tn；

17、步骤四：确定病理图像分类的网络模型

18、采用resnet50作为分类网络模型；该网络模型由输入层、卷积层组和分类输出层构成；输入的病理图像xi先经过一个卷积核为7*7的卷积层，然后经过四个卷积块，每个卷积块由多个基本的卷积层组成，其中卷积核为1*1的用于放缩通道；每个卷积块的输入与输出部分通过残差的方式连接；在resnet50网络模型中，获取最后一个卷积块的特征图f；

19、步骤五：确定空间注意力机制，并融入语义信息，构建基于语义级别的空间注意力机制

20、基于像素级别的空间注意力是将特征图f通过平局池化avgpool和最大池化maxpool获得，即favg＝avgpool(f)，fmax＝maxpool(f)；在基于像素级别的空间注意力上，通过同一语义信息区域内的交互，构建注意力图favgavg和fmaxmax，然后将favg，fmax，favgavg和fmaxmax进行融合并激活后得到最终的注意力s；通过将原始图像的特征图f与注意力s做元素逐点相乘获得新的特征图f′，即f′＝f⊙<；将新的特征图f′通过全局池化操作得到特征向量，并输入到全连接层得到最后的输出概率；

21、步骤六：训练分类网络模型，并对病理图像进行分类

22、采用学习率衰减和随机梯度下降优化分类网络模型；具体训练包括如下步骤：

23、步骤b1：将训练的病理图像裁剪成统一的448*448大小，按50％的概率对其进行水平翻转，然后进行归一化；

24、步骤b2：将图像输入到分类网络模型中，计算最后一个卷积块的特征图f；

25、步骤b3：获取特征图f的语义空间注意力，将特征图f与语义空间注意力做元素逐点相乘获得新的特征图f'；

26、步骤b4：将特征图f'通过全局池化操作得到特征向量，并通过全连接层得到最后的输出概率；

27、步骤b5：计算输出概率与真实标签之间的交叉熵损失，通过随机梯度下降优化目标，更新学习率；重复上述b2至b5步骤，直到网络模型收敛，终止训练；

28、步骤b6：根据分类网络模型，得到最后输出的概率，经过softmax激活函数之后，得到最终的输出分类。

29、步骤五所述基于像素级别的空间注意力上，同一语义信息区域内进行注意力的交互：在基于像素级别的空间注意力上，通过同一语义信息区域内，在空间维度上使用最大池化和平均池化操作，如下公式描述：

30、favg＝avpoo1(f),

31、fmax＝mpoo1(f),

32、

33、

34、s＝σ(faifavg；fmax；favg⊙favgavg；fmax⊙fmaxmax]))，

35、

36、其中，σ(·)表示sigmoid激活函数，f(·)表示为一个标准的卷积操作,⊙表示元素逐点相乘，i表示01矩阵；基于语义级别的空间注意力<不仅通过favg和fmax结合了通道维度的信息，还通过favgavg和fmaxmax结合了语义信息；tn代表每个像素点的语义信息类别标签，u代表语义信息类别。

37、本发明的有益效果包括：

38、1)本发明从信息交互的角度，融入了语义信息并指导注意力，重新构建了基于语义信息级别的空间注意力机制，打破了原先基于像素级别的空间注意力信息交互的区域局限性；

39、2)本发明的语义信息通过无监督的方式获得，克服了病理图像缺乏数据标注的问题。提出的语义注意力，在原先的空间注意力基础上，只需要引入极少的参数,就能提升病理图像分类的性能。