一种基于注意力机制的甲状腺结节半监督分割方法与流程

本发明属于深度学习、计算机辅助医疗和医学影像处理领域，涉及神经网络分类技术和半监督学习技术，尤其是一种基于注意力机制的甲状腺结节半监督分割方法。

背景技术：

使用深度学习方法进行医疗辅助诊断的研究和应用覆盖了皮肤疾病、脑部疾病、肺部炎症以及甲状腺结节等疾病领域。jinlianma等人[1]在2017年首次在甲状腺结节超声诊断中使用卷积神经网络。他们分别通过训练微调了两个在imagenet数据库中预训练的网络，通过连接特征图，其诊断准确率为83.02％±0.72％。但其预训练的网络基于imagenet这一自然场景图像数据集，其预训练好的特征多是自然场景下的，而非病理特征。因此这一预训练好的网络即使经过微调，在医学影像中的表现还有很大可提升的空间。

近年来，由于医疗数据标注困难，使用弱监督分割方法的研究有[2]-[5]。[5]引入软注意机制，产生一个端到端可训练的分类模型，用注意力门抑制图像中的不相关区域，突出对特定任务有用的显著特征。同时，利用注意力图以弱监督的方式学习了到对于分类具有重要影响的病灶区域。但是注意力图往往只覆盖了感兴趣对象的小的、最具鉴别性的区域，不能完全勾勒出目标前景对象。为了解决这一问题，最近的一些研究首先训练全卷积网络，找出图像中对分类最显著的部分(前景)，然后通过迭代擦除该区域迫使网络关注其他重要的部分，或通过擦除背景来提升模型的精确率。然而，上述方法要么依赖于一个训练网络对不同擦除步骤的注意映射组合，要么依赖于不同网络的注意映射组合，单一网络的注意力仍然只集中在最具辨别力的区域。除此之外，由于医疗影像中病灶区域相比正常组织区域的占比过小，背景对于模型的影响不可忽视，即弱监督方法不能确保模型的学习准确性。

参考文献

[1]j.ma，f.wu，j.zhu，d.xu，andd.kong，“apre-trainedconvolutionalneuralnetworkbasedmethodforthyroidnodulediagnosis，”ultrasonics，vol.73，pp.221-230，2017.

[2]d.kim，d.cho，d.yoo，andi.sokweon.two-phaselearningforweaklysupervisedobjectlocalization.iniccv，2017.

[3]k.k.singhandy.j.lee.hide-and-seek：forcinganetworktobemeticulousforweakly-supervisedobjectandactionlocalization.iniccv，2017

[4]b.zhou，a.khosla，a.lapedriza，a.oliva，anda.torralba.learningdeepfeaturesfordiscriminativelocalization.incvpr，2016.

[5]schlemperj，oktayo，chenl，eta1.attention-gatednetworksforimprovingultrasoundscanplanedetection[j].2018.

技术实现要素：

本发明的目的是为了克服现有技术中的不足，提供一种基于注意力机制的甲状腺结节半监督分割方法。本发明提出一种半监督的神经网络框架，在利用大量粗粒度分类标签通过注意力机制激活或抑制实体特征的基础上，使用少量细粒度分割标签以监督模型定位到真正的病灶区域中。同时，进一步提高卷积神经网络模型在甲状腺超声辅助测试领域内的准确性和泛化能力。

本发明的目的是通过以下技术方案实现的：

一种基于注意力机制的甲状腺结节半监督分割方法，包括以下步骤：

步骤一，将甲状腺超声影像进行预处理，去除影像中的边缘信息区域；

步骤二，构建半监督分割神经网络，同时对超声影像进行分类和分割预测任务，并对网络结构进行调整，以适应具体应用场景；

步骤三，将注意力机制加入半监督分割神经网络中，提升网络效果；

步骤四，通过交并比和dice系数衡量半监督分割算法与现存全监督分割算法在甲状腺结节辅助诊断领域的表现；

步骤五，不断降低像素级标签的数量，观察网络性能的变化情况。

进一步的，步骤一具体如下：采用u-net将原始超声影像周围的信息区域去除，保留中间的影像部分，作为半监督分割神经网络的输入。

进一步的，步骤二具体如下：半监督分割神经网络模型具有两个输入个两个输出，输入分别是弱注释数据和全注释数据，输出分别是甲状腺结节的良恶性预测结果和结节分割预测结果。

进一步的，步骤五对全注释数据设置不同的数量，并使用交并比和dice系数对网络性能进行评估。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明的模型可以在严重缺乏全注释数据的情况下预测出更加准确、完整的甲状腺结节掩码。此外，半监督分割模型在保持了高分割性能的同时，得益于图像级标签在分类任务中对病灶区域的定位能力以及少量像素级标签的半监督作用，学到结节真正的良恶性特征，进而提升对良恶性甲状腺结节的分类能力。

2.本发明还提高了模型在具有其他风格的影像数据中的鲁棒性和泛化性能。这归因于半监督分割模型种分类与分割任务的结合，分类模块可以辅助分割模块更加关注具有鉴别性的区域。通过在相同数量(400张)的全注释数据的监督下，全监督分割网络(fcn、u-net、segnet)与本发明算法在新数据集下的分割结果对比，来展示本发明中模型的泛化能力。表2展示了实验结果，证明了本发明提出的半监督分割神经网络是提高辅助医疗模型泛化能力的方法之一，使得模型不再过渡依赖于训练数据集的分布情况，转而关注到真正可以区分良恶性的病灶区域。使在某些复杂疾病数据难以获得的情况下，基于这种半监督框架提升模型的性能和利用价值。

附图说明

图1是本发明的流程示意图。

图2左半边区域为良性结节分割结果，右半边区域为恶性结节分割结果。其中，针对每片区域，第一列为经过数据处理的超声影像。第二列为人工标记的像素级标签。第三列为基础网络是vgg-19的分割结果。第四列是在本发明的算法下的分割结果。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种基于注意力机制的甲状腺结节半监督分割方法，如图1所示，为本发明产品分类方法一具体实施例的整体示意图，包括：

步骤s101：本发明采用u-net，划分出原始甲状腺超声影像中的超声影像部分，去除周围的信息区域。之后，使用z-score将数据进行了标准化，将不同量级的数据统一转化为同一个量级，统一用计算出的z-score值衡量，以保证数据之间的可比性。最后，将图像大小统一设置为224像素*224像素。

步骤s201：在模型最后，数据流将进行一次全局平均池化，将它定义为其中g为网络当前的通道数，x为全局平均池化前的输出张量。则输出每个类别的预测值其中为当前卷积核，为当前偏置，c是类别数量，σ为softmax函数。本发明利用了类激活映射cam的思想，筛选出模型预测的每个样本对应的类别。若分类任务为单标签分类问题，则可筛选出概率值最大的一项作为最终预测的类别。若分类任务为多标签分类，这一筛选行为可以表示成一个阈值的选择。利用这一阈值，通过式(6)得到最后全连接层在当前类别下的权重wc。

wc＝hwf^t(6)

步骤s202：基于wc与最后一层特征图f的运算，得到对当前分类有影响的特征激活映射fc＝f⊙wc。其中，m为当前特征图的大小，⊙为扩展矩阵像素乘法。最后，还需要对上述特征集合进行最后一次卷积过程，得到完整的前景和背景的输出结果ps，如式(7)所示：

其中，ws当前卷积核，bs为当前偏置。由此便可通过类别标签，提取相关特征及其权重，进而通过最后一层卷积得出该实例的分割结果。同时利用少量全注释数据，计算损失函数，利用反向传播算法对网络进行半监督优化。

步骤s301：本发明将注意力机制以自下而上和自顶向下的可训练前馈结构嵌入到神经网络中。其目的是使得部分特征、或特征图中对分类影响较大的区域具有较高的响应值。相反的，抑制非显著性特征区域的响应值。注意力模块由两个分支构成卷积分支和注意力分支。卷积分支由卷积块(卷积+批正则化+激活函数)组成，用于提取特征。它的输出张量定义为其中n，m和p分别为网络当前的批数量，特征图大小和通道数，x为注意力模块中第一个卷积块的输出张量。注意力分支用于粗定位到卷积分支的特征图中对分类最具显著性的区域。它的输出张量定义为此外，本发明对每层卷积都采用了批正则化，加快了模型的收敛速度，并使得训练过程更加容易和稳定。其中，注意力模块的特征图(la)是由一层卷积和激活函数通过式(1)得到：

la＝σ(bn(wuu(x)+bu))(1)

其中σ是softmax激活函数，将会得到矩阵内的元素对分类影像的权重矩阵，即lai，j∈(0，1)。

步骤s302：至此，两个分支的数据流输出完毕，通过以下方式结合，形成注意力模块的输出其中是像素乘法，是连接操作。

步骤s401：通过公式(1)-(4)就可以得到本发明的甲状腺超声影像半监督分割的效果，以及良恶性分类的准确率。再通过与其他基础网络在半监督框架内的比较，就可以看出本发明加入注意力机制后对模型性能的影响。另外，通过与其他全监督分割的网络比较，就可以看出本发明使用半监督机制对分割性能的提升效果。

步骤s501：以不同比率(5％、6.7％、10％和13.3％)的全注释数据进行实验，对比分析模型在不同比率下的表现，以确认本发明所能接受的最小比率。

本发明方法为甲状腺良恶性结节辅助诊断技术提供了一种新思路，提出并定义一种甲状腺超声影像中的人工标记识别方法，对原始超声影像进行预处理，提取感兴趣区域，进而将其作为胶囊网络的输入图像。同时，将dropout引入胶囊网络，在稳定训练过程的同时，提高了胶囊网络在甲状腺超声影像分类任务中的准确率。

图2左半边区域为良性结节分割结果，右半边区域为恶性结节分割结果。其中，针对每片区域，第一列为经过数据处理的超声影像。第二列为人工标记的像素级标签。第三列为基础网络是vgg-19的分割结果。第四列是在本发明的算法下的分割结果。可以看出，本发明的分割效果最佳。

本发明采用的衡量指标包括交并比、dice系数、准确率以及f1-分数。其中，交并比和dice系数分别用于度量结节预测区域与像素级标签p之间的重合程度和相似程度。上述几种指标的计算方法如式(1)-(4)所示：

首先选用参数量相当的vgg19作为基准，实验结果表明(表1)，单独使用这一分类网络，对甲状腺结节的分类准确率仅有88％。若将其嵌入本发明的半监督分割框架内，分类错误率降低了30.58％。针对分割任务的实验结果显示，使用本发明的网络结构，相比vgg19具有更好的性能(jaccard高出4.97％，dice高出5.76％，分类错误率降低了39.98％)。其分割效果如图2所示，可以看出，本发明的模型可以生成更加准确、完整的甲状腺结节掩码。此外，半监督分割模型在保持了高分割性能的同时，得益于少量像素级标签的半监督作用，学到结节真正的良恶性特征，提升了良恶性分类能力。

其次，本发明还提高了模型在具有其他风格的影像数据中的鲁棒性和泛化性能。通过在相同像素级标签个数(400张)下，全监督分割网络(fcn、u-net、segnet)与本发明算法在新数据集下的分割结果，来展示本发明中模型的泛化能力。表2展示了实验结果，证明了本发明提出的半监督分割神经网络是提高辅助医疗模型泛化能力的方法之一，使得模型不再过渡依赖于训练数据集的分布情况，转而关注到真正可以区分良恶性的病灶区域。使在某些复杂疾病数据难以获得的情况下，基于这种半监督框架提升模型的性能和利用价值。

最后，表3表明了在不断降低像素级标签的情况下观察网络的性能。可以看出，随着全注释数据的增多，模型的表现也越来越好。但若这一比例过小(例如150/3000)，模型便会在一定程度上出现过拟合现象。

表1不同基础网络结构在半监督分割实验中的性能

在表1中粗体显示了当前指标的最佳性能，展示了在同样半监督分割的网络架构下，使用不同基础网络结构对分割效果的影响。

表2全监督分割网络与本发明的算法在新数据集下的性能对比

表3不同像素级标签的比例对半监督分割实验的影响

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。