一种基于注意力机制的先验知识引导的甲状腺乳头状癌超声图像识别方法

本发明涉及超声图像识别领域，特别是涉及一种基于注意力机制的先验知识引导的甲状腺乳头状癌超声图像识别方法。

背景技术：

1、甲状腺癌是内分泌系统最常见的恶性肿瘤之一，在全球范围内的发病率近年来呈现快速增长的趋势。其中，甲状腺乳头状癌是最为常见的类型，占据了全部甲状腺癌的90％，并且在任何年龄段均可发病，因此提高甲状腺乳头状癌的诊断准确率尤为重要。诊断的方法一般可以分为传统的无创甲状腺超声成像和有创细针穿刺活检方法，但是这两者的准确性均存在一定的局限性和主观性。超声检查无创、实时、便宜，且能清晰地显示结节的边界、形态、大小、钙化、回声及内部结构等信息，已经成为甲状腺检查的首选方式。基于此医学界提出了甲状腺成像报告和数据系统(ti-rads)作为甲状腺超声影像诊断的指南，但是不可避免的，在检查的时候依旧会受到主观性的影响，其准确性也取决于临床医生的经验和技能。因此基于超声图像的甲状腺结节识别是一个关键课题。

2、近年来，随着计算机技术的发展，计算机辅助诊断系统(cad)逐渐成为甲状腺超声影像诊断的重要工具，主要分为两大类：传统方法和深度学习方法。传统方法主要采用图像处理和分析技术，包括特征提取、分类器设计等，通过对图像中的特征进行分析和判断，实现对甲状腺结节良恶性的判定。然而，传统方法的准确性受到特征提取和分类器设计等因素的影响，且处理过程繁琐，需要人工干预，因此具有一定的局限性。与此相比，基于深度学习算法的cad系统具有更高的准确性和稳定性，深度学习算法可以通过对大量图像数据进行学习和训练，自动地提取高维特征，有效地区分良恶性结节，减少误诊率，与传统方法相比，深度学习方法不需要手动提取特征，处理过程更加智能化和自适应性。

3、需要指出的是，基于深度学习算法的cad系统也存在一定的局限性，例如需要大量的数据集进行训练和优化，模型的解释性较差等。超声图像具有高度的复杂性，模型辅助医生的过程难度也较高，因此现有技术通过不断优化模型的结构来更加充分地利用图像中的特征。zhao等人设计了一种基于特征解耦的网络来利用超声图像中的局部/全局特征，在结节的分类上取得了良好的性能，但是该方法只利用了图像中的普遍性特征，没有考虑到超声图像中某些关键性的判别特征。zhou等人针对超声图像中某些关键性的属性特征，提出了一种多属性注意网络，来对结节中包含的多个属性进行分类，融合多个属性的特征来确定结节的良恶性，但是该方法只利用了结节本身所包含的几种特征，会存在特征提取不完整，忽略了特征之间的相互作用，因此具有一定的改进空间。

技术实现思路

1、一种基于注意力机制的先验知识引导的甲状腺乳头状癌超声图像识别方法，其特征在于：构建先验知识引导的两阶段注意力机制的双分支网络，该网络可以结合超声图像中的普遍性特征、结节周边背景组织特征以及医生诊断时所关注的5个关键属性特征(形状、边缘、成分、回声、钙化)来进行甲状腺结节的分类；

2、预处理原始的超声图像，裁剪无效信息得到至少包含一个结节的感兴趣区域的训练样本，该样本由包含甲状腺结节roi的超声图像和去除结节部分的背景组织的超声图像，以及每张超声图片对应的标签所构成；

3、所述的双分支网络中，第一分支采用resnet50的backbone网络对包含甲状腺结节roi的超声图像i进行特征提取，输出超声图像i的普遍性特征f(i)；第二分支分为两个阶段，第一阶段通过两个并行的卷积注意力机制模块(convolutional block attentionmodule，cbam)分别从包含甲状腺结节roi的超声图像i的普遍性特征f(i)和背景组织的超声图像m的特征f(m)中提取结节的5个关键属性的初级特征gi＝1,2,…,5(i)以及结节周边背景组织特征f′(m)，将各结节初级属性与背景组织属性的各通道特征融合拼接，在第二阶段中利用临床中常用的关键属性的先验知识约束通道注意力模块来完成5个关键属性的特征描述；最后将这5个关键属性特征与超声图像的普遍性特征拼接融合后送入分类器进行分类；

4、所述的第一阶段将去除结节部分的背景组织的超声图像输入到resnet50的backbone网络中提取结节周边背景组织特征f(m)，将结节周边背景组织特征f(m)输入到cbam模块中获得相应的特征f′(m)；将普遍性特征f(i)输入到cbam模块中获得5个关键属性的初级特征gi＝1,2,…,5(i)，将特征f′(m)和gi＝1,2,…,5(i)相加后输入到第二阶段的通道注意力(ca)模块中，输出5个关键属性特征hj＝1,2,…,5(i)；

5、所述的第二阶段中，输出的5个描述结节的关键特征hj＝1,2,…,5(i)分别通过5个关键属性的先验知识来约束，使其得到更稳定的特征；将产生的5个关键属性特征hj＝1,2,…,5(i)与第一分支提取到的图像基本特征f(i)分别输入到全连接层中得到大小一致的特征，然后对二者进行拼接后输入到分类器中进行分类。

6、上述的第二分支的第一阶段包含两条通路，具体的：

7、第一条通路输入backbone网络所提取到的普遍性特征f(i)，经过cbam模块后输出包含五个通道的初级属性特征gi＝1,2,…,5(i)；第二条通路输入结节周边背景组织特征f(m)，同样地，经过cbam模块后输出背景组织特征f′(m)；

8、上述的cbam模块包含通道注意力模块和空间注意力模块，通道注意力模块的表达式为：

9、m1(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f)))

10、＝σ(w1(w0(favg))+w1(w0(fmax)))

11、其中f为输入的特征，mlp表示多层感知机，avgpool和maxpool分别表示平均池化和最大池化，σ(·)表示softmax激活函数，w1和w0均表示权重；

12、空间注意力模块的表达式为

13、m2(f)＝σ(f([avgpool(f)；maxpool(f)]))＝σ(f([favg；fmax]))

14、其中f表示输入的特征，σ(·)表示softmax激活函数，avgpool和maxpool分别表示平均池化和最大池化，f(·)表示卷积层。

15、当双分支网络在训练时，该网络通过设定的损失函数来优化网络参数，并进行相应的约束，所述的损失函数包含分类损失和属性损失两部分，计算表达式如下：

16、

17、其中n表示分类时一个batch中样本的数量，yb表示图像类别的标签，表示模型预测的结果；

18、

19、其中n表示分类时一个batch中样本的数量，表示5个属性各自的类别标签，表示5个属性各自的预测的结果；

20、综上所述，总损失的表达式为：

21、

22、其中，λ1为权重参数。

23、有益效果：本发明提出了一种基于注意力机制的先验知识引导的甲状腺乳头状癌超声图像识别方法，该方法构建了一个先验知识引导的基于两阶段注意力机制的双分支网络，该网络的第一分支采取resnet50的backbone网络来提取超声图像的普遍性特征，第二分支采用两阶段注意力机制提取结节关键属性特征，第一阶段采用双cbam模块分别捕获结节初级属性特征和周边背景组织特征，第二阶段利用ca模块提取5个关键属性特征。相比于现有方法，本发明模拟医生在临床上的判别过程作为先验知识，采用两阶段注意力机制以充分考虑不同属性特征之间的相关性，并且考虑了周边背景组织特征对判别的影响，本发明综合超声图像的普遍性特征、结节周边背景组织特征和临床判别的若干关键性特征，对甲状腺乳头状癌超声图像识别可以获得更加丰富有效且稳定的特征，通过本发明所提出的双分支网络可以提高分类的精确度，提升分类结果的可靠性。