基于非局部模块与注意力机制的肠道疾病辅助诊断方法

1.本发明涉及一般的图像数据处理或产生的技术领域，特别涉及一种医学图像处理技术领域的基于非局部模块与注意力机制的肠道疾病辅助诊断方法。


背景技术：

2.肠道疾病是最常见的疾病之一，据统计，恶性肿瘤结直肠癌每年造成数十万患者的死亡。临床发现，由于早筛率不高，且早期特征不显著，多数结直肠癌患者在就诊时就已经处于中晚期，错过了治疗的最佳时间，因此，对于结直肠癌患者做到早诊断、早治疗有助于提高结直肠癌患者的生存率。
3.肠道息肉、溃疡、炎症等都是引发早期肠道癌变的主要危险因素，而肠道内窥镜检查是防治结肠癌最有效的办法。临床上，肠镜检查对于医生要求比较高，其检查结果的质量与医生的经验和关注度，操作难度较大，容易导致误诊或者漏诊情况。为了提高肠道内窥镜检查的准确性和诊断效率，国内外研究人员提出了很多用于肠道疾病辅助诊断的方法。
4.目前，内窥镜图像的分类方法中，一类是传统的基于图像特征提取的机器学习分类方法，包括：
5.根据图像分割方法，提取分割区域的集合特征，结合支持向量机等分类方法，实现病变识别；
6.通过提取图像的颜色和纹理特征，实现息肉的识别；
7.结合尺度不变特征变换法和k均值聚类、显著图和直方图等方法，获得图像的综合特征，实现图像分类等；
8.这一类方法受主观因素影响较大，极易漏掉有价值的信息，并且泛化能力较差，适用性低；
9.而另一类方法是采用深度学习的分类方法，卷积神经网络(cnn)是这类方法中常用的学习模型之一，其自动提取特征并分类，学习到的特征对数据的内在信息更具代表性，泛化能力强，有更高的识别率；然而，虽然提出的深层卷积神经网络用于图像分类识别任务可以获得较好的性能，但这些方法大多对内窥镜图像局部病变区域的细微特征提取不到位，由于肠道中病灶边缘与正常组织壁的类间差异有限，颜色、纹理特征也不够明显，息肉大小形状差异大，病灶类间相似性大；因此，肠道疾病图像的识别分类任务仍极具挑战性。


技术实现要素：

10.本发明解决了现有技术中存在的问题，提供了一种优化的基于非局部模块与注意力机制的肠道疾病辅助诊断方法，克服现有技术中卷积神经网络无法完全提取内窥镜图像病变区域的局部细微特征的问题，对于病灶边缘与正常组织壁之间差异有限、病灶类间相似性大的情况，实现更好的分类诊断。
11.本发明所采用的技术方案是，一种基于非局部模块与注意力机制的肠道疾病辅助诊断方法，所述方法预处理数据集后，建立神经网络；
12.所述神经网络以resnet基线模型作为主干网络，用于特征提取，配合主干网络嵌入非局部模块，配合主干网络的输出端设置注意力模块；
13.以预处理后的数据集对神经网络进行训练，直至神经网络稳定；
14.向稳定后的神经网络输入待诊断图像，对肠道疾病进行辅助诊断。
15.优选地，所述数据集为图像数据集，预处理为对数据集进行整理与标注。
16.优选地，所述数据集x＝{x1,x2,
…
,xn}，其中，n为样本总数，xi为输入图像的三个通道像素值构成的特征向量，对应任一xi输出样本类别标签yi，样本i为(xi,yi)；
17.以类别标签yi的值为0表示正常、值为1表示息肉病灶、值为2表示溃疡病灶。
18.优选地，所述主干网络为归一化的resnet基线模型，对输入的数据以batchnorm归一层进行归一化操作，再对数据进行缩放和平移操作；以式(1)计算第b层第i个节点的输出，
[0019][0020]
其中，为输入的第b层第i个节点的值，xi为构成的行向量，μ和σ分别为该行的均值和标准差，γ为缩放参数，β为平移参数，ε为防止除零引入的修正项，bn为batchnorm归一化。
[0021]
优选地，配合所述主干网络嵌入非局部模块时，计算每个位置的特征与所有具有关联特征位置之间的配对的加权和，按式(2)计算，
[0022][0023]
其中，是输入特征图，i,j是特征图像中的像素位置索引，即xi、xj分别表示第i,j行特征像素，f(
·
)是具有有限f-范数的亲和核，g(
·
)表示线性嵌入，定义为g(xj)＝xjwz，c1和c'分别为输入特征和传递特征的通道数；n是每个要素的总位置；
[0024]
以式(3)计算yi，表示第i行的输出特征像素，
[0025]
yi＝xi+f(xi)w
ꢀꢀ
(3)
[0026]
其中，为权重矩阵。
[0027]
优选地，引入非局部运算符的矩阵形式，得到，
[0028]
y＝x+f(x)w＝x+azw
s1ws2
ꢀꢀ
(4)
[0029][0030]
其中，a是亲和矩阵，m＝[m
ij
]由像素之间的成对相似性组成，dm是包含m个顶点的对角矩阵，是通过与进行线性变换来压缩x的通道传递特征映射，和分别用于滤除鉴别特征和恢复通道数的两个参数矩阵；
[0031]
得到，
[0032]
y＝x+f(a,z,w
s1
)w
s2
＝x+f(a,z,g
θ
)w
s2
ꢀꢀ
(6)
[0033]
其中，f(a,z,gθ)是光谱视图中的非局部算子，以g
θ
将w
s1
分解为一组图滤波器；缩写为f(a,z)。
[0034]
优选地，按式(7)对式(6)以对称亲和矩阵调整对称性，
[0035]
y＝x+fr(a,z)＝x+zw1+azw2，
[0036][0037]
其中，fr(a,z)是该非局部块算子，w1、w2是两个参数矩阵,这里的a则表示对称亲和矩阵，而m＝[m
ij
]依旧由像素之间的成对相似性组成。
[0038]
优选地，所述注意力模块如式(8)所示，
[0039][0040]
其中，μb和σb是预设批量b的平均值和标准差，γ和β是可训练的仿射变换参数，
[0041]
以式(9)得到输出特征mc，
[0042]
mc＝sigmoid(w
γ
(bn(f1)))
ꢀꢀ
(9)
[0043]
其中，γ是每个通道的比例因子，权值为w
γ
＝γi/∑
j＝0
γi，经过sigmoid激活函数之后输出类概率分数prob.score。
[0044]
优选地，以式(10)在损失函数中添加正则化项，
[0045][0046]
其中，f(x,w)表示计算的预测结果，x表示输入，y表示输出，w为网络权重，l(
·
)是损失函数，g(
·
)为l1范数惩罚函数，p则是平衡惩罚函数的系数，p∈(0,1)。
[0047]
优选地，以l
att
(xi)表示输入样本为xi时的注意力分支损失，以l
per
(xi)表示输入样本为xi时的感知分支损失，总损失函数l(xi)表示为式(11)，
[0048]
l＝l
att
(xi)+l
per
(xi)
ꢀꢀ
(11)
[0049]
以式(12)计算准确率accuracy、式(13)计算敏感度sensitivity、式(14)计算特异度specificity，用于评估模型的性能直至获得最优，
[0050][0051][0052][0053]
其中，tp、tn、fp、fn分别表示真阳性、真阴性、假阳性、假阴性的数量。
[0054]
本发明涉及一种优化的基于非局部块深度残差与注意力机制的肠道疾病辅助诊断方法，所述方法预处理数据集后，建立神经网络；所述神经网络以resnet基线模型作为主干网络，用于特征提取，配合主干网络嵌入非局部模块，配合主干网络的输出端设置注意力模块；以预处理后的数据集对神经网络进行训练，直至神经网络稳定；向稳定后的神经网络输入待诊断图像，对肠道疾病进行辅助诊断。
[0055]
本发明的有益效果在于：
[0056]
(1)主干网络利用一个嵌入非局部模块的resnet基线模型的前四层用于提取病灶区域特征，克服了类内病灶大小形状差异大的问题；
[0057]
(2)使用注意力分支结构，用于聚焦病灶区域；
[0058]
(3)利用注意力分支和感知分支两个分支的损失函数之和对网络进行端到端方式的训练，进一步地提高了肠道病灶的分类性能。
附图说明
[0059]
图1为本发明的整体流程框图；
[0060]
图2是本发明的特征提取器中bottleneck残差块的结构图；
[0061]
图3是本发明的嵌入特征提取器中非局部模块的结构图；
[0062]
图4是本发明的注意力分支的结构图。
具体实施方式
[0063]
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
[0064]
本发明涉及一种基于非局部模块与注意力机制的肠道疾病辅助诊断方法，用于辅助诊断的神经网络由特征提取器、注意力分支和感知分支这三个模块组成；其中，特征提取器包含多个卷积层，从输入图像中提取特征输出特征图，以注意力分支对特征提取器输出的特征图进行处理，感知分支通过接收从注意力分支输出的特征图来输出每个类的概率。
[0065]
所述方法预处理数据集后，建立神经网络；
[0066]
所述神经网络以resnet基线模型作为主干网络，用于特征提取，配合主干网络嵌入非局部模块，配合主干网络的输出端设置注意力模块；
[0067]
以预处理后的数据集对神经网络进行训练，直至神经网络稳定；
[0068]
向稳定后的神经网络输入待诊断图像，对肠道疾病进行辅助诊断。
[0069]
本发明中，主干网络基于一个嵌有非局部块的resnet基线模型，其前四层为特征提取器，用于细微特征提取，包括7*7卷积层、batchnorm归一层、relu函数层、最大池化层，从而克服类内病灶大小形状差异大的问题，从第五层开始由两层resnet的标准bottleneck残差块和一层嵌入非局部模块的bottleneck串联组成，最后在输出端设置注意力模块，即划分为注意力分支和感知分支，其中引入的注意力分支结构用来聚焦病灶区域，缓解各类病灶边缘与正常组织壁边界模糊的问题，而针对多种良性病灶的类间相似性大这个问题，利用注意力分支和感知分支两个分支的损失函数之和进行端到端方式的训练，进一步地提高了肠道疾病的分类性能。
[0070]
本发明中，从hyperkvasir公开数据集上选取部分图片来制作肠道疾病分类的数据集，此数据集包含正常、息肉、溃疡三类图像各1000张，按照3:1:1的比例将每一类别图像随机划分为训练集、验证集和测试集，得到1800张图像的训练集，600张图像的验证集和600张图像的测试集；
[0071]
图像大小被调整到256
×
256像素，为了增强模型的鲁棒性和稳定性，将训练集的图像随机裁剪成分辨率为224
×
224的图像，将验证集和测试集的图像中心裁剪成分辨率为224
×
224的图像，针对数据集并不充足的问题，引入迁移学习的方法，将已经训练好的
resnet网络模型参数迁移到新的模型中，帮助新模型更好地训练。
[0072]
所述数据集为图像数据集，预处理为对数据集进行整理与标注。
[0073]
所述数据集x＝{x1,x2,
…
,xn}，其中，n为样本总数，xi为输入图像的三个通道像素值构成的特征向量，一般来说，对应任一xi输出样本类别标签yi，样本i为(xi,yi)；
[0074]
以类别标签yi的值为0表示正常、值为1表示息肉病灶、值为2表示溃疡病灶。
[0075]
本发明中，网络训练出一个分类模型后，将特征向量xi作为输入，预测出结果后从而判断内窥镜图像中是否为正常、息肉或者溃疡；网络结构如图1所示。
[0076]
所述主干网络为归一化的resnet基线模型，对输入的数据以batchnorm归一层进行归一化操作，再对数据进行缩放和平移操作；以式(1)计算第b层第i个节点的输出，
[0077][0078]
其中，为输入的第b层第i个节点的值，xi为构成的行向量，μ和σ分别为该行的均值和标准差，γ为缩放参数，β为平移参数，ε为防止除零引入的修正项，bn为batchnorm归一化。
[0079]
配合所述主干网络嵌入非局部模块时，计算每个位置的特征与所有具有关联特征位置之间的配对的加权和，按式(2)计算，
[0080][0081]
其中，是输入特征图，i,j是特征图像中的像素位置索引，即xi、xj分别表示第i,j行特征像素，f(
·
)是具有有限f-范数的亲和核，g(
·
)表示线性嵌入，定义为g(xj)＝xjwz，c1和c'分别为输入特征和传递特征的通道数；n是每个要素的总位置；
[0082]
以式(3)计算yi，表示第i行的输出特征像素，
[0083]
yi＝xi+f(xi)w
ꢀꢀ
(3)
[0084]
其中，为权重矩阵。
[0085]
本发明中，提出采用归一化的resnet基线模型作为主干网络，用于特征提取器，从输入图像中提取特征，输出特征图，特征提取器的后三层分别由2个resnet的标准bottleneck残差块和1个嵌入非局部模块的bottleneck串联组成。
[0086]
本发明中，主干网络在初始化的时候抑制残差分支，使用batchnorm归一层(bn层)来消除均值偏差，使得模型对权重尺度和权重初始化也不再敏感，减少过拟合；具体来说，首先对输入数据的每一维特征进行归一化操作，将输入数据变换为均值为0、方差为1的数据，减小数据分布的偏向；再对数据进行缩放(γ)和平移(β)操作，经过缩放和平移，γ和β都是可学习的参数，一开始设置γ＝1，β＝0，通过在网络训练的过程中学习调整到合适的值。网络能够自主思考归一化操作是否已起到优化作用，并裁决是否需要通过调整γ和β参数来抵消部分归一化，式(1)中的ε为防止除零引入的极小量，可忽略。
[0087]
本发明中，具有关联特征位置是指与每个位置的特征具有相同或类似特征的位
置，此处可以由技术人员自行设置。
[0088]
引入非局部运算符的矩阵形式，得到，
[0089]
y＝x+f(x)w＝x+azw
s1ws2
ꢀꢀ
(4)
[0090][0091]
其中，a是亲和矩阵，m＝[m
ij
]由像素之间的成对相似性组成，dm是包含m个顶点的对角矩阵，是通过与进行线性变换来压缩x的通道传递特征映射，和分别用于滤除鉴别特征和恢复通道数的两个参数矩阵；
[0092]
得到，
[0093]
y＝x+f(a,z,w
s1
)w
s2
＝x+f(a,z,g
θ
)w
s2
ꢀꢀ
(6)
[0094]
其中，f(a,z,gθ)是光谱视图中的非局部算子，以g
θ
将w
s1
分解为一组图滤波器；缩写为f(a,z)。
[0095]
按式(7)对式(6)以对称亲和矩阵调整对称性，
[0096]
y＝x+fr(a,z)＝x+zw1+azw2，
[0097][0098]
其中，fr(a,z)是该非局部块算子，w1、w2是两个参数矩阵,这里的a则表示对称亲和矩阵，而m＝[m
ij
]依旧由像素之间的成对相似性组成。
[0099]
本发明中，在主干网络中嵌入非局部模块，并在将非局部模块插入到网络结构中时，增加权重矩阵为的线性变换和剩余连接。
[0100]
本发明中，将“谱视图”理论加入非局部块，基于切比雪夫滤波，具有更强的理论基础和鲁棒性，但由于现有的非局部块不保证对称性，得出的不是近似的完整形式，所以对式(6)使用对称亲和矩阵进行处理。
[0101]
本发明中，非局部模块如图3所示，将该非局部模块嵌入至特征提取器最后的一层bottleneck，成为新的一层，通过聚集特征图改进非局部块的机制，基于输入特征构建全连接图，以包含不同位置之间的相似性，然后通过使用可学习的图滤波器直接对特征进行过滤来生成输出，在这种结构中，可以通过结构的亲和力来维护长距离信息，并通过图滤波在捕捉长距离依赖时提供更多的灵活性。
[0102]
所述注意力模块如式(8)所示，
[0103][0104]
其中，μb和σb是预设批量b的平均值和标准差，γ和β是可训练的仿射变换参数，
[0105]
以式(9)得到输出特征mc，
[0106]
mc＝sigmoid(w
γ
(bn(f1)))
ꢀꢀ
(9)
[0107]
其中，γ是每个通道的比例因子，权值为w
γ
＝γi/∑
j＝0
γi，经过sigmoid激活函数之后输出类概率分数prob.score。
[0108]
以式(10)在损失函数中添加正则化项，
[0109][0110]
其中，f(x,w)表示计算的预测结果，x表示输入，y表示输出，w为网络权重，l(
·
)是损失函数，g(
·
)为l1范数惩罚函数，p则是平衡惩罚函数的系数，p∈(0,1)。
[0111]
本发明中，使用的数据集中，由于肠道图像中病灶边缘和正常组织壁边界模糊，因此选择构建一个注意力分支来聚焦病灶区域，并且抑制模型中不太显著的权重，其卷积层使用batchnorm归一化的残差块构建，第一个3
×
3卷积层的步幅设置为1，以保持特征图的分辨率，通过引入此注意力分支，网络在聚焦于图像重要位置的同时被训练，并提高了其分类性能。
[0112]
本发明中，如图4所示注意力模块为通道注意力模块，被嵌入在各个网络块的末端，对于resnet，被嵌入在残差结构的末端。
[0113]
本发明中，为了抑制不太显著的权重，在损失函数中添加了正则化项。
[0114]
以l
att
(xi)表示输入样本为xi时的注意力分支损失，以l
per
(xi)表示输入样本为xi时的感知分支损失，总损失函数l(xi)表示为式(11)，
[0115]
l＝l
att
(xi)+l
per
(xi)
ꢀꢀ
(11)
[0116]
以式(12)计算准确率accuracy、式(13)计算敏感度sensitivity、式(14)计算特异度specificity，用于评估模型的性能直至获得最优，
[0117][0118][0119][0120]
其中，tp、tn、fp、fn分别表示真阳性、真阴性、假阳性、假阴性的数量。
[0121]
本发明中，本专利提出使用注意力分支和感知分支两个分支的损失之和l，作为训练损失，通过softmax函数和交叉熵的结合来计算每个分支的训练损失。
[0122]
本发明中，在训练时将224
×
224的肠道图像输入到特征提取器，使用adam优化器优化参数，steplr机制调整学习率，结合损失函数对网络进行端到端的训练，得到最优的模型，再输入测试集图像对最优模型进行检验，使用准确率accuracy，敏感度sensitivity，特异度specificity三个指标来评估最优模型的性能。
[0123]
为了实现上述内容，本发明还涉及一种计算机可读存储介质，其上存储有基于非局部模块与注意力机制的肠道疾病辅助诊断程序，该程序被处理器执行时实现上述基于非局部模块与注意力机制的肠道疾病辅助诊断方法，从而解决现有技术中存在的问题。
[0124]
为了实现上述内容，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述基于非局部模块与注意力机制的肠道疾病辅助诊断方法。
[0125]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0126]
本发明的效果可通过仿真实验进一步说明。
[0127]
(1)仿真条件
[0128]
实验采用一台配置intel(r)xeon(r)silver 4210r cpu@2.40ghz2.39ghz(2处理器)，64gb内存，windows10操作系统和3块nvidia geforce rtx 2080super显卡的工作站，cuda版本为10.0，模型基于pytorch深度学习框架实现，pytorch版本为1.6.0+cu101，python版本为3.7。训练过程的batch-size设为32，使用adam算法来优化总体参数，学习率设置为0.0001，并使用steplr机制调整学习率，训练100epoch后模型收敛。
[0129]
(2)仿真结果
[0130]
本发明将提出的方法与经典的resnet网络在相同的数据集上进行了对比实验。使用图像分类中常用的准确率accuracy，敏感度sensitivity，特异度specificity指标来对模型进行评估；
[0131][0132]
从上表中可以看出，本发明的方法相对于resnet具有更优的效果，很好地提升了分类的性能，能够更好地应用在肠道病灶的辅助诊断上，具有更好的实际工程应用价值。
[0133]
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。