基于通道注意力深度学习的医学图像分类系统

1.本发明涉及医学图像分类技术领域，特别是涉及基于通道注意力深度学习的医学图像分类系统。


背景技术：

2.本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
3.结构磁共振成像(smri，structural magnetic resonance imaging)已被用于无创检测脑萎缩过程中大脑结构的改变。现有基于结构磁共振成像的计算机辅助诊断任务方法通常包含三个基本步骤:(1)确定感兴趣区域(roi)，(2)提取特征，(3)构建分类模型。在分类模型构建领域，机器学习技术旨在识别诊断阿尔茨海默病的神经影像学生物标志物，如支持向量机、logistic回归等。然而，这些方法普遍存在一些缺点，制约了诊断性能的提高。深度卷积神经网络(dcnn deep convolutional neural networks)方法在提取最合适的鉴别特征的过程中可以减少人工专业知识的限制，已经被用于解决复杂的医学诊断问题。卷积神经网络(cnn，convolutional neural networks)也成为发展脑疾病诊断的一种先进的计算机辅助诊断系统(cad，computer aided diagnosis)方法。最近的研究表明，深度学习算法在预测阿尔茨海默病方面的性能优于临床专家。因此，发展和改进预测方法具有重要意义。
4.目前研究的主要几种方法分为：(1)基于全局图像的方法，(2)基于感兴趣区域(roi，region of interest)的方法，(3)基于切片的方法，(4)基于块的方法。基于全局图像的方法，有很大的特征维数，计算量大，计算时间长，且有很多冗余的特征；基于感兴趣区域的方法一般研究海马体的区域，虽然阿尔茨海默病的主要脑部结构变化特征位于海马体，但其他脑区也会有相应变化，仅使用海马体区域作为特征会缺失一部分重要信息；而基于切片的方法是采用部分信息量较大的某几张或几十张切片作为特征，虽然在特征维度方面有了很大的降维，但会缺失某些重要特征区域的切片，信息的缺失会造成诊断的干扰。


技术实现要素：

5.为了解决现有技术的不足，本发明提供了基于通道注意力深度学习的医学图像分类系统；基于对原始smri图像预处理提取特征结合深度卷积神经网络提高预测分类的性能。
6.第一方面，本发明提供了基于通道注意力深度学习的医学图像分类系统；
7.基于通道注意力深度学习的医学图像分类系统，包括：
8.获取模块，其被配置为：获取待分类的大脑结构磁共振成像(smri，structural magnetic resonance imaging)，对获取图像进行图像分割得到待分类灰质图像；
9.判断模块，其被配置为：对待分类灰质图像与已知健康对照组图像进行检验操作，判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标；
10.特征表示模块，其被配置为：基于具有显著性差异的体素坐标，构建图像的特征表
示；
11.图像分类模块，其被配置为：对图像的特征表示，采用训练后的分类器进行分类，得到图像分类结果。
12.第二方面，本发明还提供了一种电子设备，包括：
13.存储器，用于非暂时性存储计算机可读指令；以及
14.处理器，用于运行所述计算机可读指令，
15.其中，所述计算机可读指令被所述处理器运行时，执行以下步骤：
16.获取待分类的大脑结构磁共振成像，对获取图像进行图像分割得到待分类灰质图像；
17.对待分类灰质图像与已知健康对照组图像进行检验操作，判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标；
18.基于具有显著性差异的体素坐标，构建图像的特征表示；
19.对图像的特征表示，采用训练后的分类器进行分类，得到图像分类结果。
20.第三方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行以下步骤：
21.获取待分类的大脑结构磁共振成像，对获取图像进行图像分割得到待分类灰质图像；
22.对待分类灰质图像与已知健康对照组图像进行检验操作，判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标；
23.基于具有显著性差异的体素坐标，构建图像的特征表示；
24.对图像的特征表示，采用训练后的分类器进行分类，得到图像分类结果。
25.第四方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候执行以下步骤：
26.获取待分类的大脑结构磁共振成像，对获取图像进行图像分割得到待分类灰质图像；
27.对待分类灰质图像与已知健康对照组图像进行检验操作，判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标；
28.基于具有显著性差异的体素坐标，构建图像的特征表示；
29.对图像的特征表示，采用训练后的分类器进行分类，得到图像分类结果。
30.与现有技术相比，本发明的有益效果是：
31.基于t检验的图像特征块的提取避免了全局图像特征提取冗余、感兴趣区域和切片特征的信息丢失的弊端，能够提取最小体积包含最丰富的信息量的特征块进行疾病的诊断。
32.通过深度学习resnet网络与ses block通道注意力的结合，增强卷积神经网络对图像块的特征提取，使网络更贴合我们的数据，从而提高了预测分类的准确率。
附图说明
33.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
34.图1为本公开实施例一提供的基于通道注意力深度学习的阿尔茨海默病分类方法流程图；
35.图2为本公开实施例一提供的基于注意力机制的resnet50网络框架；
36.图3为本公开实施例一提供的该网络中小卷积块的具体操作流程；
37.图4为本公开实施例一提供的基于通道注意力深度学习的阿尔茨海默病诊断分类方法流程图。
具体实施方式
38.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
39.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
40.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
41.本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
42.实施例一
43.本实施例提供了基于通道注意力深度学习的医学图像分类系统；
44.如图1和图4所示，基于通道注意力深度学习的医学图像分类系统，包括：
45.获取模块，其被配置为：获取待分类的大脑结构磁共振成像(smri，structural magnetic resonance imaging)，对获取图像进行图像分割得到待分类灰质图像；
46.判断模块，其被配置为：对待分类灰质图像与已知健康对照组图像进行检验操作，判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标；
47.特征表示模块，其被配置为：基于具有显著性差异的体素坐标，构建图像的特征表示；
48.图像分类模块，其被配置为：对图像的特征表示，采用训练后的分类器进行分类，得到图像分类结果。
49.进一步地，所述对获取图像进行图像分割得到待分类灰质图像；具体包括：
50.对获取图像，进行ac-pc校正；
51.对ac-pc校正后的图像进行去噪处理；
52.对去噪处理后的图像进行偏差校正；
53.对偏差校正后的图像进行组织分割；
54.对组织分割后的图像进行空间标准化处理；
55.对空间标准化处理后的图像进行调制处理。
56.应理解地，ac-pc:为前连合(anterior commissure,ac)后缘中点至后连合
(posterior commissure,pc)前缘中点的连线，又称ac-pc线。
57.偏差校正，是指消除由于扫描仪磁场强度的不均导致mr图像上的亮度差异。
58.组织分割，是指将校正后的图像分割出灰质(gm,gray matter)，白质(wm，white matter)两种脑组织的图像。
59.空间标准化处理，是指，将图像标准化到大小为121
×
145
×
121的mni空间，mni空间是蒙特利尔神经研究所(mni,montreal neurological institute)根据一系列正常人脑的磁共振图像而建立的坐标系统，空间标准化是将所有图像与标准模板进行维度，原点，体素大小进行对齐。
60.进一步地，所述去噪处理，是使用自适应非局部均值(nlm)滤波器进行处理。
61.进一步地，所述调制处理，采用雅克比行列式相乘法调制。
62.示例性地，使用matlab中基于统计参数映射工具包(spm,statistical parametric mapping)的计算解剖学工具箱(cat12，computational anatomy toolbox)进行预处理，首先使用spm-display进行前连合(ac)-后连合(pc)校正，消除个体在扫描mr图像时的头动偏差。对齐所有图像后，使用计算解剖学工具箱(cat12，computational anatomy toolbox)进行下一步的处理：由于原始mr图像是包含头骨的，我们需要去除头骨和切除小脑操作；去噪、去偏差、t1全局强度校正，mr图像通常是被平滑的、空间变化的伪影所破坏，这些伪影虽然不是视觉检查的问题，但会阻碍图像的自动处理，本操作使用自适应非局部均值(nlm)滤波器校正噪声；组织分割，将每个mr图像分割出灰质gm图像；再将所有被试gm图像配准到蒙特利尔神经研究所(mni，montreal neurological institute)的标准模板中，从而使每个被试图像对齐以进行下一步的比较；最后进行调制规范化，“调制”是为了补偿空间规格化的影响，空间归一化会导致仿射变换(全局尺度)和非线性翘曲(局部体积变化)引起体积变化。调制后得到的调制图像保留了归一化分区中灰质信号的总量。因此，经过调制后对gm灰质图像进行了体积校正。
63.进一步地，所述对待分类灰质图像与已知健康对照组图像进行检验操作，判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标；具体包括：
64.对待分类灰质图像与已知健康对照组图像进行双样本t检验(two sample t-test)操作，通过t分布理论预测差异发生的概率，从而判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标。
65.健康对照组，是指未患阿尔兹海默病的人群。
66.应理解地，使用two-sample t-test，t检验通过t分布预测差异发生的概率，考虑数据的平均值和方差，判断两组独立样本之间是否存在显著性差异。
67.进行双样本t检验操作具体包括：使用spm12(statistical parametric mapping12)工具箱进行双样本t检验,对所有被试样本的每一个体素建立相同的双样本t检验统计模型。计算每一个体素的t值，在一定显著水平下，进行统计检验得到p《0.05的差异点坐标。p值表示显著性水平，当p值小于0.05是该点是具有显著性差异的。
68.进一步地，所述基于具有显著性差异的体素坐标，构建图像的特征表示；具体包括：
69.从灰质图像中具有显著性差异的体素坐标处提取出x
×y×
z的3d图像，并且将所有图像块拼接作为图像的特征表示；
70.其中，x表示3d图像的长，y表示3d图像的宽，z表示3d图像的高；x,y和z的取值均为20体素。
71.根据t检验后得到的具有显著性差异的体素的坐标值，从gm灰质图像中从对应坐标处提取出20
×
20
×
20的3d图像，并且将所有图像块拼接并重修形状(reshape)成224
×
224
×
3的图像作为特征图像的表示。
72.进一步地，所述对图像的特征表示，采用训练后的分类器进行分类，得到图像分类结果；其中，分类器为改进的残差网络resnet50。
73.进一步地，所述训练后的分类器，训练步骤包括：
74.构建训练集，所述训练集为已知医学图像分类标签的图像特征表示；
75.将训练集输入到分类器中，对分类器进行训练，得到训练后的分类器。
76.进一步地，如图2所示，所述改进的残差网络resnet50，是指，以原始残差网络resnet50为基础网络，原始残差网络resnet50分为依次连接的第一大卷积块、第二大卷积块、第三大卷积块、第四大卷积块、第五大卷积块、平均池化层、全连接层和激活函数层；
77.其中，第一大卷积块，包括：依次连接的卷积层、归一化层、激活函数层和池化层；
78.其中，第二大卷积块，包括：依次连接的3个小卷积块；
79.其中，第三大卷积块，包括：依次连接的4个小卷积块；
80.其中，第四大卷积块，包括：依次连接的6个小卷积块；
81.其中，第五大卷积块，包括：依次连接的3个小卷积块；
82.如图3所示，每个小卷积块cses(convolution ses block)，是指残差结构，其中，残差结构包括：卷积模块(convolutionblock)，注意力模块(ses block)，卷积模块与注意力模块连接构成残差结构；残差结构的输入端与注意力模块的输出端相乘，得到的乘积再与输入端再进行相加的运算，并得到残差结构的输出。
83.如图3所示，所述残差结构，包括：卷积模块和通道注意力模块，其中，卷积模块依次包括卷积层c1，归一化层c2，激活函数层c3，卷积层c4，归一化层c5，激活函数层c6，卷积层c7，归一化层c8，激活函数层c9；所述通道注意力模块，包括依次连接的池化层a1、全连接层a2、全连接层a3和激活函数层a4；其中，池化层a1的输入端与激活函数层c9的输出端连接。
84.示例性地，构建深度卷积神经网络，以残差网络resnet50作为基础网络，已知resnet50是由50层卷积组成，分为四个大卷积块，每个大卷积块中又分有3、4、6、3个小卷积块；每个小卷积块，由1*1，3*3，1*1的卷积组成，且有残差结构，在残差结构中每个卷积块的后面加入压缩激励(ses，squeeze-excitation-softmax)模块，他使用池化层作为压缩(squeeze)操作。压缩激励模块(ses，squeeze-excitation-softmax)，一种通道注意力机制，用于提取每个通道的重要性权重。
85.全连接层构建通道间的相关性，作为激励(excitation)操作。再通过一个激活函数sotfmax归一化指数函数进行数值归一化，作为权重，加权到每个通道中，ses(squeeze-excitation-softmax)模块完成了获取每个特征通道的重要程度，通过这个重要程度提升有用的特征并抑制作用不大的特征。最终通过两个全连接层(fully connected layer)和一个softmax层进行预测分类。
86.构建深度学习卷积网络(deep learning cnn)，本技术以残差网络resnet50作为
骨干网络，已知resnet50是由50层卷积组成，分为五个大卷积块，第一个大卷积块是对input的预处理，具有卷积层、bn层和pooling层，后面四个大卷积块中又分有3、4、6、3个小卷积块，每个卷积块中由1*1，3*3，1*1的卷积以及相应的归一化(bn，batch normalization)层和激活函数组成。且每个小卷积块都有残差模块(residual block)，使用残差结构可以构建较深的网络。在此基础上进行了创新和改进，在残差结构中每个卷积模块的后面加入ses模块，使用池化层作为squeeze操作，对c
×h×
w进行全局平均池化，得到1
×1×
c的特征图。全连接层构建通道间的相关性，作为excitation操作，全连接层可以增加特征图的非线性特性。再通过一个激活函数执行归一化，作为权重，加权到每个通道中。se模块完成了获取每个特征通道的重要程度，通过这个重要程度提升有用的特征并抑制作用不大的特征。此dcnn网络的最终端通过两个全连接层和一个softmax层进行预测分类。
87.经过以上步骤的预处理，特征提取和分类预测，得到较有优势的精度。
88.为了验证本实施例方案的有效性，与其他方法进行对比。
89.具体实验通过ad/nc二分类和ad/nc/mci三分类对该技术进行验证有效性。
90.表1对比使用ses-resnet和resnet及迁移学习resnet的结果
[0091][0092]
表2在相同数据集与其他先进方法的比较
[0093][0094]
可以看出，本技术所提出的模型对于阿尔兹海默病的诊断分类很有优势，此模型得到的分类性能优于其他方法，在于目前先进的方法比较中获得了较好的效果，本实施例
方法在阿尔兹海默病预测分类中得到的分类性能大幅度提升。
[0095]
所述构建深度卷积神经网络具体包括：以resnet50网络为骨干网络，在此网络的每一个残差模块中加入通道注意力模块，包括全局池化层、两个全连接层、激活函数层。
[0096]
使用vbm分析的方法，先将图像预处理，得到每个样本的灰质图像，对训练集进行双样本t检验，找出p《0.05的显著性差异区域的坐标，从中选择24个坐标，并以这些坐标为中心提取20
×
20
×
20的图像块进行拼接作为新的图像作为深度卷积神经网络的输入。神经网络通过添加通道注意力模块提取每个通道的特征重要性，由此得到的特征重要性作为权重与本块的输入相乘并相加，提升有用的特征的重要程度并抑制作用不大的特征。作为一种有效检测阿尔茨海默病的方法。
[0097]
实施例二
[0098]
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行以下步骤：
[0099]
获取待分类的大脑结构磁共振成像，对获取图像进行图像分割得到待分类灰质图像；
[0100]
对待分类灰质图像与已知健康对照组图像进行检验操作，判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标；
[0101]
基于具有显著性差异的体素坐标，构建图像的特征表示；
[0102]
对图像的特征表示，采用训练后的分类器进行分类，得到图像分类结果。
[0103]
实施例三
[0104]
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，执行以下步骤：
[0105]
获取待分类的大脑结构磁共振成像，对获取图像进行图像分割得到待分类灰质图像；
[0106]
对待分类灰质图像与已知健康对照组图像进行检验操作，判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标；
[0107]
基于具有显著性差异的体素坐标，构建图像的特征表示；
[0108]
对图像的特征表示，采用训练后的分类器进行分类，得到图像分类结果。
[0109]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。