一种利用CT图像检测骨质疏松的方法及装置与流程

一种利用ct图像检测骨质疏松的方法及装置
技术领域
1.本发明属于人工智能和医疗技术领域，具体地说，涉及一种利用ct图像检测骨质疏松的方法及装置。


背景技术：

2.临床上对骨质疏松症的诊断基本都是医生目测患者的医学影像进行判断，由于腰椎上的表现比较显著，所以通常以腰椎作为代表来诊断患者全身骨质状况。但是，这种方式诊断的准确率依赖于医生本人的工作经验，对于经验不丰富的年轻医生，诊断结果存在一定的主观误差。而成熟的医生培养周期长，难以迅速满足日益增长的医疗需求。


技术实现要素：

3.针对现有技术中上述的不足，本发明提供了一种利用ct图像检测骨质疏松的方法及装置，实现对骨质疏松的自动诊断，提高诊断准确率，缓解医疗资源紧张的局面。
4.为了达到上述目的，本发明采用的解决方案是：一种利用ct图像检测骨质疏松的方法，包括以下步骤：
5.a1、采集获取患者的腰椎样本ct图像，获取训练好的超分辨率重建网络，将所述腰椎样本ct图像输入所述超分辨率重建网络，利用所述超分辨率网络输出获得腰椎重建图像，所述腰椎重建图像的分辨率大于所述腰椎样本ct图像的分辨率；
6.a2、训练resnet18，然后获取训练好的resnet18，将所述腰椎重建图像输入训练好的所述resnet18，通过所述resnet18对所述腰椎重建图像分类，实现对患者身体骨质疏松状况的检测；
7.所述超分辨率重建网络包括：
8.浅层特征提取单元，所述浅层特征提取单元位于所述超分辨率重建网络的的前端，所述浅层特征提取单元用于提取获得所述腰椎样本ct图像的浅层特征图；
9.深层特征提取单元，所述深层特征提取单元设于所述浅层特征提取单元的下游端，所述深层特征提取单元用于对所述浅层特征图进行特征提取，获得深层特征图；所述深层特征提取单元包括msrb模块和aemsrb模块，多个所述msrb模块首尾顺次连接，多个所述aemsrb模块首尾顺次连接，所述aemsrb模块连接于所述msrb模块的下游端，所述msrb模块与aemsrb模块前后对称设置，所述msrb模块输出的特征图还通过短跳连输入与其对称设置的aemsrb模块中；
10.图像重构单元，所述图像重构单元设于所述深层特征提取单元的下游端，所述图像重构单元用于接收所述深层特征图并进行超分辨率重建，输出获得所述腰椎重建图像。
11.进一步地，所述msrb模块的数学模型可表示为如下公式：
12.l1＝[σ1(f
13
(k
n-1
)),σ2(f
15
(k
n-1
))]
[0013]
l2＝[σ3(f
23
(l1)),σ4(f
25
(l1))]
[0014]kn
＝f
11
(l2)+k
n-1
[0015]
其中，k
n-1
作为输入所述msrb模块的特征图，kn为所述msrb模块输出的特征图，f
13
和f
23
均表示卷积核大小为3*3的卷积操作，f
15
和f
25
均表示卷积核大小为5*5的卷积操作，f
11
表示卷积核大小为1*1的卷积操作，σ1、σ2、σ3和σ4均表示非线性激活函数relu，[
·
]表示对其中的特征图在通道方向上进行拼接操作。
[0016]
当浅层特征图的通道数量为64时，在msrb模块内部，靠近输入端的3*3卷积层和5*5卷积层先进行特征提取，输出的特征图均为64通道，拼接后的l1为128通道。然后靠近输出端的3*3卷积层和5*5卷积层再次进行特征提取，输出的特征图通道数均为128，拼接后的l2通道数量为256。然后利用1*1的卷积层进行降维，输出通道数量为64的特征图，使得输入和输出msrb的特征图通道数量相同。在msrb内部设置了残差连接，便于模型训练，同时避免梯度消失。
[0017]
进一步地，所述aemsrb模块的数学模型可表示为如下公式：
[0018]
f1＝σ
a1
(f
a13
(n
n-1
))
[0019]
f2＝σ
a2
(f
a15
(n
n-1
))
[0020]
f3＝f
ca
(f
mfm
(f1,f2,k
x
))
[0021]
f4＝fr([f1,f2],f3)
[0022]
f5＝[σ
a3
(f
a23
(f4)),σ
a4
(f
a25
(f4)),k
x
]
[0023]nn
＝σ
a5
(f
a11
(f5))+n
n-1
[0024]
其中，k
x
和n
n-1
同时作为输入所述aemsrb模块的特征图，k
x
代表与该aemsrb模块对称的msrb模块输出的特征图，nn为所述aemsrb模块输出的特征图，f
a13
和f
a23
均表示卷积核大小为3*3的卷积操作，f
a15
和f
a25
均表示卷积核大小为5*5的卷积操作，f
a11
表示卷积核大小为1*1的卷积操作，σ
a1
、σ
a2
、σ
a3
、σ
a4
和σ
a5
均表示非线性激活函数relu，[
·
]表示对其中的特征图在通道方向上进行拼接操作，f
mfm
表示mfm融合模块，所述mfm融合模块用于将f1、f2和k
x
融合，f
ca
表示通道注意力模块，fr([f1,f2],f3)表示f1与f2拼接后、再与f3融合。
[0025]
aemsrb模块内部的特征图通道数量变化与msrb内部相似，第一次特征提取后输出的特征图f1和f2的通道数量均为64，拼接后二次特征提取，最后利用1*1卷积层降维为64。通过短跳连输入aemsrb模块的特征图，同时输入mfm模块和aemsrb模块尾部。
[0026]
进一步地，所述mfm模块可表示为如下公式：
[0027]fm1
＝σ
m1
(f
m1
([f1,f2,k
x
]))
[0028]fm2
＝σ
m2
(f1+f2)
[0029]fm
＝σ
m3
(f
m3
([f
m1
,f
m2
]))
[0030]
其中，f1、f2和k
x
三个特征图均为所述mfm融合模块的输入，特征图fm为所述mfm融合模块的输出，f
m1
表示卷积核大小为1*1的卷积操作，f
m3
表示卷积核大小为3*3的卷积操作，σ
m1
、σ
m2
和σ
m3
均表示非线性激活函数relu，[
·
]表示对其中的特征图进行拼接操作。
[0031]
在mfm模块内部，输入的f1、f2和k
x
通道数量均为64，三者拼接后通道数量为192，然后1*1卷积降维为64。另一方面，f1、f2相加激活，得到通道数量为64的特征图。最后再拼接，并利用3*3卷积特征提取，输出的特征图fm通道数量为128。考虑到不同aemsrb模块中f1、f2包含的信息层次不同，通过短跳连输入不同mfm模块中的特征图所包含信息的层次也不同，所以本发明采用上述mfm模块结构设计，使得输入mfm模块的f1、f2和前端特征信息能够自适应地融合，最大程度地保留不同通道之间的关联信息，保证通道注意力模块的校准
效果。
[0032]
进一步地，所述通道注意力模块包括第一支路和第二支路，所述第一支路包括顺次连接的全局最大池化层、第一全连接层、relu激活函数、第二全连接层和sigmoid激活函数，所述第一支路以所述mfm融合模块输出的特征图作为输入，生成输出第一通道注意力图；所述第二支路包括顺次连接的全局中值池化层、第三全连接层、relu激活函数、第四全连接层和sigmoid激活函数，全局中值池化层是求特征图通道方向各图层的中位数，所述第二支路以所述mfm融合模块输出的特征图作为输入，生成输出第二通道注意力图。
[0033]
第一支路和第二支路中均包含两个全连接层，第一支路和第二支路的第一个全连接层的输入结点都为128个，输出结点都为48个，第二全连接层输入结点都为48个，输出结点都为128个。
[0034]
进一步地，特征图f1与特征图f2拼接后得到的特征图，先与所述第一通道注意力图通过矩阵乘法融合，得到增强特征图，然后所述增强特征图再与所述第二通道注意力图通过矩阵乘法融合，得到特征图f4。
[0035]
进一步地，所述深层特征提取单元还设有长跳跃连接，所述浅层特征图通过所述长跳跃连接与最后一个所述aemsrb模块输出的特征图通过元素求和实现融合。
[0036]
在本发明中，除亚像素卷积层外，其余卷积操作过程中，步长均为1，卷积操作前后特征图长宽尺寸不变。
[0037]
本发明还提供了一种利用ct图像检测骨质疏松的装置，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的利用ct图像检测骨质疏松的方法。
[0038]
本发明的有益效果是：
[0039]
(1)现有基于深度学习的超分辨率重建网络中，都是利用一个模块来一次性融合所有尺度的特征信息，融合效果有限，本发明针对ct图像的特点，对网络结构进行了优化，设置前后对称的msrb模块和aemsrb模块，网络前半部分提取获得的特征通过短跳连多次逐步地与网络后半部分的特征进行融合，降低了融合时信息尺度的差异，不仅实现了对网络前端特征的重复利用、降低了内存占用，而且特征融合效果更好，通过超分辨率网络使得输入resnet18的图像质量更高，有利于提升resnet18对图像分类结果的准确率，进而提升对患者身体骨质疏松状况检测的准确率，满足实际诊疗的需要，缓解医疗资源紧张的局面；
[0040]
(2)在msrb模块和aemsrb模块中，都利用不同大小的卷积核去充分提取特征，为了尽可能多地提取有用信息，位于网络前端的msrb模块中没有注意力机制，msrb模块能够充分提取各种信息，而位于网络后端的aemsrb模块中设置了通道注意力模块，通过注意力模块对提取到的信息进行筛选；与每个特征提取模块均设置注意力机制相比，本发明所述提供的网络既拥有了更高效率的特征提取，而且参数量和运算量也更少；
[0041]
(3)本发明利用mfm模块将网络前端的信息与aemsrb模块中的特征图融合，这样输入通道注意力模块中的信息跨越不同的尺度，输入通道注意力模块的特征图具有更大的视野，生成的注意力图对于整个网络最终的输出而言，具有更好的校准效果，有利于提升腰椎重建图像的质量；
[0042]
(4)在本发明中，通道注意力模块的第二支路采用全局中值池化层，而不是常规的全局平均池化，这样第二支路具有学习边缘和纹理结构的能力，同时抗噪声能力比较强，能
够显著提升超分辨率重建效果；
[0043]
(5)常规通道注意力机制中，不同支路产生的向量先通过相加融合，再利用sigmoid激活，最后一次性地对特征图进行调制，这种方式并没有充分利用各个支路中所产生的信息，削弱了校准效果，在本发明中，不同支路所产生的注意力图先后两次对特征图进行调制，而且包含全局最大池化层的第一支路在前，第二支路在后，形成叠加效应，提升对特征图的调制准确率，从而提升重建效果。
附图说明
[0044]
图1为本发明的图像超分辨率重建网络结构示意图；
[0045]
图2为本发明的msrb模块内部结构示意图；
[0046]
图3为本发明的aemsrb模块内部结构示意图；
[0047]
图4为本发明的mfm模块内部结构示意图；
[0048]
图5为本发明的第一支路内部结构示意图；
[0049]
图6为本发明的第二支路内部结构示意图；
[0050]
图7为本发明的图像重构单元内部结构示意图；
[0051]
附图中：
[0052]
1-腰椎样本ct图像，2-浅层特征提取单元，3-深层特征提取单元，31-msrb模块，32-aemsrb模块，321-mfm融合模块，322-通道注意力模块，323-第一支路，324-第二支路，33-短跳连，34-长跳跃连接，4-图像重构单元，5-腰椎重建图像。
具体实施方式
[0053]
以下结合附图对本发明作进一步描述：
[0054]
实施例：
[0055]
在pytorch框架的基础上，利用python搭建resnet18和如图1所示的超分辨率重建网络。需要说明的是，必要时，也可以用其他图像分类网络代替resnet18。本实施例中，浅层特征提取单元2为3*3卷积层，输出的浅层特征图通道数量为64。深层特征提取单元3包括四个msrb模块31和四个对应的aemsrb模块32，短跳连33和长跳跃连接34的位置如图1所示。其中，msrb模块31的内部结构如图2所示，aemsrb模块32内部结构如图3所示，mfm融合模块321的内部结构如图4所示，通道注意力模块322的第一支路323内部结构如图5所示，第二支路324的内部结构如图6所示。图像重构单元4采用现有技术实现，其结构如图7所示，包括顺次连接的3*3卷积层、relu激活函数、亚像素卷积、3*3卷积层和relu激活函数。
[0056]
获取高清的ct图像作为训练集和测试集，通过下采样来获得对应的低分辨率图像。训练集和测试集中均以t值反应骨质状况信息，不同t值大小的骨质疏松、骨量低下和正常均被包含在训练集和测试集中。根据t值大小范围，将图像分为不同的种类。resnet18最后输出的种类数与图像种类总数相同，应用时，resnet18将各个图像分到不同的类别中，不同的类别代表不同的t值大小，从而实现对患者骨质疏松状况的检测。
[0057]
利用训练集及其下采样后的图像训练超分辨率重建网络，下采样后的低分辨率图像作为腰椎样本ct图像1，损失函数采用l1损失函数。利用原本高清的训练集图像及其t值标注信息训练resnet18，损失函数采用交叉熵。
[0058]
训练完成后，将下采样后的测试集图像输入训练完成的超分辨率重建网络，输出得到腰椎重建图像5。然后将该腰椎重建图像5输入训练完成的resnet18，计算模型分类的准确率，其结果为99.36％。
[0059]
本实施例还进行了对比实验，在控制其他因素与上面实验完全相同的情况下，把aemsrb模块32中的mfm融合模块321和通道注意力模块322去掉，结果resnet18输出的准确率为97.44％。由此可以看出，mfm融合模块321和通道注意力模块322对超分辨率重建效果具有促进作用。同样地，在控制其他因素与上面实验完全相同的情况下，把超分辨率重建网络替换为现有的msrn模型，该msrn模型中包含八个msrb模块31，最后resnet18输出分类的准确率为92.79％。由此可以看出，与现有技术相比，本发明所提供的方法具有突出的效果和实质的进步。
[0060]
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。