一种基于CT图像检测骨质状况的方法及电子设备与流程

一种基于ct图像检测骨质状况的方法及电子设备
技术领域
1.本发明属于医疗技术领域，具体地说，涉及一种基于ct图像检测骨质状况的方法及电子设备。


背景技术：

2.骨质疏松症(op)是一种以低骨量和骨组织微结构破坏为特征的全身骨代谢性疾病，临床表现为骨骼疼痛和易于骨折。由于不同的骨质密度对x射线吸收存在差异，所以可以通过腰椎ct图像对骨质疏松进行量化诊断。有研究表明(如申请号为201910913768.0的发明专利)，利用人工智能技术，能够对ct图像中的腰椎骨质状况进行自动检测。但是，受设备性能和成本等客观因素的影响，原始ct图像分辨率通常比较低，这对神经网络分类效果产生了较大的不利影响，进而限制了最终骨质状况检测的精度和准确率。


技术实现要素：

3.针对现有技术中上述的不足，本发明提供了一种基于ct图像检测骨质状况的方法及电子设备，以提高神经网络对骨质状况检测的精度和准确率。
4.为了达到上述目的，本发明采用的解决方案是：一种基于ct图像检测骨质状况的方法，包括以下步骤：
5.a1、获取原始腰椎ct图像，获取训练好的超分辨率重建网络，所述超分辨率重建网络包括初步特征提取模块、多通道特征提取模块、mf融合模块和图像重建模块，所述mf融合模块包括多个子模块，所述子模块与所述多通道特征提取模块对应设置；
6.a2、将所述原始腰椎ct图像输入所述超分辨率重建网络，先利用所述初步特征提取模块对所述原始腰椎ct图像进行特征提取，得到初步特征图；
7.a3、所述初步特征图顺次经过多个所述多通道特征提取模块，前一个多通道特征提取模块输出的特征图作为其后面一个多通道特征提取模块的输入，提取各个所述多通道特征提取模块输出的特征图；
8.a4、位于所述mf融合模块头部的子模块同时以所述初步特征图和靠近所述初步特征提取模块的多通道特征提取模块输出的特征图作为输入，下游的各个所述子模块依次将与自身对应的多通道特征提取模块输出的特征图和上游子模块输出的特征图融合，最终输出得到中间特征图；
9.a5、将所述中间特征图输入所述图像重建模块，利用所述图像重建模块对所述中间特征图进行超分辨率重建，获得分辨率大于所述原始腰椎ct图像的腰椎超分图像；
10.a6、获取训练好的图像分类网络，将所述腰椎超分图像输入所述图像分类网络，利用所述图像分类网络对所述腰椎超分图像进行分类，以获取所述腰椎超分图像中对应腰椎的骨质状况信息。
11.进一步地，所述多通道特征提取模块的数学模型可表示为如下公式：
12.f1＝σ1(f
31
(m))
13.f2＝σ2(f
32
(m))
14.f3＝σ3(f
33
(m))
15.f4＝[f1,σ4(f
34
(f2)),σ5(f5(f3))]
[0016]
f5＝σ6(f1(f4))
[0017]
f6＝f
ca
(f1,f2,f3)
[0018]
n＝f
ml
(f5,f6)+m
[0019]
其中，m为输入所述多通道特征提取模块的特征图，f
31
、f
32
、f
33
和f
34
均表示卷积核大小为3*3的卷积操作，f5表示卷积核大小为5*5的卷积操作，f1表示卷积核大小为1*1的卷积操作，σ1、σ2、σ3、σ4、σ5和σ6均表示非线性激活函数relu，[
·
]表示对其中的特征图进行拼接操作，f
ca
表示通道注意力模块，f1、f2和f3作为所述通道注意力模块的输入，f6表示所述通道注意力模块生成输出的通道注意力图，f
ml
(f5,f6)表示将通道注意力图f6与特征图f5做乘法操作，n为所述多通道特征提取模块输出的特征图。
[0020]
进一步地，所述通道注意力模块的数学模型为：
[0021]fa1
＝σ
a1
(f
a1
([f1,f2,f3]))
[0022]
f6＝δ(f
a3
(σ
a2
(f
a2
(pv(f
a1
)))))
[0023]
其中，f1、f2和f3为输入所述通道注意力模块的特征图，[
·
]表示对其中的特征图进行拼接操作，f
a1
表示卷积核大小为1*1的卷积操作，σ
a1
和σ
a2
均表示非线性激活函数relu，pv表示全局方差池化操作，f
a2
和f
a3
均表示全连接操作，δ为sigmoid激活函数，f6为所述通道注意力模块输出的所述通道注意力图。通道注意力模块中，先利用卷积核大小为1*1的卷积操作对输入的特征图进行降维操作，降低特征图的通道数量，这个过程中，实现了信息在不同通道上的交换，最终生成的通道注意力图对不同信息的调制效果更加准确。
[0024]
进一步地，所述子模块的数学模型为：
[0025]
fs1＝σ
s1
(f
s1
(k1+k2))
[0026]
fs2＝σ
s2
(f
s2
(k2))
[0027]
fs＝σ
s3
(f
s3
([k1,fs1,fs2]))
[0028]
其中，k1表示所述初步特征图或上游子模块输出的特征图，k2表示与所述子模块对应的多通道特征提取模块输出的特征图，k1和k2作为所述子模块的输入，f
s1
表示卷积核大小为3*3的卷积操作，f
s2
表示卷积核大小为3*3的可变形卷积操作，f
s3
表示卷积核大小为1*1的卷积操作，σ
s1
、σ
s2
和σ
s3
均表示非线性激活函数relu，[
·
]表示对其中的特征图进行拼接操作，fs为所述子模块输出的特征图。
[0029]
进一步地，所述图像重建模块包括前端卷积层、第一激活函数、亚像素卷积层、后端卷积层和第二激活函数，所述中间特征图顺次经过所述前端卷积层、所述第一激活函数、所述亚像素卷积层、所述后端卷积层和所述第二激活函数后，生成所述腰椎超分图像。
[0030]
进一步地，所述图像分类网络为vgg16。
[0031]
本发明还提供了一种基于ct图像检测骨质状况的电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的基于ct图像检测骨质状况的方法。
[0032]
本发明的有益效果是：
[0033]
(1)采用超分辨率网络对腰椎ct图像进行超分辨率重建，提升腰椎ct图像的分辨
率，同时去除相当部分原始ct图像中的噪音，提高了输入分类网络的图像质量，提升分类网络对输入图像分类的准确率，从而提升了骨质状况检测的精度和准确率；
[0034]
(2)现有的超分辨率网络都是通过一个瓶颈层一次性进行特征融合，由于输入瓶颈层的特征信息跨越多个尺度，而且大量混杂的信息同时输入，使得瓶颈层融合特征的效果并不理想，本发明的mf融合模块中设有多个子模块，同时输入一个子模块的不同特征信息尺度跨域不大，利用多个子模块以渐进的方式去融合不同尺度的特征信息，提高特征融合模块对无用信息的过滤效果，保留更多对图像重建有用的信息；
[0035]
(3)现有的一些网络模型为了减少特征传递过程中的干扰信息，在特征提取主干里面使用可变形卷积，当模型深度较大时，存在细节缺失的问题，这对于超分辨率网络重建出纹理细节信息极为不利，本发明在特征提取主干中(即初步特征提取模块和多通道特征提取模块中)没有采用可变形卷积，而是在子模块中使用可变形卷积，避免了主干特征提取过程中大量丢失细节，同时对干扰信息具有很好的去除效果，特征提取效果好；
[0036]
(4)考虑到超分辨率重建的目的是尽可能地恢复图像中的细节信息，与分类和语义分割等任务相比，超分辨率重建的任务层次更低，所以在多通道特征提取模块中，通道注意力模块的输入来自不同通道的第一个卷积层输出，而不是来自多通道特征提取模块的后部，这样输入通道注意力模块的特征信息抽象程度相对更低，生成的通道注意力图对不同信息的调制效果更好，有利于提升腰椎ct图像的超分辨率重建效果；基于同样的考虑，在通道注意力模块内部，还以全局方差池化代替了常规的全局平均池化。
附图说明
[0037]
图1为本发明的图像超分辨率重建网络结构示意图；
[0038]
图2为本发明的多通道特征提取模块结构示意图；
[0039]
图3为本发明的子模块结构示意图；
[0040]
图4为本发明的图像重建模块结构示意图；附
[0041]
图中：
[0042]
1-原始腰椎ct图像，2-腰椎超分图像，3-初步特征提取模块，4-多通道特征提取模块，41-通道注意力模块，5-mf融合模块，51-子模块，52-可变形卷积层，6-图像重建模块，61-前端卷积层，62-亚像素卷积层，63-后端卷积层。
具体实施方式
[0043]
以下结合附图对本发明作进一步描述：
[0044]
实施例：
[0045]
获取带有人类专家标注骨质状况的腰椎ct图像数据集，数据集中同时包含健康样本、不同程度骨量减少和骨组织微结构退化的样本。骨质状况以t值来表示，根据t值大小将腰椎ct图像划分为不同的种类。按照7：3的比例，将获得的腰椎ct数据集随机划分为训练集和测试集，训练集用于训练超分辨率重建网络和图像分类网络。超分辨率重建网络的结构如图1所示，包括六个多通道特征提取模块4，mf融合模块5包括六个子模块51，图像分类网络采用vgg16实现。
[0046]
制作超分辨率网络训练数据集时，先利用现有技术，对最初获得训练集中的图像
去噪，输出得到的图像作为高清腰椎ct图像。对最初获得训练集中的图像进行下采样，获得高清腰椎ct图像所对应的低分辨率图像。对超分辨率网络训练之前，先进行一次预训练，预训练数据集为div2k数据集。通过对原始div2k数据集中高分辨率图像进行下采样，获得对应的低分辨率图像。预训练完成后，导入预训练得到模型的参数，然后在上面制作得到的超分辨率网络训练数据集上对超分辨率重建网络进行训练。
[0047]
训练过程中，以l1损失函数来优化模型。下采样后的图像作为原始腰椎ct图像1输入超分辨率重建网络，先经过初步特征提取模块3，然后生成通道数量为64、长宽尺寸与原始腰椎ct图像1相同的初步特征图。初步特征提取模块3通常采用卷积核大小为3*3的卷积层实现。如图2所示，对于多通道特征提取模块4，输入该模块的特征图经过三个不同通道进行充分地特征提取，第二个通道中，两个3*3卷积串联，等效卷积核大小为5*5的卷积操作，第三个通道中，3*3与5*5卷积串联，等效卷积核大小为7*7的卷积操作。将不同通道提取到的特征拼接后，利用1*1卷积层降维，特征图的通道数量重新变为64，最终输出多通道特征提取模块4的特征图与输入该模块的特征图尺寸相同。为了提高网络模型性能，同时便于模型训练，在多通道特征提取模块4中使用了残差连接。
[0048]
对于通道注意力模块41，输入该模块的特征图拼接起来后再将通道数量降维为64，然后特征图经过全局方差池化层和全连接层，生成通道注意力图。第一个全连接层的输入结点有64个，输出结点有24个，第二全连接层输入结点为24个，输出结点为64个。
[0049]
图3为子模块51的内部结构示意图。多通道特征提取模块4输出的特征图与上游子模块51输出的特征图元素求和，经过3*3卷积层输出通道数量为64的特征图，实现第一次融合。然后将第一次融合后输出的特征图与可变形卷积层52输出的特征图、上游子模块输51出的特征图拼接，通道数量变为192，1*1卷积层降维后，通道数量变为64，实现第二次特征融合。实验表明，与常规拼接降维融合机制相比，本发明所提供的子模块51能够更好的融合不同模块输出的特征图，对关键的高频信息提取效果更好。
[0050]
对于图像重建模块6，其结构如图4所示，前端卷积层61和后端卷积层63的卷积核大小均为3*3，前端卷积层61输入特征图通道为64，输出的特征图通道数量为64z2，z为图像放大倍数。特征图经过亚像素卷积层62后，长宽尺寸扩大z倍，通道数量重新变为64，后端卷积层63输出腰椎超分图像2，通道数量为3。
[0051]
利用训练完成的超分辨率网络，对最初获得的训练集图像进行超分辨率重建，然后将重建得到的图像输入图像分类网络，结合人类专家标注的骨质状况信息对分类网络进行训练，训练过程中交叉熵作为损失函数。
[0052]
图像分类网络训练完成后，按照本发明所提供的方法，利用训练好的超分辨率网络对测试集图像进行超分辨率重建，将重建得到的腰椎超分图像2输入训练好的图像分类网络，利用图像分类网络对腰椎超分图像2进行分类，并与原本人类专家标注的数据进行比较，计算对骨质状况判断的准确率。
[0053]
作为对比实验，利用双三次插值方法提升前面去噪后的高清腰椎ct图像分辨率，通过得到的图像训练分类网络。同样地，利用双三次插值方法提升去噪后的测试集分辨率，然后在训练好的图像分类网络上进行分类。结果表明，采用本发明所提供的方法对骨质状况判断的准确率要高12.8％。
[0054]
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并
不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。