基于深度学习的骨质疏松性椎体压缩性骨折评估方法及系统

1.本发明属于深度学习和疾病诊断领域，具体涉及一种基于深度学习的骨质疏松性椎体压缩性骨折评估方法及系统。


背景技术：

2.随着人口老龄化日趋严重，骨质疏松症已成为我国面临的重要公共健康问题。骨质疏松症是以骨量减少和骨微结构破坏为特征，导致骨脆性增加而易于骨折的全身性骨骼系统疾病。骨质疏松性椎体压缩性骨折(osteoporotic vertebral compression fracture，ovcf)是指由骨质疏松症导致椎体骨密度和骨质量下降、骨强度减低，在轻微外力甚至没有明显外力的作用下即发生的骨折，是最常见的骨质疏松性骨折类型。每发生一次ovcf，预示着未来再发骨折的风险将增加。研究表明，ovcf存在明显的诊治率不足，需在临床工作中重视ovcf的筛查，及时诊治。目前临床中大多通过影像科医生人工看片的方式来主观诊断ovcf，一方面会消耗大量时间，另方面对医师的经验技术水平要求较为严格。同时，由于发病人群在健康人群中所占的比例较小，因此，数据集中正常样本与ovcf样本存在着不平衡的现象，为模型的训练任务增加了一定难度。如今，深度学习的崛起让众多计算机视觉任务得以快速的发展，很多基于卷积神经网络算法技术被应用到了医疗诊断中。


技术实现要素：

3.为了解决现有技术中存在的问题，本发明提供一种基于深度学习的骨质疏松性椎体压缩性骨折评估方法，该方法首先训练定位、分割模型对目标椎体松质骨进行先定位后分割，然后基于densenet训练，得到高精度的ovcf评估模型，模型输出结果为诊断结果及ovcf概率。有效解决存在的ovcf疾病诊断大多通过医师目视法主观判断、诊治率低的现状，一定程度上解决了数据集中正常样本与ovcf样本数据集不平衡导致训练任务困难的问题，实现了人工智能辅助医师进行ovcf评估。
4.为了实现上述目的，本发明采用的技术方案是：一种基于深度学习的骨质疏松性椎体压缩性骨折评估方法，包括以下步骤：
5.s1、获取临床中胸腰部三维ct原图像；
6.s2、对胸腰部三维ct原图像进行ct值归一化；
7.s3、基于目标椎体松质骨定位模型和分割模型对归一化处理所得图像数据集进行分割处理；所述目标椎体松质骨定位模型基于faster r-cnn结构，目标椎体松质骨分割模型基于3d-res-unet结构；
8.s4、利用分割后的图像对原图进行预处理，得到统一尺寸的图像作为输入骨质疏松性椎体压缩性骨折分类模型的数据集；
9.s5、基于骨质疏松性椎体压缩性骨折分类模型densenet对s4所得数据集进行评估得到发生骨质疏松性椎体压缩性骨折的概率；所述骨质疏松性椎体压缩性骨折评估模型为121层的3d-densenet-bc，网络的结构依次为：初始卷积层、最大池化层、第一稠密块、第一
过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块、全局平均池化层、全连接层以及softmax层。
10.基于骨质疏松性椎体压缩性骨折分类模型densenet训练过程包括以下步骤：
11.s11、采集临床中胸腰部三维ct原图像以及已标注目标椎体松质骨的三维ct标注图像；
12.s12、对胸腰部三维ct原图像进行ct值归一化；
13.s13、将归一化后图像数据集随机划分成训练集与测试集；
14.s14、训练目标椎体松质骨定位分割模型；首先训练基于faster r-cnn定位模型，使用此模型识别定位出目标椎体松质骨所在立方体区域进行粗分割，然后训练基于3d-res-unet分割模型，在定位后的图像中细分割出t12、l1、l2椎体松质骨，再填充像素0使图像尺寸为原图大小输出，得到正常样本及ovcf样本；
15.s15、利用分割模型输出图像对原图进行预处理，利用分割模型输出图像对原图进行预处理；将s12中归一化的原图与s14中得到的分割后图像像素对应相乘，获取目标椎体的松质骨纹理，非目标区域像素值变为0；完成上述操作后对图像进行裁剪，得到只含t12、l1、l2三块椎体松质骨的最小尺寸图像，然后对该图像四周填充像素0，得到统一尺寸为100
×
110
×
110的3d图像作为输入骨质疏松性椎体压缩性骨折分类模型的图像集；
16.s16、训练骨质疏松性椎体压缩性骨折分类模型densenet具体为：将s12构建的椎体松质骨图像集中训练集随机划分成四份，每次选取其中三份作为训练集，余下一份作为验证集进行四折交叉验证；训练完成后得到模型参数。
17.按照8:2的比例将归一化后图像数据集划分为训练集与测试集；定位模型、分割模型及ovcf分类模型均采用8:2的比例对数据集进行随机划分后参与模型训练；s16中，模型训练时损失函数选用α-balanced的focal loss的变体，用于平衡正、负样本以及难、易样本，其表达式如下：
18.fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
19.其中，p
t
为模型对标签为1的类预测概率值，其值介于0-1之间，即：
[0020][0021]
α
t
用于调节正负样本的权重，α
t
∈[0,1]，可调聚焦参数γ平滑地调整易分类样本降低权重值的速率，γ≥0。
[0022]
s1中，标注图像中，目标椎体的松质骨像素值为1，其余部分像素值为0。
[0023]
s2中，根据医学经验设置ct值最大值与最小值，将原图像中ct值超过最大值的设置为最大值，将ct值小于最小值的设置为最小值，进行ct值归一化，归一化公式为：
[0024][0025]
其中，x
min
为设定的最小ct值，x
max
为设定的最大ct值。
[0026]
构建的121层3d-densenet-bc网络结构中：
[0027]
初始卷积层由步长stride为2，填充padding为3，尺寸为7
×7×
7的卷积核构成，后接批归一化层和relu激活函数，使用relu激活函数为神经网络增加非线性因素，其定义式为：
[0028][0029]
最大池化层由步长stride为2，填充padding为1，尺寸为3
×3×
3的池化核构成；
[0030]
第一稠密块至第四稠密块的bottleneck层数分别为6，12，24，16；每个bottleneck layer结构均有两部分组成，每部分均包括bn层、relu层和卷积层；第一部分的卷积层由步长为1、尺寸为1
×1×
1卷积核构成；第二部分的卷积层由步长为1、填充为1、尺寸为3
×3×
3卷积核构成；即每个bottleneck layer总体网络结构依次为：bn-relu-conv(1
×1×
1)-bn-relu-conv(3
×3×
3)；在每层3
×3×
3卷积之前引入1
×1×
1卷积；
[0031]
每个过渡层连接两个相邻的稠密块，每个过渡层依次包含bn层、relu层、卷积层和平均池化层；卷积层中，步长为1，核尺寸大小为1
×1×
1；池化层中，步长为2，核尺寸大小为2
×2×
2；卷积层用于提取局部特征；
[0032]
全局平均池化在第四稠密块后被执行，指定输出特征图尺寸为1
×1×
1；
[0033]
softmax层是将softmax函数作用于网络全连接层的输出结果来预测类别概率，设网络经过全连接层输出结果为y1,y2,
…
,yn，softmax函数定义式如下：
[0034][0035]
在每个稠密块内部，每一层的输入是前面所有层的输出结果在通道维度上的拼接，而当前层学习到的特征也会被直接传递到后面的所有层作为输入；对于一个l层的稠密块，其包括l(l+1)/2个连接，
[0036]
网络在l层的输出可表示为：
[0037]
x
l
＝h
l
([x0,x1,
…
,x
l-1
])
[0038]
其中，h
l
是非线性转化函数，包含六个连续操作：bn、relu激活函数、1
×1×
1卷积、bn、relu激活函数、3
×3×
3卷积，[x0,x1,
…
,x
l-1
]表示第0,
……
,l-1层输出的特征图的拼接。
[0039]
过渡层连接每两个相邻的稠密块，进行卷积和池化，在过渡层中添加压缩因子θ，减少过渡层输出的特征图数量，若一个密集块包含m个特征图，添加压缩因子后，后续的过渡层将生成θ*m个输出特征图，0《θ≤1。
[0040]
s7中，设ovcf样本类标签为1，则ovcf概率即为网络将此样本预测为1的概率，是将softmax函数作用于网络全连接层的输出结果得出，设网络经过全连接层后输出结果为y1,y2，则ovcf概率为：
[0041][0042]
设定阈值，当ovcf概率大于阈值时，将该样本诊断为ovcf，否则为正常，阈值设为0.5。
[0043]
另一方面，本发明还提供一种基于深度学习的骨质疏松性椎体压缩性骨折评估系统，包括数据获取模块、归一化模块、定位分割模块以及评估模块；
[0044]
数据获取模块用于获取临床中胸腰部三维ct原图像；
[0045]
归一化模块用于对胸腰部三维ct原图像进行ct值归一化；
[0046]
定位分割模块首先基于目标椎体松质骨定位模型和分割模型对归一化处理所得
图像数据集进行分割处理；所述目标椎体松质骨定位模型基于faster r-cnn结构，目标椎体松质骨分割模型基于3d-res-unet结构；再利用分割后的图像对原图进行预处理，得到统一尺寸的图像作为输入骨质疏松性椎体压缩性骨折分类模型的数据集；
[0047]
评估模块用于根据骨质疏松性椎体压缩性骨折分类模型densenet对s4所得数据集进行评估得到发生骨质疏松性椎体压缩性骨折的概率；所述骨质疏松性椎体压缩性骨折评估模型为121层的3d-densenet-bc，网络的结构依次为：初始卷积层、最大池化层、第一稠密块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块、全局平均池化层、全连接层以及softmax层。
[0048]
与现有技术相比，本发明至少具有以下有益效果：
[0049]
本发明公开了一种基于深度学习的骨质疏松性椎体压缩性骨折评估方法，首先通过训练定位模型、分割模型对目标椎体松质骨实现先定位后分割，然后构建3d-densenet121-bc深层网络，利用网络中的密集连接有效提取图像特征信息，实现特征重用，同时具有网络参数小，网络训练效率高的优点。另一方面，因现实中患病样本少于正常样本，故采用焦点损失函数用于网络训练，以此缓解样本不平衡问题。完成交叉验证后，保存最优模型参数。进行ovcf评估，得到ovcf概率及诊断结果。本发明将医疗诊断与深度学习相结合，最终得到高效率、高精度的分类模型。可辅助医师对ovcf患者进行快速鉴别，有效解决目前存在的ovcf疾病诊断大多通过医师目视法主观判断，以及ovcf整体漏诊率高，医疗条件及医师水平存在差异的状况。
[0050]
进一步的，能够提升网络的表达能力，一定程度上有效缓解网络训练过程中梯度爆炸、梯度消失的问题。
[0051]
进一步的，对于一个l层的稠密块，其包括l(l+1)/2个连接，为一种密集连接，通过直接连接来自不同层的特征图，实现特征重用，提升效率。
[0052]
进一步的，模型训练时损失函数选用α-balanced的focal loss的变体，能用于平衡正、负样本以及难、易样本，可调聚焦参数γ平滑地调整易分类样本降低权重值的速率，使模型更加专注于学习难分类样本的特征。
附图说明
[0053]
图1为本发明骨质疏松性椎体压缩性骨折评估方法的流程示意图；
[0054]
图2为本发明提供的3d-densenet-bc网络结构示意图；
[0055]
图3为本发明提供的3d-densenet-bc网络中dense块结构示意图；
[0056]
图4为本发明提供的3d-densenet-bc网络中过渡层结构示意图；
[0057]
图5为本发明提供的胸腰部三维ct原始图像正常样本(a)和ovcf样本(b)三视图示意图；
[0058]
图6为本发明提供的目标椎体松质骨标注图正常样本(a)和ovcf样本(b)三视图示意图；
[0059]
图7为本发明提供的分割模型输出的正常样本(a)和ovcf样本(b)三视图示意图；
[0060]
图8为本发明提供的预处理后输入分类模型的正常样本(a)和ovcf样本(b)三视图示意图；
[0061]
图9为本发明提供的测试集分类结果混淆矩阵示意图。
具体实施方式
[0062]
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
[0063]
本发明提供了一种基于深度学习的骨质疏松性椎体压缩性骨折评估方法，采集临床中胸腰部三维ct原图像以及已标注目标椎体(本实施例选择t12、l1、l2椎体)松质骨的三维ct标注图像，完成图像ct值归一化后，训练基于faster r-cnn定位模型识别定位出目标椎体松质骨所在立方体区域，接着训练基于3d-res-unet分割模型分割出目标椎体松质骨，然后利用focal loss作为损失函数对3d-densenet121-bc模型进行训练，最后进行ovcf评估，根据模型输出的ovcf概率是否大于设定阈值判断是否患有ovcf，辅助医师鉴别ovcf。
[0064]
参见图1，一种基于深度学习的骨质疏松性椎体压缩性骨折评估方法，融合了整个模型训练过程，包括以下步骤：
[0065]
s1、采集临床中胸腰部三维ct原始图像正常样本和ovcf样本分别如图5中(a)、(b)所示，以及在原始图像上标注待检测椎体松质骨的标注图像，本实施例标注图像中目标椎体选择t12、l1以及l2椎体，正常样本及ovcf样本标注图像如图6中(a)、(b)所示。标注图像中，目标椎体的松质骨像素值为1，余下部分像素值为0。本实施例中原始图像样本集及标注图像样本集为500张，正常样本270张，ovcf样本230张。
[0066]
s2、对原图像进行ct值归一化。
[0067]
根据医学经验设置ct值最大值为1400，最小值为-200，将原图像中ct值超过最大值的设置为最大值，将ct值小于最小值的设置为最小值。进行ct值归一化。归一化公式为：
[0068][0069]
其中，x
min
为设定的最小ct值为-200，x
max
为设定的最大ct值为1400。
[0070]
s3、将归一化后图像数据集按照8:2随机划分成训练集与测试集，其中训练集图像400张，正常样本216张，ovcf样本184张。测试集图像100张，正常样本54张，ovcf样本46张。作为定位模型、分割模型及ovcf评估模型的数据集。
[0071]
s4、训练目标椎体松质骨定位、分割模型。首先训练基于faster r-cnn定位模型，使用此模型识别定位出目标椎体松质骨所在立方体区域进行粗分割，然后训练基于3d-res-unet分割模型，在定位后的图像中细分割出t12、l1、l2椎体松质骨，再填充像素0使图像尺寸为原图大小输出，得到正常样本及ovcf样本如图7中(a)和(b)所示。
[0072]
s5、利用分割模型输出图像对原图进行预处理。将s2中归一化的原图与s4中得到的分割后图像像素对应相乘，获取目标椎体的松质骨纹理，非目标区域像素值变为0。完成上述操作后对图像进行裁剪，得到只含t12、l1、l2三块椎体松质骨的最小尺寸图像，然后对该图像四周填充像素0，得到统一尺寸为100
×
110
×
110的3d图像作为输入骨质疏松性椎体压缩性骨折分类模型的图像集，其中正常样本及ovcf样本如图8种(a)和(b)所示。
[0073]
s6、训练基于densenet的骨质疏松性椎体压缩性骨折评估模型。
[0074]
s601、构建基于densenet的骨质疏松性椎体压缩性骨折评估模型。
[0075]
参见图2，所构建的基于densenet的骨质疏松性椎体压缩性骨折评估模型依次包括：初始卷积层，最大池化层，第一稠密块(dense block)，第一过渡层(transition layer)，第二稠密块，第二过渡层，第三稠密块，第三过渡层，第四稠密块，全局平均池化层，
全连接层，softmax层。
[0076]
其中，初始卷积层的卷积核大小为7
×7×
7，步长stride为2，填充padding为3。后接批归一化(batch normalization)层和relu激活函数，使用relu激活函数为神经网络增加非线性因素，能够提升网络的表达能力，一定程度上有效缓解网络训练过程中梯度爆炸、梯度消失的问题。其定义式为：
[0077][0078]
最大池化层由步长stride为2，填充padding为1，尺寸为3
×3×
3的池化核构成。
[0079]
参见图3，第一稠密块至第四稠密块加入bottleneck操作，第一稠密块至第四稠密块的bottleneck层数分别为6，12，24，16。每个bottleneck layer结构均有两部分组成，每部分均包括bn层、relu层和卷积层；第一部分的卷积层由步长为1、尺寸为1
×1×
1卷积核构成；第二部分的卷积层由步长为1、填充为1、尺寸为3
×3×
3卷积核构成。如图3所示，即每个稠密块总体网络结构依次为：bn-relu-conv(1
×1×
1)-bn-relu-conv(3
×3×
3)。在每层3
×3×
3卷积之前引入1
×1×
1卷积，可以降低输入特征图的数量，以提高计算效率。
[0080]
参见图4，每个过渡层连接两个相邻的稠密块，每个过渡层依次包含bn层、relu层、卷积层和平均池化层。卷积层中，步长为1，核尺寸大小为1
×1×
1。池化层中，步长为2，核尺寸大小为2
×2×
2。为进一步提高模型的紧凑性，在过渡层中添加压缩因子θ，减少过渡层输出的特征图数量。若一个密集块包含m个特征图，添加压缩因子后，后续的过渡层将生成θm个输出特征图(0《θ≤1)，所述方法中θ＝0.5，增长率growth rate＝32。
[0081]
全局平均池化在第四稠密块后被执行，指定输出特征图尺寸为1
×1×
1。
[0082]
softmax层是将softmax函数作用于网络全连接层的输出结果预测类别概率，设网络经过全连接层输出结果为y1,y2，softmax函数定义式如下：
[0083][0084]
本实施例设置阈值为0.5，即当网络预测的ovcf类别概率大于0.5时，将此样本预测为ovcf样本。
[0085]
s602、将步骤s2构建的椎体松质骨图像集中训练集400张图像随机划分成四份，每次选取其中三份作为训练集，余下一份作为验证集进行四折交叉验证。此时，训练集图像为300张，验证集图像为100张。
[0086]
s603、模型训练时，设置epoch＝50，损失函数选用α-balanced的focal loss的变体，起到平衡正、负样本以及难、易样本的作用，其表达式如下：
[0087]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
[0088]
其中，p
t
为模型对标签为1的类预测概率值，其值介于0-1之间，即：
[0089][0090]
α
t
用于调节正负样本的权重，α
t
∈[0,1]，可调聚焦参数γ平滑地调整易分类样本降低权重值的速率，使模型更加专注于学习难分类样本的特征，γ≥0。本实施例设置损失函数参数α
t
＝0.6，γ＝2，初始学习率为3e-5，使用multisteplr衰减策略，milestones＝[16,33]，gamma＝0.1，使用adam作为默认优化器。
[0091]
s604、迭代训练完50个epoch后，对每一个epoch保存模型参数，选择最优结果作为最终模型参数。
[0092]
s7、进行ovcf评估，得到诊断结果及ovcf概率。基于测试集对骨质疏松性椎体压缩性骨折评估模型进行测试，得到混淆矩阵、查准率，查全率、f1分数、auc作为评价指标。
[0093]
所述二分类混淆矩阵形式如下：
[0094][0095]
所述查准率公式为：
[0096][0097]
所述查全率公式为：
[0098][0099]
所述f1-score公式为：
[0100][0101]
所述auc值即为roc曲线下方所覆盖的面积，取值在0.5至1之间。roc曲线是以假阳性率(fpr)为x轴，真阳性率(tpr)为y轴做出的曲线。
[0102]
其中，表示所有真实值是1的样本中，被正确预测为1的样本比率。表示在所有真实值是0的样本中，被错误预测为1的样本比率。
[0103]
auc越接近1，模型性能越优异。
[0104]
利用本方法对骨质疏松性椎体压缩性骨折进行评估，实验结果如下：
[0105]
在验证集上，四折交叉验证各指标均值为：查准率达到93.2％，查全率达到94.0％，f1分数达到93.5％，auc达到97.6％。在测试集上，查准率达到91.7％，查全率达到95.7％，f1分数达到93.6％，auc达到98.1％，图9为测试集上的混淆矩阵示意图。结果表明此方法可以很好地应用到疾病诊断领域辅助医师进行骨质疏松性椎体压缩性骨折评估。
[0106]
另一方面，本发明还提供一种基于深度学习的骨质疏松性椎体压缩性骨折评估系统，包括数据获取模块、归一化模块、定位分割模块以及评估模块；
[0107]
数据获取模块用于获取临床中胸腰部三维ct原图像；
[0108]
归一化模块用于对胸腰部三维ct原图像进行ct值归一化；
[0109]
定位分割模块首先基于目标椎体松质骨定位模型和分割模型对归一化处理所得图像数据集进行分割处理；所述目标椎体松质骨定位模型基于faster r-cnn结构，目标椎体松质骨分割模型基于3d-res-unet结构；再利用分割后的图像对原图进行预处理，得到统一尺寸的图像作为输入骨质疏松性椎体压缩性骨折分类模型的数据集；
[0110]
评估模块用于根据骨质疏松性椎体压缩性骨折分类模型densenet对s4所得数据
集进行评估得到发生骨质疏松性椎体压缩性骨折的概率；所述骨质疏松性椎体压缩性骨折评估模型为121层的3d-densenet-bc，网络的结构依次为：初始卷积层、最大池化层、第一稠密块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块、全局平均池化层、全连接层以及softmax层。
[0111]
综上所述，本发明公开一种基于深度学习的骨质疏松性椎体压缩性骨折评估方法，辅助医师进行ovcf诊断，同时一定程度上解决样本不平衡对模型训练带来的影响，以满足实际使用的需要。
[0112]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。