基于CT影像深度学习的骨质疏松椎体再骨折预测系统的制作方法

基于ct影像深度学习的骨质疏松椎体再骨折预测系统
技术领域
1.本发明涉及骨质疏松性骨折预测技术领域，具体地说，是一种基于ct影像深度学习的骨质疏松椎体再骨折预测系统。


背景技术：

2.根据年国际骨质疏松基金会(international osteoporosis foundation，iof)报告：全球每3秒钟就发生1例骨质疏松性骨折，骨质疏松性椎体压缩性骨折(osteoporoticvertebral compression fracture，ovcf)一直被认为是骨质疏松症最常见的表现，占骨质疏松性骨折的近50％。骨质疏松性骨折可引起疼痛和致残，使患者生活质量显著下降，现有的治疗方法有保守治疗及手术治疗。保守治疗要求长时间卧床制动，增加了坠积性肺炎、深静脉血栓、褥疮等不良事件的风险，增加患者的死亡率；而手术治疗，主要指椎体成形术，能快速缓解疼痛，但也要面临一定的手术及麻醉风险。研究表明，约50％女性和20％男性在50岁后会遭遇初次骨质疏松性骨折，初次骨质疏松性骨折患者有50％将会发生再次骨质疏松性骨折。因此，对骨质疏松性椎体骨折进行提前预测，提前干预，显得尤为重要，且具有重要的临床意义，可以避免患者承受骨折及手术带来的痛苦。
3.现有的预测方法主要是对临床资料的总结分析，比如患者体重指数(bmi)、年龄、骨质疏松指标(bmd)以及患者合并的基础疾病，还包括一些手术相关资料数据，比如手术方法、骨水泥材料是否渗漏、椎体高度恢复情况等。通过这些资料分析，能够大致判断患者是否会发生再骨折，但很难精确到具体哪个椎体会骨折。
4.比如世界卫生组织推荐的骨折风险预测简易工具(who fracture risk assessment tool, frax)，是一种在线的骨折风险预测工具，通过综合评估年龄、性别、体重、身高、骨折病史、父母髋部骨折、吸烟、糖皮质激素、类风湿性关节炎、继发性骨质疏松、饮酒及或股骨颈骨密度(bmd)，判断患者未来十年的骨折概率。
5.利用影像预测脊柱骨折的方法文献也有报道，多数是利用有限元分析方法获得椎体骨质量，骨强度等，再通过logistic回归分析方法预测骨折发生风险。
6.检索目前专利，中国专利申请：cn108538393b公开了一种基于大数据的骨质质量评估专家系统及预测模型建立方法，包括内部设置有预测模型模块、数据采集模块和骨质专家模块的服务器，在服务器上连接有数据库和智能终端；数据库保存用户身份数据、历史骨质疏松骨折患者的特征数据以及待预测患者的检测数据；预测模型模块建立骨质疏松骨折预测模型；数据采集模块用于获取预测请求和待预测患者的检测数据，骨质疏松骨折预测模型根据检测数据得到骨质疏松骨折预测等级；骨质专家模块向待预测患者输出防患建议。有益效果：实现骨质疏松患者骨折预测，方便，无需排队。并且随时随地均可操作，智能，便捷。但该发明是基于大数据，包括临床、影像等，得到骨质疏松骨折预测等级，即患者出现骨折的概率，类似于世界卫生组织推荐的骨折风险预测简易工具(who fracture riskassessment tool,frax)。因此该模型不是针对脊柱骨质疏松性压缩骨折，也无法精准预测某个脊椎椎体骨折的概率。
7.中国专利申请：cn101720468a公开了一种处理从至少部分脊柱的图像推导出的数据的方法，用于估计脊柱的椎骨中未来骨折的风险。处理与脊柱的至少四块相邻椎骨有关的位置数据。计算相邻椎骨中的至少两块的脊柱的曲率。计算不同曲率值,以获得表示脊柱的曲率中不规则性程度的值,并且使用不规则性程度,提供脊柱的椎骨中未来骨折的风险的估计。较高的不规则性程度指示较高的未来骨折的风险。该发明也是依据脊柱影像来预测椎体骨折，但在方法上仅通过计算脊柱的曲率来预测骨折的发生率，而本发明依据的ct影响的深度学习及人工智能算法。
8.所以综上所述，现亟需要一种能够结合临床上ct影像数据，并利用卷积神经网络进行模型训练优化，建立了一套精准高效、操作简易、省时低消耗的基于ct影像深度学习的骨质疏松椎体再骨折预测系统，但是关于这种基于ct影像深度学习的骨质疏松椎体再骨折预测系统，目前还未见报道。


技术实现要素：

9.本发明的目的是结合临床上ct影像数据，利用卷积神经网络进行模型训练优化，建立了一套精准高效、操作简易、省时低消耗的预测体系，其具体为建立一种基于ct影像方便快捷、高效精准的骨质疏松性椎体骨折的预测系统。
10.为实现上述目的，本发明采取的技术方案是：
11.一种基于ct影像深度学习的骨质疏松椎体再骨折预测系统，包括以下步骤；
12.s1，对ct图片影像数据进行收集；
13.s2，使用卷积神经网络对ct图片影像数据进行特征提取；
14.s3，将提取的标准化ct图片影像数据特征输入到深度神经网络模型中，得到最终的分类判断。
15.在上述所述的基于ct影像深度学习的骨质疏松椎体再骨折预测系统中，作为一个优选方案，所述的s1步骤包括以下子步骤；s11，对ct图片影像进行格式选择；s12，对ct图片影像进行获取。
16.在上述所述的基于ct影像深度学习的骨质疏松椎体再骨折预测系统中，作为一个优选方案，所述的s11步骤中，对ct图片影像进行格式选择的标准为：选取骨质疏松性椎体再骨折以及第一次手术方式均为椎体成形术的群体，其选取的ct图片影像格式要求为ct横断面，骨窗显示、无图注。
17.在上述所述的基于ct影像深度学习的骨质疏松椎体再骨折预测系统中，作为一个优选方案，所述的s12步骤中，对ct图片影像进行获取的具体方法为：根据s11步骤中的ct 图片影像格式从影像系统中下载第二次骨折前的所有椎体ct横断面，将第二次骨折的椎体命名为阳性椎体，采集该椎体对应范围内的ct横断面图像，其范围包括椎体上下各一个椎间盘。
18.在上述所述的基于ct影像深度学习的骨质疏松椎体再骨折预测系统中，作为一个优选方案，所述的s2步骤具体为：还包括图片预处理模块，其所述图片预处理模块的输入数据为椎体ct横断面灰度图像，其数值表示为[c,h,w]，其中c为图像颜色通道，h为图像高度，w为图像宽度。
[0019]
在上述所述的基于ct影像深度学习的骨质疏松椎体再骨折预测系统中，作为一个
优选方案，所述的s3步骤具体为：还包括神经网络模块，用于承接图片预处理模块，其输入数据为经过标准化的图片张量，具体表示为[1,512,512]，经过(已经训练完成的)神经网络得到最终的预测分类。
[0020]
本发明优点在于：
[0021]
1、本发明结合临床上ct影像数据，并利用卷积神经网络进行模型训练优化，从而建立了一套操作简易、省时低消耗、方便快捷、高效精准的骨质疏松性椎体骨折的预测体系。
[0022]
2、聚焦ovcf术后再骨折这一患者群体，首次基于ct影像的深度学习，利用卷积神经网络建立简便有效的再骨折预测模型，指导临床ovcf的治疗及预防。
[0023]
3、已报道的预测系统或模型均只能预测患者整体骨折概率，无法精确到某个椎体，本预测模型利用ct横断面进行分析，可以精准预测每个椎体的骨折几率，因此该模型更加精细。
附图说明
[0024]
附图1是本发明中所述基于ct影像深度学习的骨质疏松椎体再骨折预测系统的局部结构示意图。
[0025]
附图2是本发明中所述基于ct影像深度学习的骨质疏松椎体再骨折预测系统中模型训练测试流程示意图。
[0026]
附图3是本发明中所述实验组中选取ct图片影像要求图像。
[0027]
附图4是本发明中所述实验组中选取ct横断面图像。
[0028]
附图5是本发明中所述判断阳性椎体的案例图(一)。
[0029]
附图6是本发明中所述判断阳性椎体的案例图(二)。
[0030]
附图7是本发明中筛选图片后所获得33张ct横断面图像。
具体实施方式
[0031]
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明记载的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
[0032]
请参见附图1、附图2所示，附图1是本发明中所述基于ct影像深度学习的骨质疏松椎体再骨折预测系统的局部结构示意图。附图2是本发明中所述基于ct影像深度学习的骨质疏松椎体再骨折预测系统中模型训练测试流程示意图。
[0033]
近年来，伴随着计算机技术的迅速发展，目前已经有一些将机器学习应用到医疗领域，特别是辅助临床诊断。而在本发明中我们考虑将深度学习(deep learning)方法应用到骨质疏松性椎体骨折系统的建立上，能够整合从训练数据提取的特征，通过多层线性变换与非线性变换的组合，发现数据的分布式特征，具备优秀的对大数据的收集和处理能力和普适性。卷积神经网络(convolutional neural network,cnn)是一类包含有卷积计算的深度结构的前馈神经网络(feedforward neural networks)，可以利用卷积操作建立局部连接的性质，有效建立端对端的数据处理识别系统，在图像处理方面有着广泛的应用；而本
发明结合了临床上ct影像数据，再利用卷积神经网络进行模型训练优化，建立了一套精准高效、操作简易、省时低消耗的预测体系，具体为建立一种基于ct影像方便快捷、高效精准的骨质疏松性椎体骨折的预测体系统，其主要包括以下步骤；
[0034]
s1，对ct图片影像数据进行收集；
[0035]
s2，使用卷积神经网络对ct图片影像数据进行特征提取；
[0036]
s3，将提取的标准化ct图片影像数据特征输入到深度神经网络模型中，得到最终的分类判断。
[0037]
在本实施例中，优选所述的s1步骤包括以下子步骤；s11，对ct图片影像进行格式选择；s12，对ct图片影像进行获取。其在所述的s11步骤中，对ct图片影像进行格式选择的标准为：选取骨质疏松性椎体再骨折以及第一次手术方式均为椎体成形术的群体，其选取的ct图片影像格式要求为ct横断面，骨窗显示、无图注。优选所述的s12步骤中，对ct图片影像进行获取的具体方法为：根据s11步骤中的ct图片影像格式从影像系统中下载第二次骨折前的所有椎体ct横断面，将第二次骨折的椎体命名为阳性椎体，采集该椎体对应范围内的ct横断面图像，其范围包括椎体上下各一个椎间盘。
[0038]
其具体为：
[0039]
(一)设置实验组；
[0040]
患者选择：选取骨质疏松性椎体再骨折患者，且第一次手术方式均为椎体成形术；
[0041]
ct图片影像要求：ct横断面，骨窗显示、无图注，如附图3所示；
[0042]
ct图片影像的获取：首选按照图片要求格式从影像系统中下载第二次骨折前的所有椎体ct横断面，将第二次骨折的椎体命名为阳性椎体，并采集该椎体对应范围内的ct横断面图像，其范围包括椎体上下各一个椎间盘，方法如附图4所示：
[0043]
其中共收集二次骨折91例，图片共4602张，作为模型架构所用图片集。
[0044]
(二)设置对照组：
[0045]
搜集2017年以来于同济医院骨科就诊且具有腰椎ct检查结果的门诊或住院老年患者，年龄均大于60岁，男女不限，排除脊柱骨折患者，随机抽取70名患者，下载其在同济大学附属同济医院uniweb server影像系统中的腰椎ct影像，按照图片要求格式输出图片，共得到照片18781张。
[0046]
在本实施例中，优选所述的s2步骤具体为：还包括图片预处理模块，其所述图片预处理模块的输入数据为椎体ct横断面灰度图像，其数值表示为[c,h,w]，其中c为图像颜色通道，h为图像高度，w为图像宽度。对于椎体ct横断面灰度图像而言，c为1，但由于不同批次的输入数据可能具有不同的高度h和宽度w，本模块会将输入数据转化为[1,512, 512]的标准张量表示。具体方法为：
[0047]
①
使用双立方插值算法将[1,h,w]的图像张量转化为[1,512,512]
[0048]
②
将经过插值操作的图像张量作正则化操作：
[0049]
x＝x/255.0
[0050]
其中x为图片张量。
[0051]
优选所述的s3步骤具体为：还包括神经网络模块，用于承接图片预处理模块，其输入数据为经过标准化的图片张量，具体表示为[1,512,512]，经过(已经训练完成的)神经网络得到最终的预测分类。
[0052]
本发明基于深度学习的骨质疏松性椎体骨折预测模型的运行流程如下：
[0053]
①
输入(从同济大学附属同济医院uniwebserver下载的)椎体ct横断面灰度图像进入图片预处理模块得到标准化的图片数据；
[0054]
②
标准化的图片数据直接进入神经网络模块，由神经网络根据数据自动提取有效的特征，得到最终的分类判断。
[0055]
其分类判断：(判断标准)
[0056]
以椎体骨折的判断依据：再次骨折入院的患者，均接受核磁共振检查(mri)，在t2 像上显示高信号、t1像上显示低信号、脂抑像上显示高信号的椎体符合新鲜骨折的诊断。
[0057]
其中，分类判断包括：
[0058]
标签描述0不发生二次骨折1发生二次骨折
[0059]
基于以上构建的训练数据，已经训练完成的神经网络结构如下：
[0060][0061][0062]
子网络模块1
[0063]
类型卷积核(数量)尺寸/步长(或注释)卷积(4)3x3/1卷积(8)3x3/1
[0064]
子网络模块2
[0065][0066]
子网络模块3
[0067][0068][0069]
子网络模块4
[0070][0071]
子网络模块5
[0072][0073]
子网络模块6
[0074][0075]
子网络模块7
[0076][0077]
子网络模块8
[0078][0079][0080]
子网络模块9
[0081][0082]
子网络模块10
[0083]
类型卷积核(数量)尺寸/步长(或注释)卷积(1024)3x3/1卷积(2048)3x3/1
[0084]
接下来将介绍神经网络模型的数学表述，所采取得符号规则为：
[0085][0086][0087]
模型子网络模块1(m1)的表达式为：
[0088]z1，1
＝conv
1，1
(x)；
[0089]a1，1
＝relu(z
1，1
)
[0090]z1，2
＝conv
1，2
(a
1，1
)
[0091]a1，2
＝relu(z
1，2
)
[0092]
u＝a
1，2
。
[0093]
模型子网络模块2(m2)的表达式为：
[0094]z2，1；s
＝conv
2，1；s
x；
[0095]z2，1
＝dsconv
2，1
(x)；
[0096]a2，1
＝relu(z
2，1
)；
[0097]z2，2
＝dsconv
2，2
(a
2，1
)；
[0098]
p
2，1
＝pool(z
2，2
)；
[0099]
u＝p
2，1
+z
2，1；s
。
[0100]
模型子网络模块3(m3)的表达式为：
[0101]z3，1；s
＝conv
3，1；s
x；
[0102]z3，1
＝dsconv
3，1
(x)；
[0103]a3，1
＝relu(z
3，1
)；
[0104]z3，2
＝dsconv
3，2
(a
3，1
)；
[0105]
p
3，1
＝pool(z
3，2
)；
[0106]
u＝p
3，1
+z
3，1；s
。
[0107]
模型子网络模块4(m4)的表达式为：
[0108]z4，1；s
＝conv
4，1；s
x；
[0109]z4，1
＝dsconv
4，1
(x)；
[0110]a4，1
＝relu(z
4，1
)；
[0111]z4，2
＝dsconv
4，2
(a
4，1
)；
[0112]
p
4，1
＝pool(z
4，2
)；
[0113]
u＝p
4，1
+z
4，1；s
。
[0114]
模型子网络模块5(m5)的表达式为：
[0115]z5，1；s
＝conv
5，1；s
x；
[0116]z5，1
＝dsconv
5，1
(x)；
[0117]a5，1
＝relu(z
5，1
)；
[0118]z5，2
＝dsconv
5，2
(a
5，1
)；
[0119]
p
5，1
＝pool(z
5，2
)；
[0120]
u＝p
5，1
+z
5，1；s
。
[0121]
模型子网络模块6(m6)的表达式为：
[0122]z6，1；s
＝conv
6，1；s
x；
[0123]z6，1
＝dsconv
6，1
(x)；
[0124]a6，1
＝relu(z
6，1
)；
[0125]z6，2
＝dsconv
6，2
(a
6，1
)；
[0126]
p
6，1
＝pool(z
6，2
)；
[0127]
u＝p
6，1
+z
6，1；s
。
[0128]
模型子网络模块7(m7)的表达式为：
[0129]z7，1；s
＝conv
7，1；s
x；
[0130]z7，1
＝dsconv
7，1
(x)；
[0131]a7，1
＝relu(z
7，1
)；
[0132]z7，2
＝dsconv
7，2
(a
7，1
)；
[0133]
p
7，1
＝pool(z
7，2
)；
[0134]
u＝p
7，1
+z
7，1
；s。
[0135]
模型子网络模块8(m8)的表达式为：
[0136]a8，1
＝relu(x)
[0137]z8，1
＝dsconv
8，1
(a
8，1
)；
[0138]a8，2
＝relu(z
8，1
)；
[0139]z8，2
＝dsconv
8，2
(a
8，2
)；
[0140]a8，3
＝relu(z
8，2
)；
[0141]z8，3
＝dsconv
8，3
(a
8，3
)；
[0142]
u＝z
8，3
+x。
[0143]
模型子网络模块9(m9)的表达式为：
[0144]z9，1；s
＝conv
9，1；s
x；
[0145]a9，1
＝relu(x)；
[0146]z9，1
＝dsconv
9，1
(a
9，1
)；
[0147]a9，2
＝relu(z
9，1
)；
[0148]z9，2
＝dsconv
9，2
(a
9，1
)；
[0149]
p
9，1
＝pool(z
9，2
)；
[0150]
u＝p
9，1
+z
9，1；s
。
[0151]
模型子网络模块10(m
10
)的表达式为：
[0152]z10，1
＝conv
10，1
(x)；
[0153]a10，1
＝relu(z
10，1
)；
[0154]z10，2
＝conv
10，2
(a
10，1
)；
[0155]a10，2
＝relu(z
10，2
)；
[0156]
u＝a
10，2
。
[0157]
模型整体表达式为：
[0158]
u1＝m1(x)；
[0159]
u2＝m2(u1)；
[0160]
u3＝m3(u2)；
[0161]
u4＝m4(u3)；
[0162]
u5＝m5(u4)；
[0163]
u6＝m6(u5)；
[0164]
u7＝m7(u6)；
[0165]u8，1
＝m
8，1
(u7)；
[0166]u8，2
＝m
8，2
(u
8，1
)；
[0167]u8，3
＝m
8，3
(u
8，2
)；
[0168]
u8＝m
8，3
（u
8，3
)；
[0169]
u9＝m9(u8)；
[0170]u10
＝m
10
(u9)；
[0171]
p＝gpool(u
10
)；
[0172]zw
＝fc(p)；
[0173][0174]
其模型训练方法如下：
[0175]
使用pytorch框架在2块nvidia gtx 1080ti显卡上训练神经网络。训练优化器为adam 优化器，相应的训练参数：学习率为0.001，beta1为0.9，beta2为0.999，epsilon为1e-8。
[0176]
达到的有益效果：
[0177]
案例1：构架的模型对于测试数据(骨折和对照组共4666张图片)的准确率达到0.839，对于二次骨折的预测准确度达到0.719，对于非二次骨折的预测准确度达到0.867。
[0178]
案例2：在模型构架成功后，又收集了12名二次骨折病人样本，共905张ct影响图片，并设置为独立测试集，用该预测模型进行预测，准确度达到0.817。
[0179]
具体图面说明：
[0180]
1.训练所用数据示例：(展示)
[0181]
阳性病例资料的获取过程示例
[0182]
第一步：判断阳性椎体
[0183]
患者张xx，2019.3.15，出现l2骨折，接受椎体成形术，如附图5和附图6所示；
[0184]
2019.12.5患者出现l4骨折；
[0185]
第二部：下载图像并筛选图片，获得33张ct横断面图像，如附图7所示。
[0186]
对照病例资料的获取过程示例：
[0187]
搜集2017年以来于同济医院骨科就诊且具有腰椎ct检查结果的门诊或住院老年患者，年龄均大于60岁，男女不限，排除脊柱骨折患者，随机抽取150名患者，下载其在同济大学附属同济医院uniweb server影像系统中的腰椎ct影像，按照图片要求格式输出图片。
[0188]
第三部导入程序进行训练(具体请参见附图2所示)。
[0189]
需要说明的是：本发明结合了临床上ct影像数据，并利用卷积神经网络进行模型训练优化，建立了一套基于ct影像方便快捷、高效精准的骨质疏松性椎体骨折的预测体系；其本发明中的创新点主要包括，(1)聚焦ovcf术后再骨折这一患者群体，首次基于ct影像的深度学习，利用卷积神经网络建立简便有效的再骨折预测模型，指导临床ovcf的治疗及预防；(2)已报道的预测系统或模型均只能预测患者整体骨折概率，无法精确到某个椎体，而本预测模型利用ct横断面进行分析，可以精准预测每个椎体的骨折几率，因此该模型更加精细。
[0190]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。