基于单张投影数据的三维CT图像重建方法及装置与流程

文档序号:32619343发布日期:2022-12-20 22:14阅读:37来源:国知局
基于单张投影数据的三维CT图像重建方法及装置与流程
基于单张投影数据的三维ct图像重建方法及装置
技术领域
1.本发明属于ct图像重建技术领域,具体涉及基于单张投影数据的三维ct图像重建方法及装置。


背景技术:

2.ct成像技术是一种高性能的无创诊断技术,在辅助临床诊断方面发挥着至关重要的作用。ct是用x线束对人体某部位一定厚度的层面进行扫描,由平板数字探测器接收透过该层面的x线,转变成可见光后,由光电转换变成电信号,再经模拟/数字转换器转为数字信号,输入计算机进行处理。然而,随着ct成像技术使用频率的增加,一方面传统ct扫描需要花费较长时间,另一方面在扫描期间较高辐射剂量对公众健康的危害愈发受到重视,因而缩短扫描时间和降低辐射剂量已经成为ct发展的迫切需求。
3.目前主流方法是采用稀疏投影重建ct图像。在中国专利申请cn201610987138.4中提出了一种多尺度稀疏投影数据快速ct重建方法,该方法采用凸优化迭代和正则化项约束对降采样投影数据进行重建。在中国专利cn201711420601.8中提出了一种采样角度受限下的ct稀疏投影图像重建方法及装置,该方法通过投影数据获取投影方程解的伪逆矩阵,然后生成随机解集,对该集合中的解进行相应地替换,通过不断迭代获取最优解,从而得到最终的重建结果。
4.上述方法相比于传统重建算法在重建速度和减少辐射剂量上有一定的改善,但是超稀疏投影重建ct仍未实现,即仅通过单张投影数据就重建出对应高质量的ct图像。


技术实现要素:

5.为了解决上述技术问题,本发明提出了基于单张投影数据的三维ct图像重建方法及装置。
6.为了达到上述目的,本发明的技术方案如下:
7.一方面,本发明公开一种基于单张投影数据的三维ct图像重建方法,包括以下步骤:
8.步骤一:获取待重建ct;
9.步骤二:将步骤一获取的待重建ct生成对应的单张kv投影数据;
10.步骤三:使用卷积神经网络中具有注意力机制和多尺寸融合策略的编码器对步骤二获取的单张kv投影数据进行特征提取;
11.步骤四:对步骤三提取的特征进行三维转换;
12.步骤五:利用卷积神经网络中编码器进行特征重构,得到三维重建ct;
13.步骤六:将步骤五得到的三维重建ct与待重建ct进行灰度值差异计算;
14.判断二者灰度值差异是否达到全局最优解;
15.若达到,则重建成功,输出最终的三维ct图像;
16.否则,重复步骤三至步骤六,直至二者灰度值差异达到全局最优解。
17.在上述技术方案的基础上,还可做如下改进:
18.作为优选的方案,注意力机制具体包括以下步骤:
19.a1:将输入特征图分别经过全局最大池化层和全局平均池化层;
20.a2:将二者的输出特征图传输至多层向量机,多层向量机进一步进行特征提取;
21.a3:将产生的一次中间特征图经过处理得到通道注意力图;
22.a4:将通道注意力图与输入特征图相乘得到二次中间特征图;
23.a5:将二次中间特征图分别经过全局最大池化层和全局平均池化层;
24.a6:将二者的输出特征图进行特征拼接操作;
25.a7:将拼接后的特征图经过处理得到空间注意力图;
26.a8:将空间注意力图与二次中间特征图相乘得到最终的输出特征图。
27.采用上述优选的方案,注意力机制包括通道注意力和空间注意力,分别在通道和空间维度依次推断注意力图,然后将注意力图与输入特征图相乘以进行自适应优化,获取感兴趣区域。
28.作为优选的方案,经过多尺度融合策略得到的融合特征图具体为下式:
[0029][0030]
其中,gk表示编码器第k层输出的融合特征图,fk表示编码器第k层的输入特征图,代表上采样2
i-k
倍,c代表拼接操作,d
sconv
@2
i-k
则表示扩张率为2
i-k
的空洞卷积。
[0031]
采用上述优选的方案,多尺度融合策略将编码器的深层和浅层特征进行有效结合,捕获更细致的特征传递给解码器部分,从而重建出质量较高的ct。
[0032]
作为优选的方案,步骤五中,灰度值差异计算具体为均方差损失的计算,均方差损失计算公式为:
[0033][0034]
其中,m为样本数,yi为三维重建ct,y
′i为待重建ct。
[0035]
采用上述优选的方案,灰度值差异计算是将网络生成的三维重建ct与待重建ct进行均方差损失的计算,将此损失在网络中进行反向传播,得到网络参数的梯度,并通过梯度下降优化方法更新网络参数,使得均方差损失达到最小,即全局最优解。
[0036]
作为优选的方案,在利用卷积神经网络进行特征提取前,对卷积神经网络进行训练,训练步骤如下:
[0037]
b1:将待重建ct和kv投影数据进行预处理;
[0038]
b2:将待重建ct和与其对应的kv投影数据构成样本对,并按照一定比例划分为训练集、测试集和验证集;
[0039]
b3:将训练集输入卷积神经网络进行训练和三维转换,得出三维重建ct;
[0040]
b4:将三维重建ct与待重建ct进行均方差损失计算,将得到的损失在卷积神经网络中进行反向传播,得到网络参数的梯度,并通过梯度下降优化方法更新网络参数,使得均方差损失达到最小;
[0041]
b5:每训练完一次,利用验证集进行验证,判断在验证集上的均方差损失是否最
小;
[0042]
若是,则保存权重;
[0043]
若不是,则继续训练,当训练达到阈值次数后,验证集上的均方差损失仍然不下降,则调整学习率;
[0044]
b6:重复b3-b5,直至卷积神经网络的训练结果达到预期,训练集上的均方差损失达到最小。
[0045]
采用上述优选的方案,得到训练后的卷积神经网络。
[0046]
另一方面,本发明还公开一种基于单张投影数据的三维ct图像重建装置,包括:
[0047]
投影数据获取模块,投影数据获取模块用于获取待重建ct,并将获取的待重建ct生成对应的单张kv投影数据;
[0048]
模型建立模块,模型建立模块用于构建基于卷积神经网络的ct重建模型,ct重建模型包括:具有注意力机制和多尺寸融合策略的编码器、三维转换单元以及用于进行特征重构的解码器;
[0049]
三维重建模块,三维重建模块用于将待重建ct输入ct重建模型,得到三维重建ct,并将其与待重建ct进行灰度值差异计算,判断二者灰度值差异是否达到全局最优解;
[0050]
若达到,则重建成功,输出最终的三维ct图像;
[0051]
否则,重复通过梯度下降法寻找最优解,直至二者灰度值差异达到全局最优解。
[0052]
作为优选的方案,注意力机制包括:通道注意力模块和空间注意力模块;
[0053]
通道注意力模块用于将输入特征图分别经过全局最大池化层和全局平均池化层,将二者的输出特征图传输至多层向量机,多层向量机进一步进行特征提取;将产生的一次中间特征图经过处理得到通道注意力图;
[0054]
空间注意力模块用于将通道注意力图与输入特征图相乘得到二次中间特征图,将二次中间特征图分别经过全局最大池化层和全局平均池化层,将二者的输出特征图进行特征拼接操作,将拼接后的特征图经过处理得到空间注意力图。
[0055]
采用上述优选的方案,注意力机制包括通道注意力和空间注意力,分别在通道和空间维度依次推断注意力图,然后将注意力图与输入特征图相乘以进行自适应优化,获取感兴趣区域。
[0056]
作为优选的方案,经过多尺度融合策略得到的融合特征图具体为下式:
[0057][0058]
其中,gk表示编码器第k层输出的融合特征图,fk表示编码器第k层的输入特征图,代表上采样2
i-k
倍,c代表拼接操作,d
sconv
@2
i-k
则表示扩张率为2
i-k
的空洞卷积。
[0059]
采用上述优选的方案,多尺度融合策略将编码器的深层和浅层特征进行有效结合,捕获更细致的特征传递给解码器部分,从而重建出质量较高的ct。
[0060]
作为优选的方案,在三维重建模块中,灰度值差异计算具体为均方差损失的计算,均方差损失计算公式为:
[0061]
[0062]
其中,m为样本数,yi为三维重建ct,y
′i为待重建ct。
[0063]
采用上述优选的方案,灰度值差异计算是将网络生成的三维重建ct与待重建ct进行均方差损失的计算,将此损失在网络中进行反向传播,得到网络参数的梯度,并通过梯度下降优化方法更新网络参数,使得均方差损失达到最小,即全局最优解。
[0064]
作为优选的方案,对卷积神经网络的训练,具体包括以下步骤:
[0065]
b1:将待重建ct和kv投影数据进行预处理;
[0066]
b2:将待重建ct和与其对应的kv投影数据构成样本对,并按照一定比例划分为训练集、测试集和验证集;
[0067]
b3:将训练集输入卷积神经网络进行训练和三维转换,得出三维重建ct;
[0068]
b4:将三维重建ct与待重建ct进行均方差损失计算,将得到的损失在卷积神经网络中进行反向传播,得到网络参数的梯度,并通过梯度下降优化方法更新网络参数,使得均方差损失达到最小;
[0069]
b5:每训练完一次,利用验证集进行验证,判断在验证集上的均方差损失是否最小;
[0070]
若是,则保存权重;
[0071]
若不是,则继续训练,当训练达到阈值次数后,验证集上的均方差损失仍然不下降,则调整学习率;
[0072]
b6:重复b3-b5,直至卷积神经网络的训练结果达到预期,训练集上的均方差损失达到最小。
[0073]
采用上述优选的方案,得到训练后的卷积神经网络。
[0074]
本发明一种基于单张投影数据的三维ct图像重建方法及装置具有以下有益效果:
[0075]
第一,使用深度学习方法进行训练,相比于传统的重建算法,整个训练过程更加快速便捷,并且无需人为干预,是端到端的训练。
[0076]
第二,只使用单张kv投影数据就能重建出质量较高的ct图像。从稀疏投影转向单张投影数据重建三维ct断层成像,在保证生成质量的前提下,重建时间更短,给患者带来的辐射剂量更少。
[0077]
第三,添加注意力机制,让网络在训练过程中更加关注感兴趣区域,提取特征更加精准。
[0078]
第四,添加多尺度融合策略,更好地结合网络编码器的浅层和深层特征,获取细粒度融合特征,并将融合后的特征传递给解码器部分以生成最后的重建结果。
附图说明
[0079]
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
[0080]
图1为本发明实施例提供的三维ct图像重建方法的流程图。
[0081]
图2为本发明实施例提供的解码器的框图。
[0082]
图3为本发明实施例提供的注意力机制的流程图。
[0083]
图4为本发明实施例提供的通道注意力的流程图。
[0084]
图5为本发明实施例提供的空间注意力的流程图。
[0085]
图6为本发明实施例提供的多尺度融合策略的流程图。
[0086]
图7为本发明实施例提供的三维ct图像重建装置的结构示意图。
具体实施方式
[0087]
下面结合附图详细说明本发明的优选实施方式。
[0088]
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0089]
使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
[0090]
另外,“包括”元件的表述是“开放式”表述,该“开放式”表述仅仅是指存在对应的部件,不应当解释为排除附加的部件。
[0091]
为了达到本发明的目的,基于单张投影数据的三维ct图像重建方法及装置的其中一些实施例中,如图1所示,三维ct图像重建方法包括以下步骤:
[0092]
步骤一:获取待重建ct;
[0093]
步骤二:将步骤一获取的待重建ct生成对应的单张kv投影数据;
[0094]
步骤三:使用卷积神经网络中具有注意力机制和多尺寸融合策略的编码器对步骤二获取的单张kv投影数据进行特征提取;
[0095]
步骤四:对步骤三提取的特征进行三维转换;
[0096]
步骤五:利用卷积神经网络中编码器进行特征重构,得到三维重建ct;
[0097]
步骤六:将步骤五得到的三维重建ct与待重建ct进行灰度值差异计算;
[0098]
判断二者灰度值差异是否达到全局最优解;
[0099]
若达到,则重建成功,输出最终的三维ct图像;
[0100]
否则,重复步骤三至步骤六,直至二者灰度值差异达到全局最优解。
[0101]
卷积神经网络为深度学习方法,包括编码器和解码器。编码器学习投影数据特征,解码器将编码器学习到的特征进行重构,生成最终结果。为了更好地提取图像特征,在编码器中间层添加注意力机制和多尺度融合策略,获取更深层次的特征传递给解码器。
[0102]
三维转换是将编码器提取的二维特征映射成对应的三维特征,将其传递给解码器部分进行特征重构,得到重建结果。
[0103]
进一步,在一些实施例中,三维转换步骤在多尺度融合策略之后同步进行。
[0104]
进一步,在一些具体的实施例中,编码器由10层二维卷积组成,每两层构成一个二维残差卷积块,每个二维残差卷积块由二维卷积层、归一化层和relu激活函数组成,并且卷积核通道数分别为64,128,256,512,1024,并通过池化层进行下采样,用于提取图像局部特征,同时引入残差连接缓解梯度消失。
[0105]
如图2所示,解码器由5层三维转置卷积组成,每个三维转置卷积由三维转置卷积
层、归一化层和relu激活函数组成,卷积核通道数与编码器部分每层的卷积核通道数相对应,同时进行上采样,用于重构编码阶段提取的特征,生成最终结果,与待重建ct进行均方差损失的计算。
[0106]
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,如图3所示,注意力机制具体包括以下步骤:
[0107]
a1:如图4所示,将输入特征图分别经过全局最大池化层和全局平均池化层;
[0108]
a2:将二者的输出特征图传输至多层向量机,多层向量机进一步进行特征提取;
[0109]
a3:将产生的一次中间特征图经过1
×
1卷积、归一化层和sigmoid激活函数得到通道注意力图;
[0110]
a4:将通道注意力图与输入特征图相乘得到二次中间特征图;
[0111]
a5:如图5所示,将二次中间特征图作为新的输入特征图,分别经过全局最大池化层和全局平均池化层;
[0112]
a6:将二者的输出特征图进行特征拼接操作;
[0113]
a7:将拼接后的特征图经过7
×
7卷积、归一化层和sigmoid激活函数得到空间注意力图;
[0114]
a8:将空间注意力图与二次中间特征图相乘得到最终的输出特征图。
[0115]
采用上述优选的方案,注意力机制包括通道注意力和空间注意力,分别在通道和空间维度依次推断注意力图,然后将注意力图与输入特征图相乘以进行自适应优化,获取感兴趣区域。
[0116]
其中,通道注意力和空间注意力可用如下公式表示:
[0117]
mc(f)=σ(mlp(avgpool(f)+mlp(maxpool(f)))
[0118]ms
(f)=σ(f7×7([avgpool(f);maxpool(f)]))
[0119]
其中,m
*
(
·
)代表输出的注意力图,σ(
·
)表示sigmoid函数,mlp表示多层向量机,avgpool和maxpool分别表示平均和最大池化,f7×7(
·
)代表7
×
7卷积,f为输入特征图。
[0120]
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,经过多尺度融合策略得到的融合特征图具体为下式:
[0121][0122]
其中,gk表示编码器第k层输出的融合特征图,fk表示编码器第k层的输入特征图,代表上采样2
i-k
倍,c代表拼接操作,d
sconv
@2
i-k
则表示扩张率为2
i-k
的空洞卷积。
[0123]
采用上述优选的方案,多尺度融合策略将编码器的深层和浅层特征进行有效结合,捕获更细致的特征传递给解码器部分,从而重建出质量较高的ct。
[0124]
如图6所示,具体地,以编码器部分的第三层作为例子说明多尺度融合策略的实现流程,其它相应层的融合策略与此类似:
[0125]
1)分别获取编码器第三、四、五层的特征图,作为输入特征图;
[0126]
2)输入特征图经过3
×
3卷积,得到每层相应的特征,作为中间特征图;
[0127]
3)第四层和第五层的中间特征图分别上采样2和4倍,保持和第三层中间特征图同样分辨率大小;
[0128]
4)将中间特征图进行通道维度的拼接;
[0129]
5)将拼接的特征图输入到扩张率分别为1、2和4的扩张卷积获取不同尺度的特征图;
[0130]
6)将不同尺度的特征图再进行通道维度的拼接;
[0131]
7)将拼接后的特征图经过1
×
1卷积得到编码器第三层最终的输出特征图。
[0132]
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,步骤五中,灰度值差异计算具体为均方差损失的计算,均方差损失计算公式为:
[0133][0134]
其中,m为样本数,yi为三维重建ct,y
′i为待重建ct。
[0135]
采用上述优选的方案,灰度值差异计算是将网络生成的三维重建ct与待重建ct进行均方差损失的计算,将此损失在网络中进行反向传播,得到网络参数的梯度,并通过梯度下降优化方法更新网络参数,使得均方差损失达到最小,即全局最优解。
[0136]
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,在利用卷积神经网络进行特征提取前,对卷积神经网络进行训练,训练步骤如下:
[0137]
b1:将待重建ct和kv投影数据进行预处理,预处理操作为将kv投影数据进行数据归一和标准化到[0,1]区间,并将其调整成128
×
128像素,待重建ct也标准化至[0,1]区间,体素大小调整为128
×
128
×
128;
[0138]
b2:将待重建ct和与其对应的kv投影数据构成样本对,并按照6:2:2比例划分为训练集、测试集和验证集;
[0139]
b3:将训练集输入卷积神经网络进行训练和三维转换,得出三维重建ct;
[0140]
b4:将三维重建ct与待重建ct进行均方差损失计算,将得到的损失在卷积神经网络中进行反向传播,得到网络参数的梯度,并通过梯度下降优化方法更新网络参数,使得均方差损失达到最小;
[0141]
b5:每训练完一次,利用验证集进行验证,判断在验证集上的均方差损失是否最小;
[0142]
若是,则保存权重;
[0143]
若不是,则继续训练,当训练达到阈值次数后,验证集上的均方差损失仍然不下降,则调整学习率;
[0144]
b6:重复b3-b5,直至卷积神经网络的训练结果达到预期,训练集上的均方差损失达到最小。
[0145]
采用上述优选的方案,得到训练后的卷积神经网络。
[0146]
具体地,全局最优解是通过网络在验证集上的表现进行确定并保存权重的。具体来说就是网络每训练完一个轮次就在验证集上进行验证,如果此时在验证集上的均方差损失最小,就保存权重;如果不是最小,并且模型继续训练了阈值轮次(如:10轮)之后仍不下降,就将学习率调整为原来的1/2,直至达到最小。
[0147]
在一些具体实施例中,网络总共训练100轮次,初始学习率为1e-5,优化器为adam。
[0148]
在一些实施例中,为了评估网络的性能表现,可以采用额外的评价指标来进行定
量分析。具体地,评价指标为均方根误差(rmse)、平均绝对误差(mae)、峰值信噪比(psnr)和结构相似性度量(ssim),并且前两个指标的值越小越好,后两个指标的值越高越好。
[0149]
公式如下所示:
[0150][0151][0152][0153][0154]
其中,m为样本数,yi为网络生成的重建ct,y
′i为待重建ct,maxvalue表示网络生成的重建ct最大值,uy、分别表示y的均值和方差,uy′
、分别表示y

的均值和方差,σ
yy

则是y和y

之间的协方差,c1=(k1l)2和c2=(k2l)2是用来维持稳定的常数,一般k1=0.01,k2=0.03,l为数据中的最大值。
[0155]
另一方面,本发明实施例还公开一种基于单张投影数据的三维ct图像重建装置,如图7所示,包括:
[0156]
投影数据获取模块,投影数据获取模块用于获取待重建ct,并将获取的待重建ct生成对应的单张kv投影数据;
[0157]
模型建立模块,模型建立模块用于构建基于卷积神经网络的ct重建模型,ct重建模型包括:具有注意力机制和多尺寸融合策略的编码器、三维转换单元以及用于进行特征重构的解码器;
[0158]
三维重建模块,三维重建模块用于将待重建ct输入ct重建模型,得到三维重建ct,并将其与待重建ct进行灰度值差异计算,判断二者灰度值差异是否达到全局最优解;
[0159]
若达到,则重建成功,输出最终的三维ct图像;
[0160]
否则,重复通过梯度下降法寻找最优解,直至二者灰度值差异达到全局最优解。
[0161]
卷积神经网络为深度学习方法,包括编码器和解码器。编码器学习投影数据特征,解码器将编码器学习到的特征进行重构,生成最终结果。为了更好地提取图像特征,在编码器中间层添加注意力机制和多尺度融合策略,获取更深层次的特征传递给解码器。
[0162]
三维转换是将编码器提取的二维特征映射成对应的三维特征,将其传递给解码器部分进行特征重构,得到重建结果。
[0163]
进一步,在一些实施例中,三维转换步骤在多尺度融合策略之后同步进行。
[0164]
进一步,在一些具体的实施例中,编码器由10层二维卷积组成,每两层构成一个二维残差卷积块,每个二维残差卷积块由二维卷积层、归一化层和relu激活函数组成,并且卷积核通道数分别为64,128,256,512,1024,并通过池化层进行下采样,用于提取图像局部特征,同时引入残差连接缓解梯度消失。
[0165]
解码器由5层三维转置卷积组成,每个三维转置卷积由三维转置卷积层、归一化层和relu激活函数组成,卷积核通道数与编码器部分每层的卷积核通道数相对应,同时进行上采样,用于重构编码阶段提取的特征,生成最终结果,与待重建ct进行均方差损失的计算。
[0166]
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,注意力机制包括:通道注意力模块和空间注意力模块;
[0167]
通道注意力模块用于将输入特征图分别经过全局最大池化层和全局平均池化层,将二者的输出特征图传输至多层向量机,多层向量机进一步进行特征提取;将产生的一次中间特征图经过1
×
1卷积、归一化层和sigmoid激活函数得到通道注意力图;
[0168]
空间注意力模块用于将通道注意力图与输入特征图相乘得到二次中间特征图,将二次中间特征图分别经过全局最大池化层和全局平均池化层,将二者的输出特征图进行特征拼接操作,将拼接后的特征图经过7
×
7卷积、归一化层和sigmoid激活函数得到空间注意力图。
[0169]
采用上述优选的方案,注意力机制包括通道注意力和空间注意力,分别在通道和空间维度依次推断注意力图,然后将注意力图与输入特征图相乘以进行自适应优化,获取感兴趣区域。将空间注意力图与二次中间特征图相乘得到最终的输出特征图。
[0170]
其中,通道注意力和空间注意力可用如下公式表示:
[0171]
mc(f)=σ(mlp(avgpool(f)+mlp(maxpool(f)))
[0172]ms
(f)=σ(f7×7([avgpool(f);maxpool(f)]))
[0173]
其中,m
*
(
·
)代表输出的注意力图,σ(
·
)表示sigmoid函数,mlp表示多层向量机,avgpool和maxpool分别表示平均和最大池化,f7×7(
·
)代表7
×
7卷积,f为输入特征图。
[0174]
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,经过多尺度融合策略得到的融合特征图具体为下式:
[0175][0176]
其中,gk表示编码器第k层输出的融合特征图,fk表示编码器第k层的输入特征图,代表上采样2
i-k
倍,c代表拼接操作,d
sconv
@2
i-k
则表示扩张率为2
i-k
的空洞卷积。
[0177]
采用上述优选的方案,多尺度融合策略将编码器的深层和浅层特征进行有效结合,捕获更细致的特征传递给解码器部分,从而重建出质量较高的ct。
[0178]
具体地,以编码器部分的第三层作为例子说明多尺度融合策略的实现流程,其它相应层的融合策略与此类似:
[0179]
1)分别获取编码器第三、四、五层的特征图,作为输入特征图;
[0180]
2)输入特征图经过3
×
3卷积,得到每层相应的特征,作为中间特征图;
[0181]
3)第四层和第五层的中间特征图分别上采样2和4倍,保持和第三层中间特征图同样分辨率大小;
[0182]
4)将中间特征图进行通道维度的拼接;
[0183]
5)将拼接的特征图输入到扩张率分别为1、2和4的扩张卷积获取不同尺度的特征图;
[0184]
6)将不同尺度的特征图再进行通道维度的拼接;
[0185]
7)将拼接后的特征图经过1
×
1卷积得到编码器第三层最终的输出特征图。
[0186]
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,在三维重建模块中,灰度值差异计算具体为均方差损失的计算,均方差损失计算公式为:
[0187][0188]
其中,m为样本数,yi为三维重建ct,y
′i为待重建ct。
[0189]
采用上述优选的方案,灰度值差异计算是将网络生成的三维重建ct与待重建ct进行均方差损失的计算,将此损失在网络中进行反向传播,得到网络参数的梯度,并通过梯度下降优化方法更新网络参数,使得均方差损失达到最小,即全局最优解。
[0190]
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,对卷积神经网络的训练,具体包括以下步骤:
[0191]
b1:将待重建ct和kv投影数据进行预处理,预处理操作为将kv投影数据进行数据归一和标准化到[0,1]区间,并将其调整成128
×
128像素,待重建ct也标准化至[0,1]区间,体素大小调整为128
×
128
×
128;
[0192]
b2:将待重建ct和与其对应的kv投影数据构成样本对,并按照6:2:2比例划分为训练集、测试集和验证集;
[0193]
b3:将训练集输入卷积神经网络进行训练和三维转换,得出三维重建ct;
[0194]
b4:将三维重建ct与待重建ct进行均方差损失计算,将得到的损失在卷积神经网络中进行反向传播,得到网络参数的梯度,并通过梯度下降优化方法更新网络参数,使得均方差损失达到最小;
[0195]
b5:每训练完一次,利用验证集进行验证,判断在验证集上的均方差损失是否最小;
[0196]
若是,则保存权重;
[0197]
若不是,则继续训练,当训练达到阈值次数后,验证集上的均方差损失仍然不下降,则调整学习率;
[0198]
b6:重复b3-b5,直至卷积神经网络的训练结果达到预期,训练集上的均方差损失达到最小。
[0199]
本发明一种基于单张投影数据的三维ct图像重建方法及装置具有以下有益效果:
[0200]
第一,使用深度学习方法进行训练,相比于传统的重建算法,整个训练过程更加快速便捷,并且无需人为干预,是端到端的训练。
[0201]
第二,只使用单张kv投影数据就能重建出质量较高的ct图像。从稀疏投影转向单张投影数据重建三维ct断层成像,在保证生成质量的前提下,重建时间更短,给患者带来的辐射剂量更少。
[0202]
第三,添加注意力机制,让网络在训练过程中更加关注感兴趣区域,提取特征更加精准。
[0203]
第四,添加多尺度融合策略,更好地结合网络编码器的浅层和深层特征,获取细粒度融合特征,并将融合后的特征传递给解码器部分以生成最后的重建结果。
[0204]
以上多种实施方式可交叉并行实现。
[0205]
应当理解,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
[0206]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1