1.一种迭代层间信息融合的医学图像帧插值方法,其特征在于,方法包括:
s1,通过三层卷积网络提取医学图像特征,输入骨干网络中,对图像的层间进行预测;
s2,构建层间信息融合模块,将真实层间图像的有效特征信息融入骨干网络,并输出的中间结果;
s3,在层间信息融合模块中利用分权融合损失函数优化骨干网络。
2.根据权利要求1所述的方法,其特征在于,
步骤对图像的层间进行预测包括:
配置两个医学图像i0,i2;
i0,i2为两幅层间连续的医学图像,p0和p2分别为i0,i2中心坐标同为(x,y)的发生边界变化的区域;
通过i0和i2预测出两幅图像的层间变化区域pmid,得到层间图像imid;
imid=f(i0,i2)(1)
其中,f为卷积操作或其他操作;
利用两幅连续帧i0,i2得到中间帧imid的方法如下:
imid=p0(x,y)*k0(x,y)+p2(x,y)*k2(x,y)(2)
其中,k0和k2为两个二维卷积核。
3.根据权利要求1所述的方法,其特征在于,
步骤s1中,迭代层间信息融合网络首先采用三层卷积对输入的医学图像进行特征提取,然后将得到的信息输入网络的骨干网络块组成的网络中得到拟合imid',公式如下,
imid′=f(x)(3)。
4.根据权利要求3所述的方法,其特征在于,
方法中,使用批归一化应对网络加深导致的退化问题;用leakyrelu激活函数代替relu,解决relu在负值区域神经元死亡的问题;
利用1*1卷积将输入直接映射到网络块输出部分,保存图像特征信息;
通过公式(3),并由骨干网络块组成的网络获取一个预测帧imid′,其中f(x)为
f(x)=nφ(x)(4)
其中,n为骨干网络块数量,φ(·)代表骨干网络块。
5.根据权利要求4所述的方法,其特征在于,
方法中,基于残差网络,结合跳跃连接进行恒等映射,使残差网络应对退化现象;
残差块配置方式为:
x=h(x)+x(5)
h(x)表示残差块不包含跳跃连接的部分;
骨干网络使用四层卷积层,四层卷积层为c0、c1、c2、c3,对图像的特征信息进行处理;
使用三个跳跃连接,并利用特征信息,降低梯度消失的影响;
在骨干网络块中,将输入x传输至骨干网络块底部与输出数据进行拼接;
将输入x传送至c2前与c1输出的图像特征图进行拼接;
将c1的输出传播到骨干网络块底部与输出特征图进行拼接。
6.根据权利要求1所述的方法,其特征在于,
构建层间信息融合模块包括:
利用层间信息融合模块处理输入帧与骨干网络预测结果imid的层间结构信息;
骨干网络输出imid'作为层间信息融合模块的当前状态输入,i0与i2作通道维度上的拼接所得张量作为隐藏状态输入,从而利用层间信息模块将输入图像的有效层间信息融合入imid';作为层间信息融合模块主体结构的convgru,内部具有重置门r
r=σ(wrxt+uht-1)(6)
和更新门z
z=σ(wzxt+uht-1)(7)
其中,h为隐藏状态,t为输入状态的顺序,σ为激活函数,xt为convgru的当前输入imid′;
骨干网络输入的i1,基于convgru通过重置门r,将顺序为t的帧中的信息选择性的添加到当前输入xt上,将隐藏状态ht-1的信息添加到xt上;其中ht为,
ht=(1-z)ht-1+zh′(8)
骨干网络中的ht就是由输入的i0与i2经过骨干网络部分的中间结果imid'。
7.根据权利要求1所述的方法,其特征在于,
利用分权融合损失函数优化骨干网络方式包括:
配置骨干网络的第一部分为:由骨干网络块组成的中间结果预测网络;
配置骨干网络的第二部分为层间信息融合模块;
使用l2损失作为参数惩罚函数,骨干网络的两部分均采用l2损失函数对网络进行优化,分别记为lb以及lg;
选择α=0.1,β=0.9分别作为lb与lg权重对网络进行优化,融合损失函数的定义为:
l=(α×lb)+(β×lg)(9)
描述如下:
imid=f(i0,i2)=f(b(i0,i2),(i0,i2))(10)
其中,f,b代表层间信息融合模块与骨干网络,即b(i0,i2)为公式(4)。
8.一种实现迭代层间信息融合的医学图像帧插值方法的终端机,其特征在于,包括:
存储器,用于存储计算机程序及迭代层间信息融合的医学图像帧插值方法;
处理器,用于执行所述计算机程序及迭代层间信息融合的医学图像帧插值方法,以实现如权利要求1至7任意一项所述迭代层间信息融合的医学图像帧插值方法的步骤。