一种迭代层间信息融合的医学图像帧插值方法及终端机

本发明涉及医学图像处理技术领域，尤其涉及一种迭代层间信息融合的医学图像帧插值方法及终端机。

背景技术：

医学图像是指为了临床诊断或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。对医学图像的研究包含两个相对独立的领域:医学成像系统(medicalimagingsystem)和医学图像处理(medicalimageprocessing)。医学图像处理的对象是各种不同成像机理的医学影像，临床广泛使用的医学图像种类主要有电子计算机断层扫描(computedtomography，ct)图像、磁共振成像(magneticresonanceimaging，mri)和医学超声波检(medicalultrasonography，ui)等。医学图像是辅助医生进行疾病诊断的一种重要手段，因此其分辨率高低至关重要。医学图像的层间分辨率主要受两种因素影响:第一，医学图像为计算机成像而非光感成像，设备探测器测到的值不能直接成像，需要由计算机计算导出最终成像；第二，医学图像质量受设备、医学试剂剂量等影响。

如何在上述两项因素的影响下获取高质量的医学图像层间帧，已成为计算机视觉领域需要解决的问题。目前医学图像层间插值的目的是从捕获的医学图像帧中恢复未见的中间帧，以此对患者病情进行更加详细、准确的诊断。传统的医学图像层间插值方法众多，目前有提出基于形状的灰度序列切片图像插值算法、或者用线性观测网络进行图像重建，还有通过提取输入两帧医学图像光流预测中间帧再利用基于医学图像块自相似性非局部均值进行修复的配准方法。这些传统方法在面临医学图像层间距过大或病灶组织活动范围大等情况时，预测结果通常不准确。

深度学习在医学图像上的应用还包括与层间插值相关的医学图像配准工作。医学图像配准目的为取一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。医学图像配准与医学图像帧插值在生成预测图像方面有较大的相似之处。现有技术中提出过利用cnn来解决图像配准的网络，输入两帧不同模态但是相同部位的医学图像，从而预测一帧融合两幅图像特征的中间帧。若出现两幅图像结构信息相差过大，以及图像层间插值层间距过大或者边界运动大的情况，会影响网络结果的准确性。

技术实现要素：

本发明提供的迭代层间信息融合的医学图像帧插值方法中，采用加深的骨干网络扩大了网络在医学图像二维平面上的空间广度，利用层间信息融合模块来融合预测图像与真实图像，将重要的层间结构信息融入预测帧中。

具体方法包括：

s1，通过三层卷积网络提取医学图像特征，输入骨干网络中，对图像的层间进行预测；

s2，构建层间信息融合模块，将真实层间图像的有效特征信息融入骨干网络，并输出的中间结果；

s3，在层间信息融合模块中利用分权融合损失函数优化骨干网络。

进一步的讲，步骤对图像的层间进行预测包括：

配置两个医学图像i0，i2；

i0，i2为两幅层间连续的医学图像，p0和p2分别为i0，i2中心坐标同为(x,y)的发生边界变化的区域；

通过i0和i2预测出两幅图像的层间变化区域pmid，得到层间图像imid；

imid＝f(i0,i2)(1)

其中，f为卷积操作或其他操作；

利用两幅连续帧i0，i2得到中间帧imid的方法如下：

imid＝p0(x,y)*k0(x,y)+p2(x,y)*k2(x,y)(2)

其中，k0和k2为两个二维卷积核；

进一步的讲，步骤s1中，迭代层间信息融合网络首先采用三层卷积对输入的医学图像进行特征提取，然后将得到的信息输入网络的骨干网络块组成的网络中得到拟合imid'，公式如下，

imid'＝f(x)(3)。

进一步的讲，使用批归一化应对网络加深导致的退化问题；用leakyrelu激活函数代替relu，解决relu在负值区域神经元死亡的问题；

利用1*1卷积将输入直接映射到网络块输出部分，保存图像特征信息；

通过公式(3)，并由骨干网络块组成的网络获取一个预测帧imid'，其中f(x)为

f(x)＝nφ(x)(4)

其中，n为骨干网络块数量，φ(·)代表骨干网络块。

进一步的讲，基于残差网络，结合跳跃连接进行恒等映射，使残差网络应对退化现象；

残差块配置方式为：

x＝h(x)+x(5)

h(x)表示残差块不包含跳跃连接的部分；

骨干网络使用四层卷积层，四层卷积层为c0、c1、c2、c3，对图像的特征信息进行处理；

使用三个跳跃连接，并利用特征信息，降低梯度消失的影响；

在骨干网络块中，将输入x传输至骨干网络块底部与输出数据进行拼接；

将输入x传送至c2前与c1输出的图像特征图进行拼接；

将c1的输出传播到骨干网络块底部与输出特征图进行拼接。

进一步的讲，构建层间信息融合模块包括：

利用层间信息融合模块处理输入帧与骨干网络预测结果imid的层间结构信息；

骨干网络输出imid'作为层间信息融合模块的当前状态输入，i0与i2作通道维度上的拼接所得张量作为隐藏状态输入，从而利用层间信息模块将输入图像的有效层间信息融合入imid'；作为层间信息融合模块主体结构的convgru，内部具有重置门r

r＝σ(wrxt+uht-1)(6)

和更新门z

z＝σ(wzxt+uht-1)(7)

其中，h为隐藏状态，t为输入状态的顺序，σ为激活函数，xt为convgru的当前输入imid'；

骨干网络输入的i1，基于convgru通过重置门r,将顺序为t的帧中的信息选择性的添加到当前输入xt上，将隐藏状态ht-1的信息添加到xt上；其中ht为，

ht＝(1-z)ht-1+zh'(8)

骨干网络中的ht就是由输入的i0与i2经过骨干网络部分的中间结果imid'。

进一步的讲，利用分权融合损失函数优化骨干网络方式包括：

配置骨干网络的第一部分为：由骨干网络块组成的中间结果预测网络；

配置骨干网络的第二部分为层间信息融合模块；

使用l2损失作为参数惩罚函数，骨干网络的两部分均采用l2损失函数对网络进行优化，分别记为lb以及lg；

选择α＝0.1，β＝0.9分别作为lb与lg权重对网络进行优化，融合损失函数的定义为：

l＝(α×lb)+(β×lg)(9)

描述如下：

imid＝f(i0,i2)＝f(b(i0,i2),(i0,i2))(10)

其中，f，b代表层间信息融合模块与骨干网络，即b(i0,i2)为公式(4)。

本发明还提供一种实现迭代层间信息融合的医学图像帧插值方法的终端机，包括：

存储器，用于存储计算机程序及迭代层间信息融合的医学图像帧插值方法；

处理器，用于执行所述计算机程序及迭代层间信息融合的医学图像帧插值方法，以实现迭代层间信息融合的医学图像帧插值方法的步骤。

从以上技术方案可以看出，本发明具有以下优点：

本发明提供的迭代层间信息融合的医学图像帧插值方法，通过构建层间信息融合模块，即从真实数据中提取出层间有效信息融入中间预测图像，并使用分权融合损失函数度量预测帧，以达到准确预测层间图像的目的。

本发明的网络采用卷积层提取输入图像序列的特征，同时利用自定义骨干网络进行恒等变换，从而降低模型对网络深度的敏感程度，在此基础上通过加深网络扩大其在二维平面上的空间广度，最终输出一帧中间预测图像；此外，利用leakyrelu代替传统relu激活网络，有效地提升了网络优化度。

本发明利用层间信息融合模块来融合预测图像与真实图像，将重要的层间结构信息融入预测帧中.较已有帧插值方法，本发明方法能够获得更理想的定性和定量预测帧结果。

本发明与目前较为先进的自然图像及医学图像帧插值方法相比，在多种组织数据集上均能获得更高质量的层间图像。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为迭代层间信息融合的医学图像帧插值方法流程图；

图2为医学图像帧插值示意图；

图3为迭代层间信息融合的医学图像帧插值网络框架图；

图4为残差块与骨干网络块对比示意图；

图5为层间信息融合模块示意图；

图6为部分训练图像样本展示图；

图7为层间信息融合模块不同权重结果图；

图8为不同损失函数预测输出示意图；

图9为同序列数据预测结果展示图；

图10为心脏横截面不同网络预测结果展示图；

图11为肺部矢状图不同网络预测结果展示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出的迭代层间信息融合的医学图像帧插值方法，利用跳跃连接来缓解神经网络由于网络层数加深而导致的梯度消失问题。特别的，采用加深的骨干网络扩大了网络在医学图像二维平面上的空间广度。同时，利用层间信息融合模块来融合预测图像与真实图像，将重要的层间结构信息融入预测帧中。经过实际验证，较已有帧插值方法，本发明方法能够获得更理想的定性和定量预测帧结果。也就是说本发明的效果为：

(1)构建了一个端到端的网络，不再将图像去模糊、运动估计与像素合成作为单独的任务；

(2)使用提出的信息融合模块来处理帧间的空间信息，根据一个空间邻域内图像信息的重要程度影响预测的中间帧像素；

(3)与现有技术相比，网络采用自定义网络块代替u-net，并加深网络深度以增强对输入图像二维特征的提取。

本领域普通技术人员可以意识到，本发明提供的迭代层间信息融合的医学图像帧插值方法中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明提供的迭代层间信息融合的医学图像帧插值方法中所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

本发明为提高医学图像层间分辨率，本发明提出的迭代层间信息融合的医学图像帧插值方法中，如图1和2所示，方法包括：

s1，通过三层卷积网络提取医学图像特征，输入骨干网络中，对图像的层间进行预测；

s2，构建层间信息融合模块，将真实层间图像的有效特征信息融入骨干网络，并输出的中间结果；

s3，在层间信息融合模块中利用分权融合损失函数优化骨干网络。

其中，本发明涉及的医学图像帧插值的目的是通过输入两帧层间相邻的医学图像预测出中间帧的每个像素，实现像素级的预测，从而得到中间帧。

如图3所示，i0，i2为两幅层间连续的医学图像，p0和p2分别为i0，i2中心坐标同为(x,y)的发生边界变化的区域，本发明通过i0和i2预测出两幅图像的层间变化区域pmid从而得到层间图像imid。

imid＝f(i0,i2)(1)

其中，f为卷积操作或其他操作。利用两幅连续帧i0，i2得到中间帧imid的方法如下：

imid＝p0(x,y)*k0(x,y)+p2(x,y)*k2(x,y)(2)

其中，k0和k2为两个二维卷积核。

u-net为医学图像中常用的网络框架，adaconv、sepconv均以u-net为主体处理医学图像。众所周知，神经网络越深则能从图像中获取的信息越多，特征越丰富。简单的增加卷积神经网络深度会面临梯度消失和梯度爆炸问题，并且如果网络过深还会导致网络退化问题。

迭代层间信息融合网络首先采用三层卷积对输入的医学图像进行特征提取，然后将得到的信息输入网络的骨干网络块组成的网络中得到拟合imid'，公式如下，

imid'＝f(x)(3)

其中，f(x)详见公式(4)。

进一步的讲，卷积神经网络随着网络深度的增加会产生退化现象。本发明利用直接映射来防止网络退化且更符合医学图像帧插值的骨干网络块。骨干网络块如图4(b)所示，使用批归一化(batchnormalization，bn)应对网络加深导致的退化问题；用leakyrelu激活函数代替relu从而解决relu在负值区域神经元死亡的问题；利用1*1卷积将输入直接映射到网络块输出部分以更好地保存图像特征信息。如公式(3)由骨干网络块组成的网络获取一个预测帧imid'，其中f(x)为

f(x)＝nφ(x)(4)

其中，n为骨干网络块数量，φ(·)代表骨干网络块。

本发明中的残差网络利用跳跃连接进行恒等映射从而使网络更好地应对退化现象。残差块的方式如图4(a)所示:

x＝h(x)+x(5)

h(x)表示残差块不包含跳跃连接的部分。相较于残差网络，本发明提出的骨干网络使用四层卷积层(c0、c1、c2、c3)处理图像的特征信息；使用三个跳跃连接是网络充分利用特征信息且降低梯度消失带来的影响。本发明骨干网络块的跳跃连接如图3(b)所示，将输入x传输至网络块底部与输出进行拼接；将输入x传送至c2前与c1输出的图像特征图进行拼接；将c1的输出传播到网络块底部与输出特征图进行拼接。

本发明涉及的构建层间信息融合模块中，考虑经典的帧内插神经网络主要使用时间维度或者空间维度上相邻的两帧，通过计算两帧对应像素的光流变化或运动来预测像素的值。与这些方法不同，本发明网络利用层间信息融合模块来处理输入帧与骨干网络预测结果imid的层间结构信息，以此来增强相邻帧之间的运动一致性，模块的主体结构由convgru组成。

骨干网络输出imid'作为层间信息融合模块的当前状态输入，i0与i2作通道维度上的拼接所得张量作为隐藏状态输入，从而利用层间信息模块将输入图像的有效层间信息融合入imid'。作为层间信息融合模块主体结构的convgru如图5所示，内部具有重置门r

r＝σ(wrxt+uht-1)(6)

和更新门z

z＝σ(wzxt+uht-1)(7)

其中，h为隐藏状态，t为输入状态的顺序，σ为激活函数，xt为convgru的当前输入imid'，即，网络输入的i1。convgru通过重置门r,将顺序为t的帧中的信息选择性的添加到当前输入xt上，也就是将隐藏状态ht-1的信息添加到xt上。

其中ht为，

ht＝(1-z)ht-1+zh'(8)

此网络中的ht就是由输入的i0与i2经过骨干网络部分的中间结果imid'。

本发明涉及的融合损失函数中，利用分权融合损失函数优化骨干网络。骨干网络第一部分为由骨干网络块组成的中间结果预测网络，第二部分为层间信息融合模块。医学图像帧内插需要实现像素级的预测，由于使用l1损失函数会导致预测图像病灶区域出现细节损失，本发明选择使用l2损失作为参数惩罚函数。因此，网络两部分都采用l2损失函数对网络进行优化，分别记为lb以及lg。经过实验选择α＝0.1，β＝0.9分别作为lb与lg权重对网络进行优化，融合损失函数的定义为：

l＝(α×lb)+(β×lg)(9)

如上所示，本发明的整体描述如下:

imid＝f(i0,i2)＝f(b(i0,i2),(i0,i2))(10)

其中，f，b代表层间信息融合模块与骨干网络，即b(i0,i2)为公式(4)。

基于上述迭代层间信息融合的医学图像帧插值方法，本发明进行了实验与分析。

其中，配置了实验数据集。实验所用数据集采用山东省千佛山医院提供的医学图像，这些图像由不同部位医学图像序列组成，包括ct和mri图像。图6展示了部分训练样本示例，每列表示一个样本包含三幅连续图像，第一行与第三行为输入网络的两幅连续帧i0与i2，第二行为作为groundtruth的i1，图像格式均为dicom，图像大小为512*512像素。由于医学图像质量对训练网络的质量有很大的影响，数据集采用病灶区域边界变化较明显的5000个样本作为训练样本，800个作为测试样本。

实验过程中的参数设置使用自适应学习率adamax训练网络。使用leakyrelu代替relu作为网络的激活函数，相较于relu激活函数将所有负值都映射为零，leakyrelu赋予负值非零斜率以避免细胞死亡。单次训练样本数为16，当样本数小于16时会减缓网络的训练速度，并且更小的样本数不能提高训练的精确度。

为了让网络更高效地提取每帧图像中有意义的结构信息，我们不训练整张图像，而是选择大小为128*128像素的感受野进行训练。数据集由几个不同部位的医学图像组成，每个训练样本由三个连续的帧i0，i1，i2组成，中间帧i1作为groundtruth，i0，i2作层间维度上的拼接输入网络。骨干网络由10个网络块组成，每个网络块的输入输出维度分别为:(3，16)，(16，64)，(64，128)，(128，256)，(256，512)，(512，256)，(256，128)，(128，64)，(64，16)，(16，3)。

本发明进行了消融实验，激活函数的对比如表1所示，当激活函数选择leakyrelu时定量指标表现更好，因为leakyrelu避免了在负值出的细胞死亡，能更好地保存特征信息。

经实验证明，选择l2范数作为骨干网络与层间信融合模块的损失函数会生成更准确的预测图像。图7分别展示了groundtruth与三种损失函数的预测图像，其中第一行为完整图像，第二行为局部放大图。可以看出网络损失函数为l2范数时，组织内部的细节更加丰富准确，并且组织外部的细微轮廓变化也能得到准确预测。

融合损失函数由骨干网络损失函数与层间信息融合损失函数两部分组成。两部分损失函数的权重会对整体结果产生一定影响。如图7所示，当α＝0.1，β＝0.9时psnr与ssim两个指标表现最好。

表1两种激活函数对比

实验结果以及对比:

本发明实验采用两种评价指标。峰值信噪比(peaksignaltonoiseratio，psnr)是一种全参考的图像质量评价指标，psnr值越大，表示预测图像更接近groundtruth。其定义为:

其中，mse为真实数据i1与网络输出imid的均方误差。

结构相似性(structuralsimilarity，ssim)也是一种全参考的图像质量评价指标，其定义为:

其中，μx与μy代表groundtruthi1与imid的像素均值；σx与σy为标准差，σxy为i1与imid的像素协方差；c1＝(k1l)²，c2＝(k2l)²，k1＝0.01，k2＝0.03，l＝255。ssim与psnr相同，值越大表示预测图像更接近groundtruth。

迭代层间信息融合的医学图像帧插值网络研究的目的是提高图像序列中间切片预测的准确性，从而增强医学图像层间分辨率。从视觉评价方面，本发明选取了部分有代表性的数据进行测试，如图9所示，本发明选取同一序列的一组心脏横截面图像，第一行为5张中间真实切片，第二行为同列真实切片对应的预测图像。从图9中可以看出本网络所得预测图像组织边界区域与groundtruth边界十分接近，清晰展现了组织轮廓；图像内容细节丰富，轮廓外细微部分的像素也未丢失；在像素密集与像素稀疏部分均实现了准确预测。本网络准确清晰地预测了医学图像中间图像，从而稳定地提高切片的层间分辨率。

为进一步证明网络预测医学图像中间切片的效果的提升。本发明选取sepconv方法、pix2pix方法、dain方法、voxelmorph方法，在随机选取的16个测试样本上进行了对比实验，图10、图11为在其中两个测试样本上所得图像结果，两组对比图像的第一、二行分别为不同网络预测图像及其局部放大图。如图所示本发明方法所预测图像最接近groundtruth，在轮廓变化区域以及组织细微部分表现更好；对医学图像的整体结构预测方面五个网络均有良好表现。sepconv方法得出结果视觉效果较好，但与本发明网络相比细微部分像素不够准确。pix2pix方法与dain方法在某些轮廓部分会出现轻微的伪影。根据网络结构分析，本发明采用了适合医学图像的骨干网络快以及融合层间有效信息的信息融合模块，sepconv采用了u-net为主体的网络所以视觉效果以及量化指标均比另外两种方法要好；而pix2pix方法与dain方法更聚焦于预测流畅的轮廓变化。因此，图10和11证明本发明方法能更准确清晰地预测医学图像序列中间帧。

为更好地证明本发明方法的效果提升，本发明除从视觉效果方面进行对比，还定量地与四种网络进行比较。从表2可以看出，本发明网络在两种评价指标平均值上均取得更好的结果。因此可以证明本发明网络能够更加准确清晰地预测医学图像序列的中间帧，从而提高图像层间分辨率，对协助医生更好地进行病情诊断具有重要意义。

表2不同网络结果对比

本发明提出的迭代层间信息融合的医学图像帧插值方法中，获取医学图像层内二维平面上更准确的结构信息，实现图像层间有效结构信息的传递，本发明提出迭代层间信息融合的医学图像帧插值网络。该网络设计了更适用于医学图像处理的骨干网络，用以提取图像平面特征从而生成中间预测结果；在骨干网络输出中间结果后，利用层间信息融合模块将两幅连续输入图像的层间有效信息融合入中间输出，从而输出最终的中间帧预测结果。同时，利用超参数调节骨干网络与骨干网络损失函数的权重，以提高中间帧的生成质量。

由于本发明使用的样本由每组图像序列的三个连续帧组成，在以后的工作中我们将考虑采用更多连续样本帧数据来处理医学图像层间结构信息的融合问题。经实验表明，本发明方法与目前较为先进的自然图像以及医学图像帧插值方法相比，无论是定量还是定性指标均有更好的表现。

基于上述方法本发明还提供一种实现迭代层间信息融合的医学图像帧插值方法的终端机，包括：存储器，用于存储计算机程序及迭代层间信息融合的医学图像帧插值方法；处理器，用于执行所述计算机程序及迭代层间信息融合的医学图像帧插值方法，以实现迭代层间信息融合的医学图像帧插值方法的步骤。

终端机可以以各种形式来实施。例如，本发明实施例中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、平板电脑(pad)等等的终端机以及诸如数字tv、台式计算机等等的固定终端。

终端机可以包括无线通信单元、音频/视频(a/v)输入单元、用户输入单元、感测单元、输出单元、存储器、接口单元、控制器和电源单元等等。但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。

同时，当显示单元和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元可以用作输入装置和输出装置。显示单元可以包括液晶显示器(lcd，liquidcrystaldisplay)、薄膜晶体管lcd(tft-lcd，thinfilmtransistor-lcd)、有机发光二极管(oled，organiclight-emittingdiode)显示器、柔性显示器、三维(3d)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为透明有机发光二极管(toled)显示器等等。

实现迭代层间信息融合的医学图像帧插值方法是结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。