基于X光造影成像序列时间超分辨率重建方法及装置

基于x光造影成像序列时间超分辨率重建方法及装置
技术领域
1.本发明涉及医学图像处理的技术领域，尤其涉及一种基于x光造影成像序列时间超分辨率重建方法，以及基于x光造影成像序列时间超分辨率重建装置。


背景技术：

2.心脏冠状动脉造影术是辅助医生进行心脏介入手术的一项重要技术。冠状动脉造影是将导管经大腿股动脉或其他周围动脉插入，送至升主动脉，然后探寻左或右冠状动脉口插入，注入造影剂，使冠状动脉显影，这样能比较明确地揭示冠状动脉的解剖畸形以及其阻塞性病变的位置、程度与范围。冠状动脉造影是目前唯一能直接观察冠状动脉形态的论断方法。在x射线照射下，医生通过导管注射造影剂，实时测定冠状动脉的状态。然而，为了获得更准确的冠状动脉状态，医生需要增加x射线暴露的频率和强度，这将不可避免地增加对患者和外科医生的潜在伤害。对于降低x射线曝光和降低脉冲频率来降低对医患伤害的同时，还要获得高帧率高清晰度视频，以确保医生能够清晰地观察冠状动脉活动，视频插帧技术成为一种解决方案。
3.利用先进的深度学习算法，寻找一种对冠状动脉造影序列进行帧内插的方法，通过降低冠状动脉造影序列的帧率来减少x射线暴露的频率，从而减少x射线对医生的伤害。那么对于这种基于深度学习的冠脉造影视频插帧方法，有如下几点是不能忽视的：
4.1、图像数据分为前景和后景，将光流网络估计得到的像素运动作用于输入帧上时，前景经过运动会和后景产生遮挡，此时边界区分不明显，容易产生伪影。
5.2、冠脉图像数据有很强的结构信息，而使用常规的损失函数生成结果缺乏对结构信息的学习。
6.3、视频插帧方法是基于对像素的运动估计，所以更准确的光流估计是生成更准确结果的前提。
7.4、相比于自然图像数据，冠脉图像数据中冠脉部分成像结果的好坏在很大程度上决定最终结果的好坏，所以，让神经网络更关注于冠脉部分不容小觑。


技术实现要素：

8.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于x光造影成像序列时间超分辨率重建方法，其将视频插帧方法创新性应用到冠脉造影技术中，使成像结果中冠脉区域部分更加清晰和连贯，进而通过减少射线暴露的频率来减少患者和医护人员受到的伤害。
9.本发明的技术方案是：这种基于x光造影成像序列时间超分辨率重建方法，其包括以下步骤：
10.(1)使用特征金字塔方法，对输入帧提取三层特征图；
11.(2)对冠脉图像数据使用pwc-net(pyramid warping and cost volume
12.net,一种使用金字塔结构、翘曲操作和成本量的光流估计卷积
13.神经网络)光流网络进行运动估计；
14.(3)利用softmax(归一化指数函数)溅射操作，分离遮挡区域；
15.(4)冠脉图像上的运动部位集中于冠脉血管部分，为了使神经网络更关注于冠脉区域，使用u-net(一种u形结构的卷积神经网络)
16.对光流图、输入帧和光流图作用于输入帧得到的中间输出结果一齐叠加提取一个权重图，之后加入到图像生成网络进行训练；
17.(5)使用ssim(structural similarity，结构相似性)损失函数，让神经网络学习到输入帧的结构特征，从而使输出结果和金标准接近。
18.本发明使用特征金字塔方法，对输入帧提取三层特征图，对冠脉图像数据使用pwc-net光流网络进行运动估计，利用softmax溅射操作，分离遮挡区域，使用u-net对光流图、输入帧和光流图作用于输入帧得到的中间输出结果一齐叠加提取一个权重图，之后加入到图像生成网络进行训练，使用ssim损失函数，能够让神经网络学习到输入帧的结构特征，让输出结果和金标准更接近，因此实现了将视频插帧方法创新性应用到冠脉造影技术中，使成像结果中冠脉区域部分更加清晰和连贯，进而通过减少射线暴露的频率来减少患者和医护人员受到的伤害。
19.还提供了基于x光造影成像序列时间超分辨率重建装置，其包括：
20.特征金字塔提取模块，其配置来使用特征金字塔方法，对输入帧提取三层特征图；
21.正反向光流模块，其配置来对冠脉图像数据使用pwc-net光流网络进行运动估计；
22.softmax溅射操作模块，其配置来利用softmax溅射操作，分离遮挡区域；
23.权重图模块，冠脉图像上的运动部位集中于冠脉血管部分，为了使神经网络更关注于冠脉区域，使用u-net对光流图、输入帧和光流图作用于输入帧得到的中间输出结果一齐叠加提取一个权重图，之后加入到图像生成网络进行训练；
24.损失函数模块，其配置来使用ssim损失函数，让神经网络学习到输入帧的结构特征，从而使输出结果和金标准接近。
附图说明
25.图1是根据本发明的基于x光造影成像序列时间超分辨率重建方法的流程图。
具体实施方式
26.如图1所示，这种基于x光造影成像序列时间超分辨率重建方法，其包括以下步骤：
27.(1)使用特征金字塔方法，对输入帧提取三层特征图；
28.(2)对冠脉图像数据使用pwc-net(pyramid warping and cost volumenet,一种使用金字塔结构、翘曲操作和成本量的光流估计卷积神经网络)光流网络进行运动估计；
29.(3)利用softmax(归一化指数函数)溅射操作，分离遮挡区域；
30.(4)冠脉图像上的运动部位集中于冠脉血管部分，为了使神经网络更关注于冠脉区域，使用u_net(一种u形结构的卷积神经网络)
31.对光流图、输入帧和光流图作用于输入帧得到的中间输出结果一齐叠加提取一个权重图，之后加入到图像生成网络进行训练；
32.(5)使用ssim(structural similarity，结构相似性)损失函数，让神经网络学习
到输入帧的结构特征，从而使输出结果和金标准接近。
33.本发明使用特征金字塔方法，对输入帧提取三层特征图，对冠脉图像数据使用pwc-net光流网络进行运动估计，利用softmax溅射操作，分离遮挡区域，使用u-net对光流图、输入帧和光流图作用于输入帧得到的中间输出结果一齐叠加提取一个权重图，之后加入到图像生成网络进行训练，使用ssim损失函数，能够让神经网络学习到输入帧的结构特征，让输出结果和金标准更接近，因此实现了将视频插帧方法创新性应用到冠脉造影技术中，使成像结果中冠脉区域部分更加清晰和连贯，进而通过减少射线暴露的频率来减少患者和医护人员受到的伤害。
34.优选地，所述步骤(1)中，使用resnet block作为输入帧特征图提取模块。
35.优选地，所述步骤(3)中，通过对输入帧进行softmax操作，再将光流网络估计的运动结果作用到进行softmax操作后的输入帧上，得到一个粗糙的中间近似结果。
36.优选地，所述步骤(4)中，使用一个u-net网络对输入帧、光流图和步骤(3)得到的粗糙的中间近似结果提取一个权重图。
37.优选地，所述步骤(5)中，图像合成网络使用的是gridnet网络结构，通过gridnet结构从提取的特征图、softmax溅射生成的中间结果和权重图中生成最终的插值结果。
38.本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于x光造影成像序列时间超分辨率重建装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
39.特征金字塔提取模块，其配置来使用特征金字塔方法，对输入帧提取三层特征图；
40.正反向光流模块，其配置来对冠脉图像数据使用pwc-net光流网络进行运动估计；
41.softmax溅射操作模块，其配置来利用softmax溅射操作，分离遮挡区域；
42.权重图模块，冠脉图像上的运动部位集中于冠脉血管部分，为了使神经网络更关注于冠脉区域，使用u-net对光流图、输入帧和光流图作用于输入帧得到的中间输出结果一齐叠加提取一个权重图，之后加入到图像生成网络进行训练；
43.损失函数模块，其配置来使用ssim损失函数，让神经网络学习到输入帧的结构特征，从而使输出结果和金标准接近。
44.优选地，所述特征金字塔提取模块中，使用resnet block作为输入帧特征图提取模块。
45.优选地，所述softmax溅射操作模块中，通过对输入帧进行softmax操作，再将光流网络估计的运动结果作用到进行softmax操作后的输入帧上，得到一个粗糙的中间近似结果。
46.优选地，所述权重图模块中，使用一个unet网络对输入帧、光流图和softmax溅射操作模块得到的粗糙的中间近似结果提取一个权重图。
47.优选地，所述损失函数模块中，图像合成网络使用的是gridnet网络结构，通过gridnet结构从提取的特征图、softmax溅射生成的中间结果和权重图中生成最终的插值结果。
48.本发明所要解决的技术问题是：以基于光流运动估计的视频插帧方法为基础，针对冠脉造影图像的特点，通过提取一个冠脉运动部分的权重图和使用一个新的损失函数，来减少冠脉部分插帧成像的伪影，增加结果的精度。
49.本发明主要是利用softmax溅射操作，分离遮挡区域；对冠脉图像数据使用pwc-net光流网络进行运动估计；冠脉图像上的运动部位集中于冠脉血管部分，因此为了使神经网络更关注于冠脉区域，使用u-net对光流图、输入帧和光流图作用于输入帧得到的中间输出结果一齐叠加提取一个权重图，之后加入到图像生成网络进行训练。
50.冠脉图像数据具有很强的结构特性，使用常规的l1损失函数并不能很好的重现结构特征，本发明使用ssim损失函数，能够让神经网络学习到输入帧的结构特征，让输出结果和金标准更接近。
51.从而实现了生成的冠脉造影序列帧内插结果更加清晰。
52.本发明的技术效果在于：经过实验验证，相比较于传统的线性溅射操作和平均溅射操作，使用softmax溅射操作，能够更清晰地分离出遮挡的区域。针对冠脉图像的运动集中在冠脉部分，通过使用u-net对光流图和输入帧及中间结果提取一个权重图使得神经网络更关注冠脉部分，从而可以增加冠脉区域生成结果的清晰度；针对冠脉图像数据有很明显的结构信息和亮度信息，传统的视频插帧损失函数如l1损失函数和感知损失函数并不能很好的学习到数据中的结构和连续性信息，本发明通过使用结构化差异损失函数，生成的插入帧能更多的保留结构信息和亮度信息。
53.以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。