一种基于深度学习的医学影像超分辨率重建方法与流程

本发明属于计算机视觉技术领域,尤其涉及一种基于深度学习的医学影像超分辨率重建方法。

背景技术：

随着深度学习的发展，计算机视觉和图像处理的水平在一些场景下正在不断突破传统方法的瓶颈。图像超分辨率作为一种计算机视觉中的重要技术，同样蓬勃发展。自然场景下基于深度学习的超分辨率方法层出不穷，也衍生出了多种不同的网络设计模式，网络深度不断增加，特征复用能力不断增强，不同尺度下的psnr指标也在不断上涨，在视频监控、视频复原、数字高清以及卫星图像等实际场景中有着广泛的应用。

由于医疗器械硬件的限制或者医疗影像拍摄时剂量的限制，超分辨率在医疗图像领域也有很大的发展空间，目前也有一些研究者将自然图像中的方法直接迁移到医学图像上，虽然在psnr指标上和视觉效果好像也获得了一些提升，但是这中直接将自然图像中的方法迁移到更加严肃的医学图像上，并且不根据医学图像的具体特征进行相应调整的做法是存疑的。和自然图像不同，医学图像存在阳性区域(病灶)和阴性区域(正常组织)的问题，常规的自然图像图像超分辨率直接将图像分块训练的方法会由于阴阳数据极不平衡导致模型学歪到正常组织上去，这样会对具有影像学意义的医疗图像信息造成了破坏。并且psnr作为一个图像全局信息信号层面的一个评价指标，仅用psnr作为衡量医学图像超分辨率效果的评价指标也是不全面的，并不能评价真正重要的区域的超分辨率效果到底好不好，病灶区域的信号可能会被湮没在大量的正常组织区域信号中。

技术实现要素：

本发明要解决的问题如背景技术中所提，本发明提供一种基于深度学习的医学影像超分辨率重建方法，主要内容为：

(1)针对医学图像特征，对医疗数据集的额外标注信息进行利用，提出新的数据集制作和训练策略，来解决阴阳样本不平衡的问题，后文将此方法简称为pn-samplebalance。

(2)由于目前并没有一个公认有效的医疗图像超分辨率重建效果评价指标，本发明提出使用cad系统结合psnr联合评价医疗图像超分辨率重建效果的评价指标。

cad系统的引入可以弥补psnr无法衡量超分辨率是否对医生真正关注的病灶区域进行了有效增强的缺陷。只有超分辨率技术向着正确的方向进行，psnr的指标的提升也才具有意义。

与现有技术相对，本发明具有以下明显优势：

1、提出的pn-samplebalance方法可以有效的保证模型训练稳定性，保证阴阳区域都能够得到一个较好平衡的学习效果。

2、提出的联合评价指标可以有效识别避免网络训歪时大部分阴性区域提升导致的整体psnr提升的情况。能够确保医疗图像超分辨率效果的有效性。

附图说明：

图1为本发明流程图

图2为本发明使用的3ddense网络结构；

图3为本发明设计的denseblock和compressor的网络结构图；

图4validationpsnr表现，左图为现有方法，右图为本发明1所提出的方法；

图5为本发明2验证，cad系统效果对比图；

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合附图1-5以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明提供了一套基于深度学习的医学图像超分辨率重建的方法和系统。将医学图像直接输入到系统中即可得到正确的超分辨率结果。通过大量的高质量医学图像数据来训练网络，其中和其他方法不同的是我们在训练阶段引入了医学图像数据中病灶的位置信息，但测试时不需要，符合实际需求。此处位置信息指病灶的中心坐标和尺寸或者病灶精细的边缘标注。通过加入这些先验信息，我们可以解决其他方法医学图像超分辨率网络训歪导致的超分辨率后的医学图像丢失了原本影像学意义的问题，我们称此方法为pn-samplebalance方法。并且提出cad系统联合psnr共同对医学影像超分辨率性能进行真正有效的评估，超分辨率方法应该在确保cad系统性能提升的前提下提升psnr才有意义，如果超分辨率后的数据导致cad系统性能下降提升的psnr也失去了意义，可能只是对一些无关区域进行了增强，而我们真正关心的病灶区域信息已经遭到了破坏，这也是psnr的缺点，cad系统的引入可以有效弥补这一缺点。

本发明实施例中，步骤(1)主要包括：高质量医学图像的获取以及病灶位置信息的引入和处理。

具体的，步骤(1-1)，收集高质量的医学图像数据集，并对数据进行清洗，将数据集中较差的数据删除掉。由于我们的任务是超分辨率重建，所以z、y、x三个方向的高分辨率是我们考虑的首要因素，我们一般选择三个方向的spacing均小于1mm为高质量数据。spacing的含义是医学图像中一个体素所包含的实际物理空间中的空间信息，三个方向的spacing越小则实际大小的物体将由更多的体素组成，也就是分辨率更高。并且我们需要收集数据中病灶的位置信息作为我们训练时额外考虑的先验信息。

步骤(1-2)，在收集好数据后我们要开始制作超分辨率训练数据集，为了更高的适用性，我们采用多尺度同时训练的方式，首先对高质量数据集在三个方向中的目标方向上进行相应尺度的下采样操作，再通过双三次插值方法或者三次样条法插值到原始分辨率，作为模拟的低分辨率的数据，和原始数据组成低分辨率(ilr)和高分辨率(ihr)数据对儿(data-pairs)。对病灶位置信息，我们通过voxelcoords＝(worldcoords-origin)/spacing来将真实的坐标信息转化为和三维图像匹配的voxel坐标信息。坐标根据具体的医疗图像的维度具体分为二维坐标(y，x)或三维坐标(z，y，x)。voxelcoords为医疗图像矩阵中对应的坐标，worldcoords为病灶的世界坐标系，origin为拍摄仪器的坐标原点，spacing则为上文提到的一个体素所包含的空间信息。我们需要记录和我们所使用的图像匹配的voxelcoords，保存到内存中用于指导训练时的采样策略。

步骤(2)主要包网络的训练和优化。

具体的，步骤(2-1)不同于其他方法直接在训练前将数据切好块用于训练，我们采用位置信息指导的在线切块策略，在每次获取训练数据时根据人为设定的阴阳数据比例来产生随机数，假设我们认为阴阳比2∶1为一个合理的比值，则可以先产生随机数0，1，2，如果产生0，则去从步骤(1-2)中保存在内存中的阳性区域坐标信息中随机取一个坐标信息，并在空间每个维度中加入20个体素的扰动，将扰动后的坐标作为中心坐标，在步骤(1-2)中所述的低分辨率高分辨率数据对儿(ilr、ihrdata-pairs)中分别截取一个较大的数据块，此处“较大的数据块”指比正式训练时要大一些，增广后再切除多余的部分，防止训练数据在做完在线数据增广后导致边缘有padding的情况发生。经过对训练数据块进行：水平翻转，垂直翻转，前后翻转，平移，放缩，多角度旋转等随机增广操作后切除边缘多余部分到42*42*42(此处为3维数据，二维数据则为42*42)的尺寸用于网络训练。若随机数为1或者2，则在图像中随机有效位置采样，然后进行于阳性区域相同的切块增广操作，用于训练。

步骤(2-2)，将步骤(1-2)中采样得到的满足阴阳比例的一批数据块送入后续的网络中去进行训练。得到超分辨率后的重建的高分辨率图像(isr)，将得到的isr和作为金标准的ihr进行mseloss计算重建损失，再通过反向传播算法(backpropagation)优化网络参数。式中i，j，k分别为三个方向的坐标序号。在训练平稳后选取合适的超分辨率网络模型为后续使用。

此处网络我们使用性能优秀的densenet的密集连接的方式来设计网络，对低层高层特征进行复用融合，以达到更好的结果，如图2所示，并且同样性能下使用的参数量更小，能够对有限参数的表征能力进行最大化的开发，如图3所示为我们的denseblock和compressor的基本结构，denseblock为dense连接方式，完成主要的特征提取工作，compressor主要在其中起到数据降维的效果，因为3d数据非常容易造成显存的不足。

至此我们的第一个发明点陈述完毕，在没有涉及我们第二个发明点时，即超分网络是否正确对医学图像进行增强，仅仅在psnr指标上我们也超过了传统的训练方法很多，图4为我们已有的结果对比。即不考虑医学图像中存在的阴阳样本不平衡问题虽也有较大提升，但性能有限。并且在本发明2中可以发现现存超分方法存在的问题。

步骤3，将现有超分辨率方法在本发明2上进行验证，验证超分辨率方法的切实有效性。同时可以验证本发明1的有效性。注意，本发明2均在实际数据上进行了验证，即实验中使用的低分辨率数据是真实采集的低分辨率数据，而非人造的通过采样得到的假的低分辨率数据。其中：

步骤(3-1)，先在不经过任何超分操作的数据上进行cad系统的训练和测试，作为这批数据所能达到的性能的baseline。

步骤(3-2)使用我们步骤(2)中训练的模型将真实的低分辨率数据进行超分操作进行增强得到isr，并使用isr代替原始的低分辨率数据，按照相同的参数训练cad系统算法，得到本发明1的性能指标。

步骤(3-3)使用步骤(2)中除本发明1中的阴阳平衡方法外，其他均相同的配置，进行训练，作为已有方法的代表。

步骤(3-4)对三次实验进行对比，发现现有的超分方法会导致大量假阳性的出现，也就意味着影响中的医学信息已被破坏。而本发明1中的方法则可以有效避免此问题，并且性能获得了提升，如图5所示。

步骤(3-5)综上说明本发明2可以找出现有超分方法存在的错误学习的问题，能够更全面的评价医学图像超分辨率的性能。而本发明1则可以有效解决上述问题，正确的对医学影像特征进行学习，从而达到正确提升医学图像质量的效果。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。