低剂量MIP图像的增强方法、装置、计算机设备和存储介质与流程

本申请涉及图像处理技术领域，特别是涉及一种低剂量MIP图像的增强方法、装置、计算机设备和存储介质。

背景技术：

直接体绘制(direct volume rendering，DVR)是最有效的体数据可视化方法之一，在医学、地理、物理等众多领域有广泛应用。传递函数(transfer function，TF)负责将体数据属性(如密度值、梯度模等)映射为颜色、透明度等光学属性，其质量对DVR的效果有决定性影响。作为一种特殊的DVR方法，最大密度投影(maximum intensity projection，MIP)将投射光线上的最大密度值投影到屏幕上，无需传递函数，具有简单实用等优点，在医学等领域获得广泛应用。

在PET-MR设备中，需要产生一组MIP图像的PET图像。MIP图像的作用是：作为参考图，辅助MR图片定位。为了获得高质量的PET图像，全剂量的放射性示踪剂是非常有必要的，但是全剂量的放射性示踪剂会引起潜在病人健康伤害的问题。而且简单通过减少剂量的MIP图像又会因为更多噪声而使得MIP图像质量降低，无法满足作为参考图的质量要求。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种低剂量MIP图像的增强方法、装置、计算机设备和存储介质，能够满足低剂量的MIP图像作为参考图的质量要求。

一种低剂量MIP图像的增强方法，所述方法包括：

获取满剂量放射性示踪剂下的第一MIP图像和对应的第一PET图像，重建所述第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；

利用生成对抗神经网络对所述第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；

获取低剂量的放射性示踪剂下的当前MIP图像，将当前MIP图像输入所述图像增强模型进行图像增强，输出MIP增强图像。

在其中一个实施例中，所述重建所述第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像，包括：

根据预设重建参数对第一PET图像进行不同剂量下的重建，得到对应的第二PET图像；并对所述第二PET图像进行像素值的提取，得到第二MIP图像。

在其中一个实施例中，所述利用生成对抗神经网络对所述第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型，包括：

搭建生成对抗神经网络，所述生成对抗神经网络包括生成模块和判别模块；

将所述第一MIP图像作为标签数据，利用所述生成模块对第二MIP图像进行监督学习，得到副图像；

利用所述判别模块对所述副图像和第一MIP图像进行判别，得到判别结果；

在判别结果满足终止条件后完成训练，得到图像增强模型。

在其中一个实施例中，还包括：

在搭建生成对抗神经网络后，对所述第一MIP图像和第二MIP图像进行一对一的shuffle处理。

在其中一个实施例中，件，则将判别结果反馈给所述生成模块，利用所述生成模块对第二MIP图像进行继续监督学习，得到新的副图像。

在其中一个实施例中，还包括：

在输出MIP增强图像后，将MIP增强图像存储为辅助定位的参考图。

相应的，本发明还提供一种低剂量MIP图像的增强装置，所述装置包括获取模块、建立模块以及增强模块：

所述获取模块，用于获取满剂量放射性示踪剂下的第一MIP图像和对应的第一PET图像，重建所述第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；

所述建立模块，用于利用生成对抗神经网络对所述第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；

所述增强模块，用于获取当前低剂量的放射性示踪剂下的当前MIP图像，将当前MIP图像输入所述图像增强模型进行图像增强，输出MIP增强图像。

在其中一个实施例中，还存储模块：

所述存储模块，用于在输出MIP增强图像后，将MIP增强图像存储为辅助定位的参考图。

相应的，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时时实现以下步骤：

获取满剂量放射性示踪剂下的第一MIP图像和对应的第一PET图像，重建所述第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；

利用生成对抗神经网络对所述第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；

获取低剂量的放射性示踪剂下的当前MIP图像，将当前MIP图像输入所述图像增强模型进行图像增强，输出MIP增强图像。

相应的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取满剂量放射性示踪剂下的第一MIP图像和对应的第一PET图像，重建所述第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；

利用生成对抗神经网络对所述第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；

获取低剂量的放射性示踪剂下的当前MIP图像，将当前MIP图像输入所述图像增强模型进行图像增强，输出MIP增强图像。

上述低剂量MIP图像的增强方法、装置、计算机设备和存储介质，先重建获取到的第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；再利用生成对抗神经网络对所述第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；直接利用图像增强模型来对当前MIP图像进行图像增强，从而快速输出高质量的MIP增强图像；从而能够满足低剂量的MIP图像作为参考图的质量要求。

附图说明

图1为一个实施例中低剂量MIP图像的增强方法的应用环境图；

图2为一个实施例中低剂量MIP图像的增强方法的流程示意图；

图3为图2实施例中步骤S200的流程示意图；

图4为另一个实施例中低剂量MIP图像的增强方法的流程示意图；

图5为一个实施例中低剂量MIP图像的增强装置的结构框图；

图6为另一个实施例中低剂量MIP图像的增强装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

图中：1、终端；2、服务器；100、获取模块；200、建立模块；300、增强模块；400、存储模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的低剂量MIP图像的增强方法，可以应用于如图1所示的应用环境中。其中，终端1通过网络与服务器2通过网络进行通信。在终端1中重建第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；根据第一MIP图像和第二MIP图像利用生成对抗神经网络建立图像增强模型；获取当前低剂量的放射性示踪剂下的当前MIP图像，将当前MIP图像输入图像增强模型进行图像增强，输出MIP增强图像。在建立图像增强模型后，终端1通过网络可以将图像增强模型上传至服务器2中，以方便其他终端1加载使用。其中，终端1可以是与PET-MR设备连接的各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，终端1也可以就是PET-CT设备，服务器2可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种低剂量MIP图像的增强方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

S100、获取满剂量放射性示踪剂下的第一MIP图像和对应的第一PET图像，重建第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；

获取满剂量放射性示踪剂下设备测得的临床数据作为训练样本。每个患者的临床数据包括第一MIP图像和对应的第一PET图像；低剂量放射性示踪剂下的第二MIP图像和对应的第二PET图像可以通过设备测得，但是由于低剂量的MIP图像又会因为更多噪声而使得MIP图像质量降低，还需要另外的算法来降噪，增加计算负担。低剂量是相对于满剂量来说的，低剂量指的是，只要不是满剂量，均可以理解成低剂量。在一个实施例中，对于同一个患者，可以重建第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像。第一MIP图像是满剂量放射性示踪剂下的设备获取的最大密度投影(MIP)图像。第一PET图像是以第一MIP图像作为参考图生成的，其图像格式可以为DICOM(医学图像格式)图像。

S200、利用生成对抗神经网络对第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；

在一个实施例中，利用生成对抗神经网络(GAN)，第二MIP图像通过利用第一MIP图像反馈来的信息，来不断反馈学习，建立的图像增强模型。图像增强模型可以存储在数据库中，加载图像增强模型就可以。于其他实施例，可以采用其他神经网络实现，对此并不进行限制。

S300、获取当前低剂量的放射性示踪剂下的当前MIP图像，将当前MIP图像输入图像增强模型进行图像增强，输出MIP增强图像。

在不同的应用场景中，使用的情况可以是不一样的。在一个实施例中，可以将图像增强模型保持到PETMR产品发布中，在产生MIP工作流的当前MIP图像后，直接加载训练好的图像增强模型，对当前MIP图像进行图像增强，从而快速输出高质量的MIP增强图像。

上述低剂量MIP图像的增强方法，先重建获取到的第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；再利用生成对抗神经网络对第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；直接利用图像增强模型来对当前MIP图像进行图像增强，从而快速输出高质量的MIP增强图像；从而能够满足低剂量的MIP图像作为参考图的质量要求。

在一个实施例中，重建第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像，包括以下步骤：

根据预设重建参数对第一PET图像进行不同剂量下的重建，得到对应的第二PET图像；并对第二PET图像进行像素值的提取，得到第二MIP图像。

具体的，第一PET图像经过offline-recon(离线侦察)处理，设置动态的重建参数进行重建，获得低剂量下对应的第二PET图像。然后对一系列第二PET图像的像素值内容，存储为灰度图像，即得到第二MIP图像。在一个实施例中，设置动态的重建参数进行重建，可以为利用数据切割功能获得低剂量的患者的第二PET图像，设置切割的时间10分钟。

下面对图像增强模型的建立进行详细说明。

具体的，如图3所示，步骤S200，包括以下步骤；

S210、搭建生成对抗神经网络，生成对抗神经网络包括生成模块和判别模块；

S220、将第一MIP图像作为标签数据，利用生成模块对第二MIP图像进行监督学习，得到副图像；

S230、利用判别模块对副图像和第一MIP图像进行判别，得到判别结果；

S240、在判别结果满足终止条件后完成训练，得到图像增强模型。

在一个实施例中，搭建的生成对抗神经网络至少包括生成模块和判别模块；生成模块和判别模块是相互独立，互相博弈学习。于本实施例中，改进生成对抗神经网络的G部分，使得输入不是简单的噪声信号，而是二维的低剂量的第二MIP图像。将第一MIP图像作为标签数据，生成模型生成副图像,判别模型学习区分生成的副图像和第一MIP图像,生成模型根据判别模型的判别结果改进自己，生成新的副图像；若判别结果不满足终止，则根据判别结果的反馈，生成模型继续生成新的副图像，判别模型继续学习区分新生成的副图像和第一MIP图像；直到判别结果满足终止条件后完成训练，得到图像增强模型。

在生成模型中，生成模型的loss函数包含生成对抗神经网络产生的副图像和第一MIP图像的第一范式两部分的加权。在不断的学习过程中，利用第一范式两部分的加权，使副图像和第一MIP图像越来越接近。

在判别模型中，判别模型的loss函数能准确的识别出第一MIP图像对副图像的判别；判别模型的loss函数输出的值是0-1之间的一个概率值。于本实施例中，设置一个预设阈值，输出的概率值高于预设阈值时，判别结果为1；满足终止条件，得到图像增强模型。输出的概率值低于预设阈值时，判别结果为0；不满足终止条件，反馈给生成模型生成新的副图像，继续学习训练。

在一个实施例中，设置epoch次数，来实现梯度下降。1个epoch等于使用训练集中的全部样本训练一次，也就是说，epoch的值就是第一MIP图像和第二MIP图像被读取几次，输入生成模型和判别模型中。监视整个迭代过程的输出，将第二MIP图像输入到生成模型得到副图像；并监视两个loss函数的输出，直达满足终止条件。

在一个实施例中还包括以下步骤：

在搭建生成对抗神经网络后，对第一MIP图像和第二MIP图像进行一对一的shuffle处理，使得第一MIP图像和第二MIP图像的分发和排序有序，保障图像增强模型的训练。

如图4所示，在一个实施例中，在图2实施例中的基础上，还包括以下步骤：

S400、在输出MIP增强图像后，将MIP增强图像存储为辅助定位的参考图。参考图可以是将MIP增强图像的存储到到DICOM pixel data的Tag中，并写入数据库和磁盘上。从而提供增强后的MIP增强图像，MIP增强图像的格式为DICOM图像，可以将MIP增强图像作为辅助定位的参考图直接使用。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，一种低剂量MIP图像的增强装置，装置包括获取模块100、建立模块200以及增强模块300：获取模块100，用于获取满剂量放射性示踪剂下的第一MIP图像和对应的第一PET图像，重建第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；建立模块200，用于利用生成对抗神经网络对第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；增强模块300，用于获取当前低剂量的放射性示踪剂下的当前MIP图像，将当前MIP图像输入图像增强模型进行图像增强，输出MIP增强图像。

上述低剂量MIP图像的增强装置能够快速输出高质量的MIP增强图像；从而能够满足低剂量的MIP图像作为参考图的质量要求。

在一个实施例中，获取模块100，还用于根据预设重建参数对第一PET图像进行不同剂量下的重建，得到对应的第二PET图像；并对第二PET图像进行像素值的提取，得到第二MIP图像。

在一个实施例中，建立模块200还用于，搭建生成对抗神经网络，生成对抗神经网络包括生成模块和判别模块；将第一MIP图像作为标签数据，利用生成模块对第二MIP图像进行监督学习，得到副图像；利用判别模块对副图像和第一MIP图像进行判别，得到判别结果；在判别结果满足终止条件后完成训练，得到图像增强模型。

在一个实施例中，建立模块200还用于在得到判别结果后，若判别结果不满足终止条件，则将判别结果反馈给生成模块，利用生成模块对第二MIP图像进行继续监督学习，得到新的副图像。

如图6所示，在一个实施例中，在图5实施例的基础上，还存储模块400：存储模块400用于在输出MIP增强图像后，将MIP增强图像存储为辅助定位的参考图。

关于低剂量MIP图像的增强装置的具体限定可以参见上文中对于低剂量MIP图像的增强方法的限定，在此不再赘述。上述低剂量MIP图像的增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型及模型训练相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种低剂量MIP图像的增强方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取满剂量放射性示踪剂下的第一MIP图像和对应的第一PET图像，重建第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；利用生成对抗神经网络对第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；获取低剂量的放射性示踪剂下的当前MIP图像，将当前MIP图像输入图像增强模型进行图像增强，输出MIP增强图像。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取满剂量放射性示踪剂下的第一MIP图像和对应的第一PET图像，重建第一MIP图像和对应的第一PET图像，得到对应体位的低剂量放射性示踪剂下的第二MIP图像；利用生成对抗神经网络对第二MIP图像通过第一MIP图像的反馈进行学习，建立图像增强模型；获取低剂量的放射性示踪剂下的当前MIP图像，将当前MIP图像输入图像增强模型进行图像增强，输出MIP增强图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。