医学图像的风格转换方法、装置、医学设备、影像系统及存储介质与流程

本发明涉及医学图像领域，特别是涉及一种医学图像的风格转换方法、装置、医学设备、影像系统及存储介质。

背景技术：

在医学诊断和治疗中，经常需要对同一区域进行例如计算机断层扫描、磁共振以及x射线等不同模态医学图像的拍摄，以进行对比观察，但由于得到的不同模态医学图像的风格特征差异较大，可能会导致图片之间的内容很难相互对应，对诊断和治疗造成不便。

传统的不同模态医学图像之间的风格特征转换一般是通过灰度变换的方法或者基于纹理的映射方法。但医学图像的灰度范围不稳定，且变换方式各不相同，通过灰度变换的方式进行风格特征的转换容易导致图像失真；而由于医学图像的信息不能使用简单的纹理描述，所以通过纹理映射的方法进行风格特征的转换适应性比较差。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种医学图像的风格转换方法、装置、医学设备、影像系统及存储介质，可以方便快速地进行不同模态医学图像的风格特征转换，适应性广泛且失真较低。

一种医学图像的风格转换方法，包括：

获取神经网络模型；

获取原始医学图像；

将所述原始医学图像作为所述神经网络模型的输入，以利用所述神经网络模型得到目标医学图像；

其中，所述原始医学图像的内容特征与所述目标医学图像的内容特征的差异在预设的阈值内，所述原始医学图像的风格特征与所述目标医学图像的风格特征不同。

上述医学图像的风格转换方法，通过基于风格迁移算法的神经网络，将原始医学图像转化为风格特征不同的目标医学图像，能够适用于各种模态的医学图像之间进行图像风格转换，且能够保持图像的内容特征的改变在预设的阈值内不易造成失真，方便医生将转换得到的目标医学图像与其他模态的医学图像进行对比观察。

在其中一个实施例中，所述获取神经网络模型包括：

创建第一神经网络；

获取基于第一成像模态的第一医学图像和基于不同于所述第一成像模态的第二成像模态的第二医学图像；

将所述第一医学图像作为所述第一神经网络的输入，获取所述第一神经网络输出的第三医学图像；

基于所述第一医学图像、所述第二医学图像以及所述第三医学图像，训练所述第一神经网络；

得到训练后的所述神经网络模型；

其中，所述第二医学图像的内容特征与所述第一医学图像的内容特征的差异在预设的阈值内，所述第二医学图像的风格特征与所述第一医学图像的风格特征不同。

在其中一个实施例中，所述医学图像的成像模态包括计算机断层扫描图像、磁共振图像、x射线图像、超声图像以及分子图像中的至少一种。

在其中一个实施例中，所述基于所述第一医学图像、所述第二医学图像以及所述第三医学图像，训练所述第一神经网络包括：

获取第二神经网络；

将所述第一医学图像、所述第二医学图像以及所述第三医学图像作为所述第二神经网络的输入，以计算损失函数；

通过所述损失函数更新所述第一神经网络的参数。

在其中一个实施例中，所述将所述第一医学图像、所述第二医学图像以及所述第三医学图像作为所述第二神经网络的输入，以计算损失函数包括：

比较所述第一医学图像和所述第三医学图像的内容特征，以获取内容差异数据；

比较所述第二医学图像和所述第三医学图像的风格特征，以获取风格差异数据；

将所述内容差异数据和所述风格差异数据加权求和，以得到所述损失函数。

在其中一个实施例中，所述比较所述第二医学图像和所述第三医学图像，以获取风格差异数据包括：

通过格拉姆矩阵量化所述第二医学图像和所述第三医学图像的风格特征差异，以获取所述风格差异数据。

在其中一个实施例中，所述通过所述损失函数更新所述第一神经网络的参数包括：

经过多组所述第一医学图像以及所述第二医学图像更新所述第一神经网络的参数；

当所述损失函数达到预设的收敛条件的情况下，确定所述第一神经网络的参数。

在其中一个实施例中，所述第一神经网络包括lenet、googlenet、vggnet、resnet、densenet、vnet以及unet中的至少一种。

在其中一个实施例中，所述第二神经网络包括lenet、googlenet、vggnet、resnet、densenet、vnet以及unet中的至少一种。

一种医学图像的风格转换装置，包括：

网络获取模块，用于获取神经网络模型；

图像获取模块，用于获取原始医学图像；

图像转换模块，用于将所述原始医学图像作为所述神经网络模型的输入，以利用所述神经网络模型得到目标风格医学图像；

其中，所述原始医学图像的内容特征与所述目标风格医学图像的内容特征的差异在预设的阈值内，所述原始医学图像的风格特征与所述目标风格医学图像的风格特征不同。

上述医学图像的风格转换装置，通过基于风格迁移算法的神经网络，将原始医学图像转化为风格特征不同的目标医学图像，能够适用于各种模态的医学图像之间进行图像风格转换，且能够保持图像的内容特征的改变在预设的阈值内不易造成失真，方便医生将转换得到的目标医学图像与其他模态的医学图像进行对比观察。

一种医学设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

一种医学影像系统，包括：

成像设备，用于拍摄所述原始医学图像；以及

上述医学设备，用于将所述原始医学图像转换为所述目标医学图像。

上述医学图像系统，通过基于风格迁移算法的神经网络，将原始医学图像转化为风格特征不同的目标医学图像，能够适用于各种模态的医学图像之间进行图像风格转换，且能够保持图像的内容特征的改变在预设的阈值内不易造成失真，方便医生将转换得到的目标医学图像与其他模态的医学图像进行对比观察。

附图说明

图1为一个实施例中医学图像的风格转换方法的流程示意图；

图2为一个实施例中医学图像的风格转换方法步骤s120的流程示意图；

图3为一个实施例中医学图像的风格转换方法步骤s127的流程示意图；

图4为一个实施例中医学图像的风格转换装置的结构示意图；

图5为一个实施例中医学图像系统的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中医学图像的风格转换方法的流程示意图，如图1所示，一种医学图像的风格转换方法，包括以下步骤：

步骤s120：获取神经网络模型。

步骤s140：获取原始医学图像。

步骤s160：将原始医学图像作为神经网络模型的输入，以利用神经网络模型得到目标医学图像；

其中，原始医学图像的内容特征与目标医学图像的内容特征的差异在预设的阈值内，原始医学图像的风格特征与目标医学图像的风格特征不同。

具体地，在进行医学诊断或治疗时，医生经常需要对感兴趣部位进行不同模态的医学图像的拍摄，并通过得到的医学图像进行对比观察。首先获取用于进行图像风格转换的神经网络模型，该神经网络模型的基本模型可以是风格迁移模型，该风格迁移模型可以基于卷积神经网络，通过多组不同模态的医学图像进行训练得到。得到风格迁移模型后，获取要进行风格转换的原始医学图像，原始医学图像一般可以由相应的医学成像设备获取，原始医学图像可以是计算机断层扫描(computedtomography，简称ct)图像、磁共振(magneticresonance，简称mr)图像、x射线图像、超声图像(ultrasonic，简称us)以及分子(molecularimaging简称mi)图像等模态的医学图像，每种模态的医学图像都有其相应的风格特征。

将得到的原始医学图像作为上述风格迁移模型的输入，风格迁移模型对原始医学图像的图像特征进行提取和转换，保持原始医学图像的内容特征的变化在预设的阈值内，而将原始医学图像的风格特征转化为要进行对比的不同模态的医学图像的风格特征，从而使风格迁移模型输出目标医学图像。可以理解的是，关于上述风格迁移模型的具体内容，可以参考leona.gatys等人于2015年9月发表的《aneuralalgorithmofartisticstyle》的文献，这些文献可以以引证的方式包括在本申请中。

进一步地，在进行图像风格转换的过程中，原始医学图像的内容特征的变化保持在预设的阈值内，其中内容特征包括医学图像中的解剖结构以及之间的相互关系，例如具体可以包括图像的成像范围，以及图像中组织器官的形状、大小和所在位置等特征，可以通过例如计算医学图像中扫描部位所占像素量化原始医学图像和目标医学图像的内容特征差异，差异的阈值可以根据实际成像精度需求等情况确定。目标医学图像与原始医学图像的内容特征的差异保持在预设的阈值内可以避免在风格转换中造成图像失真，从而使得目标医学图像与需要进行对比观察的医学图像容易相互对应。

上述风格特征包括医学图像的颜色、灰度、纹理中的至少一种。风格特征为每种成像模态的医学图像所具有的成像特点，计算机断层扫描图像、磁共振图像、x射线图像、超声图像等各种成像模态的医学图像都有其特定的风格特征，图像风格一般可以通过纹理、颜色、灰度等特征进行体现。上述风格转换方法可以通过神经网络模型对不同模态医学图像的风格特征进行提取和转化，从而使原始医学图像转化为目标的风格特征。对于神经网络输出的目标医学图像的具体风格特征可以根据实际需求确定，上述神经网络模型可以设置为将某种模态医学图像的风格特征转化为特定的另一种模态医学图像的风格特征，也可以是在多种成像模态的医学图像的风格特征之间进行相互转化，以实现更广泛的适用性。

上述医学图像的风格转换方法，通过基于风格迁移算法的神经网络，将原始医学图像转化为风格特征不同的目标医学图像，能够适用于各种模态的医学图像之间进行图像风格转换，且能够保持图像的内容特征的改变在预设的阈值内不易造成失真，方便医生将转换得到的目标医学图像与其他模态的医学图像进行对比观察。

图2为一个实施例中上述医学图像的风格转换方法步骤s120的流程示意图，如图2所示，在一个实施例中，步骤s120具体包括以下步骤：

步骤s121：创建第一神经网络。

步骤s123：获取基于第一成像模态的第一医学图像和基于不同于第一成像模态的第二成像模态的第二医学图像。

步骤s125：将第一医学图像作为第一神经网络的输入，获取第一神经网络输出的第三医学图像。

步骤s127：基于第一医学图像、第二医学图像以及第三医学图像，训练第一神经网络。

步骤s129：得到训练后的神经网络模型。

其中，第二医学图像的内容特征与第一医学图像的内容特征的差异在预设的阈值内，第二医学图像的风格特征与第一医学图像的风格特征不同。

具体地，神经网络模型的获取可以通过反向传播的训练方法训练神经网络而实现，首先建立第一神经网络，一般可以采用卷积神经网络进行图像风格转换。第一神经网络可以包括lenet、谷歌网络(googlenet)、vggnet、残差网络(resnet)、densenet、vnet以及unet中的至少一种，可以理解的是，除了上述神经网络，第一神经网络也可以采用可以应用于图像风格转换的其他类型的神经网络。

建立神经网络后获取第一医学图像和第二医学图像作为训练数据，第一医学图像是需要进行风格转换的成像模态的医学图像，而第二医学图像则为转换后目标风格特征的成像模态的医学图像，上述成像模态包括计算机断层扫描图像、磁共振图像、x射线图像、超声图像以及分子图像中的至少一种。其中。第一医学图像和第二医学图像的内容特征的差异在预设的阈值内，一般的可以是分别通过相应的医学成像设备对同一目标区域进行扫描拍摄以获取第一医学图像和第二医学图像，将第一医学图像作为神经网络的输入，以得到神经网络输出的第三医学图像。

第二医学图像为期待得到的图像，第三医学图像则为神经网络实际输出的图像，基于第一医学图像、第二医学图像和第三医学图像对神经网络进行反向传播训练，更新迭代神经网络的参数，当神经网络输出的第三医学图像符合需求时，例如当第三医学图像的风格特征与第二医学图像的风格特征在某些方面达到预设的阈值征或者完全相同，以及第三医学图像的内容特征与第一医学图像的内容特征在某些方面达到预设的阈值或者完全相同时，则确定神经网络的参数，或者在神经网络迭代的次数达到预定数量时确定神经网络的参数，参数确定后得到神经网络模型用于进行图像风格转换。可以理解的是，可以通过多组训练数据对神经网络进行训练，例如通过相应的医学成像设备分别对多个不同的目标区域进行扫描拍摄，得到多组第一医学图像和第二医学图像，利用多组医学图像训练神经网络模型，可以有效提高神经网络模型进行风格转换的准确性。

图3为一个实施例中上述医学图像的风格转换方法步骤s127的流程示意图，如图3所示，上述步骤s127具体包括以下步骤：

步骤s1271：获取第二神经网络。

步骤s1273：将第一医学图像、第二医学图像以及第三医学图像作为第二神经网络的输入，以计算损失函数。

步骤s1275：通过损失函数更新第一神经网络的参数。

具体地，对上述第一神经网络的训练可以通过计算损失函数的方式实现，通过第二神经网络获得损失函数，第二神经网络可以为预先训练好的卷积神经网络，第二神经网络可以包括lenet、谷歌网络(googlenet)、vggnet、残差网络(resnet)、densenet、vnet以及unet中的至少一种。可以理解的是，第二神经网络也可以采用可以应用于计算损失函数的其他类型的神经网络。将第一医学图像、第二医学图像和第三医学图像作为第二神经网络的输入，训练过程中第二神经网络的参数固定，通过第二神经网络得到损失函数，损失函数中可以包括第三医学图像相对于第一医学图像的内容特征损失以及第三医学图像相对于第二医学图像的风格特征损失，根据得到的损失函数更新第一神经网络的参数，直至损失函数符合图像风格转换的需求，确定第一神经网络的参数。

在一个实施例中，上述步骤s1273包括：

比较第一医学图像和第三医学图像的内容特征，以获取内容差异数据。

比较第二医学图像和第三医学图像的风格特征，以获取风格差异数据。

将内容差异数据和风格差异数据加权求和，以计算损失函数。

具体地，上述损失函数的构造包括内容特征误差和风格特征误差，通过比较第一医学图像和第三医学图像的内容特征，获取到内容特征误差，以及比较第二医学图像和第三医学图像的风格特征，获取风格特征误差，将内容差异数据和风格差异数据分别加权得到损失函数的内容特征损失部分和风格特征损失部分，再将两部分进行求和，以计算得到损失函数。

进一步地，通过诸如格拉姆(gram)矩阵量化第二医学图像和第三医学图像的风格特征差异，以获取风格差异数据。对于第三医学图像和第一医学图像之间的内容特征差异，示例性地，可以通过逐个计算第一医学图像和第三医学图像的像素差值得到，而对于第二医学图像和第三医学图像之间的风格特征差异，则可以通过诸如格拉姆矩阵进行量化计算。格拉姆矩阵可以计算图像风格特征之间的相关性，体现每个风格特征在图像中出现的量，从而得到第二医学图像和第三医学图像之间的风格差异数据。可以理解的是，上述内容差异数据和风格差异数据也可以通过其他能够量化图片之间的内容差异和风格差异的计算方式得到。

在一个实施例中，上述步骤s1275包括：

经过多组第一医学图像以及第二医学图像更新第一神经网络的参数。

当损失函数达到预设的收敛条件的情况下，确定第一神经网络的参数。

具体地，为了提高神经网络模型进行图像风格转换的准确性，可以通过多组第一医学图像和第二医学图像作为训练数据训练第一神经网络。经过多组训练数据(包括第一医学图像、第二医学图像和第三医学图像)的训练，当通过第二神经网络得到的损失函数达到预设的收敛条件时，即可将该损失函数应用到第一神经网络中。具体的收敛条件可以根据对风格转换的需求确定，例如可以通过损失函数收敛曲线的斜率进行判断，当收敛曲线达到平稳时，确定相应的网络参数。这样，在第一神经网络中，可以通过第一医学图像和第二医学图像对该模型进行训练，并进一步优化，即该损失函数可以藉由第一医学图像和第二医学图像得以进一步优化。在此，可以将前述的第二神经网络得到的损失函数视为模型的初始损失函数。

图4为一个实施例中医学图像的风格转换装置的结构示意图，如图4所示，在一个实施例中，医学图像的风格转换装置300包括：网络获取模块320，用于获取神经网络模型；图像获取模块340，用于获取原始医学图像；图像转换模块360，用于将原始医学图像作为神经网络模型的输入，以利用神经网络模型得到目标医学图像；其中，原始医学图像的内容特征与目标风格医学图像的内容特征的差异在预设的阈值内，原始医学图像的风格特征与目标风格医学图像的风格特征不同。

具体地，网络获取模块320获取神经网络模型，该神经网络模型为预先训练好能够进行图像风格转换的神经网络模型，该模型可以存储在硬盘或闪存等存储介质中或者在线存储在云上，图像获取模块340获取原始医学图像，原始医学图像为需要进行风格转换的图像，一般由相应的医学成像设备进行扫描拍摄得到，图像转换模块360将图像获取模块340获取的原始医学图像输入到网络获取模块320获取的神经网络模型中，得到神经网络模型输出的目标医学图像，目标医学图像的内容特征与原始医学图像的内容特征的差异在预设的阈值内，而风格特征转换为需要的风格特征。

上述医学图像的风格转换装置300，通过基于风格迁移算法的神经网络，将原始医学图像转化为风格特征不同的目标医学图像，能够适用于各种模态的医学图像之间进行图像风格转换，且能够保持图像的内容特征的改变在预设的阈值内不易造成失真，方便医生将转换得到的目标医学图像与其他模态的医学图像进行对比观察。

在一个实施例中，提供一种医学设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该程序时执行如下步骤：获取神经网络模型；获取原始医学图像；将原始医学图像作为神经网络模型的输入，以利用神经网络模型得到目标医学图像；其中，原始医学图像的内容特征与目标医学图像的内容特征的差异在预设的阈值内，原始医学图像的风格特征与目标医学图像的风格特征不同。

在一个实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时可使得处理器执行如下步骤：获取神经网络模型；获取原始医学图像；将原始医学图像作为神经网络模型的输入，以利用神经网络模型得到目标医学图像；其中，原始医学图像的内容特征与目标医学图像的内容特征的差异在预设的阈值内，原始医学图像的风格特征与目标医学图像的风格特征不同。

图5为一个实施例中医学图像系统的结构示意图，如图5所示，在一个实施例中，医学影像系统500包括：成像设备520，用于拍摄原始医学图像；以及上述的医学设备540，用于将原始医学图像转换为目标医学图像。

具体地，在医学图像系统500中包括相互通信连接的医学设备540以及成像设备520。成像设备520可以是ct或mr等用于获取医学图像的设备，在成像设备520对感兴趣区域进行扫描拍摄得到原始医学图像后，将原始医学图像发送给医学设备540，医学设备540利用神经网络模型将原始医学图像进行转换得到目标医学图像，目标医学图像的内容特征与原始医学图像的内容特征的差异在预设的阈值内，而风格特征转化为需要的图像风格，便于医生应用于诊断和治疗。例如在进行穿刺或消融等手术时，在术前可以通过成像设备520对手术部位拍摄ct图像，再通过医学设备540将术前的ct图像转换为超声风格图像，在进行手术时，就可以对比观察该超声风格与超声波探头获取的实时超声图像，以对对手术进行方便准确的引导。

上述医学图像系统500，通过基于风格迁移算法的神经网络，将成像设备520拍摄的原始医学图像通过医学设备540转化为风格特征不同的目标医学图像，能够适用于各种不同种类的成像设备，且能够保持图像的内容特征的改变在预设的阈值内不易造成失真，方便医生将转换得到的目标医学图像与其他模态的医学图像进行对比观察。

上述对于计算机可读存存储介质及计算机设备的限定可以参见上文中对于方法的具体限定，在此不再赘述。

需要说明的是，本领域普通技术人员可以理解实现上述方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一计算机可读取存储介质中；上述的程序在执行时，可包括如上述各方法的实施例的流程。其中，上述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，简称rom)或随机存储记忆体(randomaccessmemory，简称ram)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。