医学图像的融合方法及装置与流程

本发明涉及图像处理领域，尤其涉及一种医学图像的融合方法及装置。

背景技术：

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

医学图像是指为了医学或医学研究，采用各种医学成像设备获取的人体脏器或病变组织的图像。由于每种医学成像设备只能获取单一模态的医学图像，而单一模态的医学图像往往难以提供足够的信息。例如，通过磁共振成像设备获取的mr图像能够清晰反映软组织等结构，但对钙化点不敏感；而通过电子计算机断层扫描设备获取的ct图像具有较强的空间分辨率和几何特性，能够清晰反映出骨骼等结构，但对软组织的对比度比较低。因而，如何将不同医学成像设备所获得的单一模态的医学图像进行融合，得到多模态的医学图像以获取更全面的信息，对医学研究和医学诊断具有十分重要的意义。

目前，现有技术中获取多模态医学图像的主流方法，是将两张单模态的医学图像直接采用图像融合技术融合为一张图像，使得融合后图像中边界信息和结构信息更加清晰。由于没有考虑到图像的语义信息，使得融合后的图像很难理解。

例如，图1a和图1b所示为某一病人头颅的ct图像和mr图像，将图1a和图1b所示的图像作为两张待融合的原始图像，图1c所示为基于cnn-lp网络结构对图1a所示的ct图像和图1b所示的mr图像进行融合得到的图像，图1d所示为基于nsct-pcdc网络结构对图1a所示的ct图像和图1b所示的mr图像进行融合得到的图像，图1e所示为基于nsst-papcnn网络结构对图1a所示的ct图像和图1b所示的mr图像进行融合得到的图像。

分析可知，现有的图像融合方法，将原始图像中的颜色放进融合图像中，会导致两个问题：①局部区域(例如，图1a、图1b、图1c、图1d和图1e中矩形框所示的区域)被模糊处理掉了；②由于原始图像中颜色相同，导致融合后的图像中有些部位(例如，脑脊液和头骨)难以区分。

技术实现要素：

本发明实施例提供一种医学图像的融合方法，用以解决现有技术中医学图像在融合过程中存在语义缺失或语义冲突的技术问题，该方法包括：获取待融合的第一模态图像和第二模态图像的像素信息，其中，第一模态图像和第二模态图像为不同模态的图像；将第一模态图像和第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出第一模态图像和第二模态图像的融合图像，其中，图像融合网络模型为基于语义信息对不同模态图像进行融合的模型，语义信息用于表征不同模态图像中像素值的含义。

本发明实施例还提供一种医学图像的融合装置，用以解决现有技术中医学图像在融合过程中存在语义缺失或语义冲突的技术问题，该装置包括：图像信息获取单元，用于获取待融合的第一模态图像和第二模态图像的像素信息，其中，第一模态图像和第二模态图像为不同模态的图像；图像信息处理单元，用于将第一模态图像和第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出第一模态图像和第二模态图像的融合图像，其中，图像融合网络模型为基于语义信息对不同模态图像进行融合的模型，语义信息用于表征不同模态图像中像素值的含义。

本发明实施例还提供一种计算机设备，用以解决现有技术中医学图像在融合过程中存在语义缺失或语义冲突的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述医学图像的融合方法。

本发明实施例还提供一种计算机可读存储介质，用以解决现有技术中医学图像在融合过程中存在语义缺失或语义冲突的技术问题，该计算机可读存储介质存储有执行上述医学图像的融合方法的计算机程序。

本发明实施例中，预先通过机器学习训练得到一个基于语义信息对不同模态图像进行融合的图像融合网络模型，在对不同模态图像进行融合的时候，只需要将不同模态图像的像素信息输入到该图像融合网络模型中，即可得到不同模态图像的融合图像。

通过本发明实施例，能够基于语义信息对不同模态图像进行融合，使得融合后的多模态图像易于阅读，实现真正为临床医生提供不同模态的医学图像信息以辅助治疗的技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1a为本发明实施例中提供的一种头颅ct图像示意图；

图1b为本发明实施例中提供的一种头颅mr图像示意图；

图1c为本发明实施例中提供的一种基于cnn-lp网络结构对图1a和图1b进行融合得到的多模态图像示意图；

图1d为本发明实施例中提供的一种基于nsct-pcdc网络结构对图1a和图1b进行融合得到的多模态图像示意图；

图1e为本发明实施例中提供的一种基于nsst-papcnn网络结构对图1a和图1b进行融合得到的多模态图像示意图；

图2为本发明实施例中提供的一种医学图像的融合方法流程图；

图3为本发明实施例中提供的一种基于语义信息的图像融合过程示意图；

图4为本发明实施例中提供的一种基于w-net网络结构的多模态图像融合模型示意图；

图5a为本发明实施例中提供的一种采用u-net网络结构的编码网络模型示意图；

图5b为本发明实施例中提供的一种采用u-net网络结构的解码网络模型示意图；

图6a为本发明实施例中提供的一种ct图像示意图；

图6b为本发明实施例中提供的一种mr图像示意图；

图6c为本发明实施例中提供的一种基于cnn-lp网络结构对图6a和图6b进行融合得到的多模态图像示意图；

图6d为本发明实施例中提供的一种基于nsct-pcdc网络结构对图6a和图6b进行融合得到的多模态图像示意图；

图6e为本发明实施例中提供的一种基于nsst-papcnn网络结构对图6a和图6b进行融合得到的多模态图像示意图；

图6f为本发明实施例中提供的一种基于gf网络结构对图6a和图6b进行融合得到的多模态图像示意图；

图6g为本发明实施例中提供的一种基于nsct-rpcnn网络结构对图6a和图6b进行融合得到的多模态图像示意图；

图6h为本发明实施例中提供的一种基于w-net网络结构对图6a和图6b进行融合得到的多模态图像示意图；

图7为本发明实施例中提供的一种医学图像的融合装置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

本发明实施例中提供了一种医学图像的融合方法，图2为本发明实施例中提供的一种医学图像的融合方法流程图，如图2所示，该方法包括如下步骤：

s201，获取待融合的第一模态图像和第二模态图像的像素信息，其中，第一模态图像和第二模态图像为不同模态的图像；

s202，将第一模态图像和第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出第一模态图像和第二模态图像的融合图像，其中，图像融合网络模型为基于语义信息对不同模态图像进行融合的模型，语义信息用于表征不同模态图像中像素值的含义。

需要说明的是，本发明实施例中第一模态图像和第二模态图像旨在表示两种不同模态的图像，可以是但不限于如下任意两种或多种医疗成像设备获得的单模态图像：磁共振设备、ct设备、超声设备、各种x光机、各种红外仪、显微仪等。

作为一种优选的实施例，本发明实施例以mr图像(利用磁共振设备获得的图像)和ct图像(利用ct设备获得的图像)进行融合为例来进行详细说明。mr图像与ct图像看起来非常相像(由黑至白之间不同的灰度值对比)，但由于二者成像原理完全不同，因而，图像中像素值的含义也完全不同。如果将mr图像与ct图像直接融合，会导致语义缺失或语义冲突问题。通过本发明实施例提供的医学图像的融合方法，基于语义信息对mr图像与ct图像进行融合，使得融合后的图像中既能够清晰反映出骨骼等结构信息，也能够反映出软组织等结构信息。

由上可知，本发明实施例提供的医学图像的融合方法，预先通过机器学习训练得到一个基于语义信息对不同模态图像进行融合的图像融合网络模型，在对不同模态图像进行融合的时候，只需要将不同模态图像的像素信息输入到该图像融合网络模型中，即可得到不同模态图像的融合图像。

通过本发明实施例，能够基于语义信息对不同模态图像进行融合，使得融合后的多模态图像易于阅读，实现真正为临床医生提供不同模态的医学图像信息以辅助治疗的技术效果。

需要说明的是，上述图像融合网络模型可以是通过机器学习预先训练得到的网络模型，由此，作为一种可选的实施方式，本发明实施例提供的医学图像的融合方法还可以通过如下步骤来训练得到上述图像融合网络模型：利用训练数据训练图像融合网络模型；在训练的过程中，调整图像融合网络模型的参数直至图像融合网络模型的损失函数满足预设收敛条件；其中，图像融合网络模型包括：编码网络模型和解码网络模型；其中，编码网络模型的输入数据为待融合的第一模态图像和第二模态图像，编码网络模型的输出数据为第一模态图像和第二模态图像的融合图像；解码网络模型的输入数据为第一模态图像和第二模态图像的融合图像，解码网络模型的输出数据为根据融合图像重构的第一模态图像和第二模态图像；损失函数至少包括第一模态图像和第二模态图像的重构误差。

可选地，损失函数还可以进一步包括：稀疏惩罚项和l2正则化项，作为一种可选的实施方式，损失函数的表达式可以为：

其中，

其中，xct表示待融合的第一模态图像；xmr表示待融合的第二模态图像；表示重构的第一模态图像；表示重构的第二模态图像；表示重构的第一模态图像与待融合的第一模态图像的欧式距离；表示重构的第二模态图像与待融合的第二模态图像的欧式距离，用于表征融合图像zij与常量图片的kl散度；表示稀疏惩罚项，用于表征融合图像与常量图片的kl散度；zij表示融合图像中坐标(i,j)的像素值；ρ表示常量；表示l2正则化项；α表示稀疏惩罚项的权重；β表示l2正则化项的权重。

由于第一模态图像与第二模态图像为不同模态的图像，图像像素值代表的含义不同，为了实现基于语义信息对不同模态图像进行融合的目的，本发明实施例提供的医学图像的融合方法，基于图像融合网络模型对第一模态图像和第二模态图像进行融合具体可以通过如下步骤来实现：根据第一模态图像的像素信息，提取第一模态图像的第一语义信息，以及根据第二模态图像的像素信息，提取第二模态图像的第二语义信息；将第一语义信息和第二语义信息映射至目标图像空间；基于目标图像空间，对第一语义信息和第二语义信息进行融合，得到第一模态图像和第二模态图像的融合图像。

以第一模态图像为ct图像，第二模态图像为mr图像为例，图3本发明实施例提供的一种基于语义信息的图像融合过程示意图，如图3所示，提取ct图像在模态1的第一语义信息，以及mr图像在模态2的第二语义信息，构建一个模态3的图像空间，将第一语义信息和第二语义信息在模态3进行融合，以得到融合后的图像，其中，模态3中每个像素值既代表模态1的像素值含义，也代表模态2的像素值含义。

作为一种优选的实施方式，本发明实施例利用u-net网络结构来构建本发明实施例中基于语义信息的多模态图像融合模型，以得到图4所示的基于w-net网络结构的多模态图像融合模型，如图4所示，x＝[xct,xmr]表示输入的两张待融合的图像，其中，xct表示第一模态图像(例如，ct图像)，xmr表示第二模态图像(例如，mr图像)；eθ表示编码网络模型；dφ表示解码网络模型；z表示融合图像；表示解码网络模型dφ根据融合图像z重构生成的两张图像，其中，表示重构的第一模态图像(例如，ct图像)，表示重构的第二模态图像(例如，mr图像)；表示整个w-net网络结构模型的损失函数。

本发明实施例提供的多模态图像融合模型中，编码网络模型eθ采用多输入通道、单输出通道的u-net网络(如图5a所示，图5a仅示出两个输入通道)，以实现对第一模态图像xct和第二模态图像xmr的融合，得到二者的融合图像z；解码网络模型dφ采用单输入通道、多输出通道的u-net网络(如图5b所示，图5b仅示出两个输出通道)，以实现根据融合图像重构第一模态图像和第二模态图像

假设待融合的图像为图6a所示的ct图像和图6b所示的mr图像示，则图6c所示为基于cnn-lp网络结构对图6a和图6b进行融合得到的多模态图像示意图；图6d所示为基于nsct-pcdc网络结构对图6a和图6b进行融合得到的多模态图像示意图；图6e所示为基于nsst-papcnn网络结构对图6a和图6b进行融合得到的多模态图像示意图；图6f所示为基于gf网络结构对图6a和图6b进行融合得到的多模态图像示意图；图6g所示为基于nsct-rpcnn网络结构对图6a和图6b进行融合得到的多模态图像示意图；图6h所示为基于本发明实施例提供的基于w-net网络结构对图6a和图6b进行融合得到的多模态图像示意图。通过比对图6c、图6d、图6e、图6f、图6g和图6h可以看出，本发明实施例提供的基于w-net网络结构的图像融合方法所得到的多模态融合图像能够清晰反映各个单模态图像的信息。

表1示出了采用不同网络结构的图像融合方法进行图像融合得到的各个评价指标的实验结果对比，其中，qmi表示互信息评价指标，是一种基于熵的度量，用于测量融合图像保留源图像的信息量；q^ab/f表示边缘信息评价指标，是一种基于梯度的度量，其测量融合图像的边缘的信息保留；ssim表示结构相似性评价指标，是一种基于结构相似性的评估，其测量融合图像与原始图像之间的结构相似性；q^d是使用daly滤波器的基于人类视觉系统(hvs)的评价指标，用于测量融合图像和源图像之间的视觉差异；semanticloss表示语义损失指标，用来测量融合图像的重建误差以表示融合图像中的语义冲突；其中，qmi、q^ab/f、ct和mr-t2的指标值都是越高越好，而q^d和semanticloss的指标值越低越好。

表1不同图像融合方法的评价指标

由表1可以看出，本发明实施例提供的医学图像的融合方法，由于考虑了语义损失，因而，对于语义损失指标，本发明实施例提供的医学图像融合方法能够达到最优融合效果，而在视觉评价指标上，与现有图像融合方法相近。

本发明实施例中还提供了一种医学图像的融合装置，如下面的实施例所述。由于该装置实施例解决问题的原理与医学图像的融合方法相似，因此该装置实施例的实施可以参见方法的实施，重复之处不再赘述。

图7为本发明实施例中提供的一种医学图像的融合装置示意图，如图7所示，该装置包括：

图像信息获取单元71，用于获取待融合的第一模态图像和第二模态图像的像素信息，其中，第一模态图像和第二模态图像为不同模态的图像；

图像信息处理单元72，用于将第一模态图像和第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出第一模态图像和第二模态图像的融合图像，其中，图像融合网络模型为基于语义信息对不同模态图像进行融合的模型，语义信息用于表征不同模态图像中像素值的含义。

由上可知，本发明实施例提供的医学图像的融合装置，预先通过机器学习训练得到一个基于语义信息对不同模态图像进行融合的图像融合网络模型，在对不同模态图像进行融合的时候，通过图像信息获取单元71获取待融合的不同模态图像的像素信息，通过图像信息处理单元72将待融合的不同模态图像的像素信息输入到预先训练得到的图像融合网络模型中，即可得到不同模态图像的融合图像。

通过本发明实施例，能够基于语义信息对不同模态图像进行融合，使得融合后的多模态图像易于阅读，实现真正为临床医生提供不同模态的医学图像信息以辅助治疗的技术效果。

作为一种可选的实施方式，本发明实施例提供的医学图像的融合装置中，图像信息处理单元72具体可以包括：语义提取模块721，用于根据第一模态图像的像素信息，提取第一模态图像的第一语义信息，以及根据第二模态图像的像素信息，提取第二模态图像的第二语义信息；图像空间映射模块722，用于将第一语义信息和第二语义信息映射至目标图像空间；图像融合模块723，用于基于目标图像空间，对第一语义信息和第二语义信息进行融合，得到第一模态图像和第二模态图像的融合图像。

在一种可选的实施例中，本发明实施例提供的医学图像的融合装置还可以进一步包括：模型训练单元73，用于利用训练数据训练图像融合网络模型；模型调整单元74，用于在训练的过程中，调整图像融合网络模型的参数直至图像融合网络模型的损失函数满足预设收敛条件；其中，图像融合网络模型包括：编码网络模型和解码网络模型；其中，编码网络模型的输入数据为待融合的第一模态图像和第二模态图像，编码网络模型的输出数据为第一模态图像和第二模态图像的融合图像；解码网络模型的输入数据为第一模态图像和第二模态图像的融合图像，解码网络模型的输出数据为根据融合图像重构的第一模态图像和第二模态图像；其中，损失函数至少包括重构误差，重构误差由重构的第一模态图像与待融合的第一模态图像之间的误差，以及重构的第二模态图像与待融合的第二模态图像之间的误差确定。

可选地，损失函数还可以包括：稀疏惩罚项和l2正则化项，作为一种可选的实施方式，损失函数的表达式可以为：

其中，

其中，xct表示待融合的第一模态图像；xmr表示待融合的第二模态图像；表示重构的第一模态图像；表示重构的第二模态图像；表示重构的第一模态图像与待融合的第一模态图像的欧式距离；表示重构的第二模态图像与待融合的第二模态图像的欧式距离；表示稀疏惩罚项，用于表征融合图像与常量图片的kl散度；zij表示融合图像中坐标(i,j)的像素值；ρ表示常量；表示l2正则化项；α表示稀疏惩罚项的权重；β表示l2正则化项的权重。

本发明实施例还提供一种计算机设备，用以解决现有技术中医学图像在融合过程中存在语义缺失或语义冲突的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意一种可选的或优选的医学图像的融合方法。

本发明实施例还提供一种计算机可读存储介质，用以解决现有技术中医学图像在融合过程中存在语义缺失或语义冲突的技术问题，该计算机可读存储介质存储有执行上述任意一种可选的或优选的医学图像的融合方法的计算机程序。

综上所述，本发明实施例提供了一种基于图像语义的医学图像融合方案，对医学图像的进行语义抽取、语义变换、以及语义融合，能够获得语义一致的易于阅读的融合图像，从而使得医学图像融合技术能够真正为临床医生在融合图像中提供来自不同模态的医学图像信息以辅助诊疗。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。