多模态磁共振影像的分割方法、装置及介质与流程

本公开涉及智能医学影像分析领域，特别是涉及一种多模态磁共振影像的分割方法、装置及介质。

背景技术：

脑胶质瘤是由大脑胶质细胞癌变所产生的最常见的原发性颅脑恶性肿瘤，其发病率约占颅内肿瘤的40％～50％，具有发病率高、复发率高、死亡率高及治愈率低的特点。诊断病情时常使用多种成像模式的磁共振成像(mri)绘制肿瘤的组织变化。有效的肿瘤分割图像可以帮助医生判断手术切除的范围，从而提高手术切除的完整程度，减少患者术后功能缺陷等并发症的产生。目前主流的分割方法是使用三维卷积神经网络，通过三维卷积提取空间信息，能够达到较高精度，但也存在参数量多、计算开销大的明显弊端。

技术实现要素：

(一)要解决的技术问题

针对于上述技术问题，本公开提出一种多模态磁共振影像的分割方法、装置及介质，用于至少解决上述技术问题。

(二)技术方案

根据本公开实施例的第一方面，提供一种多模态磁共振影像的分割方法，方法包括：分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。

可选地，分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取，包括：获取特征提取模型，其中，提取模型包括三个不同方向为伪三维卷积处理模块，分别对应多模态磁共振影像的横断面、冠状面及矢状面；将多模态磁共振影像输入特征提取模型，以提取横断面、冠状面及矢状面的二维图像特征。

可选地，方法还包括：训练特征提取模型，该操作包括：获取训练数据集，训练数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像，多模态磁共振影像上标注有肿瘤级别；对训练数据集进行像素级标注；利用标注后的训练数据集训练特征提取模型。

可选地，利用标注后的训练数据集训练特征提取模型，包括：将标注的像素级转化为全肿瘤区域、肿瘤核心区域及增强肿瘤区域分别对应的二值分割图；计算二值分割图的损失。

可选地，利用标注后的训练数据集训练特征提取模型，还包括：对标注后的训练数据集训进行数据增广，其中，数据增广包括数据随机翻转、数据随机旋转、数据随机缩放和数据随机扰动。

可选地，计算二值分割图的损失，包括：计算二值分割图的损失的损失函数为：

其中，是预测的第i个像素属于第c类子区域的概率值，是其对应真实标签，∈表示拉普拉斯平滑常数。

可选地，方法还包括：获取测试数据集，测试数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像，多模态磁共振影像上未标注有肿瘤级别；将测试数据集输入训练后的特征提取模型，根据输出值对特征提取模型进行优化。

可选地，利用标注后的训练数据集训练特征提取模型，还包括：将标注后的训练数据集裁剪至预设尺寸范围内，对裁剪后的训练数据集进行归一化。

根据本公开实施例的第二方面，提供了一种多模态磁共振影像的分割装置，装置包括：第一特征提取模块，用于分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；第二特征提取模块，用于分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；融合模块，用于分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；处理模块，用于对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。

根据本公开实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器。存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

根据本公开实施例的第四方面，提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

根据本公开实施例的第五方面，提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

(三)有益效果

本公开提一种多模态磁共振影像的分割方法、装置及介质，通过三个不同方向的伪三维卷积处理模块对多模态磁共振影像的三维信息进行解耦后提取。极大地降低了图像梳理过程中的参数量，降低计算开销。同时，使用不同方向的并联伪卷积结构对多模态磁共振影像的横断面、冠状面及矢状面进行提取，能够得到更有效的空间信息，提高分割精度。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。其中：

图1示意性示出了根据本公开一示例性实施例的多模态磁共振影像的分割方法的流程图；

图2示意性示出了根据本公开一示例性实施例的特征提取模型的架构图；

图3示意性示出了根据本公开一示例性实施例的特征提取模型的网络结构图；

图4示意性示出了根据本公开一示例性实施例的特征提取模型的训练方法流程图；

图5示意性示出了根据本公开一示例性实施例的多模态磁共振影像的分割装置的框图；以及

图6示意性示出了根据本公开一示例性实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

本公开实施例通过设计一种多方向融合模块，将医学多模态磁共振影像数据的三维空间信息进行拆分与融合，使用少量参数提取有效特征，并以此构建了一种新型轻量卷积神经网络，大幅降低参数量并实现准确的胶质瘤分割。

图1示意性示出了根据本公开一示例性实施例的多模态磁共振影像的分割方法的流程图，该方法例如可以包括操作s101～s104.

s101，分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取。

在本公开一可行的方式中，采用一特征提取模型对分别对多模态磁共振影像进行特征提取。该特征提取模型的架构图如图2所示，该模型可以包括三个不同方向的伪三维卷积处理模块，分别对应多模态磁共振影像的横断面、冠状面及矢状面，用于对三个面的图像特征进行提取。实际上，医生在观看mri影像数据时是以观察二维平面图像为主，并根据图像切片位置辅助判断，故伪三维卷积的拆分具有现实意义。医学上对三维影像在三个方向的截面有明确定义(横断面、冠状面和矢状面)，可以反映不同的病理信息。其中，横断面又称水平位即人体左右、前后构成的面为水平位。冠状面，又称额状面，即从左右方向，沿人体的长轴将人体纵切为前、后两部分的切面。矢状面就是把人体分成左右两面的解剖面，与这个面平行的也是矢状面。

三支伪三维卷积模块包括一个二维卷积及一个一维卷积，其卷积核尺寸分别可以为3*3*1+1*1*3、3*1*3+1*3*1、1*3*3+3*1*1。特征提取过程中，获取上述特征提取模型，将多模态磁共振影像输入至特征提取模型，分别利用三维卷积模块的二维卷积提取特定平面(横断面、冠状面和矢状面)的二维图像特征。

特征提取模型的输入例如可以是四种模态的mri影像数据，包括t1、t1加权(t1gd)、t2和液体衰减反转恢复(flair)，其中，t1、t2分别为质子在激发磁场中的纵向弛豫时间及横向弛豫时间，t1加权成像(t1wi)-突出组织t1弛豫(纵向弛豫)差别，t2加权成像(t2wi)-突出组织t2弛豫(横向弛豫)差别。在任何序列图像上，信号采集时刻横向的磁化矢量越大，mr信号越强所谓的t1wi和t2wi是磁共振现象中，质子驰豫的时间，也就是质子经磁场激发后恢复的时间，根据时间的不同，采集数据，形成的图像，t表示时间，wi表示权重，是一种物理参数。

s102，分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取。

在操作s101中，在二维图像特征提取的基础上，进一步进行一维特征提取。不论从哪个方向(横断面、冠状面和矢状面)来看，影像均是三维空间，除了横断面或冠状面或矢状面所在的二维平面，各自还对应第三个维度。故随后在第三个维度上使用一维卷积分别提取横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取。

s103，分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征。

由于在操作s101中提取了二维图像特征，则将操作操作s102中提取的一维图像特征与二维图像特征进行融合，即可补充为三维空间信息。

s104，对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。

在操作s104中，可对融合后图像数据进行分组标准化、残差连接和激活等处理。由于上述操作分为三个通道分别对输入的四种模态的mri影像数据进行处理，即可得到全肿瘤(wt)、肿瘤核心(tc)和增强肿瘤(et)三个肿瘤子区域的图像，其输入及输出如图3所示，通过对160*160*128四种模态的mri影像数据进行多方向融合，并引入空洞卷积以扩大感受野和保持空间分辨率，最终得到三个肿瘤子区域的160*160*128图像。

图4示意性实处了根据本公开一示例性实施例的特征提取模型的训练方法流程图，如图4所示，该方法例如可以包括操作s401～s404.

s401，获取训练数据集。

用于训练的数据集例如可以包括高级别胶质瘤(hgg)和低级别胶质瘤(lgg)分别对应的多模态磁共振影像。

在本实施例，训练集共选取285例数据，包括210例高级别胶质瘤和75例低级别胶质瘤，每一例数据标注有肿瘤级别。每例数据可以包括包含t1、t2、flair和t1gd四种模态，均经过配准、去颅骨和插值预处理，分辨率例如可以为240*240*155。

s402，对训练数据集进行像素级标注

标注的结果例如可以有具有医学丰富影像经验的技术人员审核。

s403，利用标注后的训练数据集训练特征提取模型。

数据训练时，首先将标注后的训练数据集裁剪至预设尺寸范围内，尺寸例如可以是160*160*128以满足显存限制，并基于影像非背景区域对裁剪后的训练数据集进行归一化。

然后，将标注的像素级转化为所述全肿瘤区域、肿瘤核心区域及增强肿瘤区域分别对应的二值分割图，计算二值分割图的损失。其中，模型参数初始化采用随机初始化，使用随机梯度下降法对模型参数进行更新，用于更新该模型参数的损失函数为：

其中，是预测的第i个像素属于第c类子区域的概率值，是其对应真实标签，∈表示拉普拉斯平滑常数，常数值可以取1。该损失函数结合了diceloss及focalloss，其中，diceloss可以缓解医学数据中样本类别不均衡问题，focalloss侧重于加强难分割样本的学习。

此外，在训练的过程中，为了提高模型的性能，可以对训练数据集进行数据增广，包括随机翻转、随机旋转、随机缩放和随机扰动。

s404、获取测试数据集，将测试数据集输入训练后的特征提取模型，根据输出值对特征提取模型进行优化。

其中，测试数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像。在本实施例，训练集共选取66例数据，每一例数据未标注有肿瘤级别。每例数据可以包括包含t1、t2、flair和t1gd四种模态，均经过配准、去颅骨和插值预处理，分辨率例如可以为240*240*155。

在本实施一可行的方式中，对上述方法进行了相关试验，该方法可实现3dmri影像的端到端分割，参数量相比标准3d网络减少70％以上，三种子区域分割精度高达约90.9％、84.1％和80.4％。

本实施例中，通过对数据影像的三维信息进行解耦，先提取二维图像特征，再提取一维图像特征后融合，可明显降低参数量，降低计算开销。同时，使用不同方向的并联伪卷积结构对多模态磁共振影像的横断面、冠状面及矢状面进行提取，能够得到更有效的空间信息，提高分割精度。

图5示意性实处了根据本公开一示例性实施例的多模态磁共振影像的分割装置的框图，如图5所示，该装置500例如可以包括第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540。

第一特征提取模块510，用于分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取。

第二特征提取模块520，用于分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取。

融合模块530，用于分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征。

处理模块540，用于对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。

本实施例的装置可以以软件的方式安装于医生的工作电脑，提供实时分割；也可以安装于医院的后台服务器，提供大批量后台分割。

需要说明的是，装置部分的实施例方式与方法部分的实施例方式对应类似，具体细节请参照方法实施例部分，在此不再赘述。

根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6是根据一示例性实施例示出的一种电子设备的框图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600包括处理器610、计算机可读存储介质620。该电子设备600可以执行根据本公开实施例的方法。

具体地，处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质620，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存等等。

计算机可读存储介质620可以包括计算机程序621，该计算机程序621可以包括代码/计算机可执行指令，其在由处理器610执行时使得处理器610执行根据本公开实施例的方法或其任何变形。

计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括621a、模块621b、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540中的至少一个可以实现为参考图6描述的计算机程序模块，其在被处理器610执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，具体依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。