医学图像分割方法、分割系统及计算机可读存储介质与流程

本发明涉及计算机及医疗技术领域，具体涉及一种医学图像分割方法、分割系统及计算机可读存储介质。

背景技术：

在医疗过程中，精确的医学图像分割会帮助医生更好的对病患进行诊断和治疗。在基于深度学习的医学图像分割模型中，对大量像素级标注数据的依赖是显而易见的。但是，像素级标注的图像获取困难，严重限制了模型的分割精度和泛化能力。实际中可以利用的训练数据是少量像素级标注样本和大量低成本的图像级标注样本。图像级标注样本缺少对像素级信息的描述，在利用传统的监督学习过程中，只能提取图像的图像级特征，很难提取像素级特征，使得训练模型难以实现图像的像素级分割。

技术实现要素：

本发明实施例提供了一种医学图像分割方法、分割系统及计算机可读存储介质，可以实现图像的像素级分割。

第一方面，本发明实施例提供一种医学图像分割方法，所述方法包括如下步骤：

建立网络模型，对网络模型进行训练得到训练好的网络模型；

利用训练好的模型对图像级标签和像素级标签预测，最后利用预测的图像级标签和像素级标签以及重构图像的特征映射实现图像的精准分割。

一种医学图像分割系统，所述系统包括：

建立模块，用于建立网络模型，对网络模型进行训练得到训练好的网络模型；

预测模块，用于利用训练好的模型对图像级标签和像素级标签预测；

分割模块，用于利用预测的图像级标签和像素级标签以及重构图像的特征映射实现图像的精准分割。

第三方面，提供一种计算机可读存储介质，其存储用于电子数据交换的程序，其中，所述程序使得终端执行第一方面提供的方法。

与现有技术相比，本发明提出的方案，构建了图像重构模块，提取图像重构特征，弥补图像级标签信息的不足，减少了像素级标签的不确定性影响。本发明解决现有图像分割方法中忽视图像个性特征问题，提出了基于共性特征与个性特征相结合的个性化学习框架，提高像素级别图像的分割精度。本发明所提出的方案，在测试阶段继续利用图像重构模型进行个性化学习，并分析其对分割精度的影响，为图像数据实现了个性化的图像分割。本专利公开的网络，挖掘图像级标签与像素级标签的映射关系，在融合图像级特征与其他辅助特征的基础上，能够在高精度的条件下，解决目标图像的像素级分割问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种医学图像分割方法的技术流程图。

图1a是本申请提供的一种医学图像分割方法的流程示意图。

图1b是本申请提供的一种医学图像分割系统的结构示意图。

图2是基于多任务学习的医学图像分割网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

医学图像复杂多样，其分割边界千差万别。实现对医学图像中区域的精确分割，需要大量高质量、像素标签的医学影像数据对分割模型进行训练。然而，医院中存档的大部分影像只有图像标签，甚至没有标签。高质量医学影像像素标签需要从业医师手工标注，费时费力，非常昂贵，很难大规模获取。为了充分利用大量图像标签的医学影像资料，提高图像分割精度，我们提出了一种基于对偶学习的医学图像分割方案。

目前，在医院最常用的检查手段主要是磁共振成像。其中，磁共振扩散张量成像(diffusiontensorimaging，dti)是一种最新的检测技术，它可以提供多种信号对脊髓受损情况进行量化评估，同时能够反映脊髓微观结构的改变，相较于传统的t2wi具有较高的灵敏度。通过检测感兴趣区域(roi)信号是否异常是否改变等手段来实现医学图像信息的诊断。感兴趣区域分割的精准程度直接影响的诊断。为了改善的诊断效果，本方案提出了一种新型的医疗图像分割算法用于分割感兴趣区域。该模型仅需少量具有像素级标签的图像和大量具有图像级标签的数据就可实现模型的训练。该方案可以减少昂贵的像素级图像标注工作，同时，医生在诊断过程中对影像的描述可以抽取为图像标签，因而图像级标签的影像数据可以大规模获取。

参阅图1a，图1a提供了一种医学图像分割方法，参阅图1a,所述方法包括如下步骤：

步骤s101、建立网络模型，对网络模型进行训练得到训练好的网络模型；

需要说明的是，上述步骤s101中的网络模型包括：基础网络a和基础网络b，所述基础网络a包括：深度残差网络和密集卷积神经网络；所述基础网络b包括：胶囊网络结构模型。

步骤s102、利用训练好的模型对图像级标签和像素级标签预测，最后利用预测的图像级标签和像素级标签以及重构图像的特征映射实现图像的精准分割。

本发明提出的方案，构建了图像重构模块，提取图像重构特征，弥补图像级标签信息的不足，减少了像素级标签的不确定性影响。本发明解决现有图像分割方法中忽视图像个性特征问题，提出了基于共性特征与个性特征相结合的个性化学习框架，提高像素级别图像的分割精度。本发明所提出的方案，在测试阶段继续利用图像重构模型进行个性化学习，并分析其对分割精度的影响，为图像数据实现了个性化的图像分割。本专利公开的网络，挖掘图像级标签与像素级标签的映射关系，在融合图像级特征与其他辅助特征的基础上，能够在高精度的条件下，解决目标图像的像素级分割问题。

可选的，上述步骤s101中的所述对网络模型进行训练得到训练好的网络模型具体包括：

利用高质量的像素级标注数据{i^f，l^f，t^f}，对通过最小化损失函数对基础网络a、像素标签预测网络b、图像标签预测网络c和图像重构网络d进行参数调节；损失函数包括像素标签预测对应的损失函数loss^map(bo，l^f)，图像标签的对应的损失函数loss^tag(co，t^f)和图像重构的euclidian损失函数loss^img(do，i^f)；其中bo，co和do分别代表预测的像素级标签，图像级标签和重构图像；

利用较容易获取的图像级标注数据{i^w，t^w}，通过最小化图像标签损失函数和图像重构损失函数实现对模型的进一步训练，进一步训练完成后，通过整合图像级标签信息，实现对像素级标签l^w的预测；获得弱标注数据的像素级标签信息后，把预测的l^w作为真值，将弱标注的图像数据转化为全标注的图像数据，利用全部的图像数据对整体网络模型进行监督训练得到训练好的网络模型。

可选的，上述监督训练包括：

根据多任务学习的多步训练方法，使得网络的参数变化平滑，损失函数包括像素标签预测的softmax损失函数loss^map(ao,l^f)，图像标签的softmax损失函数loss^tag(bo,t^f)和图像重构的欧拉损失函数loss^img(co,i^f)；

在半监督学习阶段，我们利用所有全标签和弱标签的图像数据对模型进行微调。所有图像数据可表示为{i,l,t}，其中i＝{i^f,i^w}，l＝{l^f,l^w}和t＝{t^f,t^w}，那么整个网络的优化问题可转化为：

其中θ代表整个网络的参数，α1,β1分别代表dpn的输出层与隐藏层a1和b1的参数。

参阅图1b，图1b提供了一种医学图像分割系统，所述系统包括：

建立模块201，用于建立网络模型，对网络模型进行训练得到训练好的网络模型；

预测模块202，用于利用训练好的模型对图像级标签和像素级标签预测；

分割模块203，用于利用预测的图像级标签和像素级标签以及重构图像的特征映射实现图像的精准分割。

可选的，上述建立模块201，具体用于利用高质量的像素级标注数据{i^f，l^f，t^f}，对通过最小化损失函数对基础网络a、像素标签预测网络b、图像标签预测网络c和图像重构网络d进行参数调节；损失函数包括像素标签预测对应的损失函数loss^map(bo，l^f)，图像标签的对应的损失函数loss^tag(co，t^f)和图像重构的euclidian损失函数loss^img(do，i^f)；其中bo，co和do分别代表预测的像素级标签，图像级标签和重构图像；

利用较容易获取的图像级标注数据{i^w，t^w}，通过最小化图像标签损失函数和图像重构损失函数实现对模型的进一步训练，进一步训练完成后，通过整合图像级标签信息，实现对像素级标签lw的预测；获得弱标注数据的像素级标签信息后，把预测的l^w作为真值，将弱标注的图像数据转化为全标注的图像数据，利用全部的图像数据对整体网络模型进行监督训练得到训练好的网络模型。

深度卷积神经网络在图像任务中的应用有着长足的发展，深度残差网络(resnet)和密集型卷积神经网络(densenet)的提出进一步拓展了深度神经网络的应用性能。双通道网络(dpn)整合了resnet和densenet的优点，将他们分别作为两个通道网络进行融合，既实现了对已有特征的重复利用又能探索新特征，其基本构架可以表示为：

h^k＝g^k(r^k),(4)

其中，x^k和y^k分别代表每一个通道在第k步时提取的信息，ft^k(·)和vt(·)是特征学习函数，等式(1)表示密集连接通道使得通道可以探索新特征，等式(2)表示残差通道中重复利用共性特征，等式(3)将密集通道中的特征与残差通道中的特征进行融合，最终的特征转换在等式(4)中实现，h^k代表当前的状态可以用于下一步的映射或预测。

为了利用只有图像级标签的数据，传统的方法直接利用图像标签来预测像素标签实现图像分割，但是因为图像标签所含信息过于简略很难恢复较为精准的像素标签。基于少量全标注的图像数据和大量弱标注的图像数据进行分割模型的训练时，弱标注的图像数据的图像级标签由于缺少对每一个像素点的描述，因而在对图像级标签扩展为像素级标签时具有较大的不确定性。现有的研究很少考虑这种不确定性对像素级分割的影响。

因此，为了充分利用图片所含信息，我们利用图像级标签来辅助预测像素级标签的基础上重构了输入原图，并将重构图片与输入原图进行比对，进一步优化网络模型参数，从而减少医学图像分割对像素级标注数据量的依赖，降低数收据集成本，利用少量像素级图像标注数据和大量图像级标注数据，实现图像的像素级分割。

本发明所提出的方案，所用到的数据集包括少量的高质量像素标签数据集和大量图像标签数据集，构建了四个网络模块：分别为基础网络a，像素标签预测网络b，图像标签预测网络c，图像重构网络d。基本内容分为以下四个步骤：

1.网络模型构建及初始化。基础网络a采用双通道网络，包括深度残差网络和密集卷积神经网络。这两个网络具有较多的隐藏层，为了得到较优的初始化参数，利用公共数据集对其进行预训练。像素标签预测网络b采用胶囊网络结构模型，提取像素级特征。图像标签预测网络c采用卷积神经网络，提取图像级特征，并进行相应的标签预测。网络d首先对网络b和c的输出层进行融合，然后，采用多层卷积神经网络实现对图像的重构。相比于基础网络a而言，网络b，c和d的层数较少，因而可以将其参数进行随机初始化。

2.网络模型初步训练。利用高质量的像素级标注数据{i^f，l^f，t^f}，对通过最小化损失函数对基础网络a、像素标签预测网络b、图像标签预测网络c和图像重构网络d进行参数调节。损失函数包括像素标签预测对应的损失函数loss^map(bo，l^f)，图像标签的对应的损失函数loss^tag(co，tf)和图像重构的euclidian损失函数loss^img(do，i^f)。其中bo，co和do分别代表预测的像素级标签，图像级标签和重构图像。

3.像素级标签预测。为了利用较容易获取的图像级标注数据{i^w，t^w}，通过最小化图像标签损失函数和图像重构损失函数实现对模型的进一步训练。训练完成后，通过整合图像级标签信息，实现对像素级标签l^w的预测。

4.转化为全标注数据。获得弱标注数据的像素级标签信息后，把预测的l^w作为真值，将弱标注的图像数据转化为全标注的图像数据。因此，利用全部的图像数据对整体网络模型进行监督训练。所有图像数据可表示为{i，l，t}，其中i＝{i^f，i^w}，l＝{l^f，l^w}和t＝{t^f，t^w}。那么整个网络的优化问题可转化为：

argminθ{loss^map(bo,l)+loss^tag(co,t)+loss^img(do,i))

其中θ代表整个网络的参数。通过优化以上目标函数即可实现所有网络模型参数的优化。

通过转化的全标签数据，方案利用最小化重构图像的损失函数来更新网络结构的参数，更新完了所有网络参数后，就可以对新的图片进行像素标签的预测，从而实现图像的像素级别分割。

针对少量全标注图像{i^f，l^f，t^f}和大量只有图像级标签的弱标注图像{i^w，t^w}，本发明方案提出了基于弱监督学习的个性化分割模型。

该模型包含四个模块：基础网络a、像素标签预测网络b、图像标签预测网络c和图像重构网络d。

本发明所提及的方案包含技术流程如图1所示。包括模型构建阶段，模型训练阶段，和模型测试阶段：

模型构建阶段

本模型采用多任务深度学习框架，通过优化三个目标任务实现模型的训练和预测，其输出层包括图像标签的输出，像素标签的输出和重构图像的输出。每一个输出层分别对应三个子网络，简记为a网络、b网络和c网络，三个子网络又构建在基础骨架网络之上，其模型结构如图2所示。

为了利用只有图像级标签的数据，传统的方法直接利用图像标签来预测像素标签实现图像分割，但是因为图像标签所含信息过于简略很难恢复较为精准的像素标签。因此，为了充分利用图片所含信息，我们再利用图像级标签来辅助预测像素级标签的基础上重构了输入原图，并将重构图片与输入原图进行比对，从而进一步优化网络模型参数。这样我们就构建了三个子网络，分别对应图2中的a网络、b网络和c网络。通过基础骨架网络的共享，每一个子任务都能对骨架网络参数进行调节。构建的网络模型具体阐述如下：

①a网络中采用密集卷积网络和残差卷积网络，密集连接探索新的特征，增加特征的灵活性，使得较小的网络结构模型实现复杂特征空间的表征学习。深度残差网络可以重复利用之前的特征，减少模型冗余，降低训练难度。

②b网络采用胶囊网络机制。胶囊通过对图像级别标注的样本{i^w，t^w}进行卷积操作获得特征图像，包含卷积层、primarycaps层、digitcaps层和解码层，每个胶囊代表一个函数，输出激活的向量，向量代表胶囊所寻找的像素级分割标签。

③c网络结构为卷积神经网络，卷积神经网络结构包括:卷积层,降采样层,全连接层。每一层有多个特征图,每个特征图通过卷积滤波器提取输入的一种特征,每个特征图有多个神经元。通过卷积运算,使原信号特征增强并降低噪音，提取训练数据的图像级别标签。

模型训练阶段

由于数据集分为全标签图像数据和只有图像级标签的弱标签图像数据，因此在训练的过程中，我们分为三个阶段进行训练：①用高质量的像素级标签的数据对网络模型进行预训练(监督学习)；②然后用全部的数据进行微调(半监督学习)。③全标签数据的转化。

监督学习阶段:

在全监督学习训练阶段，我们采用具有全标签的图像数据对模型进行与训练，其训练过程分三步：

②先利用图像标签和像素标签同时训练dpn、a网络和b网络；

②固定以上学习的网络参数，通过重构图像，学习c网络的参数；

③个网络结构的参数同时更新。

根据多任务学习的多步训练方法，使得网络的参数变化平滑。损失函数包括像素标签预测的softmax损失函数loss^map(ao,l^f)，图像标签的softmax损失函数loss^tag(bo,t^f)和图像重构的欧拉损失函数loss^img(co,i^f)。

半监督学习阶段：

在半监督学习阶段，我们利用所有全标签和弱标签的图像数据对模型进行微调。所有图像数据可表示为{i,l,t}，其中i＝{i^f,i^w}，l＝{l^f,l^w}和t＝{t^f,t^w}。那么整个网络的优化问题可转化为：

其中θ代表整个网络的参数，α1,β1分别代表dpn的输出层与隐藏层a1和b1的参数。

全标签数据转化阶段：

对于全标签数据，我们直接优化等式的第一部分就可以实现所有网络模型参数的微调。对于弱标签图像数据，缺失的像素标签l^w可以利用图像级标签t^w辅助推断。固定其他参数，用最小化重构图像的损失函数来更新a1和b1两个网络结构的参数，从而对像素标签和图像标签进行预测，利用预测的像素标签和图像标签，更新所有网络参数。更新完了所有网络参数后，再对新的图片进行像素标签l^w的预测，完成模型的训练阶段。

模型测试阶段

模型的测试阶段，基于已经训练好的模型，通过融合图像级标签信息、像素级标签信息，能够实现医学图像的初步分割。该训练好的模型能够提取测试数据集中对图像分割的共性特征，忽略了不同图像数据的个性特征。因此，为了使得分割更为精准，有必要考虑测试图像的个性特征。

在测试阶段通过重构输入图像，并最小化图像重构损失函数，实现对该测试图像的个性化网络模型学习，然后再利用学习好的模型对图像级标签和像素级标签预测，最后利用预测的图像级标签和像素级标签以及重构图像的特征映射实现图像的精准分割。

本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种医学图像分割方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-onlymemory，简称：rom)、随机存取器(英文：randomaccessmemory，简称：ram)、磁盘或光盘等。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。