分割模型训练方法、医学图像分割方法、电子设备和介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种分割模型训练方法、医学图像分割方法、电子设备和存储介质。


背景技术：

2.腹部的高分辨率的计算机断层扫描(computed tomography，ct)体数据可用于诊断盆骨中的异常，例如，骨损或骨折。由于盆骨的结构复杂，通常在体数据中占据多个切片，为了在ct扫描中检查骨盆，放射线学者必须检视ct体数据中的所有轴向切片以寻找骨盆中的异常，这使得盆骨的评估工作繁重且易错。因此对盆骨图像进行精确分割尤为重要，精确分割能为医生提供高质量的盆骨信息，有助于医生快速诊断。
3.目前盆骨的分割方法包括：1、依靠经验丰富的医学专家进行手动分割；2、基于传统的阈值分割方法；3、基于传统的模型匹配的方法。
4.上述几种分割方法存在以下问题：
5.1、手动进行盆骨分割的结果不仅差异化大而且需要花费大量的时间和精力；
6.2、由于盆骨是由骶骨和髋骨组成的，基于阈值分割方法无法将其区分开；
7.3、由于盆骨是由骶骨和髋骨组成的，基于模板匹配的方法得到的骶骨和髋骨的分割精度不高。


技术实现要素：

8.本发明的目的在于提供一种分割模型训练方法、医学图像分割方法、电子设备和存储介质，不仅可以实现医学图像的多类别分割，同时也可以有效减少人机交互的繁琐操作。
9.为达到上述目的，本发明提供一种分割模型训练方法，包括：
10.获取训练样本，所述训练样本包括医学训练图像和与所述医学训练图像对应的标签图像，所述标签图像为已标注出多个类别的器官组织的图像；
11.根据所述训练样本对神经网络模型进行训练，以得到分割模型；
12.其中，所述解码网络包括输入层、多个级联的第一神经网络组、第一卷积层和第一双通道模块，每个所述第一神经网络组包括第二卷积层、第二双通道模块和最大池化层，所述第二卷积层用于对所述输入层的输出或上一级第一神经网络组的输出进行多个类别的器官组织特征信息的提取，所述第二双通道模块用于对所述第二卷积层的输出进行多尺度的器官组织特征信息的提取，所述最大池化层用于对所述第二双通道模块的输出进行池化，所述第一卷积层用于对最后一级第一神经网络组的输出进行所述多个类别的器官组织特征信息的提取，所述第一双通道模块用于对所述第一卷积层的输出进行多尺度的器官组织特征信息的提取；
13.所述编码网络包括多个级联的第二神经网络组、第三卷积层和输出层，所述第二神经网络组与所述第一神经网络组一一对应，每个所述第二神经网络组包括反卷积层、第
一合并层、第四卷积层和第三双通道模块，所述反卷积层用于进行与所述解码网络中的相应的最大池化层的池化操作相反的反向操作，以将所述多个类别的器官组织特征信息恢复至池化前的图像中的对应位置，所述第一合并层用于将所述反卷积层的输出与所述解码网络中的相应的所述第二双通道模块的输出进行合并，所述第四卷积层用于对所述合并层的输出进行所述多个类别的器官组织特征信息的提取，所述第三双通道模块用于对所述第四卷积层的输出进行多尺度的器官组织特征信息的提取，所述第三卷积层用于对最后一级第二神经网络组的输出结果进行逻辑回归。
14.可选的，所述第一双通道模块、所述第二双通道模块、所述第三双通道模块均包括第一通道子模块、第二通道子模块和相加子模块，所述第一通道子模块包括多个级联的第五卷积层和第二合并层，所述第二合并层用于将各个所述第五卷积层的输出进行合并，所述第二通道子模块包括多个级联的第六卷积层和第三合并层，所述第三合并层用于将各个所述第六卷积层的输出进行合并，所述相加子模块用于将所述第一通道子模块的输出与所述第二通道子模块的输出进行相加。
15.可选的，所述解码网络还包括多个第一残差连接，所述编码网络还包括多个第二残差连接。
16.可选的，所述获取训练样本包括：
17.获取原始训练样本，所述原始训练样本包括原始医学训练图像和与所述原始医学训练图像对应的原始标签图像；
18.对所述原始训练样本进行扩展，得到训练样本。
19.可选的，所述对所述原始训练样本进行扩展，得到训练样本，包括：
20.对所述原始医学训练图像和对应的所述原始标签图像进行旋转和/或缩放和/或平移和/或翻转和/或灰度变换，得到训练样本。
21.可选的，所述根据所述训练样本对预先搭建的神经网络模型进行训练，包括：
22.获取所述神经网络模型的模型参数的初始值；
23.根据所述训练样本和所述模型参数的初始值采用随机梯度下降法对预先搭建的神经网络模型进行训练，直至满足预设结束条件。
24.可选的，所述预设结束条件为所述训练样本中的医学训练图像的预测结果和对应的标签图像的误差值收敛到预设误差值。
25.可选的，所述根据所述训练样本和所述模型参数的初始值采用随机梯度下降法对预先搭建的神经网络模型进行训练，包括：
26.步骤a、将所述训练样本作为所述神经网络模型的输入，根据所述模型参数的初始值，获取所述医学训练图像的预测结果；
27.步骤b、根据所述医学训练图像的预测结果和对应的标签图像，计算损失函数值；以及
28.步骤c、判断所述损失函数值是否收敛到预设误差值，如果是，训练结束，如果否，调整所述神经网络模型的模型参数，并将所述神经网络模型的模型参数的初始值更新为调整后的模型参数，返回执行所述步骤a。
29.可选的，训练过程中所采用的损失函数如下所示：
[0030][0031]
其中，w和b表示神经网络模型的权重参数和偏置参数，n为类别总数，m为训练样本的数量，表示第i个训练样本的第j个类别的预测结果，表示第i个训练样本的第j个类别的真实标签，k是平滑参数。
[0032]
为达到上述目的，本发明还提供一种医学图像分割方法，包括：
[0033]
获取待分割医学图像；
[0034]
采用预先训练好的分割模型对所述待分割医学图像进行分割，以获取包括多个类别的器官组织的分割图像，其中，所述分割模型采用上文所述的训练方法训练得到。
[0035]
为达到上述目的，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上文所述的分割模型训练方法或医学图像分割方法。
[0036]
为达到上述目的，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的分割模型训练方法或医学图像分割方法。
[0037]
与现有技术相比，本发明提供的分割模型训练方法、医学图像分割方法、电子设备和存储介质具有以下优点：本发明提供的分割模型训练方法，可以得到能够进行多个类别的器官组织分割的分割模型，该分割模型能够从不同尺度上提取多个类别的器官组织特征信息，而且还能够将不同尺度上的多个类别的器官组织特征信息进行局部和全局的深度融合，从而可以大大提高分割效果，为实现医学图像的多类别分割以及减少医学图像分割过程中的人机交互的繁琐操作奠定良好的基础。本发明提供的医学图像分割方法通过采用预先训练好的分割模型对所获取的待分割医学图像进行分割，可以快速地在医学图像上分割出多个类别的器官组织，本发明不仅可以有效提高整体分割算法的精度，同时还减少了人机交互的繁琐操作，实现了端到端的算法流程，可以更好地辅助医生提高诊断准确性。
附图说明
[0038]
图1为本发明一实施方式中的分割模型训练方法的流程示意图；
[0039]
图2为本发明一实施方式中的神经网络模型的结构示意图；
[0040]
图3为本发明一实施方式中的第二双通道模块的结构示意图；
[0041]
图4为本发明一实施方式中的采用随机梯度下降法进行模型训练的流程示意图；
[0042]
图5为本发明一实施方式中的医学图像分割方法的流程示意图；
[0043]
图6为本发明一实施方式中的预处理后的待分割医学图像的具体示例；
[0044]
图7为盆骨图像的金标准分割结果示意图；
[0045]
图8为采用本发明提供的分割方法对图4所示的待分割医学图像进行分割的分割结果示意图；
[0046]
图9为本发明一实施方式中的电子设备的方框结构示意图；
[0047]
其中，附图标记如下：
[0048]
第一神经网络组-a、b、c、d；第一卷积层-e1；第一双通道模块-e2；第二卷积层-a1、b1、c1、d1；第二双通道模块-a2、b2、c2、d2；最大池化层-a3、b3、c3、d3；第二神经网络组-a、b、c、d；第三卷积层-e1；反卷积层-a1、b1、c1、d1；合并层-a2、b2、c2、d2；第四卷积层-a3、b3、c3、d3；第三双通道模块-a4、b4、c4、d4；第一残差连接-f1、f2、f3、f4；第二残差连接-f1、f2、f3、f4；
[0049]
第一通道子模块-10；第五卷积层-101、102、103；第二合并层-104；第二通道子模块-20；第六卷积层-201、202、203；第三合并层-204；相加子模块-30；
[0050]
尾骨-11；骶骨-12；左髋骨-13；右髋骨-14；
[0051]
处理器-21；通信接口-22；存储器-23；通信总线-24。
具体实施方式
[0052]
以下结合附图1至9和具体实施方式对本发明提出的分割模型训练方法、医学图像分割方法、电子设备和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在与本发明所能产生的功效及所能达成的目的相同或近似的情况下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
[0053]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0054]
本发明的核心思想在于提供一种分割模型训练方法、医学图像分割方法、电子设备和存储介质，不仅可以实现医学图像的多类别分割，同时也可以有效减少人机交互的繁琐操作。
[0055]
需要说明的是，本发明实施方式的电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。此外，需要说明的是，虽然本发明是以从盆骨图像中分割出骶骨、尾部、左髋骨和右髋骨为例进行说明，但是如本领域技术人员所能理解的，本发明还可以用于从其它医学图像中分割出其它多个类别的器官组织，本发明对此并不进行限定。
[0056]
为实现上述思想，本发明提供一种分割模型训练方法，请参考图1，其示意性地给出了本发明一实施方式提供的分割模型训练方法的流程示意图，如图1所示，所述分割模型训练方法包括如下步骤：
[0057]
步骤s110、获取训练样本，所述训练样本包括医学训练图像和与所述医学训练图像对应的标签图像，所述标签图像为已标注出多个类别的器官组织的图像。
[0058]
具体地，所述获取训练样本包括：
[0059]
获取原始训练样本，所述原始训练样本包括原始医学训练图像和与所述原始医学训练图像对应的原始标签图像；
[0060]
对所述原始训练样本进行扩展，得到训练样本。
[0061]
由于原始训练样本的数量有限，而深度学习需要在一定数据上进行学习才能具有一定的鲁棒性，为了增加鲁棒性，需要做数据扩增操作，以增加神经网络模型的泛化能力。由此，通过对所述原始训练样本进行扩展，可以快速、简便地获取大量的训练样本。需要说明的是，如本领域技术人员所能理解的，所述原始标签图像可通过人工手动对所述原始医学训练图像进行分割得到。
[0062]
进一步地，所述对所述原始训练样本进行扩展，得到训练样本，包括：
[0063]
对所述原始医学训练图像和对应的所述原始标签图像进行旋转和/或缩放和/或平移和/或翻转和/或灰度变换，得到训练样本。
[0064]
具体地，可以通过对所述原始医学训练图像和对应的标签图像分别进行相同的随机刚性变换，例如：旋转和/或缩放和/或平移和/或翻转和/或灰度变换。更具体地，可以对所述原始医学训练图像和对应的标签图像分别平移-10到10个像素、旋转-30
°
到30
°
、水平翻转、垂直翻转、缩放0.8到1.2倍、灰度变换等以完成对训练样本的数据扩增。通过上述变换，可以将原先的例如20例样本扩增到2000例，有效减少训练样本的获取成本。可以用其中的1600例样本进行模型训练，用剩余的400例样本进行模型测试。
[0065]
步骤s120、根据所述训练样本对神经网络模型进行训练，以得到分割模型。
[0066]
其中，所述神经网络模型包括解码网络和编码网络；
[0067]
所述解码网络包括输入层、多个级联的第一神经网络组、第一卷积层和第一双通道模块，所述第一神经网络组包括第二卷积层、第二双通道模块和最大池化层，所述第二卷积层用于对所述输入层的输出或上一级第一神经网络组的输出进行多个类别的器官组织特征信息的提取，所述第二双通道模块用于对所述第二卷积层的输出进行不同尺度上的多个类别的器官组织特征信息的提取(即多尺度的器官组织特征信息的提取)，所述最大池化层用于对所述第二双通道模块的输出进行池化(即在保留有用信息的同时减小图像尺寸)，所述第一卷积层用于对最后一级(即最深层的)第一神经网络组的输出进行所述多个类别的器官组织特征信息的提取，所述第一双通道模块用于对所述第一卷积层的输出进行不同尺度上的所述多个类别的器官组织特征信息的提取(即多尺度的器官组织特征信息的提取)；
[0068]
所述编码网络包括多个级联的第二神经网络组、第三卷积层和输出层，所述第二神经网络组与所述第一神经网络组一一对应，所述第二神经网络组包括反卷积层、第一合并层、第四卷积层和第三双通道模块，所述反卷积层用于进行与所述解码网络中的相应的最大池化层的池化操作相反的反向操作(即增大图像尺寸)，以将所述多个类别的器官组织特征信息恢复至池化前的图像中的对应位置，所述第一合并层用于将所述反卷积层的输出与所述解码网络中的相应的所述第二双通道模块的输出进行合并，所述第四卷积层用于对所述合并层的输出进行所述多个类别的器官组织特征信息的提取，所述第三双通道模块用于对所述第四卷积层的输出进行不同尺度上的所述多个类别的器官组织特征信息的提取(即多尺度的器官组织特征信息的提取)，所述第三卷积层用于对最后一级第二神经网络组
的输出结果进行逻辑回归。
[0069]
由此，本发明提供的分割模型训练方法，可以得到能够进行多个类别的器官组织分割的分割模型，该分割模型能够从不同尺度上提取多个类别的器官组织特征信息，而且还能够将不同尺度上的多个类别的器官组织特征信息进行局部和全局的深度融合，从而可以大大提高分割效果，为实现医学图像的多类别分割以及减少医学图像分割过程中的人机交互的繁琐操作奠定良好的基础。
[0070]
为了清楚地理解本实施方式提供的神经网络模型的结构，请参考图2，作为示例，其示意性地给出了本发明一实施方式提供的神经网络模型的结构示意图。如图2所示，所述解码网络包括4个级联的第一神经网络组a、b、c和d，所述编码网络包括4个级联的第二神经网络组a、b、c和d。其中，在第一神经网络组d和第二神经网络组a之间设有第一卷积层e1和第一双通道模块e2，以此建立解码网络和编码网络的相应关系。
[0071]
如图2所示，第一神经网络组a包括第二卷积层a1、第二双通道模块a2和最大池化层a3；第一神经网络组b包括第二卷积层b1、第二双通道模块b2和最大池化层b3；第一神经网络组c包括第二卷积层c1、第二双通道模块c2和最大池化层c3；第一神经网络组d包括第二卷积层d1、第二双通道模块d2和最大池化层d3。其中，第一神经网络组a用于对输入的图像进行不同尺度上的多个类别的器官组织特征信息的提取，例如尾骨、骶骨、左髋骨和右髋骨的纹理特征、几何结构特征以及位置特征的提取。具体地，第二卷积层a1用于对所述输入层1的输出，即待分割医学图像进行卷积处理，以对所述待分割医学图像进行多个类别的器官组织特征信息的提取，第二双通道模块a2用于对第二卷积层a1的输出进行不同尺度上的多个类别的器官组织特征信息的提取，最大池化层a3用于对经过卷积处理后的图像进行池化操作。
[0072]
第一神经网络组b用于对由最大池化层a3池化后的图像进行不同尺度上的多个类别的器官组织特征信息的提取，例如尾骨、骶骨、左髋骨和右髋骨的纹理特征、几何结构特征以及位置特征的提取，该具体过程与第一神经网络组a中的具体过程类似，在此不再赘述。
[0073]
第一神经网络组c用于对由最大池化层b3池化后的图像进行不同尺度上的多个类别的器官组织特征信息的提取，例如尾骨、骶骨、左髋骨和右髋骨的纹理特征、几何结构特征以及位置特征的提取，该具体过程与第一神经网络组a中的具体过程类似，在此不再赘述。
[0074]
第一神经网络组d用于对由最大池化层c3池化后的图像进行不同尺度上的多个类别的器官组织特征信息的提取，例如尾骨、骶骨、左髋骨和右髋骨的纹理特征、几何结构特征以及位置特征的提取，该具体过程与第一神经网络组a中的具体过程类似，在此不再赘述。
[0075]
第一卷积层e1用于对由最大池化层d3池化后的图像进行卷积，以进行多个类别的器官组织特征信息的提取，例如尾骨、骶骨、左髋骨和右髋骨的纹理特征、几何结构特征以及位置特征的提取，第一双通道模块e2用于对由第一卷积层e1卷积后的图像继续进行处理，以进一步从不同尺度上进行多个类别的器官组织特征信息的提取，例如尾骨、骶骨、左髋骨和右髋骨的纹理特征、几何结构特征以及位置特征的提取。
[0076]
第二神经网络组a包括级联的反卷积层a1、第一合并层a2、第四卷积层a3和第三双
通道模块a4；第二神经网络组b包括级联的反卷积层b1、第一合并层b2、第四卷积层b3和第三双通道模块b4；第二神经网络组c包括级联的反卷积层c1、第一合并层c2、第四卷积层c3和第三双通道模块c4；第二神经网络组d包括级联的反卷积层d1、第一合并层d2、第四卷积层d3和第三双通道模块d4。第二神经网络组d的第三双通道模块d4和输出层2之间设置有第三卷积层e1，该第三卷积层e1用于实现图像的逻辑回归，其不属于第二神经网络组。
[0077]
在本实施方式中，第二神经网络组a用于从不同尺度恢复图像的多个类别的器官组织特征信息，例如尾骨、骶骨、左髋骨和右髋骨的纹理特征、几何结构特征以及位置特征的提取等。具体地，反卷积层a1用于对最大池化层d3进行反向操作，以将多个类别的器官组织特征信息恢复至最大池化层d3池化前的图像中的对应位置。第一合并层a2用于将第二双通道模块d2的输出与反卷积层a1的输出进行合并后作为第四卷积层a3的输入。第四卷积层a3用于对所述第一合并层a2的输出进行多个类别的器官组织特征信息的提取，所述第三双通道模块a4用于对所述第四卷积层a3的输出进行不同尺度上的多个类别的器官组织特性信息的提取，由此通过所述第四卷积层a3和所述第三双通道模块a4的共同作用，能够恢复图像在最大池化层d3对图像进行池化过程中丢失的多个类别的器官组织特征信息，例如尾骨、骶骨、左髋骨和右髋骨的纹理特征、几何结构特征以及位置特征等。
[0078]
与第二神经网络组a类似，第二神经网络组b至d依次与第一神经网络组c至a相对应，也用于从不同尺度恢复图像的多个类别的器官组织特征信息，最终由第二神经网络组d中的第三双通道模块d4输出最终恢复出的图像中的所有器官组织特征信息，例如尾骨、骶骨、左髋骨和右髋骨的纹理特征、几何结构特征以及位置特征等，最后经由第三卷积层e1的逻辑回归，从而得到图像分割结果，例如盆骨图像的分割结果，其中尾骨、骶骨、左髋骨和右髋骨用不同的像素值表示，例如尾骨区域的像素值为4，左髋骨区域的像素值为3，骶骨区域的像素值为2，右髋骨区域的像素值为1。
[0079]
需要说明的是，图2所示的神经网络模型中，解码网络包括的第一神经网络组的个数以及编码网络包括的第二神经网络组的个数均为示例，不应理解为对本技术实施方式的限定。所述解码网络包括的第一神经网络组的个数以及编码网络包括的第二神经网络组的个数可以根据具体需要进行设置。需要说明的是，因编码和解码具有一一对应的关系，所以在本技术实施方式提供的神经网络模型中，所述解码网络包括的第一神经网络组的个数与编码网络包括的第二神经网络组的个数相等。此外，第一神经网络组包括的第二卷积层的个数以及第二神经网络组包括的第四卷积层的个数不限定为1个，其还可以为2个、3个或更多个，本发明对其并不进行限制。
[0080]
进一步地，所述第一双通道模块、所述第二双通道模块、所述第三双通道模块均包括第一通道子模块、第二通道子模块和相加子模块，所述第一通道子模块包括多个级联的第五卷积层和第二合并层，所述第二合并层用于将各个所述第五卷积层的输出进行合并，所述第二通道子模块包括多个级联的第六卷积层和第三合并层，所述第三合并层用于将各个所述第六卷积层的输出进行合并，所述相加子模块用于将所述第一通道子模块的输出与所述第二通道子模块的输出进行相加。由于所述第一通道子模块和第二通道子模块均包括多个级联的卷积层，由此能够从不同尺度上提取更深层次的多个类别的器官组织特征信息，加强了对多个类别的器官组织的局部和全局特征的提取，有利于提高分割效果。
[0081]
具体地，请参考图3，作为示例，其示意性地给出了本发明一实施方式提供的双通
道模块的示意图。如图3所示，所述第一通道子模块10包括三个级联的第五卷积层101、102、103和第二合并层104，所述第二合并层104用于将所述第五卷积层101、102和103的输出进行合并，所述第二通道子模块20包括三个级联的第六卷积层201、202、203和第三合并层204，所述第三合并层204用于将所述第六卷积层201、202和203的输出进行合并，所述相加子模块30用于将所述第一通道子模块10的输出与所述第二通道子模块20的输出进行相加，作为所述双通道模块的输出。
[0082]
需要说明的是，图3所示的双通道模块中，第一通道子模块10包括的第五卷积层的个数和第二通道子模块20中包括的第六卷积层的个数均为示例，不应理解为对本技术实施方式的限定。所述第一通道子模块10包括的第五卷积层的个数和所述第二通道子模块20包括的第六卷积层的个数可以根据具体情况进行设置。
[0083]
优选地，所述解码网络还包括多个第一残差连接，所述编码网络还包括多个第二残差连接。由此，通过在所述解码网络中设置多个第一残差连接，在所述编码网络中设置多个第二残差连接，有效缓解了随着网络层数越深，越容易出现梯度消失和梯度爆炸的问题，保证了有效特征的传递，有利于恢复图像，提高了图像分割的准确性。
[0084]
如图2所示，在本实施方式中，所述解码网络包括四个第一残差连接f1、f2、f3和f4，所述编码网络均包括四个第二残差连接f1、f2、f3和f4。其中，在所述解码网络中，通过第一残差连接f1可以将输入层1的输出与第一卷积层a1的输出相加后作为第一双通道模块a2的输入；通过第一残差连接f2可以将最大池化层a3的输出与第二卷积层b1的输出相加后作为第二双通道模块b2的输入；通过第一残差连接f3可以将最大池化层b3的输出与第二卷积层c1的输出相加后作为第二双通道模块c2的输入；通过第一残差连接f4可以将最大池化层c3的输出与第二卷积层d1的输出相加后作为第二双通道模块d2的输入。在所述编码网络中，通过第二残差连接f1可以将第一合并层a2的输出与第三双通道模块a4的输出相加后作为反卷积层b1的输入；通过第二残差连接f2可以将第一合并层b2的输出与第三双通道模块b4的输出相加后作为反卷积层c1的输入；通过第二残差连接f3可以将第一合并层c2的输出与第三双通道模块c4的输出相加后作为反卷积层d1的输入；通过第二残差连接f4可以将第一合并层d2的输出与第三双通道模块d4的输出相加后作为第三卷积层e1的输入。
[0085]
进一步地，神经网络模型训练过程中所采用的损失函数如下所示：
[0086][0087]
其中，w和b表示神经网络模型的权重参数和偏置参数，n为类别总数，m为训练样本的数量，表示第i个训练样本的第j个类别的预测结果，表示第i个训练样本的第j个类别的真实标签，k是平滑参数，防止分母为零无法计算。
[0088]
如本领域技术人员所能理解的，神经网络模型的模型参数包括两类：特征参数和超参数。特征参数是用于学习器官组织特征的参数，例如学习盆骨的纹理特征、几何结构特征、不同盆骨区域(包括尾骨、骶骨、左髋骨和右髋骨)之间的位置特征等。特征参数包括权重参数和偏置参数。超参数是在训练时人为设置的参数，只有设置合适的超参数才能从样本中学到特征参数。超参数可以包括学习率、隐藏层个数、卷积核大小、训练迭代次数，每次
迭代批次大小。学习率可以看作是步长。作为示例，本实施方式中可以设置学习率为0.001，隐藏层个数分别为16、32、64、128、256，卷积核大小为3
×3×
3，训练迭代次数为30000次，每次迭代批次大小为1。
[0089]
以盆骨图像作为医学训练图像为例，其所对应的标签图像为标注出尾骨、骶骨、左髋骨和右髋骨这四个盆骨区域的图像，且尾骨、骶骨、左髋骨和右髋骨这四个盆骨区域的像素值均不为0，且各不相同，例如尾骨区域的像素值为4，左髋骨区域的像素值为3，骶骨区域的像素值为2，右髋骨区域的像素值为1。对应的损失函数l(w,b)中的n＝4，假设j＝1，表示右髋骨，j＝2表示骶骨，j＝3表示左髋骨，j＝4表示尾骨，则损失函数l(w,b)如下所示：
[0090][0091]
其中，表示第i个训练样本的右髋骨的预测结果，表示第i个训练样本的右髋骨的真实标签；表示第i个训练样本的骶骨的预测结果，表示第i个训练样本的骶骨的真实标签；表示第i个训练样本的左髋骨的预测结果，表示第i个训练样本的左髋骨的真实标签；表示第i个训练样本的尾骨的预测结果，表示第i个训练样本的尾骨的真实标签。
[0092]
进一步地，所述根据所述训练样本对预先搭建的神经网络模型进行训练，包括：
[0093]
获取所述神经网络模型的模型参数的初始值；
[0094]
根据所述训练样本和所述模型参数的初始值采用随机梯度下降法对预先搭建的神经网络模型进行训练，直至满足预设结束条件。
[0095]
由于神经网络模型的训练过程实际上是最小化损失函数的过程，而求导数可以快速简单地实现这个目标，这种求导数的方法就是梯度下降法。由此，采用梯度下降法来训练第一神经网络模型，可以快速简单地实现神经网络模型的训练。
[0096]
本发明深度学习中主要利用梯度下降法来训练神经网络模型，然后再使用反向传播算法来更新优化神经网络模型中的权重参数和偏置参数。具体地，采用梯度下降法判断曲线斜率最大的地方为越快到达最优值的方向，反向传播法是采用概率学的链式求导方法来求偏导数以更新权重，通过不断迭代训练来更新参数，以学习到图像。反向传播算法更新权重参数和偏置参数的方法如下：
[0097]
1、首先进行前向传播，通过不断迭代训练来更新参数，以学习到图像，并且计算所有层(卷积层，反卷积层)的激活值，即图像经过卷积操作后以得到激活图像；
[0098]
2、对输出层(第n
l
层)，计算敏感值
[0099][0100]
其中，y为样本真实值，为输出层的预测值，表示输出层参数的偏导数；
[0101]
3、对于l＝n
l-1,n
l-2,.....的各层，计算敏感值
[0102][0103]
其中，w
l
表示第l层的权重参数，δ
l+1
表示第l+1层的敏感值，f'(z
l
)表示第l层的偏
导数；
[0104]
4、更新每层的权重参数和偏置参数：
[0105][0106][0107]
其中，w
l
和b
l
分别表示l层的权重参数和偏置参数，为学习率，a
l
表示第l层的输出值，δ
l+1
表示l+1层的敏感值。
[0108]
此外，神经网络模型的训练目的是为了由该模型得到的器官组织的分割结果与真实准确的器官组织的分割结果相近，也就是，两者的误差缩小到一定范围，因此，预设训练结束条件可以为训练样本中的医学训练图像的预测结果与对应的标签图像的误差值收敛到预设误差值。此外，神经网络模型的训练过程为一个多次循环迭代过程，因此，可以通过设置迭代多少次结束训练，即预设训练结束条件还可以为迭代次数达到预设迭代次数。
[0109]
更进一步地，请参考图4，其示意性地给出了本发明一实施方式提供的采用随机梯度下降法进行模型训练的流程示意图。如图4所示，所述根据所述训练样本和所述模型参数的初始值采用随机梯度下降法对预先搭建的神经网络模型进行训练，包括：
[0110]
步骤a、将所述训练样本作为所述神经网络模型的输入，根据所述模型参数的初始值，获取所述医学训练图像的预测结果；
[0111]
步骤b、根据所述医学训练图像的预测结果和对应的标签图像，计算损失函数值；以及
[0112]
步骤c、判断所述损失函数值是否收敛到预设误差值，如果是，训练结束，如果否，调整所述神经网络模型的模型参数，并将所述神经网络模型的模型参数的初始值更新为调整后的模型参数，返回执行所述步骤a。
[0113]
当损失函数值未收敛到预设误差值时，表示神经网络模型还不准确，需要继续对神经网络模型进行训练，如此，则调整模型参数，并将模型参数的初始值更新为调整后的模型参数，返回执行步骤a，进入下一次迭代过程。
[0114]
基于同一发明构思，本发明还提供一种医学图像分割方法，请参考图5，其示意性地给出了本发明一实施方式提供的医学图像分割方法的流程示意图。如图5所示，所述分割方法包括如下步骤：
[0115]
步骤s210、获取待分割医学图像。
[0116]
所述待分割医学图像可以是盆骨图像，还可以是其它的医学图像。所述待分割医学图像的大小可以根据具体情况进行设置，本发明对此并不进行限制，例如所述待分割医学图像的大小可为512
×
512
×
130像素。所述待分割医学图像可以通过图像获取装置进行采集，例如ct、mri等影像设备，也可以通过互联网搜集得到，还可以通过扫描设备扫描得到。
[0117]
步骤s220、采用预先训练好的分割模型对所述待分割医学图像进行分割，以获取包括多个类别的器官组织的分割图像。
[0118]
其中，所述分割模型为采用上文所述的模型训练方法训练得到。由此，本发明通过采用预先训练好的分割模型对所获取的待分割医学图像进行分割，可以快速地在医学图像上分割出多个类别的器官组织，其中，不同的器官组织用不同的像素值进行表示，例如当所
述待分割医学图像为盆骨图像时，通过预先训练好的盆骨分割模型，可以快速地分割出尾骨、骶骨、左髋骨和右髋骨等多个类别的盆骨区域，且不同的盆骨区域用不同的像素值进行表示，例如尾骨区域的像素值为4，左髋骨区域的像素值为3，骶骨区域的像素值为2，右髋骨区域的像素值为1。本发明不仅可以有效提高整体分割算法的精度，同时还减少了人机交互的繁琐操作，实现了端到端的算法流程，可以更好地辅助医生提高诊断准确性。
[0119]
在一种示范性的实施方式中，在执行步骤s220之前，所述分割方法还包括：
[0120]
对所述待分割医学图像进行预处理，以滤除所述待分割医学图像中的噪声。
[0121]
对应的，步骤s220为：采用预先训练好的分割模型对预处理后的所述待分割医学图像进行分割。
[0122]
请参考图6，其示意性地给出了本发明一实施方式提供的的预处理后的待分割医学图像的具体示例。如图6所示，通过对所述待分割医学图像进行预处理，可以有效滤除所述待分割医学图像中的噪声信息，从而可以有效提高所述待分割医学图像的图像质量，为后续获取准确的器官组织图像进一步奠定基础。具体地，可采用高斯滤波器滤除所述待分割医学图像中的噪声信息，此外，还可以采用其他常用的滤波器对所述待分割医学图像进行预处理，本发明对此并不进行限制。
[0123]
请参考图7和图8，其中，图7示意性地给出了盆骨图像的金标准分割示意图，图8示意性地给出了采用本发明提供的分割方法对图6所示的待分割医学图像进行分割的分割结果示意图。通过将图7和图8进行对比可知，通过采用本发明提供的分割方法对待分割医学图像(例如盆骨图像)进行分割，可以准确地将多个类别的目标器官组织从所述待分割医学图像上分割出来(例如将尾骨11、骶骨12、左髋骨13和右髋骨14从盆骨图像上分割出来)，且本发明提供的分割方法得到的分割结果与采用金标准分割得到的分割结果非常接近，可见采用本发明提供的分割方法对待分割医学图像进行分割，不仅可以准确地分割出多个类别的器官组织，同时分割效率和分割精度都得以有效提高。
[0124]
基于同一发明构思，本发明还提供一种电子设备，请参考图9，示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图9所示，所述电子设备包括处理器21和存储器23，所述存储器23上存储有计算机程序，所述计算机程序被所述处理器21执行时，实现上文所述的分割模型训练方法或医学图像分割方法。
[0125]
如图9所示，所述电子设备还包括通信接口22和通信总线24，其中所述处理器21、所述通信接口22、所述存储器23通过通信总线24完成相互间的通信。所述通信总线24可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standardarchitecture，eisa)总线等。该通信总线24可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述通信接口22用于上述电子设备与其他设备之间的通信。
[0126]
本发明中所称处理器21可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的
各个部分。
[0127]
所述存储器23可用于存储所述计算机程序，所述处理器21通过运行或执行存储在所述存储器23内的计算机程序，以及调用存储在存储器23内的数据，实现所述电子设备的各种功能。
[0128]
所述存储器23可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0129]
本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的分割模型训练方法或医学图像分割方法。
[0130]
本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
[0131]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0132]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如java、smalltalk、c++，还包括常规的过程式程序设计语言-诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0133]
综上所述，与现有技术相比，本发明提供的分割模型训练方法、医学图像分割方法、电子设备和存储介质具有以下优点：本发明提供的分割模型训练方法，可以得到能够进行多个类别的器官组织分割的分割模型，该分割模型能够从不同尺度上提取多个类别的器
官组织特征信息，而且还能够将不同尺度上的多个类别的器官组织特征信息进行局部和全局的深度融合，从而可以大大提高分割效果，为实现医学图像的多类别分割以及减少医学图像分割过程中的人机交互的繁琐操作奠定良好的基础。本发明提供的医学图像分割方法通过采用预先训练好的分割模型对所获取的待分割医学图像进行分割，可以快速地在医学图像上分割出多个类别的器官组织，本发明不仅可以有效提高整体分割算法的精度，同时还减少了人机交互的繁琐操作，实现了端到端的算法流程，可以更好地辅助医生提高诊断准确性。
[0134]
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0135]
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0136]
上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。