本发明属于医学图像分割
技术领域：
：，具体涉及一种基于dnn的胰腺全自动分割模型的构建、分割方法及系统。
背景技术：
：：医学图像分割技术在临床诊断、病理分析、手术动态规划等相关的计算机辅助诊断(cad)方面有着广泛的研究意义。在临床应用方面，ct(computedtomography)检查是诊断胰腺病变最主要的检查方式，腹部ct胰腺器官分割方法作为准确检查胰腺病变的计算机辅助诊断系统的基础，在辅助临床医生提高诊断效率方面有重要的应用价值。基于深度学习方法用于医学图像分割的u-net网络包含具有对称结构的提取图像上下文信息的收缩路径与恢复图像空间语义信息的扩张路径，通过弹性变形的方式对有效的训练数据进行增强，能够用较短的训练时间得到较高的分割性能。针对腹部ct胰腺分割任务，u-net网络结构无法充分提取有关分割目标的深层次的特征表示和丰富的语义信息，导致胰腺和背景区域的分割结果精度较低。为解决上述问题，2020年li等人提出三种跨域信息融合策略对u-net网络结构进行改进。第一种策略称为跳跃式跨域连接，通过直接在编码器和解码器对应的卷积层之间添加网络残差，有效抑制胰腺分割结果中的过分割。第二种策略称为残差网络，将残差分别加入到编码器、解码器的连续卷积块中，能够同时减弱胰腺分割结果中的过分割和欠分割程度。第三种策略称多尺度残差网络，利用多尺度残差网络块代替编码器解码器之间的特征串联融合策略，不仅能够抑制胰腺分割结果中的过分割和欠分割，还能通过多尺度卷积残差提高网络对分割目标形状的学习能力。上述跨域信息融合策略在一定程度上有效地解决了胰腺分割结果中的过分割、欠分割以及形状不一致问题，提高胰腺器官分割结果的精度，增强分割网络的鲁棒性。2020年li等人提出三种跨域信息融合策略对u-net网络结构进行改进后应用于腹部ct胰腺器官分割，首先需要根据医生利用其先验知识手动地从ct图像中勾画出包含胰腺的最小矩形区域，然后再将该最小矩形区域作为分割网络的输入，因此是一种半自动分割方法，该方法存在的不足主要是在进行胰腺分割时输入的图像是包含目标及其周围的较小区域得到较高的分割精度，需依赖医生的先验知识。在三维ct(3dct)扫描影像数据上直接训练胰腺分割网络可以有效利用具有体积结构的胰腺器官所固有的空间连续信息和解剖相关信息，与在3dct体素的2d切片上训练2d胰腺分割网络相比，其对程序运行工作站的计算能力和内存成本的要求显著提高。2019年zhao等人提出直接在3dct体素训练胰腺全自动分割网络的方法，该方法探索了从粗分割到细分割的多阶段技术，其基本思想是通过粗略的步骤确定感兴趣区(rois)，然后对rois进行细粒度分割。该全自动分割网络的训练过程分为两个阶段：第一个阶段，在经过下采样的3dct体素上训练用于生成含有胰腺候选区域的3du-net粗分割网络；第二个阶段，在第一个阶段生成的候选区域数据集上训练另一个3du-net网络用于对胰腺的细粒度分割。2019年zhao等人探索出的直接在3dct体素上从粗分割到细分割的多阶段胰腺全自动分割网络的方法，其局限性在于通过多阶段训练模型而引起的胰腺形状上分割预测结果与标签不一致性问题，导致胰腺分割预测结果的精度较低。技术实现要素：本发明的目的在于提供基于dnn的胰腺全自动分割模型的构建、分割方法及系统，用以解决现有技术中的存在的胰腺分割过程中对医生先验知识的依赖问题以及胰腺分割预测结果精度较低的问题。为了实现上述任务，本发明采用以下技术方案：基于dnn的胰腺全自动分割模型的构建方法，包括如下步骤：步骤a：获取胰腺ct图像，对胰腺ct图像进行图像变换和数据预处理，得到预处理后的ct图像集；步骤b：构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；步骤c：采用第一损失函数，对步骤b得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵a和重建矩阵b进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵步骤d：采用第二损失函数，对步骤c得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型；步骤b中压缩采样模型的构建方法包括如下步骤：步骤1：获取胰腺ct图像，所述的胰腺ct图像上带有多个分割类别标签，对胰腺ct图像进行图像变换和数据预处理，得到预处理后的ct图像；步骤2：对预处理后的ct图像的分割类别标签采用独热编码方式进行编码，得到标签图g∈{0,1}h×w×c，其中，h和w分别表示标签图的高和宽，c代表分割类别总数；步骤3：对预处理后的ct图像进行特征提取，得到特征图其中，和分别表示特征图的高和宽，r表示矩阵，代表原始特征图o内的特征总数，将特征图o上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量将观测向量进行重建，得到原始向量vij∈{0,1}n×1，其中n＝r×r×c，[·]表示向上取整函数；步骤4：构建如式ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量其中，a为压缩矩阵且b为重建矩阵且进一步的，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。一种分割方法，包括如下步骤：步骤ⅰ：获取待分割的胰腺ct图像；步骤ⅱ：利用基于dnn的胰腺全自动分割模型的构建方法获得胰腺全自动分割网络模型，将待分割的胰腺ct图像输入胰腺全自动分割网络模型，输出胰腺分割结果。进一步的，包括预处理模块、全自动分割网络构建模块、首次训练模块和二次训练模块；所述的预处理模块用于获取胰腺ct图像，对胰腺ct图像进行图像变换和数据预处理，得到预处理后的ct图像集；所述的全自动分割网络构建模块用于构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；所述的首次训练模块用于采用第一损失函数，对全自动分割网络构建模块得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵a和重建矩阵b进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵所述的二次训练模块用于采用第二损失函数，对首次训练模块得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型；所述的压缩采样模型包括预处理模块、标签图生成模块、特征图生成模块和压缩采样模型生成模块：所述预处理模块用于获取胰腺ct图像，所述的胰腺ct图像上带有多个分割类别标签，对胰腺ct图像进行图像变换和数据预处理，得到预处理后的ct图像；所述标签图生成模块用于对预处理后的ct图像的分割类别标签采用独热编码方式进行编码，得到标签图g∈{0,1}h×w×c，其中，h和w分别表示标签图的高和宽，c代表分割类别总数；所述特征图生成模块用于对预处理后的ct图像进行特征提取，得到特征图其中，和分别表示特征图的高和宽，r表示矩阵，代表原始特征图o内的特征总数，将特征图o上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量还用于将观测向量进行重建，得到原始向量vij∈{0,1}n×1，其中n＝r×r×c，[·]表示向上取整函数；所述压缩采样模型生成模块用于构建如式ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量其中，a为压缩矩阵且b为重建矩阵且进一步的，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。一种分割系统，包括输入模块和分割模块：所述的输入模块用于获取待分割的胰腺ct图像；所述的分割模块用于利用基于dnn的胰腺全自动分割模型的构建系统获得胰腺全自动分割网络模型，将待分割的胰腺ct图像输入胰腺全自动分割网络模型，输出胰腺分割结果。本发明与现有技术相比具有以下技术特点：、1)本发明在编码器解码器网络框架中嵌入压缩采样模型，将靠数据驱动的分割网络与基于先验知识构建的压缩采样模型相结合，通过两阶段级联的方式使得分割网络具备器官的位置先验感知功能，进而在胰腺分割过程中摆脱对医生手动判定含有胰腺的较小图像区域的依赖。2)本发明在实现对分割目标的精准定位的同时，能够在一定程度上减弱了全自动分割网络对分割目标位置和权重初始值的敏感性，进而保证胰腺分割网络预测结果与标签的形状一致性，显著地提高腹部ct胰腺全自动分割方法的精度。附图说明图1是本发明针对腹部ct胰腺器官全自动分割系统；图2是压缩采样模型的示意图；图3是感知胰腺位置先验的可视化示意图；图4是本文发明的胰腺分割网络在nih数据集上训练时的收敛趋势图；图5是在nih数据集上对分割主网络进行训练并接近收敛时胰腺分割结果示意图。具体实施方式以下给出本发明的详细实施例，需要说明的是：1.本发明并不局限于以下具体实施例。2.实施例中在构建胰腺全自动分割网络框架时采用了ct扫描数据集包括公开的nih数据集和isbi2015visceral挑战赛数据集两个数据集。3.在数据集上对胰腺全自动分割方法进行实验验证，nih数据集包含82套人体ct扫描增强数据，每个人体的ct扫描体素的维度为512×512×l，其中l∈[181,466]是沿着人体长轴方向的轴状面切片数目，2d切片的分辨率大小为512×512，切片厚度的变化范围是从0.5mm到1.0mm。isbi2015visceral挑战赛数据集用于基准化多器官分割(如：肝脏，脾脏，肾脏，胰腺，胆囊，左右肾上腺等)，本发明仅应用其中18套有效的胰腺器官注释的人体ct扫描增强数据集，获得的注释质量由三名放射科医生和两名医生检查，每套ct的维度为512×512×l，其中l∈[194,477]，切片厚度的变化范围是从1.5mm。将含有胰腺器官的腹部ct切片作为有效数据集，用于对胰腺全自动分割网络的训练或验证。4.实施例使用python语言和pytorch深度学习网络框架，这些网络都是在一个带有11gbram的nvidiageforcegtx1080tigpu上训练的，所有的实验都是在运行ubuntu16.04的linux服务器上进行的，该服务器配有intelcorei7-6700cpu和32gbram。本实施例中公开了一种压缩采样模型构建方法，包括如下步骤：步骤1：获取胰腺ct图像，对胰腺ct图像进行图像变换和数据预处理，得到预处理后的ct图像，所述的预处理后的ct图像上带有多个分割类别标签；步骤2：对预处理后的ct图像的分割类别标签采用独热编码方式进行编码，得到标签图g∈{0,1}h×w×c，其中，h和w分别表示标签图的高和宽，c代表分割类别总数；步骤3：对预处理后的ct图像进行特征提取，得到特征图其中，和分别表示特征图的高和宽，r表示矩阵，代表原始特征图o内的特征总数，将特征图o上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量将观测向量进行重建，得到原始向量vij∈{0,1}n×1，其中n＝r×r×c，[·]表示向上取整函数；步骤4：为了使网络能够从标签空间中感知胰腺器官的位置先验知识，构建如式ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量其中，a为压缩矩阵且b为重建矩阵且具体的，步骤1包括如下子步骤：步骤1.1，本发明将12位的人体ct扫描影像转换成8位数据输入，每套人体ct扫描体素的维度为512×512×l，其中l∈[181,466]，沿着人体的长轴方向获得原始ct影像的轴状面2d切片，切片的分辨率和数目分别为512×512和l；步骤1.2，为了能够保留大部分的腹部器官，胰腺分割任务特点，将ct切片窗宽窗位范围调整为-100hu—240hu以适用于胰腺分割，然后经过灰度映射得到灰度值范围为[0，255]的图像，数据集中相应的标注标签像素值重新缩放为布尔值0或1；步骤1.3，使用简单线性插值方法将图像从512×512调整到528×528，为改善图像的视觉效果，在训练网络时考虑图像随机旋转和镜像翻转的影响，通过在0.5到2.0之间随机缩放并水平旋转输入图像，并随机对图像进行镜像翻转。具体的，步骤2包括如下子步骤：采用独热编码方式对标签编码，得到g∈{0,1,2,...,c}h×w，记为g∈{0,1}h×w×c，其中h和w分别表示标签图的高和宽，c代表所有分割类别，由于胰腺分割任务只判定每个像素点属于胰腺区域或者背景区域，则c的值为2。具体的，步骤3包括如下子步骤：步骤3.1：本实施例采用编码器网络进行特征提取，提取到的每个特征对应一个通道，编码器最后一层输出的特征为和分别表示特征图的高和宽，代表通道数；步骤3.2：特征图o各通道中坐标为(i,j)的像素点对应的值按照通道堆叠顺序构成观测向量，记为则从特征图中能够得到观测向量oij的个数为步骤3.3：，要从个观测向量中得到标签g的分割预测概率图可转化为对特征空间o中的所有观测向量oij进行恢复重建的问题。观测向量经过重建，得到原始信号vij∈{0,1}n×1，其中n＝r×r×c，[·]表示向上取整函数；将信号vij∈{0,1}n×1按照先水平后竖直的方向铺展，构成标签预测概率图中的子图像块则标签预测概率图共有个子图像块组成。具体的，训练网络时，h/r或w/r若不是整数，可通过双线性插值方式适当放缩原始图像和标签图像。具体的，步骤4包括如下子步骤：若分割目标区域在图像中占比较小，即gij的多数项目为零，则重建的原始信号vij是稀疏的。通常情况下基于上述假设，构建压缩采样模型avij＝oij.压缩矩阵建立了从稀疏信号vij中提取语义知识特征表示的线性系统，记为f。重建系统f-1对观测向量oij进行变换得到分割预测向量即将重建矩阵定义为压缩矩阵的逆矩阵，观测向量oij经过重建矩阵b的变换作用，得到原始信号的预测值。本实施例中还公开了一种腹部ct胰腺全自动分割模型构建方法，包括如下步骤：步骤a：获取胰腺ct图像，对胰腺ct图像进行图像变换和数据预处理，得到预处理后的ct图像集；步骤b：构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；步骤c：采用第一损失函数，对步骤b得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵a和重建矩阵b进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵步骤d：采用第二损失函数，对步骤c得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型。具体的，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。具体的，步骤c包括如下子步骤：步骤c1：使用l2范数作为损失函数，使得分割预测向量与原始向量vij的相似程度最大化则压缩采样模型中a和b的最优解可以表示为如下形式：步骤c2：当原始向量vij不完全是稀疏的或观测向量oij数据存在一定的偏差时，样本空间中数据带有噪声e的干扰，其中oij＝avij+e，e＝(e1,e2,...,en)t∈rn×1，噪声e服从正太分布e～n(0,δ2)且令其满足边界条件||e||2≤ε，从而保证了压缩采样重建算法的稳定性；步骤c3：采用端对端的训练方式，在步骤a所得到的数据上迭代优化网络参数，求解出压缩矩阵a*和重建矩阵b*。具体的，首次训练时，令网络参数初始化时服从e～n(0,0.12)高斯分布，采用sgd优化器最小化l2范数损失,批量大小设置为4，初始化学习效率为0.007，动量设置为0.9，衰减权重为0.0001，在训练集上经过5期的训练。具体的，将经过步骤c优化后的压缩采样模型嵌入重新构建的胰腺全自动分割编码器解码器网络框架，其中在步骤c中求得的重建矩阵被级联在分割主网络的解码器模块，重建矩阵能够从特征图中选择关于分割目标位置信息的稀疏性特征表示，再次利用步骤a所得到的数据，对分割网络进行第二阶段的训练，步骤d包括如下子步骤：步骤d1：分割主网络的编码器使用resnet-50作为骨干网络，为求解压缩采样模型，第一阶段以标准的resnet-50为编码器骨干网络并使用在imagenet上的预训练权重进行初始化，并加入更多卷积层增强网络的特征提取能力，网络训练时以服从e～n(0,0.12)高斯分布对其进行初始化；步骤d2：使用在步骤c中通过第一阶段网络训练求解的重建矩阵b*对使用特征聚合策略得到的特征图o进行上采样，将其恢复至与原始输入图像保持相同分辨率，得到预测概率图。第二阶段在对编码器解码器胰腺分割主网络进行迭代训练时，采用交叉熵损失优化网络参数w，g表示标签图像，映射函数表示从原始输入图像x中推理得到胰腺器官的预测概率图非线性变换，假设空间φ定义为优化风险函数可表示为最小化关于假设空间中的映射函数平均意义下的交叉熵损失步骤d3：在步骤a所得到的数据上迭代优化网络参数，采用sgd优化器最小化交叉熵损失，批量大小为4，初始化学习效率为0.007，动量设置为0.9，衰减权重为0.0001。分割主网络在较大的nih数据集上训练300期，学习率衰减呈指数下降，而在相对较小的isbi2015visceral挑战赛数据集的训练集上训练1000期，学习率衰减采用多项式策略，衰减权重为0.0001。本实施例中还公开了一种分割方法，包括如下步骤：步骤ⅰ：获取待分割的胰腺ct图像；步骤ⅱ：利用腹部ct胰腺全自动分割模型构建方法获得胰腺全自动分割网络模型，将待分割的胰腺ct图像输入胰腺全自动分割网络模型，输出胰腺分割结果。本实施例中还公开了一种压缩采样模型构建系统，包括预处理模块、标签图生成模块、特征图生成模块、分割预测概率图生成模块和压缩采样模型生成模块：所述预处理模块用于获取胰腺ct图像，对胰腺ct图像进行图像变换和数据预处理，得到预处理后的ct图像，所述的预处理后的ct图像上带有多个分割类别标签；所述标签图生成模块用于对预处理后的ct图像的分割类别标签采用独热编码方式进行编码，得到标签图g∈{0,1}h×w×c，其中，h和w分别表示标签图的高和宽，c代表分割类别总数；所述特征图生成模块用于对预处理后的ct图像进行特征提取，得到特征图其中，和分别表示特征图的高和宽，r表示矩阵，代表原始特征图o内的特征总数，将特征图o上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量还用于将观测向量进行重建，得到原始向量vij∈{0,1}n×1，其中n＝r×r×c，[·]表示向上取整函数；所述压缩采样模型生成模块用于构建如式ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量其中，a为压缩矩阵且b为重建矩阵且本实施例中还公开了一种腹部ct胰腺全自动分割模型构建模型，包括预处理模块、全自动分割网络构建模块、首次训练模块和二次训练模块；所述的预处理模块用于获取胰腺ct图像，对胰腺ct图像进行图像变换和数据预处理，得到预处理后的ct图像集；所述的全自动分割网络构建模块用于构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；所述的首次训练模块用于采用第一损失函数，对全自动分割网络构建模块得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵a和重建矩阵b进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵和更新后的重建矩阵所述的二次训练模块用于采用第二损失函数，对首次训练模块得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型。具体的，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。本实施例中还公开了一种分割系统，包括输入模块和分割模块：所述的输入模块用于获取待分割的胰腺ct图像；所述的分割模块用于利用腹部ct胰腺全自动分割模型构建系统获得胰腺全自动分割网络模型，将待分割的胰腺ct图像输入胰腺全自动分割网络模型，输出胰腺分割结果。实施例1本实施例给出了一种分割方法，通过在nih数据集和在isbi2015visceral挑战赛数据集上进行实验，对比了
背景技术：
：中所介绍2020年li等人提出的半自动胰腺分割方法和2019年zhao等人提出的从粗分割到细分割的多阶段技术以及现有的其它方法，对比结果列在表1和表2中。表1给出了在nih数据集上本文算法的平均戴斯相似度系数(dsc)高达87.69％，在所有病人的测试样例中统计出的dsc最小值为82.79％、dsc最大值为92.13％，标准差为3.18％。通过与表中列出先进分割算法相比，本文提出算法的不仅平均精度高于对比的自动分割算法，其dsc最小值相较于其它先进分割算法有着较大幅度的提升，这为算法应用于临床的时安全性提供了依据，且标准差首次降到4.00％以下，进一步保证了分割算法稳定性。表1不同算法在nih数据集上的实验结果table.1experimentalresultsofvariousalgorithmsonthenih表2给出相关的胰腺分割方法在数据量相对较少在isbi2015visceral挑战赛数据集上进行实验的结果，本文提出的分割算法在该数据集上取得了平均戴斯相似度系数结果为72.17％，与其余分割算法相比有较大幅度的精度提升。表2不同算法在isbi2015visceral数据集上的实验结果table.2experimentalresultsofvariousalgorithmsontheisbi2015visceral图1是本发明针对腹部ct胰腺器官全自动分割任务，采用的嵌入压缩采样的编码器解码器网络，网络的主要由编码器模块、解码器模块、压缩采样模块和特征聚合模块四部分构成。图2是为了使网络能够从标签空间中感知胰腺器官的位置先验知识，构建压缩采样模型的示意图。图3是感知胰腺位置先验的可视化示意图，在训练分割主网络的不同阶段，随机地可视化部分ct数据2d切片的胰腺分割示例。分割主网络利用压缩采样模块从标签空间中感知胰腺的位置先验，只需经过1期的训练，就完成对胰腺器官的精准定位，减弱网络对分割目标位置和权重初始值的敏感性，解决了胰腺全自动分割算法难以对较小分割目标进行定位的问题。图4是本文发明的胰腺分割网络在nih数据集上训练时的收敛趋势图，在nih数据集上进行训练的过程中，损失函数随着迭代次数的增加迅速并趋于稳定收敛。图5是在nih数据集上对分割主网络进行训练并接近收敛时胰腺分割结果示意图。从图中可以得出，即使胰腺的位置、大小不固定且解剖变异性高，仍能够在胰腺边缘区域保持分割结果与标签趋于吻合。当前第1页12当前第1页12