一种基于深度学习的盆骨及其动脉血管的多层级分割方法与流程
本发明涉及盆骨及盆骨动脉血管树的分割技术领域，更具体的是涉及一种基于深度学习的盆骨及其动脉血管的多层级分割方法。
背景技术：
侧方淋巴结转移是低位直肠癌的重要转移途径，放化疗对其疗效不佳，影响直肠癌病人预后，侧方淋巴结清扫作为一种有效的治疗手段，随着腹腔镜手术的普及和外科医生手术技巧的提高，被越来越广泛的应用于临床，而且越来越多的循证医学证据表明：侧方淋巴结清扫（laterallymphnodedissection，llnd）可以降低直肠癌盆腔局部复发率，手术指征掌握准确的侧方淋巴结清扫也可以带来生存获益，识别盆腔的淋巴结对于盆腔区域的癌症包括宫颈癌、前列腺癌、结肠癌和直肠癌的治疗和诊断非常重要，盆腔淋巴结位于盆腔动脉及其分支附近，在普通ct或mri中不可见，然而髂动脉是可见的，对髂动脉及其分支进行分割，可以定位淋巴结的位置辅助诊断。
腹部、盆腔内脏器官和血管众多，需要术前进行全面仔细地评估，确定病变的位置、范围、与周围的解剖关系，这样才能更好地制定术前计划，决定什么样的手术最好以及手术切除的范围，盆腔内主要动脉的三维重建，可以为手术前在pc机上进行手术设计以及腹腔镜的虚拟手术训练提供计算机模型，临床医生感兴趣的主要是盆腔内的小血管，因为这些分支小血管可能位于淋巴结附近，有助于医生定位淋巴结，做出正确诊断。
然而，血管分割极具挑战性，除了ct图像对比度差，噪声大，背景复杂等原因外，血管结构本身也比较复杂，血管包绕在其他器官和组织周围，很难分辨，支架、钙化、动脉瘤和狭窄会扰乱血管的外观和几何形状。
现有技术中盆骨及盆骨头腔内动脉血管的分割在医院一般由医生通过专业的软件如3dslicer、itk-snap等手动标注进行分割重建，针对盆骨及盆腔内动脉血管树自动分割的方法研究不多，一些盆骨分割方法和盆骨动脉血管分割方法大体上可以分为传统方法和深度学习方法，而血管分割的传统方法有三种：区域增长法、活动轮廓法和基于中心线的方法。
传统的血管分割方法一般都是利用了血管的几何特征构建可变形的形状模型去拟合血管结构，但是由于缺少有效的学习算法，这些方法不能很好地解决管状结构分割存在的对比度差，噪声大，背景复杂等问题。
近几年基于神经网络对图像深层的特征进行提取的方法取得了飞速的发展，在医学图像分割领域，深度神经网络取得了非常的成功的应用，3d卷积神经网络以其采用任意大小的输入并以有效的推论和对特征层次结构的学习，以端到端的方式生成相应大小的输出而分割领域的应用中尤为广泛，然而基于深度神经网络进行盆骨和盆骨内动脉血管分割的研究并不多，其中一个很重要的原因是盆腔内动脉血管的金标准标签很难获取，目前没有相关的公开数据集。
总的来说，随着计算机断层扫描（ct）技术在医院的普及使用，ct成为腹部疾病诊疗的主要技术之一，盆骨及下肢动脉血管分割对于定位侧方淋巴结至关重要，普通ct盆骨内血管是不清晰的，增强ct和cta盆腔内的动脉会更明显，但人工地对盆骨及盆骨内动脉血管进行分割仍十分繁琐，对一例ct进行标注通常需要2-4个小时。因此，我们迫切的需要构建的3d卷积神经网络能够从ct当中快速且准确地进行自动盆骨及盆腔内动脉血管分割的方法，这对于腹部疾病的辅助诊疗来说具有重大意义。
技术实现要素：
基于以上问题，本发明提供了一种基于深度学习的盆骨及其动脉血管的多层级分割方法，用于解决现有技术中不能在多分辨率的ct图像中自动、高效、准确地分割腹部盆骨以及盆骨动脉血管树的问题。本发明中能够接受原始大小的ct数据自动、快速地产生准确的腹部盆骨以及盆骨动脉血管树的分割结果，生成盆骨与盆骨血管树信息，同时将血管信息放置于盆骨环境中使数据展示更立体更具体，展示动脉血管与腹部相对位置关系更清晰，更有利于医生诊断判别，从而可以利用计算机在多分辨率ct图像中自动、高效、准确地分割腹部盆骨以及盆骨血管树。
本发明为了实现上述目的具体采用以下技术方案：
一种基于深度学习的盆骨及其动脉血管的多层级分割方法，包括以下步骤：
步骤1：数据准备与标注，该阶段主要完成数据从数据系统导入，盆骨及盆骨动脉血管树数据的标定；
步骤2：数据预处理，该阶段对数据进行预处理，去除冗余的背景信息；
步骤3：基于多层级分割的3d卷积神经网络的第一级分割模型构建，第一级分割模型用于分割盆骨及粗分割盆骨动脉血管树；
步骤4：基于多层级分割的3d卷积神经网络的第二级分割模型构建，第二级分割模型利用第一级分割模型分割的结果以及基于金标准血管标签的距离转换尺度标签对血管进行细分割；
步骤5：使用标定的数据与合成的损失函数训练第一级分割模型和第二级分割模型；
步骤6：使用步骤5训练好的第一级分割模型和第二级分割模型对输入的三维ct图像进行腹部信息分割，输出分割结果。
本发明中，一共要标注九种标签，分别是盆骨标签、盆骨动脉血管标签、总动脉、左髂总动脉、右髂总动脉、左髂外动脉、右髂外动脉、左髂内动脉、右髂内动脉。其中后七种是小分段血管标签，小分段血管标签分别是总动脉、左髂总动脉、右髂总动脉、左髂外动脉、右髂外动脉、左髂内动脉、右髂内动脉。第一级分割模型所使用的标签是：盆骨标签、盆骨动脉血管标签，第二级分割模型所使用的标签是：总动脉、左髂总动脉、右髂总动脉、左髂外动脉、右髂外动脉、左髂内动脉、右髂内动脉。
步骤2中对数据的预处理包括裁剪处理与归一化处理，数据将在预处理阶段按照标签的边缘分别裁剪掉20-100个像素，同时保留ct值在0hu-1600hu，最终获得的数据被归一化到[0,1]之间。
所述第一级分割模型得到盆骨及盆骨动脉血管信息，再将得到的盆骨及盆骨动脉血管信息与原始ct信息融合通过第二级分割模型获取血管树细分割结果。其中，原始ct信息是指第一级分割模型所输入的ct数据。
所述第一级分割模型和第二级分割模型均采用3d-unet网络作为主体提取3d卷积神经网络，使用第一级分割模型和第二级分割模型对同一ct影像生成多个尺度、不同层级和细节的分割结果集，所述分割结果集形成对同一幅ct影像的不同尺度的多层级3d卷积神经网络结构表达。这里多层级3d卷积神经网络是指第一级分割模型和第二级分割模型中的3d卷积神经网络。
还包括重组再校准模块和空间自适应压缩激活模块，所述重组再校准模块和空间自适应压缩激活模块先获取局部信息，再利用空洞卷积获取更大的感受野。
所述第二级分割模型输入通过距离转换算法利用金标准血管标签计算得到的尺度标签，定义集合
其中，对于标签为血管的体素，距离转换值是该体素到血管表面体素的最小欧式距离，
步骤5中训练第一级分割模型和第二级分割模型包括以下步骤：
步骤5.1：加权交叉熵分类学习误差和深度距离转换学习误差，加权交叉熵学习误差使得前景后景贡献占比均衡，深度距离转换学习误差用于减少从复杂周围结构分割血管结构的难度，并确保了分割结果具有适当的形状原型，所述第一级分割模型采用加权交叉熵分类学习误差，所述第二级分割模型采用加权交叉熵分类学习误差和深度距离转换学习误差；
步骤5.2：3d卷积神经网络训练，采用混合精度训练方法、断点训练方法、训练优化算法、bp反馈传播算法，其中，训练优化算法采用adam优化算法。
所述adam优化算法的初始学习率设置为0.001，衰减系数设置为
加权交叉熵分类学习误差的计算公式为：
其中，其中
设定z为3d卷积神经网络第二级分割模型输出的预测尺度，对于任意v∈v，
其中，
本发明的有益效果如下：
（1）本发明中能够接受原始大小的ct数据自动、快速地产生准确的腹部盆骨以及盆骨动脉血管树的分割结果，生成盆骨与盆骨血管树信息，同时将血管信息放置于盆骨环境中使数据展示更立体更具体，展示动脉血管与腹部相对位置关系更清晰，更有利于医生诊断判别，从而可以利用计算机在多分辨率ct图像中自动、高效、准确地分割腹部盆骨以及盆骨血管树。
（2）本发明中采用3d卷积神经网络能够快速、高效地从ct数据中提取多尺度的上下文信息，层级分割方法利用自然结构层次进行分级分割，先得到盆骨与盆骨动脉血管树，学习动脉血管树后再次分割得到血管树中各段血管的情况并最终获取像素级别的分割结果。
（3）本发明采用3d卷积神经网络提取特征，并结合层级分割进行依次进行粗分割、细分割，本发明提出各层级分批次更新学习，同时融合加权交叉熵分类误差与深度距离转换误差的误差函数，利用对象自身结构层次特性、血管自身几何特点使3d卷积神经网络能够产生准确的、可靠的目标分割结果。
（4）本发明中对于已经完成训练的模型，可以快速准确检测，实现批量ct检测，可以实现无人值守批量操作，并且分割速度快速，速度可随机器设备升级拓展而得到提升和加速，得到的像素级标签数据简单处理后可以直接使用各类3d技术重建并进行3d显影，用更具体更细致的方式给予医生术前指导，给医生提供更多更丰富更立体的腹部信息使其可以更好地进行各类诊断，同时由于腹部本身器官组织情况复杂，各类“ai+医学”研究常会被非目标组织干扰影响，盆骨及盆骨动脉血管树作为有意义参照物对于其他的腹部结节检测研究、结节时序配准等各类问题也具有意义，可以帮助其排除部分无关干扰并提供相关结构性数据支持，推进肠胃智能医疗的发展。
（5）本发明中向底层推广，可以解决基层医院专业医疗资源不足的问题，提升基层医院诊断水平，减少偏远地区误诊与漏诊的机率。
附图说明
图1为本发明的流程图；
图2为本发明整个多层级分割方法的示意图；
图3为本发明基于3d-unet的特征作为主体提取主干3d卷积神经网络的示意图；
图4为本发明重组再校准模块和空间自适应压缩激活模块的操作示意图。
具体实施方式
为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。
实施例1：
如图1和2所示，一种基于深度学习的盆骨及其动脉血管的多层级分割方法，包括以下步骤：
步骤1：数据准备与标注，该阶段主要完成数据从数据系统导入，盆骨及盆骨动脉血管树数据的标定；
步骤2：数据预处理，该阶段对数据进行预处理，去除冗余的背景信息；
步骤3：基于多层级分割的3d卷积神经网络的第一级分割模型构建，第一级分割模型用于分割盆骨及粗分割盆骨动脉血管树；
步骤4：基于多层级分割的3d卷积神经网络的第二级分割模型构建，第二级分割模型利用第一级分割模型分割的结果以及基于金标准血管标签的距离转换尺度标签对血管进行细分割；所称的“金标准血管标签”指经医学专家审核后的血管标注标签，“距离转换尺度标签”是通过距离转换算法利用金标准血管标签计算而得到；
步骤5：使用标定的数据与合成的损失函数训练第一级分割模型和第二级分割模型；
步骤6：使用步骤5训练好的第一级分割模型和第二级分割模型对输入的三维ct图像进行腹部信息分割，输出分割结果。
本发明中，步骤1中数据准备，本发明所用来训练模型的方法是一种基于监督学习的方法，模型的迭代更新需要有准确标签的数据，深度神经网络方法需要高质量的数据用于训练，因此首先需要准备好数据用于模型的训练，本发明采用的3d全卷积3d卷积神经网络能够从少量的数据中学习到数据的特征，所用数据为医院影像科腹部ct图像，采集至少六十个病人的数据；
步骤1中数据的标注，一共要标注九种标签，分别是盆骨标签、盆骨动脉血管标签、总动脉、左髂总动脉、右髂总动脉、左髂外动脉、右髂外动脉、左髂内动脉、右髂内动脉。其中后七种是小分段血管标签，小分段血管标签分别是总动脉、左髂总动脉、右髂总动脉、左髂外动脉、右髂外动脉、左髂内动脉、右髂内动脉。第一级分割模型所使用的标签是：盆骨标签、盆骨动脉血管标签，第二级分割模型所使用的标签是：总动脉、左髂总动脉、右髂总动脉、左髂外动脉、右髂外动脉、左髂内动脉、右髂内动脉，作为像素级别标签，该九种标签可以经部分处理后直接利用于3d重建；对于所标注的标签，对于每一例ct检查的影像，都由研究人员标注后送审医院影像学专家进行标注确定，保证每一个标签准确与客观性。
本发明中，步骤2中对数据的预处理包括裁剪处理与归一化处理，数据将在预处理阶段按照标签的边缘分别裁剪掉20-100个像素，同时保留ct值在0hu-1600hu，最终获得的数据被归一化到[0,1]之间，其中hu指计算机断层扫描(ct)中普遍使用的无量纲单位。
本发明中，步骤3和步骤4中，所述第一级分割模型得到盆骨及盆骨动脉血管信息，再将得到的盆骨及盆骨动脉血管信息与原始ct信息融合通过第二级分割模型获取血管树细分割结果。其中，原始ct信息是指第一级分割模型所输入的ct数据，本发明使用的分割模型采用多层级分割方法，采用多层级分割方法的原因是盆骨及血管树本身具有天然层次特征，将任务拆分为盆骨及血管、各小段血管的方法将更有利于3d卷积神经网络的学习提高正确率。
如图3所示，图中括号里面的数字表示通道数，比如16、32、48、64等，通道数是通道的数量，通道（channels）是卷积神经网络中的专有名词，通道数等于分类数，分类数为体素标签的总数，所述第一级分割模型和第二级分割模型均采用3d-unet网络作为主体提取3d卷积神经网络，使用第一级分割模型和第二级分割模型对同一ct影像生成多个尺度、不同层级和细节的分割结果集，分割结果集形成对同一幅ct影像的不同尺度的多层级3d卷积神经网络结构表达，本发明只考虑三维ct影像，因此本发明中分割模型所用的全卷积神经网络结构所包括不同类型的3d卷积神经网络层，因为输入的数据具有三个维度的特征，所以3d卷积神经网络模型所使用的模块都是三维的操作特征提取主干3d卷积神经网络。
如图4所示，图中括号里面的数字表示通道数，比如n、2n、m，通道数是通道的数量，通道（channels）是卷积神经网络中的专有名词，通道数等于分类数，分类数为体素标签的总数，还包括重组再校准模块和空间自适应压缩激活模块，所述重组再校准模块和空间自适应压缩激活模块先获取局部信息，再利用空洞卷积获取更大的感受野，可以捕捉的空间信息更加广泛，能够合成更复杂的特征，同时为不同信息位置分配权重更有利于损失函数的反向传播与效果的动态调整，输入增强则补充了数据在降采样过程中损失的部分信息，该3d卷积神经网络能够快速地提取到数据中多尺度、多类型的特征，具备很强的学习能力；其中，“局部信息”指的是3d卷积神经网络在ct图像的局部范围内感知到的信息，与之相对应的概念为全局信息，即从整体ct图像感知到的信息，“重组再校准模块”和“空间自适应压缩激活模块”均为现有技术，先进行1*1*1卷积再进行3*3*3卷积，通过图4可以清楚的知道“重组再校准模块”和“空间自适应压缩激活模块”的具体实现原理。
所述第二级分割模型输入通过距离转换算法利用金标准血管标签计算得到的尺度标签，定义集合
其中，对于标签为血管的体素，距离转换值是该体素到血管表面体素的最小欧式距离，
本发明步骤5中，如图1-4所示，训练第一级分割模型和第二级分割模型包括以下步骤：
步骤5.1：加权交叉熵分类学习误差和深度距离转换学习误差，加权交叉熵学习误差使得前景后景贡献占比均衡，深度距离转换学习误差用于减少从复杂周围结构分割血管结构的难度，并确保了分割结果具有适当的形状原型，第一级分割模型采用加权交叉熵分类学习误差，第二级分割模型采用加权交叉熵分类学习误差和深度距离转换学习误差；学习误差直接影响着模型的训练性能好坏，本发明从数值分类效果、血管几何特性两个角度出发，考虑对各层级分割任务使用加权交叉熵（weightcrossentropy）分类学习误差与深度距离转换（deepdistancetransform，ddt）学习误差进行3d卷积神经网络学习，由于整个腹部ct数据存在极度不均衡的现象，即目标区域（前景）只占很小的一部分，其他无关信息（后景）占比很大，故在训练阶段将采用加权交叉熵学习误差去均衡前后景贡献占比；而血管本身具有几何特性，可以看作是一系列的球体改变其自身中心及半径的管状结构，可以利用点到管壁的位置信息，使用深度距离转换学习误差将减少从复杂周围结构分割血管结构的难度，并确保了分割结果具有适当的形状原型。
对于一级分类盆骨血管的分割训练即在第一级分割模型中，由于盆骨并不具有血管特征，同时作为粗分类结果，在此级的误差只采用加权交叉熵，加权交叉熵分类学习误差的计算公式为：
其中，其中为误差函数，p为第一级分割产生的血管与盆骨预测；g为分割任务中真实的血管与盆骨标签；
设定z为3d卷积神经网络第二级分割模型输出的预测尺度，对于任意v∈v,
其中，
步骤5.2：3d卷积神经网络训练，采用混合精度训练方法、断点训练方法、训练优化算法、bp反馈传播算法，其中，训练优化算法采用adam优化算法。
所述adam优化算法的初始学习率设置为0.001，衰减系数设置为
通过上述方法，能够接受原始大小的ct数据自动、快速地产生准确的腹部盆骨以及盆骨动脉血管树的分割结果，生成盆骨与盆骨血管树信息，同时将血管信息放置于盆骨环境中使数据展示更立体更具体，展示动脉血管与腹部相对位置关系更清晰，更有利于医生诊断判别，从而可以利用计算机在多分辨率ct图像中自动、高效、准确地分割腹部盆骨以及盆骨血管树。
如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准。
- 还没有人留言评论。精彩留言会获得点赞！