一种基于支气管拓扑结构的肺段分割方法、装置及系统与流程

1.本发明属于图像处理技术领域，尤其涉及一种基于支气管拓扑结构的肺段分割方法、装置及系统。


背景技术：

2.在肺部疾病的诊疗过程中，定位病灶位置是十分重要的步骤，而支气管作为肺内具备明确拓扑结构的器官，对其进行分级并在此基础上完成对肺段的分割定位是十分常见且重要的辅助诊疗手段。过去，支气管的分级都是由医生在2d的ct图像上根据经验和影像特征进行划分，由于多数病人的肺部情况迥异，且支气管的变异情况较为复杂多变，所以医生往往需要花费很多的时间对ct图像进行分析，定位支气管的位置和分级，并进而完成对病灶位置以及其所属肺段的确认，而且分析的结果质量良莠不齐，可能会进而导致手术方案的设计和执行。现有技术中，诊疗过程中必要的病灶及其所属肺段的定位精度较低。


技术实现要素：

3.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于支气管拓扑结构的肺段分割方法、装置及系统，通过支气管分割图生成支气管拓扑结构图，进而进行支气管分级和动脉血管分类，并基于所述动脉血管分类结果进行肺段分割得到肺段分割结果，可以自动对支气管进行分级和定位，提高了病灶及其所属肺段的定位精度，能够帮助医生方便精准的定位病灶位置及其所属肺段。
4.根据本发明的一个方面，本发明提供了一种基于支气管拓扑结构的肺段分割方法，所述方法包括以下步骤：s1:获取肺部图像，对所述的肺部图像进行支气管的关键点预测和连接关系预测；s2：基于所述的支气管拓扑结构图，完成动静脉的肺段级分类，进而得到肺段的分割结果。
5.优选地，所述步骤s1包括：s11：对肺部图像进行阈值分割、归一化、数据增强、重采样和过采样操作，得到模型输入数据；s12：对支气管分割图像进行腐蚀操作得到支气管骨架图，并对其进行卷积操作，提取出端点和交叉点等关键点，确定连接关系；s13：采用上述的支气管关键点和连接关系作为训练标签，构建两阶段的3d-unet网络对肺部图像数据进行计算，预测支气管的关键点位置和连接关系。
6.优选地，所述步骤s1包括：s14:所述支气管的关键点位置和连接关系表现为关键点的热力 图和嵌入矩阵的差值，所述热力图和嵌入矩阵差值的损失函数由 focal损失和l1损失按照不同的权重组合而成，组合权重随着损失 函数值的变化而自动调整；所述focal损失和l1损失的公式为：h(p,q)＝-p(x)*logq(x)-(1-p(x))*log(1-q(x))
其中h(p,q)为focal损失，p(x)为真实概率分布，q(x)为真实 概率分布，x为预测的热力图，y为标注的热力图。
7.优选地，所述步骤s1包括：s15:基于所述支气管关键点和连接关系的预测结果和支气管肺段的先验知识，根据分支走向依次完成从支气管主干级、分支级、肺叶级和肺段级的定位和划分，得到支气管分级结果。
8.优选地，所述步骤s2包括：s21:基于所述支气管分级结果，采用半监督支持向量机算法s3vm，对血管样本进行肺段级分类，得到动脉血管的分类结果。
9.根据本发明的另一个方面，本发明还提供了一种基于支气管拓扑结构的肺段分割装置，所述装置包括：图像预处理模块，对图像进行阈值分割、归一化、数据增强、重采样和过采样操作，得到模型输入数据；关键点预测模块，采用两阶段的3d-unet网络分别预测支气管关键点和连接关系；血管分类模块，基于上述支气管关键点和连接关系的预测结果，采用半监督支持向量机s3vm完成动静脉的肺段级分类；肺段分割模块，使用机器学习方法支持向量机，根据模型中学习到的超参数确定肺段的基本分割面。
10.优选地，所述关键点预测模块用于：构建两阶段的3d-unet模型分别对支气管的关键点位置和连接关系进行预测，模型输出为关键点的热力图和嵌入矩阵差值，所述热力图和嵌入矩阵差值的损失函数由focal损失和l1损失按照不同的权重组合而成。
11.优选地，所述血管分类模块用于：基于所述支气管分级结果，采用半监督支持向量机算法s3vm，对血管样本进行肺段级分类，得到动脉血管的分类结果。
12.根据本发明的另一个方面，本发明还提供了一种基于支气管拓扑结构的肺段分割系统，所述系统包括用于执行支气管肺段分割的肺段分割装置。
13.有益效果：本发明通过肺部图像预测支气管关键点和连接关系，进而进行支气管分级和动脉血管分类，并基于所述动脉血管分类结果进行肺段分割得到肺段分割结果，提高了病灶及其所属肺段的定位精度，能够帮助医生方便精准的定位病灶位置及其所属肺段。
14.通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。
附图说明
15.图1是基于支气管拓扑结构的肺段分割方法流程图；
图2是支气管骨架示意图；图3是支气管关键点示意图；图4是肺段级支气管定位示意图；图5是动脉血管分类结果示意图；图6是肺段分割结果示意图；图7是基于支气管拓扑结构的肺段分割装置示意图。
具体实施方式
16.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.实施例1图1是基于支气管拓扑结构的肺段分割方法流程图。如图1所示，本发明提供了一种基于支气管拓扑结构的肺段分割方法，所述方法包括以下步骤：s1:获取肺部图像，对所述的肺部图像进行支气管的关键点预测和连接关系预测；具体步骤包括：s11:对图像进行阈值分割、归一化、数据增强、重采样和过采样操作，得到模型输入数据。
18.对所述的ct图像使用传统图像算法中的二值化阈值分割并提取出肺部影像，然后进行预处理操作，这些预处理操作包括：ct值归一化；数据增强，进一步包括：图像缩放和旋转，加入高斯噪声和模糊，调整亮度及对比度，低分辨率模拟和镜像操作；重采样操作会对所述肺部图像的间距(spacing)进行调整，将间距设置为1.5以上，可以得到低分辨率图像，设置在1以下，可以得到高分辨率图像。重采样过程中使用的插值技术是线性插值和三阶样条插值，之后两种分辨率的图像会分别送入两阶段的支气管分割模型进行训练和预测；基于所述肺部图像的体积，使用切片操作对图像进行切割，来减少每次模型输入的数据大小；使用过采样技术，保证每次输入模型的样本图像中包含前景和仅包含背景的比例大约在50%左右。
19.s12：获取支气管分割图，基于所述支气管分割图确定关键点位置和连接关系。
20.优选地，所述步骤s1包括：s13:定位并提取支气管图像外围轮廓的像素，对图像轮廓进行腐蚀操作，直到目标边界中没有多余的像素，得到支气管骨架图。
21.本步骤中，对所述的支气管分割图像使用传统图像算法中的骨架提取算法，此处选择khalid sheed的k3m算法，即为迭代腐蚀图像边界的一种算法。首先通过判断图像像素的近邻是否为背景来确定支气管的边界，以图像边界点为候选点进行6次迭代检查来决定该点需要被移除或是保留，重复此过程直至支气管图像只剩下1层像素，即为支气管骨架，一般而言，对于复杂的3d医学图像，为了排除噪声干扰以及图像边界不平整的硬性，迭代算法中使用5*5*5的邻域进行判断可以保证较高的准确度，支气管骨架图如图2所示。
22.优选地，所述步骤s1包括：
s14: 基于所述支气管骨架图，对其进行卷积操作，提取出包含端点和交叉点在内的候选点。
23.本步骤中，基于上述得出的支气管骨架图进行末端端点的定位，首先利用3*3*3的卷积模块遍历整张图像，卷积值小于等于2，即近邻数量较少的像素被视为端点候选点。再次使用5*5*5的卷积模块遍历整张图像，统计卷积之大于等于5的像素点，即近邻数量较多的像素被视为交叉点候选点。基于上述的关键点候选点，完成人工的关键点筛选，并记录三维坐标（xi,yi,zi）和连接关系[(xi,yi,zi),(xi+1,yi+1,zi+1),,,]。
[0024]
优选地，所述步骤s1包括：s15: 采用两阶段的3d-unet网络分别预测支气管关键点和连接关系。为了基于肺部图像预测支气管关键点和连接关系，本发明提出了两阶段的深度学习模型，均采用3d-unet神经网络，在第一阶段的3d-unet网络中，输入完整的低分辨率肺部图像ct值，经过12个卷积层，4次下采样，4次上采样得到支气管关键点的热力图，再结合高分辨率的肺部图像和关键点热力图共同作为第二阶段3d-unet网络的输入，经过5次下采样，5次上采样，得到关键点的嵌入向量输出，输出的数据格式为18维的一维向量，继而计算两两嵌入向量之间的欧几里得距离（euclidean distance），基于嵌入向量的差值来判断各个关键点之间的连接关系。
[0025]
所述支气管的关键点位置和连接关系表现为关键点的热力图和 嵌入矩阵的差值，所述热力图和嵌入矩阵差值的损失函数由focal损 失和l1损失按照不同的权重组合而成，组合权重随着损失函数值的 变化而自动调整；所述focal损失和l1损失的公式为：
[0026]
h(p,q)＝-p(x)*logq(x)-(1-p(x))*log(1-q(x))
[0027]
其中h(p,q)为focal损失，p(x)为真实概率分布，q(x)为真实 概率分布，x为预测的热力图，y为标注的热力图。s2：基于所述的支气管拓扑结构图，完成动静脉的肺段级分类， 进而得到肺段的分割结果。优选地，所述步骤s2包括：s21:基于所述的支气管关键点和连接关系预测结果，对动静脉 血管进行肺段级的分类。具体地，输入有标签的支气管关键点坐标和 标签，将坐标和对应标签整理成[[x1,y1],[x2,y2]
…
[x18,y18]] 的数据格式，再将动静脉血管的无标签像素坐标输入，数据格式为 [[xi,yi]]。使用半监督的机器学习方法s3vm进行第一轮的超平面 预测，根据有标签的支气管坐标学习到的超参数基本超平面，其中， 所述损失函数为hinge函数：hinge(y)＝max(0,1-y
·y′
)基于上述的超平面位置，对无标签的动静脉血管像素进行预测， 将置信度大于等于0.7的像素标签设置为可信伪标签[t1,t2
…
t18]， 计入下一轮的超平面预测，同样使用hinge损失函数，迭代进行训练 直至超平面位置不再发生变化或者所有的动静脉血管都已经被分配 到伪标签。
[0028]
优选地，所述步骤s2包括：s22: 基于所述的动静脉血管分类结果，实现肺段的分割。具体地，输入有标签的
动静脉血管像素坐标和标签，将坐标和对应标签整理成[[t1 ,z1] , [t2 ,z2]
…
[t18 ,z18]]的数据格式，使用机器学习方法支持向量机生成超平面位置，整理出所有肺叶体素的坐标，并依次输入到支持向量机的模型中，从而将肺叶体素完全对应到各个肺段的分类中。
[0029]
具体地，将肺叶体素的坐标和对应标签整理成[[x1 ,y1] , [x2 ,y2]
…
[x5 ,y5]]的数据格式，并根据肺叶肺段从属关系的先验知识，分5次输入到上述训练完成的支持向量机模型中，超平面的确立会对5个肺叶的体素依次完成3类，2类，5类，4类，4类共计18类的肺段分类，至此，肺部图像中的所有体素就完成了背景分类和包含18类肺段的前景分类。
[0030]
实施例2图7是基于支气管拓扑结构的肺段分割装置示意图。如图7所示，本发明还提供了一种基于支气管拓扑结构的肺段分割装置，所述装置包括：图像预处理模块，对图像进行阈值分割、归一化、数据增强、重采样和过采样操作，得到模型输入数据；关键点预测模块，采用两阶段的3d-unet网络分别预测支气管关键点和连接关系；血管分类模块，基于上述支气管关键点和连接关系的预测结果，采用半监督支持向量机s3vm完成动静脉的肺段级分类；肺段分割模块，使用机器学习方法支持向量机，根据模型中学习到的超参数确定肺段的基本分割面。
[0031]
优选地，所述关键点预测模块用于：构建两阶段的3d-unet模型分别对支气管的关键点位置和连接关系进行预测，模型输出为关键点的热力图和嵌入矩阵差值，所述热力图和嵌入矩阵差值的损失函数由focal损失和l1损失按照不同的权重组合而成。
[0032]
优选地，所述血管分类模块用于：基于所述支气管分级结果，采用半监督支持向量机算法s3vm，对血管样本进行肺段级分类，得到动脉血管的分类结果。
[0033]
本实施例2中各个单元/模块所执行的功能的具体实施过程与实施例1中的各个步骤的实施过程相同，在此不再赘述。
[0034]
实施例3根据本发明的另一个方面，本发明还提供了一种基于支气管拓扑结构的肺段分割系统，所述系统包括实施例2中用于执行支气管肺段分割的肺段分割装置。
[0035]
本实施例的具体实施过程参考实施例1和2中的过程，在此不再赘述。
[0036]
本实施例的系统可以自动对支气管进行分级和定位，帮助医生方便精准的定位病灶位置及其所属肺段。
[0037]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。