肺动脉分割模型构建方法、肺动脉分割方法和装置与流程

1.本发明涉及图像分割技术领域，尤其涉及一种肺动脉分割模型构建方法、肺动脉分割方法和装置。


背景技术：

2.肺动脉分割是肺部疾病相关计算机辅助诊断系统（cads）的一项重要任务，精准的动脉分割可以提供肺部疾病的具体位置，为决定治疗方案提供帮助，因此肺动脉分割在生物医学图像处理领域得到了广泛的研究。
3.然而，由于拍摄ct影像时，由于血管造影剂的剂量和扫描时间对血管造影的结果有很大的影响，且肺部血管循环快，不同医生和设备扫描得到的血管造影结果在灰度值上会有比较大的区别，因此肺动脉分割任务具备较高难度。再加之肺动脉形状不规则且宽度较窄，同时肺动脉与周边相邻的部分组织距离近且影像特征十分相似，导致传统卷积神经网络在对肺动脉进行分割时，对于肺动脉边缘的分割经常产生错误的预测。因此，现有的肺动脉分割方法的准确性较低，难以满足临床应用需求。


技术实现要素：

4.本发明提供一种肺动脉分割模型构建方法、肺动脉分割方法和装置，用以解决现有技术中肺动脉边缘分割不准确的缺陷。
5.本发明提供一种肺动脉分割模型构建方法，包括：基于肺动脉分割模型中共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到所述样本肺部影像的肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图；基于所述肺动脉形状图确定所述样本肺部影像的融合距离图，基于所述肺动脉边缘概率图确定肺动脉边缘图，并基于所述肺动脉边缘图与所述融合距离图之间的匹配程度，确定边缘形状匹配损失；其中，任一前景像素或任一背景像素离所述肺动脉形状图的轮廓越近，所述任一前景像素或所述任一背景像素在所述融合距离图中的值越小；基于所述肺动脉掩膜图与标注掩膜图间的差异、所述肺动脉边缘概率图与标注边缘间的差异、所述肺动脉形状图与标注形状间的差异以及所述边缘形状匹配损失，更新所述肺动脉分割模型的参数。
6.根据本发明提供的一种肺动脉分割模型构建方法，所述基于所述肺动脉边缘图与所述融合距离图之间的匹配程度，确定边缘形状匹配损失，具体包括：将所述肺动脉边缘图和所述融合距离图按像素进行点乘操作，得到边缘形状匹配图；其中，所述边缘形状匹配图中任一像素的值越大，表明所述肺动脉边缘图中的所述任一像素与所述肺动脉形状图的匹配程度越低；将所述边缘形状匹配图按像素进行累加操作，得到所述边缘形状匹配损失。
7.根据本发明提供的一种肺动脉分割模型构建方法，所述基于所述肺动脉形状图确
定所述样本肺部影像的融合距离图，具体包括：对所述肺动脉形状图进行欧几里得距离变换得到前景预测距离图；将所述肺动脉形状图取反得到背景形状图后，对所述背景形状图进行欧几里得距离变换得到背景预测距离图；分别对所述前景预测距离图和所述背景预测距离图进行sigmoid处理后相加，得到所述融合距离图。
8.根据本发明提供的一种肺动脉分割模型构建方法，所述基于所述肺动脉掩膜图与标注掩膜图间的差异、所述肺动脉边缘概率图与标注边缘间的差异、所述肺动脉形状图与标注形状间的差异以及所述边缘形状匹配损失，更新所述肺动脉分割模型的参数，具体包括：基于所述肺动脉掩膜图与标注掩膜图间的差异及其第一权重、所述肺动脉边缘概率图与标注边缘间的差异及其第二权重、所述肺动脉形状图与标注形状间的差异及其第三权重，以及所述边缘形状匹配损失及其第四权重，确定模型总损失；其中，所述第一权重、所述第二权重、所述第三权重均大于所述第四权重；基于所述模型总损失，更新所述肺动脉分割模型的参数。
9.根据本发明提供的一种肺动脉分割模型构建方法，所述基于肺动脉分割模型中共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到所述样本肺部影像的肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图，具体包括：基于所述肺动脉分割模型的编码器对所述样本肺部影像进行图像特征提取，得到所述样本肺部影像的图像特征编码；分别基于所述掩膜预测分支、所述边缘预测分支和所述形状预测分支，对所述样本肺部影像的图像特征编码进行肺动脉掩膜预测、肺动脉边缘预测和肺动脉形状预测，得到所述肺动脉掩膜图、所述肺动脉边缘概率图和所述肺动脉形状图。
10.根据本发明提供的一种肺动脉分割模型构建方法，所述分别基于所述掩膜预测分支、所述边缘预测分支和所述形状预测分支，对所述样本肺部影像的图像特征编码进行肺动脉掩膜预测、肺动脉边缘预测和肺动脉形状预测，得到所述肺动脉掩膜图、所述肺动脉边缘概率图和所述肺动脉形状图，具体包括：基于所述边缘预测分支和所述形状预测分支，对所述样本肺部影像的图像特征编码进行肺动脉边缘预测和肺动脉形状预测，得到所述肺动脉边缘概率图和所述肺动脉形状图；基于所述肺动脉边缘概率图和所述肺动脉形状图，对所述样本肺部影像的图像特征编码进行优化，强化所述样本肺部影像的图像特征编码中对应肺动脉真实边缘的像素的编码值，得到所述样本肺部影像的边缘感知特征编码；基于所述掩膜预测分支，对所述边缘感知特征编码进行肺动脉掩膜预测，得到所述肺动脉掩膜图。
11.本发明还提供一种肺动脉分割方法，包括：获取待分割肺部影像；将所述待分割肺部影像输入至肺动脉分割模型中，基于所述肺动脉分割模型的掩膜预测分支对所述待分割肺部影像进行掩膜预测，得到所述待分割肺部影像的肺动脉掩膜
图，作为所述待分割肺部影像的分割结果；其中，所述肺动脉分割模型是基于如上述任一种所述肺动脉分割模型构建方法构建得到的。
12.本发明还提供一种肺动脉分割模型构建装置，包括：样本预测单元，用于基于肺动脉分割模型中共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到所述样本肺部影像的肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图；匹配损失计算单元，用于基于所述肺动脉形状图确定所述样本肺部影像的融合距离图，基于所述肺动脉边缘概率图确定肺动脉边缘图，并基于所述肺动脉边缘图与所述融合距离图之间的匹配程度，确定边缘形状匹配损失；其中，任一前景像素或任一背景像素离所述肺动脉形状图的轮廓越近，所述任一前景像素或所述任一背景像素在所述融合距离图中的值越小；模型参数更新单元，用于基于所述肺动脉掩膜图与标注掩膜图间的差异、所述肺动脉边缘概率图与标注边缘间的差异、所述肺动脉形状图与标注形状间的差异以及所述边缘形状匹配损失，更新所述肺动脉分割模型的参数。
13.本发明还提供一种肺动脉分割装置，包括：图像获取单元，用于获取待分割肺部影像；图像分割单元，用于将所述待分割肺部影像输入至肺动脉分割模型中，基于所述肺动脉分割模型的掩膜预测分支对所述待分割肺部影像进行掩膜预测，得到所述待分割肺部影像的肺动脉掩膜图，作为所述待分割肺部影像的分割结果；其中，所述肺动脉分割模型是基于如上述任一种所述肺动脉分割模型构建方法构建得到的。
14.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述肺动脉分割模型构建方法或肺动脉分割方法。
15.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述肺动脉分割模型构建方法或肺动脉分割方法。
16.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述肺动脉分割模型构建方法或肺动脉分割方法。
17.本发明提供的肺动脉分割模型构建方法、肺动脉分割方法和装置，通过共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图，基于通过肺动脉形状图确定的融合距离图与通过肺动脉边缘概率图确定的肺动脉边缘图之间的匹配程度，确定边缘形状匹配损失，用于从肺动脉形状的轮廓以外和以内两个方向约束肺动脉边缘，使其更贴合肺动脉形状的轮廓，能够提升边缘预测分支的对于肺动脉边缘的预测能力；基于肺动脉掩膜图与标注掩膜图间的差异、肺动脉边缘概率图与标注边缘间的差异、肺动脉形状图与标注形状间的差异以及边缘形状匹配损失，更新肺动脉分割模型的参数，对于掩膜预测分支，一方面通过利用肺动脉掩膜图与标注掩膜图间的差异优化其参数提升了整个分支的性能，另一方
面，通过三个分支共享的编码器，在优化边缘预测分支和形状预测分支时会优化编码器的图像特征编码能力，使得编码器能够更准确地提取肺动脉的边缘特征和形状特征，使得共享该编码器的掩膜预测分支的掩膜预测能力得以增强，从而提升整个模型对于肺动脉的分割能力。
附图说明
18.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明提供的肺动脉分割模型构建方法的流程示意图；图2是本发明提供的边缘形状匹配损失计算方法的流程示意图；图3是本发明提供的融合距离图确定方法的流程示意图；图4是本发明提供的掩膜边缘形状预测方法的流程示意图；图5是本发明提供的肺动脉分割方法的流程示意图；图6是本发明提供的肺动脉分割模型构建装置的结构示意图；图7是本发明提供的肺动脉分割装置的结构示意图；图8是本发明提供的电子设备的结构示意图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.图1是本发明提供的肺动脉分割模型构建方法的流程示意图，如图1所示，该方法包括：步骤110，基于肺动脉分割模型中共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到所述样本肺部影像的肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图；步骤120，基于所述肺动脉形状图确定所述样本肺部影像的融合距离图，基于所述肺动脉边缘概率图确定肺动脉边缘图，并基于所述肺动脉边缘图与所述融合距离图之间的匹配程度，确定边缘形状匹配损失；其中，任一前景像素或任一背景像素离所述肺动脉形状图的轮廓越近，所述任一前景像素或所述任一背景像素在所述融合距离图中的值越小；步骤130，基于所述肺动脉掩膜图与标注掩膜图间的差异、所述肺动脉边缘概率图与标注边缘间的差异、所述肺动脉形状图与标注形状间的差异以及所述边缘形状匹配损失，更新所述肺动脉分割模型的参数。
22.具体地，肺动脉分割模型中包含三个分支，分别是掩膜预测分支、边缘预测分支和形状预测分支，上述三个分支均可以基于编码器-解码器模型构建，且三个分支可以共享编码器，以提升三个分支之间的约束关系。其中，掩膜预测分支用于对输入的肺部影像进行肺
动脉的掩膜分割，其主要目的在于将整个肺动脉区域分割出来，从而输出该肺部影像对应的肺动脉掩膜图，是整个肺动脉分割模型的主要分支，其输出为输入的肺部影像对应的分割结果；边缘预测分支用于对输入的肺部影像进行肺动脉的边缘分割，其主要目的在于将肺动脉的边缘分割出来，从而输出该肺部影像对应的肺动脉边缘概率图；形状预测分支则用于对输入的肺部影像进行肺动脉的形状分割，其主要目的在于获取整个肺动脉的形状特征，从而输出该肺部影像对应的肺动脉形状图。此处，边缘预测分支和形状预测分支作为掩膜预测分支的辅助分支，可以经由三个分支共享的编码器帮助掩膜预测分支将更多注意力放在边缘预测分支输出的肺动脉边缘概率图对应的边缘以内以及区域形状与形状预测分支输出的肺动脉形状图相匹配的区域范围内，从而分割出更精确的肺动脉掩膜图。从而提升肺动脉分割的准确性。
23.需要说明的是，部分肺动脉分割方式中也会额外增加对于肺动脉边缘的注意力以增强肺动脉分割性能，然而，肺动脉本身形状的不规则性以及宽度较窄的特性会导致其边缘难以准确分割，即使额外增加边缘分割分支，也可能会由于分割出的边缘不够准确导致对于肺动脉掩膜分割任务的帮助微乎其微、甚至起到负面作用。因此，本发明实施例在构建肺动脉分割模型时，会在掩膜预测分支和边缘预测分支的基础上增设形状预测分支，利用肺动脉形状特征较之于边缘特征更明显、提取难度较小的特点，基于形状预测分支约束边缘预测分支，再结合形状预测分支和边缘预测分支共同约束掩膜预测分支，从而提升掩膜预测分支的分割性能，分割得到更精确的肺动脉掩膜图。
24.具体而言，在确定完肺动脉分割模型的结构后，可以结合该模型结构利用大量的训练样本对其进行迭代训练。在当前一轮迭代训练过程中，对于任意一个样本肺部影像，利用肺动脉分割模型的掩膜预测分支、边缘预测分支和形状预测分支分别对该样本肺部影像进行肺动脉掩膜预测、肺动脉边缘预测和肺动脉形状预测，得到该样本肺部影像的肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图。其中，肺动脉掩膜图中被预测为肺动脉像素的像素点的值为1，其余像素点的值为0，肺动脉边缘概率图中各个像素点的值为该像素点被预测为肺动脉边缘的概率，肺动脉掩膜预测和肺动脉边缘预测均为分类任务。而肺动脉形状图对应着该样本肺部影像中肺动脉的形状，被形状预测分支评估为肺动脉形状内部的像素的值为1，其余像素的值为0，肺动脉形状预测为回归任务，利用回归方式能够较准确地提取肺动脉的形状特征，从而为后续的约束能力提供基础。
25.为了提升边缘预测分支的性能，从而增强边缘预测分支对掩膜预测分支的辅助作用，可以在边缘预测分支和形状预测分支之间建立约束。此处，可以基于该样本肺部影像的肺动脉形状图中指示的肺动脉内部区域（即前景区域）以及肺动脉以外的区域（即背景区域），确定该样本肺部影像的融合距离图。其中，融合距离图中指示了样本肺部影像中每个像素离肺动脉形状图轮廓的距离，任一前景像素或任一背景像素离肺动脉形状图的轮廓越近，该前景像素或该背景像素在融合距离图中的值越小。
26.基于上述融合距离图以及基于肺动脉边缘概率图确定得到的肺动脉边缘图，可以确定二者之间的匹配程度。此处，肺动脉边缘图中被边缘预测分支预测为肺动脉边缘像素的像素对应的值为1，其余像素对应的值为0。考虑到形状特征相较于边缘特征的可靠性更高，因此将以融合距离图为基准，确定肺动脉边缘图与融合距离图之间的匹配程度，肺动脉边缘图与融合距离图之间的匹配程度越高，表明肺动脉边缘图指示的肺动脉边缘与融合距
离图指示的肺动脉形状的轮廓越贴合，该肺动脉边缘图的准确性更高。需要说明的是，此处通过确定肺动脉边缘图与融合距离图之间的匹配程度判断肺动脉边缘图指示的肺动脉边缘与融合距离图指示的肺动脉形状的轮廓之间的贴合程度，由于任一前景像素或任一背景像素离肺动脉形状图的轮廓越近，该前景像素或该背景像素在融合距离图中的值越小，因此可以保证从肺动脉形状的轮廓以外（即背景区域）和以内（即前景区域）两个方向约束肺动脉边缘，使其更贴合肺动脉形状的轮廓。
27.随后，基于肺动脉边缘图与融合距离图之间的匹配程度，确定边缘形状匹配损失。肺动脉边缘图与融合距离图之间的匹配程度越低，边缘形状匹配损失越高，在调整肺动脉分割模型参数时，该边缘形状匹配损失对于模型参数更新的影响越强，对边缘预测分支的约束越强，从而能够提升边缘预测分支的对于肺动脉边缘的预测能力。
28.基于肺动脉掩膜图与标注掩膜图间的差异、肺动脉边缘概率图与标注边缘间的差异、肺动脉形状图与标注形状间的差异以及上述边缘形状匹配损失，更新肺动脉分割模型的参数，以提升肺动脉分割模型的分割能力。此处，可以使用canny算子提取样本肺部影像中标注掩膜图中肺动脉的边缘，得到标注边缘；对标注掩膜图使用欧几里得距离变化得到距离图，并对距离图进行sigmoid处理，得到标注形状。
29.其中，由于肺动脉分割模型存在掩膜预测分支、边缘预测分支和形状预测分支等三个分支，在优化肺动脉分割模型的参数时，可以主要利用肺动脉掩膜图与标注掩膜图间的差异优化掩膜预测分支的参数，主要利用肺动脉边缘概率图与标注边缘间的差异优化边缘预测分支的参数，主要利用肺动脉形状图与标注形状间的差异优化形状预测分支的参数。此外，对于边缘预测分支，还可以额外再利用边缘形状匹配损失对该分支添加额外约束，进一步优化边缘预测分支。对于主要分支——掩膜预测分支，一方面通过利用肺动脉掩膜图与标注掩膜图间的差异优化其参数提升了整个分支的性能，另一方面，通过三个分支共享的编码器，在优化边缘预测分支和形状预测分支时会优化编码器的图像特征编码能力，使得编码器能够更准确地提取肺动脉的边缘特征和形状特征，使得共享该编码器的掩膜预测分支的掩膜预测能力得以增强，从而提升整个模型对于肺动脉的分割能力。
30.本发明实施例提供的方法，通过共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图，基于通过肺动脉形状图确定的融合距离图与通过肺动脉边缘概率图确定的肺动脉边缘图之间的匹配程度，确定边缘形状匹配损失，用于从肺动脉形状的轮廓以外和以内两个方向约束肺动脉边缘，使其更贴合肺动脉形状的轮廓，能够提升边缘预测分支的对于肺动脉边缘的预测能力；基于肺动脉掩膜图与标注掩膜图间的差异、肺动脉边缘概率图与标注边缘间的差异、肺动脉形状图与标注形状间的差异以及边缘形状匹配损失，更新肺动脉分割模型的参数，对于掩膜预测分支，一方面通过利用肺动脉掩膜图与标注掩膜图间的差异优化其参数提升了整个分支的性能，另一方面，通过三个分支共享的编码器，在优化边缘预测分支和形状预测分支时会优化编码器的图像特征编码能力，使得编码器能够更准确地提取肺动脉的边缘特征和形状特征，使得共享该编码器的掩膜预测分支的掩膜预测能力得以增强，从而提升整个模型对于肺动脉的分割能力。
31.基于上述实施例，如图2所示，所述基于所述肺动脉边缘图与所述融合距离图之间的匹配程度，确定边缘形状匹配损失，具体包括：
步骤210，将所述肺动脉边缘图和所述融合距离图按像素进行点乘操作，得到边缘形状匹配图；其中，所述边缘形状匹配图中任一像素的值越大，表明所述肺动脉边缘图中的所述任一像素与所述肺动脉形状图的匹配程度越低；步骤220，将所述边缘形状匹配图按像素进行累加操作，得到所述边缘形状匹配损失。
32.具体地，由于融合距离图中指示了样本肺部影像中每个像素离肺动脉形状图轮廓的距离，任一前景像素或任一背景像素离肺动脉形状图的轮廓越近，该前景像素或该背景像素在融合距离图中的值越小，因此可以将肺动脉边缘图和融合距离图按像素进行点乘操作，得到边缘形状匹配图。其中，通过按像素进行点乘操作，对于肺动脉边缘图中指示的任一边缘像素，若该边缘像素不在肺动脉形状图的轮廓上，表明该边缘像素与肺动脉形状图的轮廓不贴合，且该边缘像素离肺动脉形状图的轮廓越远，该像素在融合距离图中的值越大，点乘后的值也越大，能够体现该边缘像素与肺动脉形状图的轮廓的匹配程度越低。可见，边缘形状匹配图中任一像素的值越大，表明肺动脉边缘图中的该像素与肺动脉形状图的匹配程度越低。对于非边缘像素（即被边缘预测分支预测为非边缘的像素），则点乘后的值为0，表明该像素对于后续边缘形状匹配损失的计算不做贡献。
33.得到边缘形状匹配图之后，将该边缘形状匹配图按像素进行累加操作，得到边缘形状匹配损失。此处，由于边缘形状匹配图中任一像素的值越大，表明肺动脉边缘图中的该像素与肺动脉形状图的匹配程度越低，因此将边缘形状匹配图按像素进行累加之后得到的值可以代表肺动脉边缘图指示的肺动脉边缘整体与肺动脉形状图的轮廓之间的贴合程度。将边缘形状匹配图按像素进行累加之后得到的累加值越高，表明肺动脉边缘图指示的肺动脉边缘整体与肺动脉形状图的轮廓之间的贴合程度越低，因此需要对边缘预测分支进行更大幅度的调整，故将该累加值作为边缘形状匹配损失，可以有效指导边缘预测分支的优化，使其预测的肺动脉边缘图更准确。
34.基于上述任一实施例，如图3所示，所述基于所述肺动脉形状图确定所述样本肺部影像的融合距离图，具体包括：步骤310，对所述肺动脉形状图进行欧几里得距离变换得到前景预测距离图；步骤320，将所述肺动脉形状图取反得到背景形状图后，对所述背景形状图进行欧几里得距离变换得到背景预测距离图；步骤330，分别对所述前景预测距离图和所述背景预测距离图进行sigmoid处理后相加，得到所述融合距离图。
35.具体地，对肺动脉形状图进行欧几里得距离变换，得到相应的前景预测距离图。其中，肺动脉形状图中被形状预测分支预测为肺动脉形状内部的像素的值为1，其余像素的值为0，在对肺动脉形状图进行欧几里得距离变换后，肺动脉形状图的轮廓内部（即前景区域）的像素在前景预测距离图中对应的距离值均为0，而肺动脉形状图的轮廓外部（即背景区域）的像素在前景预测距离图中对应的距离值随着该像素与肺动脉形状图的轮廓之间距离的增大而增大。需要说明的是，在计算肺动脉形状图与标注形状间的差异时可以通过计算该前景预测距离图与标注形状之间的差异得到。
36.将肺动脉形状图取反，得到背景形状图。在背景形状图中被形状预测分支预测为肺动脉形状内部的像素的值为0，其余像素的值为1。类似地，对背景形状图进行欧几里得距
离变换得到背景预测距离图。在对背景形状图进行欧几里得距离变换后，肺动脉形状图的轮廓外部（即背景区域）的像素在背景预测距离图中对应的距离值均为0，而肺动脉形状图的轮廓内部（即前景区域）的像素在背景预测距离图中对应的距离值随着该像素与肺动脉形状图的轮廓之间距离的增大而增大。
37.分别对上述前景预测距离图和上述背景预测距离图进行sigmoid处理，以弱化离肺动脉形状图的轮廓相距较远的前景像素和背景像素在后续计算边缘形状匹配损失时造成的影响，避免由于上述相距较远的前景像素和背景像素对应的距离值过大导致计算的边缘形状匹配损失过大。再将sigmoid处理后的前景预测距离图和背景预测距离图进行叠加，得到融合距离图。
38.基于上述任一实施例，所述基于所述肺动脉掩膜图与标注掩膜图间的差异、所述肺动脉边缘概率图与标注边缘间的差异、所述肺动脉形状图与标注形状间的差异以及所述边缘形状匹配损失，更新所述肺动脉分割模型的参数，具体包括：基于所述肺动脉掩膜图与标注掩膜图间的差异及其第一权重、所述肺动脉边缘概率图与标注边缘间的差异及其第二权重、所述肺动脉形状图与标注形状间的差异及其第三权重，以及所述边缘形状匹配损失及其第四权重，确定模型总损失；其中，所述第一权重、所述第二权重、所述第三权重均大于所述第四权重；基于所述模型总损失，更新所述肺动脉分割模型的参数。
39.具体地，在训练肺动脉分割模型时，为了提升模型优化的效率和效果，可以将肺动脉掩膜图与标注掩膜图间的差异作为掩膜预测主损失、肺动脉边缘概率图与标注边缘间的差异作为边缘预测主损失，以及将肺动脉形状图与标注形状间的差异作为形状预测主损失，以分别引导掩膜预测分支、边缘预测分支和形状预测分支等三个分支的学习。在此基础上，对于边缘预测分支，还可以额外再利用边缘形状匹配损失对该分支添加额外约束，进一步优化边缘预测分支。具体在更新肺动脉分割模型中上述三个分支的参数时，可以为掩膜预测主损失、边缘预测主损失、形状预测主损失和边缘形状匹配损失设置相应的权重，以控制各个损失在模型参数更新过程中的影响程度。
40.其中，在优化肺动脉分割模型的参数时，掩膜预测主损失、边缘预测主损失和形状预测主损失可以在大方向上指引掩膜预测分支、边缘预测分支和形状预测分支朝着正确的方向（即逐渐靠近标注结果），三个分支的准确性需要由掩膜预测主损失、边缘预测主损失和形状预测主损失奠定基础。在掩膜预测分支、边缘预测分支和形状预测分支具备基础准确性之后，可以基于边缘形状匹配损失对边缘预测分支和形状预测分支进行微调，其中主要会对边缘预测分支进行进一步优化使其预测得到的肺动脉边缘图与形状预测分支预测得到的肺动脉形状图的轮廓相贴合，而微调后的边缘预测分支和形状预测分支会经由三个分支共享的编码器对掩膜预测分支产生影响。
41.因此，在为掩膜预测主损失、边缘预测主损失、形状预测主损失和边缘形状匹配损失设置权重时，掩膜预测主损失对应的第一权重、边缘预测主损失对应的第二权重和形状预测主损失对应的第三权重均大于边缘形状匹配损失对应的第四权重。此外，第二权重还可以大于第三权重，因为形状预测分支提取的肺动脉形状特征的稳定性更高，不容易过拟合，而边缘预测分支提取的肺动脉边缘特征的稳定性较差，因此可以将第二权重设置得较高。
42.基于上述任一实施例，步骤110具体包括：基于所述肺动脉分割模型的编码器对所述样本肺部影像进行图像特征提取，得到所述样本肺部影像的图像特征编码；分别基于所述掩膜预测分支、所述边缘预测分支和所述形状预测分支，对所述样本肺部影像的图像特征编码进行肺动脉掩膜预测、肺动脉边缘预测和肺动脉形状预测，得到所述肺动脉掩膜图、所述肺动脉边缘概率图和所述肺动脉形状图。
43.具体地，可以基于掩膜预测分支、边缘预测分支和形状预测分支共享的编码器对样本肺部影像进行图像特征提取，获取样本肺部影像中与肺动脉区域存在关联的图像特征，得到样本肺部影像的图像特征编码。其中，图像特征编码中包含对应影像中的肺动脉区域特征以及与肺动脉区域存在关联的其余区域的特征。
44.分别基于肺动脉分割模型的掩膜预测分支、边缘预测分支和形状预测分支，对样本肺部影像的图像特征编码进行肺动脉掩膜预测、肺动脉边缘预测和肺动脉形状预测，得到肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图。其中，掩膜预测分支和边缘预测分支的解码器可以基于分类方式分别进行肺动脉掩膜预测和肺动脉边缘预测，得到肺动脉掩膜图和肺动脉边缘概率图，而形状预测分支的解码器可以基于回归方式进行肺动脉形状预测，得到肺动脉形状图。
45.基于上述任一实施例，如图4所示，所述掩膜预测分支、所述边缘预测分支和所述形状预测分支，对所述样本肺部影像的图像特征编码进行肺动脉掩膜预测、肺动脉边缘预测和肺动脉形状预测，得到所述肺动脉掩膜图、所述肺动脉边缘概率图和所述肺动脉形状图，具体包括：步骤410，基于所述边缘预测分支和所述形状预测分支，对所述样本肺部影像的图像特征编码进行肺动脉边缘预测和肺动脉形状预测，得到所述肺动脉边缘概率图和所述肺动脉形状图；步骤420，基于所述肺动脉边缘概率图和所述肺动脉形状图，对所述样本肺部影像的图像特征编码进行优化，强化所述样本肺部影像的图像特征编码中对应肺动脉真实边缘的像素的编码值，得到所述样本肺部影像的边缘感知特征编码；步骤430，基于所述掩膜预测分支，对所述边缘感知特征编码进行肺动脉掩膜预测，得到所述肺动脉掩膜图。
46.具体地，为了在掩膜预测分支、边缘预测分支和形状预测分支之间添加更多的约束，以使得边缘预测分支和形状预测分支可以为掩膜预测分支提供更多辅助信息，包括肺动脉的边缘信息和肺动脉的形状信息等，以提升掩膜预测分支的掩膜预测性能，可以在掩膜预测分支中的编码器之后添加编码优化模块，以提升掩膜预测分支的解码效果。
47.具体而言，对于边缘预测分支和形状预测分支，可以对样本肺部影像的图像特征编码进行肺动脉边缘预测和肺动脉形状预测，得到肺动脉边缘概率图和肺动脉形状图。进一步地，可以首先利用形状预测分支对样本肺部影像的图像特征编码进行肺动脉形状预测，得到肺动脉形状图，再基于注意力机制，利用肺动脉形状图对图像特征编码进行优化，基于肺动脉形状图对图像特征编码进行注意力变换，将图像特征编码中与肺动脉形状图相匹配的区域的编码值强化，得到形状感知编码。再基于边缘预测分支对形状感知编码进行肺动脉边缘预测，得到肺动脉边缘概率图，以提升肺动脉边缘概率图的准确性。
48.随后，对于掩膜预测分支，可以基于边缘预测分支和形状预测分支输出的肺动脉边缘概率图和肺动脉形状图，对样本肺部影像的图像特征编码进行优化，强化样本肺部影像的图像特征编码中对应肺动脉真实边缘的像素的编码值，得到样本肺部影像的边缘感知特征编码。其中，可以基于肺动脉边缘概率图和肺动脉形状图之间的相似性对肺动脉边缘概率图进行优化，强化其中与肺动脉形状图相匹配的像素的概率值，得到优化边缘概率图。再基于优化边缘概率图对样本肺部影像的图像特征编码进行优化，强化样本肺部影像的图像特征编码中对应肺动脉真实边缘的像素的编码值。此处，可以利用注意力机制，基于优化边缘概率图对图像特征编码进行注意力变换，将图像特征编码中对应肺动脉真实边缘的像素的编码值强化，得到样本肺部影像的边缘感知特征编码。再基于掩膜预测分支的解码器对边缘感知特征编码进行肺动脉掩膜预测，得到肺动脉掩膜图，以提升肺动脉掩膜图的准确性。
49.基于上述任一实施例，图5是本发明提供的肺动脉分割方法的流程示意图，如图5所示，该方法包括：步骤510，获取待分割肺部影像；步骤520，将所述待分割肺部影像输入至肺动脉分割模型中，基于所述肺动脉分割模型的掩膜预测分支对所述待分割肺部影像进行掩膜预测，得到所述待分割肺部影像的肺动脉掩膜图，作为所述待分割肺部影像的分割结果；其中，所述肺动脉分割模型是基于如上述任一实施例提供的肺动脉分割模型构建方法构建得到的。
50.具体地，本实施例中采取窗宽1600、窗位-600以采集肺部ct影像。由于胸腔部分进入模型很可能会引发错误预测，故可以使用图像处理方法提取肺区域掩膜，根据肺区域掩膜生成的目标框截取肺部ct影像的单一肺部影像，随后可以将影像尺寸缩放至[128,128,128]，降低内存成本。此外还可以通过调整其灰度范围以削弱影像中一些其它组织带来的影响，将ct值归一化到灰度范围（0~255），得到待分割肺部影像。此处，待分割肺部影像的处理方式与样本肺部影像的处理方式相同，即将影像输入至肺动脉分割模型之前可以进行相同的图像处理操作，以保证模型输入的统一性。
[0051]
随后，将待分割肺部影像输入至肺动脉分割模型中，肺动脉分割模型会自主对待分割肺部影像进行编解码操作，得到相应的输出。此处，肺动脉分割模型中的掩膜预测分支会对待分割肺部影像进行编码解码操作，实现肺动脉掩膜预测，得到待分割肺部影像的肺动脉掩膜图，作为该待分割肺部影像的分割结果。其中，肺动脉分割模型是基于如上述任一实施例提供的肺动脉分割模型构建方法构建得到的。具体而言，可以基于肺动脉分割模型的编码器对待分割肺部影像进行图像特征提取，得到待分割肺部影像的图像特征编码，再基于掩膜预测分支的解码器，对待分割肺部影像的图像特征编码进行肺动脉掩膜预测，得到待分割肺部影像的肺动脉掩膜图，实现准确的肺动脉分割。
[0052]
进一步地，还可以如上述实施例中提供的方式，基于边缘预测分支和形状预测分支，对待分割肺部影像的图像特征编码进行肺动脉边缘预测和肺动脉形状预测，得到待分割肺部影像的肺动脉边缘概率图和肺动脉形状图。基于待分割肺部影像的肺动脉边缘概率图和肺动脉形状图，对待分割肺部影像的图像特征编码进行优化，强化待分割肺部影像的图像特征编码中对应肺动脉真实边缘的像素的编码值，得到待分割肺部影像的边缘感知特
征编码。再基于掩膜预测分支，对待分割肺部影像的边缘感知特征编码进行肺动脉掩膜预测，得到待分割肺部影像的肺动脉掩膜图，实现更精确的肺动脉分割。
[0053]
下面对本发明提供的肺动脉分割模型构建装置进行描述，下文描述的肺动脉分割模型构建装置与上文描述的肺动脉分割模型构建方法可相互对应参照。
[0054]
基于上述任一实施例，图6是本发明提供的肺动脉分割模型构建装置的结构示意图，如图6所示，该装置包括：样本预测单元610、匹配损失计算单元620和模型参数更新单元630。
[0055]
其中，样本预测单元610用于基于肺动脉分割模型中共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到所述样本肺部影像的肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图；匹配损失计算单元620用于基于所述肺动脉形状图确定所述样本肺部影像的融合距离图，基于所述肺动脉边缘概率图确定肺动脉边缘图，并基于所述肺动脉边缘图与所述融合距离图之间的匹配程度，确定边缘形状匹配损失；其中，任一前景像素或任一背景像素离所述肺动脉形状图的轮廓越近，所述任一前景像素或所述任一背景像素在所述融合距离图中的值越小；模型参数更新单元630用于基于所述肺动脉掩膜图与标注掩膜图间的差异、所述肺动脉边缘概率图与标注边缘间的差异、所述肺动脉形状图与标注形状间的差异以及所述边缘形状匹配损失，更新所述肺动脉分割模型的参数。
[0056]
本发明实施例提供的装置，通过共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图，基于通过肺动脉形状图确定的融合距离图与通过肺动脉边缘概率图确定的肺动脉边缘图之间的匹配程度，确定边缘形状匹配损失，用于从肺动脉形状的轮廓以外和以内两个方向约束肺动脉边缘，使其更贴合肺动脉形状的轮廓，能够提升边缘预测分支的对于肺动脉边缘的预测能力；基于肺动脉掩膜图与标注掩膜图间的差异、肺动脉边缘概率图与标注边缘间的差异、肺动脉形状图与标注形状间的差异以及边缘形状匹配损失，更新肺动脉分割模型的参数，对于掩膜预测分支，一方面通过利用肺动脉掩膜图与标注掩膜图间的差异优化其参数提升了整个分支的性能，另一方面，通过三个分支共享的编码器，在优化边缘预测分支和形状预测分支时会优化编码器的图像特征编码能力，使得编码器能够更准确地提取肺动脉的边缘特征和形状特征，使得共享该编码器的掩膜预测分支的掩膜预测能力得以增强，从而提升整个模型对于肺动脉的分割能力。
[0057]
下面对本发明提供的肺动脉分割装置进行描述，下文描述的肺动脉分割装置与上文描述的肺动脉分割方法可相互对应参照。
[0058]
基于上述任一实施例，图7是本发明提供的肺动脉分割装置的结构示意图，如图7所示，该装置包括：图像获取单元710和图像分割单元720。
[0059]
其中，图像获取单元710用于获取待分割肺部影像；图像分割单元720用于将所述待分割肺部影像输入至肺动脉分割模型中，基于所述肺动脉分割模型的掩膜预测分支对所述待分割肺部影像进行掩膜预测，得到所述待分割肺部影像的肺动脉掩膜图，作为所述待分割肺部影像的分割结果；其中，所述肺动脉分割模型是基于如上述任一实施例提供的肺动脉分割模型构建
方法构建得到的。
[0060]
图8是本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、存储器(memory)820、通信接口(communications interface)830和通信总线840，其中，处理器810，存储器820，通信接口830通过通信总线840完成相互间的通信。处理器810可以调用存储器820中的逻辑指令，以执行肺动脉分割模型构建方法，该方法包括：基于肺动脉分割模型中共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到所述样本肺部影像的肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图；基于所述肺动脉形状图确定所述样本肺部影像的融合距离图，基于所述肺动脉边缘概率图确定肺动脉边缘图，并基于所述肺动脉边缘图与所述融合距离图之间的匹配程度，确定边缘形状匹配损失；其中，任一前景像素或任一背景像素离所述肺动脉形状图的轮廓越近，所述任一前景像素或所述任一背景像素在所述融合距离图中的值越小；基于所述肺动脉掩膜图与标注掩膜图间的差异、所述肺动脉边缘概率图与标注边缘间的差异、所述肺动脉形状图与标注形状间的差异以及所述边缘形状匹配损失，更新所述肺动脉分割模型的参数。
[0061]
处理器810还可以调用存储器820中的逻辑指令，以执行肺动脉分割方法，该方法包括：获取待分割肺部影像；将所述待分割肺部影像输入至肺动脉分割模型中，基于所述肺动脉分割模型的掩膜预测分支对所述待分割肺部影像进行掩膜预测，得到所述待分割肺部影像的肺动脉掩膜图，作为所述待分割肺部影像的分割结果；其中，所述肺动脉分割模型是基于如上述任一实施例提供的肺动脉分割模型构建方法构建得到的。
[0062]
此外，上述的存储器820中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0063]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的肺动脉分割模型构建方法，该方法包括：基于肺动脉分割模型中共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到所述样本肺部影像的肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图；基于所述肺动脉形状图确定所述样本肺部影像的融合距离图，基于所述肺动脉边缘概率图确定肺动脉边缘图，并基于所述肺动脉边缘图与所述融合距离图之间的匹配程度，确定边缘形状匹配损失；其中，任一前景像素或任一背景像素离所述肺动脉形状图的轮廓越近，所述任一前景像素或所述任一背景像素在所述融合距离图中的值越小；基于所述肺动脉掩膜图与标注掩膜图间的差异、所述肺动脉边缘概率图与标注边缘间的差异、所述肺动脉形状图与标注形状间的差异以及所述边缘形状匹配损失，更新所述肺动脉分割模型的参数。当所述程序指令被计算机执行时，计算机还能够执行上述各方法所
提供的肺动脉分割方法，该方法包括：获取待分割肺部影像；将所述待分割肺部影像输入至肺动脉分割模型中，基于所述肺动脉分割模型的掩膜预测分支对所述待分割肺部影像进行掩膜预测，得到所述待分割肺部影像的肺动脉掩膜图，作为所述待分割肺部影像的分割结果；其中，所述肺动脉分割模型是基于如上述任一实施例提供的肺动脉分割模型构建方法构建得到的。
[0064]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的肺动脉分割模型构建方法，该方法包括：基于肺动脉分割模型中共享编码器的掩膜预测分支、边缘预测分支和形状预测分支分别对样本肺部影像进行预测，得到所述样本肺部影像的肺动脉掩膜图、肺动脉边缘概率图和肺动脉形状图；基于所述肺动脉形状图确定所述样本肺部影像的融合距离图，基于所述肺动脉边缘概率图确定肺动脉边缘图，并基于所述肺动脉边缘图与所述融合距离图之间的匹配程度，确定边缘形状匹配损失；其中，任一前景像素或任一背景像素离所述肺动脉形状图的轮廓越近，所述任一前景像素或所述任一背景像素在所述融合距离图中的值越小；基于所述肺动脉掩膜图与标注掩膜图间的差异、所述肺动脉边缘概率图与标注边缘间的差异、所述肺动脉形状图与标注形状间的差异以及所述边缘形状匹配损失，更新所述肺动脉分割模型的参数。该计算机程序被处理器执行时还可以实现以执行上述各提供的肺动脉分割方法，该方法包括：获取待分割肺部影像；将所述待分割肺部影像输入至肺动脉分割模型中，基于所述肺动脉分割模型的掩膜预测分支对所述待分割肺部影像进行掩膜预测，得到所述待分割肺部影像的肺动脉掩膜图，作为所述待分割肺部影像的分割结果；其中，所述肺动脉分割模型是基于如上述任一实施例提供的肺动脉分割模型构建方法构建得到的。
[0065]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0066]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
[0067]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。