两阶段全3D动脉瘤分割方法及系统

本发明属于图像处理，涉及一种两阶段全3d动脉瘤分割方法及系统。

背景技术：

1、动脉瘤是一种常见的血管疾病，通常指血管壁局部膨胀和瘤样扩张。动脉瘤的形成可能导致血管壁薄弱、破裂和出血，严重情况下可能危及生命。因此，动脉瘤的早期诊断和治疗，对提高患者的生存率非常重要。

2、目前，医学影像技术(如计算机断层扫描(ct)和磁共振成像(mri))已广泛应用于诊断和评估动脉瘤。然而，由于动脉瘤在图像中的形态和位置多种多样，准确地分割动脉瘤仍然是一个具有挑战性的问题。传统的分割方法需要依赖人工操作，费时费力且容易出现主观误差。自动化分割方法通常基于特定的图像特征或阈值来提取动脉瘤区域，但由于动脉瘤的形态和位置的差异性，这些方法的准确性和鲁棒性有限。

3、2d分割和3d分割是医学图像处理中常用的两种方法，它们在处理和分析三维医学图像时具有不同的特点和应用场景。2d分割是将医学图像中的每个二维切片作为单独的图像进行分割，将每个切片视为独立的图像，通常使用基于像素级别的图像处理和机器学习算法进行分割。2d分割方法相对简单和快速，适用于处理大量的二维图像，如ct扫描或mri序列的切片。它可以用于检测和分割较小的结构或病变，如肿瘤、血管和病灶等。然而，2d分割忽略了图像在深度方向上的信息，可能无法准确地捕捉到立体结构的形态和位置关系。

4、3d分割是直接对完整的三维医学图像进行分割，这种方法考虑了图像在三个维度上的空间关系，能够更准确地捕捉到立体结构的形态和位置。3d分割方法通常基于体素级别的图像处理和机器学习算法，将三维图像中的体素标记为感兴趣的结构或病变。它适用于处理需要考虑三维上下文信息的任务，如器官分割、动脉瘤分割和脑部肿瘤分割等。相比于2d分割，3d分割具有更高的准确性和鲁棒性，但也需要更多的计算资源和时间。综上所述，2d分割适用于处理大量的二维图像，对于较小的结构或病变分割具有一定的优势；而3d分割考虑了图像的三维空间关系，适用于需要考虑立体结构的形态和位置关系的任务，能够提供更准确的分割结果。

5、目前在深度学习领域针对医学图像处理有多种方案，主要是针对模型unet进行优化。u-net的设计灵感来源于图像翻译任务，其中编码器部分类似于图像的编码过程，而解码器部分则类似于图像的解码和重建过程。u-net已经广泛应用于医学图像分割领域，例如肺部分割、细胞分割、肝脏分割等。其简单而有效的结构使得它成为图像分割任务中的重要基准模型，并为后续的研究和改进提供了基础。但大多数现有方法通常需要大量的计算资源和时间，因为它们依赖于复杂的神经网络，可能不适用于临床实践中需要实时结果的情况。同时需要大规模标记的医学图像数据进行训练，这些数据难以获取，尤其是对于少见的疾病或新型动脉瘤。还可能在小样本数据上容易过拟合，导致在新的数据上表现不佳。由于动脉瘤的尺度变化范围大，某些方法难以适应不同尺度的动脉瘤，因而需要更多的定制化和调整。

技术实现思路

1、本发明的目的在于提供一种两阶段全3d动脉瘤分割方法及系统，提高了动脉瘤分割的准确性和细节表达能力。

2、为了达到上述目的，本发明的基础方案为：一种两阶段全3d动脉瘤分割方法，包括如下步骤：

3、获取3d动脉瘤检测图像，并进行预处理；

4、采用随机数据增强方法，对预处理后的3d动脉瘤检测图像进行数据增强；

5、在数据增强后的3d动脉瘤检测图像上生成多个样本；

6、通过神经网络架构搜索，优化粗检测网络；

7、基于多个样本，训练粗检测网络，并提取样本中的感兴趣区域；

8、将感兴趣区域作为输入，训练精分割网络，精分割网络将感兴趣区域内的动脉瘤与背景分割，得到最终的精分割图像。

9、本基础方案的工作原理和有益效果在于：本技术方案在第一阶段使用训练好的粗检测网络对输入图像进行推理，快速定位动脉瘤目标的位置。通过粗检测网络，可以获得候选的动脉瘤目标区域，这些区域被认为有较高的概率包含动脉瘤。

10、在第二阶段，将第一阶段得到的候选动脉瘤目标区域提取出来，并使用训练好的精分割网络对这些区域进行进一步的精准分割。精分割网络会对每个候选区域进行像素级别的预测，将动脉瘤目标与背景进行区分。通过两阶段推理的方法，能够充分利用粗检测网络的快速定位能力和精分割网络的精细分割能力。

11、粗检测阶段可以快速筛选出候选区域，减少了对整个图像进行分割的计算量。而精分割阶段则对候选区域进行更加精确的分割，提高了动脉瘤分割的准确性和细节表达能力。这种方法在实际应用中能够有效地提高动脉瘤检测和分割的效果，并且具有较高的计算效率，适用于处理大规模和复杂的医学图像数据。

12、进一步，对3d动脉瘤检测图像进行预处理的方法为：

13、移除标签体素低于阈值的图像数据，再对图像进行重采样、标准化和归一化处理；

14、假设原始图像的像素间距为original_spacing，原始图像的尺寸为original_size，新的像素间距为new_spacing，新的图像尺寸为new_size；双线性插值操作用函数interpolate表示，重采样为：

15、

16、new_size＝original_size×scale_factor

17、resampled_image＝interpolate(original_image,new_size)

18、其中，scale_factor是缩放因子，resampled_image是重采样后图像，original_image是原始图像；

19、根据动脉瘤原始图像的分割标签生成对应的目标检测标签，通过计算分割标签的最小外接矩阵得到目标检测标签：

20、bbox＝(min_row,min_col,max_row,max_col,min_slice,max_slice)

21、其中，bbox为最小外接矩阵，表示矩形框左上角和右下角的坐标，具体为min_row，min_col是最小行、列值；max_row，max_col为最大行、列值；min_slice，max_slice为最小、最大切片值；

22、通过外接矩阵得到中心坐标(x，y，z)和半径信息：

23、

24、

25、

26、rx＝(bbox[3]-bbox[0]+expandnumber)×elearr[0]

27、ry＝(bbox[4]-bbox[1]+expandnumber)×elearr[1]

28、rz＝(bbox[5]-bbox[2]+expandnumber)×elearr[2]

29、r＝max(rx,ry,rz)

30、其中，bbox[0]，bbox[1]，bbox[2]，bbox[3]，bbox[4]，bbox[5]分别对应最小外接矩阵包含的min_row,min_col,max_row,max_col,min_slice,max_slice；rx，ry，rz分别是x，y，z轴的半径；expandnumber为扩展像素值，为2；elearr是像素间距，offarr是偏移量；最终的目标检测标签格式为：img_info＝{’box’:boxes,’image’:image_name,’label’:labels}，分别为检测框信息，图片路径，动脉瘤标识。

31、预处理步骤，有助于提高数据质量和网络训练的稳定性。

32、进一步，通过神经网络架构搜索，优化粗检测网络的方法如下：

33、定义粗检测网络的搜索空间，搜索空间包括网络的层结构、连接方式、通道数，卷积层的深度和宽度、使用的激活函数、池化方式以及其他超参数的选择范围；

34、在神经架构搜索中，首先搜索中间块和输出块的尺度排列，由于存在n个中间块和输出块，已固定5个输出块的顺序，得到一个规模为(n-5)！5！的搜索空间，搜索空间的大小为搜索的是连接的方式，即父块是具有较低排序的任何块或来自干部网络的块，其中m是茎干网络中候选块的数i量＝m，表示每个块有2个输入连接的可能性，n是中间块的总数量；

35、为搜索空间中的每个块定义两个输入连接，父块是任何具有较低排序的块或来自茎干网络的块，当连接不同特征层级的块时，对空间和特征维度进行重新采样；

36、允许块调整其尺度级别和类型，中间块通过{-1,0,1,2}进行尺度调整，得到一个规模为4n-5的搜索空间，所有块在瓶颈块和残差块中选择，得到规模为2n的搜索空间；

37、利用搜索算法，通过评估不同的网络结构并根据预定义的目标函数进行优化，选择性地生成和评估新的候选结构；

38、在搜索算法的指导下，根据搜索空间生成一系列候选网络结构，并将其训练和评估，将3d动脉瘤检测图像划分为训练集和测试集，每个候选结构都在训练集上进行多轮迭代的训练，然后在验证集上进行评估，根据性能指标对其进行排序；

39、根据评估结果，对搜索空间进行更新，寻找更优的网络结构；

40、搜索过程根据预定义的结束条件来终止，在搜索结束后，根据评估指标选择具有最佳性能的网络结构作为最终的优化结果。

41、通过在搜索空间中引入块调整，进一步改进了模型的性能。

42、进一步，在进行跨尺度特征融合时，父块和目标块之间可能存在分辨率和特征维度的差异，故而设计重采样操作以使分辨率和特征维度匹配目标块，对于瓶颈块：cin＝cout＝4c，对于残差块：cin＝cout＝c；c表示残差块或瓶颈块中3×3卷积的特征维数；cin,cout分别表示块的输入，输出维度；

43、采用最近邻插值进行上采样或者步长为2的3×3卷积进行下采样，以匹配特征图，最后采用1×1卷积与目标特征维度进行匹配。

44、操作简单，便于使用。

45、进一步，所述粗检测网络包括特征提取器、特征金字塔网络、分类头和回归头；

46、所述特征提取器用于从输入的三维图像中提取特征，特征提取器使用一个基于残差网络的骨干网络，骨干网络由多个层级组成，每个层级包含多个残差块，通过多个残差块来构建深层特征表示，残差块包括卷积层，批归一化层，激活函数，以及下采样操作；

47、特征金字塔网络用于跨不同尺度的特征融合，以便在不同尺度上检测目标；特征金字塔网络包括内部块和层级块，内部块通过卷积层将骨干网络中的特征进行降维或升维以匹配不同尺度上的特征，层级块通过卷积层融合不同尺度的特征；

48、分类头用于预测目标的类别，分类头包括一系列卷积层，分组归一化层，激活函数，以及用于预测类别概率的最后一层卷积层；

49、回归头用于预测目标的边界框，回归头包括卷积层，分组归一化层，激活函数以及最后一层卷积层，该最后一层卷积层用于预测边界框的坐标和尺寸。

50、网络结构在目标检测任务中具有较好的性能，并且能够快速定位动脉瘤目标。

51、进一步，训练精分割网络的方法如下：

52、对感兴趣区域尺寸进行裁剪和缩放；

53、将尺寸改变后的感兴趣区域输入编码器内，进行特征提取，编码器包括多个卷积层和池化层，逐步提取图像的高层语义特征；

54、引入自注意力机制，设计一种自适应学习缩放注意力模块和交叉缩放注意力模块，在注意力机制中引入一个可学习的参数，用于调整注意力计算中的缩放因子；

55、经过编码器和自注意力机制的处理，得到的特征图被送入解码器进行特征融合和分割结果生成；解码器包括一系列卷积转置层和上采样操作，逐步恢复特征图的空间分辨率，并生成像素级别的分割预测结果。

56、设计一种具有自适应学习缩放注意力以及交叉缩放注意力机制的u-net分割网络，该网络结构能够更加精确地划分图像。

57、进一步，所述自适应学习缩放注意力模块将最高特征图中的每个元素相互连接，获得一个包含所有输入图像的接受域；

58、为适应动脉瘤分割多尺寸的需求，引入缩放因子scale_factor作为可学习的参数；

59、在训练过程中，缩放因子scale_factor根据模型的损失函数进行梯度更新，使得模型能够自适应地调整注意力缩放的程度,定义损失函数losssf：

60、losssf＝mse(predicted,target)+λ·regularization(scale_factor)

61、其中，mse(predicted,target)是均方误差(mean squared error)，用于度量模型输出与目标值之间的差异；regularization(scale_factor)是缩放因子的正则化项，选择使用l1正则化，以帮助控制缩放因子的大小和稀疏性,λ是正则化项的权重，用于平衡损失函数中的两部分；

62、自适应学习缩放注意力模块为：

63、

64、注意力矩阵attention(q,k,v)中的每一行对应于查询矩阵q中的一个给定元素相对于键矩阵k中所有元素的相似性，注意力函数执行值矩阵v元素的加权平均，以考虑查询和键之间的所有交互；在分割任务中，矩阵q、k和v具有相同的大小，并对应于最高级别特征图x的不同学习嵌入，嵌入矩阵分别表示为wq、wk和wv；a表示注意力权重，wqqkt中wqq表示对查询q进行线性变换，将查询的特征映射到一个新的空间，然后与kt进行点积运算，得到查询与键之间的相似性矩阵，整体表示通过学习的权重矩阵对查询和键进行线性变换，并计算它们之间的相似性，用于确定不同位置之间的关联程度。

65、可学习的缩放因子可以使模型更加灵活地适应不同任务、不同输入分布以及不同注意力头之间的差异。

66、进一步，所述交叉缩放注意力模块通过跳跃连接特征中对高级别特征图的关注来降低不相关区域的影响，并突显对目标区域具有显著影响的区域；

67、假设fl表示来自较低层级的特征图，fh表示来自较高层级的特征图，a表示注意力权重，那么交叉缩放注意力模块的输出fcross_scale表示为：

68、fcross_scale＝a⊙fh+(1-a)⊙fl

69、其中，⊙表示逐元素相乘，注意力权重a通过自适应学习缩放注意力；交叉缩放注意力模块的结构通过对跳跃连接s进行门控操作，该门控操作基于对高级别特征图y的注意力；计算得到的权重值通过sigmoid激活函数重新缩放到0到1之间。

70、交叉缩放注意力模块的思想是通过跳跃连接特征中对高级别特征图的关注来降低不相关区域的影响，并突显对目标区域具有显著影响的区域。

71、本发明还提供一种两阶段全3d动脉瘤分割系统，包括图像采集模块和处理模块，所述图像采集模块用于获取3d动脉瘤检测图像，图像采集模块的输出端与处理模块的输入端连接，所述处理模块执行本发明所述方法，进行全3d动脉瘤分割。

72、利用该系统采用两阶段的分割方法，实现更加准确和细致的分割。