一种全面特征融合的闭合轮廓提取的方法

本发明涉及医学图像处理，尤其涉及一种全面特征融合的闭合轮廓提取的方法。

背景技术：

1、医学图像病变提取是医学图像处理领域的一个重要任务，它旨在从医学图像中准确地识别和提取出感兴趣的结构或区域。这些结构可以是器官、病变、血管等，对于诊断、治疗规划和疾病监测具有重要意义。

2、传统的医学图像病变提取方法通常涉及图像处理和计算机视觉技术，例如阈值法、区域生长、边缘检测等。这些方法对于简单的情况可能有效，但在复杂的医学图像中可能表现不佳。

3、近年来，深度学习方法在医学图像病变提取中取得了显著的进展。卷积神经网络（cnn）和其他深度学习架构被广泛用于医学图像病变提取任务。u-net、segnet、deeplab等架构被广泛应用于医学图像病变提取，它们能够学习到更复杂的特征表示，提高了分割的准确性。由于医学图像通常具有有限的标注数据，数据增强技术被广泛用于扩充训练数据，提高深度学习网络结构的泛化能力。

4、因此，本技术提供了一种全面特征融合的闭合轮廓提取的方法来解决上述问题。

技术实现思路

1、为了实现上述目的，本发明提供了一种全面特征融合的闭合轮廓提取的方法，可以提高深度学习网络结构的泛化能力。

2、本发明解决技术问题的技术方案为：一种全面特征融合的闭合轮廓提取的方法，包括如下步骤：

3、s1.收集数据：收集atlas数据集中的数据合成数据集，将数据集按比例划分为训练集和测试集；

4、s2.数据预处理：对训练集和测试集中的图像数据进行中心剪裁，再使用对剪裁后的图像数据进行归一化处理；

5、s3.训练网络结构：设置网络结构并配置网络，读取预处理后的训练集中的图像数据输入至网络结构中进行训练，多次重复训练并保存训练后的最优网络参数；

6、s4.测试网络结构：读取训练好的网络结果中的最优参数和测试集中的数据，输入至解码器得到最终的测试集的分割结果。

7、步骤s2具体如下：

8、确定训练集和测试集中图像的中心位置，并将图像的长、宽、高分别记作、和，计算过程如下：

9、，

10、，

11、，

12、，

13、，

14、，

15、其中，、和表示图像三个维度方向的起始位置，、和表示三个维度方向的终止位置，、和分别表示剪裁后的图像的三个维度大小；

16、使用对剪裁后的图像数据进行归一化处理，最终得到预处理后的训练集和测试集。

17、设置网络结构并配置网络，读取步骤s2中的预处理后的训练集和测试集中的图像数据输入至网络结构中进行训练，多次重复训练并保存训练后的最优网络参数，最优权重和偏置量，具体如下：

18、设置网络结构，网络结构由编码器、解码器、eufa模块和gfe模块组成；

19、编码器由五个卷积块组成，分别记为、、、、，五个卷积块均包含两个卷积核为[3,3,3]、步长为1、填充为1的卷积层，batchnorm层，relu激活函数和下采样系数为[2,2,2]的最大值池化，解码器由五个解码器块组成，分别记为、、、、，将eufa模块分别放置在，，，块后，分别记为、、、，将gfe模块分别放置在每个eufa模块与下层gfe模块之间的跳跃连接处，即与、与、与、与之间，记为、、、；

20、通过编码器的第一个卷积块读取训练集中的数据，经过的计算得到特征图，的维度是，将特征图输入到中，接收特征图后执行一次卷积输出特征图，的维度是；

21、计算公式为：

22、，

23、其中，代表卷积核为1×1的卷积计算，代表relu函数计算；

24、特征图经过得到特征图，的维度是，将编码器第二个卷积块得到的特征图输入到中，接收特征图和特征图后对将执行一次下采样后得到维度为的特征图，然后再将其与特征图融合，进行一次卷积计算后，输出得到特征图，的维度是；

25、计算公式为：

26、，

27、其中代表卷积核为1×1的卷积计算，代表特征图拼接，代表池化核为2的最大值池化计算；

28、特征图经过得到特征图，的维度是，将特征图输入到中，接收特征图、特征图和特征图后对执行两次下采样后得到维度为的特征图，对执行一次下采样后得到维度为的特征图，然后再将两者和特征图融合，进行一次卷积计算后，输出得到特征图，的维度是；

29、计算公式为：

30、，

31、其中代表卷积核为1×1的卷积计算，代表特征图拼接，代表池化核为2的最大值池化计算；

32、特征图经过得到特征图，的维度是，将特征图输入到中，接收特征图、特征图、特征图和特征图后对执行三次下采样后得到维度为的特征图，对执行两次下采样后得到维度为的特征图，对执行一次下采样后得到维度为的特征图，然后再将三者和特征图融合，进行一次卷积计算后，输出得到特征图，的维度是；

33、计算公式为：

34、，

35、其中代表卷积核为1×1的卷积计算，代表特征图拼接，代表池化核为2的最大值池化计算；

36、特征图经过得到特征图，的维度是，将特征图分别输入到解码器第一个卷积块和gfe模块中；

37、将特征图经过解码器第一个卷积块计算得到特征图，的维度是，接收输出的特征图和特征图，对执行一次上采样计算使其通道维度大小与相匹配，然后将卷积后的特征图和特征图进行加权，依次经过relu计算、卷积核为3的卷积计算和sigmoid计算后得到特征权重图，将得到的权重图分别与两个特征图和相乘后再进行加权，然后再进行一次卷积计算得到特征图，的维度为，将与特征图进行拼接，然后进行一次卷积核为1的卷积计算得到特征图，的维度为；

38、计算公式为:

39、，

40、其中，代表sigmoid计算，代表卷积核为1×1的卷积计算，代表特征图拼接，代表卷积核为2的上采样计算，代表relu函数计算；

41、将特征图经过解码器第二个卷积块计算得到特征图，的维度是；

42、接收特征图和特征图，对执行一次上采样计算使其通道维度大小与特征图的通道维度相匹配，然后将卷积后的特征图和特征图进行加权，依次经过relu计算、卷积核为3的卷积计算和sigmoid计算后得到特征权重图，将得到的权重图分别与两个特征图和相乘后再进行加权，然后再进行一次卷积计算得到特征图，的维度为，表示的通道数，、和分别表示图像的长度、宽度和高度；

43、计算公式为:

44、，

45、其中，代表sigmoid计算，代表卷积核为1×1的卷积计算，代表特征图拼接，代表卷积核为2的上采样计算，代表relu函数计算；

46、将特征图与特征图进行拼接，再进行一次卷积核为1的卷积计算得到输出，的维度是；

47、将特征图经过解码器第三个卷积块计算得到特征图，的维度是；

48、接收特征图和特征图，对执行一次上采样计算使其通道维度大小与特征图的通道维度相匹配，然后将卷积后的特征图和特征图进行加权，依次经过relu计算、卷积核为3的卷积计算和sigmoid计算后得到特征权重图，将得到的权重图分别与两个特征图和相乘后再进行加权，然后再进行一次卷积计算得到特征图，的维度为；

49、计算公式为:

50、，

51、其中，代表sigmoid计算，代表卷积核为1×1的卷积计算，代表特征图拼接，代表卷积核为2的上采样计算，代表relu函数计算；

52、将特征图与特征图进行拼接，再进行一次卷积核为1的卷积计算得到输出，的维度是；

53、将特征图经过解码器第四个卷积块计算得到特征图，的维度是；

54、接收特征图和特征图，对执行一次上采样计算使其通道维度大小与特征图的通道维度相匹配，将卷积后的特征图和特征图进行加权，依次经过relu计算、卷积核为3的卷积计算和sigmoid计算后得到特征权重图，将得到的权重图分别与两个特征图和相乘后再进行加权，然后再进行一次卷积计算得到特征图，的维度为；

55、计算公式为:

56、，

57、其中，代表sigmoid计算，代表卷积核为1×1的卷积计算；

58、将特征图与特征图进行拼接，再进行一次卷积核为1的卷积计算得到输出，的维度是；

59、将特征图经过解码器第五个卷积块计算得到特征图，的维度是；

60、、、和，，表示5组通道数、图像的长度、图像的宽度、和图像的高度；

61、经行网络配置的设置，使用cosineanneallinglr学习率调整策略，使用adam优化器，通过反向传播算法调整训练过程，保存计算出的网络结构的权重weight和偏置量bias；

62、通过多次迭代训练，不断的更新网络的权重weight和偏置量bias，保存最优的网络参数，完成对网络结构的训练。

63、步骤s4具体如下：读取训练好网络结构中保存的权重weight和偏置量bias，以及测试集数据，经过步骤s3中网络结构的计算，最终输出测试集的推理结果。

64、
技术实现要素：
中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案具有如下优点或有益效果：

65、本发明是一种改进的将局部特征融合与全局特征相结合的病变轮廓提取的方法，将编码器端的特征进行充分融合并继续输入到编码器中，并结合解码器端的高级特征，成功的实现了局部特征与全局特征相聚合。首先通过编码器端产生的低级特征融入到下层编码器中，如此循环，使得图像的低级特征和高级特征充分融合，编码器端融合出来的特征概率图与下层产生的特征概率图的输入到特征增强模块中，这不仅克服了边缘信息等低级特征模糊的问题，同时克服了病变组织大小区域差异大的问题。因此，本发明中的多尺度特征融合能够增强网络结构的鲁棒性，在图像的病变组织大小差异变化过大的情况下，利用不同尺度下的信息，能够更好的捕捉不同特征下的物体特征，增强网络结果的对于医学图像处理的性能。