一种基于数据增强的医学图像分割方法

本发明属于医学影像处理领域，涉及医学影像图形的分割方法，具体为一种基于数据增强的医学图像分割方法。

背景技术：

1、随着医学影像技术的蓬勃发展，医学影像在临床医疗中有着广泛和深入的应用。据统计，全球每年有几千万病例通过医学影像进行辅助诊断和治疗。在基于医学影像诊断和治疗的传统方法中，医师对医学影像数据进行阅读、识别，并对疾病的诊断和治疗做出判断。这种诊疗方式非常低效，且个体差异大，医生凭个人的经验很容易漏诊和误诊，长时间阅片会导致医生疲劳，阅片准确率下降。随着人工智能的兴起，通过用机器预先对影像数据的筛选和判断，标注重点可疑区域，再交由医生进行诊断和治疗，可以大大减轻医生的工作量，且结果全面、稳定和高效。因此，人工智能在医学影像领域内具有重要的应用前景。

2、在传统的医学图像分割任务中，为了能够充分地训练神经网络，达到高准确率的结果，需要准备大量相关的医学影像数据，并且需要对这些医学影像数据进行人工的像素级标注。医学疾病多种多样，对应的医学图像也是多种多样，利用深度学习进行医学影像分割，每种疾病对应的医学影像都需要进行人为的手工标注，耗费大量的人力物力。即使是最大的医学图像公共数据集，也只能提供有限的语义类别的像素级标注样本。高质量的数据在医学图像数据集中稀缺，严重限制语义分割模型的精确度。

3、因此医学图像分割任务中通常是通过数据增强的方式扩充数据集，然后再基于扩充后的数据集训练医学图像分割模型。目前主流的数据增强方式有仿射变换(affinetransformation)、图像配准(image registration)和生成对抗网络(gan,generative adversarial networks)。仿射变换的缺点在于生成的图像质量较差；图像配准的缺点在于需要可靠的特征提取和鲁棒的特征一致性；而生成对抗网络的缺点则是医学图像特征提取不够充分、对抗训练的计算量大等。因此，当前需要一种新的基于数据增强的医学图像分割方法，以解决以上问题。

技术实现思路

1、本发明要解决的问题是：在医学图像分割技术中，由于带标签数据集稀缺，且基于仿射变换的医学图像分割技术、基于图像配准的医学图像分割技术和基于生成对抗网络的医学图像分割技术在图像成像质量、特征提取和计算量方面仍然需要改善。

2、为了解决上述问题，本发明提供了一种基于数据增强的医学图像分割方法。该方法将循环生成对抗网络(cyclegan,cycle-consistent generative adversarialnetworks)的循环一致性思想融入图像配准中实现数据增强的目的，使得生成图像的质量更高，以便训练图像分割网络。同时本发明采用的是固定源图像的图像配准方法，即在训练过程和测试过程中使用的是同一幅图像作为源图像。该方法包括以下步骤：

3、1)收集大量规定尺寸的核磁共振医学图像，其中包括少量的带标签图像以及大量的不带标签图像，假设共有n幅图像；

4、2)首先选定一幅带标签图像作为源图像，除源图像外其余的n-1幅图像作为目标图像。每次选择一幅目标图像和该源图像成对地作为输入送入基于循环一致性的空间结构配准网络进行训练，经过多次迭代优化后，得到该源图像对应的基于循环一致性的空间结构配准网络；

5、3)依次将除源图像外其余的n-1幅图像作为目标图像与选定的源图像成对地输入训练后的基于循环一致性的空间结构配准网络，获得n-1个空间变换配准域；

6、4)然后仍然将2)选定的图像作为源图像，除源图像外其余的n-1幅图像作为目标图像。每次选择一幅目标图像和该源图像成对地作为输入送入基于循环一致性的外观结构配准网络进行训练，经过多次迭代优化后，得到该源图像对应的基于循环一致性的外观结构配准网络；

7、5)依次将除源图像外其余的n-1幅图像作为目标图像与选定的源图像成对地输入训练后的基于循环一致性的外观结构配准网络，获得n-1个外观变换配准域；

8、6)将选定的源图像依次和3)得到的n-1个空间变换配准域进行运算，即得到n-1幅具有不同空间结构的生成图像；

9、7)将选定源图像的分割标签依次和3)得到的n-1个空间变换配准域进行运算，即得到这n-1幅具有不同空间结构的生成图像的分割标签；

10、8)将这n-1幅具有不同空间结构的生成图像依次分别和5)得到的n-1个外观变换配准域进行运算，即可得到(n-1)×(n-1)幅具有不同空间结构和不同外观结构的最终生成图像；

11、9)将8)和7)生成的(n-1)×(n-1)幅带标签图像训练图像分割网络；

12、10)输入待分割图像，输出该图像对应的分割标签。

13、进一步，所述步骤2)中训练基于循环一致性的空间结构配准网络，具体是：

14、2.1)基于循环一致性的空间结构配准网络包含两个voxelmorph子网；

15、2.2)首先选定一幅带标签图像作为源图像xs，同时任选一幅和源图像xs不同的图像作为目标图像ys，然后将源图像xs和目标图像ys作为输入送入到第一个voxelmorph网络之中，得到空间变换配准域τs；

16、2.3)将源图像xs和空间变换配准域τs进行运算，得到与目标图像ys空间结构相似的生成图像

17、2.4)再次将作为源图像，xs作为目标图像，将两者作为输入送入到第二个voxelmorph网络之中，得到空间变换配准域

18、2.5)将源图像和空间变换配准域进行运算，得到与目标图像xs空间结构相似的生成图像

19、2.6)如下一致性损失函数所示，xs作为基于循环一致性的空间结构配准网络的源图像，为经过基于循环一致性的空间结构配准网络配准后生成的图像。通过一致性损失函数的约束，使得生成图像和源图像xs的空间结构更为相似。一致性损失函数为：

20、

21、2.7)在训练过程中，为了最大化基于循环一致性的空间结构配准网络的性能，往往会使网络产生不连续的空间变换配准域，因此要对预测的空间变换配准域施加一个空间平滑性的约束，即对空间变换配准域的空间梯度进行惩罚，平滑损失函数为：

22、

23、其中，τs和分别代表了2.2)和2.4)中得到的空间变换配准域，ω代表了空间变换配准域中所有点的集合，p代表了两个空间变换配准域中相同位置的一个点。

24、2.8)通过总损失函数对基于循环一致性的空间结构配准网络进行约束，损失函数如下：

25、

26、其中，xs作为源图像，作为图像和配准域的运算符，λs作为超参数。

27、2.9)经过多次迭代优化，得到该源图像对应的基于循环一致性的空间结构配准网络。

28、进一步，所述步骤3)中获得n-1个空间变换配准域，具体是：

29、3.1)将2)选定的xs作为源图像，除源图像xs外其余的n-1幅图像y2,y3，…，yi，…，yn分别作为目标图像，依次输入2)中训练得到的基于循环一致性的空间结构配准网络，即可得到n-1个空间变换配准域：

30、进一步，所述步骤4)中训练基于循环一致性的外观结构配准网络，具体是：

31、4.1)基于循环一致性的外观结构配准网络包含两个active appearance子网；

32、4.2)选择和2.2)相同的图像作为源图像xa，任选一幅和源图像xa不同的图像作为目标图像ya，然后将源图像xa和目标图像ya作为输入送入到第一个active appearance网络之中，得到外观变换配准域τa；

33、4.3)将源图像xa和外观变换配准域τa进行运算，得到与目标图像ya外观结构相似的生成图像

34、4.4)再次将作为源图像，xa作为目标图像，将两者作为输入送入到第二个active appearance网络之中，得到外观变换配准域

35、4.5)将源图像和外观变换配准域进行运算，得到与目标图像xa外观结构相似的生成图像

36、4.6)如下一致性损失函数所示，xa作为基于循环一致性的外观结构配准网络的源图像，为经过基于循环一致性的外观结构配准网络配准后生成的图像。通过一致性损失函数的约束，使得生成图像和源图像xa的外观结构更为相似。一致性损失函数为：

37、

38、4.7)在训练过程中，为了最大化基于循环一致性的外观结构配准网络的性能，往往会使网络产生不连续的外观变换配准域，因此要对预测的外观变换配准域施加一个空间平滑性的约束，即对外观变换配准域的空间梯度进行惩罚，平滑损失函数为：

39、

40、其中，τa和分别代表了4.2)和4.4)中得到的外观变换配准域，ω代表了外观变换配准域中所有点的集合，p代表了两个外观变换配准域中相同位置的一个点。

41、4.8)通过总损失函数对基于循环一致性的外观结构配准网络进行约束，损失函数如下：

42、

43、其中，xa作为源图像，作为图像和配准域的运算符，λ作为超参数。

44、4.9)经过多次迭代优化，得到该源图像对应的基于循环一致性的外观结构配准网络。

45、进一步，所述步骤5)中获得n-1个外观变换配准域，具体是：

46、5.1)将2)中的图像xs作为源图像xa，除源图像xa外其余的n-1幅图像y2,y3，…，yi，…，yn分别作为目标图像，依次输入4)中训练得到的基于循环一致性的外观结构配准网络，即可得到n-1个外观变换配准域：

47、进一步，所述步骤6)中获得n-1幅具有不同空间结构的生成图像，具体是：

48、6.1)将选定的源图像xs依次与n-1个空间变换配准域：进行运算，即可得到n-1幅空间结构分别和目标图像y2,y3，…，yi，…，yn相似的生成图像

49、进一步，所述步骤7)中获得6)中n-1幅具有不同空间结构的生成图像的分割标签，具体是：

50、7.1)将选定源图像xs的分割标签ls依次与n-1个空间变换配准域：进行运算，即可得到生成图像对应的分割标签：

51、进一步，所述步骤8)中获得(n-1)×(n-1)幅具有不同空间结构和不同外观结构的最终生成图像，具体是：

52、8.1)分别将生成图像作为源图像和外观变换配准域进行运算,即可得到外观结构分别和目标图像y2,y3，…，yi，…，yn相似的生成图像

53、8.2)由于经过外观变换配准域配只改变源图像的外观结构，而不改变源图像的空间结构，因此，生成的(n-1)×(n-1)幅具有不同空间结构和不同外观结构的图像：对应的分割标签为：

54、本发明提供了一种基于数据增强的医学图像分割方法。该方法基于医学图像缺乏带标签数据集的现状，通过数据增强的方法扩充数据集进而用来训练分割网络。该方法通过图像配准的方法，并且借鉴了循环生成对抗网络的循环一致性思想，通过基于循环一致性的空间结构配准网络和基于循环一致性的外观结构配准网络生成空间变换配准域和外观变换配准域，同时通过循环一致性损失进一步提升和优化图像配准的准确性；然后通过生成的空间变换配准域和外观变换配准域进行图像配准，从而达到扩充带标签数据集的目的，最终用来训练图像分割网络。应用本发明，解决了带标签医学图像数据集稀缺的问题，并且进一步提升了生成图像的质量。本发明适用于多个部位的医学图像分割，计算复杂度较低，分割结果准确，算法鲁棒性好。本发明在医学图像分割领域有着广泛的应用。

55、本发明的优点：首先，本发明基于医学图像分割缺乏带标签数据集的现状，使用数据增强的方式提升了医学图像分割网络的性能，同时也生成了大量带标签的医学图像以便其它任务使用；其次，本发明借鉴了循环生成对抗网络的思想，保证了生成图像的质量。