一种基于U-Net的眼眶肿瘤图像分割方法

本发明涉及计算机辅助诊断，尤其涉及一种基于u-net的眼眶肿瘤图像分割方法。

背景技术：

1、眼眶肿瘤是一种常见的具有失明、残疾的肿瘤疾病。如果不及时诊断和治疗，眼眶肿瘤可导致视力丧失，对生命构成严重威胁。因此，设计一种眼眶肿瘤图像的精确分割方法是非常有必要的。在临床实践中，眼眶肿瘤的形状和位置是诊断的关键线索。此外，人们还提出了许多基于分割的方法来提取这些线索。

2、近年来，基于编解码器的卷积神经网络被广泛应用于医学图像分割任务中，通常采用单个输入张量流结构，如u-net、attention u-net和double u-net。然而，单张量流体系结构很难学习具有大变化的数据的鲁棒性特征。为了解决这一问题，本文提出了一种名为tribranch u-net的多分支网络，分别学习大型和小尺度区域的特殊特征，使网络对大小变化敏感，并提供更好的特征表示。

技术实现思路

1、针对现有技术中存在的不足，本发明提供一种基于u-net的眼眶肿瘤图像分割方法。

2、本发明提出了一种大小敏感的分割网络，该网络设计了一种针对大小区域的自适应学习特征的多分支架构，从而提高了分割的大小鲁棒性。具体而言，我们设计了一个小分支结构，它可以更好地捕捉小尺度区域的特征，以及一个大分支结构，它可以更好地捕捉大尺度区域的特征。我们对私有眼眶肿瘤数据集和公共数据集cvcclinicdb进行了全面的实验。结果表明，我们的tribranch u-net在处理不同大小的区域时表现得更好。

3、一种基于u-net的眼眶肿瘤图像分割方法，具体包括以下步骤：

4、步骤1，眼眶肿瘤数据集的采集；

5、步骤2，数据的预处理；

6、步骤3，构建基于u-net的眼眶肿瘤图像分割模型；

7、步骤4，通过预处理后的数据集训练眼眶肿瘤图像分割模型；

8、步骤5，利用训练好的模型参数，实现眼眶肿瘤图像分割模型在眼眶肿瘤图像上的肿瘤区域分割。

9、进一步的，步骤1具体方法如下；

10、步骤一中所述的眼眶肿瘤图像采集的私有数据样本包含64例患者，其中35例为血管瘤，其余29例为淋巴瘤。每个患者术前进行多次ct扫描，得到602张3d ct图像。然后，步骤二所述的数据预处理：根据7：1：2的窗口宽度为-500～500的比例将患者随机分为训练、验证和测试集。

11、进一步的，步骤2具体方法如下；

12、对采集的3d ct图像沿着x轴方向切分从而得到2d的ct图像并将其通过缩放转换为352x352像素的单通道灰度图像。

13、进一步的，步骤3具体方法如下；

14、所述的基于u-net的眼眶肿瘤图像分割模型包括3个分支：主分支、小分支、大分支以及多尺度融合模块。

15、其中主分支由2个u形编码解码器构成。其中第一个u形编码解码器由vgg-19编码器、空洞空间卷积池化金字塔(aspp)模块以及基于残差卷积块(rcb)的解码器三个部分构成。rcb是由3x3的卷积层conv,批量标准化bn以及非线性函数relu构成，其计算如下：

16、z′＝relu(bn(conv(relu(bn(conv(z))))+relu(bn(conv(z))))),

17、其中z为rcb的输入特征，z′为rcb的输出特征。第一个u形编码解码器首先将来自步骤2预处理的眼眶肿瘤图像送入vgg-19编码器提取高级的语义特征，接着将该语义特征送入aspp模块中提取多尺度的特征信息，然后将aspp输出的特征送入基于rcb的解码器获得高级的语义特征，最后将该特征和输入图像的浅层特征相乘来弥补浅层信息的丢失，从而获得初步的预分割特征。第二个形如u-net的u形编码解码器，不同于u-net的是其编码器和解码器中的卷积被rcb模块所替代，并在编码器后添加了aspp模块来捕获多尺度信息。第二个u形编码解码器通过接收第一个u形编码解码器的预分割特征并输出主分支的分割特征。

18、小分支接收来自主分支第一个u形编码解码器输出的预分割特征，其包括3个部分：由2个rcb构成的编码器，解码器以及aspp模块。由于小分支降采样次数较少，从而具有较高的特征分辨率，可以保留更多的小尺度特征信息。通过小分支对主分支第一个u形编码解码器输出的预分割特征进行处理得到小分支的预测特征。

19、大分支同样接收自主分支第一个u形编码解码器输出的预分割特征，其包括3个部分：由4个空洞残差卷积块(arcb)构成的编码器，解码器以及aspp模块。其中arcb模块不同于rcb模块，其将rcb中的由3x3卷积层，bn层以及relu层构成的跳跃连接分支换成了由空洞卷积构成的跳跃连接。大分支相比小分支而言采用较深的卷积层以及使用膨胀系数为3的空洞卷积，从而较好的扩大感受野有利于捕捉大尺度特征信息。通过大分支对主分支第一个u形编码解码器输出的预分割特征进行处理得到大分支的预测特征。

20、最后，为了获得最终的分割预测图，直接在通道上将小分支、主分支、大分支的预测特征进行连接并通过由压缩-提取块(se blocks)、1x1卷积层以及sigmoid函数构成的多尺度融合模块进行最终的预测。

21、进一步的，步骤4具体方法如下；

22、眼眶肿瘤图像分割模型的输入是来自步骤2预处理后的图像。前向推理时，预处理图像x分别经过主分支第一个u形编码解码器、主分支第二个u形编码解码器、小分支以及大分支分别产生4个分割预测结果p，为了训练时监督每个分支的分割预测结果的好坏，利用dice损失l对分别对每个分支预测特征进行监督。其中l的计算如下：

23、

24、其中yi为第i个输入预处理图像xi的真实掩膜。n为输入样本的总样本量。ε是一个非常小的正数，防止分母为0。训练时，除了监督三个分支的预测结果，还需要对三个分支融合后的特征利用dice损失进行监督。因此，网络训练时的总体损失函数如下：

25、l＝lpre+lsmall+lmain+llarge+lfusion，

26、其中lpre用于对主分支第一个u形编码解码器输出预分割特征利用dice损失进行监督。lsmall用于对小分支输出分割特征利用dice损失进行监督。lmain用于对主分支第二个u形编码解码器输出分割特征利用dice损失进行监督。llarge用于对大分支输出分割特征利用dice损失进行监督。lfusion用于对三个分支特征融合后输出的分割特征利用dice损失进行监督。

27、进一步的，步骤5具体方法如下；

28、通过保存步骤4中训练的眼眶肿瘤图像分割模型在验证集时精度最高时的参数作为最终模型最佳参数，并利用该保存后的模型参数进行在眼眶肿瘤测试集上的肿瘤区域的自动预测。

29、本发明相比于现有技术而言，具有以下有益效果：

30、1)本发明的网络架构模型对于尺度变化明显的病情肿瘤区域能有较好的尺度敏感性，从而有利于改善分割模型对一些尺度变化大的难样本的分割精度。

31、2)本发明的大分支网络架构，通过将空洞卷积引入到残差卷积块中，从而极大的增加了网络的对输入特征的感受野，从而便于网络对大尺度肿瘤区域的专有敏感性。

32、3)本发明的小分支网络架构，通过构建基于残差卷积的浅层编码和解码器来减少降采样的次数提供特征的分辨率的同时也引入了更多的小尺度的底层信息，从而更好的学习小尺度区域特征。