一种多模态MRI脑肿瘤图像分割方法

本发明涉及图像处理，特别涉及一种多模态mri脑肿瘤图像分割方法。

背景技术：

1、脑肿瘤分割是一种从灰质、白质和脑脊液等正常的脑组织中,分离水肿、活跃和肿瘤坏死组织等不同的脑肿瘤结构的一种脑肿瘤辅助诊断技术。针对脑肿瘤，临床较早的发现和检测到颅内病变，并加以针对性的治疗，是减少和降低脑肿瘤对人类的健康危害的有效途径之一。由于肿瘤在颅内产生,只能通过非侵入式显影方式，如ct和mri等技术分析脑组织的病变状态。在这些影像中肿瘤结构仅以灰度变化表征,不同设备不同条件获得的显影图像也可能有所差别,使得传统的图像分割方法很难较好地处理脑肿瘤图像的分割问题。

2、随着mri成像技术的不断成熟，多模态mri图像的逐渐普及。多模态mri成像是指利用不同的mri序列和参数设置获取不同的图像模态：如flair模态图像、t1ce模态图像、t1模态图像、t2模态图像。通过获取和融合不同的图像模态，综合利用它们各自优势的对比度和信息，提供更全面、准确的图像解剖和病理信息，有助于进行疾病的诊断、定位和评估。

3、神经网络模型，如卷积神经网络cnn、u-net、deeplab等，具备强大的自动学习能力。这些模型可以通过大规模训练数据进行训练，学习到肿瘤与正常组织之间的特征表示和区分，辅助医生作出诊断决定。

4、然而，在使用神经网络对多模态mri脑肿瘤图像进行分割时，传统损失函数在对网络进行训练时只关注像素级别的匹配程度，不考虑分割目标整体结构的问题。

技术实现思路

1、本发明提供一种多模态mri脑肿瘤图像分割方法，可以解决现有技术中，使用神经网络模型进行图像分割时，传统损失函数只关注像素级别的匹配程度，不考虑分割目标整体结构的问题。

2、本发明提供一种多模态mri脑肿瘤图像分割方法，包括:

3、获取多模态脑肿瘤mri图像，构建多模态mri脑肿瘤图像数据集；

4、构建用于多模态mri脑肿瘤图像分割的unet网络；

5、将所述多模态mri脑肿瘤图像数据集输入到所述unet网络中对所述unet网络进行训练，训练过程中使用的损失函数是改进后的损失函数：

6、

7、

8、

9、

10、其中，

11、是dice损失函数，是引入的梯度约束；

12、n是图像的总像素点个数；

13、pi是第i个像素点被预测为肿瘤像素点的概率；

14、

15、θj(pi)、θj(gi)分别是被预测为肿瘤像素点概率大于0.5的像素点、真实肿瘤像素点在j方向上的梯度值，j∈ω，ω＝{0°，45°，90°，135°}；

16、npre是预测为肿瘤像素点概率大于0.5的像素点个数，ntru是真实肿瘤像素点个数；

17、将待分割的多模态mri脑肿瘤图像输入到训练完成的unet网络中进行分割。

18、进一步的，所述获取多模态脑肿瘤mri图像，构建多模态mri脑肿瘤图像数据集，包括：

19、获取多模态脑肿瘤mri图像，包括：flair模态图像、t1ce模态图像、t1模态图像、t2模态图像；

20、通过去噪、图像配准、亮度标准化、空间分辨率调整对获取的多模态mri脑肿瘤图像进行预处理；

21、使用图像标注工具labelme将预处理后的多模态mri脑肿瘤图像中的肿瘤区域标记出来，创建分割标签；

22、将多模态脑肿瘤mri图像数据划分为训练集、验证集和测试集；

23、通过随机旋转、平移、缩放、翻转，以及添加噪声对训练集数据进行数据增强。

24、进一步的，所述构建用于多模态mri脑肿瘤图像分割的unet网络，包括：

25、4个结构相同的特征提取模块，所述4个结构相同的特征提取模块的输入分别为flair模态图像、t1ce模态图像、t1模态图像、t2模态图像；

26、1个反卷积模块，所述反卷积模块的输入为所述特征提取模块的输出；

27、输出模块，所述输出模块由softmax函数构成。

28、进一步的，所述特征提取模块，包括：

29、第一卷积块，包括卷积层，将各模态图像输入第一卷积块进行特征提取获得第一层卷积输出；

30、第二卷积块，包括最大值池化层和卷积层，将第一层卷积输出输入到第二卷积块，依次经过最大值池化和卷积操作后获得第二层卷积输出；

31、第三卷积块，包括最大值池化层和卷积层，将第二层卷积输出输入到第三卷积块，依次经过最大值池化和卷积操作后获得第三层卷积输出；

32、第四卷积块，包括最大值池化层和卷积层，将第三层卷积输出输入到第四卷积块，依次经过最大值池化和卷积操作后获得第四层卷积输出；

33、第五卷积块，包括最大值池化层，将第四层卷积输出输入到第五卷积块，经过最大值池化操作后获得第五层卷积输出。

34、进一步的，所述反卷积模块，包括：

35、第一反卷积块，包括反卷积层，所述第一反卷积块的输入是将4个特征提取模块中第五层卷积输出合并所得到的结果，其输出是第一反卷积输出；

36、第二反卷积块，包括反卷积层和上采样层，所述第二反卷积块的输入是将所述第一反卷积输出、4个所述第四层卷积输出合并后所得到的结果，其输出是第二反卷积输出；

37、第三反卷积块，包括反卷积层和上采样层，所述第三反卷积块的输入是将所述第二反卷积输出、4个所述第三层卷积输出合并后所得到的结果，其输出是第三反卷积输出；

38、第四反卷积块，包括反卷积层和上采样层，所述第四反卷积块的输入是将所述第三反卷积输出、4个所述第二层卷积输出合并后所得到的结果，其输出是第四反卷积输出。

39、进一步的，所述输出模块，其输入是将所述第四反卷积输出、4个第一层卷积输出合并后所得到的结果，其输出是分割图像。

40、本发明实施例提供一种多模态mri脑肿瘤图像分割方法，与现有技术相比，其有益效果如下：

41、本发明通过引入预测肿瘤块整体梯度和实际肿瘤块整体梯度的差异对损失函数进行改进。由于实际肿瘤块的整体梯度可以提供关于肿瘤边界的信息，而预测肿瘤块的整体梯度可以表示网络对边界的预测能力，通过使这两者的差异最小化，可以鼓励网络生成更平滑的分割边界。除此之外，整体梯度可以提供关于肿瘤边界和形态的信息，网络在优化这个损失函数时会被迫更好地模拟这些特征，从而提高分割的精度。

技术特征：

1.一种多模态mri脑肿瘤图像分割方法，其特征在于，包括:

2.根据权利要求1所述的一种多模态mri脑肿瘤图像分割方法，其特征在于，所述获取多模态脑肿瘤mri图像，构建多模态mri脑肿瘤图像数据集，包括：

3.根据权利要求1所述的一种多模态mri脑肿瘤图像分割方法，其特征在于，所述构建用于多模态mri脑肿瘤图像分割的unet网络，包括：

4.根据权利要求3所述的一种多模态mri脑肿瘤图像分割方法，其特征在于，所述特征提取模块，包括：

5.根据权利要求4所述的一种多模态mri脑肿瘤图像分割方法，其特征在于，所述反卷积模块，包括：

6.根据权利要求5所述的一种多模态mri脑肿瘤图像分割方法，其特征在于，所述输出模块，其输入是将所述第四反卷积输出、4个第一层卷积输出合并后所得到的结果，其输出是分割图像。

技术总结
本发明公开一种多模态MRI脑肿瘤图像分割方法，涉及图像分割技术领域。包括：获取多模态脑肿瘤MRI图像，构建图像数据集；构建用于图像分割的Unet网络；将数据集输入到Unet网络中，使用改进后的损失函数对Unet网络进行训练；将待分割的脑肿瘤图像输入到训练好的Unet网络进行分割。本发明引入预测肿瘤块整体梯度和实际肿瘤块整体梯度的差异对损失函数进行改进，通过使预测肿瘤块整体梯度和实际肿瘤块的整体梯度的差异最小化，可以鼓励网络生成更平滑的分割边界。除此之外，整体梯度可以提供关于肿瘤边界和形态的信息，网络在优化这个损失函数时会被迫更好地模拟这些特征，从而提高分割的精度。

技术研发人员：邢琦玮,李植花,苟和平,唐国纯
受保护的技术使用者：琼台师范学院
技术研发日：
技术公布日：2024/1/15