基于深度学习和灰度信息的图像分割系统

本发明涉及一种分割系统，具体涉及一种用于小样本核磁共振数据图像的基于深度学习和灰度信息的分割系统，属于医学图像分割领域。

背景技术：

1、现有许多病症的临床诊疗需要借助核磁共振影像分析患者的病体结构与相关功能指标，其中心房颤动是最常见的心律不齐疾病之一，是脑卒中、心肌梗死等高致死率、高致残率疾病的重要诱因，而将心房从核磁共振影像中提取出来是这些分析工作的基础。理想情况下，同一组织在影像上具有相同灰度分布，而不同组织之间的灰度分布具有差异。事实上，由于人体结构的多样性以及图像采集设备的问题，核磁共振影像中的同一组织灰度会发生分布不一致的现象，即核磁共振影像中存在偏置，而将这些不一致的灰度提取出来的过程称之为偏置校正。不同于自然图像，灰度分布是对医学影像进行分割的重要依据，偏置的存在进一步增加了自动化分割方法的难度。

2、现有的医学图像自动化分割技术主要包括基于活动轮廓模型的方法和基于深度学习的方法等。基于活动轮廓模型的方法属于无监督模型，对数据量没有较大的需求，但是由于该类方法主要是依赖不同组织之间的灰度分布差异实现分割，所以其在存在灰度分布不均匀的核磁共振影像中分割准确率较低。基于深度学习技术的分割方法虽然大幅度的提高了自动化分割的效率，但是其依赖大量数据，且泛化性能差，严重阻碍了核磁共振影像分割的发展与推广，而核磁共振影像灰度分布不均匀也会造成分割不全以及分割目标不连续等结果。

技术实现思路

1、本发明为了解决现有的医学图像自动化分割技术在进行核磁共振影像分割时要依赖大量的影像数据，泛化性能差，且在灰度分布不均匀的核磁共振影像中分割准确率较低，或存在分割不全以及分割目标不连续的问题，进而提出了一种基于深度学习和灰度信息的图像分割系统。

2、它包括编码模块、空间注意力模块、灰度校正模块、分割模块、损失模块；

3、编码模块分别与空间注意力模块、灰度校正模块和分割模块连接，空间注意力模块与灰度校正模块连接，损失模块分别与灰度校正模块和分割模块连接；

4、编码模块，用于接收核磁共振影像，对核磁共振影像进行编码，并提取核磁共振影像的浅层特征，将浅层特征分别发送至空间注意力模块、灰度校正模块和分割模块；还用于接收空间注意力模块返回的梯度、灰度校正模块返回的梯度、分割模块返回的梯度；

5、编码模块依次包括四组结构和一个卷积块，每组结构依次包括一个卷积块和一个最大池化层；

6、空间注意力模块，用于接收编码模块内四组结构中卷积块输出的浅层特征，并对每个浅层特征进行加权，得到加权后的浅层特征，将加权后的浅层特征发送至灰度校正模块；还用于接收灰度校正模块返回的梯度，将所述梯度和本模块的梯度一起发送至编码模块；

7、灰度校正模块，用于接收编码模块输出的浅层特征、空间注意力模块输出的加权后的浅层特征，基于上述特征对核磁共振影像进行灰度偏置校正，输出核磁共振影像的无偏图像和偏置图像；还用于接收损失模块返回的梯度，将所述梯度和本模块的梯度一起发送至空间注意力模块和编码模块；

8、分割模块，用于接收编码模块输出的浅层特征和编码模块接收到的灰度校正模块返回的梯度，基于接收到的特征和梯度对核磁共振影像进行分割，输出目标区域和背景区域的分布图；还用于接收损失模块返回的梯度，将所述梯度和本模块的梯度一起发送至编码模块；

9、损失模块，用于接收核磁共振影像、灰度校正模块输出的无偏图像和偏置图像、分割模块输出的目标区域和背景区域的分布图，基于上述图像计算分割损失、偏置校正损失、分割与偏置校正联合优化损失和联合损失，并将计算的损失结果发送至灰度校正模块和分割模块。

10、进一步地，编码模块中的每个卷积块依次包括卷积层、relu激活层和组正则化层。

11、进一步地，空间注意力模块依次包括四组结构，每组结构依次包括一个卷积层和两个非线性激活层。

12、进一步地，灰度校正模块依次包括四组结构、一个卷积块和一个sigmoid激活层，每组结构依次包括一个卷积块和一个线性插值上采样层。

13、进一步地，灰度校正模块中的每个卷积块依次包括卷积层、非线性激活层和批次正则化层。

14、进一步地，分割模块依次包括四组结构、一个卷积块和一个softmax激活层，每组结构依次包括一个卷积块和一个反卷积上采样层。

15、进一步地，分割模块中的每个卷积块依次包括卷积层、非线性激活层和组正则化层。

16、进一步地，基于深度学习和灰度信息的图像分割方法，它包括以下步骤：

17、s1、将核磁共振影像随机划分为训练集dt＝{(xi,yi)|i＝1,..,n}和验证集dv＝{(xj,yj)|j＝1,..,m}，其中，x代表核磁共振影像，y代表核磁共振影像对应的标签，i代表训练集中第i个核磁共振影像，n代表训练集中核磁共振影像的总数，j代表验证集中第j个核磁共振影像，m代表验证集中核磁共振影像的总数；

18、s2、将训练集dt中的某个核磁共振影像输入编码模块中，当核磁共振影像输入a.卷积块1后，a.卷积块1代表a编码模块的第一个卷积块，a.卷积块1会输出浅层特征f1a，将f1a输入与a.卷积块1连接的最大池化层内，输出特征将输入a.卷积块2内，a.卷积块2代表a编码模块的第二个卷积块，输出浅层特征f2a，重复上述操作，直至a.卷积块5输出浅层特征f5a，a.卷积块5代表a编码模块的第五个卷积块，获得编码模块中每一个卷积块输出的浅层特征fsa，s＝1,2,3,4,5，得到浅层特征集合

19、s3、将编码模块内前四个卷积块输出的浅层特征f1a-f4a分别输入空间注意力模块内对应的前四个卷积块中，即将a.卷积块1输出的浅层特征f1a输入b.卷积块1内，b.卷积块1代表b空间注意力模块的第一个卷积块，输出特征f1b，将f1b输入与b.卷积块1连接的b.非线性激活层中，输出特征将a.卷积块2输出的浅层特征f2a输入b.卷积块2内，b.卷积块2代表b空间注意力模块的第二个卷积块，输出特征f2b，将f2b输入与b.卷积块2连接的b.非线性激活层中，输出特征重复上述操作，直至输出特征得到特征

20、s4、将编码模块内第五个卷积块输出的浅层特征f5a直接输入灰度校正模块的第五个卷积块中，输出特征f5c，将f5c输入与灰度校正模块的第五个卷积块连接的线性插值上采样层内，输出特征将编码模块内第四个卷积块输出的浅层特征f4a、空间注意力模块内第四个卷积块输出的特征和特征输入灰度校正模块的第四个卷积块中，输出特征f4c，将f4c输入与灰度校正模块的第四个卷积块连接的线性插值上采样层内，输出特征按照上述第四个卷积块的整体处理过程依次得到特征f1c，将得到的灰度校正模块的第一个卷积块输出的特征f1c输入sigmoid激活层，输出核磁共振影像的无偏图像j和偏置图像b；

21、s5、将编码模块内第五个卷积块输出的浅层特征f5a直接输入分割模块的第五个卷积块中，输出特征f5d，将f5d输入与分割模块的第五个卷积块连接的反卷积上采样层内，输出特征将编码模块内第四个卷积块输出的浅层特征f4a和特征输入分割模块的第四个卷积块中，输出特征f4d，将f4d输入与分割模块的第四个卷积块连接的反卷积层处理后，输出特征按照上述第四个卷积块的整体处理过程依次得到特征f1d，将得到的分割模块的第一个卷积块输出的特征f1d输入softmax激活层，输出目标区域和背景区域的分布图p；

22、s6、根据上述得到的偏置图像b、无偏图像j、目标区域和背景区域的分布图p、输入的核磁共振影像x和对应的标签y分别计算分割损失、偏置校正损失、分割与偏置校正联合优化损失和联合损失；

23、s7、将所有训练数据按照s2～s6进行迭代训练，在每次迭代中，当上述各模块输出对应的结果后，计算每个模块的梯度，将每个模块的梯度返回至与其相连的模块中，修正下一次迭代的学习方向，直到迭代次数达到设置的最大迭代次数时停止训练，得到训练好的分割系统；

24、s8、将验证集dv中的核磁共振影像输入训练好的分割系统中，得到对应的分割结果。

25、进一步地，s6中的分割损失：

26、

27、其中，λ表示用来平衡前后两项损失的权重；

28、偏置校正损失：

29、

30、

31、其中，pi表示第i个核磁共振影像的目标区域和背景区域的分布图；为计算对应图像的梯度；ci表示第i个核磁共振影像的灰度均值；tv(b)表示全变分函数，用于计算偏置图像的平滑性，通过计算偏置图像b上每一个像素v分别在x,y,z三个方向上的偏导数之和获得；v表示当前中核磁共振影像x的像素总数。

32、进一步地，s6中的分割与偏置校正联合优化损失：

33、lwce(j,p,y)＝-e(1-g(j))ylogp

34、

35、其中，g(j)表示边界指示函数；

36、联合损失：

37、l＝lseg+γ1llsf+γ2lwce

38、其中，γ1、γ2表示权重。

39、有益效果：

40、本发明先构建了一种图像分割系统，它包括编码模块、空间注意力模块、灰度校正模块、分割模块、损失模块，编码模块、空间注意力模块、灰度校正模块、分割模块均采用深度学习构建，编码模块分别与空间注意力模块、灰度校正模块和分割模块连接，空间注意力模块与灰度校正模块连接，损失模块分别与灰度校正模块和分割模块连接。编码模块用于提取核磁共振影像的浅层特征；空间注意力模块用于对浅层特征进行加权，得到加权后的浅层特征；灰度校正模块用于根据浅层特征和加权后的浅层特征获得核磁共振影像的无偏图像和偏置图像；分割模块用于根据浅层特征和核磁共振影像的无偏图像和偏置图像对原始的核磁共振影像进行分割，输出目标区域和背景区域的分布图；损失模块用于根据核磁共振影像、无偏图像和偏置图像、目标区域和背景区域的分布图计算分割损失、偏置校正损失、分割与偏置校正联合优化损失(协同损失)和联合损失。

41、本发明构建的分割系统采用了深度学习技术和灰度偏置校正，以及灰度分布注意力加权等技术。在进行小样本的核磁共振影像的分割任务时，利用深度学习技术将灰度偏置校正与分割两个任务协同进行，灰度偏置校正模块通过构建活动轮廓系统所需的能量泛函使得系统具备感知灰度分布信息的能力，并给出原始核磁共振影像的偏置图像以及无偏图像，分割模块通过构建优化函数实现目标和背景的分离，并利用无偏图像的同质性将其与分割结果相互联系在一起，提高了分割任务的泛化性和准确性，通过构建的二者协同损失函数实现了二者相互促进、共同优化的目的，从而实现了基于小样本训练集获得良好分割性能的分割系统。本发明融合灰度偏置信息的自动化提取方法对于提高心房颤动疾病个性化诊疗的效率具有重要意义。

42、灰度偏置校正模块中的偏置图像则指导分割方法学习到核磁共振影像本身的个性特性，从而使其避免受到灰度分布不均匀的干扰，提升了分割的准确性，有效的解决了分割不全以及分割目标不连续的问题。同时，无偏图像与分割结果共建的协同损失函数指导分割方法学习到更多的目标分布的共性特征，让分割任务更加关注于目标本身的结构信息，提升其鲁棒性和泛化能力，从而利用少量样本就可以达到令人满意的性能表现。克服了深度学习系统需要大量训练数据的困难，还解决了数据和标注获取难、成本高的问题。