基于残差网络和空洞卷积的宫颈细胞核图像分割方法及系统

1.本发明属于图像分割技术领域，尤其涉及基于残差网络和空洞卷积的宫颈细胞核图像分割方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.宫颈癌是妇科疾病中常见的病症，我国每年约有4-8万人死于宫颈癌，极大危害女性的健康。宫颈癌从早期病变变成明显症状再到急剧恶化大约得持续8-10年的时间。医学研究表明，宫颈癌若在早期被发现几乎能完全治愈，然而宫颈癌的早期无明显症状，很容易错过最佳治疗时期，因此，宫颈癌的早期筛查与治疗成为当下热门的课题之一。
4.近年来随着人工智能的不断发展，计算机辅助医疗诊断成为科学研究的热点。宫颈细胞图像分割方法可以分为两类：传统机器学习算法，深度学习算法。其中传统算法主要有：阈值分割，边缘检测，分水岭算法。阈值算法通过调节阈值分割前景和背景具有明显差异的情况，但目标空间的结构信息弱，故对于背景较为复杂的图像分割效果欠佳；边缘检测适用于细胞区域和非细胞区域的轮廓提取，却对噪声较为敏感；分水岭算法虽然不需要前期很多的预处理，但却需要种子点的先验知识。进一步提高传统算法的准确率存在困难，相比过去深度学习方法在细胞分割领域大放异彩，解决复杂场景下的细胞分割问题泛化性更强。最初是将全卷积神经网络(fcn)运用到宫颈细胞图像分割上，由于对图像中的细节不够敏感，没有充分考虑像素与像素之间的关系，缺乏空间一致性，导致细胞核分割精度偏低。mask-rcnn实例分割是目标检测和语义分割的结合，该网络在精准目标检测的同时还能获得高质量的图像分割，但图像在对小目标进行特征提取时，容易产生无法避免也不可逆的信息损失，减少图像信息的损失是提高分割准确度的关键，细胞核分割对于癌症的分类有着决定性作用，利用深度神经网络进行精准分割具有重要的应用价值。


技术实现要素：

5.为克服上述现有技术的不足，本发明提供了一种基于残差网络和空洞卷积的宫颈细胞核图像分割方法及系统，通过复用依次卷积的低层特征提取网络，通过将低层的特征信息添加到高层信息中，低层信息和高层信息优劣互补，提高较多细节信息底层特征层的利用率，增强了网络对细胞的学习能力。
6.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：基于残差网络和空洞卷积的宫颈细胞核图像分割方法，包括：
7.获取宫颈细胞图像并进行预处理，将经过预处理后的宫颈细胞图像划分为训练集和测试集；
8.构建分割模型，所述分割模型包括复用依次卷积的特征提取网络和实例分割网络；所述复用依次卷积的特征提取网络用于将底层特征信息添加到高层特征信息中；
9.利用所述训练集的宫颈细胞图像训练所述分割模型，得到训练好的分割模型；
10.利用所述测试集中的宫颈细胞图像输出至训练好的分割模型中，输出分割结果。
11.本发明的第二个方面提供基于残差网络和空洞卷积的宫颈细胞核图像分割系统，包括：
12.图像获取处理模块，其被配置为：获取宫颈细胞图像并进行预处理，将经过预处理后的宫颈细胞图像划分为训练集和测试集；
13.模型构建模块，其被配置为：构建分割模型，所述分割模型包括复用依次卷积的特征提取网络和实例分割网络；所述复用依次卷积的特征提取网络用于将底层特征信息添加到高层特征信息中；
14.训练模块，其被配置为：利用所述训练集的宫颈细胞图像训练所述分割模型，得到训练好的分割模型；
15.输出模块，其被配置为：利用所述测试集中的宫颈细胞图像输出至训练好的分割模型中，输出分割结果。
16.本发明的第三个方面提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
17.本发明的第四个方面提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
18.以上一个或多个技术方案存在以下有益效果：
19.本发明在宫颈细胞图像的特征提取上采用复用依次卷积的低层特征提取网络，通过将低层的特征信息添加到高层信息中，低层信息和高层信息优劣互补，提高较多细节信息底层特征层的利用率，增强了网络对细胞的学习能力。
20.本发明通过引入空洞卷积算法扩大卷积感受野，进一步提高了掩膜预测的精度。
21.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
22.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
23.图1为本发明实施例一中方法整体示意图；
24.图2是本发明实施例一中整体分割模型网络结构示意图；
25.图3是本发明实施例一中复用依次卷积的低层特征提取网络结构示意图；
26.图4是本发明实施例一中空洞卷积过程示意图；
27.图5是本发明验证分割精度示意图；
28.图6是本发明的分割掩膜展示图。
具体实施方式
29.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常
理解的相同含义。
30.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
31.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
32.实施例一
33.如图1-图6所示，本实施例公开了一种基于残差网络和空洞卷积的宫颈细胞核图像分割方法，包括：
34.获取宫颈细胞图像并进行预处理，将经过预处理后的宫颈细胞图像划分为训练集和测试集；
35.构建分割模型，所述分割模型包括复用依次卷积的特征提取网络和实例分割网络；所述复用依次卷积的特征提取网络用于将底层特征信息添加到高层特征信息中；
36.利用所述训练集的宫颈细胞图像训练所述分割模型，得到训练好的分割模型；
37.利用所述测试集中的宫颈细胞图像输出至训练好的分割模型中，输出分割结果。
38.在本实施例中，选取isbi2014作为实验数据集，对数据预处理生成所需的coco数据集，将coco数据集分为测试集和训练集。
39.在本实施例中，通过对宫颈细胞核图像通过翻转、旋转、裁剪、对比度等方法进行预处理，弥补样本数据的不平衡。
40.在本实施例中，分割模型基于mask rcnn，对其主干网络进行改进，从而实现宫颈细胞核的精准分割。分割模型以resnet残差网络和特征金字塔网络(fpn)为主干网络，采用复用依次卷积的低层特征提取网络和fpn中引入空洞卷积进行改进。
41.如图2所示，具体的，复用依次卷积的低层特征提取网络，以resnet残差网络为骨干网络，对resnet残差网络的改进。现有的resnet共有5组卷积，第一组卷积的输入大小是224x224，第五组卷积的输出大小是7x7，缩小了32(2^5)倍。每次缩小2倍，总共缩小5次，从低到高卷积结果分别记为c1,c2,c3,c4,c5。为了提高底层特征信息的利用率，实现对宫颈细胞图像中细胞核的特定分割，我们对首次压缩的卷积结果c1进行改进。
42.在复用依次卷积的底层特征提取网络中，将首次压缩的特征图定义为c1，对特征图c1进行改进，将特征图c1采用256个步长为1，大小为3
×
3的卷积得到特征图c1c2，然后将特征图c1采用256个步长为2，大小为3
×
3的卷积得到特征图c1c3，同理将特征图c1采用256个步长为4，大小为3
×
3的卷积得到特征图c1c4，然后对特征图c1的长宽压缩两次，三次，四次，五次得到特征图c2-c5,利用特征图c2-c5进行特征金字塔的构建。特征金字塔充分利用所提取的特征图c2-c5，实现了从单尺度的单张输入图像，快速构建在所有尺度上都具有强语义信息的特征金字塔，同时不产生明显的代价。
43.将压缩最小的特征层c5进行1次卷积得到p5，p5进行最大池化操作获得p6；同时c5进行卷积后再进行1次上采样，上采样的结果与通道统一后的c4以及c1c4累加，累加的结果进行256通道的卷积获得p4；完成累加的结果再次上采样与通道统一后的c3以及c1c3累加，结果进行256通道的卷积获得p3；同理累加的结果再次上采样与通道统一后的c2以及c1c2累加，获得p2。通过上述方式的特征金字塔的构建，获得5个有效特征层，提取到的{p2,p3,p4,p5,p6}作为rpn网络的有效特征层。
44.如图3所示，本实施例中，在特征金字塔结构fpn的基础上加入空洞卷积，空洞卷积
在不增加运算量的基础上减少网络的损失，提高网络的分割能力。
45.卷积神经网络cnn在做实例分割任务时，会导致最后的特征图尺寸远远小于输入图像的尺寸。最终预测得到的分割掩膜会由于过度上采样而比较粗糙。由于空洞卷积算法能够控制卷积核的rate的大小，从而能够得到不同大小的卷积感受域。
46.如图3所示，左图显示的是传统的3
×
3大小的卷积核作用的感受域，与rate＝1的3
×
3大小的空洞卷积核感受域相同，每次覆盖的区域是3
×
3大小的。右图对应的是rate＝1的3
×
3大小的空洞卷积核作用的感受域，该卷积核仍然是3
×
3大小的，但是该卷积核的感受域增大到了7
×
7。
47.在本实施例中，在特征金字塔结构fpn中加入两种不同rate的空洞卷积核来提取特征，对每个金字塔阶段p2,p3,p4,p5,p6的最后一层输出特征进行空洞卷积操作(包括两种不同的空洞卷积核)，在空间尺寸很小的高层特征中，比较好地保留了高层特征信息。
48.分类网络利用特征图和rpn网络生成的候选区域实现目标类别的检测。将主干网络提取到的p2-p6将作为建议网络(rpn)的有效特征层的输入，选定出候选目标，使用softmax分类器来判别候选目标的类别，同时利用范围框回归器修正候选目标的位置，生成候选目标区域。最后fcn利用特征图实现目标的像素级精确分割。
49.本实施例的实验环境和参数设置：网络利用一个gpu，每个gpu训练两张图片，训练轮数为24的训练模型使用动量因子设定为0.9的随机梯度下降算法[38]，选用的优化器为sgd将批大小设置为2，初始学习率为0.001，并在第8个和第11个epoch降低初始学习率，权值衰减到0.0001以避免过拟合。
[0050]
实施例二
[0051]
本实施例的目的是提供基于残差网络和空洞卷积的宫颈细胞核图像分割系统，其特征在于，包括：
[0052]
图像获取处理模块，其被配置为：获取宫颈细胞图像并进行预处理，将经过预处理后的宫颈细胞图像划分为训练集和测试集；
[0053]
模型构建模块，其被配置为：构建分割模型，所述分割模型包括复用依次卷积的特征提取网络和实例分割网络；所述复用依次卷积的特征提取网络用于将底层特征信息添加到高层特征信息中；
[0054]
训练模块，其被配置为：利用所述训练集的宫颈细胞图像训练所述分割模型，得到训练好的分割模型；
[0055]
输出模块，其被配置为：利用所述测试集中的宫颈细胞图像输出至训练好的分割模型中，输出分割结果。
[0056]
实施例三
[0057]
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
[0058]
实施例四
[0059]
本实施例的目的是提供一种计算机可读存储介质。
[0060]
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
[0061]
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施
方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0062]
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0063]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。