本发明涉及医学图像处理技术领域,具体为一种基于对抗式生成网络的宫颈细胞图像分割方法。
背景技术:
宫颈癌是最常见的妇科恶性肿瘤之一,虽然宫颈癌有着很高的发病率和死亡率,但是尽早地发现和治疗,可以有效降低死亡的风险。因此,准确而又高效的宫颈癌细胞早期检测可以帮助挽救更多的女性的生命。在过去的20多年里,大多数的宫颈癌细胞检测方法一般采用先把单个细胞从背景中分割出来,然后再逐个进行识别的策略。在这个过程中,宫颈细胞图像分割的好坏与否对最终检测结果的准确性也有着十分重要的影响。理想的细胞图像分割结果不仅会降低后续分类器设计的复杂度,而且也有助于提升最终检测的准确率。
传统的细胞图像分割方法大致分为两类:基于区域的分割方法以及基于边缘的分割方法。基于区域的分割方法的基本原理是通过把具有相似特征的相邻区域归为一类来实现分割。其中,常用分割方法有阈值法、区域生长法、以及聚类法等。阈值法中虽然方法简单易于实现,但该方法当细胞边缘模糊且图像灰度分布严重不均匀时,或当存在有重叠细胞时,分割的结果差强人意。区域生长法主要依据图像的颜色、纹理、灰度以及形状等特征来选取种子像素,然后再将具有相似属性的像素合并到种子像素中去。但该方法的运行时间开销较大,需要多次迭代,而且种子点的选择往往需要人工选择,同时对噪声敏感,可能会导致区域内出现空洞。聚类法中最常用的方法是k-均值和模糊c均值,虽然这些方法被证实是行之有效细胞图像分割算法,但是聚类初始中心点的选取以及聚类准则的差异经常会使得最终结果不尽相同,而且这种算法的收敛速度较慢。
基于边缘的分割方法一般通过把灰度级或者结构具有突变的地方作为边缘来进行分割。其中代表性的方法有微分算子法、模型法等。在微分算子法中常用到的一阶微分算子有prewitt算子、robert算子、canny算子和sobel算子,二阶微分算子有laplace算子以及kirsh算子等。然而这些算子分别针对于不同的图像环境,因而很难找到单一的算子同时满足光照不同或者噪声强度不一的细胞图像的分割。模型法则是尝试对细胞的轮廓建立模型,然后求解轮廓模型来实现分割。其中应用较为广泛的是参数活动轮廓模型以及基于简化m-s模型的水平集分割方法(c-v模型)。然而对于该方法,当细胞轮廓较为复杂时,很难去人为得建立该细胞轮廓模型。
总体而言,传统的细胞分割方法面临着两个难题。一方面是在重叠细胞的处理上,传统方法试图在细胞的重叠区域寻找出一条边界来划分重叠细胞,这使得重叠区域的像素点归属问题变成了一种一一映射的关系,进而难以避免细胞成分的缺失。另一方面在于细胞分割方法整体架构的设计。无需人工干预,可以自动的分割感兴趣区域的自动细胞分割方法是所有分割方法的终极目标,然而自动分割方法通常有着高的结构复杂度,而且在分割背景复杂,细胞边缘模糊的细胞图片时效果并不尽如人意。因此半自动的细胞分割方法更为常用,虽然因此会降低便捷性。
技术实现要素:
本发明的目的在于提供一种基于对抗式生成网络的宫颈细胞图像分割方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于对抗式生成网络的宫颈细胞分割方法,包括以下步骤:
首先,先介绍一下本发明所述细胞图像粗分割。本发明所述细胞图像粗分割主要目的在于将大尺寸细胞图像裁剪成尽可能的只包含完整单个细胞的小尺寸图像以满足下一步的使用,一方面在于解决卷积神经网络处理大尺寸图像计算慢的问题,另一方面把重叠细胞分割也转换成单细胞分割问题,使得重叠区域的像素点归属不再是一一映射,而是成为一对多映射,以此避免重叠细胞分割时的信息残缺。同时,本发明的图像裁剪,建立在先利用自适应阈值法以及分水岭算法对细胞图像进行粗分割的基础上。经过粗分割后的不完整分割图像为图像裁剪提供了位置信息。在此处,我们把不完整的分割图像数据集称作校准集,裁剪图像数据集称作背景集,同时,为了使对抗式生成网络得以训练,我们手动地从背景集图片中提取与校准集中不完整细胞图像相对应的完整的细胞图像,并把它们称作对照集。
接着,再介绍一下本发明所述虚体的细胞分割图像生成。本发明所述虚体的分割细胞图像生成,主要通过对抗式生成网络生成虚体分割图像,以实现背景与细胞分离的目的。该网络由生成器以及判别器构成,分别用于生成图片以及训练网络。生成器采用自编码器结构,编码器有两个输入端口,接收背景集数据的端口称之为图片输入端,接收校准集数据的端口称之为指导因子端,两端口输入大小均为150×150×3。图片输入端输入数据在经过一层卷积核为5×5,步长为2的卷积层以及均匀池化层处理后,再经过四层降采样网络,实现对输入图片的编码。同时,指引因子端输入数据经过两层结构相同的卷积核为5×5,步长为2的卷积层以及均匀池化层处理后,第一层卷积输出同第一层降采样网络的输入进行特征图相加,第二层卷积输出同第三层降采样网络的输入进行特征图相加。本发明所述降采样网络为四层网络结构,第一层是卷积核分别为1×1,3×3,5×5,步长均为1的三层并联卷积层,第二层为leakrelu激活函数,之后进行特征图相加合并,第三层为归一化层,第四层为卷积核为3×3,步长为2的卷积层。解码器由四层上采样网络构成,上采样网络为三层网络结构,第一层为卷积核为3×3,步长为2的反卷积层,第二层为relu激活函数,第三层为归一化层。特别地,最后一层上采样网络使用sigmoid激活函数代替relu函数,并取消归一化层。判别器主体框架为四层具有相同结构的卷积网络,在对输出进行线性化之后,最后为sigmoid函数层。判别器使用的卷积网络包含一层卷积核为3×3,步长为2的卷积层,一层归一化层以及一层均匀池化层。在本发明中,为了实现对抗式生成网络的训练,除了自身判别器应用的交叉熵损失函数外,还引用了欧氏距离损失函数。
最后,再介绍下本发明所述实体细胞图像提取,为保证最终分割数据的真实性,我们通过对生成的虚体图像进行二值化处理,通过与背景集对应的图像进行矩阵点积运算,得到了最终的细胞分割图像。同时,本发明将实体细胞图像提取与上一步骤分离开来,以此避免二值化处理时非线性运算导致的神经网络模型无法收敛。
附图说明
图1为基于本发明所述方法设计的整体结构示意图;
图2为编码器结构图;
图3为解码器结构图;
图4宫颈细胞图像分割效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例;基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:一种基于对抗式生成网络的宫颈细胞图像分割方法,其特征在于:包括宫颈细胞图像粗分割,宫颈细胞图像粗分割首先运用自适应阈值法进行细胞核分割,并通过细胞核周长、面积、凸性以及矩形度对细胞核进行筛选,然后以分割的细胞核作为种子点,使用分水岭算法分割原始图像得到分割不完整的宫颈单细胞图像,放入校准集,之后通过校准集图像提供的位置信息从原始图像中裁剪出只包含单个细胞的小尺寸图像放入背景集,最后手动从背景集图片中提取出完整的单细胞图片放入为对照集以便用于训练;虚体的分割细胞图像生成,本发明所述的虚体的分割细胞图像生成,运用的是对抗式生成网络,整个流程为:生成器g在校准集数据c,也就是指导因子的引导下,在背景集数据b中定位感兴趣区域,并以此生成被分割细胞图像的虚体图像s,在对网络进行训练时,生成的虚体图像通过在判别器d中与对照集数据t进行相似性评判以及使用欧式距离损失函数直接同对照集数据进行比对,由此帮助训练生成器生成更加精确的细胞分割虚体图像,同时,为了加快运算速度,在计算欧式距离损失函数之前,我们利用均匀池化层分别对生成的虚体图片以及来自对照集的细胞图片进行了降维处理;实体细胞图像提取,将生成的虚体细胞图像进行二值化处理,再通过与对应的背景集图像进行矩阵点积操作得到最终的细胞分割结果,需注意的是,实体图像的提取仅应用于模型训练完成之后。
本发明中对抗式生成网络训练使用的联合代价函数可以表示为:
ltot=αlsmi+βladv(1)
其中
式(2)中
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明;因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内,不应将权利要求中的任何附图标记视为限制所涉及的权利要求;
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。