一种宫颈细胞液基涂片人工智能辅助阅片系统的制作方法

本发明涉及医学细胞图像处理领域，具体涉及一种宫颈细胞液基涂片人工智能辅助阅片系统。

背景技术：

宫颈癌是发生于子宫颈部的恶性肿瘤，它与高危型hpv感染存在着密切的关系。宫颈癌前病变的早期发现、诊断及治疗是降低子宫颈癌发病率、死亡率的策略之一。宫颈癌筛查方法简便经济，很多国家采用筛查手段控制子宫颈癌发病率、死亡率，降低其疾病负担。

2008年至2016年，北京市共完成宫颈癌免费筛查200余万人，检出宫颈癌及癌前病变4000余例，宫颈细胞学阳性检出率2.3％，根据国外资料结合我国部分地区的研究数据，专家推测我国正常人群中宫颈细胞学的阳性检出率大致在5-7％之间，而目前北京的检出率与这一标准差距较大。

宫颈细胞液基涂片人工智能辅助阅片本身对于减轻阅片工作者的劳动强度、提升阅片准确率和工作效率、应用于大批量的宫颈癌细胞学普查等方面将产生积极的作用，其遵循医疗市场的发展规律与需要，符合国家健康医疗大数据的研究布局，影像信息化和影像智能诊断在医疗大数据产业中具有重要地位。

美国和欧洲一些著名的研究机构已经开始进行宫颈细胞定量分析和辅助诊断的相关研究，例如美国豪洛捷公司的玻片扫描影像分析系统，其能判读宫颈细胞液基涂片，一方面系统不能给出最终的分级诊断结果，其功能是从涂片中选择22个视野供医师判读，医师可以不对其他视野进行判读，以提高阅片的效率；另一方面系统只能判断该公司自己生产的液基涂片，针对其它公司的液基涂片不能进行判断，这样就造成了阅片系统的通用性。国内的武汉兰丁医学专注于宫颈癌筛查，开发出基于图像的dna定量分析的自动宫颈癌细胞检测系统，但其在数据分析方面缺乏各异细胞的特征提取，也未能给出判断结果的可解释性。

现有的宫颈细胞定量分析和辅助诊断方法仍存在明显缺陷，宫颈细胞分析技术的研究尚处于起步阶段，为进一步深化宫颈细胞学领域的临床及研究需要，需充分利用宫颈细胞形态结构信息、空间邻域信息和颜色分布信息建立准确的细胞图像分割，充分利用宫颈细胞数据库和宫颈细胞临床诊断规律建立宫颈细胞定量分析和智能辅助诊断框架，为基于宫颈细胞液基涂片人工智能辅助阅片系统提供软件平台。

技术实现要素：

本发明的目的在于，克服目前宫颈细胞定量分析和辅助诊断存在的上述问题；基于现有宫颈细胞学领域知识，通过深度学习技术学习并提取宫颈细胞的关键特征、自动分割和识别液基涂片上细胞的癌变区域和类型，最终达到缩短阅片时间、降低漏诊误诊率的目的，为宫颈细胞液基涂片人工智能辅助阅片技术提供解决方案，最终实现宫颈细胞定量化评价和辅助智能诊断的方法学突破。

为了实现上述目的，本发明提出了一种宫颈细胞液基涂片人工智能辅助阅片系统，所述系统包括：

细胞图像采集模块，用于使用涂片自动扫描仪重叠式地进行扫描保存细胞图像；

细胞图像预处理模块，用于对细胞图像进行预处理；

细胞图像检测分割模块，用于对图像细胞的不同细胞成分进行自动检测，同时对同一细胞成分中细胞核、细胞质、背景进行自动分割；采用改进的活动轮廓模型和快速区域卷积神经网络检测，又辅以细胞特征和多尺度水平等算法对分割结果进行微调与优化；

细胞快速分级识别模块，用于对分割后的图像进行识别，区分为单个细胞或细胞团簇；采用附加知识领域的双流卷积神经网络和构建的细胞知识图谱对单个细胞进行分别进行分级识别，分别得到第一种分级结果和第二种分级结果；采用细胞团簇的双流卷积神经网络模型实现不可分细胞团簇的识别；和

判读和后处理模块，用于对单个细胞的第一种分级结果和第二种分级结果进行联合判读，进行冲突处理，得到单个细胞的分级结果；所述冲突处理用于解决各种特征指向不同的判读结果时，综合各种因素，消除冲突，做出明确可靠的判读；然后利用知识图谱和类活动映射实现宫颈细胞识别过程的可读性、宫颈细胞识别结果的可解释性。

上述技术方案中，所述细胞图像采集模块的实现过程为：采用目镜四十倍放大，扫描路径为矩形，扫描方式为重叠式扫描，使得扫描范围与液基涂片细胞所在范围全部覆盖。

上述技术方案中，所述预处理包括：采用双边滤波器对图像进行去噪，该滤波器是由两个函数构成：一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数；然后使用形态学处理对图像的边缘进行修补，填充空洞并去除细的连接，最后使用直方图均衡化来增加细胞核与细胞质的对比度。

上述技术方案中，所述细胞图像检测分割模块的具体实现步骤为：

步骤s1)对预处理后的细胞图像进行前背景粗分割，提取细胞所属的区域；

步骤s2)对粗分割后的细胞图像进行细胞成分的检测分割，使用快速区域卷积神经网络分割出不同类型的细胞；

步骤s3)检测并分割宫颈细胞细胞核；

步骤s4)根据细胞核的特征参数筛选细胞核，得到最终的候选细胞核；

步骤s5)判断步骤s2)中得到的细胞类型是否为细胞团簇，如果不是，则使用活动轮廓模型以及先验模板进行细胞质区域的分割；否则，转入步骤s6)；

步骤s6)综合细胞核与细胞质的分割结果与领域知识进行后处理，完成整个宫颈细胞的有效分割。

上述技术方案中，所述快速区域卷积神经网络选用卷积神经网络的vgg16的网络结构，输入图像的大小为515*512，最终细胞成分的检测类别分为5类：鳞细胞、腺细胞、颈管细胞、化生细胞以及背景素质，除鳞细胞和背景素质外的细胞成分都定义为不可分的细胞团簇。

上述技术方案中，所述步骤s5)中的使用活动轮廓模型以及先验模板进行细胞质区域的分割的具体过程为：

采用了改进的活动轮廓模型，加上能量函数以及形状先验信息，迭代地进行轮廓的优化，得到细胞质的精确边界；

能量函数e(u)为：

e(u)＝λ1es(u)+r(u)

其中es(u)是形状先验，r(u)是正则项，用于保证分割边界的平滑性，λ1为可学习的参数；形状先验es(u)为：

其中，h为黑塞矩阵。

上述技术方案中，所述细胞图像检测分割模块的具体实现步骤为：

步骤1)对分割后的宫颈细胞图像进行预处理操作；

步骤2)判断预处理后的细胞图像是否为单个细胞，如果是，转入步骤3)，否则，该图像为不可分的细胞团簇，转入步骤6)；

步骤3)确定可计算的细胞参数，然后计算细胞参数特征；

步骤4)建立细胞知识图谱推理判断模型，并将细胞参数特征输入该模型，得到单个细胞的第一种分级结果；

步骤5)构建附加领域知识的双流卷积神经网络模型，将细胞参数特征和细胞图像输入双流卷积神经网络模型，得到单个细胞的第二种分级结果；

步骤6)构建细胞团簇的双流卷积神经网络模型，并使用该模型对不可分细胞团簇进行细胞团簇的分级识别，得到细胞团簇的分级结果。

上述技术方案中，所述附加领域知识的双流卷积神经网络的一路输入为步骤3)得到的细胞参数特征，另外一路输入为单个细胞图像，大小统一归一化为256*256像素值，经过5个级联的卷积池化组合模块隐式地提取到细胞图像的特征；其中最重要的卷积操作的卷积核大小采用7*7大小，步长选择大小为1，特征图个数选取为96个，该卷积操作为：

上式中，m表示选择的输入特征图的集合，wij表示权重，bj为每一个特征图输出加上的一个额外偏置，然后将提取的1096维特征加上细胞领域知识可计算的20维特征拼接到一起，输入到双流卷积神经网络的全连接层和分类层。

上述技术方案中，所述细胞团簇的双流卷积神经网络的一路输入为：细胞核之间的排列规则的特征，另外一路输入是与该细胞参数对应的细胞团簇的宫颈细胞，宫颈细胞输入大小统一归一化为512*512像素值，经过8个级联的卷积池化组合模块隐式地提取到细胞图像的特征；其中最重要的卷积操作的卷积核大小采用5*5大小，步长选择大小为2，特征图个数选取为108个。

本发明的有益效果是：

1、本发明的系统针对病变宫颈细胞系统具有高敏感性，针对正常宫颈细胞具有高特异性，整个辅助阅片系统无需人工参与，大大减轻阅片工作者的劳动强度。

附图说明

图1为本发明的宫颈细胞液基涂片人工智能辅助阅片系统的组成图；

图2为本发明的宫颈细胞图像检测分割模块的示意图；

图3为本发明的宫颈细胞快速分级识别模块的示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示，一种宫颈细胞液基涂片人工智能辅助阅片系统，所述系统包括：

细胞图像采集模块，用于使用涂片自动扫描仪重叠式地进行扫描保存细胞图像；其中，采用目镜四十倍放大，扫描路径为矩形，扫描方式为重叠式扫描，使得扫描范围与液基涂片细胞所在范围可以全部覆盖；

例如，针对一幅2万*2万像素的图像可以得到20张扫描后的宫颈细胞图像。

细胞图像预处理模块，用于对细胞图像进行预处理，包括：采用双边滤波器对图像进行去噪，该滤波器是由两个函数构成：一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数；然后使用形态学处理对图像的边缘进行修补，填充空洞并去除细的连接，最后使用直方图均衡化来增加细胞核与细胞质的对比度。

细胞图像检测分割模块，用于对图像细胞的不同细胞成分进行自动检测，同时对同一细胞成分中细胞核、细胞质、背景进行自动分割；采用改进的活动轮廓模型和快速区域卷积神经网络检测，又辅以细胞特征和多尺度水平等算法对分割结果进行微调与优化；

如图2所示，具体实现步骤为：

步骤s1)对预处理后的细胞图像进行前背景粗分割，提取细胞所属的区域；

采用9个阈值进行整个细胞图像的噪声的去除；然后采用sift边缘检测和多尺度分水岭算法得到前景区域，sift对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；最后针对分割出的区域进行优化微调，采用k均值聚类算法将邻近的像素合并，本发明聚类算法的团簇数选择为3，即分为细胞质、细胞核和背景三个类别。

步骤s2)对粗分割后的细胞图像进行细胞成分的检测分割，使用快速区域卷积神经网络分割出不同类别的细胞及背景素质；

首先针对训练样本进行数据的清洗整理，再采用深度学习算法中的快速区域卷积神经网络进行细胞成分的检测分割。其训练阶段选择端到端的训练方式，模型选用了卷积神经网络的vgg16的网络结构，输入图像的大小为515*512，最终细胞成分的检测类别分为5类：鳞细胞、腺细胞、颈管细胞、化生细胞以及背景素质，本发明中将除鳞细胞外的四种类别的细胞成分都定义为不可分的细胞团簇。考虑到人工智能辅助阅片后续的分级识别步骤，此处将不可分的细胞团簇区域详细分为腺细胞、颈管细胞、化生细胞以及背景素质四类，其中背景素质不属于细胞范畴，不参与后续的分级识别。

步骤s3)检测并分割宫颈细胞细胞核；

采用了改进的随机森林的算法，通过提取细胞核的5种特征进行细胞核区域的分割，森林中树的个数选择20，每次选择最优特征时的特征个数选择为logn，叶子节点的最小个数选择为3；

为了防止漏掉细胞核区域又辅以多尺度分水岭算法进行细胞核的检测，通过选取5种不同的参数进行合并，将待分割图像分为合并程度高和合并程度低的不同尺度的细胞图像，再将两者的检测到的结果结合起来，作为细胞核的候选区域。

步骤s4)根据细胞核的特征参数筛选细胞核，得到最终的候选细胞核；

依据了细胞核的特征参数，包含细胞核大小，细胞核的圆形度，细胞核的深度可计算特征。例如细胞核的大小的参数是通过直接计算细胞核区域边界内的像素的总和来表示，具体做法如式1。

其中f(x,y)为二值图像上某点(x,y)的像素值，取值为1时表示该像素点属于目标区域，取值为0时表示该像素点属于背景区域,其面积就是统计f(x,y)为1的像素个数。

步骤s5)判断步骤s2)中得到的细胞类型是否为细胞团簇，如果不是，则使用活动轮廓模型以及先验模板进行细胞质区域的分割；否则，转入步骤s6)；

采用了改进的活动轮廓模型，加上能量函数以及形状先验信息，迭代的进行轮廓的优化，得到细胞质的精确边界；

能量函数e(u)为：

e(u)＝λ1es(u)+r(u)

其中es(u)是本发明提出使用的形状先验，r(u)是正则项，保证分割边界的平滑性，λ1为可学习的参数；形状先验es(u)为：

其中h为黑塞矩阵(hessianmatrix)。

步骤s6)综合细胞核与细胞质的分割结果与领域知识进行后处理，完成整个宫颈细胞的有效分割。

针对上述步骤的分割结果进行后处理，主要使用医学图像处理中的形态学操作对图像的边缘进行修补，填充空洞并去除细的连接，主要采用开操作和闭操作，其中模板的参数设置为[33]的大小，以及滤波去噪等方法进行边界的平滑，其中参数的设置w为2，方差sigma采用[20.1]，从而得到最终的精准边界信息。

细胞快速分级识别模块，用于对分割后的图像进行识别，区分为单个细胞或细胞团簇；采用附加知识领域的双流卷积神经网络和构建的细胞知识图谱对单个细胞进行分级识别；采用细胞团簇的双流卷积神经网络模型实现不可分细胞团簇的识别；

如图3所示，具体实现步骤为：

步骤1)对分割后的宫颈细胞图像进行预处理操作；

扫描分割后的宫颈细胞区域，并进行细胞边界像素值填充，将细胞边界外的像素值填充为0，然后将填充像素值后的细胞图像统一归一化至256*256的像素值大小。

步骤2)判断预处理后的细胞图像是否为单个细胞，如果是，转入步骤3)，否则，该图像为不可分的细胞团簇，转入步骤7)；

采用图像处理中的分水岭算法实现，若细胞图像中的细胞核数目为1，则判断是单个细胞。

步骤3)确定可计算的细胞参数，包括细胞核的大小、深度、形状，细胞质的大小、形状和核浆比，然后计算细胞参数特征；

以细胞核的大小为例，细胞核的大小参数是通过直接计算细胞核区域边界内的像素的总和来表示：

其中f(x,y)为二值图像上某点(x,y)的像素值,取值为1时表示该像素点属于目标区域,取值为0时表示该像素点属于背景区域,其面积就是统计f(x,y)为1的像素个数。

步骤4)建立细胞知识图谱推理判断模型，并将细胞参数特征输入该模型，得到细胞的第一种分级结果；

步骤5)构建附加领域知识的双流卷积神经网络模型，将细胞参数特征和细胞图像输入双流卷积神经网络模型，得到细胞的第二种分级结果；

如图2所示，双流卷积神经网络的一路输入为步骤3)得到的细胞参数特征，另外一路输入为单个细胞图像，大小统一归一化为256*256像素值，经过5个级联的卷积池化组合模块隐式地提取到细胞图像的特征。其中最重要的卷积操作的卷积核大小采用7*7大小，步长选择大小为1，特征图个数选取为96个，该卷积操作为：

m表示选择的输入特征图的集合，wij表示权重，bj为每一个特征图输出加上的一个额外偏置，然后将提取的1096维特征加上细胞领域知识可计算的20维特征拼接到一起，输入到双流卷积神经网络的全连接层和分类层。根据tbs标准诊断，将不同细胞的分级识别结合在一起，一共分为9类。

如图3所示，细胞学特征完全根据tbs判断标准，抽取是采用判断标准的语言。细胞可以在不同抽象层次上进行多种分类，从是否存在病变的层次上，细胞主要分为正常细胞和异常细胞两大类，正常细胞，包括柱状细胞、中层细胞、表层细胞；异常细胞包括轻度鳞状上皮内病变细胞、中度鳞状上皮内病变细胞、重度鳞状上皮内病变细胞、鳞状细胞癌细胞。

判读规则库也完全依据阅片医生的判读过程与思想，例如细胞质的颜色特征映射，对于宫颈病变有判读意义的颜色有蓝色、粉红色、橘黄色，细胞学术语通常称为嗜碱性、嗜酸性、嗜橘黄色，即嗜碱性的细胞细胞质表现为蓝色、嗜酸性细胞细胞质表现为粉红色、嗜橘黄色细胞细胞质表现为橘黄色。

步骤6)构建细胞团簇的双流卷积神经网络模型，并使用该模型对不可分细胞团簇进行团簇细胞的分级识别；

细胞团簇的双流卷积神经网络的一路输入为：细胞核之间的排列规则的特征，另外一路输入是与该细胞参数对应的细胞团簇的宫颈细胞，本发明将宫颈细胞输入大小统一归一化为512*512像素值，经过8个级联的卷积池化组合模块隐式地提取到细胞图像的特征。其中最重要的卷积操作的卷积核大小采用5*5大小，步长选择大小为2，特征图个数选取为108个。

判读和后处理模块，用于对单个细胞的第一种分级结果和第二种分级结果进行联合判读，进行冲突处理，得到单个细胞的分级结果；利用知识图谱和了cam(classactivationmapping，类活动映射)的方法实现宫颈细胞识别过程的可读性、宫颈细胞识别结果的可解释性。

例如某个细胞的第一种分级结果和第二种分级结果都为鳞状细胞癌的结果，那么则判读该细胞为鳞状细胞癌。

冲突处理主要解决各种特征指向不同的判读结果时，综合各种因素，消除冲突，做出明确可靠的判读。例如某个细胞经过第一分级(双流卷积神经网络模型)得到的结果为鳞状细胞癌，而经过第二分级(知识图谱模型)得到的结果为低级别鳞状上皮内病变，此种情况属于结果冲突，针对冲突的处理本发明采用的方式是将该细胞标注出来，最终的结果可由阅片医师来决定。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。