基于级联全卷积网络病理图像有丝分裂细胞的识别方法与流程

本发明涉及计算机神经网络，具体涉及基于级联全卷积网络病理图像有丝分裂细胞的识别方法。

背景技术：

肿瘤细胞的增殖速度，也就是肿瘤的生产速度，是预示癌症患者预后的重要标志物。肿瘤增殖速度快的癌症患者比肿瘤增殖速度慢的患者的预后较差。因此，这种肿瘤增殖速度的评估会给病人治疗方案带来影响。病理学家为了获取肿瘤在临床上的扩散情况，使用组织切片扫描仪融合高倍显微镜下每个组织的图像成为一个全切片图像，这些图像通过图像处理技术做进一步分析，也可以通过互联网进行存储和传输。为了量化癌症的恶性程度，病理学家使用有丝分裂细胞的数量作为重要的预测指标之一。细胞分离的越多，肿瘤的恶性程度越大。癌症细胞有丝分裂的过程分成四个阶段：前期，染色体聚集；中期，染色体向两极拉升；后期，染色体开始分离；末期，两个完全分离的染色体，如果有丝分裂细胞密度大则表明肿瘤的增殖速度很快。这种方法几乎在每一个病理实验中都会应用到，但这种方法也有一定的局限性。首先每个阶段的细胞核形状虽然稍有不同，但与非分裂细胞也非常相似，其次病理学家在有丝分裂计数过程容易遇到重复计数的困扰，这些问题是由病理学家在观察过程中的潜在主观性引起的。

近年来，随着计算机学科与医学学科广泛交融，为了减少病理学家的主观因素导致的诊断误差，许多基于组织图像处理技术的有丝分裂细胞检测系统被广泛研究。而在该项研究的过程中，普遍存在两个难题，一是有丝分裂与非有丝分裂的高度相似性导致辨别困难，甚至对于专业的病理学家也难以辨别；二是在一个组织的全切片图像中，有丝分裂细胞仅占所有细胞的1％，而其余99％的细胞均为非有丝分裂细胞。因此，样本数据集的不均衡会导致检测的性能受到严重影响，传统的图像处理技术在医学图像中的应用出现了瓶颈。

在过去的十几年里，深度学习(deeplearning)因其在语音识别、图像分类等领域展现了引人注目的成绩，而备受学者关注。越来越多的学者开始利用深度学习做医学图像方面的应用，例如，计算机辅助诊断、医学图像分析、医学图像分割等。除此之外，还有许多利用深度学习的医学领域的应用，像细胞追踪、癌症检测等。在未来的研究中，深度学习辅助医学诊断具有更快、更客观、更可靠、更鲁棒的优点。

越来越多的医学图像处理技术都是基于深度卷积网络开发而来，例如，基于神经网络的乳腺癌中的恶性导管癌分类研究、基于神经网络的u-net医学图像分割、基于神经网络的乳腺癌中有丝分裂检测、基于神经网络的乳腺癌和直肠癌的上皮组织图像分类、基于神经网络的鉴别胶质瘤与非小细胞肺癌研究等等。然而，使用神经卷积网络的深度学习在组织图像方面的应用，仍然处于刚起步阶段。所以，本发明就基于深度卷积神经网络结构在组织全切片病理图像中有丝分裂细胞的数量检测进行深入研究。

传统的卷积神经网络含有若干个卷积层、若干个池化层以及若干全连接层的结构，在卷积层之后使用全连接层得到固定长度的特征向量，通过softmax()函数来计算输出图像的得分，根据得分对图像进行分类。该结构的缺点在于输入的图像需固定尺寸，而且采用传统卷积神经网络进行图像分割，是基于图形的分割，分割效果和精度非常差。

一种解决办法就是用卷积层替代最后的全连接层，优点就是输入图像的尺寸无需固定，即可以输入任意尺寸的图形作为输入图像。其次，把图像中的每一个像素看作一个二分类问题，所有groundtruth图像中标注为0的作为负样本，所有标注为1的作为正样本，这样分割的图像就达到了pixel-pixel级别，即像素级的分类，增强了图像分割的效果和精度，但是这种结构的网络训练的过程中，会因为重叠训练的图像块较多，而产生冗余数据的存储，降低了效率，增加了存储消耗，同时，在实际的测试过程中，这种全卷积网络因为结构的特殊，同一个模型需要训练多次，大大降低了效率。

技术实现要素：

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了基于级联全卷积网络病理图像有丝分裂细胞的识别方法，能够有效克服现有技术所存在的分割精度较低、检测精度较低、输入图像的尺寸必须固定的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

基于级联全卷积网络病理图像有丝分裂细胞的识别方法，包括以下步骤：

s1、输入待识别组织切片图像；

s2、对组织切片图像进行卷积运算；

s3、选择卷积后的组织切片图像池化区域中的最大值或者平均值作为该图像区域的输出，得到下采样特征图；

s4、对下采样特征图进行反卷积运算得到上采样特征图，再进行卷积运算，形成细胞分割图像；

s5、输入细胞分割图像，对细胞分割图像进行卷积运算；

s6、引入权重参数加入到交叉熵代价函数对卷积后的细胞分割图像进行池化，形成检测结果图像。

优选地，第一层所述卷积的特征映射公式表达为：

其中，n^l表示该层的特征映射数量，每个映射图表示为表示第i个卷积层第j个卷积核的参数的二维数组，表示第l层第j个卷积核的偏置参数，φ(·)为非线性函数作为激活函数。

优选地，所述卷积运算中的卷积核采用16*16卷积核。

优选地，所述池化的步长值为4。

优选地，所述组织切片图像与细胞分割图像使用随机梯度下降法来训练网络。

优选地，所述随机梯度下降法的代价函数融合了交叉熵的特征映射方程：

其中，ak(x)表示激活特征k在x位置，k是类别数，pk(x)是近似的最大函数。

优选地，所述交叉熵惩罚每个位置来自正样本pl(x)(x)的公式为：

其中，l∈ω{1,2...,k}是每个像素的真实值，ω是在训练中给一些重要像素的映射权重。

优选地，所述引入权重参数加入到交叉熵代价函数的公式为：

其中，pi表示i属于前景的概率，是标定过的真实数据。

(三)有益效果

与现有技术相比，本发明所提供的基于级联全卷积网络病理图像有丝分裂细胞的识别方法具有以下有益效果：

1、采用级联全卷积网络，相比于传统的卷积网络，细胞分割组件可以对细胞进行粗选择，然后再送入有丝分裂检测组件进行精检测，提高了检测的精度；

2、采用全卷积网络结构，可以使输入的图像为任意尺寸并且得到的输出图像也是任意尺寸，相比传统的卷积网络更加直观；

3、用卷积层代替全连接层，使得图像的分割精确和检测精度达到像素级。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明示意图；

图2为本发明图1中细胞分割组件示意图；

图3为本发明图1中有丝分裂检测组件示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于级联全卷积网络病理图像有丝分裂细胞的识别方法，如图1至图3所示，包括以下步骤：

s1、输入待识别组织切片图像；

s2、对组织切片图像进行卷积运算；

s3、选择卷积后的组织切片图像池化区域中的最大值或者平均值作为该图像区域的输出，得到下采样特征图；

s4、对下采样特征图进行反卷积运算得到上采样特征图，再进行卷积运算，形成细胞分割图像；

s5、输入细胞分割图像，对细胞分割图像进行卷积运算；

s6、引入权重参数加入到交叉熵代价函数对卷积后的细胞分割图像进行池化，形成检测结果图像。

第一层卷积的特征映射公式表达为：

其中，n^l表示该层的特征映射数量，每个映射图表示为表示第i个卷积层第j个卷积核的参数的二维数组，表示第l层第j个卷积核的偏置参数，φ(·)为非线性函数作为激活函数。

卷积运算中的卷积核采用16*16卷积核。

池化的步长值为4。

组织切片图像与细胞分割图像使用随机梯度下降法来训练网络。

随机梯度下降法的代价函数融合了交叉熵的特征映射方程：

其中，ak(x)表示激活特征k在x位置，k是类别数，pk(x)是近似的最大函数。

交叉熵惩罚每个位置来自正样本pl(x)(x)的公式为：

其中，l∈ω{1,2...,k}是每个像素的真实值，ω是在训练中给一些重要像素的映射权重。

引入权重参数加入到交叉熵代价函数的公式为：

其中，pi表示i属于前景的概率，是标定过的真实数据。

对传统卷积神经网络进行改进，采用一种特殊的全卷积网络，增加了上采样后反卷积层的全卷积网络，详细的网络结构如图2所示。

卷积层：

假设第l层，n^l表示该层的特征映射数量，每个映射图表示为表示第i个卷积层第j个卷积核的参数的二维数组，表示第l层第j个卷积核的偏置参数，利用一个非线性函数φ(·)作为激活函数，那么第l层的特征映射公式可以表达为：

*表示卷积运算。本发明采用目前效果非常好的激活函数relu(rectifiedlinearunits)函数，即f(x)＝max(0,x)。

池化层：

池化层是下采样特征图，选择图像池化区域中的最大值或者平均值作为该图像区域的输出。该方法会降低训练神经网络的运算量而不改变图像表现，通常称为“平均池化方法”或者“最大值池化方法”。本发明均采用16*16的卷积核和步长值为4的最大值池化方法。

代价函数：

本发明输入的图像与他们对应的分割图像使用随机梯度下降法(sgb)来训练网络，代价函数是融合了交叉熵的特征映射方程：

ak(x)表示激活特征k在x位置，k是类别数，pk(x)是近似的最大函数。交叉熵惩罚每个位置来自正样本pl(x)(x)的公式为：

其中，l∈ω{1,2...,k}是每个像素的真实值，ω是在训练中给一些重要像素的映射权重。

改进的细胞分割组件分割了组织切片图像中的细胞核，送入有丝分裂检测组件中进行进一步学习有丝分裂细胞的特征，并且通过网络将其检测结果输出。有了第一层的“粗分割”，对备选细胞核进行第二次检测，精确度会有所提升。有丝分裂检测组件的网络结构相对于细胞分割组件有所不同，具体网络结构见图3。有丝分裂检测组件网络结构中的卷积层、池化层与细胞分割组件没有区别，但是训练过程有所不同。网络在检测有丝分裂细胞的时候，存在训练数据的样本严重不平衡的问题，即1％的有丝分裂，99％的非有丝分裂。为了解决该问题，我们引入了一个额外的权重参数ω^class加入到交叉熵代价函数中：

其中，pi表示i属于前景的概率，是groundtruth。

本发明所提供的基于级联全卷积网络病理图像有丝分裂细胞的识别方法具有以下有益效果：

1、采用级联全卷积网络，相比于传统的卷积网络，细胞分割组件可以对细胞进行粗选择，然后再送入有丝分裂检测组件进行精检测，提高了检测的精度；

2、采用全卷积网络结构，可以使输入的图像为任意尺寸并且得到的输出图像也是任意尺寸，相比传统的卷积网络更加直观；

3、用卷积层代替全连接层，使得图像的分割精确和检测精度达到像素级。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。