一种基于U-Net和密度估计的癌细胞图像分割方法与流程

本发明提出了一种基于u-net和密度估计的癌细胞图像分割方法，属于深度学习语义分割领域。

技术背景

随着计算机技术的发展，针对医学病理图像进行自动分析的图像处理算法也应用得越来越广泛。显微镜图像定量分析则是广泛应用于癌症早期诊断、癌变分级、药物使用等医学研究领域。而在医学图像分析中，细胞分割尤为基础和重要，是对细胞图像进行识别和计数的基本前提。

传统方法根据分割时所依据图像特性不同分很多类基于阈值、基于区域、基于图等。用基于深度学习的神经网络来进行图像分割，是近几年发展较快的一个领域。当前最成功的图像分割深度学习技术都是基于一个共同的先驱：fcn(fullyconvolutionalnetwork，全卷积神经网络)。

除此之外还有将传统方法与深度学习相结合的方法，例如先进行聚类，经过cnn编码聚类结果，然后对聚类结果进行一个分类，实质是将讲分割任务转换为一个分类任务。

深度学习最初流行的分割方法是，打补丁式的分类方法(patchclassification)。逐像素地抽取周围像素对中心像素进行分类。由于当时的卷积网络末端都使用全连接层(fullconnectedlayers)，所以只能使用这种逐像素的分割方法。

但是到了2014年，来自伯克利的fullyconvolutionalnetworks(fcn)卷积网络，去掉了末端的全连接层。随后的语义分割模型基本上都采用了这种结构。除了全连接层，语义分割另一个重要的问题是池化层。池化层能进一步提取抽象特征增加感受域，但是丢弃了像素的位置信息。但是语义分割需要类别标签和原图像对齐，因此需要从新引入像素的位置信息。有两种不同的架构可以解决此像素定位问题。

与经典的cnn在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同，fcn可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的featuremap进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。

技术实现要素：

本发明要克服现有技术的上述缺点，本发明选取u-net网络结构作为深度学习分割框架，并结合密度估计算法对癌细胞图像进行分割，提出了一种基于u-net和密度估计的癌细胞图像分割方法。

为了解决上述技术问题，本发明提供如下的技术方案：

一种基于u-net和密度估计的癌细胞图像分割方法，所述方法包括以下步骤：

步骤1.运行环境平台与数据集格式；

pytorch框架下基于python版u-net网络结构，使用的数据集格式为voc2012。

步骤2.优化的网络结构，过程如下：

2.1基于回归的密度估计方法生成密度图

利用高斯函数与脉冲函数做卷积操作达到密度图，密度图的计算公式如下：

其中xi表示细胞在图像中的像素位置；δ(x-xi)表示图像中细胞所在位置处简单的脉冲函数；n表示图像中细胞总数；表示距离xi细胞最近的m个细胞与癌细胞间的平均距离；β值取0.3；表示方差为σi的高斯核；

网络得到的特征图进行1*1大小的高斯核进行卷积得到密度图，每个点的像素值代表目标数目；

2.2使用网络预测得到的密度图与真实值之间的欧式距离来衡量基于回归的密度估计损失函数

其中θ为网络需要学习的参数，n表示训练集数量，xi为第i张训练图片，di为对应的gt密度图，fd(xi；θ)为xi对应网络预测的密度图；

网络总体损失函数借鉴多任务损失函数思想，再进行加权求和所得：

loss＝lce+wlden

其中w的值为0.1，用来规范化u-net网络损失函数lce与lden，两者者之间的权重为10:1，设计如下：

单个样本的交叉熵损失函数

l＝-[ylogy′+(1-y)log(1-y′)]

如果是计算n个样本的总的损失函数，只要将n个loss叠加起来就可以了：

y为真值,y'为网络输出即为预测值；

步骤3、得到分割结果，过程如下：

将整张图片输入u-net进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。

进一步，所述步骤1中，硬件平台为intelcorei7-7700kcpu4.20ghz8核处理器和geforcegtx1080ti高能性显卡的台式计算机。

本发明的有益效果为：有效提高遮挡与高密度情况下的分割准确性。

附图说明

图1细胞原图及对应生成的细胞密度图，其中，(a)是细胞原图，(b)是细胞gt密度图。

图2是本发明方法的u-net与密度估计融合的网络结构整体示意图。

具体实施方式

下面结合附图进一步说明本发明。

参照图1和图2，一种基于u-net和密度估计的癌细胞检测方法，包括以下步骤：

步骤1.运行环境平台与数据集格式；

一种基于u-net和密度估计的癌细胞图像分割方法，硬件平台为intelcorei7-7700kcpu4.20ghz8核处理器和geforcegtx1080ti高能性显卡的台式计算机，pytorch框架下基于python版u-net网络结构，使用的数据集格式为voc2012；

步骤2.优化的网络结构，过程如下：

2.1基于回归的密度估计方法生成密度图

利用高斯函数与脉冲函数做卷积操作达到密度图，密度图的计算公式如下：

其中xi表示细胞在图像中的像素位置；δ(x-xi)表示图像中细胞所在位置处简单的脉冲函数；n表示图像中细胞总数；表示距离xi细胞最近的m个细胞与癌细胞间的平均距离；β值取0.3；表示方差为σi的高斯核；

网络得到的特征图进行1*1大小的高斯核进行卷积得到密度图，每个点的像素值代表目标数目；

在该方法下细胞生成的密度示意图如图1。

2.2基于回归的密度估计方法将第i张图片送入全卷积网络，对所有的像素进行密度估计，优化化的网络结构图如图2。

使用网络预测得到的密度图与真实值之间的欧式距离来衡量基于回归的密度估计损失函数

其中θ为网络需要学习的参数，n表示训练集数量，xi为第i张训练图片，di为对应的gt密度图，fd(xi；θ)为xi对应网络预测的密度图；

网络总体损失函数借鉴多任务损失函数思想，再进行加权求和所得：

loss＝lce+wlden

其中w的值为0.1，用来规范化u-net网络损失函数lce与lden，两者者之间的权重为10:1，设计如下：

单个样本的交叉熵损失函数

l＝-[ylogy′+(1-y)log(1-y′)]

如果是计算n个样本的总的损失函数，只要将n个loss叠加起来就可以了：

y为真值,y'为网络输出即为预测值；

步骤3、得到分割结果，过程如下：

将整张图片输入u-net进行特征提取；在网络最后一层，使用1x1卷积将每个64分量特征向量映射到期望数量的类。

在本发明的网络中输入数据集，利用高斯卷积方法得到细胞gt密度图(gtdensitymap)如图1(b)所示。基于回归的密度估计方法将第i张图片送入全卷积网络，对所有的像素进行密度估计，加入密度估计约束到网络中如图2，主要可以解决应密度大而对检测造成的挑战。得到的癌细胞分割结果准确度更高。

在相同参数配置前提下，将密度估计融入到u-net网络中，可以一定程度的提高网络检测精度，特别能改善遮挡或高密度情况下的检测准确性。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。