一种白细胞分割分类方法

1.本发明涉及医学图像处理领域，具体为一种白细胞分割分类方法。


背景技术：

2.医学图像分割由于其对辅助医疗、临床医学等领域的巨大帮助成为了目前图像处理领域的主要研究方向之一。对于特定医学图像，如外周血细胞图像中的白细胞图像，通常由于白细胞自身特性或设备影响，使得在染色与图像采集阶段导致血细胞图像光照不均及白细胞特征不明显的问题，尽管不断有图像处理算法被提出来，但是单一的传统算法所带来的效果不够理想。
3.白细胞是人体免疫系统的重要组成部分。白细胞主要是由中性粒细胞、嗜碱性粒细胞、嗜酸性粒细胞、单核细胞和淋巴细胞组成的。不同种类的白细胞数量和比例对应着不同的疾病，因此白细胞检测与分类的准确性对于疾病辅诊断非常重要。传统的白细胞检测方法主要是利用人工显微镜检查。人工镜检是临床检验的“金标准”，需要两名训练有素的经验丰富检验科医生，在显微镜下观察白细胞形态并计数，最终确定检验结果，这种方法不仅耗时长，效率低，而且主观性强。
4.目前有使用传统图像处理对白细胞进行分割识别的方法，如分水岭算法、边缘检测、主动轮廓模型、自适应阈值分割等。但是传统的方法只能实现单标签分类问题，无法进行多标签分类的工作，且还存在细胞分割不完整、准确率不高等问题。边缘检测只能产生边缘点，而非完整意义上的图像分割，需要在获取边缘点信息后进一步处理。主动轮廓模型依赖初始轮廓的选择，初始轮廓不准确的情况下也无法得到好分割结果。自适应阈值分割中选取合适的阈值至关重要，因此对噪声比较敏感，鲁棒性不高。所以传统方法无法满足目前的实际应用。
5.随着近年来计算机性能的提升和数据量的增加，深度学习也广泛地应用到了白细胞检测中。但通过目前的研究可以发现，公开数据集中白细胞数据样本少，很多利用深度学习方法进行白细胞分割分类的研究都需要进行数据扩充，而且仅仅做到了一张图像中只存在单个白细胞的分割或者分类。


技术实现要素：

6.本发明的目的在于提供一种白细胞分割分类方法，能够准确对白细胞进行5分类的分割分类。
7.本发明提供了一种白细胞分割分类方法，包括以下步骤：
8.获取多个rgb彩色血细胞图像，并将每个所述rgb彩色血细胞图像均转换为hsv彩色血细胞图像，分割每个所述hsv彩色血细胞图像中的明度v、色调h、饱和度s三个分量，并将每一个分量的灰度图像均分成若干个大小相同的方形图像块；
9.对每个所述方形图像块进行自适应retinex校正，包括对于明度v分量的方形图像块进行自适应均衡化处理，对于色调h分量的方形图像块及饱和度s分量的方形图像块进行
色彩校正处理；
10.将经过自适应retinex校正后的三个分量中的所有方形图像块进行融合并转化为rgb色彩空间图像，该rgb色彩空间图像为白细胞特征图像；
11.根据白细胞特征图像中的各类白细胞的特征，利用u-net卷积神经网络进行白细胞分类模型训练，实现血细胞中的五类白细胞的分割分类。
12.优选的，多个所述rgb彩色血细胞图像均为经过瑞氏染色之后的血细胞涂片的显微镜成像；
13.多个所述rgb彩色血细胞图像均为统一标准化的大小的jpg格式的rgb彩色图像，多个所述rgb色彩血细胞图像中的一半图像为训练集，另一半图像为测试集。
14.优选的，所述对于明度v分量的方形图像块进行自适应均衡化处理具体包括对明度v分量中每个方形图像块分别进行直方图计算来重新分布明度v分量的方形图像块的亮度值。
15.优选的，所述色彩校正处理为在msrcr模型的基础上结合michelson对比度引入的一种分块式色彩恢复函数实现的色彩校正；
16.所述msrcr模型如下：
17.f
msrcr
(x,y)＝ci(x,y)f
msr
(x,y)
ꢀꢀꢀ
(1)
18.其中，(x,y)是以图像的左下角为原点，图像中像素点的空间坐标；
19.f
msrcr
(x,y)表示msrcr模型函数；
20.f
msr
(x,y)表示msr模型函数；
21.ci(x,y)表示色彩恢复函数；
22.ci(x,y)公式如下：
[0023][0024]
其中，si(x,y)表示原始图像，i∈{r,g,b}；
[0025]
α表示影响图像色彩恢复的增益因子偏移量一，α取值为46；
[0026]
β表示影响图像色彩恢复的增益因子偏移量二，表达式如下：
[0027][0028]
其中，γ为常数；
[0029]cm
表示michelson对比度，其表达式为：
[0030][0031]
其中，i
max
表示最亮的亮度；i
min
表示最暗的亮度；
[0032]
则ci(x,y)色彩恢复函数为：
[0033][0034]
优选的，根据色调h分量的方形图像块、饱和度s分量的方形图像块中的像素值的michelson对比度的变化进行自适应选取影响图像色彩恢复的增益因子偏移量一β的值；
[0035]
在所述色调h分量的方形图像块中，i
max
表示血细胞图像中所有细胞及杂质，i
min
表
示血细胞图像中的背景；
[0036]
当michelson对比度cm逐渐增大时，所述影响图像色彩恢复的增益因子偏移量二β的值随着michelson对比度cm的增大而增大；
[0037]
当michelson对比度cm逐渐减小时，所述影响图像色彩恢复的增益因子偏移量二β的值不变；
[0038]
在所述饱和度s分量中，i
max
表示血细胞图像中的白细胞，i
min
表示血细胞图像中的背景；
[0039]
当michelson对比度cm逐渐增大时，所述影响图像色彩恢复的增益因子偏移量二β的值随着michelson对比度cm的增大而增大；
[0040]
当michelson对比度cm逐渐减小时，所述影响图像色彩恢复的增益因子偏移量二β的值不变；
[0041]
根据色调h分量的方形图像块、饱和度s分量的方形图像块中的像素值的michelson对比度的变化进行自适应选取影响图像色彩恢复的增益因子偏移量一β的值。
[0042]
优选的，所述u-net卷积神经网络模型包括vgg16主干特征提取网络、加强特征提取网络、预测网络。
[0043]
优选的，当输入的所述rgb彩色血细胞图像的图像大小为k
×k×
3时，所述vgg16主干特征提取网络的处理过程如下：
[0044]
对所述rgb彩色血细胞图像进行两次3
×
3的64通道的卷积，获得一个k
×k×
64的初步有效特征层，再进行2
×
2最大池化，获得一个的特征层；
[0045]
进行两次3
×
3的128通道的卷积，获得一个的初步有效特征层，再进行2
×
2最大池化，获得一个的特征层；
[0046]
进行三次3
×
3的256通道的卷积，获得一个的初步有效特征层，再进行2
×
2最大池化，获得一个的特征层；
[0047]
进行三次3
×
3的512通道的卷积，获得一个的初步有效特征层，再进行2
×
2最大池化，获得一个的特征层；
[0048]
进行三次3
×
3的512通道的卷积，获得一个的初步有效特征层。
[0049]
优选的，所述加强特征提取网络与所述vgg16主干特征提取网络是一个u的形状，用于获得与输入的rgb彩色血细胞图像图片高宽相同的最终有效特征层；
[0050]
所述获得与输入的rgb彩色血细胞图像图片高宽相同的最终有效特征层具体包括将所述主干特征提取网络获得的五个初步有效特征层进行特征融合，所述特征融合是对每个所述有效特征层特征层分别进行两倍的上采样并堆叠。
[0051]
优选的，所述预测网络用于根据所述主干特征提取网络获得的五个初步有效特征层获取白细胞分类预测结果；
[0052]
所述预测网络的处理过程如下：
[0053]
利用一个1
×
1的卷积对所述最终有效特征层进行通道调整，将所述最终有效特征层的通道数调整成6；
[0054]
对所述最终有效特征层中的每一个特征点进行分类，所述最终有效特征层中的特征点的分类输出结果为白细胞的分割分类结果。
[0055]
与现有技术相比，本发明的有益效果：
[0056]
本发明首先基于opencv平台采用直方图均衡化和retinex理论融合的自适应retinex方法对显微镜下采集的血细胞图像进行处理，一方面加强单个白细胞间的不同特征细节，另一方面消除采集时光照不均的问题，提高了训练时的鲁棒性。然后通过u-net卷积神经网络对处理好的数据集进行训练和预测，u-net可以使用较少的数据集得到不错的训练效果，解决了白细胞数据样本少的问题。综合两方面，实现了更加精准的白细胞5分类的分割分类操作。
附图说明
[0057]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0058]
图1是本发明提出的一种白细胞分割分类方法的原理流程图；
[0059]
图2是本发明提出的一种白细胞分割分类方法的原理框图
[0060]
图3为本发明实施例1中的染色血细胞图像经步骤1处理后的图像；
[0061]
图4为本发明实施例1中对血细胞图像经步骤2进行自适应retinex校正的前后结果图；
[0062]
图5为本发明实施例1中对血细胞图像经步骤3采用u-net卷积神经网络训练并预测的结果图。
具体实施方式
[0063]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0064]
实施例
[0065]
如图1-5所示，一种白细胞分割分类方法，包括以下步骤：
[0066]
步骤1：获取多个rgb彩色血细胞图像，多个rgb彩色血细胞图像均为经过瑞氏染色之后的血细胞涂片的显微镜成像，多个rgb彩色血细胞图像均为统一标准化的大小的jpg格式的rgb彩色图像，多个rgb色彩血细胞图像中的一半图像为训练集，另一半图像为测试集。
[0067]
本实施例中以80张rgb彩色血细胞图像图片为样本，为了使样本图像能满足u-net卷积神经网络模型训练的基本要求，每个样本图像中的细胞数量足够且细胞图像分布情况较为复杂。其中，将80张样本图像图片数据集分为40张训练集和40张测试集，所有的血细胞图像均统一标准化为512
×
512的jpg格式的rgb彩色图像。
[0068]
并将每个rgb彩色血细胞图像均转换为hsv彩色血细胞图像，分割每个hsv彩色血细胞图像中的明度v、色调h、饱和度s三个分量，并将每一个分量的灰度图像均分成若干个大小相同的方形图像块。
[0069]
本实施例中基于opencv平台，对原始经过瑞氏染色之后的血细胞涂片的显微镜成像的80张样本图像进行rgb色彩空间转换为hsv色彩空间，确保转化后的每一张hsv图像尺寸均为512
×
512，图3a为转化后的hsv色彩空间图像。并分割出明度v、色调h和饱和度s三个分量的灰度图像，图3b为分割出的明度v分量，图3c为分割出的色调h分量，图3d为分割出的饱和度s分量。再对每一张灰度图像都分成16384个4
×
4的小块。
[0070]
步骤2：对每个方形图像块进行自适应retinex校正，包括步骤：
[0071]
步骤2.1：对于明度v分量的方形图像块进行自适应均衡化处理，具体包括对明度v分量中每个方形图像块分别进行直方图计算来重新分布明度v分量的方形图像块的亮度值，如图4a为对明度v分量进行自适应直方图均衡化处理的结果图像。
[0072]
步骤2.2：对于色调h分量的方形图像块及饱和度s分量的方形图像块进行色彩校正处理；色彩校正处理为在msrcr模型的基础上结合michelson对比度引入的一种分块式色彩恢复函数实现的色彩校正；
[0073]
其中，msrcr是retinex理论中的一种，是在msr的基础上使用色彩恢复函数进行改进，而msr又是在ssr的基础上进行一定的改进。
[0074]
retinex理论的基本假设为原始图像s(x,y)是光照图像l(x,y)和反射率图像r(x,y)的乘积，即可表示为下式的形式：
[0075]
s(x,y)＝r(x,y)
·
l(x,y)
[0076]
在处理中，通常将其转至对数域，即s＝logs,l＝logl,r＝logr，从而将乘积关系转换为和的关系：
[0077]
log(s)＝log(r
·
l)
[0078]
logs＝log r+logl
[0079]
s＝r+l
[0080]
retinex理论的核心就是从原始图像s中估计出光照l，从而分解出反射分量r，消除光照不均的影响，以改善图像的视觉效果，正如人类视觉系统那样。即：
[0081]
l＝f(s)
[0082]
r＝s-f(s)
[0083]
那么，ssr的实现步骤如下：
[0084]
step1：将图像分解为r、g、b三个通道，根据式(2)、(3)分别进行对数变换；
[0085]
step2：构建高斯环绕函数，将各通道的灰度图像分别与高斯环绕函数进行卷积，得到三个通道的照度估计分量；
[0086]
step3：在对数域，用原图像和高斯模糊后的图像做差分运算，得到反射分量；
[0087]
step4：将得到的反射分量的结果线性拉伸或者指数变换，转化为图像输出的数据类型；
[0088]
step5：将得到的三通道的反射分量图像合并为一幅图像，得到ssr增强图像。
[0089]
msr就是在ssr的step2中选取三个尺度参数分别构成三个高斯环绕函数，再分别进行卷积后加权平均得到各通道的照度估计分量，来有效地保持细节和色彩信息。
[0090]
msrcr(multi-scale retinex with color restoration)带色彩恢复的多尺度视网膜增强算法，则是在msr的基础上，在step4中使用色彩恢复函数与各通道的msr增强函数相乘，得到三通道的图像增强反射分量，来降低色偏。
[0091]
msrcr模型如下：
[0092]fmsrcr
(x,y)＝ci(x,y)f
msr
(x,y)
ꢀꢀꢀ
(1)
[0093]
其中，(x,y)是以图像的左下角为原点，图像中像素点的空间坐标；
[0094]fmsrcr
(x,y)表示msrcr模型函数；
[0095]fmsr
(x,y)表示msr模型函数；
[0096]ci
(x,y)表示色彩恢复函数；
[0097]ci
(x,y)公式如下：
[0098][0099]
其中，si(x),y)表示原始图像，i∈{r,g,b}；
[0100]
α表示影响图像色彩恢复的增益因子偏移量一，α一般取值为46；
[0101]
β表示影响图像色彩恢复的增益因子偏移量二，表达式如下：
[0102][0103]
其中，γ为常数；
[0104]cm
表示michelson对比度，其表达式为：
[0105][0106]
其中，i
max
表示最亮的亮度；i
min
表示最暗的亮度；
[0107]
则ci(x,y)色彩恢复函数为：
[0108][0109]
根据色调h分量的方形图像块、饱和度s分量的方形图像块中的像素值的michelson对比度的变化进行自适应选取影响图像色彩恢复的增益因子偏移量一β的值；
[0110]
先将上述分割出的血细胞图像的h分量和s分量的像素点分布统计出来，如图4b和图4c所示，图4b为h分量的像素点分布统计图，图4c为s分量的像素点分布统计图。
[0111]
h分量中区分出了背景和细胞，所以在h分量中对背景进行处理，解决背景过亮或过暗的问题。
[0112]
s分量中区分出了背景、其他细胞及杂质和白细胞，所以在s分量中，对它们分别进行处理，增加白细胞细节特征，同时对这三部分实现各自的归一化。
[0113]
在色调h分量的方形图像块中，i
max
表示血细胞图像中所有细胞及杂质，i
min
表示血细胞图像中的背景，当michelson对比度cm逐渐增大时，表示图像中的细胞与背景的对比度较大，影响图像色彩恢复的增益因子偏移量二β的值随着michelson对比度cm的增大而增大，可以抑制由非均匀光照带来的亮度不均的影响；
[0114]
当michelson对比度cm逐渐减小时，表示可能处在图像的同一黑色背景或灰色所有细胞及杂质下，影响图像色彩恢复的增益因子偏移量二β的值趋于不变，确保白细胞和其他杂质不过度相似。
[0115]
在饱和度s分量中，i
max
表示血细胞图像中的白细胞，i
min
表示血细胞图像中的背景；
[0116]
当michelson对比度cm逐渐增大时，影响图像色彩恢复的增益因子偏移量二β的值随着michelson对比度cm的增大而增大；当michelson对比度cm逐渐减小时，影响图像色彩恢复的增益因子偏移量二β的值不变。细化白细胞特征，同时增加白细胞与其他细胞及杂质的对比度。
[0117]
步骤2.3：将经过自适应retinex校正后的三个分量中的所有方形图像块进行融合并转化为rgb色彩空间图像，该rgb色彩空间图像为白细胞特征图像，如图4d所示；
[0118]
步骤3：根据白细胞特征图像中的各类白细胞的特征，利用u-net卷积神经网络进行白细胞分类模型训练，实现血细胞中的五类白细胞的分类。
[0119]
u-net卷积神经网络模型包括vgg16主干特征提取网络、加强特征提取网络、预测网络。
[0120]
v-当输入的rgb彩色血细胞图像的图像大小为k
×k×
3时，vgg16主干特征提取网络的处理过程如下：
[0121]
对rgb彩色血细胞图像进行两次3
×
3的64通道的卷积，获得一个k
×k×
64的初步有效特征层，再进行2
×
2最大池化，获得一个的特征层；
[0122]
进行两次3
×
3的128通道的卷积，获得一个的初步有效特征层，再进行2
×
2最大池化，获得一个的特征层；
[0123]
进行三次3
×
3的256通道的卷积，获得一个的初步有效特征层，再进行2
×
2最大池化，获得一个的特征层；
[0124]
进行三次3
×
3的512通道的卷积，获得一个的初步有效特征层，再进行2
×
2最大池化，获得一个的特征层。
[0125]
进行三次3
×
3的512通道的卷积，获得一个的初步有效特征层。
[0126]
加强特征提取网络与vgg16主干特征提取网络是一个u的形状，用于获得与输入的rgb彩色血细胞图像图片高宽相同的最终有效特征层；
[0127]
获得与输入的rgb彩色血细胞图像图片高宽相同的最终有效特征层具体包括将主干特征提取网络获得的五个初步有效特征层进行特征融合，特征融合是对每个有效特征层特征层分别进行两倍的上采样并堆叠。
[0128]
预测网络用于根据主干特征提取网络获得的五个初步有效特征层获取白细胞分类预测结果；
[0129]
预测网络的处理过程如下：
[0130]
利用一个1
×
1的卷积对最终有效特征层进行通道调整，将最终有效特征层的通道数调整成6；
[0131]
对最终有效特征层中的每一个特征点进行分类，最终有效特征层中的特征点的分
类输出结果为白细胞的分割分类结果
[0132]
在本实施例中，首先，对上述处理好的白细胞特征图像进行人工手动标签，将图像中的白细胞分为5种类型：淋巴细胞、嗜碱性细胞、中性粒细胞、嗜酸性细胞和单核细胞，分别用绿色、紫色、黄色、蓝色和红色来表示。图5a为处理好的血细胞原图，图5b为人工手动标签的8位彩色标签图。
[0133]
然后，利用主干特征提取网络获得的五个初步有效特征层。输入的图像大小为512
×
512
×
3，vgg16主干特征提取网络过程如下：
[0134]
conv1：进行两次3
×
3的64通道的卷积，获得一个512
×
512
×
64的初步有效特征层，再进行2
×
2最大池化，获得一个256
×
256
×
64的特征层。
[0135]
conv2：进行两次3
×
3的128通道的卷积，获得一个256
×
256
×
128的初步有效特征层，再进行2
×
2最大池化，获得一个128
×
128
×
128的特征层。
[0136]
conv3：进行三次3
×
3的256通道的卷积，获得一个128
×
128
×
256的初步有效特征层，再进行2
×
2最大池化，获得一个64
×
64
×
256的特征层。
[0137]
conv4：进行三次3
×
3的512通道的卷积，获得一个64
×
64
×
512的初步有效特征层，再进行2
×
2最大池化，获得一个32
×
32
×
512的特征层。
[0138]
conv5：进行三次3
×
3的512通道的卷积，获得一个32
×
32
×
512的初步有效特征层。
[0139]
接着，在加强特征提取网络里，利用主干特征提取网络获得的五个初步有效特征层进行特征融合，特征融合的方式就是对特征层进行两倍的上采样并堆叠，最终获得与输入图片高宽相同的最终有效特征层。
[0140]
最后，利用最终有效特征层获得预测结果。利用一个1
×
1的卷积进行通道调整，将最终有效特征层的通道数调整成6，其中5个通道为白细胞的五个类别，1个通道为图像背景；然后对最终有效特征层的每一个特征点进行分类，输出的结果即为最后的白细胞分割分类结果，如图5c为最终白细胞分割分类的结果图。
[0141]
最后说明的是：以上公开的仅为本发明的一个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。