基于多特征和多分类器的骨髓细胞分类识别方法及系统
本发明属于图像处理技术领域，具体涉及一种基于多特征和多分类器的骨髓细胞分类识别方法及系统。
背景技术：
计算机辅助技术相比于人工识别来说，具有许多天然的优势。第一，它的识别速度快，效率高。一般而言，具有丰富经验的检验人员很少，而骨髓细胞图像却很多，人工识别的话必然导致效率极其低下。而好的算法和机器能够一分钟扫描识别出几十甚至上百张图像，大大提高了效率。第二，识别准确率高。有些检验人员的经验并不丰富，在识别过程中很可能会出现错误，这样对于诊断疾病不利。而计算机辅助识别系统只要设计好模型算法，那么就能达到一个不错的识别准确率。第三，细胞分割出色。人工往往在观察细胞时，由于细胞之间相互粘连，有时很难将它们分开，大大降低了识别的效率。而计算机辅助识别系统能够将细胞之间分割开，这样就能够方便地对单独细胞进行识别。
多种特征以及多种分类器融合模型的构建能够更加全面和有效地识别骨髓细胞，进而能够有效地计算出细胞比例和数量，具有很高的应用实践价值。
技术实现要素：
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于多特征和多分类器的骨髓细胞分类识别方法及系统，利用纹理特征，形状特征和颜色特征等多种融合特征，同时结合多种分类器融合模型来提高测试分类准确率，解决骨髓细胞的分类识别问题。
本发明采用以下技术方案：
基于多特征和多分类器的骨髓细胞分类识别方法，包括以下步骤：
s1、根据骨髓细胞原始图像建立原始图像数据集；对原始图像数据集进行定位、分割和数据增强处理，得到骨髓细胞图像数据集；
s2、构建vgg16，densenet121和resnet50迁移分类器，并用步骤s1中的骨髓细胞图像数据集进行训练和测试，得到三种迁移分类器的测试准确率；
s3、从步骤s1得到的骨髓细胞图像数据集中的图像提取纹理特征lbp，形状特征hog和颜色特征hsv；利用加权图像融合算法对提取的纹理特征lbp，形状特征hog和颜色特征hsv特征图像进行融合得到特征融合图像，构建特征融合图像数据集，利用步骤s2构建的vgg16，densenet121和resnet50迁移分类器对特征融合图像数据集进行训练并测试，得到每个迁移分类器中测试准确率最高的特征融合图像；
s4、利用keras模型融合算法对步骤s2构建的vgg16，densenet121和resnet50迁移分类器进行融合得到4个融合分类器，利用4个融合分类器对步骤s3得到的测试准确率最高的特征融合图像进行训练和测试，确定测试准确率最高的多特征多分类器融合模型；利用准确率最高的多特征多分类器融合模型对细胞图像进行分类识别。
具体的，步骤s1具体为：
s101、获取骨髓细胞数据集bci和asdml，建立骨髓细胞数据集；
s102、从asdml数据集和bci数据集中选择嗜酸性粒细胞，淋巴细胞，单核细胞，原始粒细胞和嗜中性粒细胞作为原始骨髓细胞数据集；
s103、骨髓细胞定位和分割；
s104、对步骤s103分割后的骨髓细胞图像进行中值滤波处理；
s105、对步骤s104滤波后的骨髓细胞图像进行去雾处理；
s106、采用图像翻转，图像旋转和图像平移操作对步骤s105去雾处理后的骨髓细胞图像进行扩增，构建骨髓细胞图像数据集。
具体的，步骤s103具体为：
s1031、利用labelimg标注软件步骤s102中50％的对骨髓细胞进行标注，得到标注文件xml；
s1032、利用yolov3目标检测网络对步骤s1031得到的标注文件xml进行训练，得到yolov3训练模型；
s1033、利用步骤s1032得到的yolov3训练模型对步骤s102中所有的骨髓细胞图像数据集进行目标检测和定位，得到目标定位的候选框及四个像素点如下：左上角像素点(x1,y1)，右上角像素点(x2,y1)，左下角像素点(x1,y2)，右下角像素点(x2,y2)；
s1034、对步骤s1033得到的四个像素点进行计算x1-x2|*|y1-y2|并划分出候选框之间的区域，最终将细胞从整个图像中分割出来，得到分割骨髓细胞图像。
具体的，步骤s2具体为：
s201、构建vgg16，densenet121，resnet50迁移分类器，并采用冻结和训练策略，分别冻结vgg16，densenet121，resnet50迁移分类器网络的前面层数，并将公开自然图像数据集imagenet训练的vgg16，densenet121，resnet50迁移分类器网络参数和权重迁移到三个迁移分类器网络中，最后训练新设置的网络层数，得到训练好的三个单分类器模型；
s202、利用步骤s201训练好的三个单分类器模型对步骤s1中骨髓细胞图像数据集中的测试集进行测试，采用准确率，精确率，召回率和f1分数分类指标对三个单分类器模型的测试结果进行评价。
进一步的，步骤s201建立的三个迁移分类器中，优化器为sgd，激活函数为softmax，学习率为0.001，迭代次数为100，输入尺寸为64*64，批尺寸为128，预训练权重为imagenet，损失函数为交叉熵分类损失函数categorical_crossentropylossfunction。
具体的，步骤s3具体为：
s301、对步骤s1骨髓细胞图像数据集中的图像进行局部二值模式特征提取，采用lbp等价模型的特征提取方法，得到骨髓细胞的lbp特征图像；
s302、对步骤s1骨髓细胞图像数据集中的图像进行方向梯度直方图特征提取，采用cell为1*1，block为2*2的特征提取方法，得到骨髓细胞的hog特征图像；
s303、对步骤s1骨髓细胞图像数据集中的图像进行色调-饱和度-明度(hsv)特征提取，得到骨髓细胞的hsv特征图像；
s304、对步骤s301，步骤s302和步骤s303得到的骨髓细胞的lbp特征图像，骨髓细胞的hog特征图像和骨髓细胞的hsv特征图像进行特征融合，采用加权图像融合算法对图像进行融合，得到8类特征融合图像；
s305、利用步骤s304得到的8类特征融合图像对步骤s2中构建的三个迁移分类器进行训练，并对步骤s1构建的骨髓细胞图像数据集中的测试集进行测试，得到测试准确率结果，选择测试准确率最高的特征融合图像作为基准特征融合图像。
进一步的，步骤s304中，融合后的特征融合图像i(x)具体为：
i(x)＝ω1i1(x)+ω2i2(x)
其中，i1(x)和i2(x)表示需要融合的图像，ω1和ω2表示融合图像的权重。
具体的，步骤s4具体为：
s401、利用keras模型融合算法对vgg16，densenet121和resnet50迁移分类器进行融合，加载分类模型1的训练权重，并加载分类模型2的训练权重，最后将模型1和模型2的网络进行融合，并加上新构建的全连接层和输出层，完成4个分类器融合；
s402、利用步骤s3得到的基准特征融合图像对步骤s401融合后的4个融合分类器进行训练，并对步骤s1构建的骨髓细胞图像数据集中的测试集进行测试，最终选取准确率最高的多特征多分类器融合模型用于骨髓细胞进行分类识别。
进一步的，步骤s401中，4个分类器融合后的模型m计算如下：
其中，mi表示第i个分类器模型，ωi表示第i个分类器模型的权重。
本发明的另一技术方案是，一种基于多特征和多分类器的骨髓细胞分类识别系统，包括：
数据模块，根据骨髓细胞原始图像建立原始图像数据集；对原始图像数据集进行定位、分割和数据增强处理，得到骨髓细胞图像数据集；
分类器模块，构建vgg16，densenet121和resnet50迁移分类器，并用数据模块中的骨髓细胞图像数据集进行训练和测试，得到三种迁移分类器的测试准确率；
特征提取模块，从数据模块得到的骨髓细胞图像数据集中的图像提取纹理特征lbp，形状特征hog和颜色特征hsv；利用加权图像融合算法对提取的纹理特征lbp，形状特征hog和颜色特征hsv特征图像进行融合得到特征融合图像，构建特征融合图像数据集，利用分类器模块构建的vgg16，densenet121和resnet50迁移分类器对特征融合图像数据集进行训练并测试，得到每个迁移分类器中测试准确率最高的特征融合图像；
识别模块，利用keras模型融合算法对分类器模块构建的vgg16，densenet121和resnet50迁移分类器进行融合得到4个融合分类器，利用4个融合分类器对提取模块得到的测试准确率最高的特征融合图像进行训练和测试，确定测试准确率最高的多特征多分类器融合模型；利用准确率最高的多特征多分类器融合模型对细胞图像进行分类识别。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于多特征和多分类器的骨髓细胞分类识别方法，使用yolov3目标检测网络对骨髓细胞进行定位和分割，保证了细胞分割结果的准确性和完整性；使用迁移学习对骨髓细胞进行训练测试，降低了对图片训练数据量的要求，仅仅只有传统机器学习数量的十分之一；基于多特征和多分类器对骨髓细胞进行训练测试，可以全面地结合不同特征和不同分类器的优势，提高骨髓细胞的测试分类准确率。
进一步的，对原始数据进行定位分割以及数据增强等数据预处理工作，保证了骨髓细胞图像的一致性，清晰性和平衡性。骨髓细胞图像中不仅仅包括骨髓细胞，而且还包括红细胞，血小板等杂质，这些杂质的存在会很大程度上影响骨髓细胞分类识别的结果，同时原始图像中的骨髓细胞由于采集手段或设备的影响，其图像质量并不高，其低质量的图像容易造成分类识别结果的不准确性；再次由于原始骨髓细胞图像各类别之间数目不平衡，容易造成骨髓细胞分类的倾向性，数量多的骨髓细胞分类效果要高于数量少的骨髓细胞。为了避免以上三种原因造成的骨髓细胞分类效果的误差，本发明使用了图像预处理方法，利用yolov3对骨髓细胞进行定位分割，保证了其一致性；利用去雾滤波操作对骨髓细胞进行处理，保证了其清晰性；利用图像增强方法对骨髓细胞进行图像扩增，保证了其平衡性。
进一步的，利用yolov3目标检测网络对骨髓细胞进行定位分割保证了分割结果的准确性和完整性，对后续处理起了重要的作用。yolov3网络是一种良好的目标检测网络，其最大的优势是构建多尺度预测，通过多尺度预测对骨髓细胞进行三种尺度的特征提取，分别是大尺度特征，中尺度特征和小尺度特征，通过特征金字塔对多尺度特征进行处理并构建多种预测框，同时利用logisitic算法来对不同的预测框进行概率预测，从而得到预测概率最大的预测框作为最终定位后的候选框。由于多尺度预测，使得yolov3对不同大小和尺寸的骨髓细胞能够进行精确和完整的定位，再结合候选框坐标分割算法，将候选框内的骨髓细胞完整地分割出来。该分割方法相对于传统的人工分割方法，其效率和准确率大大提高。
进一步的，利用迁移学习思想构建的迁移分类器对骨髓细胞进行分类识别，能够大大地降低训练数据量的要求，同时能够达到相应的准确率。传统的机器学习或者深度学习方法对训练样本量有一定的要求，若样本量太小，会对整个分类识别的效果产生不良的影响。在某些领域内，其公开的图像数据比较少，故使用传统的分类方法难以达到良好的效果。由于医院的特殊性和病人的隐私性，骨髓细胞图像难以大量获取，同时存在的公开骨髓细胞图像数据集也比较稀少，故使用传统的分类方法对骨髓细胞进行分类识别，很难达到一定的效果。而迁移学习作为一种比较前沿的深度学习方法，其核心思想是将相似领域的分类器结构、参数和权重迁移到当前分类任务中，这样便可以解决样本量不足的情况下，分类识别效果能够达到良好的结果。
进一步的，利用冻结和训练的迁移学习分类方法对骨髓细胞进行分类识别，能够大大减少训练的时间和空间。迁移学习包括两种迁移策略，一种是微调的方法，一种是冻结和训练的方法。冻结和训练策略实质上是冻结分类器模型中被迁移的部分，保留迁移的参数和权重，不对该部分进行训练，同时构建出适合骨髓细胞分类识别任务的全连接层和输出层，仅仅对新建的层数进行训练，这样避免从头进行训练并保留和迁移的思想，大大减少训练的时间和空间，并达到相应的识别准确率。
进一步的，构建多特征融合图像，并利用其对骨髓细胞进行分类识别，能够结合不同特征的优势，提高了分类识别的准确性和有效性。骨髓细胞作为一种血液性细胞，其形状、纹理和颜色各不相同，形状方面呈现月牙形，圆形，类圆形，镰刀型等形状，而纹理方面呈现有颗粒和无颗粒等纹理，而颜色方面呈现淡蓝色，深蓝色，天蓝色等颜色，而原始细胞图像并没有将这些特征良好的显现出来。lbp是一种经典的纹理特征，其等价模型的效果能够显现出图像最本质的纹理特性；而hog特征作为重要的形状特征，其提取的特征图像能够很好地表示物体的形状；hsv是一种重要的颜色系统，不同于rgb颜色系统，该颜色系统能够对颜色中的重要特性(色调，饱和度和明度)进行提取，而这些特性在细胞中产生重要的作用。通过对提取后的特征图像进行融合，能够结合不同特征的优势和细胞最本质的特性，提高了骨髓细胞分类识别的准确率。
进一步的，利用加权融合算法对特征图像进行融合，能够保证特征信息的保留，为后续分类识别做好了基础。加权融合算法是一种经典的图像融合算法，其核心思想是对图像间的像素点进行加权并求和，其结果为最后融合后图像的像素点。其方法最大的优势是简单好用，不需要繁杂的步骤。而骨髓细胞特征图像融合需要对骨髓细胞间的特征进行信息间的结合，这样才能实现特征间的融合。而加权融合算法通过设置权重均为1能够最大程度上保留细胞特征的信息，为后续的处理奠定了良好的基础。
进一步的，构建多分类器融合模型并对多种特征融合图像进行分类识别，能够结合多个分类器和多个特征的优势和特性，大大提高了骨髓细胞分类识别的准确率。上述所说的三个单分类器vgg16，resnet50和densenet121具有不同的结构和参数，其对骨髓细胞分类有着不同的效果，其单一分类器效果必然无法完成全面地分类识别任务。而多种分类器的融合能够对分类器之间进行互补，同时利用多分类器融合模型对特征融合图像进行分类识别，能够同时结合特征间的优势，保证了多种分类器和特征间的互补和融合，大大提高了分类识别的准确率。
进一步的，利用keras多分类器融合算法对分类器进行融合，能够结合多种分类器之间的优势，保证了分类结果的全面性，提高了分类识别效果。keras作为经典的深度学习框架，在深度学习中具有重要的作用。其连接方法(concantenate)是将分类器中的网络部分进行融合，其结合效果为线性融合。其原理是首先保留输入层的不变，接着将迁移分类器1的网络结构和参数连接进去，同时连接迁移分类器2的网络结构和参数，最后连入适合本分类任务的全连接层和输出层，最终完成了分类器融合的思想。利用keras分类器融合算法能够将各分类器中的优势结合起来，提高了分类的准确性。
综上所述，本发明使用yolov3目标检测网络对骨髓细胞进行定位和分割，保证了细胞分割结果的准确性和完整性；使用迁移学习对骨髓细胞进行训练测试，降低了对图片训练数据量的要求；基于多特征和多分类器对骨髓细胞进行训练测试，可以全面地结合不同特征和不同分类器的优势，提高骨髓细胞的测试分类准确率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的总体流程图；
图2为本发明中数据集的建立流程示意图；
图3为细胞定位分割流程示意图；
图4为基于迁移学习的骨髓细胞分类识别流程示意图；
图5为基于多特征和多分类器融合的骨髓细胞分类识别流程示意图；
图6为基于医院血涂片的模型应用实践流程示意图；
图7为单分类器模型在原始图像上的实验训练图，其中，(a)为vgg16分类器，(b)为resnet50分类器，(c)为densenet121分类器；
图8为单分类器模型在测试集上的评价指标图；
图9为单分类器在特征融合图像上的实验训练图，其中，(a)为vgg16分类器，(b)为resnet50分类器，(c)为densenet121分类器；
图10为vgg16分类器在在测试集上的评价指标图；
图11为resnet50分类器在在测试集上的评价指标图；
图12为densenet121分类器在在测试集上的评价指标图；
图13为多特征多分类器融合模型的实验训练图；
图14为多特征多分类融合模型在测试集上的评价指标图；
图15为模型在医院血涂片上的检验效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于多特征和多分类器的骨髓细胞分类识别方法及系统，利用yolov3对骨髓细胞进行定位和分割，保留了细胞的完整性，使得细胞分割更加精确；使用迁移学习对骨髓细胞进行训练测试，降低了对图片训练数据量的要求，仅仅只有传统机器学习数量的十分之一；基于多特征和多分类器对骨髓细胞进行训练测试，可以全面地结合不同特征和不同分类器的优势，提高骨髓细胞的测试分类准确率。
请参阅图1，本发明一种基于多特征和多分类器的骨髓细胞分类识别方法，包括以下步骤：
s1、获取骨髓细胞原始图像，建立原始图像数据集；对获取的图像进行定位和分割，并对图像进行数据增强，建立供训练和测试用的骨髓细胞图像数据集；
请参阅图2，建立基于yolov3的骨髓细胞数据集，具体包括以下步骤：
s101、数据集获取
本发明获取了两大公开骨髓细胞数据集bci和asdml用于骨髓细胞数据集的建立，其中bci数据集共有4类细胞，训练集共有9957张，验证集共有2487张；asdml数据集共有15类细胞，训练集共有12848张，验证集共有3675张。
s102、数据的选择
依据两大数据集中的细胞数量和细胞图像质量，最终从中选择了5类细胞，分别是嗜酸性粒细胞，淋巴细胞，单核细胞，原始粒细胞和嗜中性粒细胞作为原始骨髓细胞数据集，其中训练集共17500张，测试集共7102张。
s103、骨髓细胞定位和分割
为了对骨髓细胞图像中的杂质进行剔除和过滤，需要对骨髓细胞进行分割。
请参阅图3，实施过程如下：
s1031、利用labelimg标注软件对骨髓细胞进行标注，这里选择数据集中的一半即8750张骨髓细胞作为标注数据集，得到8750个标注文件xml；
s1032、利用xml标注文件对yolov3进行训练，得到yolov3训练模型，其中yolov3模型损失函数的目标函数如下：
其中，前一种损失采用误差平方和损失函数，后两者损失采用二分类交叉熵损失函数，s代表特征图长度，而b代表每个网络中预测的边界框个数。xi,yi,
s1033、利用yolov3训练模型对骨髓细胞数据集进行目标检测和定位，得到目标定位的候选框及其四个像素点如下：左上角像素点(x1,y1)，右上角像素点(x2,y1)，左下角像素点(x1,y2)，右下角像素点(x2,y2)；
s1034、对四个像素点进行计算|x1-x2|*|y1-y2|并划分出候选框之间的区域，最终将细胞从整个图像中分割出来，得到分割骨髓细胞图像，计算公式如下：
i＝|x1-x2|*|y1-y2|
其中，i表示分割后的图像，(x1,y1)表示左上角像素点，(x2,y1)表示右上角像素点，(x1,y2)表示左下角像素点，(x2,y2)表示右下角像素点。
s104、图像滤波操作
对分割后的图像进行中值滤波，其计算公式如下：
h(x,y)＝mid(f(x,y)∈s)
其中，h(x,y)为中值滤波值，s为周围正方形区域，f(x,y)为区域内像素点的值。
s105、图像去雾操作
对滤波后的图像进行去雾，目的是让图像更加清晰可见，其计算公式如下所示：
其中，i(x)为原始图像，a为全球大气光成分，t(x)指的是大气折射率，t0为阈值，j(x)为去雾后的图像。
s106、图像扩增
采用图像翻转，图像旋转和图像平移操作最终对图像进行扩增，并最终构建了供训练测试的骨髓细胞图像数据集，该数据集一共有训练集25000张，验证集7500张，测试集792张。
s2、对步骤s1中的骨髓细胞图像数据集进行迁移学习，利用骨髓细胞图像数据集对三个迁移分类器(vgg16，resnet50，densenet121)进行训练和验证，如图7所示，并利用训练好的模型对测试集进行测试得到测试准确率，如图8所示。
请参阅图4，具体步骤如下：
s201、构建三个迁移分类器(vgg16，resnet50，densenet121)，并采用冻结和训练策略，即只冻结网络的前面层数，并将imagedata数据集训练的网络参数和权重迁移到三个迁移网络中，最后训练新设置的上述三个迁移分类器网络层数，得到训练和验证结果。其参数设置为：选择优化器为sgd，激活函数为softmax，学习率为0.001，迭代次数为100，输入尺寸为64*64，批尺寸(batch_size)为128，预训练权重为imagenet，损失函数为交叉熵分类损失函数。激活函数的计算公式如下：
其中，vi表示判别种类中第i类数据出现的概率，si的值表示被预测为第i类在所有类中的比例，该值越大则证明属于该类的可能性越大，该值越小说明属于该类的可能性越小。损失函数的计算公式如下：
其中，y为整个期望的输出，而a为神经元的实际输出。交叉熵主要是用来评估概率分布和真实分布之间的差异。即交叉熵的值越小，其概率分布和真实分布就越接近，即分类识别的效果也就越好。交叉熵损失函数主要是处理多分类问题，通过对多种类别形成一系列概率，然后将这些概率进行交叉熵操作，最终得到整个模型的损失。
s202、利用训练好的模型对测试集中的数据进行测试，采用四个分类指标对其进行评价测试结果。其分类指标分别为准确率(accuracy)，精确率(precision)，召回率(recall)和f1分数(f1)，利用四个评价指标对模型测试结果进行评价，其评价指标计算公式如下：
其中，tp表示正样本中被正确分类的样本量；fn表示正样本中被错误分类的样本量；fp表示负样本中被错误分类的样本量；tn表示负样本中被正确分类的样本量；p表示正样本的数量；n表示负样本的数量；p+n表示正负样本的数量。
s3、对步骤s1中的骨髓细胞图像数据集进行特征提取，分别提取纹理特征lbp，形状特征hog和颜色特征hsv；利用加权图像融合算法对提取到的特征图像进行融合，分别得到8个特征融合图像，并分别利用步骤s2中的3个迁移分类器进行训练验证，如图9所示；并利用训练好的模型对测试集进行测试，得到各测试准确率，如图10，图11，图12所示。
请参阅图5，具体步骤如下：
s301、对步骤s106中的骨髓细胞图像数据集中的骨髓细胞图像进行局部二值模式(lbp)特征提取，采用lbp等价模型的特征提取方法，得到骨髓细胞的lbp特征图像，其计算公式如下：
其中，ij为邻域内像素点的灰度值，ic为中心像素点的灰度值，p为总采样点，r为圆形的半径值，c为中心点的值，u(lbpp,r)为等价模式的lbp特征值。
s302、对s106中骨髓细胞图像数据集中的骨髓细胞图像进行方向梯度直方图(hog)特征提取，采用cell为1*1，block为2*2的特征提取方法，其中cell表示图像划分的细胞单元，block是由若干个细胞单元组成的，从而得到骨髓细胞的hog特征图像，其计算公式如下：
g'x(x,y)＝h(x+1,y)-h(x-1,y)
g'y(x,y)＝h(x,y+1)-h(x,y-1)
其中，g'x(x,y),g'y(x,y),h(x,y)分别表示输入图像中的像素点(x,y)处的水平方向的梯度，垂直方向的梯度以及该点的像素值，而g'(x,y)和α(x,y)表示像素点(x,y)处的梯度幅度和梯度方向。
s303、对s106中骨髓细胞图像数据集中的骨髓细胞图像进行色调-饱和度-明度(hsv)特征提取，得到骨髓细胞的hsv特征图像，其计算公式如下：
v＝max(r,g,b)
其中，r,g,b分别表示原始rgb图像中的red值，green值和blue值，而h,s,v分别表示转换为hsv颜色空间中的色调值，饱和度值和明度值。
s304、对步骤s301、s302和s303中的特征图像进行特征融合，采用加权图像融合算法对图像进行融合，最终得到8类特征融合图像，其计算公式如下：
i(x)＝ω1i1(x)+ω2i2(x)
其中，i(x)表示融合后的图像，i1(x)和i2(x)表示需要融合的图像，ω1和ω2表示融合图像的权重，在本发明中为了保证所有特征信息尽可能的保留，设置的权重均为1。
s305、利用三个迁移分类器对8类特征融合图像进行训练验证，并对测试集进行测试，得到测试准确率结果，并且将测试准确率最好的特征融合图像作为基准特征融合图像。
s4、利用keras模型融合算法对步骤s2中的3个迁移分类器进行融合，得到4个融合分类器，并利用4个融合分类器对步骤s3中在单个分类器中取得最好测试准确率的特征融合图像进行训练验证，如图13所示，并利用训练好的模型对测试集进行测试，如图14所示，得到测试准确率最好的多特征多分类器融合模型。
s401、利用keras中的连接方法对分类器进行融合，首先加载分类模型1的训练权重，然后加载分类模型2和训练权重，最后将模型1和模型2的网络进行融合，并加上新建的全连接层和输出层即完成分类器融合。
最终融合的分类器模型m计算如下：
其中，mi表示第i个分类器模型，ωi表示第i个分类器模型的权重，在这里，为了尽可能保证保留分类器模型的优势，本发明设置权重均为1。
s402、将融合后的4个融合分类器对基准特征融合图像进行训练并对测试集进行测试，最终得到测试准确率最好的多特征多分类器融合模型，如图13所示。
本发明再一个实施例中，提供一种基于多特征和多分类器的骨髓细胞分类识别系统，该系统能够用于实现上述基于多特征和多分类器的骨髓细胞分类识别方法，具体的，该基于多特征和多分类器的骨髓细胞分类识别系统包括数据模块、分类器模块、特征提取模块以及识别模块。
其中，数据模块，根据骨髓细胞原始图像建立原始图像数据集；对原始图像数据集进行定位、分割和数据增强处理，得到骨髓细胞图像数据集；
分类器模块，构建vgg16，densenet121和resnet50迁移分类器，并用数据模块中的骨髓细胞图像数据集进行训练和测试，得到三种迁移分类器的测试准确率；
特征提取模块，从数据模块得到的骨髓细胞图像数据集中提取纹理特征lbp，形状特征hog和颜色特征hsv；利用加权图像融合算法对提取的纹理特征lbp，形状特征hog和颜色特征hsv特征图像进行融合得到特征融合图像，构建特征融合图像数据集，利用分类器模块构建的vgg16，densenet121和resnet50迁移分类器对特征融合图像数据集进行训练并测试，得到每个迁移分类器中测试准确率最高的特征融合图像；
识别模块，利用keras模型融合算法对分类器模块构建的vgg16，densenet121和resnet50迁移分类器进行融合得到4个融合分类器，利用4个融合分类器对提取模块得到的测试准确率最高的特征融合图像进行训练和测试，确定测试准确率最高的多特征多分类器融合模型；利用准确率最高的多特征多分类器融合模型对细胞图像进行分类识别。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor、dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于多特征和多分类器的骨髓细胞分类识别的操作，包括：
根据骨髓细胞原始图像建立原始图像数据集；对原始图像数据集进行定位、分割和数据增强处理，得到骨髓细胞图像数据集；构建vgg16，densenet121和resnet50迁移分类器，并用步骤s1中的骨髓细胞图像数据集进行训练和测试，得到三种迁移分类器的测试准确率；从步骨髓细胞图像数据集中的图像提取纹理特征lbp，形状特征hog和颜色特征hsv；利用加权图像融合算法对提取的纹理特征lbp，形状特征hog和颜色特征hsv特征图像进行融合得到特征融合图像，构建特征融合图像数据集，利用vgg16，densenet121和resnet50迁移分类器对特征融合图像数据集进行训练并测试，得到每个迁移分类器中测试准确率最高的特征融合图像；利用keras模型融合算法对vgg16，densenet121和resnet50迁移分类器进行融合得到4个融合分类器，利用4个融合分类器对测试准确率最高的特征融合图像进行训练和测试，确定测试准确率最高的多特征多分类器融合模型；利用准确率最高的多特征多分类器融合模型对细胞图像进行分类识别。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于多特征和多分类器的骨髓细胞分类识别的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
根据骨髓细胞原始图像建立原始图像数据集；对原始图像数据集进行定位、分割和数据增强处理，得到骨髓细胞图像数据集；构建vgg16，densenet121和resnet50迁移分类器，并用步骤s1中的骨髓细胞图像数据集进行训练和测试，得到三种迁移分类器的测试准确率；从步骨髓细胞图像数据集中的图像提取纹理特征lbp，形状特征hog和颜色特征hsv；利用加权图像融合算法对提取的纹理特征lbp，形状特征hog和颜色特征hsv特征图像进行融合得到特征融合图像，构建特征融合图像数据集，利用vgg16，densenet121和resnet50迁移分类器对特征融合图像数据集进行训练并测试，得到每个迁移分类器中测试准确率最高的特征融合图像；利用keras模型融合算法对vgg16，densenet121和resnet50迁移分类器进行融合得到4个融合分类器，利用4个融合分类器对测试准确率最高的特征融合图像进行训练和测试，确定测试准确率最高的多特征多分类器融合模型；利用准确率最高的多特征多分类器融合模型对细胞图像进行分类识别。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
获取标注好的血涂片骨髓细胞图像，并对图像中的骨髓细胞进行定位分割，得到模型应用数据集；并利用步骤s4中测试效果最好的多特征多分类器融合模型对该数据集进行测试，得到最终的模型应用效果，如图15所示。
请参阅图6，基于医院血涂片的模型应用实践步骤如下：
1)从西安交通大学一附院血液科获取医生标注好的血涂片骨髓细胞图像，一共20张；
2)利用yolov3网络对血涂片骨髓细胞图像中的细胞进行定位分割，得到分割后的骨髓细胞；
3)对分割后的骨髓细胞进行中值滤波，去雾操作以及数据扩增等操作，得到了供模型应用检验的骨髓细胞图像检验数据集；
4)利用步骤s4中得到的多特征多分类器融合模型对检验数据集进行模型应用，并利用分类指标进行评估，最终得到模型应用效果，如图15所示。
综上所述，本发明一种基于多特征和多分类器的骨髓细胞分类识别方法及系统，首先对骨髓细胞进行了完整并准确地分割；其次利用迁移学习的思想构建了迁移分类器，克服了样本数据量较少的缺点；然后构建了多特征和多分类器融合模型，结合了多种分类器和多种特征的特点和优势，提高了骨髓细胞分类识别的准确率；最后将模型应用到现实场景下，验证了本发明的准确性和可行性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！