一种结合深度学习与数字图像处理算法的血小板聚集检测方法

1.本发明属于医学图像处理领域，涉及一种血细胞图像中检测血小板聚集的技术，具体是一种深度学习与数字图像处理算法结合的血小板聚集区域检测方法。


背景技术：

2.血小板聚集是活化的血小板之间相互黏附形成血小板团的功能。五个及五个以上血小板聚集成团的现象为血小板聚集，血小板聚集形成的血小板团为聚集区域。临床上采用电阻抗法以及目测镜检法来实现血小板计数，血小板计数有助于临床上止血和血栓性疾病的判断和鉴别诊断，血小板数量的增多或减少分别对应着不同的病症，因此血小板计数是否准确将影响临床上对于病人病情的判断。而血小板聚集现象的发生会导致血小板计数假性减少从而造成临床误诊。在血液采集过程中，有很多因素会导致血小板聚集情况的发生，如采血不当、多次穿刺引起组织损伤、抽血过多。因此，血小板聚集的检测有重要意义。
3.目前部分型号的血细胞分析仪可实现血小板检测和异常直方图报警功能，曹宝华在文献“sysmex xn9000血细胞分析仪血小板聚集报警的可靠性评价[j].中国卫生检验杂志,2021,31(16)”中，对sysmex xn9000血细胞分析仪的血小板聚集报警功能进行研究发现，其血小板聚集报警功能可靠性较差，误判次数过多，在临床应用价值不大，必要时依旧需要人工镜检。然而人工镜检过程繁琐，效率低，由于大量的繁琐操作会使医务人员产生疲劳，可能会出现失误。随着计算机和图像处理技术的不断发展，机器视觉技术在医学领域得到广泛的应用，在临床检测过程中，可通过机器视觉技术减少人工产生的误诊，降低医学工作者精力的损耗，帮助医学工作者提高工作效率。


技术实现要素：

[0004]
本发明的目的是提供一种深度学习与数字图像处理算法结合的血小板聚集区域检测方法，该方法采用目标检测神经网络与数字图像处理算法结合，实现检测血小板聚集区域的目的。
[0005]
一种结合深度学习与数字图像处理算法的血小板聚集检测方法，包括如下步骤：
[0006]
(1)定位聚集区域
[0007]
(1.1)制作血细胞显微图像数据集：采集出现血小板聚集现象的显微图像，将5个及以上血小板聚集成团的区域认定为血小板聚集区域，对图像中血小板聚集区域进行人工标注，得到具有血小板聚集区域的血细胞显微图像数据集。
[0008]
(1.2)采用faster-rcnn神经网络构建目标检测模型，具体模型结构如下：目标检测模型由特征提取网络resnet、区域建议网络(region proposal network，rpn)、roi pooling和classification模块组成。该目标检测模型输入为血细胞显微图像，输出为识别目标置信度与血小板聚集区域检测框。
[0009]
(1.3)将血小板聚集数据集划分为训练集与测试集，用于训练和测试目标检测神
经网络得到针对于血小板聚集区域的目标检测模型。训练完成后，选取测试准确度最高的模型作为针对血小板聚集区域目标检测的神经网络模型，应用该模型可定位到血小板聚集区域，返回该区域的矩形坐标以及识别结果的置信度。
[0010]
(2)血小板分割并计数
[0011]
(2.1)由步骤(1)定位到血小板聚集区域后，判断其识别结果置信度，若置信度≥0.6，则认为得到的区域确定为血小板聚集区域，若置信度小于0.6，则需要进一步判断该区域中的血小板数量是否≥5个。
[0012]
(2.2)将上述置信度小于0.6的区域截取，经过染色的血涂片中血小板的颜色有别于背景及其他血细胞，通过设置颜色阈值将图片中除血小板之外的背景像素点三通道值全置为0，从而将其过滤掉，提取出只含血小板的图像。
[0013]
(2.3)将上述只含血小板的图像灰度化由三通道图像转为单通道图像，然后将上述图像二值化，血小板像素点置为255，而背景像素点置为0，然后利用形态学操作中的腐蚀与膨胀操作过滤干扰像素，使血小板之间的边界更明显，计算图像中联通区域的个数，即血小板的个数，若血小板数量≥5个即认为该区域为血小板聚集区域。
[0014]
所述步骤(1.1)中，每张血细胞显微图像均用labelimg软件进行标注，该标注包括包围血小板聚集区域的矩形框和类别，其中类别仅包括血小板一类。
[0015]
所述步骤(1.2)中，faster-rcnn神经网络包含特征提取网络resnet、rpn、roi pooling和classification，各模块与现有技术一致，其中特征提取模块利用卷积神经网络，提取输入图像的卷积特征；rpn模块用于生成一组矩形候选框，并对候选框进行二分类，一类为包含特征的候选框记为positive，一类为不包含特征的候选框记为negative，保留positive候选框；roi pooling模块结合候选框生成模块得到的positive候选框与输入图像的卷积特征得到候选框范围内的卷积特征；classification模块对roi pooling模块得到的候选框范围内的卷积特征进行分类得到类别概率即置信度，并对候选框进行回归计算得到定位最准确的候选框作为检测框，即血小板聚集区域准确位置。置信度越接近于1.0其识别结果的可信度越高。神经卷积网络resnet采用resnet50。
[0016]
所述步骤(2.3)中，联通区域为具有相同值且相邻的像素形成的区域，采用两遍扫描法搜索连通区域，从图像左上的像素点开始搜索，当遇到像素值为255的前景像素且其左邻域及上邻域不存在前景像素时赋予新标记label，然后label值加1；若前景像素的左邻域或上邻域存在label，则将其标记为邻域中值较小的label。每次标记label时记录该label所属的连通域，第二遍搜索时，将同一连通域中的label改为该连通域中值最小的label，搜索完成后具有相同label的像素组成一个连通区域，通过计算连通区域的个数即可得到血小板的个数。
[0017]
与现有技术相比，本发明的有益效果在于：
[0018]
本发明主要是对显微镜图片中的血小板聚集区域进行自动检测，利用深度学习与数字图像处理算法结合对血细胞显微图像中血小板聚集区域自动识别并计数，避免了由传统方法中血小板检测和异常直方图报警或人工镜检方式带来的误差。
附图说明
[0019]
图1为本发明血小板聚集区域检测方法的整体框图。
[0020]
图2为血小板聚集区域定位框图。
[0021]
图3为血小板分割计数示意图；其中a处理前图像，b处理后图像。
具体实施方式
[0022]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行进一步说明。
[0023]
如图1所示，本发明的血小板聚集区域检测方法包括如下步骤：
[0024]
(1)定位聚集区域
[0025]
(1.1)五个及五个以上血小板聚集成团的现象为血小板聚集，血小板聚集形成的血小板团为聚集区域，通过高倍率显微镜采集出现血小板聚集现象的血细胞显微图像；利用labelimg标注软件对采集到的显微图像进行标注，该标注包括类别的标注和包围血小板聚集区域的矩形框的标注。类别标注仅包括血小板一类；矩形框是指刚好能够将整个血小板聚集区域包围住的矩形密封框，该密封框内有且仅包含一个血小板聚集区域。标注结果得到显微图像原图以及包含标注信息xml文件，将原图与xml文件分别放置在两个文件夹中作为数据集。
[0026]
(1.2)利用faster-rcnn神经网络构建目标检测模型，faster-rcnn神经网络包括卷积网络resnet、rpn、roi pooling以及classification等模块，各模块与现有技术一致。本发明中的卷积网络resnet采用resnet50。输入图像经过resnet50网络进行特征提取得到原始特征图后，再将特征图送入rpn网络得到目标候选框。目标候选框和原始特征图一并输入roi pooling层中，最后将roi pooling层输出的特征向量经过全连接层(fully connected layers，fc)输出输入图像中的目标检测框及置信度结果。
[0027]
(1.3)上述目标检测模型在训练前，将数据集划分为训练集、测试集与验证集，训练集用于训练血小板聚集区域检测模型，将训练集输入到目标检测模型进行训练，模型训练至在测试集上的测试结果满足要求时，完成模型训练。训练过程中参数优化器采用随机梯度下降算法。
[0028]
(1.4)模型训练完成后，随机取测试集一张图像作为训练后的目标检测模型的输入，对该图像进行检测，输出结果如图2所示，结果包含输入图像中血小板聚集区域检测框、类别以及置信度。通过该矩形检测框可得到血小板聚集区域的左下角坐标(x1,y1)与右上角坐标(x2,y2)，通过这两点的坐标可以将该区域截取单独处理。若输出结果中置信度大于0.6则认为得到的区域确定为血小板聚集区域，图2输出结果置信度低于0.6，需要进一步判断血小板的数量。
[0029]
(2)血小板分割并计数
[0030]
利用坐标(x1,y1)与(x2,y2)将图3中矩形框包围的区域截取，对截取部分图像的操作如图3所示，其中a为处理前的图像；b为处理后的图像，具体操作包括：
[0031]
(2.1)设置颜色阈值区间，对截取得到的图像进行阈值分割。图像中不在阈值区间内像素点全部设置为255，区间之内的像素点保持不变。
[0032]
(2.2)将颜色分割完成的图像灰度化，灰度化之后图像由三通道彩色图像转变为单通道灰度图像，将上述灰度图二值化，将小于255的像素点设置为0得到二值化图像，利用形态学操作腐蚀和膨胀滤除干扰像素，然后对二值化图像计算联通区域个数即血小板的个
数，若血小板个数≥5个，则认为该区域为血小板聚集区域。
[0033]
为说明本发明中采用深度学习与数字图像处理算法结合的检测方法所带来的有益效果，本实例设置一个对照试验，对照组与本实例前述方法的区别在于不对目标检测模型识别结果进行血小板分割计数，仅通过faster-rcnn神经网络模型对血涂片进行检测，对比本实例方法与对照组识别的精度。其中对照组识别精度为89.3％，本实例的方法将精度提升到98.1％。
[0034]
上述结果可见，利用深度学习与数字图像处理算法结合对血细胞显微图像中血小板聚集区域自动识别并计数的方法可有效提高对血小板聚集的检测精度。