一种细胞核图像检测方法

1.本发明涉及图像处理技术领域，特别是涉及一种细胞核图像检测方法。


背景技术：

2.在显微镜图像中检测某些特定类型的核或细胞是许多临床医学、生物医学研究中的先决条件，包括定量信息测量、癌症进展、分级和预后预测。例如：乳腺癌是女性中最常见的癌症，也是世界范围内的主要死亡原因。世界卫生组织利用增殖的肿瘤细胞的百分比来确定疾病的预后。为了计算肿瘤细胞百分比，病理学家手动评估出阳性肿瘤细胞，而这些阳性细胞通常和正常细胞混合在一起。即便是专业的病理学家，该评估过程也是主观的，耗时且变化很大。随着高通量技术的发展，大量的图像数据也在迅速增加，依靠手动评估核检测似乎成为了瓶颈。因此，准确，快速地检测涵盖不同患者，器官和疾病状态的组织学图像中的核实例的自动技术，对于开发临床和医学应用的计算机辅助系统具有重大贡献。
3.目前，传统的细胞核图像检测方法采用经典的图像处理技术，例如强度阈值化，特征检测，形态学滤波，区域累积和可变形模型拟合。他们需要目标核和背景的重要先验知识去选择合适的特征，而这些手选的特征需要反复试验去调整对整体性能至关重要的参数，这将导致这些经典方法泛化能力有限。
4.与传统的核检测方法相比，深度学习方法最近已被应用于各种计算机视觉问题，并在细胞核检测挑战中取得了更好的性能。这些方法一般分为两类：第一类是对图片进行像素级的二进制分类预测密度函数，而密度的峰值对应着细胞核的中心；第二类是用第一阶段模型进行候选区域的选择，将检索到的候选区域输入到第二阶段模型以进行进一步的区分定位。
5.对于密度预测方法，如果细胞核密集存在，则会造成密度函数中的峰值趋于平缓，从而无法估计细胞核位置。此外，逐像素的密度预测会加重计算资源的负担，对临床应用具有局限性。基于区域生成的方法，它仅用于对细胞核区域进行分类和回归，而不是所有的图像像素，可以有效加速算法。然而，目前在大多数基于区域方法中，测试方案(仅在nms期间根据分类得分选择框)和训练方案(使分类和定位损失最小化)之间存在不一致。理想情况下，不仅应根据分类而且还应根据定位位置来测量检测框的质量。并且当图像中的细胞核有粘附、团簇时，此方法容易导致真实框被抑制，从而生成大量假阳性检测框。


技术实现要素：

6.有鉴于此，本发明的目的在于提供一种细胞核图像检测方法，可以有效提高细胞核检测的精度和鲁棒性，稳定输出检测结果。其具体方案如下：
7.一种细胞核图像检测方法，包括：
8.获取显微镜下具有细胞核图像的数据集样本；
9.采用数据增强方法和数据标准化方法优化所述数据集样本中的细胞核图像；
10.构建一个端到端的两阶段神经网络架构的faster
‑
rcnn变体模型，其中第一个阶
段为rpn网络，用于生成初始候选框；第二个阶段为fast
‑
rcnn网络，用于对所述初始候选框进行分类和回归；在所述fast
‑
rcnn网络中增添一个定位预测头，并将预测检测框的iou值作为衡量定位质量的指标，以及使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标；
11.通过优化后的所述细胞核图像训练所述faster
‑
rcnn变体模型；
12.将待测试细胞核图像输入至训练好的所述faster
‑
rcnn变体模型中进行检测。
13.优选地，在本发明实施例提供的上述细胞核图像检测方法中，使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标，具体包括：
14.在所述fast
‑
rcnn网络中通过分类质量和定位质量之间的融合分数来保留定位边界框；
15.同时，在非极大值抑制算法中，选择融合分数中具有最高得分的检测框，并衰减与其它所有检测框大于预定义阈值的得分，衰减得分后的真阳性候选框被保留进行检测。
16.优选地，在本发明实施例提供的上述细胞核图像检测方法中，通过优化后的所述细胞核图像训练所述faster
‑
rcnn变体模型，具体包括：
17.将优化后的所述细胞核图像分批送入到所述faster
‑
rcnn变体模型中；
18.通过所述faster
‑
rcnn变体模型最后一层输出的分类预测头中的二元交叉熵损失、定位预测头中的l
iou
损失与回归预测头中的smooth
‑
l1损失，与图像真实标签比较计算损失；
19.将计算的所述损失在网络中反向传递，得到网络参数的梯度；
20.通过随机梯度下降优化器调整所述网络参数，使所述损失达到最小。
21.优选地，在本发明实施例提供的上述细胞核图像检测方法中，将待测试细胞核图像输入至训练好的所述faster
‑
rcnn变体模型中进行检测，具体包括：
22.将待测试细胞核图像输入至训练好的所述faster
‑
rcnn变体模型中，输出目标区域的分类概率图、定位概率图与检测框的坐标值；
23.利用所述分类概率图与所述定位概率图的融合分数当做最终目标区域的分布置信度；
24.在非极大值抑制算法中，根据所述分布置信度进行排序，选择出具有最高置信度的检测框，并衰减与其它所有检测框大于预定义的阈值的得分，保留衰减得分后的真阳性候选框，以指导所述待测试细胞核图像中每个细胞核的检测。
25.优选地，在本发明实施例提供的上述细胞核图像检测方法中，所述faster
‑
rcnn变体模型的特征提取网络为resnet50网络，由四个残差块连接而成，用于提取和学习输入图像目标的特征。
26.优选地，在本发明实施例提供的上述细胞核图像检测方法中，所述数据增强方法是对所述数据集样本中的细胞核图像进行随机扩展，裁剪，翻转与对比度失真和亮度失真；
27.所述数据标准化方法是采用线性归一化使所述数据集样本中的细胞核图像样本数据落到[0，1]区间。
[0028]
优选地，在本发明实施例提供的上述细胞核图像检测方法中，在构建faster
‑
rcnn变体模型之前，还包括：
[0029]
利用迁移学习对模型进行初始化。
[0030]
从上述技术方案可以看出，本发明所提供的一种细胞核图像检测方法，包括：获取显微镜下具有细胞核图像的数据集样本；采用数据增强方法和数据标准化方法优化数据集样本中的细胞核图像；构建一个端到端的两阶段神经网络架构的faster
‑
rcnn变体模型，其中第一个阶段为rpn网络，用于生成初始候选框；第二个阶段为fast
‑
rcnn网络，用于对初始候选框进行分类和回归；在fast
‑
rcnn网络中增添一个定位预测头，并将预测检测框的iou值作为衡量定位质量的指标，以及使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标；通过优化后的细胞核图像训练faster
‑
rcnn变体模型；将待测试细胞核图像输入至训练好的faster
‑
rcnn变体模型中进行检测。
[0031]
本发明提出了两阶段神经网络架构的faster
‑
rcnn变体模型，将预测检测框的iou作为衡量定位质量的指标，并使用分类和定位的融合评分作为非极大值抑制算法中的排名指标，减少了训练目标与测试目标之间的差距，有助于优化后置处理程序的目标，有效检测簇状核，该方法能够较好地应对细胞核图像中存在的一些挑战，并且有效地提高细胞核检测的精度和鲁棒性，可稳定地输出检测结果。
附图说明
[0032]
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0033]
图1为本发明实施例提供的细胞核图像检测方法的流程图；
[0034]
图2为本发明实施例提供的faster
‑
rcnn变体模型的网络结构示意图；
[0035]
图3为本发明实施例提供的fusion
‑
nms的程序示意图；
[0036]
图4为本发明实施例提供的检测结构对比展示图。
具体实施方式
[0037]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
本发明提供一种细胞核图像检测方法，如图1所示，包括以下步骤：
[0039]
s101、获取显微镜下具有细胞核图像的数据集样本；
[0040]
在实际应用中，细胞核图像样本可源自数据科学公开挑战赛数据集(dsb 2018)，包含670张不同分辨率的原始细胞核图像，其中图像是在各种显微成像条件，显微镜仪器，操作员和染色方案下提取的；本发明可将细胞核图像数据集样本进行划分：402张用于训练，134张用于验证，134张用于测试。
[0041]
s102、采用数据增强方法和数据标准化方法优化数据集样本中的细胞核图像；
[0042]
具体地，数据增强方法是对数据集样本中的细胞核图像进行随机扩展，裁剪，翻转与对比度失真和亮度失真；数据标准化方法是采用线性归一化使数据集样本中的细胞核图像样本数据落到[0，1]区间，可以加快神经网络的训练进程。
[0043]
s103、构建一个端到端的两阶段神经网络架构的faster
‑
rcnn变体模型，其中第一个阶段为rpn网络，用于生成初始候选框；第二个阶段为fast
‑
rcnn网络，用于对初始候选框进行分类和回归；在fast
‑
rcnn网络中增添一个定位预测头，并将预测检测框的iou值作为衡量定位质量的指标，以及使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标；
[0044]
具体地，rpn网络和fast
‑
rcnn网络为级联关系；在faster
‑
rcnn模型中增加定位预测模块来衡量细胞核区域定位质量，将预测检测框的iou值作为衡量定位质量的指标，能够较好的减少训练目标与测试目标之间的差距；使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标，可称作fusion
‑
nms，有助于优化后置处理程序的目标。
[0045]
s104、通过优化后的细胞核图像训练faster
‑
rcnn变体模型；
[0046]
s105、将待测试细胞核图像输入至训练好的faster
‑
rcnn变体模型中进行检测。
[0047]
在本发明实施例提供的上述细胞核图像检测方法中，构建并训练了两阶段神经网络架构的faster
‑
rcnn变体模型，将预测检测框的iou作为衡量定位质量的指标，并使用分类和定位的融合评分作为非极大值抑制算法中的排名指标，减少了训练目标与测试目标之间的差距，有助于优化后置处理程序的目标，有效检测簇状核，该方法能够较好地应对细胞核图像中存在的一些挑战，并且有效地提高细胞核检测的精度和鲁棒性，可稳定地输出检测结果。
[0048]
进一步地，在具体实施时，在本发明实施例提供的上述细胞核图像检测方法中，在执行步骤s103构建faster
‑
rcnn变体模型之前，还可以包括：利用迁移学习对模型进行初始化。该步骤的具体过程可以为使用在imagenet数据集训练的参数用于网络模型的初始化，根据迁移学习的理论，网络在初始层中学习浅层特征，而随着网络层数的增加，后一层的网络进一步抽象了前一层的网络特征，浅层网络更加具有泛化性，后层网络根据具体任务的不同，学习到的参数才会出现较大的差异性。
[0049]
在具体实施时，在本发明实施例提供的上述细胞核图像检测方法中，步骤s103使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标，具体可以包括：在fast
‑
rcnn网络中通过分类质量和定位质量之间的融合分数来保留更加准确的定位边界框，可称之为fusion
‑
nms，在fusion
‑
nms中，融合分数可被作为置信度对检测框进行排名；同时，在非极大值抑制算法中，选择融合分数中具有最高得分的检测框，即在排名序列挑选其中具有最大置信度的检测框，并衰减与其它所有检测框大于预定义阈值的得分，衰减得分后的真阳性候选框被保留进行检测，即将其他与得分最高的框的iou大于指定阈值的框置信度降为0进行删除操作，最后输出保留边框集，可有效检测粘附和聚焦核。
[0050]
在具体实施时，在本发明实施例提供的上述细胞核图像检测方法中，步骤s103中构建的faster
‑
rcnn变体模型的特征提取网络可以为resnet50网络，由四个残差块连接而成，用于提取和学习输入图像目标的特征。利用这四个残差块核叠网络，能够进行浅层与深层特征的融合。
[0051]
如图2所示，faster
‑
rcnn变体模型的网络结构主要分成以下五个部分：
[0052]
第一部分为resnet50：resnet50由四个残差块连接而成，用于提取并不断学习输入图像目标的特征；
[0053]
第二部分为fpn：fpn作为一个特征金字塔网络，融合了浅层特征图和上采样的深
层特征图，以检测不同尺度的目标；
[0054]
第三部分为rpn网络：rpn网络用于生成候选框，rpn网络的输入为fpn的特征图，rpn先对fpn后的特征图进行3*3的卷积操作，得到256维的输出，相当于每个像素融合了周边3*3的空间信息，接着用9个anchors对每个像素点映射回原图；同时，利用上下两个分支分别对anchors的前景背景分类与通过边界框回归对anchors进行修正。进行这一系列操作，rpn网络就相当于实现了初步目标定位；
[0055]
第四部分为roi
‑
align操作：通过rpn网络生成的初步候选框的位置坐标在fpn融合模块得到的特征图中将相应区域化为固定尺寸的特征图，方便送入后续全连接层判断目标类别、加强定位信息与精确边界框的坐标值；
[0056]
第五部分为classification和localization：利用roi
‑
align得到的固定尺寸的区域特征图，通过全连接层和softmax计算每个区域的属于每个类别的概率值；通过全连接层和sigmoid函数计算每个区域中的定位准确度，同时再利用边界框回归得到每个区域的偏移量，最终得到检测框的精确位置。
[0057]
在具体实施时，在本发明实施例提供的上述细胞核图像检测方法中，步骤s104通过优化后的细胞核图像训练faster
‑
rcnn变体模型，具体可以包括：将优化后的细胞核图像分批送入到faster
‑
rcnn变体模型中；通过faster
‑
rcnn变体模型最后一层输出的分类预测头中的二元交叉熵损失、定位预测头中的l
iou
损失与回归预测头中的smooth
‑
l1损失，与图像真实标签比较计算损失；将计算的损失在网络中反向传递，得到网络参数的梯度；通过随机梯度下降(stochastic gradient descent，sgd)优化器调整网络参数，使损失达到最小，网络达到最佳。
[0058]
具体地，二元交叉熵损失，l
iou
损失和smooth
‑
l1损失计算公式分别如下所示：
[0059][0060]
其中，p
i
和g
j
分别表示预测特征图和真实标签掩膜；
[0061]
l
iou
＝crossentropyloss(iou
score
，iou
target
)
[0062]
iou
target
＝bbox
pred
/gt
bbox
[0063]
其中bbox
pred
为预测框的坐标，gt
bbox
为预测框所对应的真实框的坐标；
[0064][0065]
其中，f(x
i
)和y
i
分别表示预测特征图和真实标签掩膜。
[0066]
需要说明的是，本发明还可以使用指定训练步数设置动态的学习率来调整模型，当网络的评价指标不再提升的时候，降低网络的学习率来提高网络性能，同时在24次迭代中，当验证损失达到最小时，保存此时模型的参数。
[0067]
在具体实施时，在本发明实施例提供的上述细胞核图像检测方法中，训练完成后，步骤s105将待测试细胞核图像输入至训练好的faster
‑
rcnn变体模型中进行检测，具体可以包括：将待测试细胞核图像直接输入至训练好的faster
‑
rcnn变体模型中，利用训练好的faster
‑
rcnn变体模型去预测待测试细胞核图像，待测试细胞核图像通过训练好的faster
‑
rcnn变体模型后输出目标区域的分类概率图、定位概率图与检测框的坐标值；利用分类概率图与定位概率图的融合分数当做最终目标区域的分布置信度；在非极大值抑制算法中，将该融合分数作为非极大值抑制算法中的置信度排名指标，即fusion
‑
nms，也就是根据分布置信度进行排序，选择出具有最高置信度的检测框，并衰减与其它所有检测框大于预定义的阈值的得分，保留衰减得分后的真阳性候选框，以指导待测试细胞核图像中每个细胞核的检测，尤其是粘附、聚集核的检测。
[0068]
需要说明的是，在大多数基于区域检测器的非极大值抑制算法中，是通过选择置信度分数最高的检测框m，并删除了其它和m的得分大于指定阈值的框，这会造成一些有效框的漏检，尤其是对于重叠、聚集框的漏检。因此，在fusion
‑
nms中，通过衰减m与其它所有检测框大于预定义阈值的得分，衰减分数后的真阳性候选框得以被保留检测。如图3所示，本发明采用以下规则进行衰减得分：
[0069][0070]
其中，s
fscore
为分类和定位的融合分数，s
fscore
的定义如下所示：
[0071]
s
fscore
＝(s
cls
+s
iou
)/2
[0072]
其中，s
cls
表示分类分数，s
iou
表示定位分数。
[0073]
在实际应用中，本发明实施例提供的上述细胞核图像检测方法可以在pytorch深度学习框架下实现，计算机配置采用：intel core i5 6600k处理器，16g内存，nvidia v100显卡，linux操作系统。
[0074]
下面对本发明中的faster
‑
rcnn变体模型进行性能评估：
[0075]
近年，在生物医学图像检测领域，faster
‑
rcnn得到了广泛的应用，faster
‑
rcnn是一个二阶段检测模型架构，该架构在不同的生物检测应用中实现了非常好的性能。至今faster
‑
rcnn已经有了很多变体，目前已有许多新的卷积神经网络设计方案，但很多仍延续了faster
‑
rcnn的核心思想，加入了新的模块或者融入其他设计理念。其中cascade
‑
rcnn在faster
‑
rcnn中引入3个级联网络达到不断优化预测结果的目的；htc该方法使3个级联网络的框分支与掩模分支交织训练，并在faster
‑
rcnn基础上新增一个语义分割分支来提供上下文信息。而detectors方法提出了递归特征金字塔(rfp)，替换了faster
‑
rcnn中的原来的fpn融合特征信息模块；ours是本发明方法。
[0076]
表一 本发明方法与现有方法的检测性能对比图
[0077][0078]
如表一所示，将本发明方法与上述这些算法在性能上进行对比，表中的评价指标分别是基于框iou阈值0.5到0.95的平均精度(ap
bbox
)，基于框iou阈值为0.5的精度(ap
50
)，
基于框iou阈值为0.75的精度(ap
75
)。从表1中可以清晰的发现，相对于之前的方法，本发明的方法在以上检测指标上取得了最好的成绩。
[0079]
表二 本发明方法与现有方法的分割性能对比图
[0080][0081]
如表二所示，将本发明方法的检测结果输入到fcn中以进行实例分割，与上述这些算法也已相同的fcn分割分支在性能上进行对比。表中的评价指标分别是基于掩模iou阈值0.5到0.95的平均精度(ap
bbox
)，基于掩模iou阈值为0.5的精度(ap
50
)，基于掩模iou阈值为0.75的精度(ap
75
)，聚合jaccard指数(aji)。相对于之前的方法，本发明的方法在以上分割指标上取得了最好的成绩。分割性能的提高也进一步证明了检测效果的有效性。
[0082]
如图4所示，展示的是本发明方法与现有的方法对比的检测结果，第一行是将原始图像的输入图像；第二行是输入图像对应的大小的真实框；第三行到第六行分别是faster
‑
rcnn，cascade
‑
rcnn，htc，detectors用于生物医学图像的检测结果，从检测结果图中可以看出基于faster
‑
rcnn及其变体在细胞核检测中有一个比较好的结果，但对于粘附、聚集、微小以及拉长的核来说，会造成漏检和错检的情况；最后一列是本发明方法，从检测图可以看出本发明方法相较与以前的方法在背景干扰、不同尺度与密度的目标上均有着一定的提升，能相对较好的实现对细胞核图像中的分割。
[0083]
本发明实施例提供的上述细胞核图像检测方法，基于区域卷积神经网络，在faster
‑
rcnn网络的基础上提出了一个新的分支用于预测定位质量，并将定位质量与分类质量的融合得分当作非极大值抑制算法中的评分指标，在此称之为fusion
‑
nms。为了解决细胞核团簇、聚集的特点，本发明在fusion
‑
nms期间，通过融合评分选择最大分数的检测框，并衰减与其它所有检测框大于预定义阈值的得分，衰减分数后的真阳性候选核得以被保留检测。由于细胞核图像存在的一些挑战：细胞核的尺度变化较大、图像中存在较多的背景干扰以及细胞核的聚集、粘附，所以本发明方法能够较好的应对细胞核图像中存在的一些挑战，并且有效的提高了细胞核检测的精度和鲁棒性，能够稳定的输出检测结果。
[0084]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
[0085]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0086]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存
储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
[0087]
本发明实施例提供的一种细胞核图像检测方法，包括：获取显微镜下具有细胞核图像的数据集样本；采用数据增强方法和数据标准化方法优化数据集样本中的细胞核图像；构建一个端到端的两阶段神经网络架构的faster
‑
rcnn变体模型，其中第一个阶段为rpn网络，用于生成初始候选框；第二个阶段为fast
‑
rcnn网络，用于对初始候选框进行分类和回归；在fast
‑
rcnn网络中增添一个定位预测头，并将预测检测框的iou值作为衡量定位质量的指标，以及使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标；通过优化后的细胞核图像训练faster
‑
rcnn变体模型；将待测试细胞核图像输入至训练好的faster
‑
rcnn变体模型中进行检测。本发明提出了两阶段神经网络架构的faster
‑
rcnn变体模型，将预测检测框的iou作为衡量定位质量的指标，并使用分类和定位的融合评分作为非极大值抑制算法中的排名指标，有助于优化后置处理程序的目标，有效检测簇状核，该方法能够较好地应对细胞核图像中存在的一些挑战，并且有效地提高细胞核检测的精度和鲁棒性，可稳定地输出检测结果。
[0088]
最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0089]
以上对本发明所提供的细胞核图像检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。