一种相差显微镜细胞图像的检测和分割方法与流程

本发明属于医学图像处理技术领域，尤其是涉及一种相差显微镜细胞图像的检测和分割方法。

背景技术：

当前在相差显微镜细胞检测和分割领域，通常假设目标的区域具有内部一致性的特点，即目标内部的灰度、颜色或者其他特征是均匀分布。主要采用阈值的方法对目标区域进行直接分割，或者采用主动轮廓模型得到目标的封闭区域。一般阈值相关方法的思想主要是直接调节并得到最佳阈值，从而能够直接得到目标的区域。主动轮廓模型的方法是在假定目标内部一致性的前提之下，增加了目标具有较强梯度边界的假设，从而优化目标函数，从初始状态开始演化曲线，最终能够形成局部的封闭区域。但是主动轮廓模型无法对粘连的细胞进行有效的区分，其结果通常会把粘连的细胞置于同一个封闭区域中。另外的一类方法是对图像进行分片处理，即将原始较大的图像划分出连续的局部区域块。这类算法，包括超像素划分(super-pixel)和ucm(ultra-metriccontourmap)。前一种先在整幅图上均匀地放置一些种子点，然后构建局部一致性的区块，再通过半监督学习的方式或者谱聚类的方式，对这些局部区块进行一个分类，从而能够构建更具体的分割区块。后一种是通过随机森林的方式对已标记的像素级训练集训练出一个模型。训练集中正样本为目标边界像素，负样本为非边界像素。得到的分类概率图通过一系列的变换，能够形成基于边界信息的局部区域块，再通过mcg(multiplecombinatorialgrouping)算法对局部的区域块进行融合操作。相差显微细胞的边界和内部都不具有明显的一致性，即细胞内部灰度值的偏差很大且细胞边界的清晰度不够显著，很多部位与背景相粘连。

技术实现要素：

为了克服已有相差显微镜细胞图像检测和分割上较难处理的不足，本发明提供了一种有效处理相差显微镜细胞图像检测和分割的相差显微细胞图像的检测和分割方法。

本发明解决其技术问题所采用的技术方案是：

一种相差显微镜细胞图像的检测和分割方法，所述方法包括以下步骤：

1)基于对相差显微镜细胞图像特性的分析，构建图像中的层次信息之后，定义细胞图像中的主要信息，并通过辅助工具对细胞序列的第一帧标记主要信息，并得到针对所有细胞的主要信息集合，同时数值标号及颜色标记所有细胞的主要信息；

2)传播前一帧的主要信息，检测当前帧中的主要信息，并提供是否存在目标主要信息粘连情况；

3)如若当前帧中存在主要信息粘连情况，利用主要信息粘连分离算法对粘连细胞的主要信息进行分离，并且将分离后的局部区域块合并到细胞主要信息集合中去；

4)帧间主要信息传播时存在主要信息衰减问题，通过细胞主要信息修复策略修复当前帧细胞的主要信息；

5)基于提取和检测到的主要信息，通过两种区域近似估计策略，得到细胞分割和检测结果。

进一步，所述步骤1)中，假设一张相差显微镜细胞图像中存在灰度级别在0到l之间的n个像素，处于灰度级别i的像素个数标记为ni，那么灰度级i的像素在此图片中的概率为pi＝ni/n；假设图像中存在由c-1个阈值，记为{t1,t2,…,tc-1}，其确定了c个灰度层次或者灰度集合，如此，集合1由灰度范围为[0,…,t1]的像素确定，集合1标记为g1，类似地，集合i由灰度范围为(ti-1,…,ti]的像素确定，集合i标记为gi，最后一个集合由灰度范围为(tc-1,…,l]的像素确定，最后一个集合标记为gc；假设μt是此幅图像的灰度均值，为了获得针对所有细胞的深暗区域信息，即主要信息，采用多阈值最大类间算法，其定义为：

其中，

0≤t1<…<tc-1<l

那么，此时的g1便定义为当前帧中的主要信息。

再进一步，所述步骤2)中，主要信息帧间传播时，基于前一帧图像的主要信息，将其映射到当前帧，并检测当前帧中的主要信息；此时，一方面假设前一帧图像的主要信息不存在漂移，即位置没有偏移，称为本地覆盖检测，另一方面假设前一帧图像的主要信息具有位置偏移，此时将采用光流算法估计纵向和横向偏移量，称为光流覆盖检测；在覆盖检测时，只要前一帧中的主要信息与当前帧的某一个局部主要信息块存在像素交集，则当前帧的此局部主要信息块的访问计数值加1，并且标号值加上前一帧中的主要信息所具有的细胞标号值。

更进一步，所述步骤3)中，针对具有帧间关联信息的两个细胞主要信息粘连情况，一个细胞的主要信息记为集合h1、另一个细胞的主要信息记为集合h2以及目标分离块的主要信息记为集合h3，总的集合记为h＝{h1,h2,h3}；对于每一个集合，存在且mi≥0；在经过pairsplit算法和graphcrawl算法的处理之后，集合中的局部块的数目会有变化，最后m3将变为0，即h3集合中的主要信息块被完全分到了集合h1和集合h2中；

在graphcrawl算法流程中，将h中所有局部块的中心点定义为点集v＝{v1,v2,v3}，且通过这些点构建出的德劳内三角图，能够反映这些独立块之间的内在结构关系，graphcrawl算法中剔除了集合v1与集合v2之间所有的边，得到简化德劳内三角图，用于简化分组局部块的过程。

所述步骤4)中，对于本地覆盖检测和光流覆盖检测不能将当前帧的主要信息全部检测出来，导致检测结果仅是标准检测结果的一个子集；在整幅图像的所有主要信息局部块之间构建德劳内三角图，并不断地通过距离阈值dt，将邻近的局部块分组到当前细胞主要信息集合中去；

对于失焦而模糊的细胞图像，多阈值最大类间距离算法的参数c无法有效地获得当前帧的主要信息，此时增加c的值，使得原始图像可以获得更为细化的分层结果；

对于本身主要信息的自身衰减，针对某一序列的标准参数c适用于大部分的图像，但是某些细胞的主要信息可能处于其他层次信息，通过增加相邻层的信息修复细胞的主要信息。

所述步骤5)中，基于主要信息构建凸区域，构建的结果作为目标分割结果；或者基于主要信息构建矩形框区域，构建的结果用于模拟目标方框检测结果。

本发明基于主要信息传播策略、主要信息粘连分离算法及主要信息修复策略，主要依赖于帧间主要信息传播策略形成的拓扑结构关系，并利用主要信息粘连分离算法对粘连细胞的主要信息进行合理地分离并合并分离后的局部区域块，以及通过细胞主要信息修复策略对丢失的主要信息进行修复，最后采用区域近似估计策略构建细胞的检测与分割结果。

本发明的有益效果主要表现在：有效处理相差显微镜细胞图像检测和分割。

附图说明

图1是相差显微细胞图像的检测和分割方法的流程图。

图2是相差显微细胞图像所对应的一般的灰度分布图。

图3是初始化序列第一帧中的主要信息。图3a是序列第一帧原图；图3b是多阈值最大类间算法输出结果图；图3c是通过辅助标记的黄色轮廓线；图3d是对应于图3c中通过黄色闭合轮廓线形成区域的二值标记结果图；图3e是标了所有独立区域的编号和伪彩色标记；图3f是序列第一帧的主要信息标记结果，属于某个细胞的局部块标记为同一种伪彩色。

图4是主要信息帧间传播相关图片。图a1～a5是第一帧与第二帧之间的主要信息帧间关系；图b1～b5是第二帧与第三帧之间的主要信息帧间关系；假设x＝{a，b}，图b1是原图像，图b2是多阈值最大类间算法输出结果图，图b3是本地覆盖检测结果，图b4是光流覆盖检测结果。图a5是融合了本地覆盖检测与光流覆盖检测结果的主要信息结果图。图b5是局部主要信息块访问计数图。

图5是来自于序列第二帧与第三帧之间的主要信息帧间关系的一个主要信息粘连情况(细胞1与细胞2)。图a是截取于图4中图a5的细胞主要信息；图b与图c分别表示图a中两个细胞主要信息的凸集结构图；图d是截取于图4中图b3和图b4的细胞主要信息，其中存在粘连情况；图e是截取于图4中图b5的局部主要信息块访问计数图。

图6是几种分离与分组策略图。在第一行和第二行中，总共展示了6个分离与分组策略。每个策略包含了分离位置与分组结果图。第三行中，展示了最佳分离位置与最佳分组结果。在第三行中，从左到右的六幅图像：最佳分离位置、完全德劳内三角图、简化德劳内三角图、最佳分组结果、修复后的主要信息结果及相关的凸区域估计结果图。

图7是第一种主要信息衰减情况。图a是局部细胞原图；图b是多阈值最大类间算法结果；图c是初始检测到的主要信息；图d是完全德劳内三角图；图e是简化德劳内三角图；图f是修复后的主要信息。

图8是第二种主要信息衰减情况。图a是局部细胞原图；图b是基于参数c的多阈值最大类间算法结果；图c是初始检测到的主要信息；图d是基于参数c+1的多阈值最大类间算法结果；图e是修复后的主要信息。

图9是第三种主要信息衰减情况。图a是局部细胞原图；图b是多阈值最大类间算法结果；图c是初始检测到的主要信息；图d是图c的凸区域估计结果；图e是修复后的主要信息；图f是图e的凸区域估计结果。

图10是区域近似估计策略构建结果图。第一行中，展示了序列中连续三帧的目标凸区域近似结果图；第二行中，展示了序列中连续三帧的目标矩形框近似结果图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图10，一种相差显微镜细胞图像的检测和分割方法，所述方法包括以下步骤：

1)基于对相差显微镜细胞图像特性的分析，构建图像中的层次信息之后，定义细胞图像中的主要信息，并通过辅助工具对细胞序列的第一帧标记主要信息，并得到针对所有细胞的主要信息集合，同时数值标号及颜色标记所有细胞的主要信息；

2)传播前一帧的主要信息，检测当前帧中的主要信息，并提供是否存在目标主要信息粘连情况；

3)如若当前帧中存在主要信息粘连情况，利用主要信息粘连分离算法对粘连细胞的主要信息进行分离，并且将分离后的局部区域块合并到细胞主要信息集合中去；

4)帧间主要信息传播时存在主要信息衰减问题，通过细胞主要信息修复策略修复当前帧细胞的主要信息；

5)基于提取和检测到的主要信息，通过两种区域近似估计策略，得到细胞分割和检测结果。

所述步骤1)中，基于对相差显微镜细胞图像灰度分布特性的分析，如附图2所示，大部分相差显微细胞图像的灰度分布都如同此黑色灰度分布曲线所表征的这种高斯分布形状。通过红绿蓝颜色可以清晰地划分出灰度分布的不同性质的区域，培养液背景区域像素与细胞内部部分区域像素一般处于红色线标记段，占图像的像素比例较大，而相差显微镜细胞的主要信息处于绿色线标记的深暗区域，即像素值较小的灰度分布区域，而相差显微细胞图像中像素值较大的信息定义了图像中高亮区域，处于蓝色线标记段，像素值跨度很大，但是所占图片像素比例较小。由于深暗区域信息相较于高亮区域信息具有较低的粘连性，且深暗区域信息可以决定细胞目标的主体，此处将深暗区域信息作为相差显微镜细胞图像中的主要信息。

假设一张相差显微镜细胞图像中存在灰度级别在0到l之间的n个像素。处于灰度级别i的像素个数标记为ni，那么灰度级i的像素在此图片中的概率为pi＝ni/n。假设图像中存在由c-1个阈值，记为{t1,t2,…,tc-1}，其确定了c个灰度层次或者灰度集合。如此，集合1(标记为g1)由灰度范围为[0,…,t1]的像素确定，类似地，集合i(标记为gi)由灰度范围为(ti-1,…,ti]的像素确定，最后一个集合(标记为gc)由灰度范围为(tc-1,…,l]的像素确定。假设μt是此幅图像的灰度均值。为了获得针对所有细胞的深暗区域信息，即主要信息，采用多阈值最大类间算法，其可以定义为：

其中，

0≤t1<…<tc-1<l

那么此时的g1便定义为当前帧中的主要信息。如附图3中所示，图a为原图，图b为通过最大类间距离算法得到的图像层次信息结果图，图c为手动标记第一帧中主要信息的结果图，其中黄色闭合轮廓线为每个细胞划定了其特定的主要信息簇，图d为相对于图c的二值标记图，图e为细胞数值标号和伪彩色标记图，图f为针对当前序列第一帧所得到的主要信息标准结果。由于多阈值最大类间算法初始化多个阈值时，其设定的阈值是均匀分布在整个灰度区间中，所以高亮信息会有较多的层次，而深暗信息具有较少的层次。

所述步骤2)中，主要信息帧间传播时，基于前一帧图像的主要信息，将其映射到当前帧，并检测当前帧中的主要信息。此时，一方面假设前一帧图像的主要信息不存在漂移，即位置没有偏移，称为本地覆盖检测，另一方面假设前一帧图像的主要信息具有位置偏移，此时将采用光流算法估计纵向和横向偏移量，称为光流覆盖检测。在覆盖检测时，只要前一帧中的主要信息与当前帧的某一个局部主要信息块存在像素交集，则当前帧的此局部主要信息块的访问计数值加1，并且标号值加上前一帧中的主要信息所具有的细胞标号值。

如附图4中所示，图a1-a5展示了将第一帧主要信息传播到第二帧中的所有中间检测过程与结果，以及图b1-b5将第二帧主要信息传播到第三帧中的所有中间检测过程与结果。假设x＝{a,b}，图x1为相应的第二帧和第三帧原始图像，图x2为相应的多阈值最大类间距离算法结果图，图x3为本地覆盖检测结果图，图x4为光流覆盖检测结果。图x3与图x4的主要信息覆盖检测结果具有一定的互补性。图a5为融合了图a3与图a4的主要信息检测结果图，此结果也就是序列第二帧图像的主要信息检测结果图，此图中每个细胞所有块的颜色标记与附图1中图f相对应。图b5为访问计数图，即每个局部主要信息块被几个细胞检测到。此图中仅存在值1和值2的局部独立块，参照数值区间与伪彩色空间的映射关系，深红色的块表示被访问了2次，而其他块均只被访问了1次。被访问了2次的局部块在图b3和图b4中所表现出的颜色与原始细胞是不对应的，此局部块在图b3和图b4中所具有的数值是3，其被1号细胞和2号细胞同时访问，且与3号细胞所表示的颜色一致。针对此种情况，需要通过主要信息粘连分离算法，对多次访问的局部独立块进行合理分离。

所述步骤3)中，主要信息粘连分离与分组算法(pairsplit算法及graphcrawl算法)主要针对两个细胞的主要信息粘连情况，更为复杂的多细胞主要信息粘连情况可以认为是多个两两细胞的主要信息粘连情况的组合问题。为了分析在步骤2中出现的目标粘连情况，在附图5中提取了一些局部图。在附图5中，图a为第二帧局部主要信息图，图b和图c分别为图a中此两个细胞分别对应的凸集区域图，图d是从附图4中的图b3和图b4中截取的主要信息局部图，其中存在需要分离的局部块，图e是从附图4中的图b5中提取的局部计数图。附图5中的所有图仅涉及1号细胞和2号细胞。

为了获得被多次访问的局部独立块最佳的分离结果，需要从前一帧中获取一些先验知识并给出一些假设。首先，假设基于细胞主要信息通过cvxhull操作所构成的凸集区域面积在帧间不具有明显变化。其次，假设主要信息粘连位置接近于在前一帧中未粘连时细胞之间最近的点此点即是同时显示于附图5中图a和图e的圆形白点。再者，假设细胞主要信息的中心点位置在帧间不具有明显的位置偏移。同时，将前一帧中细胞的主要信息标记为和这些假设基础可以用于构建算法中的评价指标。

由于在分离的时候，主要针对一个局部独立二值块，其可以利用的是一些针对二值图像分析的算法。此处，距离变换作为基础算法用于主要信息粘连块的分离。距离变换存在很多种计算手段，包括chessboard方法、cityblock方法、euclidean方法以及quasi-euclidean方法。后两种方法会得到浮点数，可以通过向上或者向下取整，以便于对其形成的结构进行索引。假设在二维图像平面空间中，存在两个点a＝(x1,y1)和b＝(x2,y2)，此处给出了四种对应的计算方式。

chessboard方法：

cityblock方法：

dcityblock(a,b)＝|x1-x2|+|y1-y2|

euclidean方法：

quasi-euclidean方法：

在给出pairsplit算法之前，假设h是附图5中图d的所有局部独立块的集合。那么对于类似的两个细胞的主要信息粘连问题，可以相应地定义三个集合，分别为一个细胞的主要信息集合h1、另一个细胞的主要信息集合h2以及目标分离块的主要信息集合h3，总地记为h＝{h1,h2,h3}。对于每一个集合，存在且mi≥0。在经过pairsplit算法和graphcrawl算法的处理之后，集合中的局部块的数目会有一定的变化。最后m3将变为0，即h3集合中的主要信息块被完全分到了集合h1和集合h2中。为了构建德劳内三角图(delaunaytriangulationconstraintgraph)，将h中所有局部块的中心点定义为点集v＝{v1,v2,v3}，且通过这些点集构建出的德劳内三角图，能够反映这些独立块之间的内在结构关系，graphcrawl算法中剔除了集合v1与集合v2之间所有的边，得到简化德劳内三角图，用于简化分组局部块的过程。

算法pairsplit和算法graphcrawl中局部和全局评价指标具有很多的相似性，为了统一评价指标的表述，定义两个集合和对于局部评价阶段，一个局部的块已经分组到了其中的某一个集合中。对于全局评价阶段，两个集合已经构建完成。局部与全局评价指标定义如下：

首先，细胞主要信息凸区域面积的帧间变化量评价指标：

而且一般来说，和的凸区域会相互重叠，重叠区域的面积也是作为评价集合区域独立性的指标：

第三个指标主要用于局部评价。还未被分组的局部块会与和相交。假定为目前未被分组的局部块集合。则第三个指标可以定义为：

第四个指标为分离位置大小，第五个指标为从当前分离位置sp的中心点ps到的距离，分别定义如下：

t4＝||sp||1

第六个指标是两个集合凸区域面积的和，此指标用于衡量当前两个集合的紧致性，适用于局部评价和全局评价，此指标定义如下：

局部评价和全局评价之间的区别，主要体现在当前所已知情况的多少。在执行graphcrawl算法之前，集合和仍旧是未完全确定的，此时m3不为0。然而，在pairsplit算法中的全局评价过程中，集合和已经确定，此时m3为0。

附图6中了7个分离和分组策略，其中前两行中给出了6个策略，每个策略由表示分离位置的灰度图像和分组结果的伪彩色图展示出来。最后一行展示了构建最佳分离和分组结果的整体流程。在最后一行中，第1幅图像为表示最佳分离位置的灰度图像，第2幅图像为构建出的完全德劳内三角图，第3幅图像为剔除了v1和v2之间所有边后的简化德劳内三角图，第4幅图像为最佳分组结果的伪彩色图，第5幅图像表示将第4幅图像映射为表示1号细胞和2号细胞的数值标号所对应的颜色标记，则此幅图中所表示的细胞主要信息与附图5中图a的信息具有映射关系，第6幅图为对应的凸集二值区域，可以将此图与附图5中的图b和图c相比较，能够反映其帧间的凸区域变化幅度。

所述步骤4)中，虽然通过本地覆盖检测与光流覆盖检测进行主要信息帧间传播，同时基于pairsplit算法和graphcrawl算法处理主要信息粘连情况，可以得到当前帧主要信息检测结果。但是，在帧间主要信息传播的过程，存在主要信息衰减的问题，此问题会影响到之后几帧的主要信息检测结果。对于此问题，需要针对不同的衰减情况采用不同的修复策略。

从附图7到附图9，展示了三种主要信息衰减情况及修复措施。

附图7中，即第一种主要信息衰减情况。此衰减情况主要是因为本地覆盖检测和光流覆盖检测不能将当前帧的主要信息全部检测出来，导致检测结果仅是标准检测结果的一个子集。参考graphcrawl算法，在整幅图像的所有主要信息局部块之间构建德劳内三角图(delaunaytriangulationconstraintgraph)，并不断地通过距离阈值dt，将邻近的局部块分组到当前细胞主要信息集合中去。附图7中图a为当前帧的原始局部图像，图b为多阈值最大类间算法结果，图c表示通过本地覆盖检测和光流覆盖检测到的当前细胞的主要信息，图d表示构建出的德劳内三角图，图e是通过阈值剔除德劳内三角图中某些边后的结果图，图f为当前细胞修复后的主要信息结果。

附图8中，即第二种主要信息衰减情况。此衰减情况主要是因为对于失焦而模糊的细胞图像，多阈值最大类间距离算法的参数c无法有效地获得当前帧的主要信息。此时需要调整c的值，通常是增加c的值，使得原始图像可以获得更为细化的分层结果。附图8中图a为当前帧的原始局部原图，图b为通过参数c获得的多阈值最大类间距离算法结果，图c为通过图b的信息检测到的主要信息，图d为通过参数c+1获得的多阈值最大类间距离算法结果，图e为通过图d的信息检测到的主要信息。通过比较图c和图e的主要信息检测结果比较，可知经过修复，可以对原始主要信息的检测效果有较大的提升。

附图9中，即第三种主要信息衰减情况。此衰减情况主要是因为其本身主要信息的自身衰减。针对某一序列的标准参数c可以适用于大部分的图像，但是某些细胞的主要信息可能处于其他层次信息。可以直接通过增加相邻层的信息构建细胞的主要信息。附图9中图a为当前帧的原始局部原图，图b为多阈值最大类间算法结果，图c为当前检测到的细胞主要信息，图d为图c形成的凸区域，图e为添加了相邻层信息后修复的主要信息检测结果，图f为图e形成的凸区域。所述步骤5)中，基于主要信息的定义，一个细胞由很多独立局部块所确定。为了更好地展现细胞主要信息的重要性，采用两种估计方法构建分割与检测结果，用于表示目标区域。第一种方法是基于主要信息构建凸区域，此方法已在前几个附图中有所体现，此方法构建的结果作为目标分割结果。某些情况下，构建出的凸区域能够达到黄金分割结果的精确度。第二种方法是基于主要信息构建矩形框区域，此方法构建的结果用于模拟目标方框检测结果。目标的矩形区域总是比凸区域更大，但是凸区域中仅仅具有细胞信息，而矩形框中通常具有一些背景信息。附图10中展示了序列中从第2帧到第4帧的分割结果与检测结果图。