一种多分辨率的细胞分裂识别方法与流程

本发明涉及图像处理和模式识别领域，尤其涉及一种多分辨率的细胞分裂识别方法。

背景技术：

在定时相差显微镜图像中检测细胞分裂是生物学研究中的一个重要问题，在诸多领域都有着广泛的应用价值(如参考文献[1])。在显微图像中往往同时存在很多细胞，且形状各异，背景复杂。随着生物医学水平的进步，细胞活动的重要性日益凸显。在生物学基础研究领域，以及干细胞操作、药物研究和组织工程等高级应用当中，细胞增殖的研究使得诸如器官再生医学设想成为可能。细胞行为种类繁多，包括：细胞分裂、细胞迁移、形态变化、细胞凋亡等(如参考文献[2])，其中细胞分裂事件尤为重要。细胞通过有丝分裂，将细胞核内的遗传物质平均分配给后代，从而进行细胞的增殖和自我更新(如参考文献[3])。由于细胞分裂过程中细胞形态和外观变化很大，使得细胞分裂的识别具有一定的困难。

在显微图像中进行细胞分裂事件的检测中，需要涉及图像处理、模式识别等领域。对于小规模短时间的研究，可以通过观察细胞分裂过程中的收缩、变圆、亮度变化等方式进行人工标注(如参考文献[4])。但对于大规模长时间的细胞图像，进行人工标注是不现实的，因此细胞分裂的自动识别就有着重要的意义。为了得到细胞分裂的位置、形状、细胞之间的联系等信息，准确快速的识别算法是很多学者的研究课题。

现有的基于细胞分裂方法主要可以分为三种：基于轨迹的方法，基于特征的方法，基于图模型的方法(如参考文献[5])。基于轨迹的方法最为直观，它通过细胞在运动轨迹中视觉特性的改变来进行分裂的判断，但这种方法依赖于细胞追踪，这本身就是一个非常困难的研究课题；基于特征的方法不依赖于细胞追踪，可以通过图像序列的某种特征判断细胞分裂，但这种方法需要大量的数据作为训练分类器，且无法得到细胞分裂的具体位置；基于图模型的方法与这两种方法不同，通常包括：候选序列检测、序列特征提取和序列分类几个步骤。

在细胞分裂事件的识别中主要面临着以下挑战：

1、细胞形态各异。在一幅显微图像中，往往包含多个细胞，这些细胞的形状各有不同，给细胞分裂的识别增加了难度。同时，不同的设备，不同的细胞种类，都会导致细胞形态在图像上呈现多样化。提出一种对细胞形态具有鲁棒性的检测方式，对细胞分裂的识别至关重要。

2、细胞背景复杂。显微图像多来自培养皿，由于细胞数量众多且存在很多图像噪点，导致单一细胞在图像中的背景情况复杂，甚至达到人眼难以辨别的程度。

3、现有时序模型存在的缺点是无法解决细胞分裂具有多分辨率信息的问题。在细胞分裂的图像序列中，包含着不同时间分辨率的信息(如参考文献[6])，即四个周期的持续时间往往各不相同。而图模型的学习当中，状态间跳转规律的学习十分依赖数据。如果一个状态的持续时间比较长，就会使得状态跳转的概率相应变大，不利于参数的学习。

技术实现要素：

本发明提供了一种多分辨率的细胞分裂识别方法，本发明解决了细胞分裂事件中各个阶段持续时间不一致所导致的时序模型学习难度大的问题，使得细胞分裂的识别可以捕获不同语义层次的信息，显著提高了细胞分裂的识别率，详见下文描述：

一种多分辨率的细胞分裂识别方法，所述细胞分裂识别方法包括以下步骤：

通过隐条件随机场对细胞分裂集和非细胞分裂集的多分辨率特征分别构建模型，得到不同分辨率下的模型参数；

任意选取测试细胞分裂候选序列作为测试序列，提取视觉特征序列，将视觉特征序列输入模型中测试，得到在不同的模型参数下对应的样本标签为1和为0的概率；

若样本标签为1的概率大于为0的概率，则细胞分裂候选序列中包含细胞分裂事件，否则不包含细胞分裂事件。

所述多分辨率特征具体为：

通过基于视觉特征相似度的方法对细胞数据集进行分组，得到细胞分裂集和非细胞分裂集，并循环迭代，分别获得多分辨率特征。

所述细胞数据集的构成具体为：

对所有细胞分裂候选序列的每一帧进行视觉特征的提取，构成细胞数据集。

所述细胞分裂识别方法还包括：

从细胞图像序列中挑选含有细胞的图像序列作为细胞分裂候选序列，将选取到的细胞分裂候选序列分为包含细胞分裂事件的正样本和不包含细胞分裂事件的负样本。

本发明提供的技术方案的有益效果是：本方法通过基于视觉特征的分组过程获得多分辨率下的特征序列，使得模型学习中状态跳转的学习更加高效，并捕获了细胞分裂候选序列中的高级语义信息，显著提高了细胞分裂的识别率；通过实验验证，本方法取得了较高的查全率和查准率，满足了实际应用中的多种需要。

附图说明

图1为一种多分辨率的细胞分裂识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为了解决细胞分裂图像中含有多分辨率信息的问题，提升时序模型中状态跳转的学习效率，本发明实施例提供了一种多分辨率的细胞分裂识别方法，参见图1，该细胞分裂识别方法包括以下步骤：

101：通过隐条件随机场对细胞分裂集和非细胞分裂集的多分辨率特征分别构建模型，得到不同分辨率下的模型参数；

102：任意选取测试细胞分裂候选序列作为测试序列，提取视觉特征序列，将视觉特征序列输入模型中测试，得到在不同的模型参数下对应的样本标签为1和为0的概率；

103：若样本标签为1的概率大于为0的概率，则细胞分裂候选序列中包含细胞分裂事件，否则不包含细胞分裂事件。

其中，步骤101中的多分辨率特征具体为：

通过基于视觉特征相似度的方法对细胞数据集进行分组，得到细胞分裂集和非细胞分裂集，并循环迭代，分别获得多分辨率特征。

进一步地，上述细胞数据集的构成具体为：

对所有细胞分裂候选序列的每一帧进行视觉特征的提取，构成细胞数据集。

进一步地，该细胞分裂识别方法还包括：

从细胞图像序列中挑选含有细胞的图像序列作为细胞分裂候选序列，将选取到的细胞分裂候选序列分为包含细胞分裂事件的正样本和不包含细胞分裂事件的负样本。

综上所述，本发明实施例提供了一种多分辨率的细胞分裂识别方法，本方法通过选取显微图像数据库中的图像序列作为数据库，在应用过程中，输入细胞分候选序列，对其提取视觉特征并建立多分辨率模型进行细胞分裂的检测，获得了较好的识别结果，显著提高了细胞分裂的识别率。

实施例2

下面结合图1，具体的计算原理对实施例1中的方案进行详细的介绍，详见下文描述：

201：从细胞图像序列中挑选含有细胞的图像序列作为细胞分裂候选序列，将选取到的细胞分裂候选序列分为包含细胞分裂事件的正样本和不包含细胞分裂事件的负样本；

其中，细胞分裂候选序列的选取可通过人工挑选、亮度阈值或区域连通等方法，本发明实施例对细胞候选序列的选取方法不做限制。

202：对所有细胞分裂候选序列的每一帧进行视觉特征提取，构成细胞数据集

其中，N为细胞分裂候选序列的总数量，i为候选序列样本的序号，x_i为第i个细胞分裂候选序列的内容，表示取值为实数的D*T_i维空间，D为视觉特征的维数，T_i为第i个细胞分裂候选序列的帧数。

其中，D的维数与所选取的视觉特征有关，本发明实施例对此不做限制。y_i为样本标签，其取值为Y＝{0,1}，值为0代表该样本序列中不包含细胞分裂事件，值为1代表该样本中包含细胞分裂事件；不失一般性，本发明实施例对所有细胞分裂候选序列进行通用搜索树特征(Generalized Search Trees，GIST)(如参考文献[7])提取。

203：通过基于视觉特征相似度的方法对细胞数据集进行分组，得到细胞分裂集和非细胞分裂集，并循环迭代，获得多分辨率特征；

其中，本步骤所解决的问题是细胞分裂事件序列中包含有多分辨率信息的问题，具体体现为细胞分裂的四个阶段持续时间不同。如果一个阶段的持续时间过久，在模型学习时，状态间跳转概率就会相应变大，影响模型性能。

对某一样本x来说，x＝[x₁,x₂,...x_T]，其中x_i,i∈[1,T]为某一帧的视觉特征，为D维向量。使用视觉相似度的目的是衡量不同帧特征之间的相似度，并以此为依据得到不同分辨率的视觉特征。

常用的相似度度量有欧氏距离、曼哈顿距离、切比雪夫距离、余弦距离、以及相关系数等方式，本发明实施例对相似度度量的选择不做限制。

204：通过隐条件随机场对细胞分裂集和非细胞分裂集的多分辨率特征分别构建模型，得到不同分辨率下的模型参数w^*1,w^*2,...w^*l；

其中，不同分辨率下的特征序列会得到不同的模型参数。具体地，的训练过程会得到模型参数w^*1，的训练过程会得到模型参数w^*2，的训练过程会得到模型参数w^*l，其中i∈{1,2,…,T_l}，为不同分辨率下的细胞特征序列。

205：任意选取测试细胞分裂候选序列作为测试序列，对其提取视觉特征序列x，将视觉特征序列输入模型中测试，得到该序列在不同的模型参数下对应的样本标签的概率p(y|x；w^*)；

其中，视觉特征序列x的提取可采用GIST特征，本发明实施例对此不作限制；w^*包括了所有分辨力下的模型参数w^*1,w^*2,...w^*l，分别来自步骤204中对不同分辨力下的特征序列的训练过程。

206：如果p(y＝1|x；w^*)>p(y＝0|x；w^*)，则细胞分裂候选序列中包含细胞分裂事件，否则细胞分裂候选序列中不包含细胞分裂事件。

综上所述，本发明实施例利用细胞分裂候选序列的视觉特征，具有较好的鲁棒性，去除了细胞形态、颜色、亮度以及背景噪声等干扰因素对细胞分裂序列特征的影响。同时在时序模型的基础上，不提升特征提取的复杂性，进一步提高了细胞分裂事件识别的准确性，取得了较好的结果。

实施例3

下面结合具体的计算公式对实施例1和2中的方案进行进一步地论述，详见下文描述：

一、不失一般性，本发明实施例选取余弦距离作为视觉距离相似度的度量。

向量x和y的余弦距离定义为x·y为向量内积。需要注意的是，余弦距离越大相似度越高。具体分组过程如下：

(1)将细胞数据集的第l层分成T_l组当l＝1时，x_t为细胞数据集的第t帧特征，即将每一帧特征作为一组；为细胞数据集的第l层中第t组细胞数据特征。

(2)每一组内，将与其余帧平均距离最小的帧作为代表帧其中为第l层第t组的代表帧；dist(x_i,x_j)为第i帧与第j帧的距离，选用余弦距离作为度量

(3)如果相邻两组的代表帧之间的距离大于给定阈值τ，则将两组进行合并，并重新选取组内代表帧，即若则

(4)循环迭代，直到所有相邻帧之间的距离都小于给定阈值τ，停止迭代。即对所有t，成立。

经过上述步骤，特征序列x被分为l个分辨力下的特征序列，分别为其中，为经过上述计算后的细胞数据集的第l个分辨率下中第t组细胞数据特征。

二、具体模型训练过程如下：

(1)获取隐条件随机场(如参考文献[8])的条件概率分布：

$p\left(y\right|x;w)=\frac{1}{Z(x;w)}\underset{h}{\Σ}\exp F(y,h,x;w)$

其中，y为序列标签，取值为0或1；x为候选序列的视觉特征序列，其维数为D*T，D为视觉特征维数，T为样本的帧数；w＝[w_g,h；w_g,d；w_y,h；w_y,h,h]为模型参数向量，具体意义见下文详述；h＝{h₁,h₂...,h_T}，其中h_i∈H，i∈{1,2,...,T}，H代表所有可能出现的隐状态集合；F(y,h,x；w)是特征函数，为归一化系数，y'为序列标签，取值为0或1。

特征函数为：

$F(y,h,x;w)=\underset{t}{\Σ}{f}^1(h,x,t;w)+\underset{t}{\Σ}{f}^2(y,h,t;w)+\underset{t}{\Σ}{f}^3(y,h,t,t+1;w).$

第一项为观测特征函数其中G是门函数构成的集合；w_g,h是图模型中连接隐状态h和门函数g的边的权重；l[·]是指示函数；h_t为某一分组数据c(x_t)的隐状态；h'为H中的某一隐状态，H代表t时刻所有可能出现的隐状态集合，是门函数对某一分组c(x_t)中所有观测的平均输出，c(x_t)是多帧视觉特征的集合，初始时c(x_t)＝x_t,t∈[1,T]，w_g,d是图模型中连接视觉特征x_d和门函数g的边的权重；x′为c(x_t)中的每一帧视觉特征。

第二项为标签特征函数f²(y,h,t；w)＝w_y,hl[y＝y']l[h_t＝h']，其中w_y,h是图模型中链接隐状态h和序列标签y的边的权重；l[·]是指示函数；

第三项为转换特征函数f³(y,h,t,t+1；w)＝w_y,h,hl[y＝y']l[h_t＝h']l[h_t+1＝h”]，其中w_y,h,h是图模型中连接相邻隐状态h_t、h_t+1和t时刻细胞数据的序列标签y的边的权重；l[·]是指示函数；h_t+1为t+1时刻的隐状态；h”为H'中的某一隐状态，H'代表t+1时刻所有可能出现的隐状态集合。

(2)使用L-BFGS拟牛顿算法(如参考文献[9])求解最优化问题：

得到最优参数L(w)取最小值时的参数模型w^*，为正则项，参数w服从方差为σ²的高斯分布，p(y_i|x_i；w)为参数为w时，细胞序列x_i对应的序列标签y_i的概率；w^l为细胞的的第l个分辨率下模型参数。

三、特征序列输入模型中测试的具体步骤为：

(1)测试特征序列x和最优化参数w^*作为参数，并将p(y|x；w^*)置零；

(2)将输入序列按照基于视觉特征相似度的方法进行分层，得到不同分辨率的特征，再将不同分辨率下的数据输入相应分辨率的隐条件随机场中得到概率logp(y|x^l；w^*l)，并将概率累加logp(y|x；w^*)＝logp(y|x；w^*)+logp(y|x^l；w^*l)。

具体实现时，还可以采用其他的算法解决上述的相似度度量、模型求解等问题，本发明实施例仅给出一个具体的实例进行说明，对具体的算法实现步骤本发明实施例不做限制。

实施例4

下面结合具体的实验对实施例1和2中的方案进行可行性验证，详见下文描述：

实验所采用的细胞数据库来自老鼠干细胞，光学显微镜(Zeiss Axiovert T135V)在干细胞成长过程中间隔五分钟进行拍摄。图像序列一共有1013帧，每幅图像的分辨率为1392*1040。在该图像序列中经过图像预处理后挑选细胞分裂候选序列，采用人工标注方式将其分成训练样本(295个包含细胞分裂事件的正样本，204个不包含细胞分裂事件的负样本)和测试样本(295个包含细胞分裂事件的正样本，205个不包含细胞分裂事件的负样本)，每个候选序列区域分辨率为25*25。有关细胞类型、细胞培养环境和数据采集设备的信息及参数设置可参考文献(如参考文献[10])，本发明实施例对此不做赘述。

经过文献查询，采用现有技术中的方案进行细胞分裂识别最高可达到的查全率和查准率分别为75％，77％。通过本发明实施例进行多分辨力下的模型学习和测试，所完成的细胞分裂识别达到了83％的查全率和86％的查准率，其结果优于现有方法，证明了方法的可行性和有效性。

综上所述，本发明实施例提出了一种可用于检测细胞分裂事件的识别算法，本方法在显微图像中挑选候选序列，获取可能出现细胞分裂事件的区域，作为细胞分裂数据库；在此基础上，提取图像序列的视觉特征，建立多分辨率模型，得到较为准确的检测结果；并且多分辨率的检测结果使得模型抽象出候选序列的语义信息，最终使得识别结果较为理想。

参考文献：

[1]Oliva A,Torralba A.Modeling the Shape of the Scene:A Holistic Representation of the Spatial Envelope[J].International Journal of Computer Vision,2001,42(3):145-175.

[2]Nocedal B J,Wright S J.Numerical Optimization,Springer series in operations research[J].Siam J Optimization,2012.

[3]Felzenszwalb P F,Huttenlocher D P.Efficient Graph-Based Image Segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[4]Tversky B,Hemenway K.Categories of environmental scenes☆[J].Cognitive Psychology,1983,15(1):121-149.

[5]Gou X,Han H C,Hu S,et al.Applying Combined Optical Tweezers and Fluorescence Microscopy Technologies to Manipulate Cell Adhesions for Cell-to-Cell Interaction Study[J].IEEE transactions on bio-medical engineering,2013,60(8):2308-2315.

[6]Chai J,Song Q.Multiple-protein detections of single-cells reveal cell-cell heterogeneity in human cells.[J].IEEE transactions on bio-medical engineering,2015,62(1):30-38.

[7]Liu J,Siragam V,Gong Z,et al.Robotic adherent cell injection for characterizing cell-cell communication.[J].IEEE Transactions on Biomedical Engineering,2015,62(1):119-125.

[8]Wang Z,Tun L W,Yih M T S,et al.Visual Servoed Three-Dimensional Cell Rotation System.[J].Biomedical Engineering IEEE Transactions on,2015,62(10):2498-2507.

[9]Yuan G,Wei Z,Wang Z.Gradient trust region algorithm with limited memory BFGS update for nonsmooth convex minimization[J].Computational Optimization&Applications,2013,54(1):45-64.

[10]Nakashima Y,Tsusu K,Hikichi Y,et al.Evaluation of cell-cell or cell-substrate adhesion effect on cellular differentiation using a microwell array having convertible culture surface[C]//International Symposium on Micro-Nanomechatronics and Human Science.IEEE,2014.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。