专利名称：基于质心跟踪框架的粒子滤波与均值漂移的细胞跟踪方法
技术领域：
本发明属于数字图像处理技术领域，涉及视频显微图像中运动细胞的自动跟踪， 可用于医学显微视频图像中对运动细胞的分析。
背景技术：
细胞图像处理作为生物学中的一个研究方向，由于其对细胞研究尤其是癌细胞的 研究具有很重要的指导意义，已经成为生物学中的一个新的研究热点。显微技术的发展给 观察和研究细胞周期性活动提供了一个很重要的工具。不过，传统的数据人工分析方法对 处理这类细胞显微图像数据的作用非常有限，费时费力而且不准确。如今，用于视频显微图 像下的细胞自动跟踪系统，作为生物学研究中的一个新兴研究方向，对细胞研究具有重要 的指导意义。细胞跟踪的目标是高速、自动的提供细胞的行为，包括移动、分裂、出现、消失等。 广泛的计算机视觉领域的研究已造成强大和灵活的可视化算法。目前，存在的细胞跟踪 方法，大致可以分为三类基于数据关联、单独帧独立分割的方法；基于轮廓变化模型的方 法；随机滤波和概率统计的方法。其中1.基于数据关联、单独帧独立分割的方法，是细胞跟踪当中比较有效的方法。 Al-Kofahi等人在各种匹配假说中使用了线性规则，但是他们的方法不能捕获聚集的细胞 以及进入或者离开图像视角的细胞。Dehauwer等人采用了基于欧氏距离匹配的方法，在帧 间进行关联。Padfield等人通过跟踪单一细胞训练出的特征，在时空上关联细胞。不过，各 种相关的分割匹配技术在关联进入或移出的细胞方面不是很有效，在细胞的分裂跟聚集情 况上也都需要特别处理。2.基于轮廓变化模型的方法，如水平集算法也是常用于细胞跟踪的方法。由于水 平集方法可以很容易的在拓扑结构下传递变化信息，为此Yang和Padfield等人采用该方 法，将进化水平集用于时空上，能及时有效的关联检测目标。其他相关方法，如Dufour等人 提出的水平集方法，采用由先前图像得到的轮廓作为初始，来实时传播变化信息。这种基于 轮廓变化模型的方法，虽然能非常有效的处理拓扑结构的变化，但是，在细胞的快速移动或 者出现、消失时，都要求重新进行参数的初始化，而大量参数的及时获取和初始化是比较复 杂和困难的，无疑会影响该方法的效果。3.用以跟踪的随机滤波和概率统计的方法，一般情况下都依赖于强有力的模型 假设。例如，均值漂移算法可以通过一个基本的外观模型来跟踪目标，这种方法的效果取 决于目标定位的精确性，以及模型的实时转移倾向；又如卡尔曼滤波算法，如果该方法采 用的状态转移模型可以较好的模拟跟踪目标的运动状态，那么这种滤波方法将非常有效。 Kachouie等人提出了一种基于概率准则的最大后验概率，用以细胞追踪，但是由于该算法 需要大量的假设，所以该系统能跟踪的细胞数目受到一定限制。事实上，由于细胞自身的非 线性运动，不能找到理想的模型去较好的模拟所有细胞的运动，以及视频图像中待跟踪的 细胞数目相对较多，增加了跟踪的复杂度，传统的随机滤波和概率统计的方法用于细胞跟踪都不是非常理想。综上，现有的细胞跟踪方法有如下一些缺点(1)有些方法不能对细胞运动变化 做出准确的判断，如细胞的出现或消失，即使做出判断，对于复杂的运动也不能达到理想的 跟踪效果；(2)有些方法对跟踪的目标数目有一定的限制，不能跟踪视频图像中的所有细 胞，仅能跟踪一定数目的细胞；(3)有些方法不具有很好的鲁棒性，仅对某些视频图像中具 有特定特征或者运动规律的细胞有较为理想的跟踪效果。
发明内容
本发明的目的在于克服上述已有技术的不足，提出一种基于质心跟踪框架的粒子 滤波与均值漂移的细胞跟踪方法，以对每个细胞的运动变化做出准确的判断，提供精确的 细胞运动轨迹，并且对视频图像中的细胞及跟踪的细胞数目没有限制。实现本发明目的的技术思路是将粒子滤波与均值漂移跟踪方法引入到基于质心 跟踪的框架中，得到跟踪细胞的准确位置。其具体实现步骤包括如下(1)对视频的每帧图像运用OtSU方法进行二值化分割，并对二值图像中的细胞区 域进行标记，提取每个细胞的中心位置；(2)根据每个细胞的中心位置，对二值图像中出现的细胞进行质心跟踪，记录得到 的细胞跟踪轨迹；(3)根据每个细胞的跟踪轨迹，判断二值图像是否为细胞跟踪轨迹的起始图像和 终止图像，并将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集 合和终止坐标集合中；(4)根据轨迹的终止坐标集合和轨迹起始坐标集合，先对视频的相邻两帧二值图 像进行判断如果当前二值图像为细胞跟踪轨迹的终止图像，且下一帧二值图像为细胞跟 踪轨迹的起始图像，则把当前二值图像中轨迹终止坐标代表的细胞作为待跟踪细胞；再采 用粒子滤波方法，对该待跟踪细胞的轨迹进行一步预测，得到该细胞在下一帧二值图像中 的预测坐标点；(5)根据预测的坐标点，对预测结果进行判断如果该坐标点在下一帧二值图像 中某个细胞区域的内部，且此二值图像是该细胞轨迹的初始图像，则把该细胞和待跟踪细 胞确定为同一细胞，并将该细胞的跟踪轨迹作为待跟踪细胞的后续跟踪轨迹；否则，运用均 值漂移方法对预测的坐标进行更新，得到新的预测坐标点，再根据新的坐标点进行上述判 断，若依旧不满足判断准则，停止对此待跟踪细胞进行跟踪；(6)循环步骤⑷到步骤(5)直到最后一帧二值图像，完成对所有细胞的跟踪。本 发明与现有技术相比具有如下优点1)本发明由于在跟踪中采用了粒子滤波与均值漂移方法，对细胞的非线性运动有 较好的跟踪有效，而传统的方法仅能有效的跟踪细胞的平稳线性运动；2)本发明由于将质心跟踪作为整体的跟踪框架，当细胞的运动状态发生变化，如 细胞的出现与消失，也能做出准确的判断；3)本发明由于将质心跟踪作为跟踪第一步，粒子滤波只需要对待跟踪细胞坐标做 一步预测，从而解决了常见的粒子退化及运算效率的问题，同时以质心跟踪作为跟踪的基 础框架，在粒子滤波预测时，排除了其他细胞对跟踪的干扰，提高了跟踪的正确率。
图1是本发明的流程示意图；图2是本发明仿真使用的2种细胞显微视频图像；图3是本发明仿真实现的图像预处理后得到的细胞二值图像；图4是本发明仿真实现的某个细胞跟踪轨迹图。
具体实施例方式参照图1，本发明的具体实现步骤如下步骤1，对每帧图像进行二值化分割，提取每个细胞的中心位置。(Ia)采用传统的Otsu方法计算原始图像的阈值，对图像进行二值化分割，同时， 由于图像噪声的影响，去除二值图像中面积小于20的区域，得到最终二值图像；(Ib)采用4邻域连通标记算法，对最终二值图像中的细胞区域进行标记，提取每 个细胞区域的中心，即得到每个细胞的中心位置。步骤2，根据每个细胞的中心位置，对二值图像中出现的细胞进行质心跟踪，记录 得到的细胞跟踪轨迹。2a)将需要进行质心跟踪的细胞确定为跟踪细胞A ；2b)如果跟踪细胞A的坐标在下一帧二值图像某个细胞B的区域内部，将细胞A和 B确定为同一个细胞，并将细胞B的坐标作为跟踪细胞A在下一帧二值图像中的坐标；2c)将细胞B的坐标加入到跟踪细胞A的跟踪轨迹中，实现对跟踪细胞A的跟踪轨 迹更新；2d)循环步骤2b)到步骤2c)，直到跟踪细胞A的坐标不再在细胞B的区域内部， 完成跟踪细胞A的质心跟踪。步骤3，根据每个细胞的跟踪轨迹，判断二值图像是否为细胞跟踪轨迹的起始图像 和终止图像，并将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标 集合和终止坐标集合中。3a)如果细胞跟踪轨迹的起始坐标在二值图像上，将此二值图像作为细胞跟踪轨 迹的起始图像；如果细胞跟踪轨迹的终止坐标在二值图像上，将此二值图像作为细胞跟踪 轨迹的终止图像；3b)将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集 合和终止坐标集合中；3c)循环步骤3a)到步骤3b)，直到最后一帧二值图像。步骤4，选择待跟踪细胞，采用粒子滤波方法，对待跟踪细胞的轨迹进行一步预测， 得到该细胞在下一帧二值图像中的预测坐标点。细胞的运动有时会超出质心跟踪的范围，导致质心跟踪中断，致使本来完整的细 胞运动被跟踪成几个平稳的轨迹，这些跟踪轨迹由质心跟踪得来。因此需要将属于同一细 胞的跟踪轨迹确定，将其按顺序连接，以形成对细胞的完整跟踪。根据轨迹的终止坐标集合和轨迹起始坐标集合，先对视频的相邻两帧二值图像进 行判断如果当前二值图像为某些细胞跟踪轨迹的终止图像，且下一帧二值图像为某些细
6胞跟踪轨迹的起始图像，说明在当前二值图像中，跟踪轨迹终止的细胞，有可能在下一帧图 像中消失，也有可能因为细胞的运动变化较大，导致质心跟踪中断，需要与下一帧图像中起 始的跟踪轨迹进行匹配，因此，把当前二值图像中轨迹终止坐标代表的细胞作为待跟踪细 胞，采用粒子滤波算法对该细胞进行一步预测，具体操作步骤如下；4a)通过如下方程，初始化粒子集合{ΖΓ，n=l. .. N}
权利要求
一种基于质心跟踪框架的粒子滤波与均值漂移的细胞跟踪方法，包括如下步骤(1)对视频的每帧图像运用Otsu方法进行二值化分割，并对二值图像中的细胞区域进行标记，提取每个细胞的中心位置；(2)根据每个细胞的中心位置，对二值图像中出现的细胞进行质心跟踪，记录得到的细胞跟踪轨迹；(3)根据每个细胞的跟踪轨迹，判断二值图像是否为细胞跟踪轨迹的起始图像和终止图像，并将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集合和终止坐标集合中；(4)根据轨迹的终止坐标集合和轨迹起始坐标集合，先对视频的相邻两帧二值图像进行判断如果当前二值图像为细胞跟踪轨迹的终止图像，且下一帧二值图像为细胞跟踪轨迹的起始图像，则把当前二值图像中轨迹终止坐标代表的细胞作为待跟踪细胞；再采用粒子滤波方法，对该待跟踪细胞的轨迹进行一步预测，得到该细胞在下一帧二值图像中的预测坐标点；(5)根据预测的坐标点，对预测结果进行判断如果该坐标点在下一帧二值图像中某个细胞区域的内部，且此二值图像是该细胞轨迹的初始图像，则把该细胞和待跟踪细胞确定为同一细胞，并将该细胞的跟踪轨迹作为待跟踪细胞的后续跟踪轨迹；否则，运用均值漂移方法对预测的坐标进行更新，得到新的预测坐标点，再根据新的坐标点进行上述判断，若依旧不满足判断准则，停止对此待跟踪细胞进行跟踪；(6)循环步骤(4)到步骤(5)直到最后一帧二值图像，完成对所有细胞的跟踪。
2.根据权利要求1所述的细胞跟踪方法，其中步骤(2)所述的对二值图像中出现的细 胞进行质心跟踪，按如下步骤进行2a)将需要进行质心跟踪的细胞确定为跟踪细胞A ；2b)如果跟踪细胞A的坐标在下一帧二值图像某个细胞B的区域内部，将细胞A和B确 定为同一个细胞，并将细胞B的坐标作为跟踪细胞A在下一帧二值图像中的坐标；2c)更新跟踪细胞A的跟踪轨迹，即将细胞B的坐标加入到跟踪细胞A的跟踪轨迹中；2d)循环步骤2b)到步骤2c)，直到跟踪细胞A的坐标不再满足2b)中的条件，完成跟 踪细胞A的质心跟踪。
3.根据权利要求1所述的细胞跟踪方法，其中步骤(3)所述的判断二值图像是否为细 胞跟踪轨迹的起始图像和终止图像，按如下准则判断如果细胞跟踪轨迹的起始坐标在二值图像上，将此二值图像作为细胞跟踪轨迹的起始 图像；如果细胞跟踪轨迹的终止坐标在二值图像上，将此二值图像作为细胞跟踪轨迹的终止 图像。
4.根据权利要求1所述的细胞跟踪方法，其中步骤(4)所述的采用粒子滤波方法，对该 待跟踪细胞的轨迹进行一步预测，按如下步骤进行4a)通过如下方程，初始化粒子集合{ΙΓ，n=l...N}Xnk = Xk +^fi.randn, (n=l... N)其中，Ζ；为当前图像中第η个粒子的坐标，Xk为待跟踪细胞的轨迹终止点坐标，randn为随机参数，N为粒子数，k表示当前图像在视频中的帧号；
5.根据权利要求1所述的细胞跟踪方法，其中步骤(5)所述的运用均值漂移方法对预 测的坐标进行更新，具体步骤如下5a)将预测的坐标Xk+1作为最初的初始样本χ ；5b)以初始样本χ为中心建立窗宽半径为h的矩形窗口 ；5c)计算坐标样本均值mh(x)
全文摘要
本发明公开了基于质心跟踪框架的粒子滤波与均值漂移的细胞跟踪方法，主要解决现有细胞跟踪方法正确率低的问题。其过程为对视频图像进行二值化分割，提取每个细胞的中心位置；对细胞进行质心跟踪，记录细胞的跟踪轨迹；将轨迹的起始和终止坐标分别记录起始坐标集合和终止坐标集合中，选择待跟踪细胞；采用粒子滤波对待跟踪细胞的轨迹进行一步预测，得到在下一帧图像中的预测坐标点；根据预测的坐标点，适时采用均值漂移方法，选择待跟踪细胞的后续跟踪轨迹；循环预测和选择步骤直到最后一帧图像，完成对所有细胞的跟踪。本发明较其它几种传统的跟踪方法，在跟踪效果及正确率方面都有提高，可用于医学显微视频图像中对运动细胞的分析。
文档编号G06T7/20GK101968886SQ20101027879
公开日2011年2月9日 申请日期2010年9月9日 优先权日2010年9月9日
发明者于昕, 侯彪, 李悦, 沈威, 焦李成, 王爽, 韩红, 马文萍, 高婷婷 申请人:西安电子科技大学