专利名称：基于质心跟踪框架的特征关联细胞跟踪方法
技术领域：
本发明属于数字图像处理技术领域，涉及视频显微图像中运动细胞的自动跟踪， 可用于细胞视频显微图像中对运动细胞的分析。
背景技术：
作为生物学中的一个新的研究热点，细胞图像处理对细胞研究具有很重要的指导 意义。显微技术的发展给观察和研究细胞周期性活动提供了一个很重要的工具。在新药的 研制过程中，往往需要在显微镜下观察活体细胞在注药之后的反应，当实验成熟之后会进 一步在生物体内测试，当研究某种病毒细胞的扩散方式和程度时，会采用同样的方式，观察 病毒细胞入侵正常细胞的过程，当然还有许多需要细胞运动研究的地方，其应用范围也在 不断的扩大。不过，传统的方法还是借助显微设备的人工定时检测和记录，其自动化程度较 低，人工观测过程也比较困难，费时费力而且不准确。如今，用于视频显微图像下的细胞自 动跟踪系统，作为生物学研究中的一个新兴研究方向，已经受到很多科研组织的重视。随着计算机在生物学中的应用，广泛的计算机视觉领域的研究已造成强大和灵活 的可视化算法。细胞跟踪的目标是完善的提供细胞的运动行为，包括细胞的移动、分裂、出 现、消失等。目前，存在的细胞跟踪方法，大致可以分为三类基于数据关联、单独帧独立分 割的方法；基于轮廓变化模型的方法；随机滤波和概率统计的方法。其中1.基于数据关联、单独帧独立分割的方法，是细胞跟踪当中比较有效的方法。 Al-Kofahi等人在各种匹配假说中使用了线性规则，但是他们的方法不能捕获聚集的细胞 以及进入或者离开图像视角的细胞。Dehauwer等人采用了基于欧氏距离匹配的方法，在帧 间进行关联。Padfield等人通过跟踪单一细胞训练出的特征，在时空上关联细胞。不过，各 种相关的分割匹配技术在关联进入或移出的细胞方面不是很有效，在细胞的分裂跟聚集情 况上也都需要特别处理。2.基于轮廓变化模型的方法，如水平集算法也是常用于细胞跟踪的方法。由于水 平集方法可以很容易的在拓扑结构下传递变化信息，为此Yang和Padfield等人采用该方 法，将进化水平集用于时空上，能及时有效的关联检测目标。其他相关方法，如Dufour等人 提出的水平集方法，采用由先前图像得到的轮廓作为初始，来实时传播变化信息。这种基于 轮廓变化模型的方法，虽然能非常有效的处理拓扑结构的变化，但是，在细胞的快速移动或 者出现、消失时，都要求重新进行参数的初始化，而大量参数的及时获取和初始化是比较复 杂和困难的，无疑会影响该方法的效果。3.用以跟踪的随机滤波和概率统计的方法，一般情况下都依赖于强有力的模型 假设。例如，均值漂移算法可以通过一个基本的外观模型来跟踪目标，这种方法的效果取 决于目标定位的精确性，以及模型的实时转移倾向；又如卡尔曼滤波算法，如果该方法采 用的状态转移模型可以较好的模拟跟踪目标的运动状态，那么这种滤波方法将非常有效。 Kachouie等人提出了一种基于概率准则的最大后验概率，用以细胞追踪，但是由于该算法 需要大量的假设，所以该系统能跟踪的细胞数目受到一定限制。事实上，由于细胞自身的非线性运动，不能找到理想的模型去较好的模拟所有细胞的运动，以及视频图像中待跟踪的 细胞数目相对较多，增加了跟踪的复杂度，传统的随机滤波和概率统计的方法用于细胞跟 踪都不是非常理想。综上，现有的细胞跟踪方法有如下一些缺点(1)有些方法不能对细胞运动变化 做出准确的判断，如细胞的出现或消失，即使做出判断，对于复杂的运动也不能达到理想的 跟踪效果；(2)有些方法对跟踪的目标数目有一定的限制，不能跟踪视频图像中的所有细 胞，仅能跟踪一定数目的细胞；(3)有些方法不具有很好的鲁棒性，仅对某些视频图像中具 有特定特征或者运动规律的细胞有较为理想的跟踪效果。
发明内容
本发明的目的在于克服上述已有技术的不足，提出一种基于质心跟踪框架的特征 关联细胞跟踪方法，在两帧之间选择最佳匹配关联细胞，以对每个细胞的运动变化做出准 确的判断，提供精确的细胞运动轨迹，并且对视频图像中的细胞及跟踪的细胞数目没有限 制。实现本发明目的的技术思路是将特征关联方法引入到基于质心跟踪的框架中，得 到跟踪细胞的准确位置。其具体实现步骤包括如下(1)对视频的每帧图像运用OtSU方法进行二值化分割，并对二值图像中的细胞区 域进行标记，提取每个细胞的中心位置；(2)根据每个细胞的中心位置，对二值图像中出现的细胞进行质心跟踪，记录得到 的细胞跟踪轨迹；(3)根据每个细胞的跟踪轨迹，判断二值图像是否为细胞跟踪轨迹的起始图像和 终止图像，并将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集 合和终止坐标集合中；(4)根据轨迹的终止坐标集合和轨迹起始坐标集合，先对视频的相邻两帧二值图 像进行判断如果当前二值图像为细胞跟踪轨迹的终止图像，且下一帧二值图像为细胞跟 踪轨迹的起始图像，则把当前二值图像中轨迹终止坐标代表的细胞作为待跟踪细胞，建立 待跟踪细胞的邻域匹配区域，选择待关联细胞，如果没有待关联细胞，判定待跟踪细胞在下 一帧二值图像中消失，停止对此待跟踪细胞进行跟踪；(5)采用特征关联方法对待跟踪细胞与该细胞邻域匹配区域中的待关联细胞进行 特征关联跟踪，计算待跟踪细胞与每个待关联细胞的相似度，将与待跟踪细胞相似度最大 的待关联细胞确定为待跟踪细胞的匹配细胞，并将此待关联细胞的跟踪轨迹作为待跟踪细 胞的后续跟踪轨迹；(6)循环步骤(4)到步骤(5)直到最后一帧二值图像，完成对所有细胞的跟踪。本发明与现有技术相比具有如下优点1)本发明由于采用特征关联方法，很好的克服了现有基于运动模型的滤波跟踪方 法由于细胞无规律的布朗运动而导致的跟踪失败的缺点，提高了跟踪的正确率；2)本发明由于将质心跟踪作为整体的跟踪框架，当细胞的运动状态发生变化，如 细胞出现与消失时，仍然能做出准确的判断；3)本发明由于将质心跟踪作为跟踪的第一步，使得在待跟踪细胞的邻域匹配区域内，部分细胞已经通过质心跟踪方法所跟踪，减少了待关联细胞的数目，从而极大降低了跟 踪匹配错误的情况，提高了该发明的跟踪可靠性。
图1是本发明的流程示意图；图2是本发明仿真使用的2种细胞显微视频图像；图3是本发明仿真实现的图像预处理后得到的细胞二值图像；图4是本发明仿真实现的细胞跟踪轨迹图。
具体实施例方式参照图1，本发明的具体实现步骤如下步骤1，对每帧图像进行二值化分割，提取每个细胞的中心位置。(Ia)采用传统的Otsu方法计算原始图像的阈值，对图像进行二值化分割，同时， 由于图像噪声的影响，去除二值图像中面积小于20的区域，得到最终二值图像；(Ib)采用4邻域连通标记算法，对最终二值图像中的细胞区域进行标记，提取每 个细胞区域的中心，即得到每个细胞的中心位置。步骤2，根据每个细胞的中心位置，对二值图像中出现的细胞进行质心跟踪，记录 得到的细胞跟踪轨迹。2a)将需要进行质心跟踪的细胞确定为跟踪细胞A ；2b)如果跟踪细胞A的坐标在下一帧二值图像某个细胞B的区域内部，将细胞A和 B确定为同一个细胞，并将细胞B的坐标作为跟踪细胞A在下一帧二值图像中的坐标；
2c)将细胞B的坐标加入到跟踪细胞A的跟踪轨迹中，实现对跟踪细胞A的跟踪轨 迹更新；2d)循环步骤2b)到步骤2c)，直到跟踪细胞A的坐标不再在细胞B的区域内部， 完成跟踪细胞A的质心跟踪。步骤3，根据每个细胞的跟踪轨迹，判断二值图像是否为细胞跟踪轨迹的起始图像 和终止图像，并将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标 集合和终止坐标集合中。3a)如果细胞跟踪轨迹的起始坐标在二值图像上，将此二值图像作为细胞跟踪轨 迹的起始图像；如果细胞跟踪轨迹的终止坐标在二值图像上，将此二值图像作为细胞跟踪 轨迹的终止图像；3b)将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集 合和终止坐标集合中；3c)循环步骤3a)到步骤3b)，直到最后一帧二值图像。步骤4，确定待跟踪细胞，建立待跟踪细胞的邻域匹配区域，选择待关联细胞。细胞的运动有时会超出质心跟踪的范围，导致质心跟踪中断，致使本来完整的细 胞运动被跟踪成几个平稳的轨迹，这些跟踪轨迹由质心跟踪得来。因此需要将属于同一细 胞的跟踪轨迹确定，将其按顺序连接，以形成对细胞的完整跟踪。根据轨迹的终止坐标集合和轨迹起始坐标集合，先对视频的相邻两帧二值图像进
6行判断如果当前二值图像为某些细胞跟踪轨迹的终止图像，且下一帧二值图像为某些细 胞跟踪轨迹的起始图像，说明在当前二值图像中，跟踪轨迹终止的细胞，有可能在下一帧图 像中消失，也有可能因为细胞的运动变化较大，导致质心跟踪中断，需要与下一帧图像中起 始的跟踪轨迹代表的细胞进行匹配。因此，把当前二值图像中轨迹终止坐标代表的细胞作为待跟踪细胞，然后建立合 适的待跟踪细胞的邻域匹配区域，保证待跟踪细胞在下一帧图像中的位置在该邻域匹配区 域内，在该邻域匹配区域内选择与待跟踪细胞的待关联细胞，具体操作步骤如下4a)以待跟踪细胞在当前二值图像中的坐标为中心，在下一帧二值图像中建立一 个窗口宽度为H的矩形区域，作为待跟踪细胞的邻域匹配区域，通常，为了保证待跟踪细胞 在下一帧图像中的位置一定在该邻域匹配区域内，H设定为细胞在两帧图像中的最大移动 距离，在此设为50 ；4b)选择细胞中心在该邻域匹配区域中的细胞，作为备选细胞，如果下一帧二值图 像正好是备选细胞的轨迹起始图像，将备选细胞作为待关联细胞，如果没有满足条件的待 关联细胞，判定待跟踪细胞在下一帧图像中消失，停止对此待跟踪细胞进行跟踪。步骤5，计算待跟踪细胞与每个待关联细胞的相似度，将相似度最大的待关联细胞 跟踪轨迹连接到待跟踪细胞的跟踪轨迹之后，以实现对待跟踪细胞的跟踪轨迹更新。选择合适的特征，计算待跟踪细胞与该细胞邻域匹配区域中每个待关联细胞的相 似度，相似度最大的待关联细胞被认为是待跟踪细胞的匹配细胞，并确定该细胞的跟踪轨 迹为待跟踪细胞的后续跟踪轨迹，将该细胞的跟踪轨迹连接到待跟踪细胞的跟踪轨迹，实 现对待跟踪细胞的跟踪轨迹更新。本实施例以代价函数来评判两个细胞之间的相似程度，代价函数越小，则相似度 越大，因此，以代价函数的倒数来表示两个细胞的相似度，选择距离、面积和偏心率作为细 胞的关联特征，具体的相似度计算步骤如下5a)计算每个待关联细胞与待跟踪细胞之间的代价函数cost cost(i，j) = aD(i, j) + ^A(i, j) + yE(i, j)其中，i表示待关联细胞，j表示待跟踪细胞，η表示邻域匹配区域中待关联的细胞 数目，α、β、Υ分别表示三个特征的权值，取值分别为0. 7、0. 15、0. 15，α+β + y =1，
dI加O,-加a, I , 、 \Eccen、-Eccent
权利要求
一种基于质心跟踪框架的特征关联细胞跟踪方法，包括如下步骤(1)对视频的每帧图像运用Otsu方法进行二值化分割，并对二值图像中的细胞区域进行标记，提取每个细胞的中心位置；(2)根据每个细胞的中心位置，对二值图像中出现的细胞进行质心跟踪，记录得到的细胞跟踪轨迹；(3)根据每个细胞的跟踪轨迹，判断二值图像是否为细胞跟踪轨迹的起始图像和终止图像，并将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集合和终止坐标集合中；(4)根据轨迹的终止坐标集合和轨迹起始坐标集合，先对视频的相邻两帧二值图像进行判断如果当前二值图像为细胞跟踪轨迹的终止图像，且下一帧二值图像为细胞跟踪轨迹的起始图像，则把当前二值图像中轨迹终止坐标代表的细胞作为待跟踪细胞，建立待跟踪细胞的邻域匹配区域，选择待关联细胞，如果没有待关联细胞，判定待跟踪细胞在下一帧二值图像中消失，停止对此待跟踪细胞进行跟踪；(5)采用特征关联方法对待跟踪细胞与该细胞邻域匹配区域中的待关联细胞进行特征关联跟踪，计算待跟踪细胞与每个待关联细胞的相似度，将与待跟踪细胞相似度最大的待关联细胞确定为待跟踪细胞的匹配细胞，并将此待关联细胞的跟踪轨迹作为待跟踪细胞的后续跟踪轨迹；(6)循环步骤(4)到步骤(5)直到最后一帧二值图像，完成对所有细胞的跟踪。
2.根据权利要求1所述的细胞跟踪方法，其中步骤(2)所述的对二值图像中出现的细 胞进行质心跟踪，按如下步骤进行2a)将需要进行质心跟踪的细胞确定为跟踪细胞A ；2b)如果跟踪细胞A的坐标在下一帧二值图像某个细胞B的区域内部，将细胞A和B确 定为同一个细胞，并将细胞B的坐标作为跟踪细胞A在下一帧二值图像中的坐标；2c)更新跟踪细胞A的跟踪轨迹，即将细胞B的坐标加入到跟踪细胞A的跟踪轨迹中；2d)循环步骤2b)到步骤2c)，直到跟踪细胞A的坐标不再满足2b)中的条件，完成跟 踪细胞A的质心跟踪。
3.根据权利要求1所述的细胞跟踪方法，其中步骤(3)所述的判断二值图像是否为细 胞跟踪轨迹的起始图像和终止图像，按如下准则判断如果细胞跟踪轨迹的起始坐标在二值图像上，将此二值图像作为细胞跟踪轨迹的起始 图像；如果细胞跟踪轨迹的终止坐标在二值图像上，将此二值图像作为细胞跟踪轨迹的终止 图像。
4.根据权利要求1所述的细胞跟踪方法，其中步骤(4)所述的建立待跟踪细胞的邻域 匹配区域，选择待关联细胞，具体步骤如下4a)以待跟踪细胞在当前二值图像中的坐标为中心，在下一帧二值图像中建立一个窗 口宽度为H的矩形区域，作为待跟踪细胞的邻域匹配区域；4b)选择细胞中心在该邻域匹配区域中的细胞，作为备选细胞，如果下一帧二值图像正 好是备选细胞的轨迹起始图像，将该备选细胞作为待关联细胞，如果没有待关联细胞，判定 待跟踪细胞在下一帧图像中消失，停止对此待跟踪细胞进行跟踪。
5.根据权利要求1所述的细胞跟踪方法，其中步骤(5)所述的采用特征关联方法对待 跟踪细胞与该细胞邻域匹配区域中的待关联细胞进行特征关联，计算待跟踪细胞与每个待 关联细胞的相似度，具体步骤如下5a)通过计算每个待关联细胞与待跟踪细胞之间的代价函数cost，实现对每个待关联 细胞与待跟踪细胞的特征的关联，计算公式如下 cost(i, j) = aD
全文摘要
本发明公开了一种基于质心跟踪框架的特征关联细胞跟踪方法，主要解决现有细胞跟踪方法正确率低的问题。其过程为对视频图像进行二值化分割，提取每个细胞的中心位置；对细胞进行质心跟踪，记录细胞的跟踪轨迹；将轨迹的起始和终止坐标分别记录起始坐标集合和终止坐标集合中，选择待跟踪细胞，在待跟踪细胞的邻域匹配区域内，选择待关联细胞；采用特征关联方法对待跟踪细胞与待关联细胞进行特征关联，更新待跟踪细胞轨迹；最后循环上述步骤直到最后一帧图像，完成对所有细胞的跟踪。本发明较其它几种传统的跟踪方法，在跟踪效果及正确率方面都有提高，可用于医学显微视频图像中对运动细胞的分析。
文档编号G06T7/20GK101950424SQ20101027804
公开日2011年1月19日 申请日期2010年9月9日 优先权日2010年9月9日
发明者于昕, 侯彪, 李悦, 沈威, 焦李成, 王爽, 韩红, 马文萍, 高婷婷 申请人:西安电子科技大学