样本中的动态细胞跟踪的方法

专利名称：样本中的动态细胞跟踪的方法
技术领域：
本发明涉及用于确定生物材料位置的系统和方法。
背景技术：
在过去十年中，进行的与生物学过程相关的数据测量的量已经迅速增长。这种激增主要可归因于技术(特别是计算机技术)的改进。但是，数据量已经增加，但是对这个数据的分析未能跟进。相应地，存在对数据的自动化分析的不断增加的需要。生物数据的最基本观察之一是测量相对时间推移的细胞行为。细胞的数量和结构随时间推移而改变。具体来说，报告对诸如生长、结构、细胞分裂、细胞死亡之类的细胞事件轮换的测量数量的序贯行为，以便推断和推导施加的刺激与细胞行为之间的因果关系。为了给出具体示例，对于高通量测定(high throughput assay)，将药物加入阱(well)和在结构及数量方面对细胞的幅度变化以及结构和数量的变化率，对在临床治疗中确定这种药物的功效方面具有重要性。此外，细胞生命中滴流(drip)见效的准确点也是感兴趣的。例如，细胞癌的治疗可阻止细胞分裂。要求细胞跟踪的大多数研究要求经专门训练的生物学家的专门知识。跟踪成本对于高通量筛选极高。下面呈现一种适于高通量测定的细胞跟踪的方法。为了跟踪细胞，通常需要采用计算机，以采用染料来标记多个细胞的单个细胞并且在细胞从一帧移动到另一帧时对其进行跟踪。跟踪被标记的细胞移动的这个过程是易产生误差并且费时的，因为即使一个细胞被标记，它仍然可能不能与从一帧到另一帧存在的多个细胞加以区分。另外，用于标记细胞的染料可阻碍正常细胞功能，因此不会得到关于细胞在从一帧移动到另一帧时如何工作的真实图像。存在通过计算机用于细胞跟踪的若干不同算法，例如卡尔曼滤波器和粒子滤波器。卡尔曼滤波器是有效递归滤波器，它从一系列不完全且有噪测量来估计动态系统的状态。卡尔曼滤波器采用基于二阶统计的跟踪方法，以便跟踪对象的移动(例如，细胞从一点到另一点)。卡尔曼滤波器采用假定动态和测量模型是线性且带高斯噪声的跟踪方法。但是，对于细胞图像序列，存在许多干扰因素(例如，背景杂波)，并且难以产生细胞边界的清洁图像，这往往弓I起卡尔曼滤波器跟踪的崩溃。作为一种形式的序贯蒙特卡洛方法的粒子滤波采用基于随机取样的复杂模型估计技术。粒子滤波器不要求高斯分布的假设，并且动态和测量模型也可以是非线性的。粒子滤波器没有遭受卡尔曼滤波器的缺点。但是，在速度损失方面存在要付出的处罚。但是， 尽管如此，粒子滤波器并不慢。粒子滤波器与卡尔曼滤波器之间的基本差别在于它们如何表示状态。卡尔曼滤波器对每个参数存储一个值，并且采取协方差矩阵形式来存储每个参数之间的对应方差和相关性。粒子滤波器保存“粒子”集合，其各对应于包括状态向量及其对应加权的配对。被跟踪对象的整体行为能够从粒子集合的统计来得出。单个对象可使用数十、数百或者甚至数千个粒子来跟踪。
对时间推移图像的细胞的跟踪每次涉及两个连续图像。在两个图像之间，一个 (前一帧)比另一个(当前帧)更早被获取。粒子滤波器的基本思路是使用序贯重要取样的概念的相关概率分布的近似以及使用具有关联加权的一组离散随机样本的概率分布的近似。粒子滤波器算法的目的是识别将当前帧与前一帧相联系(link)的事件，并且已经证明对细胞在时间点图像中的非线性移动是有效的。粒子滤波器算法要求图像的各细胞由称作状态向量/特征向量的一组量度来表示。在当前情况下，特征向量包含量度X坐标、Y坐标、和波形因数，并且这些是随时间跟踪细胞的主输入。在W02008/100704中公开了粒子滤波器应用的一个示例，通过引用将其公开完整地结合到本文中。特征向量从分段的图像来生成。因此，更好的分段是跟踪算法的关键。粒子滤波器生成各细胞周围的粒子云。云追踪帧中的细胞，并且用于跟踪来自下一帧的细胞。粒子滤波器中的跟踪通过两个连续帧之间的细胞的对应性量度来实现。通过计算每个云(追踪前一帧的细胞)与每个特征向量(表示当前帧中的细胞)之间的熵来得到对应性。对应性量度采取两个矩阵的形式来呈现，一个表示前一个到当前之间的对应性(以下称作Cl0Ud_t0_ Measure)，而另一个表示当前到前一个之间的对应性(以下称作Measure_to_Cloud)。在粒子滤波器应用中，评估对应性量度，以便生成将两个连续图像中的单独细胞相联系的事件， 该事件从包含下列项的组中选取无变化、细胞去除、细胞迁移、细胞碰撞以及自父-子关系的细胞分裂。但是，细胞对应性有时导致生成假事件，并且被要求检验细胞对应性。

发明内容
本发明的目的是提供用于样本中的动态细胞跟踪的新方法和系统，该方法和系统克服了现有技术的一个或多个缺陷。这通过独立权利要求中定义的方法和系统来实现。按照本发明的方法和系统的一个优点在于，它提供了用于验证由粒子滤波器生成的事件的自动化决策系统，它可将细胞跟踪精度提高到优于现有细胞跟踪算法高达30%。按照一个方面，提供了一种样本中的动态细胞跟踪的方法，包括下列步骤-生成样本的两个连续时间推移图像中的细胞之间的对应性量度，-评估所述对应性量度，以便生成将两个图像中的单独细胞相联系的事件，该事件从包含下列项的组中选取无变化、细胞去除、细胞迁移、细胞碰撞和细胞分裂，-提供将两个图像中的单独细胞相联系的事件的跟踪输出，-其中，建立联系事件的步骤涉及通过以下方式来检验生成的细胞碰撞事件和细胞分裂事件的正确性计算每个这种事件的自适应阈值并将阈值与事件参数进行比较。按照另一个方面，从生成事件中涉及的细胞的至少一个的大小来计算自适应阈值。此外，自适应阈值可与生成的事件中涉及的最小细胞的半径成比例。更具体来说，可通过将最小细胞的半径与取决于样本中的细胞运动的变量相乘，来计算自适应阈值，并且在一个实施例中，变量可以是在5至20、优选地为7. 5至15的范围之内的用户定义参数。按照一个方面，对于生成的细胞碰撞事件，事件参数是前面图像中的相联系细胞之间的空间关系，而对于生成的细胞分裂事件，事件参数是后面图像中的相联系细胞之间的空间关系。更具体来说，对于生成的细胞碰撞事件，事件参数可以是前面图像中的相联系细胞之间的距离，而对于生成的细胞分裂事件，事件参数可以是后面图像中的相联系细胞之间的距离。按照一个方面，生成对应性量度的步骤涉及粒子滤波器算法。按照一个方面，该方法还可包括下列步骤-对每个跟踪的细胞，从生成的跟踪输出来计算父计数和子计数，-当父计数>1时，生成将父细胞联系到子细胞的碰撞事件，-当子计数>1时，生成将子细胞联系到父细胞的分裂事件，-通过以下方式来检验生成的细胞碰撞事件和细胞分裂事件的正确性计算每个这种事件的自适应阈值并将阈值与事件参数进行比较，-更新跟踪输出。按照又一个方面，提供一种用于样本中的动态细胞跟踪的系统，包括成像系统， 布置成提供样本的连续时间推移图像；以及图像接收装置，布置成按照权利要求1至9所述的方法来跟踪样本中的细胞。在从属权利要求中定义本发明的实施例。


结合附图阅读以下描述，本发明的这些及其它优点将会更加明显，在附图中图1是按照本发明的典型成像系统的框图；图2是按照本发明、图1的图像接收装置的示意；图3是按照本发明的粒子滤波器算法图形用户界面的计算机屏幕截图；图4示出按照本发明的粒子滤波器算法的流程图；图5是按照本发明、处理细胞对应性的新方式的另一个流程图；图6A和图6B是按照本发明、应用新阈值逻辑之后的前一个图像和当前图像的图解说明；图7A和图7B是示出由按照本发明的粒子滤波器检测的细胞分裂的前一个图像和当前图像的图解说明；图8A和图8B是示出由按照本发明的粒子滤波器检测的细胞碰撞的前一个图像和当前图像的图解说明；以及
具体实施例方式参照附图来描述本发明的当前优选实施例，其中相似组件采用相同标号来标识。 优选实施例的描述是示范性的，而不是要限制本发明的范围。图1示出典型数字显微镜系统的基本组件的框图。这个自动数字显微镜系统100 包括下列组件光源101、准直仪102、可选非球面光学器件104(在行扫描显微术的情况下)、光束折叠光学器件105、物镜107、样本109、样本保持架111、镜台113、镜筒透镜115、 光检测器117、可选通信链路119和可选计算机121。光源101可以是灯、激光器、多个激光器、发光二极管(LED)、多个LED或者本领域普通技术人员已知的生成光束IOla的任何类型的光源。光束IOla通过下列项传递光源 101、准直仪102、可选非球面光学器件104、光束折叠光学器件105和物镜107，以便照射样本109。样本109可以是活体生物材料/有机体、生物细胞、非生物样本等等。非球面光学器件104是典型鲍威尔棱镜。光束折叠光学器件105是典型扫描镜或分色镜。从样本109 所发射的光线由物镜107来收集，并且然后样本109的图像由典型镜筒透镜115在光检测器117上形成。光检测器117可以是电荷耦合器件(CXD)、互补金属氧化物半导体(CMOS) 图像检测器或者本领域普通技术人员所使用的任何2D阵列光检测器。光检测器117可选地通过通信链路119电或无线连接到计算机121。在另一个实施例中，光检测器117可采用与物镜107配合工作以进一步放大中间图像以使得能够观察样品细节的典型显微镜目镜或接目镜来取代。另外，可存在代替光检测器117所使用的两个、三个或更多光检测器 117。样本109安装在样本保持架111上，样本保持架111可称作典型微量滴定板、显微镜载玻片、作用片、玻璃片、皮氏培养皿或者任何类型的样本保持架。在另一个实施例中，显微镜系统100可选地可通过通信链路119电或无线连接到常规计算机121。通信链路119可以是能够促进自动化显微镜系统100与计算机121之间的数据传递的任何网络，例如本地接入网(LAN)、无线本地网络、广域网(WAN)、通用服务总线(USB)、以太网链路、光纤等等。显微镜系统100可称作图像传送装置、成像装置或成像系统，它能够通过利用光检测器117或典型显微镜目镜来捕获放置在对象镜台113上的样本109或者任何类型的对象的图像。另外，显微镜系统100还可以是例如GE Healthcare (位于新泽西州的皮斯卡塔韦)所制造的IN CellAnalyzer 1000或3000。显微镜系统100可以是典型共焦显微镜、荧光显微镜、外荧光显微镜(印i-fluorescent microscope)、相差显微镜、微分干涉差显微镜或者本领域普通技术人员已知的任何类型的显微镜。在另一个实施例中，显微镜系统100 可以是典型高通量和高含量亚细胞成像分析装置，它能够迅速检测、分析和提供生物有机体等的图像。另外，显微镜系统100可以是自动化细胞和亚细胞成像系统。接收来自样本的反射光或荧光的光检测器117可以是光电倍增管、电荷耦合器件 (CCD)、互补金属氧化物半导体(CM0Q图像检测器或者本领域普通技术人员所使用的任何光检测器。光检测器117通过通信链路119电或无线连接到计算机103。在另一个实施例中，光检测器117可采用与物镜107配合工作以进一步放大中间图像以使得能够观察样品细节的典型显微镜目镜或接目镜来取代。计算机121可称作图像接收装置121或图像检测装置121。在本发明的另一个实施例中，图像接收装置121可位于图像传送装置100内部。图像接收装置121充当典型计算机，它能够从光检测器107接收样本115的图像，然后图像接收装置103能够通过利用标准图像处理软件程序、算法或等式进行显示、保存或处理。另外，计算机103可以是个人数字助理(PDA)、膝上型计算机、笔记本计算机、移动电话、基于硬盘驱动器的装置或者能够通过通信链路119来接收、发送和存储信息的任何装置。虽然在本发明中利用一个计算机，但是可使用多个计算机代替计算机121。图2示出图1的细胞跟踪系统的图像接收装置的示意图。图像或成像接收装置 121或图像接收装置203包括与常规计算机关联的典型组件。图像接收装置203还可存储在图像传送系统100上。图像接收装置203包括处理器203a、输入/输出(I/O)控制器 203b、大容量存储203c、存储器203d、视频适配器20;3θ、连接接口 203f以及在操作上将上述系统组件电或无线耦合到处理器203a的系统总线203g。另外，系统总线203g在操作上将典型计算机系统组件电或无线耦合到处理器203a。处理器203a可称作处理单元、中央处理器(CPU)、多个处理单元或并行处理单元。系统总线203g可以是与常规计算机关联的典型总线。存储器203d包括只读存储器(ROM)和随机存取存储器(RAM)。ROM包括其中包含基本例程的典型输入/输出系统，它协助在启动期间在计算机的组件之间传递信息。输入/输出控制器20 通过总线203g连接到处理器203a，其中输入/输出控制器20 充当允许用户通过粒子滤波器图形用户界面(GUI)和输入装置204、如键盘和指针装置将命令和信息输入到计算机中的接口。所使用的典型指针装置是操纵杆、鼠标、游戏手柄等。显示器206通过视频适配器20 电或无线连接到系统总线203g。显示器206可以是典型计算机监视器、等离子体电视机、液晶显示器(LCD)或者能够显示计算机203所生成的字符和/或静止图像的任何装置。计算机203的视频适配器20 之后是连接接口 203f。 连接接口 203f可称作网络接口，如上所述，它通过通信链路119连接到光检测器117。另外，图像接收装置203可包括网络适配器或调制解调器，它使图像接收装置203能够耦合到其它计算机。在存储器203d之上是大容量存储203c，其包括1.用于从硬盘进行读取和对硬盘进行写入的硬盘驱动器组件(未示出)和硬盘驱动器接口(未示出)，2.磁盘驱动器(未示出)和硬盘驱动器接口(未示出)，以及3.用于从可移动光盘(例如，CD-ROM或其它光介质)进行读取或者对其进行写入的光盘驱动器(未示出)和光盘驱动器接口(未示出)。 上述驱动器及其关联计算机可读介质提供对计算机可读指令、数据结构、程序模块和计算机103的其它数据的非易失性存储。另外，上述驱动器包括如下技术效果具有用于确定生物材料的位置或者跟踪细胞移动的算法，本发明的软件或等式，将在图4和图5的流程图中描述。软件具有生物材料定位器图形用户界面(GUI)。生物材料定位器GUI是具有与典型GUI相同的功能性的一部分的专门编程的GUI，典型GUI是设计成允许计算机用户易于与计算机203进行交互的软件程序。生物材料定位器GUI包括显示如下内容的屏幕截图 1.跟踪目标，2.粒子数量，以及3.如图3所示的阈值因数。粒子滤波器如上所述，W02008/100704详细公开粒子滤波器的一个实施例，其中可利用按照本发明的事件的检验。图像分段是粒子滤波器的处理的初始阶段(即，细胞跟踪)。在分段之后不久，将图像的各细胞指配到唯一标识号(细胞ID)。粒子滤波器的实际跟踪算法找到来自两个连续帧的细胞ID之间的对应性。该算法主要分称作预测、观察/测量和更新的三个步骤运行 (图 4)。图4示意描绘了在细胞跟踪软件应用中如何使用粒子滤波器算法的一个示例的流程图。在框401，用户发起在处理器203a上以协议存储的细胞粒子滤波器算法，由此，用户例如操纵生物材料定位器或细胞跟踪GUI从图3的计算机屏幕截图上的生物材料GUI的下拉列表来核对粒子滤波器算法。随后，在框403，初始化粒子滤波器算法。在选择激活作为跟踪算法的粒子滤波器的时间推移图像栈的分析时，第一步骤是更新/创建第一图像帧的各细胞周围的粒子云。 借助于对第一图像帧中的各细胞所生成的特征向量来更新粒子云。
在框405，预测生物材料或细胞的位置。这个预测步骤将小随机摄动加入追踪细胞的云的各样本。这是对将在下一帧中的细胞的预测。随后，在框407，跟踪并且建立新细胞位置。在这个步骤中，将当前时间的细胞的实际观察响应(特征向量)与各粒子的预测进行比较，作为评估细胞之间的对应性的手段。 这个步骤应用核心逻辑，以便找到前一个图像帧与当前图像帧之间的多个细胞之间的对应性。这个步骤通过将当前帧细胞与前一帧细胞相联系，来生成相联系事件。下面在图5的流程图中更详细描述新细胞位置407的跟踪407。在框409，存在对粒子云的更新。对当前帧测量(特征向量)来更新云，并且最终将其用于下一帧细胞。随后，在框411，存在关于它是否为最后一帧的确定。如果不是最后一帧，则该过程返回到预测细胞位置。如果是最后一帧，则该过程在框413结束。在当前实施例中，通过使用每个云和特征向量的熵值所生成的两个对应性矩阵，
来访问来自两个连续图像帧的细胞之间的对应性。本文中称作Cl0ud_t0_MeaSure的一个
对应性矩阵捕获与来自当前帧的一个或多个细胞ID对应的来自前一帧的细胞ID。这表示
子计数。本文中称作MeaSure_t0_Cl0ud的另一个对应性矩阵捕获与来自前一帧的一个或
多个细胞ID对应的来自当前帧的细胞ID，表示父计数。粒子滤波器算法的目的是识别将目
前(当前帧)与以往(任何先前所处理的帧；通常只是前一个)相联系的事件。采取事件
的形式来呈现联系结果，例如无变化(正常跟踪)、细胞去除、细胞迁移、细胞碰撞和细胞分 m农。对应性矩阵的各元素没有包含细胞ID、包含单个细胞ID或者包含许多细胞ID。 它产生正常跟踪的细胞之间的一对一匹配，并且在事件被生成时遵循一对多或多对一。对生物域所识别的多个事件命名为新细胞的碰撞、分裂、迁移以及细胞的去除。下表1示出多种情况以及它们由粒子滤波器所生成的对应性量度的图解说明。表中的折线圆圈(dashed circle)表示现有细胞，而虚线圆圈表示NULL细胞。下面给出对应性矩阵的判读标志1. Cloud_to_Measure[A] = B 或 Measure_to_Cloud[B] =A表示正常跟踪(无变化)，因为把来自前一帧的细胞ID A与来自当前帧的细胞ID B相联系。2.Cloud_to_Measure[A] = NULL表示细胞去除，因为没有来自当前帧的特征与来自前一帧的细胞ID A相联系。3.Cloud_to_Measure[A] = B, C表示细胞分裂，因为把来自前一帧的细胞ID A与来自当前帧的细胞ID B和C相联系。4. Measure_to_Cloud[B] = NULL表示细胞迁移或新细胞，因为当前帧细胞ID与前一帧细胞没有任何关联。5. Measure_to_Cloud[B] = Ε, F表示细胞碰撞，因为将当前帧的细胞ID B与来自前一帧的细胞ID E和F相联系。粒子滤波器所生成的跟踪输出完全基于上述对应性矩阵。
权利要求
1.样本中动态细胞跟踪的方法，包括下列步骤-生成样本的两个连续时间推移图像中的细胞之间的对应性量度， -评估所述对应性量度，以便生成将所述两个图像中的单独细胞相联系的事件，所述事件从包含下列项的组中选取无变化、细胞去除、细胞迁移、细胞碰撞和细胞分裂， -提供将所述两个图像中的单独细胞相联系的事件的跟踪输出， -其中，建立联系事件的所述步骤涉及通过以下方式来检验生成的细胞碰撞事件和细胞分裂事件的正确性计算每个这种事件的自适应阈值并将所述阈值与事件参数进行比较。
2.如权利要求1所述的方法，其中，从所生成的事件中涉及的所述细胞的至少一个的大小来计算所述自适应阈值。
3.如权利要求2所述的方法，其中，所述自适应阈值与所述生成的事件中涉及的最小细胞的半径成比例。
4.如权利要求3所述的方法，其中，通过将所述最小细胞的所述半径与取决于所述样本中的细胞运动的变量相乘，来计算所述自适应阈值。
5.如权利要求3所述的方法，其中，通过将所述最小细胞的所述半径与在5至20、优选地为7. 5至15的范围之内的用户定义参数相乘，来计算所述自适应阈值。
6.如权利要求1至5中的任一项所述的方法，其中-对于所生成的细胞碰撞事件，所述事件参数是前面图像中的相联系细胞之间的空间关系，以及-对于所生成的细胞分裂事件，所述事件参数是后面图像中的相联系细胞之间的空间关系。
7.如权利要求5所述的方法，其中-对于所生成的细胞碰撞事件，所述事件参数是前面图像中的所述相联系细胞之间的距离，以及-对于所生成的细胞分裂事件，所述事件参数是后面图像中的所述相联系细胞之间的距离。
8.如权利要求1至7中的任一项所述的方法，其中，生成对应性量度的所述步骤涉及粒子滤波器算法。
9.如权利要求1至8中的任一项所述的方法，还包括下列步骤-对每个跟踪的细胞，从所生成的跟踪输出来计算父计数和子计数， -当父计数> 1时，生成将父细胞联系到子细胞的碰撞事件， -当子计数> 1时，生成将子细胞联系到父细胞的分裂事件，-通过以下方式检验生成的细胞碰撞事件和细胞分裂事件的正确性计算每个这种事件的自适应阈值并将所述阈值与事件参数进行比较， -更新所述跟踪输出。
10.一种用于样本中的动态细胞跟踪的系统，包括成像系统，布置成提供所述样本的连续时间推移图像；以及图像接收装置，布置成按照权利要求1至9所述的方法来跟踪样本中的细胞。
全文摘要
本发明提供一种样本中的动态细胞跟踪的方法，包括下列步骤生成样本的两个连续时间推移图像中的细胞之间的对应性量度；评估所述对应性量度，以便生成将两个图像中的单独细胞相联系的事件，事件从包括下列项的组中选取无变化、细胞去除、细胞迁移、细胞碰撞和细胞分裂；以及提供将两个图像中的单独细胞相联系的事件的跟踪输出。在本发明中，建立联系事件的步骤涉及通过以下方式来检验生成的细胞碰撞和细胞分裂事件的正确性计算每个这种事件的自适应阈值并将阈值与事件参数进行比较。还提供一种用于样本中的动态细胞跟踪的系统。
文档编号G06K9/00GK102428498SQ201080022340
公开日2012年4月25日 申请日期2010年5月17日 优先权日2009年5月19日
发明者B·C·马哈托 申请人:通用电气健康护理生物科学股份公司