细胞分选装置及方法

本专利文件涉及用于细胞分选技术的系统、装置和过程。

关于联邦政府赞助的研究或开发的声明

本发明是在美国国立卫生研究院(thenationalinstitutesofhealth)授予的da042636的政府支持下完成的。政府对发明拥有一定的权利。

相关申请的交叉引用

本专利文件要求2018年9月14日提交的题为“细胞分选装置及方法(cellsortingdeviceandmethod)”的美国临时专利申请第62/731,745号的优先权和权益。上述专利申请的全部内容通过引用并入作为本专利文件的公开内容的一部分。

背景

随着研究人员和临床医生对研究和纯化某些细胞(例如如干细胞、循环肿瘤细胞和罕见的细菌物种)越来越感兴趣，细胞分选(包括在单细胞水平上的细胞分选)已经成为流式细胞术领域中的重要特征。细胞分选可以通过各种技术来实现。常规的细胞分选技术纯粹基于荧光和/或散射强度，而不依赖于包含详细的亚细胞信息的高含量细胞图像。

概述

公开了用于实现图像引导的细胞分选的技术、系统和装置。

在一个方面，提供了细胞分选系统，其包含：成像装置，所述成像装置包括束扫描器，所述束扫描器沿第一方向扫描束以获得包括细胞的荧光信息或细胞图像信息的细胞图像数据，沿与所述第一方向成角度的第二方向将所述束施加至在通道中流动的所述细胞；与所述成像装置通信的数据处理和控制装置，所述数据处理和控制装置包括处理器，所述处理器被配置为处理由所述成像装置获得的所述细胞图像数据，以从经处理的细胞图像数据中确定与所述细胞相关的一种或多种特性，并且基于所确定的一种或多种特性与分选标准的比较来产生控制指令，其中所述控制指令是在所述细胞在所述通道中流动过程中产生的，并且指示基于从所述细胞图像数据确定的一种或多种细胞属性所确定的分选决定；和与所述成像装置以及所述数据处理和控制装置通信的细胞分选装置，所述细胞分选装置包括从所述细胞在其中流动的通道分支的两个或更多个输出路径，并且所述细胞分选装置被配置为基于所述控制指令将所述细胞导向至所述两个或更多个输出路径之一中。

在另一方面，提供了用于分选细胞的方法。所述方法包括通过扫描穿过所述细胞在其中沿第一方向行进的通道的束来获得细胞的时域信号数据，通过与所述第一方向成角度的第二方向扫描所述束；将所述时域信号数据转换为二维细胞图像；和处理所述二维细胞图像，以使用分选标准评估所述细胞的一种或多种特性，并产生控制指令，以基于从细胞在所述通道中流动过程中与所述细胞相对应的图像信号数据确定的一种或多种细胞属性，对所述细胞进行分选。

在另一方面，公开了细胞分选系统。所述细胞分选系统包括光源，所述光源被配置为将输入光导向沿第一方向在通道中流动的细胞；束扫描器，所述束扫描器与所述光源可操作地耦合，并且被设置为朝向所述细胞扫描束，以获得所述细胞的细胞图像数据，所述细胞的细胞图像数据包括荧光或光透射信息以及细胞图像信息，所述束的扫描被配置为以相对于所述第一方向成角度的第二方向进行；与所述束扫描器通信的数据处理和控制装置，所述数据处理和控制装置包括处理器，所述处理器被配置为处理由所述束扫描器获得的所述细胞图像数据，以检测与来自所获得的细胞图像数据的所述输入光的照射相关的图像特征，并且基于所检测到的图像特征与分选标准的比较来产生控制指令；和与所述数据处理和控制装置通信的细胞分选装置，所述细胞分选装置包括从所述细胞在其中流动的通道分支的两个或更多个输出路径，并且所述细胞分选装置被配置为基于所述控制指令将所述细胞导向至所述两个或更多个输出路径之一中。

在另一方面，提供了用于分选细胞的方法。所述方法包括通过沿相对于第一方向形成角度的第二方向朝向通道扫描束，来获得沿所述第一方向在通道中流动的细胞的图像数据，所获得的图像数据包括与所述细胞的荧光信息相对应的荧光信号或与所述细胞的细胞图像信息相对应的光学透射信号；通过检测与所获得的图像数据的单个参数或与所获得的图像数据的两个或更多个参数之间的相关性相对应的图像特征来处理所获得的图像数据，每个参数单独或共同地代表所述细胞的一种或多种特性；和将检测到的图像特征与分选标准进行比较，并基于比较产生指令来对所述细胞进行分选。

在另一方面，提供了用于分选细胞的方法。所述方法包括：通过沿第一方向扫描穿过所述细胞在其中沿第二方向行进的通道的束来生成包括细胞的细胞荧光信息的荧光信号或包括所述细胞的细胞图像信息的光学透射信号，所述第一方向和所述第二方向彼此不平行；检测与所述荧光信号或所述光学透射信号中的至少一个相关的细胞图像特征；将检测到的细胞图像特征与分选标准进行比较，以产生分选指令来对细胞进行分选；和基于所述分选指令，施加信号以将在所述通道中流动的所述细胞偏转到相对应的通道。

附图描述

图1显示了基于所公开技术的一些实施方案的图像引导细胞分选系统的示例性实施方案的图。

图2a至图2e显示了基于所公开技术的一些实施方案的图像引导细胞分选系统的示例性工作流程的示意性概观图。

图3显示了基于所公开技术的一些实施方案的包括在图像引导细胞分选系统中的数据处理和控制单元的示例性实施方案的框图。

图4显示了基于所公开技术的一些实施方案的图像引导细胞分选系统的光学配置的示意图的实例。

图5显示了基于所公开技术的一些实施方案的在细胞成像系统中采用的束扫描方向和细胞行进方向的实例。

图6显示了基于所公开技术的一些实施方案的包括在图像引导细胞分选系统中的微流控装置的实例。

图7显示了基于所公开技术的一些实施方案的包括在图像引导细胞分选系统中的第一空间遮罩的示例性设计。

图8显示了基于所公开技术的一些实施方案的包括在细胞成像系统中的第二空间遮罩的示例性设计。

图9a和图9b显示了在发现aod信号的波谷和波峰之前和之后的电压波形的实例。

图9c显示了标准化的细胞信号的实例。

图10a和图10b示出了施加到aod的调制电压与相对应的束斑之间的时间延迟。

图11a至图11c示出了在进行相移转换之前的aod信号、标准化细胞信号和相对应的2d图像的电压波形的实例。

图12a至图12d示出了基于所公开技术的一些实施方案的相移转换过程的实例。

图13a和图13b显示了基于所公开技术的一些实施方案的重建细胞图像的实例。

图14a至图14d显示了基于所公开技术的一些实施方案的门控策略的示例性流程。

图15显示了基于所公开技术的一些实施方案的实时处理模块的示意图的实例。

图16-图18显示了基于所公开技术的一些实施方案的用于分选细胞的示例性方法的流程图。

详述

公开了与图像引导细胞分选系统和方法有关的方法、装置和应用。通过使用受控光束获得细胞图像信息，所公开的技术提供了高通量的流式细胞仪和高信息含量的显微镜的。在一些实施方案中，通过快速束扫描器(如声光偏转器(aod))扫描穿过目标的光束来获取快速行进细胞的细胞图像信息，以实现更快的细胞分选操作。所公开技术的一些实施方案还提出重建细胞图像以减少和防止在获得细胞图像过程中发生的错误。根据所提出的技术，可以提供细胞分选技术，其可以更快地操作，同时提供更准确和可靠的结果。

常规的细胞分选技术纯粹基于荧光和/或散射强度，而不依赖于包含详细的亚细胞信息的高含量细胞图像。荧光激活细胞分选只能解决荧光和光学散射中的细胞间的变化。为了填补技术空白，提供了使用源自细胞图像的特征进行细胞分选的技术。利用微流控、光子学、计算显微术、实时图像处理和机器学习，所公开技术的一些实施方案可以提供具有流式细胞仪的高通量和显微术的高信息含量的图像引导的细胞分选和分类系统。根据所公开的技术，可以实现流式细胞仪的高通量和显微术的高信息含量。基于从细胞图像中提取的高含量空间信息，对目的细胞群体进行实时分选。所公开的技术为细胞提供了组合的成像和分选能力。流式细胞仪是具有9-10％增长的$6b行业。所公开的技术为该行业增加了独特的能力。随着行业从“仅检测”系统转向细胞分选能力，基于图像的细胞分选对于系统能力是大的飞跃，并且将开辟无数的应用机会。

所公开的技术提供了图像引导的细胞分选技术，其能够：(1)使用束扫描装置(如声光偏转器(aod)束扫描器)实时获取快速行进的细胞图像，(2)进行基于荧光信号和细胞图像特征的“门控”方法，(3)进行实时图像处理以产生目标的图像特征，并且将这些特征与图像相关的门控标准进行比较以确定是否分选在通道中流动的每个细胞。在一些实施方案中，图像引导的细胞分选器是基于2d图像的。其它实施方案也是可能的。与完全基于生物标志物的荧光信号和/或光散射强度的常规细胞分选器不同，本专利文件中提出的图像引导细胞分选器能够基于高含量细胞图像进行细胞的实时分类和分选。此类成像特征包括细胞大小、核大小、细胞粗糙度、蛋白质定位等。示例性的应用包括基于细胞器转运、细胞周期、吞噬颗粒的检测和计数、蛋白质共定位以及辐射诱导的dna断裂的计数等的细胞分离。在本专利文件中提出的图像引导细胞分选系统的设计可以支持超过1000个细胞/s的通量，这比任何基于显微术的细胞分离系统(如激光显微解剖系统)大几个数量级。

系统综述

图1显示了根据本技术的图像引导细胞分选系统100的示例性实施方案的图。系统100包括细胞成像系统120，与细胞成像系统120通信的数据处理和控制单元130，以及与数据处理和控制单元130通信的细胞分选单元140。系统100是用户可编程的，以基于用户定义的标准对每个颗粒进行分选，所述用户定义的标准可以与由数据处理和控制单元130实时分析的每个单个颗粒所展现的多种特性中的一种或多种相关。一些示例性用户定义的标准包括但不限于单个颗粒的或单个颗粒上的子特征的量和/或大小(例如，附着于活细胞的子颗粒，其包括被细胞吞噬或附着于细胞的颗粒)；单个颗粒的形态；和/或单个颗粒的大小。以这种方式，系统100能够通过特性(如活细胞的特性)评估和分选颗粒，包括通过细胞生理功能(例如，细胞摄取的颗粒或物质，或细胞吞噬的颗粒)、通过细胞损伤、通过蛋白质的定位或通过其它细胞特性进行分选。

图2a至图2e显示了基于所公开技术的实施方案的图像引导细胞分选系统的示例性工作流的示意性概观图。由图像引导细胞分选系统进行的操作包括：(1)如图2a中所示的，用激光束扫描每个行进的细胞以将细胞图像信息捕获到时间波形中，(2)如图2b中所示的，基于所捕获的细胞图像检测波形，(3)如图2c中所示的，重建细胞图像以生成重建的细胞图像，(4)如图2d中所示的，提取成像特征并生成门控标准，和(5)如图2e中所示的，实时图像引导分选。可以通过细胞成像系统120进行操作(1)和(2)，即捕获细胞图像和从所捕获的细胞图像检测波形。可以通过数据处理和控制单元130进行操作(3)和(4)，即重建细胞图像并提取细胞图像特征以及生成标准。可以通过细胞分选单元140进行操作(5)，即实时图像引导分选。当细胞流过微流控通道时，每个细胞图像被转换为由扫描激光激发束产生的荧光或散射/透射信号产生的时间波形。时间荧光或光学散射/透射波形由例如光电倍增管(pmt)或雪崩光检测器(apd)检测，以变成电子波形。然后将重建这些电子波形。提取重建的细胞图像的特征，并且用户可利用这些特征来允许用户定义或修改用于细胞分离的门控标准。实时计算通过查询区的每个细胞的成像特征，并且将对具有满足分选标准(即，在所定义的门控机制内)的特征的那些细胞进行分选。

图3显示了数据处理和控制单元130的示例性实施方案的框图。在各种实施方案中，数据处理和控制单元130被体现在一个或多个个人计算装置(例如，包括台式或膝上型计算机)、经由因特网(被称为“云”，包括云中的服务器和/或数据库)可访问的计算机系统或通信网络中的一个或多个计算装置，和/或一个或多个移动计算装置(如智能手机、平板电脑或包括智能手表或智能眼镜的可佩戴计算机装置)。数据处理和控制单元130包括处理数据的处理器331，以及与处理器331通信以存储和/或缓冲数据的存储器332。例如，处理器331可以包括中央处理单元(cpu)或微控制器单元(mcu)。在一些实施方案中，处理器331可以包括现场可编程门阵列(fpga)或图形处理单元(gpu)。例如，存储器332可以包括并存储处理器可执行的代码，当处理器可执行的代码被处理器331执行时，处理器可执行的代码配置数据处理和控制单元130以进行各种操作，例如接收信息、指令和/或数据，处理信息和数据(如来自细胞成像系统120的信息和数据)，并将处理后的信息/数据传送或提供给另一装置(如执行器)。

为了支持数据处理和控制单元130的各种功能，存储器332可以存储信息和数据，诸如指令、软件、值、图像和由处理器331处理或参考的其它数据。例如，可以使用各种类型的随机存取存储器(ram)装置、只读存储器(rom)装置、闪存装置和其它合适的存储介质来实施方案存储器132的存储功能。在一些实施方案中，数据处理和控制单元130包括输入/输出(i/o)细胞333以将处理器331和/或存储器332与其它模块、单元或装置接合。在一些实施方案中，诸如对于移动计算装置，数据处理和控制单元130包括无线通信单元(例如如发射机(tx)或发射机/接收机(tx/rx)单元)。例如，在此类实施方案中，i/o单元333可以将处理器331和存储器332与无线通信单元接合，例如，以利用与典型数据通信标准兼容的各种类型的无线接口，其可以被用于数据处理和控制单元130与其它装置的通信中，例如如在云中的一个或多个计算机与用户装置之间通信中。数据通信标准包括但不限于蓝牙、低功耗蓝牙(ble)、zigbee、ieee802.11、无线局域网(wlan)、无线个域网(wpan)、无线广域网(wwan)、wimax、ieee802.16(微波接入全球互操作性(wimax))、3g/4g/lte蜂窝通信方法和并行接口。

在一些实施方案中，数据处理和控制单元130可以使用经由i/o单元333的有线连接与其它装置接合。数据处理和控制单元130还可以与其它外部接口、数据存储源、和/或视频或音频显示装置等接合，以检索和透过可以由处理器331处理、存储在存储器332中或展示在显示装置或外部装置的输出单元上的数据和信息。尽管图1显示了单个数据处理和控制单元130，但是所公开的技术不限于此。因此，在一些实施方案中，图像引导细胞分选系统100可以包括多个数据处理单元和控制单元，每个数据处理单元和控制单元进行各自的操作，例如检测波形、重建细胞图像以及提取细胞图像特征和生成标准。如果图像引导细胞分选系统100包括多个数据处理单元和控制单元，则这些多个单元可以位于一个地点或分布在多个地点并通过通信网络互连。

由图像引导细胞分选系统100进行的操作(1)至操作(5)将在下面的各个部分中进一步详细描述。

光学配置(细胞成像操作)

图4显示了基于所公开技术的一些实施方案的包括在图像引导细胞分选系统中的细胞成像系统的示例性光学配置。细胞成像系统的光学配置包括aod410和激光光源412，它们被配置为向在通道中流动的颗粒(例如细胞)输入光或探测光。aod410可以与激光光源412耦合以偏转激光束。与aod410耦合的激光光源412可以在聚焦之后产生具有小(<1μm直径)光斑尺寸的扫描束，以在微流控装置的照射区提供输入光或探测光，并且在照射区中获得被照射的颗粒的图像。因此，激光光源412和aod410一起运作以生成荧光信号和/或光学透射信号。在一些实施方式中，激光光源412和aod410运作以生成荧光信号，或光学透射信号，或荧光信号和光学透射信号两者。当束扫描颗粒时，可以检测荧光信号，其包括细胞荧光信息。此外，当束撞击细胞时，一部分光被散射，其余部分透射通过，并且透射的光可以形成包括透射图像信息的光学透射信号。激发荧光或透射通过的扫描激光束光斑可以以电流或电压的形式在pmt474的输出处产生时域信号。在一些实施方案中，激光光源412可以是488nm波长的激光。488nm波长的激光照射可以被用于经由荧光团的激发生成透射图像和荧光图像。通过样品左侧的物镜将激光照射聚焦到衍射受限的光斑。

图5显示了基于所公开技术的一些实施方案的在包括在图像引导细胞分选系统中的细胞成像系统中采用的束扫描方向和细胞行进方向的实例。细胞的流动方向是沿着z轴，并且束扫描在y轴上进行。如图5中所示的，激光光斑在由aod410驱动的y方向上被扫描，同时细胞流动通过通道。细胞的流动提供慢轴(z轴)信息，并且束扫描提供快轴(例如，y轴)信息，这使得能够在y-z平面上产生二维细胞图像，其中y轴是束扫描方向，而z轴是细胞流动方向。由于aod410仅进行一维扫描，因此可以以非常高的速度创建图像。尽管图4显示了aod410作为束扫描元件，但是可以使用其它高速激光扫描器代替aod410来扫描焦点。

在一些实施方案中，除了用于产生细胞图像的激光束之外，图像引导细胞分选系统还具有led光源430。通过例如由led光源430提供的455nm波长的led同时照射每个流动的细胞。led光源430可以被配置为测量每个单独细胞的行进速度。如将在后面解释的，知道细胞速度可以有益于重建细胞图像而不会失真。因此，455nmled可以被用于测量每个细胞的行进速度，并且此类信息(即每个细胞的行进速度)将被用于细胞图像构建。

在一些实施方案中，可以采用微流控芯片420，其配置有片上压电pzt执行器640以偏转微流控通道中的选定细胞。图6显示了微流控芯片的示例性结构。参照图6，微流控芯片410被构造成包括具有形成微流控样品通道611的通道的基底613，以及会聚在样品通道611上的微流控鞘通道612。在一些实施方案中，例如，样品通道被配置为携带悬浮在沿流动方向流动的流体中的颗粒(例如细胞)，并且鞘通道612被配置为提供流体的鞘流，以在流动通过微流控芯片420的照射区615之前水动力学地聚焦流体中的悬浮颗粒。在一些实施方案中，例如，基底613可以在结合到基础基底(例如，玻璃基础基底或其它材料的基础基底)的块状材料(例如如聚二甲基硅氧烷(pdms))中形成。

在如图4中所示的该实例中，图像引导细胞分选系统还包括以下中的至少一个：物镜440和442(例如，显微镜或其它光学成像装置的物镜)、光导元件、第一和第二空间遮罩450和452、带通滤波器462和464、高速光检测器472或光电倍增管(pmt)474。在一些实施方案中，物镜440和442可以被构造成既用于激光照射又用于成像，以获得跨过细胞厚度的高聚焦深度。在一些实施方案中，图像引导细胞分选系统的光学配置包括用于各种目的的一个或多个光导元件(例如二向色镜)。例如，设置有激光光源412和/或led光源430的二向色镜482被配置为将输入光导向至微流控芯片420的照射区域。二向色镜484和486被用于将所期望的发射带路由至高速光检测器472和pmt474。视场由aod410的扫描范围和信号记录时间周期确定。在光学设置中，视场可以选择为例如20μm×20μm，其覆盖大多数生物细胞的尺寸。分辨率由物镜的衍射极限确定。在该设置中，分辨率为1μm。

在图4的实例中，来自led光源430的led光穿过通道中的样品和物镜442，然后被第一二向色镜484反射，并在到达高速光检测器(pd)472之前透射通过第一空间遮罩450以产生光电流。图7显示了第一空间遮罩的示例性设计。第一空间遮罩450被构造成包括沿z方向(即细胞流动方向)分离的两个狭缝，并且位于图像平面处。由于光散射或吸收，当细胞行进通过光路时，通过狭缝传输的led光在光强度上产生下降。由于两个狭缝的分离和光学系统的放大系数是已知的，因此由这两个狭缝产生的两个光电流下降之间的时间间隔可以被用于发现细胞的行进速度。在如图7中所示的实例中，在第一空间遮罩450上放置的两个平行狭缝各为10μm宽和1mm长。这两个狭缝之间的中心到中心距离为200μm。

在激光束的图像平面位置处，还提供了第二空间遮罩452。图8显示了基于所公开的技术的一些实施方案的包括在细胞成像系统中的第二空间遮罩的示例性设计。在一些实施方案中，第二空间遮罩452可以具有500μm×500μm的光学窗口。用于扫描激光器的图像平面处的实际视场被设计为200μm×200μm，并且因此第二空间遮罩452可以被视为光学窗口。第二空间遮罩452被配置成阻挡杂散光以增强整个系统的灵敏性。

pmt输出信号由数据处理和控制单元130(例如，fpga)获取和处理，以做出分选决定。包括在细胞成像系统中的pmt的数量可以变化。例如，尽管图4仅显示了一个pmt，但是可以向成像系统添加更多的pmt，并且如果需要，可以添加更多的激发激光束以产生细胞图像。在一些实施方案中，压电pzt执行器被致动以基于分选决定对细胞进行分选。

图像构建

图像引导细胞分选系统100的数据处理和控制系统130被配置为例如经由pmt与细胞成像系统120通信，以快速地处理已成像的颗粒并基于实时成像的每个颗粒的经处理的图像产生分选控制。在数据处理和控制系统130的一些实施方案中，fpga处理单元被配置为快速处理由细胞成像系统接收的图像信号数据。

图像构建过程包含三个步骤：(1)将pmt的时间波形转换为未校正的2d细胞图像，(2)校正由施加到aod的调制电压与相对应的激光束光斑之间的时间延迟引起的效应，以下其被称为“相移”的校正，和(3)校正由于细胞行进速度的影响引起的图像失真，其被称为“图像大小调整”，因为在细胞速度测量中的误差可以导致细胞图像的收缩或伸展。在下文中，将更详细地讨论每个步骤。

(1)将pmt输出的时间波形转换为初始2d细胞图像。

数据处理和控制系统130接收作为包括细胞图像信息的时间波形的pmt输出信号，并将该时间波形转换为初始2d细胞图像。为了将时间波形转换为初始2d细胞图像，数据处理和控制系统1300进行包括pmt输出信号的标准化的数据处理。图9a显示了将aod(‘aod信号’)模块化的电压波形的实例。图9b显示了用于发现aod信号的波谷和波峰的示例性过程。如图9a中所示的，首先发现调制aod的电压波形的波谷和波峰，然后将波形图标准化以将波峰设置为1并且将波谷设置为0。图9c显示了标准化细胞信号的实例。调制aod的波形随着时间从波谷线性上升至波峰，并且从波峰迅速下降至波谷。此类波形随着时间的推移继续，以形成周期性的锯齿波形。在每个锯齿周期内，aod沿着y轴以均匀的速度从一个极端位置到另一个极端位置扫描激光光斑，然后激光光斑快速返回到开始位置以用于下一次扫描。在当前的设计中，考虑到计算的简单性和声光晶体的特性，选择线性扫描。也可以使用除锯齿波形之外的扫描波形。每当aod在y方向扫描激光激发束光斑时，由pmt检测到的所得荧光或透射信号沿y方向形成细胞图像的1d切片。由于细胞在激光扫描过程中也在z方向上行进，因此激光y扫描实际上以相对于细胞的帧的小角度产生细胞图像的线扫描。小角度可以被定义如下：

由于与细胞行进速度相比快得多的激光束扫描速度(例如，v扫描为500cm/s和v扫描为20cm/s)，此类效果相当小，并且如果需要，可以被忽略或容易地校正。忽略实验室框架的y轴与细胞框架之间的小角度，可以考虑，每当激光束沿y轴进行线扫描时，在y轴上的细胞图像特征被记录在新的z位置处。在数学上，通过光学照射区域行进的每个细胞将产生一系列的图像数据，其被记录如下：

上述数据集可以被安排成代表y-z平面中的初始2d细胞图像的m×n矩阵。

(2)初始2d细胞图像的相移校正

数据处理和控制系统130对初始2d细胞图像进行相移校正。如上简单所述的，相移校正用于校正由施加到aod的调制电压与相对应的激光束光斑之间的时间延迟引起的影响。在dc偏置条件下，激光束光斑需要将所施加的电压与aod相匹配，使得束斑在y轴上的一个极端位置处处于最小偏置电压，而相反的极端位置处处于最大偏置电压。然而，当锯齿状电压波形被施加到aod时，由于aod的电容和寄生电容，在实际的激光束光斑位置与电压值之间可能存在时间延迟。图10a和图10b显示了在施加到aod的调制电压与相对应的激光束光斑之间出现的时间延迟的图示。图10a显示了调制aod的电压波形，并且图10b显示了实际的激光束位置。如图10a和图10b中所示的，存在被称为“相移”的时间延迟δt。图11a-图11c示出了在进行相移转换之前的aod信号、标准化细胞信号和相对应2d图像的电压波形的实例。如图11c中所示的细胞图像对应于基于每个上升沿和相对应的pmt检测信号的图像的一个切片。图像被拼接以重建2d细胞图像。

此类相移将产生类似于图11c中的2d细胞图像的2d细胞图像，其中细胞的下部看起来在细胞的上部的顶上，部分是由于前面所讨论的相移，以及部分是由于细胞到达时间(即，细胞进入视场的时间)和激光扫描的定时之间的异步。进行下面将讨论的相移校正来校正这两个影响(即，由于aod和细胞到达时间与激光扫描的定时之间的异步而引起的相移)。

为了校正上述影响，拍摄了透射信号的图像，其显示了y-z平面中的细胞的轮廓。图12a至图12d示出了基于所公开技术的一些实施方案的相移转换的过程。图12a显示了相移校正之前的初始2d图像，图12b显示了在相移校正之后的校正的2d图像，图12c显示了在相移校正之前沿x轴的信号整合，和12d显示了在相移校正之后沿x轴的信号整合。通过选择一个或几个z位置并沿y方向(即激光扫描方向)绘制透射光强度，获得了类似于图12c的强度曲线，其中强度谱看起来不显示连续的谱，而是被分成由具有最小强度的部分分开的两个区域。通过移动最左边的区域以连接最右边的区域来形成连续的强度谱并将整个强度谱定中心，以获得图12d中显示的“相移校正图像”。图12d中的重建图像12d由像素尺寸为0.5μm的40×40个像素组成。

注意，尽管仅对所透射的图像校正相移，但是对于相移的相同校正也可适用于荧光信号和其它散射信号，因为它们全部由相同的扫描激光束产生并且彼此同步。

(3)调整图像大小以校正图像失真

数据处理和控制系统130进行图像大小调整操作以校正由于细胞行进速度的影响而引起的图像失真。图像大小调整操作校正细胞速度测量中的误差，这导致细胞图像的收缩或伸展。即使在流动限制的情况下，细胞也将不会在流动通道的横截面中处于相同的位置。流动通道中的实际细胞位置取决于细胞大小、细胞刚度和流动通道的详细设计。对于具有2d而不是3d流动限制的微流控通道中的细胞，距通道的顶部(或底部)的细胞距离可以明显变化。在其中细胞速度由通道内的细胞位置决定的层流中，上述影响可以在细胞之间产生明显的速度变化。细胞图像构建的过程将临时信号(由pmt检测)转换为空间信号。在进行此类转换时，细胞行进速度决定了特定时间段如何在空间上被转换成特定长度，因此细胞速度的变化可以影响长度的标度，从而使细胞图像失真。

在一些实施方案中，认为细胞在流动(z)方向上以一定速度v移动。对于作为锯齿波形的时间周期的时间间隔δt，激光光斑扫描通过y轴并产生信号序列：对于在δt的下一周期中发生的下一次扫描，产生另一系列信号：其中zi+1＝zi+δz＝zi+vδt。

假设aod在400khz下操作并且每次扫描花费2.5μs(即δt＝2.5μs)并且细胞以20cm/s的速度行进，则计算出δz＝vδt＝0.5μm。然后，进行40次扫描的时间量将覆盖一定距离δzx40＝20μm，该距离限定了沿着流动方向(z轴)的视场。然而，如果另一个细胞以25cm/s的速度行进通过光学查询区域，则δz＝vδt变为0.625μm。然后，在进行40次扫描的相同时间量上，该距离沿着z方向变为25μm(0.625μmx40＝25μm)。有效地，沿着z轴的视场随着细胞行进速度而增加。如果单个细胞的行进速度是未知的，并且采用平均细胞速度来构建细胞图像，则沿z轴行进得比平均速度快的细胞将看起来比它们的实际尺寸小，并且以低于平均速度行进的细胞将看起来比它们的实际尺寸大。因此，调整大小的过程对于正确地构建细胞图像而不失真是必要的。

根据上述讨论，显然需要准确地知道细胞的行进速度v，以便在y-z平面中产生正确的细胞图像。如图7中所示的，通过第一空间遮罩上的两个狭缝的透射的led光产生允许我们精确地测量每个细胞的速度的信号，并且速度的知识使得能够在z方向上放置适当的长度标度以构建细胞图像而不失真。

重建的细胞图像的一些实例显示在图13a和图13b中。图13a显示了pegfp-gr质粒易位的hek-297t细胞和未易位的hek-297t细胞的透射图像和荧光图像。第一行显示了易位的细胞，第二行显示了未易位的细胞。第一列显示了荧光图像，第二列显示了透射图像和第三列显示了重叠有透射图像的荧光图像，其各自的轮廓由计算机生成的红色和白色曲线限定，其中从左到右为第一、第二、第三。透射图像产生细胞轮廓，荧光图像显示gr-gfp蛋白在细胞内的定位。对于未易位的细胞，gr-gfp蛋白分散在细胞质中，但是对于易位的细胞，gr-gfp蛋白积聚到细胞核中。图13b显示了具有由辐射损伤引起的dna双链断裂(dsb)的gfp转染的人成胶质细胞瘤细胞的荧光图像。第一列显示了gfp图像，第二列显示了通过辐射断裂的双链dna片段，第三列显示了重叠图像，其中从左到右为第一、第二、第三。绿色荧光图像描绘整个细胞的区域，红色荧光图像表示被辐射破坏的双链dna片段。

特征提取

尽管细胞图像通过可视化提供直观和丰富的信息，但是在每次实验中产生极大量的图像(通常超过一百万个细胞图像)的情况下，可以通过从这些图像中提取关键特征来管理和利用该信息。通常，生物学和临床上相关的图像特征可以被分成两组：来自每个单独参数的特征和来自两个或更多个参数之间的相关性的特征。来自每个参数的通常使用的特征包括面积、周长、形状、长轴和短轴长度、圆度、同心度、纵横比(长轴长度/短轴长度)、累积强度、平均强度(强度除以面积)、强度随空间的标准变化、粒度、纹理熵、纹理变化、光斑计数等。对于两个或更多个参数之间的关系，它们包括重叠面积、强度分布中的相关性、强度变化、面积等。在一些实施方案中，图像特征可以包括以下中的至少一个：多个被照射的颗粒、被照射的颗粒的大小、输入光的照射的空间分布、输入光照射的密度、暗度或亮度。为了在流动环境中进行图像引导的细胞分选，需要(a)需要实时地计算通过查询区的每个细胞的图像特征，通常在小于1ms的时间内，以及(b)需要基于一些图像特征适当地定义“门控”作为细胞分选的标准。在下文中，讨论了发现每个细胞的图像特征的“门控”和实时计算的方法。

门控策略

通常，可以采用两种方法来定义门控，一种基于机器学习或深度学习，另一种基于用户界面(ui)和用户体验(ux)交互的方法。已经有许多已建立的机器学习和深度学习算法，它们可以适合细胞分选应用，因为这里的图像目标是不同的，相对良好定义的，并且从背景中突出出来。对于监督学习，训练样品流动通过系统并记录和处理成像信号。由于在该阶段不进行分选，所以可以离线处理图像信号。信号处理将记录的信号转换为细胞图像，并经由计算算法提取成像特征。对于图像引导的细胞分选，用户可以基于细胞的图像特征来定义门控标准。来自每个细胞的信号被实时地获取和处理，以允许基于细胞图像特征与所定义的标准(门控)的比较结果进行分选。这里，从用户的角度讨论作为示例性实施方案的涉及机器/用户交互的方法。操作程序概述于图14a-图14d中，显示了门控策略的流程图。

如图14a中所示的，用户可以首先基于信号强度选择目的群体。在一些实施方案中，基于信号强度选择目的群体的方法可以类似于常规流式细胞仪的操作，并且对于所有流式细胞仪用户都是熟悉的。其次，如图14b中所示的，显示所选群体内的每个图像特征的直方图。用户可以通过图像特征的这些直方图来决定哪些特征与预期的应用最相关。如图14c中所示的，从这些直方图中，用户可以容易地和直观地知道原始选择的细胞群是否可以进一步被划分成以这些图像特征(例如，细胞或细胞器的荧光强度、形状或大小的空间分布)为特征的亚群。然后，用户可以根据特定的一组图像特征来细化门控以选择一个或多个细胞亚群。结果，细胞分选不仅通过常规的荧光或散射信号，而且通过图像特征来引导。

在一些实施方案中，用户可以选择基于图像特征来定义门控(细胞分选标准)。图像特征可以包括细胞体或核的形状、大小，荧光图案，荧光颜色分布等。用户可以绘制他们希望分离的细胞，并且系统将相应地进行。利用这种独特的能力，用户(如研究者)可以通过将某些蛋白质定位在细胞质、核或细胞膜结构域和亚结构域中来追踪许多重要的生物学过程。因为每个细胞群在基因组(例如突变、表观遗传学)或环境(例如不对称分裂、形态发生梯度)水平上具有一定程度的异质性，所以根据它们独特的空间特征对单细胞进行鉴定和提取被认为显著有助于免疫学、肿瘤异质性、干细胞分化和神经元分析的领域。在一些实施方案中，用户可以进行门控操作，而不用从常规的光学荧光或散射信号开始。这可以是用于淋巴细胞或ctc的无标记分选的一种任选的操作模式，其中与传统的前向和侧向散射信号相比，细胞和核的形状/大小显示出独特的特征和丰富的信息。

为了确保图像引导的分选标准满足用户需要或与用户关于其样品的认识相一致，可以显示门控区域内和门控区域外的重建的细胞图像，允许用户检查他们选择分选或排除的细胞的实际图像。用户可以重复图14c和图14d中所示的步骤，以用于微调分选标准。

实时处理模块

从流动中分选细胞需要计算每个细胞的图像特征、将这些参数与分拣标准进行比较、定义门控以及激活装置以从流中分离所选择的细胞的能力。这些分选过程需要快速完成以实现高通量，对于流式细胞仪来说，这通常是1000个细胞/sec。因此，需要用于计算细胞图像特征的实时处理。为了加快处理速度，一个优选实施方案是fpga-gpu混合设计。在图15中示出了实时处理系统的图，其显示了实时处理模块的示意图。获取并数字化pmt信号和调制aod的电压信号，并通过模拟输入(ai)模块获取来自光检测器的led信号。首先，fpga根据所获取的信号重建细胞图像。然后，将重建的细胞图像传送到gpu，以对特征提取进行成像。在计算图像特征之后，将这些特征传送回fpga。基于所提取的成像特征与所定义的分选标准的比较来做出分选决定。

在一些实施方案中，分选标准可以基于来自用户的输入而改变。例如，实时处理模块可以耦合到允许用户提供用于分选标准的输入的装置。用户可以根据需要调整当前的分选标准或添加新的标准。当使用例如生物标志物的初始分析显示关于细胞图像中的一些特性的一些差异时，用户装置可以提供输入以调整细胞分选标准以去除差异。当细胞通过形状或大小显示具有不同特性的强生物标志物时，用户装置可以提供输入以增加新的分选标准来更容易地分离包括不同特性的特定细胞组。以此方式，实时处理模块可以进行可以反映来自用户的反馈的交互式自存储操作。

在一些实施方案中，为了对细胞进行分选，向片上压电pzt执行器施加电压脉冲，其瞬时弯曲双压电晶片pzt盘，以使细胞偏离中心流进入分选通道。集成的压电执行器由于其低成本、容易操作和轻巧性而提供了分选细胞的理想设计，这产生了高细胞存活力，但是也可以使用其它机制，其包括电泳、双向电泳、静电、机械、声学、光学镊子等来分选细胞。

尽管由fpga和gpu组成的混合信号处理模块对于高通量和多参数系统是期望的，但是基于成本和性能考虑，也可以采用仅使用fpga、或者pc的fpga和cpu的其它设计。

图16显示了基于所公开技术的一些实施方案的用于分选细胞的示例性方法的流程图。方法1600包括，在步骤1610，通过扫描穿过细胞在其中沿第一方向行进的通道的束来获得细胞的时域信号数据，通过与第一方向成角度的第二方向扫描束。方法1600还包括，在步骤1620，将时域信号数据转换为二维细胞图像。方法1600还包括，在步骤1630，处理二维细胞图像，以使用分选标准评估细胞的一种或多种特性，并产生控制指令，以基于从细胞在通道中流动过程中与细胞相对应的图像信号数据确定的一种或多种细胞属性，对细胞进行分选。

图17显示了基于所公开技术的一些实施方案的用于分选细胞的示例性方法的流程图。方法1700包括，在步骤1710，通过沿相对于第一方向形成角度的第二方向朝向通道扫描束，来获得沿第一方向在通道中流动的细胞的图像数据，所获得的图像数据包括与细胞的荧光信息相对应的荧光信号或与细胞的细胞图像信息相对应的光学透射信号。方法1700还包括，在步骤1720，通过检测与所获得的图像数据的单个参数或与所获得的图像数据的两个或更多个参数之间的相关性相对应的图像特征来处理所获得的图像数据，每个参数单独或共同地代表细胞的一种或多种特性。方法1700还包括，在步骤1730，将检测到的图像特征与分选标准进行比较，并基于比较产生指令来对细胞进行分选。

图18显示了基于所公开技术的一些实施方案的用于分选细胞的示例性方法的流程图。方法1800包括，在步骤1810，通过沿第一方向扫描穿过细胞在其中沿第二方向行进的通道的束来生成包括细胞的细胞荧光信息的荧光信号或包括所述细胞的细胞图像信息的光学透射信号，第一方向和第二方向彼此不平行。方法1800还包括，在步骤1820，检测与荧光信号或光学透射信号中的至少一个相关的细胞图像特征。方法1800还包括，在步骤1830，将检测到的细胞图像特征与分选标准进行比较，以产生分选指令来对细胞进行分选。方法1800还包括，在步骤1840，基于分选指令，施加信号以将在通道中流动的细胞偏转到相对应的通道。

虽然本专利文件包含许多细节，但这些不应被解释为对任何发明的范围或所要求保护的范围的限制，而应被解释为可能特异性针对特定发明的特定实施方案的特征的描述＞＞在本专利文件中在单独实施方案的上下文中所描述的某些特征也可以在单个实施方案中组合实施。相反，在单个实施方案的上下文中所描述的各种特征也可以在多个实施方案中单独地或以任何合适的子组合来实施。此外，尽管上面可以将特征描述为在某些组合中起作用，并且甚至最初如此要求保护，但是在一些情况下，可以从组合中去除要求保护的组合中的一个或多个特征，并且要求保护的组合可以针对子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描述了操作，但这不应被理解为要求以所示的特定顺序或以相继顺序进行此类操作，或者要求进行所有示出的操作以获得期望的结果。此外，在本专利文件中所描述的实施方案中的各种系统组件的分离不应被理解为在所有实施方案中的需要此类分离。

仅描述了几个实施方案和实例，并且可以基于在本专利文件中所描述和示出的内容来进行其他实施方案、增强和变化。