微流体装置中的微物体的自动检测和重新定位的制作方法

文档序号:18744772发布日期:2019-09-21 02:12阅读:348来源:国知局
微流体装置中的微物体的自动检测和重新定位的制作方法

本申请基于35U.S.C.§119(e)要求2016年12月1日提交的美国临时申请62/429,066、以及2017年11月1日提交的美国临时申请62/579,897的权益,各自的公开内容通过引用并入本文。

技术领域

本公开总体上涉及用于检测图像中的微物体的自动化方法。特别地,所述方法可以包括用于自动地检测位于微流体装置内的诸如细胞或珠(beads)的图像微物体的步骤。



背景技术:

在非均匀或复杂背景上的诸如生物细胞或珠的微物体的高效且稳健的检测对于微流体环境中的微物体的自动操纵是至关重要的。由于某些微物体的半透明外观,具有与这种微物体相似尺寸的特征的非均匀背景严重地影响了检测。类似地,通过OET技术的特定特征,诸如重新定位细胞的自动操纵是复杂的。本发明的一些实施方式涉及微物体的鲁棒检测和微流体环境中的重新定位。



技术实现要素:

在一个方面,提供了用于自动检测图像中的微物体的方法。所述方法可以包括:针对对应的多个微物体特性,从所述图像生成多个像素掩模;以及从所述多个像素掩模中的至少一个像素掩模识别所述图像中的微物体。所述方法可还包含获得所述图像中的所识别微物体的计数。生成多个像素掩模可以包括使用诸如卷积神经网络的机器学习算法来处理来自图像的像素数据。每个像素掩模包括一组像素注释,并且该一组像素注释中的每个像素注释表示图像中的对应像素表示对应的微物体特性的概率。

在另一方面,提供了一种机器可读存储设备。存储装置可存储非暂时性机器可读指令,并且指令的执行可以使计算设备:在存储器中存储能够包括一个或多个微物体的图像;在第一模块中针对对应的多个微物体特性从所述图像生成多个像素掩模;以及在第二模块中从所述多个像素掩模中的至少一个像素掩模获得微物体计数。可根据本文中公开的方法中的任一者执行产生及获得的步骤。第一模块和第二模块可以彼此相同(即,存在单个模块),或者它们可以是单独的、不同的模块。

在另一方面,提供了在包括多个隔离坞的微流体装置中对微物体重新定位的方法。所述方法可以包括:识别设置在所述微流体装置内的一组微物体;计算一个或多个轨迹,其中每个轨迹是将所述一组微物体中的一个微物体与所述多个隔离坞中的一个隔离坞连接的路径;针对所述一组微物体中的一个或多个微物体,选择所述一个或多个轨迹中的轨迹;以及通过沿着其选定轨迹移动所述微物体而重新定位具有选定轨迹的所述一或多个微物体中的至少一个微物体。识别设置在微流体装置中的一组微物体的步骤可以通过本文公开的任何方法来执行。

在又一方面,提供了在微流体装置中对微物体重新定位的方法。所述方法可以包括:识别设置在所述微流体装置的指定空间区域内的一组微物体;计算将所述指定的空间区域划分成子区域的一组顶点,每个子区域包含所述一组微物体中的一个或多个微物体;基于所计算的一组顶点为所述一组微物体中的至少一个微物体生成第一光笼;以及相对于所述微流体装置的所述指定空间区域移动所述第一光笼,以对所述至少一个微物体重新定位。识别设置在微流体装置中的一组微物体的步骤可以通过本文公开的任何方法来执行。

从下面的详细描述以及所附权利要求和附图中,其他的方面将会变得明显。

附图说明

图1A示出了根据本公开的一些实施方式的与微流体装置和相关联的控制设备一起使用的系统的示例。

图1B和图1C示出了根据本公开的一些实施方式的微流体装置。

图2A和图2B示出了根据本公开的一些实施方式的隔离坞。

图2C示出了根据本公开的一些实施方式的详细的隔离坞。

图2D~图2F示出了根据本公开的一些其他实施方式的隔离坞。

图2G示出了根据本公开的实施方式的微流体装置。

图2H示出了根据本公开的实施方式的微流体装置的包衣表面。

图3A示出了根据本公开的一些实施方式的与微流体装置和相关联的控制设备一起使用的系统的具体示例。

图3B示出了根据本公开的一些实施方式的成像设备。

根据本发明的一个实施方式,图4A、图4B和图4C并行地描绘了微物体的围栏。

图5示出了根据各种实施方式的计算机系统的框图。

图6A~图6F示出了根据本发明的具体实施方式的可用于分离微物体的改进的光笼的生成。

图7示出了根据各种实施方式的卷积神经网络的示意图。

图8A~图8C说明根据各种实施方式的残差网络、下采样块和上采样块的示意图。

图9A~图9D示出了根据各种实施方式的卷积神经网络的更详细示意图的部分。

图10示出了根据各种实施方式的用于自动检测图像中的微物体的方法的流程图。

图11示出了根据各种实施方式的用于自动检测图像中的微物体的系统。

具体实施方式

本说明书描述了本公开的示例性实施方式和应用。然而,本公开不限于这些示例性实施方式和应用,也不限于示例性实施方式和应用在本文中操作或被描述的方式。此外,附图可以示出简化或局部视图,并且附图中的要素的尺寸可能被夸大或者不成比例。另外,由于本文使用术语“在......上”、“附接到”、“连接到”、“耦合到”或类似的词,一个要素(例如,材料、层、衬底等)可以“在另一要素上”、“附接到另一要素”、“连接到另一要素”或“耦合到另一要素”,而不论该一个要素是直接在该另一要素上、附接到该另一要素、连接到该另一要素或耦合到该另一要素,还是在该一个要素和该另一元素之间有一个或多个间隔要素。另外,除非上下文另有规定,否则方向(例如,在...上、在...下、顶部、底部、侧面、上、下、正下、正上、上方、下方、水平、垂直、“x”、“y”、“z”等),如果提供的话,仅通过示例的方式并且为了便于说明和讨论而不是以限制的方式提供。在提及要素列表(例如,要素a、b、c)的情况下,这样的提及旨在包括所列要素本身中的任何一个、少于所有列出的要素的任何组合和/或所有列出的要素的组合。说明书中的章节划分仅为了便于审查,并不限制所描述要素的任何组合。

在微流体特征的尺寸被描述为具有宽度或面积的情况下,尺寸通常是相对于x轴和/或y轴尺寸来描述的,两者都位于平行于微流体装置的衬底和/或盖的平面内。微流体特征的高度可相对于z轴方向来描述,z轴方向垂直于平行于微流体装置的衬底和/或盖的平面。在一些情况下,微流体特征、诸如通道或过道的横截面积可参考x轴/z轴,y轴/z轴或x轴/y轴面积。

如本文所使用的,“基本上”意味着足以用于预期目的的装置。因此术语“基本上”允许由绝对或完美状态、尺寸、测量、结果等的微小、不明显的变化,诸如本领域普通技术人员预期的但不明显地影响总体性能。当与数值或者可以表示为数值的参数或特性相关地使用时,“基本上”表示在百分之十内。

术语“多个”意味着不止一个。

如本文所使用的,术语“多个”可以是2、3、4、5、6、7、8、9、10或更多。

如本文所使用的:μm是指微米,μm3是指立方微米,pL是指皮升,nL是指纳升,而μL(或uL)是指微升。

如本文所使用的,术语“置于”在其含义内包括“位于”

如本文所使用的,“微流体装置”或“微流体设备”是包括被配置为保持流体的一个或多个离散微流体管路的装置,每个微流体管路包括流体上互连的管路元件,包括但不限于一个或多个区域、一个或多个流动路径、一个或多个通道、一个或多个腔室和/或坞,以及被配置为允许流体(并且可选地,悬浮在流体中的微物体)流入和/或流出微流体装置的至少一个端口。通常微流体装置的微流体管路将包括流动区域,该流动区域可以包括微流体通道和至少一个腔室,并且将容纳小于约1mL的体积的流体,例如,小于约750、500、250、200、150、100、75、50、25、20、15、10、9、8、7、6、5、4、3或2μL。在某些实施方式中,微流体管路保持约1~2、1~3、1~4、1~5、2~5、2~8、2~10、2~12、2~15、2~20、5~50、10~50、10~75、10~100、20~100、20~150、20~200,50~200,50~250或50~300μL。微流体管路可以被配置为具有与微流体装置中的第一端口(例如,入口)流体地连接的第一端和与微流体装置中的第二端口(例如,出口)流体地连接的第二端。

如本文所使用的,“纳米流体装置”或“纳米流体设备”是具有微流体管路的一种类型的微流体装置,该微流体管路包含至少一个管路元件,该至少一个管路元件被配置为保持小于约1μL的体积的流体,例如,小于约750、500、250、200、150、100、75、50、25、20、15、10、9、8、7、6、5、4、3、2、1nL或更小。纳米流体装置可以包括多个管路元件(例如,至少2、3、4、5、6、7、8、9、10、15、20、25、50、75、100、150、200、250、300、400、500、600、700、800、900、1000、1200、2000、2500、3000、3500、4000、4500、5000、6000、7000、8000、9000、10,000或更多)。在某些实施方式中,至少一个管路元件中的一个或多个(例如,全部)被配置为容纳约100pL至1nL、100pL至2nL、100pL至5nL、250pL至2nL、250pL至5nL、250pL至10nL、500pL至10nL、500pL至10nL、750pL至10nL、750pL至20nL、750pL至20nL、1至20nL、1至25nL或1至50nL的的体积的流体。在其他实施方式中,所述至少一个管路元件中的一个或多个(例如,全部)被配置为保持约20nL至200nL、100至200nL、100至300nL、100至400nL、100至500nL的体积的流体,200至300nL、200至400nL、200至500nL、200至600nL、200至700nL、250至400nL、250至500nL、250至600nL或250至750nL的体积的流体。

微流体装置在本文中可被称为“微流体芯片”或“芯片”,纳米流体装置在本文中可被称为“纳米流体芯片”或“芯片”。

如本文所使用的,“微流体通道”或“流动通道”是指具有显著长于水平和垂直尺寸两者的长度的微流体装置的流动区域。例如,流动通道可以是水平或垂直维度的长度的至少5倍,例如长度的至少10倍、长度的至少25倍、长度的至少100倍、长度的至少200倍、长度的至少500倍、长度的至少1,000倍,长度的至少5,000倍或更长。在一些实施方式中,流动通道的长度在约50,000微米至约500,000微米的范围内,包括它们之间的任何值。在一些实施方式中,水平尺寸为约100微米至约1000微米(例如,约150至约500微米),并且垂直尺寸为约25微米至约200微米(例如,约40至约150微米)。应当注意,流动通道可在微流体装置中具有多种不同的空间配置,因此不限于完全线性的元件。例如,流动通道可以是或包括具有以下构造的一个或多个部分:曲线、弯曲、螺旋、倾斜、下降、分叉(例如,多个不同的流动路径)及其任何组合。此外,流动通道可沿其路径具有不同的横截面积,加宽和收缩以在其中提供所需的流体流动。流动通道可以包括阀,并且阀可以是微流体领域中已知的任何类型。美国专利6,408,878和9,227,200中公开了包括阀的微流体通道的实例,各自通过引用整体并入本文。

如本文所使用的,术语“障碍物”通常指的是足够大的凸块或类似类型的结构,以便部分地(但不完全地)阻碍目标微物体在微流体装置中的两个不同区域或管路元件之间的移动。两个不同的区域/管路元件可以是例如微流体隔离坞的连接区域和隔离区域。

如本文所使用的,术语“收缩”通常指的是微流体装置中的管路元件(或两个管路元件之间的接口)的宽度的变窄。该收缩部可以位于例如本公开的微流体隔离坞的隔离区域和连接区域之间的接口处。

如本文所使用的,术语“透明的”是指允许可见光通过而在光通过时基本上不改变光的材料。

如本文所使用的,术语“微物体”通常是指可根据本公开被隔离和/或操纵的任何微观物体。微物体的非限制性示例包括:无生命的微物体,例如微粒;微珠(例如聚苯乙烯珠、LuminexTM珠等);磁珠;微米棒;微丝;量子点等;生物微物体,例如细胞;生物细胞器;囊泡或重组物;合成囊泡;脂质体(例如,合成的或衍生自膜制剂);脂质纳米筏等;或无生命的微物体和生物微物体的组合(例如,附着于细胞的微珠、脂质体包覆的微珠、脂质体包覆的磁珠等)。珠可以包括共价或非共价连接的部分/分子,例如荧光标记、蛋白质、碳水化合物、抗原、小分子信号部分或能够在测定中使用的其他化学/生物种类。脂质纳米筏已经在如Ritchieet al.(2009)“Reconstitution of Membrane Proteins in Phospholipid Bilayer Nanodiscs,”Methods Enzymol.,464:211-231中所述。

如本文所使用的,术语“细胞”与术语“生物细胞”可互换使用。生物细胞的非限制性示例包括真核细胞、植物细胞、动物细胞,例如哺乳动物细胞、爬行动物细胞、鸟类细胞、鱼类细胞等,原核细胞、细菌细胞、真菌细胞、原生动物细胞等,从组织解离的细胞,如肌肉、软骨、脂肪、皮肤、肝脏、肺、神经组织等,免疫细胞,例如T细胞、B细胞、天然杀伤细胞、巨噬细胞等,胚胎(例如,合子)、卵母细胞、OVA、精细胞、杂交瘤、培养细胞、来自细胞株的细胞、癌细胞,受感染的细胞、转染的和/或转化的细胞、报告细胞等。哺乳动物细胞可以例如来自人、小鼠、大鼠、马、山羊、绵羊、牛、灵长类动物等。

如果能够繁殖的集落中的所有活细胞是源自单个亲本细胞的子细胞,则生物细胞的集落是“克隆”。在某些实施方式中,克隆集落中的所有子细胞源自单个亲本细胞不超过10个分裂。在其他实施方式中,克隆集落中的所有子细胞源自单个亲本细胞不超过14个分裂。在其他实施方式中,在克隆集落中的所有子细胞源自单个亲本细胞不超过17个分裂。在其他实施方式中,在克隆集落中的所有子细胞源自单个亲本细胞不超过20个分裂。术语“克隆细胞”是指相同克隆集落的细胞。

如本文所使用的,“集落”生物细胞是指2个或更多个细胞(例如,约2至约20、约4至约40、约6至约60、约8至约80、约10至约100、约20至约200、约40至约400、约60至约600、约80至约800、约100至约1000或大于1000个细胞)。

如本文所使用的,术语“培养(一个或多个)细胞”是指提供包括流体和气体组分以及任选的表面的环境,其提供保持细胞存活和/或扩散所必需的条件。

如本文所使用的,术语“扩增”在涉及细胞时是指细胞数目的增加。

流体介质的“组分”是存在于介质中的任何化学或生物化学分子,包括溶剂分子、离子、小分子、抗生素、核苷酸和核苷,核酸、氨基酸、肽、蛋白质、糖、碳水化合物、脂质、脂肪酸、胆固醇、代谢物等。

如本文所使用的,“捕获部分”是为微物体提供识别位点的化学或生物物种、功能或基序。所选择的一类微物体可识别原位产生的捕获部分,并且可结合或具有对原位产生的捕获部分的亲和力。非限制性实例包括抗原、抗体和细胞表面结合基序。

如本文所用,“可流动聚合物”是可溶于或分散在流体介质(例如,预聚物溶液)内的聚合物单体或大分子单体。可流动聚合物可以被输入到微流体流动区域中并且与其中的流体介质的其他组分一起流动。

如本文所用,术语“光引发的聚合物”(或可用于产生聚合物的单体分子)是指在暴露于光时能够共价交联的聚合物,形成特异性的共价键,改变刚性化的化学基序周围的区域化学,或形成导致物理状态变化的离子对,从而形成聚合物网络。在一些情况下,光引发的聚合物可以包括与能够共价交联、形成特异性共价键、改变围绕刚性化化学基序的区域化学的一个或多个化学部分结合的聚合物链段,或形成导致物理状态变化的离子对。在一些情况下,光引发的聚合物可能需要可光活化的自由基引发剂以引发聚合物网络的形成(例如,经由聚合物的聚合)。

如本文所用,“抗免疫球蛋白”是指免疫球蛋白(Ig)并且包括多克隆和单克隆抗体;灵长类化(例如,人源化);鼠;鼠-人;鼠-灵长类动物;和嵌合体;并且可以是完整的分子、其片段(例如scFv、Fv、Fd、Fab、Fab′和F(ab′)2片段)、或完整分子和/或片段的多聚体或聚集体;并且可以在自然界中发生,或者例如通过免疫、合成或遗传工程来产生。本文所用术语“抗体片段”是指衍生自抗体或与抗体相关的片段,其结合抗原并且在一些实施方案中可被衍生化以表现出促进清除和吸收的结构特征,例如,通过加入半乳糖残基。这包括例如F(ab′)、F(ab)′2、scFv、轻链可变区(VL)、重链可变区(VH)及其组合。

如本文中关于流体介质所使用的,“扩散(diffuse)”和“扩散(diffusion)”是指流体介质的组分沿浓度梯度下降的热力学运动。

]短语“介质的流动”意味着流体介质主要由于除了扩散之外的任何机制的整体移动。例如,介质的流动可以涉及流体介质由于点之间的压差而从一个点移动到另一点。这种流动可以包括液体的连续的、脉冲的、周期性的、随机的、间歇的或往复的流动,或其任何组合。当一个流体介质流入另一流体介质时,可导致介质的湍流和混合。

短语“基本上不流动”指的是流体介质的流动速率,其随着时间的推移的平均速率小于材料(例如,目标分析物)的组分流入流体介质或在流体介质内的扩散速率。这种材料的组分的扩散速率可以取决于例如温度、组分的尺寸和组分与流体介质之间的相互作用的强度。

如本文中关于微流体装置内的不同区域所使用的,短语“流体连接”是指当不同区域基本上充满有诸如流体介质的流体时,每个区域中的流体被连接以形成单一流体主体。这并不意味着不同区域中的流体(或流体介质)在组成上一定是相同的。相反,微流体装置的不同流体连通区域中的流体可具有不同组成(例如,不同浓度的溶质,诸如蛋白质、碳水化合物、离子或其他分子),当溶质沿着它们各自的浓度梯度和/或流体流动通过装置时,这些组成是变化的。

如本文所使用的,“流动路径”是指限定并经历介质流的轨迹的一个或多个流体连接的管路元件(例如,通道、区域、腔室等)。因此,流动路径是微流体装置的扫掠区域(swept region)的示例。其他管路元件(例如,未扫掠区域)可以与包括流动路径的管路元件流体连接,而经历流动路径中的介质的流动。

如本文所使用的,“隔离微物体”将微物体限制到微流体装置内的限定区域。

微流体(或纳米流体)装置可以包括“扫掠”区域和“非扫掠”区域。如本文所使用的,“扫掠”区域包括微流体管路的一个或多个流体互连的管路元件,每个流体互连的管路元件在流体流过微流体管路时经历介质的流动。扫掠区域的管路元件可以包括例如区域、通道和全部或部分腔室。如本文所使用的,“未扫掠”区域包括微流体管路的一个或多个流体互连的管路元件,当流体流过微流体管路时,每个流体互连的管路元件基本上不经历流体的流动。未扫掠区域可以流体连接到扫掠区域,只要流体连接被配置为能够扩散但基本上不在扫掠区域和未扫掠区域之间流动介质。因此,微流体装置可被结构成基本上将未扫掠区域与扫掠区域中的介质流隔离,同时在扫掠区域和未扫掠区域之间基本上仅实现扩散流体连通。例如,微流体装置的流动通道是扫掠区域的示例,而微流体装置的隔离区域(以下进一步详细描述)是未扫掠区域的示例。

可以在这种微流体装置中测定生物微物体(例如,生物细胞)产生特定生物材料(例如,蛋白质,例如抗体)的能力。在测定的具体实施方案中,可将包含待测定用于生产目的分析物的生物微物体(例如细胞)的样本材料加载到微流体装置的扫掠区域中。可以选择生物微物体中的一些(例如,哺乳动物细胞,诸如人细胞)用于特定的特征并且设置在未扫掠的区域中。剩余的样本材料然后可以流出扫掠区域,并且可以是流入扫掠区域的分析材料。因为所选择的生物微物体在未扫掠区域中,所以所选择的生物微物体基本上不受剩余样品材料的流出或测定材料的流动的影响。所选择的生物微物体可被允许产生感兴趣的分析物,其可从未扫掠区域扩散到扫掠区域中,其中感兴趣的分析物可与分析材料反应以产生局部可检测反应,其中的每一个反应可以与特定的未扫掠区域相关。可以分析与检测到的反应相关的任何未扫掠区域,以确定未扫掠区域中的生物微物体中的哪一个(如果有的话)是感兴趣的分析物的足够的生产者。

用于操作和观察此类装置的微流体装置和系统。图1A示出了可用于导入、培养和/或监测微物体的微流体装置100和系统150的示例。微流体装置100的透视图被示出为其盖110的部分切除以提供在微流体装置100中的局部视图。微流体装置100通常包括微流体管路120,微流体管路120包括流动路径106,流体介质180可以流过该流动路径106,可选地将一个或多个微物体(未示出)携带到微流体管路120中和/或通过微流体管路120。尽管在图1A中图示了单个微流体管路120,但是合适的微流体装置可以包括多个(例如,2个或3个)这样的微流体管路。无论如何,微流体装置100可以被配置为纳米流体装置。如图1A所示,微流体管路120可以包括多个微流体隔离坞124、126、128和130,其中每个隔离坞可以具有与流动路径106流体连通的一个或多个开口。在图1A的装置的一些实施方式中,隔离坞可以仅具有与流动路径106流体连通的单个开口。如下文进一步描述的,微流体隔离坞包括已经被优化以将微物体保持在诸如微流体装置100的微流体装置的各种特征和结构,甚至当介质180流过流动路径106时也是如此。然而,在转向前述内容之前,提供了对微流体装置100和系统150的简要描述。

如图1A中大体所示,微流体管路120由外壳102限定。尽管外壳102可以以不同的配置物理地构造,但是在图1A所示的示例中,外壳102被描绘为包括支撑结构104(例如,基座),微流体管路结构108和盖110。支撑结构104、微流体管路结构108和盖110可以彼此附接。例如,微流体管路结构108可以设置在支撑结构104的内表面109上,并且盖110可以设置在微流体管路结构108上方。微流体管路结构108可以与支撑结构104和盖110一起限定微流体管路120的元件。

如图1A所示,支撑结构104可以位于底部,盖110可以位于微流体管路120的顶部,或者,支撑结构104和盖110可以以其他取向进行配置。例如,支撑结构104可以位于微流体管路120的顶部,盖110可以位于微流体管路120的底部。无论如何,可以有一个或多个端口107,每个端口都包括进入或离开外壳102的通道。通道的示例包括阀、门、贯通孔等。如图所示,端口107是由微流体管路结构108中的间隙形成的通孔。然而,端口107可位于外壳102的其他组件中,例如盖110。在图1A中仅示出了一个端口107,但是微流体管路120可以具有两个或更多个端口107。例如,可以存在用作进入微流体管路120的流体的入口的第一端口107,并且存在用作离开微流体管路120的流体的出口的第二端口107。端口107是用作入口还是出口可以取决于流体流过流动路径106的方向。

支撑结构104可以包括一个或多个电极(未示出)和衬底或多个互连的衬底。例如,支撑结构104可以包括一个或多个半导体衬底,每个半导体衬底电连接到电极(例如,半导体衬底的全部或子集可以电连接到单个电极)。支撑结构104还可以包括印刷电路板组件(“PCBA”)。例如,半导体衬底可以安装在PCBA上。

微流体管路结构108可以限定微流体管路120的管路元件。这样的管路元件可以包括当微流体管路120被流体填充时可以流体地互连的空间或区域,诸如流动区域(其可以包括或可以是一个或多个流动通道)、腔室、坞、捕集器(trap)等。在图1A所示的微流体管路120中,微流体管路结构108包括框架114和微流体管路材料116。框架114可以部分地或完全地包围微流体管路材料116。框架114可以是例如基本上围绕微流体管路材料116的相对刚性的结构。例如,框架114可以包括金属材料。

微流体管路材料116可以由腔室或类似物图案化以限定微流体管路120的管路元件和互连。微流体管路材料116可以包括柔性材料,诸如柔性聚合物(例如,橡胶、塑料、弹性体、硅树脂、聚二甲基硅氧烷(“PDMS”)等),其可以是透气的。可构成微流体管路材料116的材料的其他示例包括模制玻璃、诸如硅树脂(例如可光图案化的硅树脂或“PPS”)的可蚀刻材料、光致抗蚀剂(例如,SU8)等。在一些实施方式中,这种材料、即微流体管路材料116可以是刚性的和/或基本上不透气。无论如何,微流体管路材料116可设置在支撑结构104上且在框架114内。

盖110可以是框架114和/或微流体管路材料116的整体部分。或者,如图1A所示,盖110可以是结构上不同的元件。盖110可以包括与框架114和/或微流体管路材料116相同或不同的材料。类似地,支撑结构104可以是与所示的框架114或微流体管路材料116分离的结构,或者是框架114或微流体管路材料116的整体部分。同样,框架114和微流体管路材料116可以是如图1A所示的单独结构或相同结构的整体部分。

在一些实施方式中,盖110可以包括刚性材料。刚性材料可以是玻璃或具有类似特性的材料。在一些实施方式中,盖110可以包括可变形材料。可变形材料可以是聚合物,例如PDMS。在一些实施方式中,盖110可以包括刚性和可变形材料。例如,盖110的一个或多个部分(例如,位于隔离坞124、126、128、130上方的一个或多个部分)可以包括与盖110的刚性材料对接的可变形材料。在一些实施方式中,盖110可以还包括一个或多个电极。一个或多个电极可以包括导电氧化物,诸如氧化铟锡(ITO),其可涂覆在玻璃或类似绝缘材料上。可替代地,一个或多个电极可以是柔性电极,例如单壁纳米管、多壁纳米管、纳米线、导电纳米颗粒簇或其组合,嵌入在可变形材料中,诸如聚合物(例如,PDMS)。可在微流体装置中使用的柔性电极已在例如US2012/0325665(Chiou等人)中描述,其内容通过引用并入本文。在一些实施方式中,盖110可以被修改(例如,通过调节朝向微流体管路120的朝向内侧的表面的全部或部分)以支持细胞粘附、活性和/或生长。修饰可以包括合成或天然聚合物的涂层。在一些实施方式中,盖110和/或支撑结构104对光透明。盖110还可以包括至少一种透气的材料(例如,PDMS或PPS)。

图1A还示出了用于操作和控制诸如微流体装置100的微流体装置的系统150。系统150包括电源192、成像装置(结合在成像模块164内,成像装置本身未在图1A中示出)和倾斜装置(结合在倾斜模块166内,其中倾斜装置本身未在图1A中示出)。

电源192可以向微流体装置100和/或倾斜装置190提供电力,根据需要提供偏置电压或电流。电源192可以例如包括一个或多个交流(AC)和/或直流(DC)电压或电流源。成像装置194(下文论述的成像模块164的部分)可以包括用于捕获微流体管路120内部的图像的装置,例如数码相机。在一些情况下,成像装置194还包括具有快速帧速率和/或高灵敏度(例如,用于低光应用)的检测器。成像装置194还可以包括用于将刺激辐射和/或光束引导到微流体管路120中并且收集从微流体管路120(或包含在其中的微物体)反射或发射的辐射和/或光束的机构。发射的光束可以在可见光谱中并且可以例如包括荧光发射。反射光束可以包括源自LED或宽光谱灯的反射发射,诸如汞灯(例如高压汞灯)或氙弧灯。如关于图3B所论述,成像装置194还可以包含显微镜(或光学系统),其可包含目镜或不包含目镜。

系统150还包括倾斜装置190(下面描述的倾斜模块166的一部分),该倾斜装置190被配置为使微流体装置100围绕一个或多个旋转轴线旋转。在一些实施方式中,倾斜装置190被配置为围绕至少一个轴线支撑和/或保持包括微流体管路120的外壳102,使得微流体装置100(因此微流体管路120)可以保持在水平取向(即,相对于x轴和y轴为0°)、垂直取向(即,相对于x轴和/或y轴呈90度)或它们之间的任何取向。微流体装置100(和微流体管路120)相对于轴线的取向在本文中被称为微流体装置100(和微流体管路120)的“倾斜”取向。例如,倾斜装置190可使微流体装置100相对于x轴倾斜0.1°、0.2°、0.3°、0.4°、0.5°、0.6°、0.7°、0.8°、0.9、1°、2°、3°、4°、5°、10°、15°、20°、25°、30°、35°、40°,45°,50°、55°、60°、65°、70°、75°、80°、90°或在它们之间的任何角度。水平取向(以及因此x轴和y轴)被限定为垂直于由重力限定的竖直轴线。倾斜装置还可使微流体装置100(和微流体管路120)相对于x轴和/或y轴倾斜大于90°,或使微流体装置100(和微流体管路120)相对于x轴或y轴倾斜180°,以便完全互调微流体装置100(和微流体管路120)。类似地,在一些实施方式中,倾斜装置190使微流体装置100(和微流体管路120)围绕由流动路径106或微流体管路120的一些其他部分限定的旋转轴线倾斜。

在一些情况下,微流体装置100被倾斜成垂直取向,使得流动路径106定位在一个或多个隔离坞的上方或下方。如本文所使用的术语“上文”表示流动路径106定位成高于由重力限定的竖直轴线上的一个或多个隔离坞(即,流动路径106上方的隔离坞中的物体具有比流动路径中的物体更高的重力势能)。如本文所使用的术语“下方”表示流动路径106定位成低于由重力限定的竖直轴线上的一个或多个隔离坞(即,流动路径106下方的隔离坞中的物体具有比流动路径中的物体更低的重力势能)。

在一些情况下,倾斜装置190使微流体装置100围绕平行于流动路径106的轴线倾斜。此外,微流体装置100可以倾斜到小于90°的角度,使得流动路径106位于一个或多个隔离坞的上方或下方,而不直接位于隔离坞的上方或下方。在其他情况下,倾斜装置190使微流体装置100围绕垂直于流动路径106的轴线倾斜。在其他情况下,倾斜装置190使微流体装置100围绕既不平行也不垂直于流动路径106的轴线倾斜。

系统150还可以包括介质源178。介质源178(例如,容器、贮存器等)可以包括多个部分或容器,每个部分或容器用于保持不同的流体介质180。因此,介质源178可以是在微流体装置100外部且与微流体装置100分离的装置,如图1A所示。或者,介质源178可全部或部分地位于微流体装置100的外壳102内。例如,介质源178可以包括作为微流体装置100的一部分的贮存器。

图1A还示出了构成系统150的一部分并且可以与微流体装置100结合使用的控制和监测设备152的示例的简化框图描绘。如图所示,这样的控制和监测设备152的示例包括主控制器154,其包括:用于控制介质源178的介质模块160的;用于控制微流体管路120中的微物体(未示出)和/或介质(例如,介质的液滴)的移动和/或选择的运动模块162;用于控制成像装置194(例如,用于捕获图像(例如,数字图像)的相机、显微镜、光源或其任何组合)的成像模块164;以及用于控制倾斜装置190的倾斜模块166。控制设备152还可以包括用于控制、监测或执行关于微流体装置100的其他功能的其他模块168。如图所示,设备152还可以包括显示设备170和输入/输出设备172。

主控制器154可以包括控制模块156和数字存储器158。控制模块156可以包括例如被配置为根据存储为存储器158中的非暂时性数据或信号的机器可执行指令(例如,软件、固件、源代码等)操作的数字处理器。另外地或额外地,控制模块156可以包括硬连线数字电路和/或模拟电路。介质模块160、运动模块162、成像模块164、倾斜模块166和/或其他模块168可以被类似地配置。因此,本文所描述的关于微流体装置100或任何其他微流体设备执行的过程的功能、过程动作、动作或步骤可以由如上所述配置的主控制器154、介质模块160、运动模块162、成像模块164、倾斜模块166和/或其他模块168中的任何一个或多个来执行被配置。类似地,主控制器154、介质模块160、运动模块162、成像模块164、倾斜模块166和/或其他模块168可以通信地耦合以发送和接收在本文描述的功能、过程、过程动作、动作或步骤中的任意一个使用的数据。

介质模块160控制介质源178。例如,介质模块160可以控制介质源178以将所选择的流体介质180输入到外壳102中(例如,通过入口端口107)。介质模块160还可以控制介质从外壳102的移除(例如,通过出口端口(未示出))。因此,可将一种或多种介质选择性地输入到微流体管路120中和从微流体管路120移除。介质模块160还可以控制微流体管路120内的流动路径106中的流体介质180的流动。例如,在一些实施方式中,介质模块160在倾斜模块166使倾斜装置190将微流体装置100倾斜到期望的倾斜角度之前,阻止介质180在流动路径106中和穿过外壳102的流动。

运动模块162可以被配置为控制微流体管路120中的微物体(未示出)的选择、捕获和移动。如下面关于图1B和1C所描述的,外壳102可以包括介电泳(DEP)、光电镊子(OET)和/或光电润湿(OEW)结构(图1A中未示出),并且运动模块162可以控制电极和/或晶体管(例如,光电晶体管)的激活,以选择和移动流动路径106和/或隔离坞124、126、128、130中的微物体(未示出)和/或介质的液滴(未示出)。

成像模块164可以控制成像装置194。例如,成像模块164可以从成像装置194接收和处理图像数据。来自成像装置194的图像数据可以包括由成像装置194捕获的任何类型的信息(例如,微物体的存在或不存在、介质的液滴、例如荧光标记等的标签的累积等)。使用由成像装置194捕获的信息,成像模块164还可以计算物体(例如,微物体、介质的液滴)和/或此类物体在微流体装置100内的运动速率。

倾斜模块166可以控制倾斜装置190的倾斜运动。另外地或额外地,倾斜模块166可以控制倾斜速率和定时,以优化微物体经由重力向一个或多个隔离坞的转移。倾斜模块166与成像模块164通信地耦合以接收描述微流体管路120中的微物体和/或介质液滴的运动的数据。使用该数据,倾斜模块166可以调节微流体管路120的倾斜,以便调节微流体和/或介质液滴在微流体管路120中移动的速率。倾斜模块166还可以使用该数据来迭代地调节微流体管路120中的微物体和/或介质液滴的位置。

在图1A所示的示例中,微流体管路120被示出为包括微流体通道122和隔离坞124、126、128、130。每个坞包括通向通道122的开口,其余的被封闭,使得坞可以将坞内的微物体与流体介质180和/或微物体基本上隔离在通道122的流动路径106中或其他坞中。隔离坞的壁从基部的内表面109延伸到盖110的内表面以进行封闭。坞到微流体通道122的开口被取向为与流体介质180的流体106成一角度,使得流体106不被引导到坞中。流体可以与坞的开口的平面相切或正交。在一些情况下,坞124、126、128、130被配置为在微流体管路120内物理地支撑一个或多个微物体。如将在下面详细讨论和示出的,本公开的隔离坞可以包括各种形状、表面和特征,这些形状、表面和特征被优化以与DEP、OET、OEW、流动流体和/或重力一起使用。

微流体管路120可包括任何数量的微流体隔离坞。尽管示出了五个隔离坞,但是微流体管路120可以具有更少或更多的隔离坞。如图所示,微流体管路120的微流体隔离坞124、126、128和130各自包括不同的特征和形状,其可以提供一个或多个对于维持、分离、测定或培养生物微物体物来说有用的益处。在一些实施方式中,微流体管路120包括多个相同的微流体隔离坞。

在图1A所示的实施方式中,示出了单个通道122和流动路径106。然而,其他实施方式可以包含多个通道122,每个通道被配置为包括流动路径106。微流体管路120还包括与流动路径106和流体介质180流体连通的入口阀或端口107,由此流体介质180可以经由入口端口107流入通道122。在一些情况下,流动路径106包括单个路径。在一些情况下,单个路径以锯齿形图案布置,由此流动路径106沿交替方向在微流体装置100上两次或更多次行进。

在一些情况下,微流体管路120包括多个平行通道122和流动路径106,其中每个流动路径106内的流体介质180在相同方向上流动。在一些情况下,每个流动路径106内的流体介质在向前或向后方向中的至少一个方向上流动。在一些情况下,多个隔离坞被配置(例如,相对于通道122),使得隔离坞可以平行地加载有目标微物体。

在一些实施方式中,微流体管路120还包括一个或多个微物体捕集器132(traps)。捕集器132通常形成在形成通道122的边界的壁中,并且可以定位成与微流体隔离坞124、126、128、130中的一个或多个的开口对置。在一些实施方式中,捕集器132被配置为从流动路径106接收或捕集单个微物体。在一些实施方式中,捕集器132被配置为从流动路径106接收或捕集多个微物体。在一些情况下,捕集器132包括近似与单个目标微物体的体积相等的体积。

捕集器132还可以包括开口,所述开口被配置为辅助目标微物体流入捕集器132中。在一些情况下,捕集器132包括具有近似等于单个目标微物体的尺寸的高度和宽度的开口,由此防止较大的微物体进入微物体捕集器。捕集器132还可以包括被配置为帮助将目标微物体保持在捕集器132内的其他特征。在一些情况下,捕集器132相对于微流体隔离坞的开口与通道122的相对侧对齐并位于其相对侧,使得在微流体装置100围绕平行于微流体通道122的轴倾斜时,被捕获的微物体以使得微物体落入隔离坞的开口中的轨迹离开捕集器132。在一些情况下,捕集器132包括侧通道134,该侧通道134小于目标微物体以便于流过捕集器132,从而增加在捕集器132中捕获微物体的可能性。

在一些实施方式中,介电泳(DEP)力经由一个或多个电极(未示出)施加在流体介质180(例如,在流动路径和/或隔离坞中)以操纵、传输、分离和分类位于其中的微物体。例如,在一些实施方式中,DEP力被施加到微流体管路120的一个或多个部分,以便将单个微物体从流动路径106转移到期望的微流体隔离坞中。在一些实施方案中,DEP力用于防止隔离坞(例如,隔离坞124、126、128或130)内的微物体从其移位。此外,在一些实施方式中,DEP力用于从先前根据本公开的实施方式而收集的隔离坞选择性地移除微物体。在一些实施方式中,DEP力包括光电镊子(OET)力。

在其他实施方式中,光电润湿(OEW)力经由一个或多个电极(未示出)施加到微流体装置100的支撑结构104(和/或盖110)中的一个或多个位置(例如,帮助限定流动路径和/或隔离坞的位置)以操纵,传输、分离和分选位于微流体管路120中的液滴。例如,在一些实施方式中,OEW力被施加到支撑结构104(和/或盖110)中的一个或多个位置,以便将单个液滴从流动路径106转移到期望的微流体隔离坞中。在一些实施方案中,OEW力用于防止隔离坞(例如,隔离坞124、126、128或130)内的液滴从其移位。此外,在一些实施方式中,OEW力用于从先前根据本公开的实施方式收集的隔离坞选择性地移除液滴。

在一些实施方式中,DEP力和/或OEW力与其他力,诸如流量和/或重力)组合,以便操纵、运输、分离和分类微流体管路120内的微物体和/或液滴。例如,外壳102可以倾斜(例如,通过倾斜装置190)以将流动路径106和位于其中的微物体定位在微流体隔离坞上方,并且重力可以将微物体和/或液滴输送到坞中。在一些实施方式中,DEP力和/或OEW力可以在其他力之前施加。在其他实施方式中,DEP力和/或OEW力可以在其他力之后施加。在其他情况下,DEP力和/或OEW力可以与其他力同时或以与其他力交替的方式施加。

图1B、图1C和图2A~图2H示出了可用于实践本公开的实施方式的微流体装置的各种实施方式。图1B描绘了其中微流体装置200被配置为光学致动的电动装置的实施方式。多种光学致动的电动设备在本领域中是已知的,包括具有光电镊子(OET)结构的设备和具有光电电润湿(OEW)结构的设备。合适的OET结构的实例在以下美国专利文献中说明,所述文献中的每一个以全文引用的方式并入本文中:美国专利No.RE44,711(Wu等人)(最初公布为美国专利第7612355号);和美国专利第7,956,339号(Ohta等人)。OEW结构的实例在美国专利第6,958,132号(Chiou等人)和美国专利申请公开号2012/0024708(Chiou等人)中说明,两者均以全文引用的方式并入本文中。光学致动的电动装置的又一示例包括组合的OET/OEW结构,其示例在美国专利公开号20150306598(Khandros等人)和20150306599(Khandros等人)及其对应的PCT公开WO2015/164846和WO2015/164847中示出,所有这些专利通过引用整体并入本文。

已经描述了具有坞的微流体装置的实例,其中可以放置、培养和/或监测生物微物体,例如,在US2014/0116881(申请号14060117,2013年10月22日提交)中,US2015/0151298(申请号14520568,2014年10月22日提交),以及US2015/0165436(申请号14521447,2014年10月22日提交),其每一篇全文以引用的方式并入本文中。美国申请号14520568和14521447还描述了分析在微流体装置中培养的细胞的分泌物的示例性方法。前述申请中的每一个进一步描述了微流体装置被配置为产生介电泳(DEP)力,例如光电镊子(OET),或被配置为提供光电润湿(OEW)。例如,在US2014/0116881的图2中示出的光电镊子设备是可以在本公开的实施方式中利用以选择和移动单独的生物微物体或一组生物微物体的设备的示例。

微流体装置动力配置。如上所述,系统的控制和监测设备可以包括用于在微流体装置的微流体管路中选择和移动诸如微物体或液滴的物体的运动模块。微流体装置可具有各种动力配置,这取决于所移动的物体的类型和其他考虑因素。例如,可以利用介电泳(DEP)结构来选择和移动微流体管路中的微物体。因此,微流体装置100的支撑结构104和/或盖110可以包括DEP结构,用于选择性地在微流体管路120中的流体介质180中的微物体上诱导DEP力,并由此选择、捕获和/或移动单独的微物体或微物体组。可替代地,微流体装置100的支撑结构104和/或盖110可以包括电润湿(EW)结构,用于选择性地在微流体管路120中的流体介质180中的液滴上感应EW力,并且由此选择、捕获和/或移动单独的液滴或液滴组。

在图1B和图1C中示出包括DEP结构的微流体装置200的一个示例。虽然为了简化的目的,图1B和图1C分别示出了具有开放区域/腔室202的微流体装置200的外壳102的一个侧面截面图和俯视截面图,应当理解,区域/腔室202可以是具有更详细结构的流体管路元件的一部分,例如生长室、隔离坞、流动区域或流动通道。此外,微流体装置200可以包括其他流体管路元件。例如,微流体装置200可以包括多个生长腔室或隔离坞和/或一个或多个流动区或流动通道,诸如本文关于微流体装置100所述的那些。DEP结构可以被合并到微流体装置200的任何这样的流体管路元件中,或选择部分。还应当理解,任何上述或下面描述的微流体装置部件和系统部件可以结合到微流体装置200中和/或与微流体装置200结合使用。例如,包括上述控制和监测设备152的系统150可以与微流体装置200一起使用,微流体装置200包括介质模块160、运动模块162、成像模块164、倾斜模块166和其他模块168中的一个或多个。

如图1B所示,微流体装置200包括支撑结构104,其具有底部电极204和覆盖底部电极204的电极激活衬底206,以及具有顶部电极210的盖110,顶部电极210与底部电极204间隔开。顶部电极210和电极激活衬底206限定区域/腔室202的相对表面。因此,包含在区域/腔室202中的介质180提供顶部电极210与电极激活衬底206之间的电阻连接。还示出了电源212,其被配置为为连接到底部电极204及顶部电极210且根据需要在电极之间产生偏置电压,以用于区域/腔室202中的DEP力的产生。电源212可以是例如交流(AC)电源。

在某些实施方式中,图1B和图1C中所示的微流体装置200可具有光学致动的DEP结构。因此,改变来自光源216的光的图案218,其可以由运动模块162控制,可以选择性地激活和去激活电极激活衬底206的内表面208的区域214处的DEP电极的改变图案。(下文中,具有DEP结构的微流体装置的区域214被称为“DEP电极区域”。如图1C所示,被引导到电极激活衬底206的内表面208上的光图案218可以以例如正方形的图案照射选择的DEP电极区域214a(以白色示出)。未被照射的DEP电极区域214(交叉阴影线)在下文中被称为“暗的”DEP电极区域214。通过DEP电极激活衬底206的相对电阻抗(即,从底部电极204直到电极激活衬底206的与流动区域106中的介质180对接的内表面208)大于通过在每个暗DEP电极区域214处的区域/腔室202中的介质180的相对电阻抗(即从电极激活衬底206的内表面208到盖110的顶部电极210)。然而,被照明的DEP电极区域214a表现出整个电极激活衬底206的减小的相对阻抗,其小于每个被照射的DEP电极区域214a处的区域/腔室202中的整个介质180的相对阻抗。

在电源212被激活的情况下,前述DEP结构在被照射的DEP电极区域214a和相邻的暗的DEP电极区域214之间的流体介质180中产生电场梯度,这进而产生局部DEP力,其吸引或排斥流体介质180中的附近微物体(未示出)。因此,通过改变从光源216投射到微流体装置200中的光图案218,可以在区域/腔室202的内表面208处的许多不同的这样的DEP电极区域214处选择性地激活和去激活吸引或排斥流体介质180中的微物体的DEP电极。DEP力是否吸引或排斥附近的微物体可以取决于诸如电源212的频率和介质180和/或微物体(未示出)的介电性质的参数。

在图1C中示出的被照射的DEP电极区域214a的方形图案220仅是示例。可通过投射到装置200中的光图案218来照明(且由此激活)DEP电极区域214的任何图案,且可通过改变或移动光图案218而重复地改变经照明/激活的DEP电极区域214的图案。

在一些实施方式中,电极激活衬底206可以包括光电导材料或由光电导材料组成。在这样的实施方式中,电极激活衬底206的内表面208可以是无特征的。例如,电极激活衬底206可以包括氢化非晶硅(a-Si:H)层或由氢化非晶硅(a-Si:H)层组成。a-Si:H可包含例如约8%到40%的氢(以100×氢原子的数目/氢和硅原子的总数来计算)。a-Si:H层可以具有约500nm至约2.0微米的厚度。在这样的实施方式中,可以根据光图案218在电极激活衬底206的内表面208上的任何地方和任何图案中创建DEP电极区域214。因此,DEP电极区域214的数量和图案不需要是固定的,而是可以对应于光图案218。具有包括如上所述的光导层的DEP结构的微流体装置的示例已经在例如美国专利No.RE44,711(Wu等人)(最初公布为美国专利号7612355)中进行了描述,其全部内容通过引用并入本文。

在其他实施方式中,电极激活衬底206可以包括衬底,该衬底包括多个掺杂层、电绝缘层(或区域)和形成半导体集成电路的导电层,例如在半导体领域中是已知的。例如,电极激活衬底206可以包括多个光电晶体管,包括例如横向双极光电晶体管,每个光电晶体管对应于DEP电极区域214。可替代地,电极激活衬底206可以包括由光电晶体管开关控制的电极(例如,导电金属电极),其中每个这样的电极对应于DEP电极区域214。电极激活衬底206可以包括这样的光电晶体管或光电晶体管控制的电极的图案。图案例如可以是布置成行和列的基本上正方形的光电晶体管或光电晶体管控制的电极的阵列,如图2B中所示。可替代地,图案可以是形成六边形晶格的基本上六边形光电晶体管或光电晶体管控制的电极的阵列。不管图案如何,电路元件可在电极激活衬底206的内表面208处的DEP电极区域214与底电极210之间形成电连接,并且那些电连接(即,光电晶体管或电极)可以通过光图案218选择性地激活和去激活。当未被激活时,每个电连接可以具有高阻抗,使得在对应的DEP电极区域214处,整个电极激活衬底206的相对阻抗(即,从底部电极204到电极激活衬底206的与区域/腔室202中的介质180接合的内表面208)大于整个介质180的相对阻抗(即,从电极激活衬底206的内表面208到盖110的顶部电极210)。然而,当由在光图案218中的光激活时,整个电极激活衬底206的相对阻抗小于在每个被照射的DEP电极区域214处的整个介质180的相对阻抗,从而如上所述在对应的DEP电极区域214处激活DEP电极。因此,吸引或排斥介质180中的微物体(未示出)的DEP电极可以以由光图案218确定的方式在区域/腔室202中的电极激活衬底206的内表面208处的许多不同的DEP电极区域214处被选择性地激活和去激活。

具有包含光电晶体管的电极激活衬底的微流体装置的示例已描述于例如美国专利第7,956,339号(Ohta等人)(参见例如图21和22中所说明的装置300及其描述)中,其全部内容通过引用并入本文。具有包括由光电晶体管开关控制的电极的电极激活衬底的微流体装置的示例,例如美国专公开号2014/0124370(Short等人)中描述(参见例如在整个附图中示出的装置200、400、500、600和900及其描述),其全部内容通过引用并入本文。

在DEP结构的微流体装置的一些实施方式中,顶部电极210是外壳102的第一壁(或盖110)的一部分,并且电极激活衬底206和底部电极204是外壳102的第二壁(或支撑结构104)的一部分。区域/腔室202可以在第一壁和第二壁之间。在其他实施方式中,电极210是第二壁(或支撑结构104)的一部分,并且电极激活衬底206和/或电极210中的一者或两者是第一壁(或盖110)的一部分。此外,光源216可替代地用于从下方照亮外壳102。

利用具有DEP结构的图1B~图1C的微流体装置200,运动模块162可以通过将光图案218投射到微流体装置200中,以在围绕并捕获微物体的图案(例如,正方形图案220)中激活电极激活衬底206的内表面208的DEP电极区域214A处的一个或多个DEP电极中的第一组,从而选择区域/腔室202中的介质180中的微物体(未示出)。然后,运动模块162可以通过相对于微流体装置200移动光图案218以激活DEP电极区域214处的一个或多个DEP电极中的第二组来移动原位生成的捕获的微物体。或者,微流体装置200可相对于光图案218移动。

在其他实施方式中,微流体装置200可以具有DEP结构,其不依赖于在电极激活衬底206的内表面208处的DEP电极的光激活。例如,电极激活衬底206可包括选择性可寻址且可激励的电极,其位于与包括至少一个电极(例如,盖110)的表面相对的位置。开关(例如,半导体衬底中的晶体管开关)可以被选择性地接通和关断以在DEP电极区域214处激活或去激活DEP电极,从而在激活的DEP电极附近的区域/腔室202中的微物体(未示出)上产生净DEP力。取决于诸如电源212的频率和介质(未示出)和/或微物体在区域/腔室202中的介电性质之类的特性,DEP力可以吸引或排斥附近的微物体。通过选择性地激活和去激活一组DEP电极(例如,在形成正方形图案220的一组DEP电极区域214处),区域/腔室202中的一个或多个微物体可以被捕获并在区域/腔室202内移动。图1A中的运动模块162可以控制这样的开关,并且因此激活和去激活各个DEP电极,以选择、捕获和移动区域/腔室202周围的特定微物体(未示出)。具有包括选择性可寻址和可激励电极的DEP结构的微流体装置在本领域中是已知的,并且已经在例如美国专利6,294,063(Becker等人)和6,276,776(Medoro)中进行了描述,其全部内容通过引用并入本文。

作为又一实例,微流体装置200可具有电润湿(EW)结构,其可代替DEP结构或可位于微流体装置200的与具有DEP结构的部分分离的部分中。EW结构可以是光电电润湿结构或电介质上电润湿(EWOD)结构,这两者在本领域中是已知的。在一些EW结构中,支撑结构104具有夹在介电层(未示出)和底部电极204之间的电极激活衬底206。介电层可包括疏水材料和/或可涂覆有疏水材料,如下所述。对于具有EW结构的微流体装置200,支撑结构104的内表面208是介电层或其疏水涂层的内表面。

介电层(未示出)可以包括一个或多个氧化物层,并且可以具有约50nm至约250nm(例如,约125nm至约175nm)的厚度。在某些实施方式中,介电层可包括氧化物层,诸如金属氧化物(例如,氧化铝或氧化铪)。在某些实施方式中,介电层可包括除金属氧化物之外的介电材料,诸如氧化硅或氮化物。无论确切的组成和厚度如何,介电层可具有约10k欧姆至约50k欧姆的阻抗。

在一些实施方式中,朝向区域/腔室202朝向内侧的介电层的表面涂覆有疏水材料。疏水材料可包括例如氟化碳分子。氟化碳分子的实例包括全氟聚合物,例如聚四氟乙烯(例如,)或聚(2,3-二氟甲基戊基-全氟四氢呋喃)(例如,CYTOPTM)。构成疏水材料的分子可以共价结合到介电层的表面。例如,疏水性材料的分子可以通过诸如硅氧烷基团、膦酸基或硫醇基团的连接体与介电层的表面共价结合。因此,在一些实施方案中,疏水性材料可包括烷基封端的硅氧烷、烷基封端的膦酸或烷基封端的硫醇。烷基可以是长链烃(例如,具有至少10个碳的链,或至少16、18、20、22或更多个碳)。或者,可使用氟化(或全氟化)碳链代替烷基。因此,例如,疏水材料可包含氟代烷基封端的硅氧烷、氟代烷基封端的膦酸或氟代烷基封端的硫醇。在一些实施方式中,疏水涂层具有约10nm至约50nm的厚度。在其他实施方案中,疏水性包衣具有小于10nm(例如,小于5nm或约1.5~3.0nm)的厚度。

在一些实施方式中,具有电润湿结构的微流体装置200的盖110也涂覆有疏水材料(未示出)。疏水材料可以是用于包衣支撑结构104的介电层的相同的疏水材料,并且疏水涂层可以具有与支撑结构104的介电层上的疏水涂层的厚度基本相同的厚度。此外,盖110可以包括以支撑结构104的方式夹在介电层和顶电极210之间的电极激活衬底206。电极激活衬底206和盖110的介电层可以具有与电极激活衬底206和支撑结构104的介电层相同的组成和/或尺寸。因此,微流体装置200可具有两个电润湿表面。

在一些实施方式中,电极激活衬底206可包含光电导材料,如上文所述。因此,在某些实施方式中,电极激活衬底206可包括氢化非晶硅层(a-Si:H)或由其组成。a-Si:H可包含例如约8%到40%的氢(计算以100×氢原子的数/氢和硅原子的总数计算)。a-Si:H层可以具有约500nm至约2.0微米的厚度。可替代地,如上所述,电极激活衬底206可以包括由光电晶体管开关控制的电极(例如,导电金属电极)。具有光电润湿结构的微流体装置在本领域中是已知的和/或可以用本领域已知的电极激活衬底构造。例如,美国专利第6,958,132号(Chiou等人)公开了具有诸如a-Si:H的光电导材料的光电电润湿结构,其全部内容通过引用并入本文,而上面提到的美国专利公开号2014/0124370(Short等人)公开了具有由光电晶体管开关控制的电极的电极激活衬底。

微流体装置200因此可具有光电润湿结构,且光图案218可用于激活电极激活衬底206中的光电导EW区域或光电响应EW电极。电极激活衬底206的这样的激活EW区或EW电极可以在支撑结构104的内表面208(即,覆盖介电层的内表面或其疏水涂层)处产生电润湿力。通过改变电极激活衬底206上的光图案218,接触支撑结构104的内表面208的液滴(例如,包含水性介质、溶液或溶剂)可以移动通过不混溶的流体(例如,油介质)存在于区域/腔室202中。

在其他实施方式中,微流体装置200可以具有EWOD结构,并且电极激活衬底206可包括选择性可寻址且可激励的电极,其不依赖于光来激活。因此,电极激活衬底206可以包括这种电润湿(EW)电极的图案。图案例如可以是以行和列布置的基本正方形EW电极的阵列,诸如图2B所示。可替代地,图案可以是形成六边形晶格的基本六边形EW电极的阵列。不管图案如何,EW电极可以通过电开关(例如,半导体衬底中的晶体管开关)选择性地被激活(或去激活)。通过选择性地激活和去激活电极激活衬底206中的EW电极,接触覆盖介电层的内表面208或其疏水涂层的液滴(未示出)可以在区域/腔室202内移动。图1A中的运动模块162可以控制这样的开关,从而激活和去激活单独的EW电极以选择和移动围绕区域/腔室202的特定液滴。具有选择性可寻址和可激励电极的EWOD结构的微流体装置在本领域中是已知的,并且已在例如美国专利第8,685,344号(Sundarsan等人)中进行了描述,其全部内容通过引用并入本文。

不管微流体装置200的配置如何,电源212可用于提供给微流体装置200的电路供电的电位(例如,AC电压电位)。电源212可以与图1中参考的电源192相同,或者是图1中参考的电源192的部件。电源212可以被配置为向顶部电极210和底部电极204提供AC电压和/或电流。对于AC电压,电源212可以提供足以产生足够强的净DEP力(或电润湿力)的频率范围和平均或峰值功率(例如,电压或电流)范围,以捕获和移动区域/腔室202中的各个微物体(未示出),和/或如上所述改变区域/腔室202中的支撑结构104的内表面208(即,介电层和/或介电层上的疏水涂层)的润湿特性,同样如上所述。这样的频率范围和平均或峰值功率范围在本领域中是已知的。参见例如美国专利第6,958,132号(Chiou等人)、美国专利RE44,711(Wu等人)(最初公布为美国专利第7612355号)和美国专利申请公开号US2014/0124370(Short等人),US2015/0306598(Khandros等人)和US2015/0306599(Khandros等人)。

隔离坞。在图2A~图2C所示的微流体装置230内示出了通用隔离坞224、226和228的非限制性示例。每个隔离坞224、226和228可以包括限定隔离区域240的隔离结构232和将隔离区域240流体连接到通道122的连接区域236。连接区域236可包括至微流体通道122的近端开口234和至隔离区域240的远端开口238。连接区域236可以被配置为使得从通道122流入隔离坞224、226、228的流体介质(未示出)的流动的最大穿透深度不延伸到隔离区域240中。因此,由于连接区域236,设置在隔离坞224、226、228的隔离区域240中的微物体(未示出)或其他材料(未示出)因此可以与之隔离,并且基本上不受在流体通道122中的介质180的流动的影响。

图2A~图2C的隔离坞224、226和228各自具有直接通向微流体通道122的单个开口。隔离坞的开口从微流体通道122侧向地打开。电极激活衬底206覆盖微流体通道122和隔离坞224、226和228两者。在隔离坞的外壳内的电极激活衬底206的上表面形成隔离坞的底板,被布置在通道122(如果通道不存在的话则为流动区域)内的电极激活衬底206的上表面的相同水平或基本上相同的水平,形成微流体装置的流动通道(或流动区域)的底板。电极激活衬底206可以是无特征的或者可以具有从其最高高度到其最低凹陷变化小于约3微米、2.5微米、2微米、1.5微米、1微米、0.9微米、0.5微米、0.4微米、0.2微米、0.1微米或更小的不规则或图案化表面。跨越微流体通道122(或流动区域)和隔离坞的衬底的上表面中的高度的变化可以小于所述隔离坞或所述微流体设备的壁的高度的约3%、2%、1%。0.9%、0.8%、0.5%、0.3%或0.1%。虽然详细描述微流体装置200,但这也适用于本文所述的微流体装置100、200、230、250、280、290、300中的任一者。

因此,微流体通道122可以是扫掠区域的示例,并且隔离坞224、226、228的隔离区域240可以是未扫掠区域的示例。如上所述,微流体通道122和隔离坞224、226、228可以被配置为容纳一或多种流体介质180。在图2A~图2B所示的示例中,端口222连接到微流体通道122并且允许流体介质180被引入到微流体装置230中或从微流体装置230移除。在引入流体介质180之前,微流体装置可以用诸如二氧化碳气体的气体打底。一旦微流体装置230包含流体介质180,微流体通道122中的流体介质180的流体242可以被选择性地产生和停止。例如,如图所示,端口222可以设置在微流体通道122的不同位置(例如对置端),并且可以从用作入口的一个端口222通向用作出口的另一个端口222产生介质的流体242。

图2C示出了根据本公开的隔离坞224的示例的详细视图。还示出了微物体246的示例。

如已知的,流体介质180在微流体通道122中经过隔离坞224的近端开口234的流体242可导致介质180的次级流体244进入和/或流出隔离坞224。为了将隔离坞224的隔离区域240中的微物体246与次级流体244隔离,隔离坞224的连接区域236的长度Lcon(即,从近端开口234到远端开口238)应当大于次级流体244到连接区域236中的穿透深度Dp。次级流体244的穿透深度Dp取决于在微流体通道122中流动的流体介质180的速率、和与微流体通道122的配置和连接区域236通往微流体通道122的近端开口234有关的各种参数。对于给定的微流体装置,微流体通道122和开口234的构型将是固定的,而流体介质180在微流体通道122中的流动速率242将是可变的。因此,对于每个隔离坞224,可以识别通道122中的流体介质180的流体242的最大速率Vmax,其确保次级流体244的穿透深度Dp不超过连接区域236的长度Lcon。只要微流体通道122中的流体介质180的流体242的速率不超过最大速率Vmax,所得到的次级流体244就可以被限制到微流体通道122和连接区域236并且保持在隔离区域240之外。微流体通道122中的介质180的流体242因此不会将微物体246从隔离区域240中抽出。相反,不管流体介质180在微流体通道122中的流体242如何,位于隔离区域240中的微物体246将保持在隔离区域240中。

此外,只要微流体通道122中的介质180的流体242的速率不超过Vmax,流体介质180在微流体通道122中的流体242将不会移动混杂颗粒(例如,微粒和/或纳米颗粒)从微流体通道122进入隔离坞224的隔离区域240中。具有连接区域236的长度Lcon大于次级流体244的最大穿透深度Dp能够防止一个隔离坞224与来自微流体通道122或另一隔离坞的混杂颗粒的污染(例如,图2D中的隔离坞226、228)。

因为微流体通道122和隔离坞224、226、228的连接区域236可受到微流体通道122中的介质180的流体242的影响,所以微流体通道122和连接区域236可被视为微流体装置230的扫掠(或流动)区域。另一方面,隔离坞224、226、228的隔离区域240可以被认为是未扫掠的(或非流动的)区域。例如,微流体通道122中的第一流体介质180中的组分(未示出)可以基本上仅通过第一介质180的组分从微流体通道122通过连接区域236扩散到隔离区域240中的第二流体介质248中来与隔离区域240中的第二流体介质248混合。类似地,隔离区域240中的第二介质248的组分(未示出)可以基本上仅通过第二介质248的组分从隔离区域240通过连接区域236扩散到微流体通道122中的第一介质180中来与微流体通道122中的第一介质180混合。在一些实施方式中,隔离坞的隔离区域与通过扩散的流动区域之间的流体介质交换的程度为大于约90%、91%、92%、93%、94%、95%、96%、97%、98%、或大于约99%。第一介质180可以是与第二介质248相同的介质或不同的介质。此外,第一介质180和第二介质248可以开始相同,然后变得不同(例如,通过由隔离区域240中的一个或多个细胞或通过改变流过微流体通道122的介质180来调节第二介质248的通过条件)。

如上所述,由流体介质180在微流体通道122中的流体242引起的次级流体244的最大穿透深度Dp可以取决于多个参数。这样的参数的示例包括:微流体通道122的形状(例如,微流体通道可以将介质引导到连接区域236中,将介质从连接区域236转移走,或者在基本上垂直于连接区域236的近端开口234的方向上引导介质到微流体通道122);在近端开口234处的微流体通道122的宽度Wch(或横截面积);以及在近端开口234处的连接区域236的宽度Wcon(或横截面积);流体介质180的流体242在微流体通道122中的速率V;第一介质180和/或第二介质248的粘度等。

在一些实施方式中,微流体通道122和隔离坞224、226、228的尺寸可以相对于通道122中的流体介质180的流体242的向量来取向:通道宽度Wch(或微流体通道通道122的横截面积)可以基本上垂直于介质180的流体242;在开口234处的连接区域236的宽度Wcon(或横截面积)可以基本上平行于微流体通道122中的介质180的流体242;和/或连接区域的长度Lcon可以基本上垂直于通道122中的介质180的流体242。前述仅是示例,微流体通道122和隔离坞224、226、228的相对位置可以相对于彼此为其他取向。

如图2C所示,连接区域236的宽度Wcon可以从近端开口234到远端开口238是均匀的。因此,远端开口238处的连接区域236的宽度Wcon可以在本文针对近端开口234处的连接区域236的宽度Wcon所标识的任何值。可替代地,在远端开口238处的连接区域236的宽度Wcon可以大于在近端开口234处的连接区域236的宽度Wcon。

如图2C所示,在远端开口238处的隔离区240的宽度可以与近端开口234处的连接区域236的宽度Wcon基本上相同。因此,在远端开口238处的隔离区域240的宽度可以是本文中针对近端开口234处的连接区域236的宽度Wcon所标识的任何值。可替代地,在远端开口238处的隔离区域240的宽度可以大于或小于近端开口234处的连接区域236的宽度Wcon。此外,远端开口238可以小于近端开口234,并且连接区域236的宽度Wcon可以在近端开口234和远端开口238之间变窄。例如,连接区域236可以使用各种不同的几何形状(例如,对连接区域进行倒角、斜切)而在近端开口和远端开口之间变窄。此外,连接区域236的任何部分或子部分可以变窄(例如,连接区域的与近端开口234相邻的部分)。

图2D~图2F描绘了微流体装置250的另一示例性实施方式,微流体装置250包含微流体管路262和流动通道器264,其是图1A的对应的微流体装置100、线路132和通道134的变型。微流体装置250还具有多个隔离坞266,其是上述隔离坞124、126、128、130、224、226或228的另外的变型。特别地,应当理解,图2D~图2F中示出的装置250的隔离坞266可以代替装置100中的上述隔离坞124、126、128、130、224、226或228中的任一个。同样,微流体装置250是微流体装置100的另一变型,并且还可具有与上述微流体装置100、200、230、280、290、300相同或不同的DEP结构以及本文所述的任何其他微流体系统部件。

图2D~图2F的微流体装置250包括支撑结构(在图2D~图2F中不可见,但可与图1A中描绘的装置100的支撑结构104相同或大体上类似),微流体管路结构256和盖(在图2D-2F中不可见,但是可以与图1A中描绘的装置100的盖122相同或大体类似)。微流体管路结构256包括框架252和微流体管路材料260,其可以与图1A中所示的装置100的框架114和微流体管路材料116相同或大致类似。如图2D所示,由微流体管路材料260限定的微流体管路262可以包括多个通道264(示出了两个,但可以更多),多个隔离坞266流体连接到多个通道264。

每个隔离坞266可以包括隔离结构272、隔离结构272内的隔离区域270和连接区域268。从微流体通道264处的近端开口274至隔离结构272处的远端开口276,连接区域268将微流体通道264流体连接至隔离区域270。通常,根据以上对图2B和图2C的描述,通道264中的第一流体介质254的流体278可以创建从微流体通道264流入和/或流出隔离坞266的对应的连接区域268的第一介质254的次级流体282。

如图2E所示,每个隔离坞266的连接区域268通常包括在到通道264的近端开口274与到隔离结构272的远端开口276之间延伸的区域。连接区域268的长度Lcon可以大于次级流体282的最大穿透深度Dp,在这种情况下,次级流体282将延伸到连接区域268中而不被重新指定朝向隔离区域270(如图2D所示)。可替换地,如图2F所示,连接区域268可以具有小于最大穿透深度Dp的长度Lcon,在这种情况下,次级流体282将延伸穿过连接区域268并且朝向隔离区域270而被重新引导。在后一种情况下,连接区域268的长度Lc1和Lc2的总和大于最大穿透深度Dp,使得次级流体282将不延伸到隔离区域270中。无论连接区域268的长度Lcon是否大于穿透深度Dp,或者连接区域268的长度Lc1和Lc2的总和是否大于穿透深度Dp,通道264中不超过最大速率Vmax的第一介质254的流体278将产生具有穿透深度Dp的次级流,并且隔离坞266的隔离区域270中的微物体(未示出但可以与图2C中示出的微物体246相同或大致类似)将不会被通道264中的第一介质254的流体278从隔离区域270中抽出。通道264中的流体278也不将混杂材料(未示出)从通道264抽出到隔离坞266的隔离区域270中。因此,扩散是唯一的机制,通过该机制,微流体通道264中的第一介质254中的组分可以从微流体通道264移动到隔离坞266的隔离区域270中的第二介质258中。同样地,扩散是隔离坞266的隔离区域270中的第二介质258中的组分可以从隔离区域270移动到通道264中的第一介质254的唯一机制。第一介质254可以是与第二介质258相同的介质,或者第一介质254可以是与第二介质258不同的介质。或者,第一介质254和第二介质258可以在开始时相同,然后例如通过由隔离区域270中的一个或多个细胞调节第二介质而变得不同,或通过改变流过微流体通道264的介质。

如图2E所示,微流体通道264中的微流体通道264的宽度Wch(即,横向于流体介质流过微流体通道的的方向,如图2D中的箭头278所指示的)可以基本上垂直于近端开口274的宽度Wcon1并且基本上平行于远端开口276的宽度Wcon2。然而,近端开口274的宽度Wcon1和远端开口276的宽度Wcon2不需要基本上彼此垂直。例如,近端开口274的宽度Wcon1所取向的轴线(未示出)与远端开口276的宽度Wcon2所取向的另一个轴线之间的角度可以不是垂直因而不是90度。可替代地取向的角度的示例包括以下角度:约30度至约90度、约45度至约90度、约60度至约90度等。

在隔离坞(例如124、126、128、130、224、226、228或266)的各种实施方式中,隔离区域(例如240或270)被配置为包含多个微物体。在其他实施方式中,隔离区域可以被配置为仅包含一个、两个、三个、四个、五个或类似的相对少量的微物体。因此,隔离区的体积可以是例如至少1×106、2×106、4×106、6×106立方微米或更多。

在隔离坞的各种实施方式中,近端开口(例如,234)处的微流体通道(例如,122)的宽度Wch可以为:约50~1000微米、50~500微米、50-400微米、50~300微米、50~250微米、50~200微米、50~150微米、50~100微米、70~500微米、70~400微米、70~300微米、70~250微米、70~200微米、70~150微米、90-400微米、90~300微米、90~250微米、90~200微米、90~150微米、100~300微米、100~250微米、100~200微米、100~150微米或100~120微米。在一些其他实施方式中,近端开口(例如,234)处的微流体通道(例如,122)的宽度Wch可以在约200~800微米、200~700微米或200~600微米的范围内。前述内容仅是示例,微流体通道122的宽度Wch可以由上面列出的任何端点定义的宽度。此外,微流体通道122的Wch可以被选择为在除隔离坞的近端开口之外的微流体通道的区域中的这些宽度中的任一个。

在一些实施方案中,隔离坞的高度为约30至约200微米或约50至约150微米。在一些实施方式中,隔离坞的横截面积为约1×104~3×106平方微米、2×104~2×106平方微米、4×104~1×106平方微米、2×104~5×105平方微米、2×104是1×105平方微米或大约2×105~2×106平方微米。

在隔离坞的各种实施方式中,近端开口(例如,234)处的微流体通道(例如,122)的高度Hch可以是以下高度中的任何高度内的高度:20~100微米、20-90微米、20~80微米、20~70微米、20~60微米、20~50微米、30~100微米,30~90微米,30~80微米、30~70微米、30~60微米、30~50微米、40~100微米、40~90微米、40~80微米、40~70微米、40~60微米或40~50微米。前述仅是示例,并且微流体通道(例如,122)的高度Hch可以是以上列出的任何端点内的高度。微流体通道122的高度Hch可以被选择为在微流体通道的除了隔离坞的近端开口之外的区域中的这些高度中的任一个。

在隔离坞的各种实施方式中,在近端开口(例如,234)处的微流体通道(例如,122)的横截面积可以是约500~50,000平方微米、500~40,000平方微米、500~30,000平方微米、500~25,000平方微米、500~20,000平方微米、500~15,000平方微米、500~10,000平方微米、500~7,500平方微米、500~5,000平方微米、1,000~25,000平方微米、1,000~20,000平方微米、1,000~15,000平方微米、1,000~10,000平方微米、1,000~7,500平方微米、1,000~5,000平方微米、2,000~20,000平方微米、2,000~15,000平方微米、2,000~10,000平方微米、2,000~7,500平方微米、2,000~6,000平方微米、3,000~20,000平方微米、3,000~15,000平方微米、3,000~10,000平方微米、3,000~7,500平方微米、或3,000~6,000平方微米。前述仅是示例,并且在近端开口(例如,234)处的微流体通道(例如,122)的横截面积可以是上面列出的任何端点内的任何区域。

在隔离坞的各种实施方式中,连接区域(例如,236)的长度Lcon可以是大约1~600微米、5~550微米、10~500微米、15~400微米、20~300微米,20~500微米、40~400微米、60~300微米、80~200微米或约100~150微米。前述内容仅是示例,并且连接区域(例如,236)的长度Lcon可以在以上列出的任何端点内的任何长度中。

在隔离坞的各种实施方式中,近端开口(例如,234)处的连接区域(例如,236)的宽度Wcon可为约20~500微米、20~400微米、20~300微米、20~200微米、20~150微米、20~100微米、20~80微米、20~20微米、30~400微米、30~300微米、30~200微米、30~150微米、30~100微米、30~80微米、30~60微米、40~300微米、40~200微米、40~150微米、40~100微米、40~80微米、40~60微米、50~250微米、50~200微米、50~150微米、50~100微米、50~80微米、60~200微米、60~150微米、60~100微米、60~80微米、70~150微米、70~100微米或80~100微米。前述仅为示例,并且近端开口(例如,234)处的连接区域(例如,236)的宽度Wcon可不同于前述示例(例如,上述任何端点内的任何值)。

在隔离坞的各种实施方案中,近端开口(例如,234)处的连接区域(例如,236)的宽度Wcon可至少与针对隔离坞的微物体(例如,生物细胞,其可为T细胞、B细胞或胚珠或胚胎)的最大尺寸一样大,。前述仅是示例,并且近端开口(例如,234)处的连接区域(例如,236)的宽度Wcon可不同于前述示例(例如,以上列出的任何端点内的宽度)。

在隔离坞的各种实施方案中,连接区域的近端开口的宽度Wpr可以至少与针对隔离坞的微物体(例如,生物微物体例如细胞)的最大尺寸一样大。例如,宽度Wpr可为约50微米、约60微米、约100微米、约200微米、约300微米或可为约50~300微米、约50~200微米、约50~100微米、约75~150微米、约75~100微米或约200~300微米。

在隔离坞的各种实施方式中,连接区域(例如,236)的长度Lcon与近端开口234处的连接区域(例如,236)的宽度Wcon的比率可以大于或等于以下比率中的任一个:0.5、1.0、1.5、2.0、2.5、3.0、3.5、4.0、4.5、5.0、6.0、7.0、8.0、9.0、10.0或更多。前述仅是示例,并且连接区域236的长度Lcon与近端开口234处的连接区域236的宽度Wcon的比率可以不同于前述示例。

在微流体装置100、200、23、250、280、290、300的各种实施方式中,Vmax可以设定为约0.2、0.5、0.7、1.0、1.3、1.5、2.0、2.5、3.0、3.5、4.0、4.5、5.0、5.5、6.0、6.7、7.0、7.5、8.0、8.5、9.0、10、11、12、13、14或15微升/秒。

在具有隔离坞的微流体装置的各种实施方式中,隔离坞的隔离区(例如,240)的体积可以是例如至少5×105、8×105、1×106、2×106、4×106、6×106、8×106、1×107、5×107、1×108、5×108、8×108立方微米或更大。在具有隔离坞的微流体装置的各种实施方式中,隔离坞的体积可以是约5×105、6×105、8×105、1×106、2×106、4×106、8×106、1×107、3×107、5×107或约8×107立方微米或更大。在一些其他实施方式中,隔离坞的体积可以是约1纳升到约50纳升、2纳升到约25纳升、2纳升到约20纳升、约2纳升到约15纳升、或约2纳升到约10纳升。

在各种实施方案中,微流体装置具有如本文所讨论的任何实施方案中配置的隔离坞,其中微流体装置具有约5至约10个隔离坞、约10~约50个隔离坞、约100~约500个隔离坞、约200至约1000个隔离坞、约500至约1500隔离坞、约1000至约2000隔离坞、约1000至约3500隔离坞、约3000至约7000隔离坞、约5000~约10,000个隔离坞、约9,000~约15,000个隔离坞、或约12,000~约20,000个隔离坞。隔离坞不需要全部是相同的尺寸,并且可以包括各种配置(例如,隔离坞内的不同的宽度、不同特征)。

图2G示出了根据一个实施方式的微流体装置280。图2G所示的微流体装置280是微流体装置100的程式化图。特别地,微流体装置280及其组成管路元件(例如,通道122和隔离坞128)将具有本文所讨论的尺寸。图2G中所示的微流体管路120具有两个端口107、四个不同的通道122和四个不同的流动路径106。微流体装置280还包括向每个通道122开口的多个隔离坞。在图2G所示的微流体装置中,隔离坞具有类似于在图2C中示出的坞的几何形状,并且因此具有连接区域和隔离区域两者。因此,微流体管路120包括扫掠区域(例如,通道122和次级流体244的最大穿透深度Dp内的通道122和连接区域236的部分)和非扫掠区域(例如,隔离区域240和连接区域236的不在次级流体244的最大穿透深度Dp内的部分)。

图3A至3B示出了根据本公开的可用于操作和观察微流体装置(例如,100、200、230、250、280、290、300)的系统150的各种实施方式。如图3A中所示,系统150可包括被配置为保持微流体装置100(未示出)或本文所述的任何其他微流体装置的结构(“巢”)300。巢300可包含能够与微流体装置320(例如,光学致动的电动装置100)接合并提供从电源192到微流体装置320的电连接的插口302。巢300还可以包括集成电信号生成子系统304。电信号生成子系统304可以被配置为向插口302提供偏置电压,使得当插口302被保持时,横跨微流体装置320中的一对电极施加偏置电压。因此,电信号生成子系统304可以是电源192的一部分。将偏置电压施加到微流体装置320的能力并不意味着在微流体装置320由插口302保持时将始终施加偏置电压。相反,在大多数情况下,偏置电压将被间歇地施加,例如,仅根据需要来促进微流体装置320中的电动力学力,例如介电泳或电润湿的产生。

如图3A所示,巢300可以包括印刷电路板组件(PCBA)322。电信号生成子系统304可以被安装在PCBA 322上并且被电集成到PCBA 322中。示例性支撑件还包括安装在PCBA 322上的插口302。

通常,电信号生成子系统304包括波形发生器(未示出)。电信号生成子系统304还可以包括示波器(未示出)和/或波形放大电路(未示出),其被配置为放大从波形发生器接收的波形。示波器(如果存在)可被配置为测量供应到由插口302保持的微流体装置320的波形。在某些实施方式中,示波器测量在微流体装置320近端(和远离波形发生器)的位置处的波形,从而确保测量实际上施加到装置的波形时的更高精度。从示波器测量获得的数据可以例如作为反馈被提供给波形发生器,并且波形发生器可以被配置为基于这样的反馈来调整其输出。合适的组合波形发生器和示波器的示例是RedPitayaTM

在某些实施方式中,巢300还包括控制器308,例如用于感测和/或控制电信号生成子系统304的微处理器。合适的微处理器的示例包括ArduinoTM微处理器,例如Arduino NanoTM微处理器。控制器308可以用于执行功能和分析,或者可以与外部主控制器154(在图1A中示出)通信以执行功能和分析。在图3A所示的实施方式中,控制器308通过接口310(例如,插头或连接器)与主控制器154通信。

在一些实施方式中,巢300可以包括电信号生成子系统304,所述电信号生成子系统304包括RedPitayaTM波形发生器/示波器单元(“Red Pitaya单元”)和放大由RedPitayaTM单元产生的波形并将放大的电压传递到微流体装置100的波形放大电路。在一些实施方式中,RedPitayaTM单元被配置为测量微流体装置320处的放大后的电压,且接着根据需要调整其自身的输出电压,使得微流体装置320处的所测量电压为期望值。在一些实施方式中,波形放大电路可以具有由安装在PCBA322上的一对DC-DC转换器生成的+6.5V到-6.5V的电源,导致微流体装置100处高达13Vpp的信号。

如图3A所示,支撑结构300还可以包括热控制子系统306。热控制子系统306可被配置为调节由支撑结构300(例如巢)保持的微流体装置320的温度。例如,热控制子系统306可以包括Peltier热电设备(未示出)和冷却单元(未示出)。Peltier热电设备可以具有被配置为与微流体装置320的至少一个表面接合的第一表面。冷却单元可以是例如冷却块(未示出),例如液体冷却的铝块。Peltier热电设备的第二表面(例如,与第一表面对置的表面)可以被配置为与这样的冷却块的表面接合。冷却块可以连接到流体路径314,流体路径314被配置为使冷却流体循环通过冷却块。在图3A所示的实施方式中,支撑结构300包括入口316和出口318,以接收来自外部储存器(未示出)的冷却流体,将冷却流体引入流体路径314并通过冷却块,然后将冷却的流体返回到外部储存器。在一些实施方式中,Peltier热电设备、冷却单元和/或流体路径314可以安装在支撑结构300的壳体312上。在一些实施方式中,热控制子系统306被配置为调节珀尔帖热电装置的温度,以便实现微流体装置320的目标温度。例如,Peltier热电设备的温度调节可以通过诸如PololuTM热电电源(Pololu Robotics and Electronics Corp.)的热电电源来实现。热控制子系统306可以包括反馈电路,诸如由模拟电路提供的温度值。或者,反馈电路可由数字电路提供。

在一些实施方式中,巢300可以包括具有反馈电路的热控制子系统306,该反馈电路是模拟分压器电路(未示出),该模拟分压器电路包括电阻器(例如,具有1kΩ+/-0.1%的电阻,+/-0.02ppm/C0的温度系数)和NTC热敏电阻(例如,标称电阻为1kΩ+/-0.01%)。在一些情况下,热控制子系统306测量来自反馈电路的电压,并且然后使用所计算的温度值作为到机载PID控制环路算法的输入。PID控制循环算法的输出可以驱动例如PololuTM电动机驱动器(未示出)上的方向和脉冲宽度调制的信号引脚,以使热电电源致动,从而控制Peltier热电设备。

巢300可以包括串行端口324,其允许控制器308的微处理器经由接口310(未示出)与外部主控制器154进行通信。另外,控制器308的微处理器可以与电信号生成子系统304和热控制子系统306进行通信(例如,经由Plink工具(未示出))。因此,经由控制器308、接口310和串行端口324的组合,电信号生成子系统304和热控制子系统306可以与外部主控制器154进行通信。以这种方式,除了其他方面之外,主控制器154还可以通过执行用于输出电压调节的换算(scaling)计算来辅助电信号生成子系统304。通过耦接到外部主控制器154的显示装置170所提供的图形用户界面(GUI)(未示出)可以被配置为绘制分别从热控制子系统306和电信号生成子系统304获得的温度和波形数据。或者或此外,GUI可以允许更新控制器308、热控制子系统306和电信号生成子系统304。

如上所述,系统150可以包括成像装置194。在一些实施方式中,成像装置194包括光调制子系统330(参见图3B)。光调制子系统330可包含数字镜装置(DMD)或微光闸阵列系统(MSA),其任一者可被配置为从光源332接收光,且将所接收光的子集发射到显微镜350的光学系统中。或者,光调制子系统330可包含产生其自身光(且因此无需光源332而分配)的装置,例如有机发光二极管显示器(OLED)、硅基液晶(LCOS)装置、硅装置上的铁电液晶(FLOS)或透射液晶显示器(LCD)。光调制子系统330可以是例如投影仪。因此,光调制子系统330能够发射结构光和非结构光两者。在某些实施方式中,系统150的成像模块164和/或运动模块162可控制光调制子系统330。

在某些实施方式中,成像装置194还包括显微镜350。在这样的实施方式中,巢300和光调制子系统330可以被单独地配置为安装在显微镜350上。显微镜350可以是例如标准研究级别的光显微镜或荧光显微镜。因此,巢300可以被配置为安装在显微镜350的平台344上,和/或光调制子系统330可以被配置为安装在显微镜350的端口上。在其他实施方式中,这里描述的巢300和光调制子系统330可以是显微镜350的集成组件。

在某些实施方式中,显微镜350还可以包括一个或多个检测器348。在一些实施方式中,检测器348由成像模块164控制。检测器348可包含目镜、电荷耦合装置(CCD)、相机(例如,数码相机)或其任何组合。如果存在至少两个检测器348,则一个检测器可以是例如快速帧速率相机,而另一个检测器可以是高灵敏度相机。此外,显微镜350可以包括光学系统,该光学系统被配置为从微流体装置320接收反射和/或发射的光,并且将反射和/或发射的光的至少一部分聚焦在一个或多个检测器348上。显微镜的光学系统还可以包括用于不同检测器的不同的镜筒透镜(未示出),使得每个检测器上的最终放大率可以不同。

在某些实施方式中,成像装置194被配置为使用至少两个光源。例如,第一光源332可以用于产生结构光(例如,经由光调制子系统330),并且第二光源334可以用于提供非结构光。第一光源332可以产生用于光学致动电动力学和/或荧光激发的结构光,并且第二光源334可以用于提供明场照明。在这些实施方式中,运动模块164可以用于控制第一光源332,并且成像模块164可以用于控制第二光源334。显微镜350的光学系统可以被配置为(1)从光调制子系统330接收结构光,并且当装置被巢300保持时,将结构光聚焦在微流体设备(诸如光学致动的电动装置)中的至少第一区域上,以及(2)接收来自微流体装置的反射和/或发射的光并且将这样的反射和/或发射的光的至少一部分聚焦到检测器348上。光学系统还可以被配置为从第二光源接收非结构光,并且当设备由巢300保持时将非结构光聚焦在微流体设备的至少第二区域上。在某些实施方式中,微流体装置的第一区域和第二区域可以是重叠区域。例如,第一区域可以是第二区域的子集。在其他实施方式中,第二光源334可另外或替代地包含激光器,所述激光器可具有任何合适波长的光。图3B中所示的光学系统的表示仅是示意性表示,并且光学系统可以包括附加滤波器、陷波滤波器、透镜等。当第二光源334包括用于明场和/或荧光激发的一个或多个光源以及激光照射时,光源的物理布置可以与图3B中所示的不同,并且可以在光学系统内的任何合适的物理位置处引入激光照射。光源334和光源332/光调制子系统330的示意性位置也可以互换。

在图3B中,第一光源332被示为将光提供给光调制子系统330,其将结构光提供给系统355(未示出)的显微镜350的光具组。第二光源334被示为经由分束器336将非结构光提供给光具组。来自光调制子系统330的结构光和来自第二光源33的非结构光一起从分束器336通过光具组行进到达第二分束器(或二向色滤光器338,取决于光调制子系统330提供的光),在此光通过物镜336向下反射到样本平面342。然后来自样本平面342的被反射和/或发射的光通过物镜340、通过分束器和/或二向色滤光器338返回至二向色滤光器346。到达二向色滤光器346的仅仅一部分光穿过并到达检测器348。

在一些实施方式中,第二光源334发射蓝光。利用适当的二向色滤光器346,从样本平面342反射的蓝光能够穿过二向色滤光器346并到达检测器348。相比之下,来自光调制子系统330的结构光从样本平面342反射,但不穿过二向色滤波器346。在该示例中,二向色滤光器346滤除波长大于495nm的可见光。如果从光调制子系统发射的光不包括短于495nm的任何波长,则仅完成来自光调制子系统330的光的过滤(如图所示)。实际上,如果来自光调制子系统330的光包括短于495nm的波长(例如,蓝光波长),则来自光调制子系统的一些光将穿过滤波器346到达检测器348。在这样的实施方式中,滤波器346用于改变从第一光源332和第二光源334到达检测器348的光量之间的平衡。如果第一光源332明显强于第二光源334,则这会是有益的。在其他实施方式中,第二光源334可以发射红光,并且二向色滤光器346可以滤除除了红光之外的可见光(例如,波长比红光短的的可见光)。

涂层溶液和涂层剂。不希望受理论的限制,当微流体装置的至少一个或多个内表面已经被调节或涂覆以便呈现时,可以促进微流体装置(例如,DEP结构和/或EW结构的微流体装置)内的生物微物体(例如,生物细胞)的培养(即,生物微物体在微流体装置内表现出增加的活性,更大的扩增和/或更大的移植性),以展现有机和/或亲水分子层,其提供微流体装置和保持在其中的生物微物体之间的主要界面并且被保持在其中。在一些实施方案中,微流体装置的一个或多个内表面(例如,DEP结构的微流体装置的电极激活衬底的内表面、微流体装置的盖、和/或管路材料的表面)可以用涂层溶液和/或涂层剂处理或修饰,以产生所需的有机和/或亲水分子层。

涂层可在引入生物微物体之前或之后施加,或可与生物微物体同时引入。在一些实施方案中,生物微物体可在包括一种或多种涂层剂的流体介质中导入微流体装置中。在其他实施方式中,微流体装置的内表面(例如,DEP结构的微流体装置)在将生物微物体引入微流体装置之前,用包含涂层剂的涂层溶液处理或“引发”配置的微流体装置。

在一些实施方案中,微流体装置的至少一个表面包括涂层材料,该涂层材料提供适合于生物微物体的培养和/或扩增的有机和/或亲水性分子层(例如,提供如下所述的调节后的表面)。在一些实施方式中,微流体装置的基本上所有内表面都包括涂层材料。涂层的内表面可以包括流动区域(例如,通道)、腔室或隔离坞或其组合的表面。在一些实施方式中,多个隔离坞中的每一个具有涂覆有涂层材料的至少一个内表面。在其他实施方式中,多个流动区域或通道中的每一个具有涂覆有涂层材料的至少一个内表面。在一些实施方式中,多个隔离坞中的每一个和多个通道中的每一个的至少一个内表面涂覆有涂层材料。

涂层剂/溶液。可以使用任何方便的涂层剂/涂层溶液,包括但不限于:血清或血清因子、牛血清白蛋白(BSA)、聚合物、去污剂、酶及其任何组合。

基于聚合物的涂层材料。所述至少一个内表面可以包括包含聚合物的涂层材料。聚合物可以与至少一个表面共价或非共价结合(或可以非特异性地粘附)。聚合物可以具有多种结构基序,例如在嵌段聚合物(和共聚物)、星形聚合物(星形共聚物)和接枝或梳状聚合物(接枝共聚物)中发现的,所有这些都可以适用于本文公开的方法。

聚合物可以包括包含亚烷基醚部分的聚合物。多种含亚烷基醚的聚合物可适用于本文所述的微流体装置中。含亚烷基醚的聚合物的一个非限制性示例性类是两性非离子嵌段共聚物,其包括聚环氧乙烷(PEO)和聚环氧丙烷(PPO)亚单元的嵌段,其在聚合物链内具有不同的比率和位置。聚合物(BASF)是这种类型的嵌段共聚物,并且在本领域中已知适用于与活细胞接触时使用。聚合物的平均分子量Mw可以为约2000Da至约20kDa。在一些实施方案中,PEO-PPO嵌段共聚物可具有大于约10(例如12~18)的亲水亲油平衡(HLB)。可用于产生涂层表面的具体的聚合物包括L44、L64、P85和F127(包括F127NF)。另一类含亚烷基醚的聚合物是聚乙二醇(PEGMw<100,000DA)或可选地聚环氧乙烷(PEO,Mw>100,000)。在一些实施方式中,PEG可具有约1000Da、5000Da、10,000Da或20,000Da的Mw。

在其他实施方案中,涂层材料可包括含有羧酸部分的聚合物。羧酸子单元可以是含有亚单元的烷基、烯基或芳香族部分的子单元。一个非限制性实例是聚乳酸(PLA)。在其他实施方案中,涂层材料可以包括含有磷酸酯部分的聚合物,所述聚合物在聚合物主链的末端或者来自聚合物主链的侧链。在其他实施方案中,涂层材料可以包括含有磺酸部分的聚合物。磺酸子单元可以是含有烷基、烯基或芳基部分的子单元。一个非限制性实例为聚苯乙烯磺酸(PSSA)或聚茴香脑磺酸。在进一步的实施方案中,涂层材料可以包括包含胺部分的聚合物。聚氨基聚合物可包括天然聚胺聚合物或合成聚胺聚合物。天然多胺的实例包括精胺、亚精胺和腐胺。

在其他实施方案中,涂层材料可以包括含有糖部分的聚合物。在非限制性实例中,诸如黄原胶或葡聚糖的多糖可适合于形成可减少或防止微流体装置中的细胞粘附的材料。例如,具有约3kDa的尺寸的葡聚糖聚合物可用于为微流体装置内的表面提供涂层材料。

在其他实施方案中,涂层材料可以包括含有核苷酸部分的聚合物,即核酸,其可以具有核糖核苷酸部分或脱氧核糖核苷酸部分,从而提供聚电解质表面。核酸可仅含有天然核苷酸部分或可含有非天然核苷酸部分,其包含核碱基、核糖或磷酸酯部分类似物,例如7-脱氮杂腺嘌呤、戊糖、甲基膦酸或硫代磷酸酯部分,但不限于此。

在其他实施方案中,涂层材料可包括含有氨基酸部分的聚合物。含有氨基酸部分的聚合物可包括含有天然氨基酸的聚合物或含有非天然氨基酸的聚合物,其中任一者可包含肽、多肽或蛋白质。在一个非限制性实例中,蛋白质可以是牛血清白蛋白(BSA)和/或血清(或多个不同血清的组合),其包含白蛋白和/或一种或多种其他类似蛋白质作为涂层剂。血清可以来自任何方便的来源,包括但不限于胎牛血清、绵羊血清、山羊血清、马血清等。在某些实施方案中,涂层溶液中的BSA以约1mg/mL至约100mg/mL的浓度存在,包括5mg/mL、10mg/mL、20mg/mL、30mg/mL、40mg/mL、50mg/mL、60mg/mL、70mg/mL、80mg/mL、90mg/mL,或更多或两者之间的任何地方。在某些实施方案中,涂层溶液中的血清可以约20%(v/v)至约50%v/v的浓度存在,包括25%、30%、35%、40%、45%或更多或介于两者之间。在一些实施方案中,BSA可作为涂层溶液以5mg/mL存在于涂层溶液中,而在其他实施方案中,BSA可作为涂层剂存在于70mg/mL的涂层溶液中。在某些实施方案中,血清作为涂层剂以30%存在于涂层溶液中。在一些实施方案中,可以在涂层材料内提供细胞外基质(ECM)蛋白以优化细胞粘附以促进细胞生长。可包括在涂层材料中的细胞基质蛋白可包括但不限于胶原蛋白、弹性蛋白、含RGD的肽(例如纤连蛋白)或层粘连蛋白。在其他实施方案中,生长因子、细胞因子、激素或其他细胞信号物质可存在于微流体装置的涂层材料内。

在一些实施方案中,涂层材料可包括含有环氧烷部分、羧酸部分、磺酸部分、磷酸酯部分、糖部分的聚合物、核苷酸部分或氨基酸部分中超过一种的聚合物。在其他实施方案中,聚合物处理表面可包括多种聚合物的混合物,每个聚合物具有环氧烷部分、羧酸部分、磺酸部分、磷酸酯部分、糖部分、核苷酸部分和/或氨基酸部分,其可以独立地或同时地掺入到包衣材料中。

共价连接的涂层材料。在一些实施方案中,所述至少一个内表面包括共价连接的分子,其提供适合于生物微物体在微流体装置内的培养/扩增的有机和/或亲水性分子层,提供用于此类细胞的处理后的表面。

共价连接的分子包括连接基团,其中连接基团共价连接到微流体装置的一个或多个表面,如下所述。连接基团还与被配置为提供适合于生物微物体的培养/扩增的有机和/或亲水分子层的部分共价连接。

在一些实施方案中,被配置为提供适合于生物微物体的培养/扩增的有机和/或亲水性分子层的共价连接部分可包括烷基或氟烷基(其包括全氟烷基)部分;单糖或多糖(其可包括但不限于葡聚糖);醇(包括但不限于炔丙醇);多元醇,包括但不限于聚乙烯醇;亚烷基醚,包括但不限于聚乙二醇;聚电解质(包括但不限于聚丙烯酸或聚乙烯基膦酸);氨基基团(包括其衍生物,例如但不限于烷基化的胺、羟基烷基化的氨基、胍盐和含有非芳香化的氮环原子的杂环基团,例如但不限于吗啉基或哌嗪基);羧酸,包括但不限于丙酸(其可提供羧酸根阴离子表面);膦酸,包括但不限于乙炔膦酸(其可提供膦酸盐阴离子表面);磺酸根阴离子;羧基甜菜碱;磺基甜菜碱;氨基磺酸;或氨基酸。

在各种实施方案中,被配置为提供适于微流体装置中的生物微物体的培养/扩增的有机和/或亲水性分子层的共价连接部分可包含非聚合部分,例如烷基部分、取代的烷基部分、例如氟烷基部分(包括但不限于全氟烷基部分)、氨基酸部分、醇部分、氨基部分、羧酸部分、膦酸部分、磺酸部分、氨基磺酸部分或糖部分。或者,共价连接的部分可包括聚合物部分,其可以是上述任何部分。

在一些实施方案中,共价连接的烷基部分可以包含形成直链(例如,至少10个碳、或至少14、16、18、20、22或更多个碳的直链链)的碳原子并且可以是无支链的烷基部分。在一些实施方案中,烷基可以包括取代的烷基(例如,烷基中的一些碳可以是氟化的或全氟化的)。在一些实施方案中,烷基可包括第一链段,第一链段可包括全氟烷基,第一链段连接至第二链段,第二链段包括未取代的烷基,其中第一链段和第二链段可直接或间接连接(例如,借助于醚键)。烷基的第一链段可以位于连接基团的远端,并且烷基的第二链段可以位于连接基团的近端。

在其他实施方案中,共价连接的部分可包括至少一个氨基酸,其可包括多于一种类型的氨基酸。因此,共价连接的部分可包括肽或蛋白质。在一些实施方案中,共价连接的部分可包括可提供两性离子表面以支持细胞生长、活性、移植性或其任何组合的氨基酸。

在其他实施方案中,共价连接的部分可以包括至少一个环氧烷部分,并且可以包括如上所述的任何环氧烷烃聚合物。一类有用的含亚烷基醚的聚合物是聚乙二醇(PEG MW<100,000DA)或可选地聚环氧乙烷(PEO,MW>100,000)。在一些实施方式中,PEG可具有约1000Da、5000Da、10,000Da或20000Da的MW。

共价连接的部分可以包括一种或多种糖类。共价连接的糖可以是单糖、二糖或多糖。共价连接的糖可以被修饰以引入反应性配对部分,其允许偶联或精制以附着于表面。示例性的反应性配对部分可包括醛、炔烃或卤素部分。多糖可以随机方式修饰,其中可以修饰多糖单体中的每一种或仅修饰多糖内的糖单体的一部分以提供可以直接或间接偶联到表面的反应性配对部分。一个示例可包括葡聚糖多糖,其可通过未支化的连接基团间接偶联至表面。

共价连接的部分可包括一个或多个氨基。氨基可以是取代的胺部分、胍部分、含氮杂环部分或杂芳基部分。含氨基部分可具有允许对微流体装置内以及任选地对隔离坞和/或流动区域(例如,通道)内的环境进行pH修饰的结构。

提供处理后的表面的涂层材料可以仅包含一种共价连接的部分,或者可以包括多种不同种类的共价连接的部分。例如,氟烷基调理的表面(包括全氟烷基)可具有多个共价连接的部分,其全部相同,例如具有相同的连接基团和共价连接至表面,相同的总长度和相同数量的包含氟烷基部分的氟亚甲基单元。或者,涂层材料可具有附着于表面的多种共价连接的部分。例如,包衣材料可以包括具有共价连接的、具有指定数量的亚甲基或亚甲基单元的烷基或氟烷基部分的分子,并且可以还包括具有共价连接到具有更多数量的亚甲基或亚甲基单元的烷基或氟烷基链的带电部分的另外一组分子,这可以提供在涂层表面上呈现较大部分的能力。在这种情况下,具有不同的、较低空间需求的末端和主链原子的第一组分子可以帮助使整个衬底表面功能化,从而防止不期望的衬底本身与硅/氧化硅、氧化铪或氧化铝的粘附或接触。在另一个实例中,共价连接的部分可以提供在表面上以随机方式呈现交替电荷的两性离子表面。

处理后的表面性质。除了处理后的表面的组成之外,诸如疏水材料的物理厚度的其他因素可影响DEP力。各种因素可以改变处理后的表面的物理厚度,诸如在衬底上形成处理后的表面的方式(例如气相沉积、液相沉积、旋涂、浸渍和静电涂覆)。在一些实施方案中,处理后的表面具有如下的厚度:约1nm至约10nm;约1nm至约7nm;约1nm至约5nm;或它们之间的任何单独的值。在其他实施方案中,由共价连接的部分形成的处理后的表面可具有约10nm至约50nm的厚度。在各种实施方案中,如本文所述制备的处理后的表面具有小于10nm的厚度。在一些实施方案中,当共价连接至微流体装置的表面(例如,DEP结构的衬底表面)时,处理后的表面的共价连接的部分可形成单层,并且可具有小于10nm的厚度(例如,小于5nm,或约1.5至3.0nm)。这些值与通过旋涂制备的表面的值相反,例如,其通常可以具有约30nm的厚度。在一些实施方案中,处理后的表面不需要完美地形成的单层以适当地用于在DEP结构的微流体装置内的操作。

在各种实施方式中,提供微流体装置的处理后的表面的涂层材料可提供所需的电性质。不希望受理论的限制,影响涂覆有特定涂层材料的表面的坚固性的一个因素是固有电荷捕获。不同的涂层材料可捕获电子,这可导致包衣材料的击穿。涂层材料中的缺陷可增加电荷捕获且导致涂层材料的进一步击穿。类似地,不同的涂层材料具有不同的介电强度(即导致介电击穿的最小施加电场),其可能影响电荷捕获。在某些实施方式中,涂层材料可具有减少或限制电荷捕捉量的整体结构(例如,致密堆积的单层结构)。

除了其电性质外,处理后的表面还可具有有益于与生物分子一起使用的性质。例如,相对于烷基封端的链,含有氟化(或全氟化)碳链的处理后的表面可以在减少表面结垢的量方面提供益处。如本文所用,表面结垢是指在微流体装置的表面上的不区分材料沉积的量,其可包括生物材料(诸如蛋白质及其降解产物、酸和各自的降解产物等)的永久或半永久沉积。

单一或多部分处理后的表面。共价连接的涂层材料可以通过分子的反应形成,该分子已经含有被配置为提供适合于在微流体装置中培养/扩增生物微物体的有机和/或亲水分子层的部分,如下所述。或者,共价连接的涂层材料可以通过偶联被配置为提供有机和/或亲水分子层的两部分序列形成,该分子适合于将生物微物体培养/扩增到自身已经共价连接到表面的表面修饰配体。

制备共价连接的涂层材料的方法。在一些实施方案中,与微流体装置的表面(例如,包括隔离坞和/或流动区域的至少一个表面)共价连接的涂层材料具有式1或式2的结构。当在一个步骤中将涂层材料引入表面时,其具有式1的结构,而当在多步骤方法中引入涂层材料时,其具有式2的结构。

涂层材料可以共价地连接到DEP结构或EW结构的衬底。DEP结构或EW结构的衬底可以包括硅、氧化硅、氧化铝或氧化铪。氧化物可以作为衬底的天然化学结构的一部分存在,或者可以如下所述引入。

涂层材料可以经由连接基团(“LG”)与氧化物连接,该连接基团可以是由硅氧烷或膦酸基团与氧化物的反应形成的甲硅烷氧基或膦酸酯基团。被配置为提供适用于生物微物体在微流体装置中的培养/扩增的有机和/或亲水性分子层的部分可以是本文所述的任何部分。连接基团LG可以直接或间接地连接到被配置为提供适合于在微流体装置中培养/扩增生物微物体的有机和/或亲水分子层的部分。当连接基团LG直接连接至部分时,不存在任选的连接基团(“L”)且n为0。当连接基团LG间接连接至部分时,连接基团L存在且n为1。连接基团L可以具有线性部分,其中线性部分的主链可以包括选自硅、碳、氮、氧、硫和/或磷原子的任意组合的1至200个非氢原子,其受本领域已知的化学结合限制。它可以被一个或多个部分的任意组合中断,其可以选自醚、氨基、羰基、酰氨基和/或膦酸酯基团、亚芳基、杂亚芳基或杂环基团。在一些实施方案中,连接基团L的主链可以包括10至20个原子。在其他实施方案中,连接基团L的主链可以包括约5个原子至约200个原子;约10个原子至约80个原子;约10个原子至约50个原子;或约10个原子至约40个原子。在一些实施方案中,骨架原子全部是碳原子。

在一些实施方案中,被配置为提供适合于生物微物体的培养/扩增的有机和/或亲水性分子层的部分可在多步骤过程中被添加到衬底的表面,并且具有如上所示的式2的结构。该部分可以是上述任何部分。

在一些实施方案中,偶联基团CG表示由反应性部分Rx和反应性配对部分Rpx(即,被配置为与反应性部分Rx反应的部分)的反应得到的基团。例如,一个典型的偶联基团CG可以包括羧酰氨基基团,其是氨基与羧酸衍生物反应的结果,例如活化酯、酰氯等。其他CG可包括三唑基、羧酰胺基、硫代酰胺基、肟基、巯基、二硫化物、醚基或烯基,或可在反应性部分与其相应的反应性配对部分反应后形成的任何其他合适的基团。偶联基团CG可以位于连接基团L的第二末端(即,与配置成提供适于培养/扩增微流体装置中的生物微物体的有机和/或亲水分子层的部分接近的端),其可以包括如上所述的任何元素组合。在一些其他实施方案中,偶联基团CG可以中断连接基团L的主链。当偶联基团CG是三唑基时,它可以是由偶联偶合反应产生的产物,并且可以进一步被取代(例如,二苯并环辛烯基稠合三唑基)。

在一些实施方案中,使用化学气相沉积将涂层材料(或表面修饰配体)沉积在微流体装置的内表面上。可任选地例如通过预清洁盖110、微流体管路材料116和/或衬底(例如,DEP结构的衬底的电极激活衬底206的内表面208,或EW结构的衬底的支撑结构104的介电层)、通过暴露于溶剂浴、超声处理或其组合来改进气相沉积过程。作为另外一种选择或除此之外,这种预清洁可包括在氧等离子体清洁剂中处理盖110、微流体管路材料116和/或衬底,这可移除各种杂质,而同时引入氧化表面(例如表面上的氧化物,其可以如本文所述共价修饰)。或者,可使用液相处理,例如盐酸和过氧化氢的混合物或硫酸和过氧化氢的混合物(例如,食人鱼(piranha)溶液,其硫酸与过氧化氢的比例可为约3:1至约7:1)来代替氧等离子体清洁剂。

在一些实施方式中,在微流体装置200已被组装以形成限定微流体管路120的外壳102之后,使用气相沉积来涂覆微流体装置200的内表面。在不希望受理论限制的情况下,在完全组装的微流体管路120上沉积这样的涂层材料可以有益于防止由微流体管路材料116与电极激活衬底206介电层和/或盖110之间的弱化结合引起的分层。在采用两步法的实施方案中,表面修饰配体可以通过如上所述的气相沉积引入,随后引入部分被配置为提供适合于生物微物体的培养/扩增的有机和/或亲水分子层。随后的反应可以通过将表面修饰的微流体装置暴露于溶液中的合适的偶联剂来进行。

图2H描绘了具有提供处理后的的表面的示例性共价连接的涂层材料的微流体装置290的横截面图。如图所示,涂层材料298(示意性地示出)可以包括共价结合到衬底286的内表面294和微流体装置290的盖288的内表面292上的密集堆积的分子的单层,衬底286可以是DEP衬底。包衣材料298可设置在微流体装置290的外壳284近端并朝向内侧的基本上所有内表面294、292上,包括在一些实施方案中和如上所述的,微流体管路材料(未示出)的表面用于限定微流体装置290内的管路元件和/或结构。在替代实施方式中,涂层材料298可以仅设置在微流体装置290的一个或一些内表面上。

在图2H所示的实施方案中,涂层材料298可以包括有机硅氧烷分子的单层,每个分子经由甲硅烷氧基连接基团296共价结合到微流体装置290的内表面292、294。可以使用任何上述涂层材料298(例如烷基封端的、氟烷基封端的部分、PEG封端的部分、右旋糖酐封端的部分或含有用于有机甲硅烷氧基部分的正电荷或负电荷的末端部分),其中封端部分设置在其朝向外壳的封端(即,未结合到内表面292、294并且接近外壳284的涂层材料298的单层的部分)。

在其他实施方案中,用于涂覆微流体装置290的内表面292、294的涂层材料298可包括阴离子、阳离子或两性离子部分或其任何组合。不受理论的限制,通过在微流体管路120的外壳284的内表面处呈现阳离子部分、阴离子部分和/或两性离子部分,涂层材料298可与水分子形成强氢键,使得所得到的水合水充当将生物微物体与非生物分子(例如,衬底的硅和/或氧化硅)相互作用分开的层(或“屏障物”)。此外,在涂层材料298与涂层剂结合使用的实施方案中,涂层材料298的阴离子、阳离子和/或两性离子可与存在于外壳284中的介质180(例如,涂层溶液)中的非共价涂层剂(例如溶液中的蛋白质)的带电部分形成离子键。

在其他实施方案中,涂层材料可包含或通过化学修饰以在其朝向外壳的封端呈现亲水性涂层剂。在一些实施方案中,涂层材料可包括含亚烷基醚的聚合物,例如PEG。在一些实施方式中,涂层材料可以包括多糖,例如葡聚糖。与上面讨论的带电部分(例如,阴离子、阳离子和两性离子部分)一样,亲水性涂层剂可以与水分子形成强氢键,使得所得到的水合水充当将生物微物体与非生物分子(例如,衬底的硅和/或氧化硅)的相互作用分离的层(或“屏障物”)。

合适的涂层处理和修饰的进一步细节可见于2016年4月22日提交的申请号为15/135,707的美国专利申请,并且其全部内容通过引用并入本文。

用于培养微流体装置的隔离坞内的细胞的活性的另外的系统部件。为了促进细胞群的生长和/或扩增,有助于培养功能细胞的环境条件可由系统的其他组件提供。例如,这样的其他组件可以提供营养物、细胞生长信号物质、pH调节、气体交换、温度控制和从细胞中移除废物产物。

计算机系统

图7是示出了可以在其上实现本教导的实施方式或实施方式的部分的计算机系统1000的框图。在本教导的各种实施方式中,计算机系统1000可包括总线1002或用于传送信息的其他通信机制、以及与总线1002耦合以用于处理信息的处理器1004。在各种实施方式中,计算机系统1000还可以包括存储器1006,其可以是耦合到总线1002的随机存取存储器(RAM)或其他动态存储设备,用于确定要由处理器1004执行的指令。存储器1006还可以用于在要由处理器1004执行的指令的执行期间存储临时变量或其他中间信息。在各种实施方式中,计算机系统1000还可以包括耦合到总线1002的只读存储器(ROM)1008或其他静态存储设备,用于存储用于处理器1004的静态信息和指令。诸如磁盘或光盘的存储设备1010可以被提供并且耦合到总线1002以用于存储信息和指令。

在各种实施方式中,计算机系统1000可经由总线1002耦合到显示器1012,例如阴极射线管(CRT)或液晶显示器(LCD),用于向计算机用户显示信息。包括字母数字和其他键的输入设备1014可以耦合到总线1002,用于向处理器1004传送信息和命令选择。另一种类型的用户输入设备是光标控件1016,诸如鼠标、轨迹球或光标方向键,用于向处理器1004传送方向信息和命令选择以及用于控制显示器1012上的光标移动。该输入设备1014通常在两个轴(第一轴(即x)和第二轴(即y))中具有两个自由度,其允许设备指定平面中的位置。然而,应当理解,本文还设想了允许三维(x、y和z)光标移动的输入设备1014。

根据本教导的某些实施方式,计算机系统1000可以响应于处理器1004执行存储器1006中包含的一个或多个指令的一个或多个序列来提供结果。此类指令可从另一计算机可读介质或计算机可读存储介质(例如,存储装置1010)读取到存储器1006中。包含在存储器1006中的指令序列的执行可以使处理器1004执行本文描述的过程。可替代地,可以使用硬连线电路来代替软件指令或与软件指令组合来实现本教导。因此,本教导的实施方式不限于硬件电路和软件的任何特定组合。

如本文所使用的术语“计算机可读介质”(例如,数据保存、数据存储等)或“计算机可读存储介质”是指参与向处理器1004提供指令以供执行的任何介质。这样的介质可以采取许多形式,包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的示例可以包括但不限于光学、固态、磁盘,诸如存储设备1010。易失性介质的示例可以包括但不限于动态存储器,诸如存储器1006。传输介质的示例可包括但不限于同轴电缆、铜线和光纤,包括具有总线1002的导线。

计算机可读介质的常见形式包括例如软盘、软磁盘机、硬盘、磁带或任何其他磁介质、CD-ROM、任何其他光学介质,打孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒、或者计算机可以从中读取的任何其他有形介质。

除了计算机可读介质之外,可以将指令或数据提供为包括在通信装置或系统中的传输介质上的信号,以向计算机系统1000的处理器1004提供用于执行的一个或多个指令的序列。例如,通信装置可以包括具有指示指令和数据的信号的收发机。所述指令和数据被配置为致使一或多个处理器实施本文中所概述的功能。数据通信传输连接的代表性示例可以包括但不限于:电话调制解调器连接、广域网(WAN)、局域网(LAN)、红外数据连接,NFC连接等

应当理解,本文描述的方法包括流程图、图表和所附的公开内容可以使用作为独立设备的计算机系统1000实现或在诸如云计算网络之类的共享计算机处理资源的分布式网络上实现。

还应当理解,在某些实施方式中,提供了用于存储用于执行或进行本文描述的方法的非暂时性机器可读指令的机器可读存储设备。机器可读指令可以控制以下详细描述的图像处理、卷积神经网络(CNN)流(下面详细描述)、逻辑和存储器模块、以及微物体检测和计数的所有方面。此外,机器可读指令可以最初被加载到存储器模块中或者经由云或者经由API被访问。

感兴趣的微物体的自动检测。在一个方面,提供了用于自动检测图像中的感兴趣的微物体的方法,特别是数字图像(或已经被数字化的图像)。感兴趣的微物体可设置在微流体装置内。感兴趣的微物体可以是细胞,例如哺乳动物细胞(例如,血细胞、杂交瘤、癌细胞、转化细胞、配子、胚胎等)。或者,感兴趣的微物体可以是珠,例如可以用在测定中(例如,微珠、磁珠等)。所述方法可涉及使用机器学习算法来处理图像数据(即,与图像中的像素有关的数据)。机器学习算法可以包括神经网络,诸如卷积神经网络。

图像分类需要接收输入图像并输出最佳地描述图像的类别或类别的概率。这可以使用配备有处理引擎的计算机系统来完成,该处理引擎利用算法来处理输入图像并输出结果。图像检测还可以利用类似的处理引擎,由此系统接收输入图像并且使用预先编程到处理引擎中的算法以高精度地识别该图像内的感兴趣的物体。

关于输入图像,系统通常将输入图像取向为像素值的阵列。这些像素值取决于图像分辨率和大小,对应于(长度)×(宽度)×(通道的#)的数字阵列。通道的数量也可以被称为深度。例如,该阵列可以是LxWx红绿蓝颜色模型(RBG值)。RGB将被认为是三个通道,每个通道表示RGB颜色模型中的三种颜色中的一种。例如,系统通常可以用20×20×3(对于RGB)的代表性阵列来表征20×20图像,其中阵列中的每个点被分配表示像素强度的值(例如,0至255)。给定该值的阵列,处理引擎可以使用其算法来处理这些值,以输出描述图像的概率是某个类别(例如,对于细胞为0.80,对于细胞壁为0.15,对于无细胞为0.05)。

卷积神经网络(CNN)通常通过首先寻找诸如边缘和曲线的低级特征来实现图像处理和分类/检测的高级形式,然后通过一系列卷积层推进到更抽象的(例如,被分类的图像的类型唯一的)概念。CNN可以通过使图像通过一系列卷积、非线性、汇集(或下采样,如将在下面更详细地讨论的)和完全连接的层并且获得输出来实现。同样,输出可以是单个类别或类别的概率,其最好地描述图像或检测图像上的物体。

关于CNN中的层,第一层通常是卷积层(Conv)。此第一层将使用一系列参数来处理图像的代表性阵列。CNN不是将图像作为整体来处理,而是将使用滤波器(或神经元或内核)来分析图像子集的集合。子集将包括阵列中的焦点以及周围点。例如,滤波器可以检查32×32图像中的一系列5×5区(或区域)。这些区域可以被称为感受野。由于滤波器通常将具有与输入相同的深度,所以尺寸为32×32×3的图像将具有相同深度的滤波器(例如,5×5×3)。使用上述示例性尺寸对滤波器进行卷积的实际步骤包括沿输入图像滑动滤波器、将滤波器值与图像的原始像素值相乘以计算逐元素的乘法(element wise multiplications)、以及将这些值求和以得到该图像的该检查区域的单个数字。

在完成此卷积步骤之后,使用5×5×3滤波器,将产生具有28×28×1的尺寸的激活图(或滤波器映射)。对于所使用的每个附加层,空间维数被更好地保留,使得使用两个滤波器将导致28×28×2的激活图。每一滤光器通常将具有其表示(例如,色彩、边缘、曲线等)的独特特征,所述独特特征一起表示最终图像输出所需的特征识别符。这些滤波器在组合使用时允许CNN处理图像输入以检测存在于每个像素处的那些特征。因此,如果滤波器用作曲线检测器,则滤波器沿着图像输入的卷积将在激活图中产生数字阵列,其对应于曲线的高可能性(高总和元素分量乘法)、曲线的低可能性(低总和元素分量乘法)或零值,其中在某些点处的输入体积不会激活曲线检测器滤波器。因此,在Conv(卷积)中的滤波器(也被称为通道)的数量越多,激活图上提供的深度(或数据)就越多,因此有关输入的更多信息将导致更准确的输出。

与CNN的准确性平衡是产生结果所需的处理时间和功率。换言之,使用的滤波器(或通道)越多,执行卷积所需的时间和处理功率就越多。因此,应当特别选择满足CNN方法的需要的滤波器(或通道)的选择和数量,以便在考虑可用时间和功率的同时产生尽可能准确的输出。

为了进一步使CNN能够检测更复杂的特征,可以添加附加的卷积以分析来自先前卷积(即,激活图)的输出。例如,如果第一卷积寻找诸如曲线或边缘的基本特征,则第二卷积可以寻找更复杂的特征,诸如形状,其可以是在较早的卷积层中检测到的各个特征的组合。通过提供一系列卷积,CNN可以检测越来越高级的特征以最终达到检测特定期望物体的可能。此外,当卷积堆叠在彼此之上时,分析先前的激活图输出,堆栈中的每个卷积自然地通过在每个卷积级别出现的按比例缩小来分析越来越大的感受野,从而允许CNN在检测感兴趣物体时响应像素空间的增长区域。

CNN架构通常由一组处理块组成,该组处理块包括用于卷积输入体积(图像)的至少一个处理块和用于去卷积(或转置卷积)的至少一个处理块。此外,处理块可以包括至少一个池化块(pooling block)和上池化块(unpooling block)。池化块可以用于按分辨率缩小图像以产生可用于卷积的输出。这可以有助于计算效率(高效的时间和功率),这进而可以改善CNN的实际性能。这些池化或上采样块会使滤波器变小并且计算要求合理,这些块可以使输出粗化(可以导致感受野内的空间信息的丢失),从输入的大小以特定的比例进行减小。

可以使用上池化的块来重构这些粗略的输出,以产生具有与输入体积相同的维数的输出体积。上池化块可以被认为是卷积块的反向操作,以将激活输出返回到原始输入体积维数。

然而,上池化块处理通常仅简单地将粗略输出放大成稀疏激活图。为了避免这种结果,去卷积块将该稀疏激活图致密化以产生最终在任何进一步必要的处理之后的最终输出体积,该最终输出体积的尺寸和密度更接近输入体积的尺寸和密度。作为卷积块的反向操作,去卷积块将单个激活输出点与多个输出相关联以放大和致密所得的激活输出,而不是将接收场中的多个阵列点减小到单个数。

应当注意,池化块可以用于缩小图像并且上池化块可以用于放大这些按比例缩小的激活图,而卷积和去卷积块可以被构造为卷积/去卷积和缩小/放大,而不需要单独的池化和上池化块。

池化和上池化处理可以具有取决于在图像输入中检测到的感兴趣的物体的缺陷。由于池化通常通过在不重叠窗口的情况下查看子图像窗口来按比例缩小图像,因此随着缩小发生,空间信息的损失明显。

处理块可以包括用卷积或去卷积层封装的其他层。这些可以包括,例如,经整流的线性单元层(ReLU)或指数线性单元层(ELU),其为在其处理块中检查来自卷积的输出的激活函数。ReLU或ELU层用作门函数以仅推进对应于对卷积唯一的感兴趣特征的正检测的那些值。

给定基本架构,然后为训练过程准备CNN以训练其在图像分类/检测(感兴趣的物体)中的准确性。这涉及称为反向传播的过程(“反向传播”),其使用训练数据集或用于训练CNN的样本图像,使得其在达到最优或阈值准确度时更新其参数。反向传播涉及一系列重复的步骤(训练迭代),这取决于回溯的参数,将缓慢地或快速地训练CNN。反向传播步骤通常包括前向传递、损失函数、向后传递和根据给定学习速率的参数(权重)更新。前向传递涉及通过CNN传递训练图像。损失函数是输出中的误差的量度。后向通过确定损失函数的影响因素。权重更新涉及更新滤波器的参数以使CNN朝向最优移动。学习速率确定每次迭代的权重更新的程度以达到最优。如果学习速率太低,则训练可能花费太长并且涉及太多的处理能力。如果学习速率太快,则每个权重更新可能过大,以允许精确地实现给定的最优或阈值。

反向传播过程可导致训练的复杂化,从而导致在训练开始时对于较低的学习速率和更具体地并且更仔细地确定的初始参数的需要。一种这样的复杂化是,当在每次迭代结束时发生权重更新时,对卷积的参数的改变放大了网络工作的深度,使其更深。举例来说,如果CNN具有多个卷积,如上文所论述,所述多个卷积允许较高层级特征分析,则对第一卷积的参数更新在每一后续卷积处相乘。净效应是参数的最小改变可取决于给定CNN的深度而具有大的影响。这种现象被称为内部协变量移位。

本文公开的实施方式相对于已知的CNN具有若干优点。这些优点包括,例如,提供避免池化层中固有的丢失空间信息的CNN,减少/最小化了在反向传播过程中固有的内部协变量移位,并且减少了深度神经网络中通常需要的处理时间和速率以实现更复杂的特征检测。

如上所述,CNN由多层感受野(multiple layers of receptive fields)组成。这些是处理输入图像的各部分的“神经元”(或内核)集群。然后平铺这些集群的输出,使得它们的输入区域重叠,以获得更好的原始图像;对于每个这样的层重复这一点。平铺允许CNN容忍输入图像的平移。例如,已经在Long等人的“用于语义分割的完全卷积网络”CVPR2015,和Noh等人的“用于语义分割的学习解卷积网络”ICCV 2015中描述了CNN,这些文献中的每一个的内容通过引用并入本文。

CNN可以包括卷积层和完全连接层的组合,其中在每层的末端或之后应用逐点非线性。引入对小输入区域的卷积操作以减少自由参数的数量并改善泛化。卷积网络的一个主要优点是在卷积层中使用共享权重,这意味着对于层中的每个像素使用相同的滤波器(权重组);这既减少了内存占用,又提高了性能。

在一个实施方式中,CNN由通过可微分函数将输入体积变换为输出体积(例如,保持类别得分)的不同层的堆叠形成。

在该实施方案中,将该实施方式的卷积层定义为空的、单克隆的和多克隆的。层的参数可以包括一组可学习的滤波器,其具有小的感受野,但是延伸到输入体积的整个深度。在正向传递期间,每个滤波器在输入体积的宽度和高度上进行卷积,计算滤波器的条目与输入之间的点积,并且产生该滤波器的二维激活图。结果,网络学习在输入中的某个空间位置处看到某个特定类型的特征时激活的过滤器。

沿着深度维度对所有过滤器的激活图进行堆叠形成卷积层的全部输出体积。因此,输出体积中的每个条目也可以被解释为在输入中查看小区域并且与同一激活图中的神经元共享参数的神经元的输出。

在一个实施方式中,空间布置基于控制卷积层的输出体积的大小的超参数:诸如深度、步幅和零填充。

在一个实施方式中,输出体积的深度控制连接到输入体积的相同区域的层中的神经元的数量。所有这些神经元将学习以激活输入中的不同特征。例如,如果第一卷积层将原始图像作为输入,则沿着深度维度的不同神经元可以在存在各种取向边缘或颜色斑点的情况下激活。

在一个实施方式中,步幅(stride)控制如何分配围绕空间维度(宽度和高度)的深度列。当步幅为1时,新的神经元的深度列被分配给仅相隔1个空间单位的空间位置。这导致列之间的接收场的严重重叠,并且还导致大的输出体积。相反地,如果使用较高的步幅,则感受野将重叠较少,并且所得的输出体积将在空间上具有较小的尺寸。

有时,在输入体积的边界上用零填充输入是方便的。该零填充的大小是第三超参数。零填充提供对输出体积空间大小的控制。特别地,有时期望精确地保留输入体积的空间大小。

在该实施方式中,在卷积层中使用参数共享方案来控制自由参数的数量。它依赖于一个合理的假设:如果一个补丁特征对于在某个空间位置处计算是有用的,则在不同的位置计算也应当是有用的。换句话说,将深度的单个二维切片表示为深度切片,我们将每个深度切片中的神经元约束为使用相同的权重和偏差。

由于单个深度切片中的所有神经元共享相同的参数化,因此卷积层的每个深度切片中的正向传递可被计算为神经元的权重与输入体积的卷积(因此名称:卷积层)。

因此,通常将权重集合称为与输入卷积的滤波器。此卷积的结果为激活图,且用于每一不同滤波器的激活图集合沿深度维度堆叠在一起以产生输出体积。参数共享有助于CNN架构的平移不变性。

在各种实施方式中,提供神经网络(或CNN),如例如图7的神经网络700所示。与示例神经网络有关的附加细节在图8和图9A~图9D中示出,并且将仅在描述该实施方式时用于参考目的,因为由图8和图9A~图9D所捕获的CNN特征可以与图7的所示网络或本文中的各种其他实施方式结合使用。

在图7中,神经网络700包括第一下采样块710、第二下采样块730和第三下采样块750,其具有相关联的第一处理块720、第二处理块740和第三处理块760(或残差网络块)。第一下采样块710接收输入图像701。如所说明,每一向下采样块之后可跟随其相关联的处理(或残差)块。如下面详细讨论的,处理(或残差)块可以是单分支或多分支的。

CNN可以包括多个下采样块(例如,图7中的三个),其中每个下采样块可以包括下采样卷积层(Conv),批量归一化(Norm)层,以及包括门函数的激活层。

图8B示出了下采样块的示例,其接收输入871并提供输出879,并且包括具有内核尺寸D×D的卷积874、批量归一化层876和激活层878。激活层可以是例如ELU或ReLU。在各种实施方式中,激活层直接从批量归一化层接收图像数据,该批量归一化层直接从下采样卷积层接收图像数据。下采样卷积层可以起到降低其接收的图像数据的空间分辨率的作用。这将参考图9A~图9D更详细地讨论。

处理块(或残差网络块)可以是单个分支处理块或多分支处理块,其中每个分支处理来自先前下采样块的输出,且接着组合两个分支的输出以产生下采样的激活图以用于进一步下采样或上采样到最终输出。

图8A说明被配置为从上游下采样块(未描绘,参见与图8B相关的讨论)接收输入805(例如,以激活图的形式)的多分支处理块800(或残差网络块)的实例。块800包括第一分支810和第二分支840。第一分支810包括:具有NxN的内核的第一卷积层815(Conv)、从第一卷积815接收数据的第一批量归一化(norm)层820、从第一批量归一化层820接收数据的第一激活层825(其可以包括或充当门函数)、具有MxM内核的第二卷积830接收通过第一激活层825的数据、以及接收来自第二卷积830的数据的第二批量归一化层835。需要注意的是,卷积815(N×N)和830(M×M)的内核可以具有相同的大小或者可以不同。如图9A~图9C所示(下面讨论),在所示的残差网络中,来自串行卷积的内核是相同的(3×3)。无论如何,卷积815/830通常优选具有大于1×1的内核。

第二分支840包括第三卷积845、从第三卷积845接收数据的第三批量归一化层850和从第三批量归一化层850接收数据的第二激活层855(其可以包括或充当门函数)。块800还包括重组层860,其接收来自第二批量归一化层835和通过第二激活层855的数据两者的数据。最后,块800包括块激活层862,其可以在从块800产生输出864用于进一步处理之前,用作从重组层860接收的数据的门函数。如上所述,激活层可以是例如ELU或ReLU。在各种实施方案中,激活层是ELU。

在图8中,第二分支840处理从先前下采样块接收的图像数据到比第一分支810小的程度。具体地,第二分支840的第三卷积845使用1×1的滤波器窗口(或维数或内核),而第一分支810的第一和第二卷积815/830分别使用NxN和MxM的滤波器窗口(或维数或内核),如上所述,其通常将大于1×1。可以根据需要调整这些滤波器窗口,考虑的因素例如是图像类型、图像质量、对象类型、对象物体大小、对象形状、输出要求、时间约束、步幅长度(下面讨论)和功率/处理资源。例如,第一和第二卷积815/830可以使用3×3的滤波器窗口(或维数)(参见下面的图9A~图9D,示出了该滤波器窗口大小)。

虽然图8中的两个分支都具有步幅为1的卷积,但是步幅也可以不同。然而,为了允许重组层860是有效的,将卷积815/830的步幅乘以第一分支810的乘积必须等于第二分支840的卷积845的步幅。

在激活步骤之前插入批量归一化层提供了有助于使内部协变量移位最小化的优点。通过这样插入批量归一化层,并且通过扩展,在卷积之后,批量归一化可以对卷积的输出进行归一化,从而将归一化数据提供给激活步骤,从而允许激活的更稳定的分布。通过最小化反向传播过程期间的内部协变量移位,可以经由较高的学习速率(权重更新的程度)更积极地进行训练神经网络,从而导致更快的CNN学习,而不损失效率和准确度,因为CNN朝着网络中的给定过滤器的最优参数工作。

此外,添加具有最低限度处理的信息(例如,1×1卷积分支)的分支的残差网络允许在训练期间的更容易的学习。该最低限度处理的分支提供更直接的路径以跟踪较早参数对最终结果的影响。实际上,此分支与给定残差网络内的跳过连接(以下将更详细地论述)相同的目的,从而允许一些信息未改变地通过网络以便不会丢失在下采样期间可能丢失的空间信息。

因此,总之,单独使用残差网络并且与批量归一化层组合允许在训练期间比现有技术中已知的神经网络更容易和更有效的学习。该优点通过例如在下采样期间保持更多的空间信息并最小化内部协变量移位来实现。最小化空间信息的损失也使用步幅(以下更详细地讨论)来实现,其在下采样期间允许更多重叠与已知方法,诸如池化,以及跳过连接,这允许在神经网络过程期间前馈较少处理的信息(在上面讨论的下采样步骤中,并转向到上采样步骤,如下所述)。

通过使用多分支残差网络,特别是使用1×1滤波器窗口(即,未被下采样)的分支中的一个,神经网络被允许进一步卷积来自前面的卷积的输出数据,同时保持相同的分辨率以确保组合每个像素作为单个窗口的分析,在重组层860处,具有来自另一分支的数据(其可以在更大的内核或滤波器大小处经历多个卷积)以输出质量图像数据(不是从前面的卷积下采样),为进一步的下采样做准备。

返回到图7,神经网络700还包含第一上采样块770、第二上采样块780和第三上采样块790,其中输出799紧随第三上采样块790。每个上采样块可以包括转置卷积(或去卷积)层、上采样批量归一化层和包括门函数的上采样激活层。

图8C示出了上采样块的示例,该上采样块接收输入881并提供输出889,并且包括具有内核尺寸Z×Z、批量归一化层886和激活层888的转置卷积884。将参照图9A~图9D更详细地讨论这些子组件。每一上采样块的转置卷积层可被配置为增加其接收的图像数据的空间分辨率,且由此重建下采样的输出。另外,一个或多个上采样块中还可包含重组层,由此来自上采样批量归一化层的图像数据与来自先前残差网络块的图像数据合并(经由跳过连接,下面讨论)。

关于神经网络的架构,上采样块的数目可被配置为等于下采样块的数目。在各种实施方式中,神经网络具有n个下采样块、n个残差网络(或处理)块、n个上采样块、以及包括重组层的n-1个上采样块(参见图9D的讨论)。如下文将更详细地论述,随着空间分辨率在下采样过程期间微小地减小,人们可能希望以相同分数速率增加空间分辨率。举例来说,如果每次通过下采样块(或组合的下采样及残差网络块)将空间分辨率减半(二分之一),那么又可最有效地将空间分辨率加倍(二倍)回到原始图像尺寸。这可导致相等数目的下采样和上采样块。

例如,在图7中,每个卷积将图像数据的空间分辨率降低到二分之一,并且每个转置卷积将图像数据的空间分辨率增加二倍。空间分辨率的降低可以例如通过一次滑动卷积滤波器(或内核)两个像素来实现。这两个像素滑动被称为步幅长度。在每次滑动两个像素的情况下,步幅将为2。通过使用步幅长度2,卷积可以通过将从卷积输出的激活图的尺寸减半来对采样进行下采样。

然而,通过跨步而不是如以上所教导的池化,可以避免在池化中可能固有的空间信息的损失。滤波器大小确定多少局部信息引入单个像素分析中以影响网络中的下一层的每个像素。通常,滤波器大小是奇数,以便以感兴趣的像素为中心。例如,5×5滤波器将检查周围的24个像素以分析给定区域的一个中心像素。利用池化,检查第一区域以有效地确定对应于该第一区域中的像素的单个值。一旦滤波器移动到第二区域,在该滤波器扫描期间不再分析第一区域中的像素。这可能导致非常误导、粗糙或不准确的结果,这取决于所进行的图像分析的类型(例如,检测到的物体类型)。

另一方面,使用步幅理论,一旦检查了第一区域(例如,5×5区域),并且对于第二区域(也是5×5)发生了两像素步幅,显然会通过重叠使像素点不止一次被查看并被考虑到多个像素的决策中,同时仍允许进行下采样,因为两像素步幅采样的最终结果将导致图像输出(激活图输出)的大小是之前的一半。因此,与池化相比,通过跨步,下采样将发生更少的空间信息损失。用于确定适当步幅长度的因素包括例如图像类型、图像质量、物体类型、物体大小、物体形状、输出要求、时间约束和功率/处理资源。

如所说明,如果输入图像701的空间分辨率为X,则下采样块710可将空间分辨率降低一半到X/2,接着通过向下采样块730降低到X/4,接着通过下采样块750降低到X/8。上采样块770然后可以将X/8输入加倍到X/4、块780将其加倍到X/2并且块790将其加倍到X,或者在输出799加倍到原始大小。图7在视觉上表示每个下采样块的高度减小和每个上采样块的高度增加。

随着下采样的进行,CNN可以被设计为增加其处理的特征复杂度,从较低层级特征分析变为较高层特征分析。如先前所讨论的,为了进一步使得CNN能够检测更复杂的特征,可以添加附加的卷积以分析来自先前卷积(即,激活图)的哪些输出。例如,如果第一卷积寻找诸如曲线或边缘的基本特征,则第二卷积可以寻找更复杂的特征,诸如形状,其可以是在较早的卷积中检测到的各个特征的组合。通过提供一系列卷积,CNN可以检测越来越高级的特征以最终达到特定的期望物体检测。此外,当卷积堆叠在彼此之上时,分析先前的激活图输出,堆栈中的每个卷积自然地通过在每个卷积级别出现的按比例缩小来分析越来越大的感受野,从而允许CNN响应于在检测到感兴趣的物体时的像素空间的增长区域。

在图7中,每个卷积和处理块将通道深度增加二倍,并且每个上采样块将通道深度降低到二分之一,直到第三上采样块790。如图所示,在下采样块710和处理块720处,使用32个通道或滤波器。在下采样块730和处理块740处,通道的数量是64。最后,下采样块750和处理块760使用128个通道。相反,上采样块770将通道减半回到64,上采样块780将其减少到32,且上采样块790到3(其重要性将在下文中更详细地论述)。图7一般地表示通道使用的这种增加和减少,其中每个下采样块的宽度增加并且每个上采样块的宽度减小(最终块790除外)。

而空间分辨率(原始、X/2、X/4、X/8、X/4、X/2、原始)的变化率几乎与通道深度速率(0、32、64、128、64、32、3)是相反的,这对于CNN架构不是必需的。然而,空间分辨率与通道数的一致变化有利地允许CNN通过使滤波器深度的顺序增加与输入数据的顺序减小(激活图维度)偏移来使输出799的时间、处理能力和质量最大化。实际上,随着对CNN的处理需求随着通过每个连续下采样块的滤波器深度而增加,CNN通过减少通过每个连续下采样块的图像阵列输入(激活图维度)来使其偏移以允许CNN分析较大深度的较小输入。相应地,反向发生将上采样块备份到输出799。

还可以通过一种形式的跳过架构来辅助图像体积的重建。例如,在神经网络中插入的跳过连接可以将信息从较早的下采样层投影到稍后的上采样层,使得该较早的、最小处理的信息成为重构过程的一部分。在不使用跳跃架构的情况下,在初始卷积层中捕获的一些信息(其可极大地帮助在上采样期间的重建)将在下采样过程期间已丢失。换句话说,这些有价值的信息将被下采样到可能变得太抽象以至于不能进一步使用信息。使用跳过架构将此信息从主层提供给后面的上采样层允许保留较早的信息并用于有效的上采样。

在各种实施方式中,神经网络可以包括具有从第二残差网络块(例如,经由跳过连接)接收图像数据的重组层的第一上采样块、具有从第一残差网络块(例如,经由跳过连接)接收图像数据的重组层的第二上采样块,及不包含重组层的第三上采样块。

在图7中,例如,提供了第一跳过连接792和第二跳过连接794。第一跳过连接792在X/2分辨率下将输出信息从处理块720前馈到上采样块780的重组层,同样在X/2分辨率后批量归一化(以下讨论)。经由该跳过连接,神经网络以与对应的上采样块相同的分辨率提供较早和最低程度处理的信息,以允许更准确和高效的上采样。第二跳过连接794类似地通过将来自处理块740的在X/4分辨率下的输出信息前馈到上采样块770的重组层,同样在X/4分辨率后批量归一化(下文论述)。

如上所述,CNN可以用于许多目的,包括图像分类和图像检测(也包括图像内的物体检测)。因此,取决于CNN的目标,输出必须回答对CNN提出的主要问题。在本文的各种实施方式中,CNN用于图像检测。在各种实施方式中,可以使用图像检测来检测感兴趣的物体。在各种实施方式中,感兴趣的物体可以是微物体。在各种实施方式中,图像检测可用于将微物体分类为多个微物体类型中的至少一者。在各种实施方式中,微物体是生物细胞。在各种实施方案中,生物细胞是免疫细胞,例如T细胞、B细胞、NK细胞、巨噬细胞或其组合。在各种实施方案中,生物细胞是来自细胞株(例如CHO细胞)或癌细胞的细胞。在各种实施方案中,生物细胞是卵母细胞、精子或胚胎。

关于图7的上采样块790中的三个通道的所说明使用,在各种实施方式中,利用CNN的系统从图像输入获得微物体计数。系统可以通过注释输入图像的多个像素来做到这一点,该组的每个像素注释表示图像中的对应像素表示对应的微物体特性的概率。根据该分析,可以获得微物体计数。在各种实施方式中,所述多个微物体特性包括至少三个微物体特性。在各种实施方式中,多个微物体特性至少包括微物体中心、微物体边缘和非微物体(或细胞中心、细胞边缘和非细胞)。图7的上采样块790示出了通过其三个通道深度的这三个微物体表征。因此,图7的最后的上采样块790提供神经网络700确定准确的微物体(例如,单元)计数所需的物体表征。

图9A~图9D示出了根据各种实施方式的更详细的卷积神经网络(CNN)900的示意图。该示意图结合了以上讨论的许多神经网络原理,并且出于该原因,这些原理将不被详细地重复。然而,应注意,虽然原理可以是类似的,但本文中各种实施方式中所使用的参数全部可基于如上文所论述的特定原因而变化,其包含例如图像类型、图像质量、物体类型、物体大小、物体形状、输出要求、时间约束和功率/处理资源。因此,在图9A~图9D的示意图中使用的参数仅是示例。

为了取向目的,图9A从左到右示出了根据各种实施方式的第一下采样块910,之后是第一残差网络块920。图9B从左到右示出了根据各种实施方式的从第一残差网络块920(图9A的)接收数据的第二下采样块930,之后是第二残差网络块940。图9C从左到右示出了根据各种实施方式的从第二残差网络块940(图9B的)接收数据的第三下采样块950,之后是第三残差网络块960。图9D从左到右示出了第一上采样块970、第二上采样块980和第三上采样块990。第一上采样块970从第三残差网络块960接收数据(图9C),并且包括第一上采样重组层976,由此来自第一上采样块970的批量归一化层的数据与来自经由第二跳过连接994前馈的第二残差网络块940的最终ELU层948的数据重组。类似地,第二上采样块980包括第二上采样重组层986,由此来自第二上采样块980的批量归一化层的数据与来自经由第一跳过连接992前馈的第一残差网络块920的最终ELU层928的数据重组。

返回参考图9A,CNN900包括被配置为接收图像输入901的第一下采样块910。第一下采样块910包括第一卷积912、第一批量归一化层914和第一激活层916(例如,图9A中的ELU)。第一卷积912可以具有用于内核尺寸和步幅的不同参数。这里,内核是5×5并且步幅是两个像素。来自层916的输出馈送第一残差网络块920,其包括第一分支922和第二分支924。对于残差网络的布局的一般讨论,参见图8。在第一分支922中,两个卷积具有3×3的内核尺寸。图9A还示出了馈送前向数据的第一跳过连接992的开始,如前所述,该前向数据在第一重组层926和第一ELU928之后输出。还应注意,CNN900的该阶段的缩小是2倍(下采样到到1/2空间分辨率),并且在该阶段使用32个通道的特征。

参考图9B,CNN900还包括第二下采样块930,其包括第二卷积932、第二批量归一化层934和第二激活层936(例如,图9B中的ELU)。第二下采样块930被配置为接收来自第一ELU928的输出。第二卷积932可具有用于内核尺寸和步幅的不同参数。在此,内核再次为5×5,并且步幅再次是两个像素。来自层936的输出馈送第二残差网络块940,其包括第三分支942和第四分支944。对于残差网络的布局的一般讨论,参见图8。在第一分支942中,两个卷积具有3×3的内核尺寸。图9B还示出了馈送前向数据的第二跳过连接994的开始,如前所述,该前向数据在第二重组层946和第二ELU948之后输出。还应注意,CNN900的该阶段相对于图9A的先前阶段的缩小倍数是2倍(相对于初始,下采样为1/4空间分辨率),并且在该阶段使用64个通道的特征。

参考图9C,CNN900包括第三下采样块950,其包括第三卷积952、第三批量归一化层954和第三激活层956(例如,图9C中的ELU)。第三下采样块950被配置为接收来自第二ELU948的输出。第三卷积952可以具有用于内核尺寸和步幅的不同参数。在此,内核再次为5×5,并且步幅再次是两个像素。来自层956的输出馈送第三残差网络块960,其包含第五分支962和第六分支964。对于残差网络的布局的一般讨论,参见图8。在第五分支962中,两个卷积具有3×3的内核尺寸。还应注意,CNN900的该阶段的缩小倍数是2倍(下采样到1/8空间分辨率),并且在该阶段使用128个通道的特征。

参考图9D,CNN900包括第一上采样块970、第二上采样块980和第三上采样块990。第一上采样块970包括第一上采样卷积972、第一上采样批量归一化层974、第一上采样重组层976和第一上采样激活层978(例如,ELU)。第一上采样重组层976被配置为从第一跳过连接992接收输入,将所述输入与来自第一上采样批量归一化层974的输出组合,且将所述组合输出馈送到第一上采样激活层978。如上文参考下采样卷积912/932/952所述,上采样卷积层可具有用于内核尺寸及步幅的不同参数。在此,针对第一上采样卷积972,内核是5×5并且步幅是两个像素。还要注意的是,相对于来自第三残差网络960的输出,CNN900的该阶段的放大倍数为2(上采样到1/4空间分辨率),并且在该阶段使用64个通道的特征。

第二上采样块980包括第二上采样卷积982、第二上采样批量归一化层984、第二上采样重组层986和第二上采样激活层988(例如,ELU)。第二上采样重组层986被配置为从第二跳过连接994接收输入,将所述输入与来自第二上采样批量归一化层984的输出组合,且将所述组合输出馈送到第二上采样激活层988。如上文参考下采样卷积912/932/952所述,上采样卷积层可具有用于内核尺寸及步幅的不同参数。在此,针对第二上采样卷积982,内核是5×5并且步幅是两个像素。还要注意的是,相对于来自第三残差网络970的输出,CNN900的该阶段的放大倍数为2(上采样到1/2空间分辨率),并且在该阶段使用32个通道的特征。

第三上采样块990包括第三上采样卷积992、第三上采样批量归一化层994以及第三上采样激活层996(例如,ELU)。层996产生用于CNN900的输出999。如上文参考下采样卷积912/932/952所论述,上采样卷积层可具有用于内核尺寸及步幅的不同参数。在此,针对第三上采样卷积992,内核5×5并且步幅是两个像素。还要注意的是,相对于来自第二上采样块980,CNN900的该阶段的放大倍数为2(上采样到初始的空间分辨率),并且在该阶段使用3个通道的特征。

如上文关于图7所论述,在各种实施方式中,利用CNN的系统从图像输入获得微物体计数。系统可以通过注释输入图像的多个像素来做到这一点,该组的每个像素注释表示图像中的对应像素表示对应的微物体特性的概率。根据该分析,可以获得微物体计数。在各种实施方式中,所述多个微物体特性包括至少三个微物体特性。在各种实施方式中,多个微物体特性至少包括微物体中心、微物体边缘和非微物体(或细胞中心、细胞边缘和非细胞)。图9D的上采样块990通过其三个通道深度示出了这三个微物体特征。如此,图9D的最后的上采样块990提供神经网络900确定准确的微物体(例如,细胞)计数所需的物体表征。

根据各种实施方式,公开了用于自动检测图像中的微物体的系统和方法。在各种实施方式中,微物体是生物细胞。在各种实施方案中,生物细胞是免疫细胞,例如T细胞、B细胞、NK细胞、巨噬细胞或其组合。在各种实施方案中,生物细胞是来自细胞株(例如CHO细胞)或癌细胞的细胞。在各种实施方案中,生物细胞是卵母细胞、精子或胚胎。

图10是示出根据各种实施方式的用于自动检测图像中的微物体的方法的示例性流程图。示例性流程图可以在例如图11的系统1200上执行,如将在下面详细描述的。如本文中所描绘,可由系统1200的图像获取单元1202的成像元件1206实施的步骤1110包含接收微流体装置的成像数据。

如本文中所描绘,步骤1120详细描述了可由系统1200的图像获取单元1202的图像预处理引擎1208实施的示范性工作流程步骤。在步骤1120中,该方法包括对图像数据进行预处理以减少图像数据中的异常。

如本文中所描绘,步骤1130详细描述了可由系统1200的微物体检测单元1204的神经网络1210实施的示范性工作流步骤。在步骤1130,该方法根据多个微物体特性和像素数据中的每个像素的输出概率值,使用神经网络处理成像数据中的像素数据来注释像素数据。输出概率值可以是多个像素掩模的形式,每个掩模对应于来自多个微物体特性的微物体特性。每个掩模可以包括关于与该掩模相关联的特定微物体特性的图像的一组像素注释(或一组概率值)。

如本文中所描绘,步骤1140详细说明可由系统1200的微物体检测单元1204的阈值引擎1212实施的示范性工作流步骤。在步骤1150,该方法包括应用阈值以确定哪些像素概率至少满足定义的阈值。

如本文中所描绘,步骤1150详细说明可由系统1200的微物体检测单元1204的检测引擎1214实施的示范性工作流步骤。在步骤1160,该方法包括基于在阈值应用之后可识别的微物体的数量来确定微物体计数。

图11是根据各种实施方式的用于自动检测图像中的微物体的系统的示意图。如本文中所描绘,系统1200可包含图像获取单元1202、图像预处理引擎1208、微物体检测单元1204和用于输出最终微物体的输入/输出装置(I/O装置)1216。

I/O设备1216可以被配置为包括例如系统1000的相关联的显示设备1012和/或输入设备1014(参见图5),其可以是以数据的形式(例如,参数、用户要求等),被传送到例如,图像获取单元1202、图像预处理引擎1208、微物体检测单元1204或其组合。I/O设备1216还可以被配置为经由相关联的显示设备1012和/或系统1000的输入设备1014(参见图5)接收用户输入,其可以是可以以数据的形式(例如,参数、用户要求等)被传送到例如图像获取单元1202、图像预处理引擎1208、微物体检测单元1204或其组合。替代地或组合地,计算机系统1000的输入装置1014(参见图5)还可用于将用户输入、参数等直接传递到例如图像获取单元1202、图像预处理引擎1208、微物体检测单元1204或其组合。此外,I/O设备1216可以被配置为在嵌入式显示设备1012上显示从例如检测引擎1214接收的数据或图像。设备1216还可被配置为将数据或图像传输到单独显示器1012以用于数据或图像显示。

图像获取单元1202(例如但不限于上文在图1A中所描绘的成像模块164)可包含成像元件1206(例如但不限于成像装置194)。可替代地,单元1202还可以被配置为包括(或容纳)图像预处理引擎1208。

成像元件1206可被配置为捕获一或多个图像(或图像数据)。图像可以是例如微流体装置的多个腔室(例如,隔离坞)和/或周围结构(例如,通道)。微流体装置可包括本文所述的各种示例中的任一个(诸如但不限于图1A~图1C、图2A~图2B、图2D和图2G~图2H中所示的微流体装置100、200、230、250、280和290)。微流体装置可包括流动区域,以及可流体地连接到流动区域的腔室或多个腔室,其中腔室中的每一个可保持一个或多个微物体。如前所述,如它们所使用的特定应用所要求的,腔室可以是例如隔离坞。应当理解,腔室可以具有任何形状、尺寸或取向。流动区域可以是单个微流体通道,或多个微流体流动通道(例如但不限于,如上面图1A和图2A~图2C所示的通道122,以及上面的图2D~图2F所示的流动通道264),其提供单个流动路径或多个流动路径(例如但不限于图1A和图2B中描绘的流动路径106)。流动区域可与单个腔室或多个腔室流体连通。或者,流动区域可经由可逆封闭件(例如,阀)与单个腔室或多个腔室流体连通。流动区域可被构造成通过如前所述的入口接收材料流。材料的流体可以包括例如微物体、粘合剂或试剂的流体,或包括介质在内的介质的流体。

在各种实施方式中,成像元件1206还可被配置为在向前发送以供进一步处理之前调整所捕获图像的大小。例如,可以通过合并(例如,四个像素到一个)来完成大小调整。

图像预处理引擎1208可以被配置为根据各种实施例准备用于进一步分析的图像。例如,如果捕获图像在被引擎1208接收之前被合并,则引擎1208可以将图像的大小调整到全尺寸以补偿合并。引擎1208可以使用例如像素值之间的线性插值来调整大小。引擎1208可以根据需要将图像翻转和/或旋转到期望的方向。引擎1208可以使用例如通过检查点之间具有已知间隔的点阵列计算的查找表来对图像应用失真校正步骤。

在各种实施方式中,引擎1208可以跨图像执行分级亮度过程。例如,引擎1208可使用多项式最佳拟合校正,诸如二次或更高阶多项式最佳拟合校正。可选地,可以使用正弦波或指数函数来代替多项式函数。可通过将图像亮度乘以缩放图像来实现调平,其中在系统校准期间确定最佳拟合函数的期望乘数。引擎1208还可以执行辐射校正,以减去源自例如自发荧光的背景亮度。

在各种实施方式中,有时需要荧光图像来使细胞可视化,否则细胞可能出现半透明(例如,DAPI可用于染色细胞核作为更好地检测/计数某些细胞的手段)。在那些情况下,引擎1208可以缩放、移位和/或旋转荧光图像以与明场图像对准,其中使用点阵列实现校准。

在各种实施方式中,可以使用傅里叶变换来减少来自微流体设备上的导电硅衬底的干扰。傅里叶变换允许图像的频率表示,其有助于识别与导电硅衬底、诸如光电晶体管阵列相关联的伪像和干扰。时间函数的傅立叶变换本身是频率的复值函数,其绝对值表示原始函数中存在的频率的量,并且其复数参数是该频率中的基本正弦的相位偏移。傅立叶变换被称为原始信号的频域表示。术语“傅里叶变换”是指频域表示和将频域表示与时间函数相关联的数学运算两者。傅里叶变换不限于时间的函数,但是为了具有统一的语言,原始函数的域通常被称为时域。

如下文将更详细地论述,与微流体装置(例如,光电晶体管阵列)的特征相比,感兴趣的微物体可具有类似的混杂形态。此外,与微流体装置的各种特征相比,诸如细胞的微物体可以是相对半透明的。因此,在识别感兴趣的微物体之前识别和移除微流体装置(例如,微流体装置的光电晶体管阵列、壁或管路元件)的不需要的特征可能是有帮助的。傅里叶分析可以用于在微物体检测之前移除例如晶体管图案。该步骤可以发生在引擎1208内,或者可选地,在微物体检测单元1204的检测引擎1214中的后处理步骤中(下面更详细地描述)。

在各种实施方式中,对图像进行预处理可以包括利用亮度归一化或对比度增强来减少来自微流体设备上的导电硅衬底的干扰。

在各种实施方式中,引擎1208可制作如上文所描述经预处理的图像的副本,且将其传递到各种“客户端”1220(例如,GUI、图像处理、电影创建、图像捕获、存储器/存储/服务器等)。

在各种实施方式中,可以使用分水岭算法来填充原始图像输入上的细胞边界。该算法将图像视为地形图,将感兴趣的物体作为集水盆地,将这些物体的边缘作为盆地周围的分水线。这样,这种图像分析方法可以更清晰地定义围绕物体(集水盆地)的物体边界(分水岭线)。

图11的系统1200的微物体检测单元1204可通信地连接到图像获取单元1202。在各种实施方式中,微物体检测单元1204可以包括神经网络1210、阈值引擎1212和检测引擎1214。应了解,描绘为微物体检测单元1204(本文中所描述)的部分的每一组件(例如,引擎、模块等)可实现为硬件、固件、软件,或其任何组合。

在各种实施方式中,微物体检测单元1204可以被实现为具有图像获取单元1202的集成器械系统组件。即,微物体检测单元1204和图像获取单元1202可以容纳在相同的壳体组件中并且经由常规的装置/部件连接装置(例如,串行总线、光缆、电缆等)进行通信。

在各种实施方式中,微物体检测单元1204可以被实现为经由光学、串行端口、网络或调制解调器连接而通信地连接到图像获取单元1202的独立计算设备(如图11所示)。例如,图像处理单元可经由LAN或WAN连接来连接,该LAN或WAN连接允许将由图像获取单元1202获取的成像数据传送到微物体检测单元1204以供分析。

在各种实施方式中,微物体检测单元1204的功能可以在共享计算机处理资源(诸如云计算网络)的分布式网络上实现,该分布式网络经由WAN(或等效)连接通信地连接到图像获取单元1202。例如,微物体检测单元1204的功能可以被划分为在诸如AMAZON WEB SERVICESTM的云处理服务上的一个或多个计算节点中实现。

神经网络1210可被设计和配置为接收来自图像预处理引擎1208的图像数据输入,根据多个微物体特性来注释图像数据中的像素数据,基于所述像素注释和输出概率图像数据为所述像素数据中的每个像素分配概率值。神经网络1210可以是卷积神经网络,并且可以具有利用上述架构示例的任何组合的架构(例如,参见图7、图8和图9A~图9D以及相关联的讨论)。

阈值引擎1212可以被设计和配置为从神经网络1210接收输出概率图像数据并且应用给定阈值以确定哪些像素概率至少满足定义的阈值。例如,在各种实施方式中,微物体类型可以是细胞中心、细胞边界或非细胞类型中的一个,并且包括微物体特性,诸如圆形特征、尺寸特征或两者。可以将分配给像素注释的概率与指定阈值进行比较,以便于进一步分析或消除阈值以下的像素。阈值可以是用户定义的,并且如果像素注释的概率低于阈值,则可以将像素注释重新分类为另一类型。被分配的概率通常指示像素注释的置信度。例如,可以如下分配概率:对于边界为0.15,对于细胞中心为0.8,对于非细胞为0.05。当分析像素簇时,每一像素注释可与相邻像素一起使用以确定正确识别的可能性。

图11的系统1200的检测引擎1214可以被设计和配置为接收图像输出数据,针对阈值引擎1212中的阈值分析进行校正,应用图像后处理技术并输出微物体计数。

其中一些实例提供如下,可预期许多后处理技术。引擎1214可以被配置为将隔离坞(在微流体设备中)的CAD模型对准到实际图像输出以精确地找到坞所在的位置。在荧光图像的情况下(取决于被检测的细胞类型),引擎1214可以被配置为通过减去来移除背景,例如,通过减去从模糊(图像)例程获得的对应图像。引擎1214还可以被配置为将图像输出斩波到用于微物体计数的各个坞中。引擎1214还可以应用可以移除感兴趣的物体周围(例如,微流体设备或坞壁)的任何结构的像素掩模。最后,引擎1214可以基于在阈值和后处理之后可识别的物体来确定微物体计数。来自引擎1214的计数和输出图像可以被传送到I/O设备1216,其中它可以例如被存储、传输到存储器存储、被进一步分析和/或被传送到客户端1220。

根据各种实施方式,图像获取单元1202和微物体检测单元1204可集成到单个物理单元中。或者,图像获取单元1202和微物体检测单元1204可以可分离地取向,以独立单元提供,使得单元仍然可通信连接以交换信息。

上文所描述的微物体检测单元1204的每一组件可为硬件或可部分或全部为软件模块。

微物体的自动检测。提供了用于自动检测图像中的感兴趣的微物体的方法。与图像中的一个或多个其他特征相比,感兴趣的微物体可以具有相似的混杂形态。例如,在一些情况下,布置在微流体装置内的微物体的检测可能由于具有与感兴趣的微物体类似的形态的微流体装置的特征而复杂化。例如,在其中细胞具有10微米的直径的情况下,可能难以将细胞与在两个维度上具有10微米节距的光电晶体管阵列区分(即,每个光电晶体管具有10微米x10微米的尺寸)。此外,与微流体装置的各种特征相比,诸如细胞的微物体可以是相对半透明的。因此,在识别感兴趣的微物体之前识别和移除微流体装置(例如,微流体装置的光电晶体管阵列、壁或管路元件)的不需要的特征可能是有帮助的。

在一些实施方式中,单个像素可对应于微流体装置中的基本上小于感兴趣的微物体的横截面积的面积。例如,微物体可具有约80平方微米的横截面积,而像素可对应于约2平方微米的面积。在这样的实施方式中,将需要一个或多个像素簇来覆盖微物体的横截面积(例如,在前述示例中,将占用基本上40个像素来覆盖微物体的横截面积,或24个像素以覆盖微物体的圆周的横截面积)。

像素簇的分析还可以包括除了像素簇的区域和圆周之外的多个其他特征。可以根据全局形态(即,一个或多个像素簇的集合的大小和形状)、局部形态(即,个体像素簇的大小和形状)、正和负的光强度值Li和基于这些元件的组合的其他特征(例如,作为尺寸的函数的光强度)来分析像素簇。可以使用各种方法来分析包括传统机器学习技术的一组像素簇,其中针对微物体的图像集合计算上述特征并且用于训练分类器以基于相同特征识别新图像中的感兴趣的微物体。

微物体识别(下文将更详细地讨论)还可以与使用力、诸如OET或DEP力对操纵或重新定位微物体结合使用。在一些实施方案中,在特定管路元件(例如通道或隔离坞)或微流体管路的位置中识别的微物体可移动到(即,重新定位在)另一类型的管路元件或微流体管路的位置。例如,微物体可以在微流体管路中的通道中被识别并且被重新定位在微流体管路中的隔离坞中(在本文中被称为对微物体“围栏”)。相反,在微流体管路中的隔离坞中识别的微物体可以移动到微流体管路中的通道中。可替换地,一个或多个微物体可以在一个隔离坞中被识别并且被重新定位在空的隔离坞中(在本文中被称为对微物体“重新围栏”)。根据实施方式,可以使用包括OET和DEP力的各种机制来移动微物体。类似地,微物体可以被顺序地(即,一次一个微物体)、并行地或其任何组合地(例如,并行地顺序地重新定位多个细胞的组)重新定位。

在微物体从通道重新定位到单独的隔离坞(或从单独的隔离坞重新定位到另一个隔离坞)的情况下,可以使用不同的算法来将微物体分配到空的隔离坞。在一些实施方式中,算法将用于将微物体分配至空的隔离坞,使得微物体与坞之间的距离(即,微物体在重新定位期间必须行进的轨迹或路径)被最小化。在这些实施方式中,用于移动微物体的力(例如OET或DEP力)的使用也被最小化,因为微物体仅需要行进最小距离以被重新定位在空的隔离坞中。

在这些实施方式中,通道中的局部微物体密度(即,通道的特定空间区域内的微物体的数量)可以用于确定将通道中的特定微物体分配给空的隔离坞的合适的算法。局部微物体密度可以以多种方式来计算。在一些实施方式中,局部微物体密度可以基于固定尺寸区域(例如,200平方微米,或通道100微米长的区域,并且延伸通道的宽度)或使用以各种尺寸区域的方法来计算。在其他实施方式中,可基于所识别微物体的簇或所识别微物体之间的距离来计算局部微物体密度。局部微物体密度也可通过将通道细分为网格或使用“滑动窗口”技术来计算通道的重叠区域的密度来计算。

如果局部微物体密度高于阈值T1密度,则微物体可以被分配给最近的空的隔离坞,使得微物体和隔离坞之间的距离被最小化。如果局部微物体密度低于特定阈值T1密度,则可以将空的隔离坞分配给最接近空的隔离坞的微物体,使得微物体与隔离坞之间的距离被最小化。在一些情况下,可以基于空坞的数目以及在预定邻域区域内的通道内的微物体的密度来计算局部T1密度。

计算微物体和空的隔离坞之间的距离的不同方法(即,微物体或路径在围栏期间需要移动的轨迹)可以用于将特定的微物体分配给空的隔离坞。在一些实施方式中,可以仅基于使用OET和/或DEP力的最优轨迹来计算微物体与潜在隔离坞之间的距离。在一些情况下,使用OET或DEP力的最优轨迹涉及正交运动路径的组合(例如,仅沿着y轴和x轴的不同移动的组合)以移动微物体。在其他情况下,距离可以基于微物体和隔离坞之间的最短可能路径而没有约束(即,微物体可以沿着任何路径行进以到达隔离坞)。在大多数实施方式中,使用由用于计算距离(轨迹)的算法确定的相同轨迹,微物体将被重新定位(即,被“围栏”或“重新围栏”)。

类似地,在将大量微物体分配给隔离坞的情况下(或反之亦然),可以使用不同的算法来计算微物体对坞的最佳分配(或反之亦然)。这些算法可以使用确定微物体到隔离坞分配的不同计算方法,该方法使需要移动微物体的总距离(即,轨迹的长度)最小化,以便将微物体重新定位到隔离坞中。例如,算法可以使用所有轨迹的长度的和作为启发式以最小化微物体需要行进的距离。在一些实施方式中,可以将诸如微物体在重新定位期间移动的最大距离之类的约束引入到最优分配的计算中。可以使用各种组合算法来计算微物体和隔离坞之间的最优分配。合适的算法包括:贪心算法、非线性优化、基于启发式的算法和受约束的搜索。其他类似的算法在本领域中是已知的。

一旦针对微物体计算了最优分配和轨迹,就可以使用诸如OET和/或DEP的力来将微物体移动到其分配的坞。微物体可以使用光的图案(例如“光笼”)重新定位,所述光的图案围绕微物体并使微物体受到OET和/或DEP力或者通过使用棒或类似结构来对微物体施加OET和/或DEP力。通常,光笼是基本上包围微物体(例如,正方形、圆形或多边形)的结构。然而,在一些情况下,光笼可包含裂口或开口,使得微物体未被完全封闭。

如上所述,在大多数实施方式中,微物体将根据用于计算微物体到坞的最佳分配的距离(轨迹)而被移动。根据实施方式,微物体可以顺序地或并行地移动(例如,并行地顺序地移动细胞组)。在微物体被并行移动的实施方式中,用于计算最优分配或轨迹的算法可以比较轨迹并且确保微物体在它们通过修改微物体到坞的轨迹和分配而被并行地移动时不冲突。在特定实施方式中,算法可以在识别潜在碰撞时将微物体分配“交换”到坞。在该实施方式中,当第一微物体的最优轨迹与第二微物体的最优轨迹相交时,第一微物体的最优轨迹被分配给第二微物体,并且第二微物体的最优轨迹被分配给第一微物体。在另一特定实施方式中,该算法延迟第一微物体的重新定位,直到第一微物体和第二微物体可以在不冲突的情况下沿着其相应轨迹移动的时间为止。

在一些情况下,微物体密度可能很高,使得微物体在将微物体分配到隔离坞之前需要彼此分离,并重新定位(即,“围栏”或“重新围栏”)微物体。例如,微观物体密度可能太高,以至于不能使用OET和/或DEP力围栏微物体,因为用于使用OET和/或DEP力重新定位物体的光笼不能在单个微物体上使用而不干扰其他微物体。在对施加到微物体的OET和/或DEP力的量最小化是很重要的情况下,这种干扰特别令人担忧。例如,微物体可能受到OET和/或DEP力或OET力的副产物(例如与OET和/或DEP力相关联的电解)的影响的情况。在这些情况下,在微物体识别(例如,半径、质心、周界和微物体的位置)期间产生的信息可以用于移动微物体,使得微物体可以被围栏或重新围栏,而不干扰其他细胞(在本文中被称为“分离”微物体)。

为了识别在围栏之前需要分离微物体的实例,可以基于所定义的空间区域来计算局部微物体密度,并且将其与第二阈值T2密度进行比较。或者,可以计算微物体之间的距离(例如,微物体的质心之间的距离、微物体的周界之间的距离),并且用于确定是否需要分离微物体。然而,如可以理解的,在一些情况下,微物体之间的距离可能太小而无法将微物体识别为单独的微物体和微物体。在这些情况下,微物体可以在重新定位(即,“围栏”)微物体之后被重新识别,以确保每个隔离坞包含单个微物体。

在一些实施方式中,光盒用于在围栏(或重新围栏)之前或期间分离微物体。当形成光盒(或光笼)时,可使用除法算法来计算一组顶点,该组顶点将微流体装置的空间区域中的每个所识别的微物体(例如,通道或隔离坞的部分)与同一空间区域中的其他微物体隔离。然而,如本领域技术人员可以理解的,可以绘制该组顶点,使得只有微流体设备的空间区域中的微物体的子集与其他微物体分离。例如,该组顶点可以仅将空间区域中的微流体的子集分开,这是因为它们与其他微流体非常接近而需要重新定位。

在特定实施方式中,使用每个微物体的质心来计算点集的三角剖分。点集的三角剖分产生连接微物体的质心的一组三角形。然后基于使用点集的三角剖分计算的三角形的环圆计算维诺图。维诺图是将空间区域划分为一组子区域的一组顶点,使得该组顶点和微物体的质心之间的距离被最大化。计算将每个细胞与空间区域中的其他细胞分区的一组顶点的其他方法在本领域中是已知的。

一旦已经计算了该组顶点,该组顶点可以与OET和/或DEP力结合使用以移动微物体。图6A~图6F示出了根据本发明的各种实施方式的微物体分离。图6A示出了在指定的空间区域和对应的维诺图中的一组微物体的点集的三角剖分。图6B示出了没有点集的三角剖分的相应维诺图。图6C示出了通常用于移动覆盖在维诺图上的微物体的光笼。图6D示出了通过计算图6C的典型的光笼和维诺图之间的相交而生成的改进的光笼。图6E示出了使用改进的光笼彼此紧密接近的微物体的分离。图6F示出了分离的微物体。

在一个实施方式中,通过生成链接该组顶点的顶点的子集的多个光条来生成一个或多个光笼,其中顶点的子集包括最接近并围绕要移动的每个微物体的顶点(或由最接近并围绕要移动的每个微物体的顶点组成)。举例来说,图6B中所展示的多边形形状中的任一者可用于界定围绕微物体的光笼。在某些实施方式中,以此方式形成的光笼可以收缩,从而将光笼内的微物体与指定空间区域中的其他微物体和/或光笼分离。在其他实施方式中,可以通过在多边形形状(参见图6C)上叠加合适的“标准”光笼设计(例如,正方形或圆形)并生成由标准光笼设计和多边形形状的交点产生的光笼来限定光笼,如图6D所示。在该示例中,顶点和光笼的交点被定义为其中光笼不相交或重叠的区域,从而允许将“标准”光笼重新绘制,使得它不干扰其他微物体。无论形成方法如何,一旦形成,则通过将微物体彼此远离地移动,可以使用光笼以通过对微物体重新定位来分离微物体。在一些情况下,可以在微物体被重新定位时重新绘制改进的光笼,使得当微物体处于最终位置时绘制原始的光笼。

在各种实施方式中,非标准(或“改进的”)光笼可用于对微物体重新定位。根据实施方式,用于两个邻近微物体的改进的光笼被用于在计算和选择轨迹并为每个微物体分配给隔离坞之前或之后对微物体重新定位。在一些实施方式中,改进的光笼被用于迭代地或顺序地对微物体重新定位。此外,改进的光笼可用于将微物体放置在其分配的隔离坞中。在一些实施方式中,最靠近空间区域的周界或在空间中最靠近在一起的微物体可以在重新定位或围栏其他微物体之前被重新定位或围栏。

图4A、图4B和图4C示出了使用光盒的微物体围栏。在图4A中,微流体管路的通道内的生物细胞在识别细胞和将细胞分配至坞之后立即显示。围绕细胞的黑色框说明细胞识别算法的输出,即,由围绕细胞的框指示的细胞的识别。包围黑色框的白色框是用于重新定位细胞的OET力的光笼。最后,将围绕细胞的盒连接到隔离坞的黑线图示了在将细胞分配给隔离坞时计算出的最优轨迹。图4B示出了在稍后时间点的相同细胞,其中光笼已经沿着其选择的轨迹移动。图4C示出了在第三时间点的相同细胞,其中光笼已经几乎完全沿着其选择的轨迹移动以将细胞定位在隔离坞中。

在移动微物体时,可以逐渐加速OET和/或DEP用于移动细胞的速度,以便“增加”微物体的运动并确保微物体不会从它们的光笼中丢失。例如,在特定实施方式中,微物体的初始速率可以从低初始速率逐渐加速到更高的行进速率。这种逐渐加速可以在微物体被自动重新定位(例如,划线、重新定位和输出)的情况下以及在微物体被手动重新定位的情况下(例如,手动选择和移动细胞)应用。类似地,当微物体到达其轨迹的末端并且处于它们的最终位置时,高行进速度可以“下降”到最终速度为零。

本发明的方法可用于自动检测所有类型的微流体装置中的微物体。在某些实施方式中,微流体装置可包括流动区域(或流动通道)和一个或多个腔室(或隔离坞)。可替代地或另外地,微流体装置可为电动装置,例如光学致动的电动装置,或可包含被配置为用于电动力学的区域。如果阵列中的晶体管具有与被检测的微物体的横截面积相似的区域,则电动装置,特别是具有晶体管阵列(例如,光电晶体管)的电动装置可以提供特别复杂的背景。这里描述的方法在检测设置在这种设备中的微物体时特别有效。

在某些实施方式中,本发明还提供了用于存储用于执行本文描述的任何方法的非暂时性机器可读指令的机器可读存储设备。机器可读指令可以控制用于获得图像的成像设备和/或对准图像、生成差分图像和/或分析差分图像的处理器(例如,在计算设备中)。

本文中所描述的方法体系取决于应用可通过各种手段来实现。举例来说,可在硬件、固件、软件或其任何组合中实施这些方法。对于硬件实现,处理单元可被实现在一个或多个专用集成电路(ASICs)、数字信号处理器(DSPs)、数字信号处理设备(DSPDs)内,可编程逻辑器件(PLDs)、现场可编程门阵列(FPGAs)、处理器、控制器、微控制器、微处理器、电子设备、被设计为执行本文描述的功能的其他电子单元或其组合。

在各种实施方式中,本教导的方法可以实现为固件和/或软件程序以及以诸如C、C++等的常规编程语言编写的应用,如果实现为固件和/或软件,则可以在其中存储用于使计算机执行上述方法的程序的非瞬态计算机可读介质上实现。应当理解,可以在诸如图5的计算机系统1000的计算机系统上提供本文描述的各种引擎,由此处理器1004将执行由这些引擎提供的分析和确定,经受由存储器组件1006/1008/1010中的任一者或其组合提供的指令及经由输入装置1014提供的用户输入。

虽然结合各种实施方式描述了本教导,但是并不旨在将本教导限制于这些实施方式。相反,如本领域技术人员所理解的,本教导包括各种替代、修改和等同物。

此外,在描述各种实施方式时,说明书可能已经将方法和/或过程呈现为特定步骤顺序。然而,就方法或过程不依赖于本文所述的步骤的特定顺序而言,方法或过程不应限于所描述的特定步骤顺序。如本领域普通技术人员将理解的,也可以是其他步骤顺序。因此,在说明书中阐述的步骤的特定顺序不应当被解释为对权利要求的限制。另外,针对所述方法和/或过程的权利要求不应限于所撰写的顺序中的其步骤的执行,且所属领域的技术人员可容易地了解,所述顺序可变化且仍保持在各种实施方式的主旨和范围内。

本文描述的实施方式可以用其他计算机系统配置来实践,包括手持式设备、微处理器系统、基于微处理器的或可编程的消费电子产品、微型计算机、大型计算机等。各实施方式还可在分布式计算环境中实践,其中任务由通过网络链接的远程处理设备来执行。

还应当理解,本文描述的实施方式可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理操纵的那些操作。尽管不是必须的,这些量通常采取以下形式:存储、传送、组合、比较和以其他方式操纵的电或磁信号的形式。此外,所执行的操纵通常参考诸如“产生”、“识别”、“确定”或“比较”的术语。

形成本文所描述的实施方式的一部分的任何操作都是有用的机器操作。本文描述的实施方式还涉及用于执行这些操作的设备或装置。本文描述的系统和方法可以是为了所需目的而特别构造的,或者它可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体地,各种通用机器可以与根据本文的教导编写的计算机程序一起使用,或者可以更方便地构造更专用的装置来执行所需的操作。

某些实施方式还可以体现为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储设备,之后可以由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附加存储(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其他光学、闪存和非光学数据存储设备。计算机可读介质还可以分布在网络耦合的计算机系统上,从而以分布式方式存储和执行计算机可读代码。

尽管在本说明书中已经描述了本发明的特定实施方式和应用,但是这些实施方式和应用仅仅是示例性的,并且许多变化是可能的。

对本发明的一些实施方式的叙述。

1.一种用于对图像中的微物体进行自动检测的方法,所述方法包括:针对对应的多个微物体特性从所述图像生成多个像素掩模,其中生成所述多个像素掩模包括:使用机器学习算法处理来自所述图像的像素数据,并且其中每个像素掩模包括一组像素注释,所述一组像素注释中的每个像素注释表示所述图像中的对应像素表示所述对应微物体特性的概率;以及从所述多个像素掩模中的至少一个像素掩模获得微物体计数。

2.根据实施方式1所述的方法,其中从所述多个像素掩模中的像素掩模的组合获得所述微物体计数。

3.根据实施方式1或2所述的方法,其中所述多个微物体特性包括至少三个微物体特性。

4.根据实施方式1或2所述的方法,其中所述多个微物体特性至少包括:(i)微物体中心;(ii)微物体边缘;以及(iii)非微物体。

5.根据实施方式4所述的方法,其中获得微物体计数包括从对应于所述微物体中心特性的所述像素掩模,或包括对应于所述微物体中心特性的所述像素掩模的像素掩模的组合获得微物体计数。

6.根据实施方式1至5中任一项所述的方法,其中所述机器学习算法包括神经网络(例如,卷积神经网络)。

7.根据实施方式6所述的方法,其中所述神经网络包括多个下采样块(例如,至少2个、3个、4个等的下采样块),每个下采样块包括第一下采样卷积层,第一批量归一化层和包括门函数的第一ELU层,并且其中每个第一下采样卷积层降低其接收的图像数据的空间分辨率。

8.根据实施方式7所述的方法,其中,所述下采样块中的一个或多个(例如,每个)由(或基本上由)所述第一下采样卷积层、所述第一批量归一化层、和所述第一ELU层组成,其中所述第一ELU层直接从所述第一批量归一化层接收图像数据,并且其中所述第一批量归一化层直接从所述第一下采样卷积层接收图像数据。

9.根据实施方式7或8所述的方法,其中每个下采样卷积层将其接收的图像数据的空间分辨率降低到二分之一(例如,通过一次滑动卷积滤波器(或内核)两个像素)。

10.根据实施方式7至9中任一项所述的方法,其中,所述第一下采样卷积层中的每一个包括5×5卷积滤波器。

11.根据实施方式7至10中任一项所述的方法,其中,所述多个下采样块中的一个或多个(例如,每个)下采样块之后是具有分支结构的残差网络块。

12.根据实施方式11所述的方法,其中所述残差网络块的所述分支结构包括第一分支和第二分支,且其中所述第一分支以比所述第二分支小的程度处理从先前下采样块接收的图像数据。

13.根据实施方式12所述的方法,其中,所述残差网络块的所述第一分支包括第二卷积层、第二批量归一化层和包括门函数的第二ELU层。

14.根据实施方式13所述的方法,其中,所述残差网络块的所述第一分支由(或基本上由)所述第二卷积层、所述第二批量归一化层和所述第二ELU层组成,其中所述第二ELU层直接从所述第二批量归一化层接收图像数据,并且其中所述第二批量归一化层直接从所述第二卷积层接收图像数据。

15.根据实施方式13或14所述的方法,其中所述第二卷积层包括1×1卷积滤波器。

16.根据实施方式11至15中任一项所述的方法,其中,所述残差网络块的所述第二分支包括两个或更多个处理单元,其中,每个处理单元包括卷积层和批量归一化层。

17.根据实施方式16所述的方法,其中,所述残差网络块的所述第二分支由(或基本上由)第三卷积层、第三批量归一化层、包括门函数的第三ELU层、第四卷积层和第四批量归一化层组成,其中所述第四批量归一化层直接从所述第四卷积层接收图像数据,其中所述第四卷积层直接从所述第三ELU层接收图像数据,其中所述第三ELU层直接从所述第三批量归一化层接收图像数据,并且其中所述第三批量归一化层直接从所述第三卷积层接收图像数据。

18.根据实施方式16或17所述的方法,其中,所述第三卷积层包括3×3卷积滤波器。

19.根据实施方式17或18所述的方法,其中,所述第四卷积层包括3×3卷积滤波器。

20.根据实施方式11至19中任一项所述的方法,其中,来自所述残差网络块的所述第一分支(例如,第一分支的ELU层)的图像数据和来自所述残差网络块的所述第二分支(例如,第二分支的第四批量归一化层)的图像数据被重新组合并转移到包括门函数的第四ELU层。

21.根据实施方式6至20中任一项所述的方法,其中所述神经网络包括第一下采样块、第一残差网络块、第二下采样块、第二残差网络块、第三下采样块和第三残差网络块。

22.根据实施方式21所述的方法,其中所述第一下采样块和所述第一残差网络块各自包括32个通道和为所述图像的空间分辨率的一半的空间分辨率。

23.根据实施方式21或22所述的方法,其中所述第二下采样块和所述第二残差网络块各自包括64个通道和为所述图像的所述分辨率的四分之一的空间分辨率。

24.根据实施方式21至23中任一项所述的方法,其中,所述第三下采样块和所述第三残差网络块各自包括128个通道和为所述图像的分辨率的八分之一的空间分辨率。

25.根据实施方式7至24中任一项所述的方法,其中所述神经网络包括针对所述多个下采样块中的每个下采样块的上采样块,每个上采样块包括转置卷积层、上采样批量归一化层和包括门函数的上采样ELU层,并且其中每个上采样块的转置卷积层增加其接收的图像数据的空间分辨率。

26.根据实施方式25所述的方法,其中所述一或多个上采样块中的每一个包括重组层,其中来自所述上采样批量归一化层的图像数据与来自先前残差网络块的图像数据合并。

27.根据实施方式26所述的方法,其中所述一个或多个上采样块中的每一个由(或基本上由)所述转置卷积层、所述上采样批量归一化层、重组层和上采样ELU层组成,其中上采样ELU层直接从重组层接收图像数据,并且其中上采样批量归一化层直接从重构转置层接收图像数据。

28.根据实施方式25至27中任一项所述的方法,其中,每个转置卷积层将接收的图像数据的空间分辨率增加2倍。

29.根据实施方式27或28所述的方法,其中,当所述神经网络具有n个下采样块和n个残差网络块时,所述网络具有包括重组层的n-1个上采样块。

30.根据实施方式25至29中任一项所述的方法,其中所述神经网络包括:具有从第二残差网络块接收图像数据的重组层的第一上采样块、具有从第一残差网络块接收图像数据的重组层的第二上采样块、以及不包括重组层的第三上采样块。

31.根据实施方式30所述的方法,其中所述第一上采样块包括64个通道且输出具有为所述图像的空间分辨率的四分之一的空间分辨率的图像数据。

32.根据实施方式30或31所述的方法,其中所述第二上采样块包括32个通道且输出具有为所述图像的空间分辨率的一半的空间分辨率的图像数据。

33.根据实施方式30至32中任一项所述的方法,其中所述第三上采样块包括3个通道并且输出具有与所述图像的分辨率相同的空间分辨率的图像数据。

34.根据实施方式6至33中任一项所述的方法,其中所述神经网络具有与图5A~图5D中所示基本相同的结构。

35.根据实施方式1至34中任一项所述的方法,还包括在生成所述多个像素掩模之前对所述图像进行预处理。

36.根据实施方式35所述的方法,其中所述微物体在微流体装置内成像,且其中所述预处理包括减去在成像期间由所述微流体装置的至少一个组件产生的重复图案。

37.根据实施方式36所述的方法,其中所述预处理包括对所述图像应用傅里叶变换以识别所述重复图案。

38.根据实施方式36或37所述的方法,其中所述微流体装置的所述至少一个组件是衬底表面。

39.根据实施方式36至38中任一项所述的方法,其中所述微流体装置的所述至少一个组件是包括光电晶体管阵列的衬底表面。

40.根据实施方式35至39中任一项所述的方法,其中预处理所述图像包括将所述图像翻转和/或旋转到期望的取向。

41.根据实施方式35至40中任一项所述的方法,其中预处理所述图像包括在整个所述图像调平亮度(例如,使用多项式最佳拟合校正、诸如二次或更高阶多项式最佳拟合校正)。

42.根据实施方式35至41中任一项所述的方法,其中预处理所述图像包括校正在所述成像过程期间在所述图像中引起的失真(例如,使用通过检查在所述点之间具有已知间距的点阵列的对应图像而计算的查找表)。

43.根据实施方式35至42中任一项所述的方法,其中预处理所述图像包括应用对比度增强。

44.根据实施方式1至43中任一项所述的方法,还包括:将在所述微物体计数中识别的所述微物体分类为多个微物体类型中的至少一个。

45.根据实施方式6至44中任一项所述的方法,还包括:使用包含微物体的一组训练图像来训练神经网络。

46.根据实施方式45所述的方法,其中所述训练图像与从所述训练图像的手动视觉审核获得的训练数据结合使用。

47.根据实施方式45或46所述的方法,其中训练图像与从包含相同类型和/或数量的微物体的计算机验证图像获得的训练数据结合使用。

48.根据实施方式1至47中任一项所述的方法,其中所述微物体是生物细胞。

49.根据实施方式48的方法,其中所述生物细胞是免疫细胞(例如T细胞、B细胞、NK细胞、巨噬细胞等)。

50.根据实施方式49的方法,其中所述生物细胞是来自细胞株(例如CHO细胞)或癌细胞的细胞。

51.根据实施方式49的方法,其中所述生物细胞是卵母细胞、精子或胚胎。

52.一种非暂时性计算机可读介质,其中存储用于使计算机执行用于自动检测图像中的微物体的方法的程序,所述方法包含:在存储器中存储可包括一个或多个微物体的图像;从图像产生多个像素掩模,用于相应的多个微物体特征;以及从所述多个像素掩模中的至少一个像素掩模获得微物体计数,其中所述产生和获得的步骤根据实施方式1至51或93至128中任一项来执行。

53.根据实施方式52所述的方法,其中所述微物体计数用于布置在微流体装置内的微物体。

54.根据实施方式52或53所述的方法,其中所述方法还包括预处理所述图像,其中所述预处理在产生所述多个像素掩模之前执行。

55.根据实施方式54所述的方法,其中所述微物体在微流体装置内成像,且其中预处理所述图像包括减去在成像期间由所述微流体装置的至少一个组件产生的重复图案。

56.根据实施方式55所述的方法,其中所述预处理包括对所述图像应用傅里叶变换以识别所述重复图案。

57.根据实施方式55或56所述的方法,其中所述微流体装置的所述至少一个组件是衬底表面。

58.根据实施方式55或56所述的方法,其中所述微流体装置的所述至少一个组件是光电晶体管阵列。

59.根据实施方式52至58中任一项所述的方法,其中所述多个微物体特性包括微物体中心、微物体边界和非微物体。

60.根据实施方式52至58中任一项所述的方法,其中,所述多个对应的微物体特性是细胞特性。

61.根据实施方式60所述的方法,其中,所述细胞特性包括细胞中心、细胞边界和非细胞。

62.根据实施方式52至61中任一项所述的方法,其中被计数的微物体是生物细胞。

63.根据实施方式62的方法,其中所述生物细胞是免疫细胞(例如T细胞、B细胞、NK细胞、巨噬细胞等)。

64.根据实施方式62的方法,其中所述生物细胞是来自细胞株(例如CHO细胞)或癌细胞的细胞。

65.根据实施方式62的方法,其中所述生物细胞是卵母细胞、精子或胚胎。

66.根据实施方式52至65中任一项所述的方法,其中,所述生成步骤在第一模块中执行。

67.根据实施方式52至66中任一项所述的方法,其中,所述获得步骤在第二模块中执行。

68.根据实施方式52至65中任一项所述的方法,其中所述生成和获得的步骤在单个模块中执行。

69.一种在包括多个隔离坞的微流体装置中对微物体重新定位的方法,所述方法包括:识别设置在所述微流体装置内的一组微物体,其中所述一组微物体是根据实施方式1至51中任一项或93至128中任一项所述的方法来识别的;计算一个或多个轨迹,其中每个轨迹是将所述一组微物体中的一个微物体与所述多个隔离坞中的一个隔离坞连接的路径;针对所述一组微物体中的一个或多个微物体从所述一个或多个轨迹中选择轨迹;以及通过使所述微物体沿着其选定轨迹移动来重新定位具有选定轨迹的所述一或多个微物体中的至少一个微物体(例如,可使用DEP力执行重新定位,其可以如本文所公开的或本领域已知的任何其他技术而活用)。

70.根据实施方式69所述的方法,其中重新定位具有选定轨迹的所述一或多个微物体中的至少一个微物体包括:沿着其选定轨迹移动第一微物体且沿着其选定轨迹移动第二微物体。

71.根据实施方式70所述的方法,其中所述第一微物体和所述第二微物体沿着其选择的轨迹平行移动。

72.根据实施方式69至71中任一项所述的方法,还包括:计算与所述一组微物体相关联的密度值;以及至少部分地基于与所述一组微物体相关联的所述密度值来计算所述一个或多个轨迹。

73.根据实施方式72所述的方法,还包括:确定所述密度值超过阈值;以及针对所述一组微物体中的第一微物体,计算将所述第一微物体与所述多个隔离坞中的一个或多个隔离坞连接的一个或多个轨迹。

74.根据实施方式72所述的方法,还包括:确定所述密度值不超过阈值;以及对于所述多个隔离坞中的第一隔离坞,计算将所述第一隔离坞与所述一组微物体中的一个或多个微物体连接的一个或多个轨迹。

75.根据实施方式69至74中任一项所述的方法,还包括识别所述多个隔离坞中的空的隔离坞,其中所述一个或多个计算的轨迹将所述一组微物体中的一个微物体与所述多个隔离坞中的一个空的隔离坞连接。

76.根据实施方式69至75中任一项所述的方法,其中选择所述一个或多个轨迹中的轨迹包括为正被重新定位的每个微物体选择轨迹,使得所选择的轨迹的长度的和被最小化。

77.根据实施方式76所述的方法,其中使选定轨迹的长度的总和最小化包括使用以下各项中的至少一者:贪心算法、基于启发式的算法、非线性算法和受约束的搜索。

78.根据实施方式69至77中任一项所述的方法,其中选择所述一个或多个轨迹中的轨迹还包括确定所述轨迹是否超过预定最大长度。

79.根据实施方式69至78中任一项所述的方法,其中对所述一个或多个微物体中的至少一个微物体重新定位包括在第一时间段内将所述至少一个微物体中的每一个从初始速率加速到行进速率。

80.根据实施方式69所述的方法,其中,对所述一个或多个微物体中的至少一个微物体进行重新定位包括使所述至少一个微物体中的每一个在第二时间段内从所述行进速率减速到最终速率。

81.一种在微流体装置中对微物体重新定位的方法,所述方法包括:识别设置在所述微流体装置的指定空间区域内的一组微物体,其中根据实施方式1到51或93到128中任一者的所述方法识别所述一组微物体;计算将所述指定的空间区域划分成子区域的一组顶点,每个子区域包含所述一组微物体中的一个或多个微物体;基于所计算的一组顶点来生成用于所述一组微物体中的第一微物体的第一光笼;以及相对于所述微流体装置的所述指定空间区域移动所述第一光笼以对所述第一微物体重新定位(例如,可产生用于对应的多个微物体的多个光笼,然后使多个光笼相对于微流体装置的指定空间区域移动)。

82.根据实施方式81所述的方法,其中计算所述一组顶点包括计算将所述指定空间区域划分成子区域的一组顶点,其中所述子区域的至少子集包含所述一组微物体中的单个微物体。

83.根据实施方式81或82所述的方法,其中计算所述一组顶点包括:计算所述一组微物体的点集的三角剖分;基于所述一组微物体的点集的三角剖分生成维诺图;以及基于所述维诺图识别所述顶点的集合。

84.根据实施方式81至83中任一项所述的方法,其中生成所述第一光笼包括:产生链接所述顶点的集合的顶点的子集的多个光条,其中所述顶点的子集包括最接近并环绕所述第一微物体的顶点(或由最接近并环绕所述第一微物体的顶点组成)。

85.根据实施方式84所述的方法,还包括缩小所述第一光笼的尺寸,从而将所述第一微物体与所述指定空间区域中的其他微物体和/或光笼分离。

86.根据实施方式81至83中任一项所述的方法,其中生成所述第一光笼包括:针对所述一组微物体中的所述第一微物体来计算初始光笼;计算所述初始光笼与所述一组顶点之间的所述交点;以及基于所述初始光笼与所述一组顶点之间的所述交点产生修改后的第一光笼。

87.根据实施方式81至86中任一项所述的方法,还包括:基于所计算的一组顶点生成用于所述一组微物体中的第二微物体的第二光笼。

88.根据实施方式87所述的方法,其还包含相对于所述微流体装置的所述指定空间区域移动所述经过第一修改的光笼及经过所述第二修改的光笼,以物理地分离所述第一微物体与所述第二微物体。

89.根据实施方式88所述的方法,其中所述第一微物体和所述第二微物体最初位于所述指定空间区域的相邻子区域中。

90.根据实施方式81至89中任一项所述的方法,其中所述感兴趣的微物体是细胞。

91.根据实施方式90的方法,其中所述细胞是哺乳动物细胞。

92.根据实施方式90或91的方法,其中所述细胞选自血细胞、杂交瘤、癌细胞和转化细胞。

93.一种用于自动检测图像中的微物体的方法,所述方法包括:接收微流体装置的图像数据;预处理所述图像数据以减少所述图像数据中的异常;使用神经网络处理所述图像数据中的像素数据,以根据多个微物体特性和所述像素数据中的每个像素的输出概率值来注释所述像素数据;应用阈值以确定哪些像素概率至少满足定义的阈值;以及基于在阈值应用之后可识别的微物体的数量来确定微物体计数。

94.根据实施方式93所述的方法,其中所述神经网络包括下采样块,所述下采样块包括下采样卷积层、下采样批量归一化层以及下采样激活层。

95.根据实施方式93所述的方法,其中所述神经网络包括多个下采样块,每个下采样块包括下采样卷积层、下采样批量归一化层和下采样激活层。

96.根据实施方式94或95所述的方法,其中每个下采样卷积层将图像数据的空间分辨率降低到二分之一。

97.根据实施方式94或95所述的方法,其中每个下采样卷积层将图像数据的空间分辨率降低到二分之一,并且其中每个下采样卷积层包括5×5卷积滤波器。

98.根据实施方式94或95所述的方法,其中所述多个下采样块中的一个或多个之后是具有分支结构的残差网络块。

99.根据实施方式98所述的方法,其中所述残差网络块的所述分支结构包括第一分支和第二分支,且其中所述第一分支以比所述第二分支小的程度处理从先前下采样块接收的图像数据。

100.根据实施方式99所述的方法,其中所述残差网络块的所述第一分支包括第一分支卷积层、第一分支批量归一化层和第一分支激活层。

101.根据实施方式100所述的方法,其中所述第一分支激活层直接从所述第一分支批量归一化层接收图像数据,并且其中所述第一分支批量归一化层直接从所述第一分支卷积层接收图像数据。

102.根据实施方式100或101所述的方法,其中,所述第一分支卷积层包括1×1卷积滤波器。

103.根据实施方式99至102中任一项所述的方法,其中,所述残差网络块的所述第二分支包括两个或更多个处理单元,其中每个处理单元包括残差卷积层和残差批量归一化层。

104.根据实施方式103所述的方法,其中,所述残差网络块的所述第二分支包括第一残差卷积层、第一残差批量归一化层、第二分支激活层、第二残差卷积层和第二残差批量归一化层,其中,所述第二残差批量归一化层直接从所述第二残差卷积层接收图像数据,其中所述第二残差卷积层直接从所述第二分支激活层接收图像数据,其中所述第二分支激活层直接从所述第一残差批量归一化层接收图像数据,并且其中所述第一残差批量归一化层直接从所述第一残差卷积层接收图像数据。

105.根据实施方式104所述的方法,其中,所述第一残差卷积层包括第一残差卷积滤波器,并且所述第二残差卷积层包括第二残差卷积滤波器,并且其中所述第一残差卷积滤波器和第二残差卷积滤波器具有不同的尺寸。

106.根据实施方式104所述的方法,其中,所述第一残差卷积层包括第一残差卷积滤波器,并且所述第二残差卷积层包括第二残差卷积滤波器,并且其中所述第一残差卷积滤波器和第二残差卷积滤波器具有相同的维数。

107.根据实施方式99至106中任一项所述的方法,其中来自所述第一分支和所述第二分支的图像数据被重新组合并被传送到残差网络激活层。

108.根据实施方式94至107中任一项所述的方法,其中所述神经网络包括第一下采样块、第一残差网络块、第二下采样块、第二残差网络块、第三下采样块和第三残差网络块。

109.根据实施方式108所述的方法,其中所述第一下采样块和所述第一残差网络块各自包括32个通道和为所述图像的空间分辨率的一半的空间分辨率。

110.根据实施方式108或109所述的方法,其中所述第二下采样块和所述第二残差网络块各自包括64个通道和为所述图像的所述分辨率的四分之一的空间分辨率。

111.根据实施方式108至110中任一项所述的方法,其中,所述第三下采样块和所述第三残差网络块各自包括128个通道和为所述图像的分辨率的八分之一的空间分辨率。

112.根据实施方式95至111中任一项所述的方法,其中所述神经网络包括针对所述多个下采样块中的每个的上采样块,每个上采样块包括转置卷积层、上采样批量归一化层和上采样激活层,并且其中每个上采样块的转置卷积层增加其接收的图像数据的空间分辨率。

113.根据实施方式112所述的方法,其中所述上采样块中的一个或多个包括重组层,其中来自所述上采样批量归一化层的图像数据与来自先前残差网络块的图像数据合并。

114.根据实施方式113所述的方法,其中一个或多个上采样块包括所述转置卷积层、所述上采样批量归一化层、所述重组层和所述上采样激活层,其中所述上采样激活层直接从所述重组层接收图像数据,其中所述重组层直接从所述上采样批量归一化层接收图像数据,并且其中所述上采样批量归一化层直接从所述转置卷积层接收图像数据。

115.根据实施方式112至114中任一项所述的方法,其中,每个转置卷积层将图像数据的空间分辨率增加2倍。

116.根据实施方式113或114所述的方法,其中,当所述神经网络具有n个下采样块和n个残差网络块时,所述网络具有包括重组层的n-1个上采样块。

117.根据实施方式113至116中任一项所述的方法,其中所述神经网络包括:具有从第二残差网络块接收图像数据的重组层的第一上采样块、具有从第一残差网络块接收图像数据的重组层的第二上采样块、以及不包括重组层的第三上采样块。

118.根据实施方式117所述的方法,其中所述第一上采样块包括64个通道且输出具有为所述图像的空间分辨率的四分之一的空间分辨率的图像数据。

119.根据实施方式117或118所述的方法,其中所述第二上采样块包括32个通道且输出具有为所述图像的空间分辨率的一半的空间分辨率的图像数据。

120.根据实施方式117至120中任一项所述的方法,其中所述第三上采样块包括3个通道并且输出具有与所述图像的分辨率相同的空间分辨率的图像数据。

121.根据实施方式93至120中任一项所述的方法,还包括:将所述微物体分类为多个微物体类型中的至少一个。

122.根据实施方式93至121中任一项所述的方法,还包括:使用包含微物体的一组训练图像来训练神经网络。

123.根据实施方式122所述的方法,其中所述训练图像与从所述训练图像的手动视觉审核获得的训练数据结合使用。

124.根据实施方式122或123所述的方法,其中训练图像与从包含相同类型和/或数量的微物体的计算机验证图像获得的训练数据结合使用。

125.根据实施方式93至124中任一项所述的方法,其中所述微物体是生物细胞。

126.根据实施方式125的方法,其中所述生物细胞是免疫细胞。

127.根据实施方式125的方法,其中所述生物细胞是来自细胞株或癌细胞的细胞。

128.根据实施方式125的方法,其中所述生物细胞是卵母细胞、精子或胚胎。

129.一种非暂时性计算机可读介质,其中存储用于使计算机执行用于自动检测图像中的微物体的方法的程序,所述方法包含:接收微流体装置的图像数据;预处理所述图像数据以减少所述图像数据中的异常;使用神经网络处理所述图像数据中的像素数据,以根据多个微物体特性和所述像素数据中的每个像素的输出概率值来注释所述像素数据;应用阈值以确定哪些像素概率至少满足定义的阈值;以及基于在阈值应用之后可识别的微物体的数量来确定微物体计数。

130.根据实施方式129所述的方法,其中,所述神经网络包括下采样块,所述下采样块包括下采样卷积层、下采样批量归一化层以及下采样激活层。

131.根据实施方式129所述的方法,其中所述神经网络包括多个下采样块,每个下采样块包括下采样卷积层、下采样批量归一化层以及下采样激活层。

132.根据实施方式130或131所述的方法,其中每个下采样卷积层将图像数据的空间分辨率降低到二分之一。

133.根据实施方式130或131所述的方法,其中每个下采样卷积层将图像数据的空间分辨率降低到二分之一,并且其中每个下采样卷积层包括5×5卷积滤波器。

134.根据实施方式130或131所述的方法,其中,所述多个下采样块中的一个或多个下采样块之后是具有分支结构的残差网络块。

135.根据实施方式134所述的方法,其中所述残差网络块的所述分支结构包括第一分支和第二分支,且其中所述第一分支以比所述第二分支小的程度处理从先前下采样块接收的图像数据。

136.根据实施方式135所述的方法,其中,所述残差网络块的所述第一分支包括第一分支卷积层、第一分支批量归一化层和第一分支激活层。

137.根据实施方式136所述的方法,其中所述第一分支激活层直接从所述第一分支批量归一化层接收图像数据,并且其中所述第一分支批量归一化层直接从所述第一分支卷积层接收图像数据。

138.根据实施方式136或137所述的方法,其中,所述第一分支卷积层包括1×1卷积滤波器。

139.根据实施方式135至137中任一项所述的方法,其中,所述残差网络块的所述第二分支包括两个或更多个处理单元,其中,每个处理单元包括残差卷积层和残差批量归一化层。

140.根据实施方式139所述的方法,其中,所述残差网络块的所述第二分支包括第一残差卷积层、第一残差批量归一化层、第二分支激活层、第二残差卷积层和第二残差批量归一化层,其中,所述第二残差批量归一化层直接从所述第二残差卷积层接收图像数据,其中所述第二残差卷积层直接从所述第二分支激活层接收图像数据,其中所述第二分支激活层直接从所述第一残差批量归一化层接收图像数据,并且其中所述第一残差批量归一化层直接从所述第一残差卷积层接收图像数据。

141.根据实施方式140所述的方法,其中,所述第一残差卷积层包括第一残差卷积滤波器,并且所述第二残差卷积层包括第二残差卷积滤波器,并且其中所述第一残差卷积滤波器和第二残差卷积滤波器具有不同的尺寸。

142.根据实施方式140所述的方法,其中,所述第一残差卷积层包括第一残差卷积滤波器,并且所述第二残差卷积层包括第二残差卷积滤波器,并且其中所述第一残差卷积滤波器和第二残差卷积滤波器具有相同的维数。

143.根据实施方式135至142中任一项所述的方法,其中来自所述第一分支和所述第二分支的图像数据被重新组合并被传送到残差网络激活层。

144.根据实施方式129至143中任一项所述的方法,其中所述神经网络包括第一下采样块、第一残差网络块、第二下采样块、第二残差网络块、第三下采样块和第三残差网络块。

145.根据实施方式144所述的方法,其中所述第一下采样块和所述第一残差网络块各自包括32个通道和为所述图像的空间分辨率的一半的空间分辨率。

146.根据实施方式144或145所述的方法,其中所述第二下采样块和所述第二残差网络块各自包括64个通道和为所述图像的所述分辨率的四分之一的空间分辨率。

147.根据实施方式144至146中任一项所述的方法,其中,所述第三下采样块和所述第三残差网络块各自包括128个通道和为所述图像的分辨率的八分之一的空间分辨率。

148.根据实施方式131至147中任一项所述的方法,其中所述神经网络包括针对所述多个下采样块中的每一个的上采样块,每个上采样块包括转置卷积层、上采样批量归一化层和上采样激活层,并且其中每个上采样块的转置卷积层增加其接收的图像数据的空间分辨率。

149.根据实施方式148所述的方法,其中所述上采样块中的一个或多个包括重组层,在所述重组层中来自所述上采样批量归一化层的图像数据与来自先前残差网络块的图像数据被合并。

150.根据实施方式149所述的方法,其中一个或多个上采样块包括所述转置卷积层、所述上采样批量归一化层、所述重组层和所述上采样激活层,其中所述上采样激活层直接从所述重组层接收图像数据,其中所述重组层直接从所述上采样批量归一化层接收图像数据,并且其中所述上采样批量归一化层直接从所述转置卷积层接收图像数据。

151.根据实施方式148至150中任一项所述的方法,其中,每个转置卷积层将图像数据的空间分辨率增加2倍。

152.根据实施方式149或150所述的方法,其中,当所述神经网络具有n个下采样块和n个残差网络块时,所述网络具有包括重组层的n-1个上采样块。

153.根据实施方式149至151中任一项所述的方法,其中所述神经网络包括:具有接收来自第二残差网络块的图像数据的重组层的第一上采样块、具有从第一残差网络块接收图像数据的重组层的第二上采样块、以及不包括重组层的第三上采样块。

154.根据实施方式153所述的方法,其中所述第一上采样块包括64个通道且输出具有为所述图像的空间分辨率的四分之一的空间分辨率的图像数据。

155.根据实施方式153或154所述的方法,其中所述第二上采样块包括32个通道且输出具有为所述图像的空间分辨率的一半的空间分辨率的图像数据。

156.根据实施方式153至155中任一项所述的方法,其中所述第三上采样块包括3个通道并且输出具有与所述图像的分辨率相同的空间分辨率的图像数据。

157.根据实施方式129至实施方式156中任一项所述的方法,还包括:将所述微物体分类为多个微物体类型中的至少一个。

158.根据实施方式129至157中任一项所述的方法,还包括:使用包含微物体的一组训练图像来训练神经网络。

159.根据实施方式158所述的方法,其中训练图像与从训练图像的手动视觉审核获得的训练数据结合使用。

160.根据实施方式158或159的方法,其中训练图像与从包含相同类型和/或数量的微物体的计算机验证图像获得的训练数据结合使用。

161.根据实施方式129至160中任一项所述的方法,其中所述微物体是生物细胞。

162.根据实施方式161的方法,其中所述生物细胞是免疫细胞。

163.根据实施方式161的方法,其中所述生物细胞是来自细胞株或癌细胞的细胞。

164.根据实施方式161的方法,其中所述生物细胞是卵母细胞、精子或胚胎。

165.一种自动检测图像中的微物体的系统,包括:图像获取单元和微物体检测单元,所述图像获取单元包括:成像元件,其被配置为捕获微流体设备的一个或多个图像,以及图像预处理引擎,被配置为减少所述图像数据中的异常;所述微物体检测单元通信地与所述图像获取单元连接,所述微物体检测单元包括:神经网络,被配置为根据多个微物体特性和所述像素数据中的每一像素的输出概率值来注释图像中的像素数据;阈值引擎,被配置为确定哪些像素概率至少满足定义的阈值,以及检测引擎,被配置为应用图像后处理技术并输出微物体计数。

166.根据实施方式165所述的系统,其中所述神经网络包括下采样块,所述下采样块包括下采样卷积层、下采样批量归一化层和下采样激活层。

167.根据实施方式165所述的系统,其中所述神经网络包括多个下采样块,每个下采样块包括下采样卷积层、下采样批量归一化层,以及下采样激活层。

168.根据实施方式166或167所述的系统,其中每个下采样卷积层被配置为将图像数据的空间分辨率降低到二分之一。

169.根据实施方式166或167的系统,其中每个下采样卷积层被配置为将图像数据的空间分辨率降低到二分之一,并且其中每个下采样卷积层包括5×5卷积滤波器。

170.根据实施方式166或167所述的系统,其中,所述多个下采样块中的一个或多个下采样块之后是具有分支结构的残差网络块。

171.根据实施方式170所述的系统,其中所述残差网络块的所述分支结构包括第一分支和第二分支,且其中所述第一分支以比所述第二分支小的程度处理从先前下采样块接收的图像数据。

172.根据实施方式171所述的系统,其中,所述残差网络块的所述第一分支包括第一分支卷积层、第一分支批量归一化层和第一分支激活层。

173.根据实施方式172所述的系统,其中所述第一分支激活层被配置为直接从所述第一分支批量归一化层接收图像数据,并且其中所述第一分支批量归一化层被配置为直接从所述第一分支卷积层接收图像数据。

174.根据实施方式172或173所述的系统,其中所述第一分支卷积层包括1×1卷积滤波器。

175.根据实施方式171至173中任一项所述的系统,其中,所述残差网络块的所述第二分支包括两个或更多个处理单元,其中,每个处理单元包括残差卷积层和残差批量归一化层。

176.根据实施方式175所述的系统,其中,所述残差网络块的所述第二分支包括第一残差卷积层、第一残差批量归一化层、第二分支激活层、第二残差卷积层和第二残差批量归一化层,其中,所述第二残差批量归一化层被配置为直接从所述第二残差卷积层接收图像数据,其中所述第二残差卷积层被配置为直接从所述第二分支激活层接收图像数据,其中所述第二分支激活层被配置为直接从所述第一残差批量归一化层接收图像数据,且其中所述第一残差批量归一化层被配置为直接从所述第一残差卷积层接收图像数据。

177.根据实施方式176所述的系统,其中,所述第一残差卷积层包括第一残差卷积滤波器,并且所述第二残差卷积层包括第二残差卷积滤波器,并且其中,所述第一残差卷积滤波器和所述第二残差卷积滤波器具有不同的尺寸。

178.根据实施方式176所述的系统,其中,所述第一残差卷积层包括第一残差卷积滤波器,并且所述第二残差卷积层包括第二残差卷积滤波器,并且其中,所述第一残差卷积滤波器和所述第二残差卷积滤波器具有相同的维数。

179.根据实施方式176至178中任一项所述的系统,其中所述残差网络块还包括重组层,所述重组层被配置为重组来自所述第一分支和所述第二分支的图像数据,并且将所述输出从所述重组层传输到残差网络激活层。

180.根据实施方式175至179中任一项所述的系统,其中所述神经网络包括第一下采样块、第一残差网络块、第二下采样块、第二残差网络块、第三下采样块和第三残差网络块。

181.根据实施方式180所述的系统,其中所述第一下采样块和所述第一残差网络块各自包括32个通道和为所述图像的空间分辨率的一半的空间分辨率。

182.根据实施方式180或181所述的系统,其中所述第二下采样块及所述第二残差网络块各自包括64个通道和为所述图像的所述分辨率的四分之一的空间分辨率。

183.根据实施方式180至182中任一项所述的系统,其中,所述第三下采样块和所述第三残差网络块各自包括128个通道和为所述图像的分辨率的八分之一的空间分辨率。

184.根据实施方式179至183中任一项所述的系统,其中所述神经网络包括针对所述多个下采样块中的每个下采样块的上采样块,每个上采样块包括转置卷积层、上采样批量归一化层和上采样激活层,并且其中每个上采样块的所述转置卷积层被配置为增加其接收的图像数据的空间分辨率。

185.根据实施方式184所述的系统,其中所述上采样块中的一个或多个包括重组层,其被配置为将来自所述上采样批量归一化层的图像数据与来自先前残差网络块的图像数据合并。

186.根据实施方式185的系统,其中一个或多个上采样块包括转置卷积层、上采样批量归一化层、重组层和上采样激活层,其中上采样激活层被配置为直接从重组层接收图像数据,其中重组层被配置为直接从上采样批量归一化层接收图像数据,并且其中所述上采样批量归一化层被配置为直接从所述转置卷积层接收图像数据。

187.根据实施方式184至186中任一项所述的系统,其中,每个转置卷积层被配置为将图像数据的空间分辨率增加2倍。

188.根据实施方式185或186所述的系统,其中,当所述神经网络具有n个下采样块和n个残差网络块时,所述网络具有包括重组层的n-1个上采样块。

189.根据实施方式185至188中任一项所述的系统,其中所述神经网络包括具有被配置为从第二残差网络块接收图像数据的重组层的第一上采样块、具有被配置为从第一残差网络块接收图像数据的重组层的第二上采样块,以及不包括重组层的第三上采样块。

190.根据实施方式189所述的系统,其中所述第一上采样块包括64个通道且输出具有为所述图像的空间分辨率的四分之一的空间分辨率的图像数据。

191.根据实施方式189或190所述的系统,其中所述第二上采样块包括32个通道且输出具有为所述图像的空间分辨率的一半的空间分辨率的图像数据。

192.根据实施方式189至191中任一项所述的系统,其中所述第三上采样块包括3个通道并且输出具有与所述图像的分辨率相同的空间分辨率的图像数据。

193.根据实施方式165至192中任一项所述的系统,其中所述微目标是生物细胞。

194.根据实施方式193的系统,其中所述生物细胞是免疫细胞。

195.根据实施方式193的系统,其中所述生物细胞是来自细胞系或癌细胞的细胞。

196.根据实施方式193的系统,其中所述生物细胞是卵母细胞、精子或胚胎。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1