细胞识别的制作方法

文档序号:20167358发布日期:2020-03-24 21:53阅读:354来源:国知局
细胞识别的制作方法

发明领域

本发明涉及生物图像处理和细胞分类领域。更具体地,本发明涉及用于,例如,在无透镜全息成像流式细胞术中,细胞的无标记计数和/或分类的系统和方法。

发明背景

细胞表征在医疗诊断学中起重要作用。例如,白细胞(wbc),也称为白血球,通过帮助抵抗病原体来在免疫系统中起重要作用。wbc的识别可以辅助诊断许多疾病,诸如白血病、艾滋病和某些常见病毒。对wbc的3个部分(即,t淋巴细胞、粒细胞和单核细胞)的区分已成为血液学家特别感兴趣的热点话题。

常规白细胞识别通常需要若干必要的图像处理。已经对特征分析和分类进行了研究用于使用不同的图像形态的细胞标识。最早的细胞分类尝试是基于分割的。bao等基于使用血液涂片的显微图像,在无需从细胞质中分离细胞核的情况下从细胞图像中获得定量测量。作为扩展,gelsema等基于多灰度阈值化原理来执行图像分割。所提取的特征表达几何形状、光学密度和纹理特性。theeraumpon等使用骨髓涂片的显微图像,仅使用细胞核信息来对白细胞进行分类。他们使用数学形态学来分析基于白细胞核的特征集。tabrizi等使用血液涂片从经分割的细胞核和细胞质中提取色彩、形态和结构特征以供五部分wbc区分。这些研究已经示出了与半自动方法或手动调查相比使用光学显微术进行自动wbc标识的优势。不幸地,图像质量可能遭受照明变化、不均匀的染色和色彩混合,从而使这些方法对误差或变化而言是敏感的。若干研究表明,使用提供空间和光谱信息两者的高光谱成像、多光谱图像、或拉曼光谱成像技术来进行细胞鉴定的能力。然而,这些研究还使用血液涂片样本,这可能改变实际的细胞形态。

常规血液分析通常使用笨重且昂贵的显微镜或血液分析仪来执行。最近,无镜头成像技术已经成熟并且开始充当竞争对手。无需使用任何光学透镜,无透镜成像技术在便携性、可扩展性和成本效益上提供优势。成像流式细胞仪可以捕获高含量的细胞图像,并且可以提供比荧光标记的单个特征多得多的信息。chen等从处于悬浮状态的细胞的高吞吐量的定量图像中提取光学和形态特征两者。dannhauser提取了由定量相位成像全息系统捕获的单核细胞的3d形态特征,该系统包括复杂的显微术。无透镜成像技术为血液流式细胞术带来了新的可能性和挑战。一种最新近开发的无透镜流式细胞仪是基于数字全息显微术的。尽管该技术提供了用于对细胞进行成像的恰适硬件,但是仍然需要准确且高效的细胞识别技术。



技术实现要素:

本发明的目的是提供用于分类细胞的高效方法和系统。

本发明的实施例的优势在于,提供了一种细胞分类系统,其允许对处于悬浮状态(即,其中细胞不受对在涂片中的细胞进行成像的影响)的细胞进行分类。优势在于,可以对与原本将在涂片中获得这些细胞时相比失真更小的细胞图像进行分类。

本发明的实施例的优势在于,获得了细胞的自动分类,例如,基于无透镜全息图像的自动高分类(至少三部分白细胞分类)。优势在于,此类自动分类可以是基于机器学习算法的。

本发明的实施例的优势在于,所使用的图像可以是荧光标记的样本,而无需对样本进行生物纯化。

本发明的实施例的优势在于,最重要的特征被用于细胞识别,从而降低了细胞识别的计算成本,因为可以在不评估完整特征空间的情况下执行准确的细胞识别。

上述目标通过根据本发明的方法和设备来实现。

本发明涉及用于区分细胞的细胞区分系统,该系统包括:

用于接收基于处于悬浮状态的细胞的全息图像的细胞的经重构的图像的输入装置,以及

用于从该细胞的经重构的图像确定细胞表征特征用于该细胞的表征的细胞识别装置,

其中该细胞识别装置被配置成用于将图像矩确定为细胞识别特征,该图像矩被定义为

mij=∑x,y(f(x,y).xi.yj)以及

其中并且

其中j和i是阶数。f(x,y)是位于(x,y)处的像素强度。

根据本发明实施例的系统适用于区分细胞。本发明的实施例的优势在于,该系统特别适合于区分白细胞。该系统可能特别适合于将白细胞区分成t淋巴细胞、粒细胞和单核细胞。该系统可能特别适合于基于处于悬浮状态的wbc图像的重构来提供3部分白细胞(wbc)识别。本发明的实施例的优势在于,对于处于悬浮状态的wbc,可以通过使用图像矩来获得准确识别。

有利地,图像矩可以是几何矩。

该细胞识别装置可以被配置成用于将至少以下图像矩确定为细胞识别特征:m00、m01、m11、m12、μ03、μ12和μ21、η03、η12、η20以及η21。

本发明的实施例的优势在于,对于至少一些数据集,可以通过将以上所标识的图像矩用作细胞识别特征来获得准确且快速的细胞识别。因此,优势在于,仅需要确定有限的一组图像矩,同时仍然可获得至少一些数据集的准确结果。

该细胞识别装置进一步可以被配置成用于将zernike矩z20确定为细胞识别特征:

对于x2+y2≤1,且

vn,m(ρ,θ)=rn,mexp(jmθ)

n是表示zernike多项式的阶数的非负整数,并且m表示满足(n-|m|)=even且|m|≤n的约束的zernike多项式的重复。θ是方位角,并且ρ是径向距离,0≤ρ≤1。rn,m是径向多项式

本发明的实施例的优势在于,对于至少一些数据集,可以通过使用一个附加zernike矩来显著提高细胞识别的准确性。

该细胞识别装置进一步可以被配置成用于还将至少以下图像矩确定为细胞识别特征:m30和μ20。本发明的实施例的优势在于,对于至少一些数据集,可以通过附加图像矩的使用来显著提高细胞识别的准确性。

该细胞识别装置进一步可以被配置成用于还将至少以下图像矩确定为细胞识别特征:m02、m10、m20、m21、η02和η30。本发明的实施例的优势在于,通过使用所标识的图像矩,细胞识别技术导致在不同数据集中进行细胞识别的高准确性。

该细胞识别装置进一步可以被配置成用于将zernike矩z20、z40、z60和z80确定为细胞识别特征,其中:

对于x2+y2≤1,且vn,m(ρ,θ)=rn,mexp(jmθ)

其中n是表示zernike多项式的阶数的非负整数,并且m表示满足(n-|m|)=even且|m|≤n的约束的zernike多项式的重复。θ是方位角,并且ρ是径向距离,0≤ρ≤1,并且rn,m是作为识别特征的径向多项式

该细胞识别装置进一步可以被配置成用于将hu矩hu1、hu5和hu7确定为细胞识别特征,其中:

hu1=η20+η02

该细胞识别装置进一步可以被配置成用于将细胞直径确定为细胞识别特征。该细胞识别装置进一步可以被配置成用于将细胞脊确定为细胞识别特征。

该系统进一步可以包括用于将细胞分类为白细胞的细胞分类装置。细胞分类装置进一步可以被适配成用于基于使用细胞识别装置来确定的细胞的所确定的特征来将细胞分类为t淋巴细胞、粒细胞或单核细胞。

根据本发明的实施例的优势在于,可以执行细胞的准确分类。

输入装置可以包括用于获取处于悬浮状态的细胞的全息图数据的全息图数据获取系统。

输入装置可以包括数据预处理系统,该数据预处理系统被配置成用于从全息图数据中移除背景和/或用于对全息图数据的照明强度进行归一化。

输入装置可以包括图像重构系统。

细胞识别装置可以被配置成用于确定细胞识别特征精确地是图像矩m00、m01、m11、m12、μ03、μ12和μ21、η03、η12、η20和η21、以及zernike矩z20。

细胞识别装置可以被配置成用于确定细胞识别特征精确地是图像矩m00、m01、m11、m12、μ03、μ12和μ21、η03、η12、η20、η21、m30和μ20、zernike矩z20、以及直径。

细胞识别装置可以被配置成用于确定细胞识别特征精确地是图像矩m00、m01、m11、m12、μ03、μ12和μ21、η03、η12、η20、η21、m30、μ20、m02、m10、m20、m21、η02和η30、zernike矩z20、z40、z60、z80、hu矩hu1、hu5和hu7、以及直径和脊。

本发明还涉及一种诊断设备,该诊断设备包括如上所述的用于分析细胞的系统。该诊断设备可以被适配成分析血细胞,诸如举例而言白细胞。

本发明还涉及一种用于区分细胞的方法,该方法包括:接收基于处于悬浮状态的细胞的全息图像的细胞的经重构的图像,以及从该细胞的经重构的图像确定细胞表征特征用于该细胞的表征,其中该细胞识别特征包括图像矩,该图像矩定义成

空间矩:mij=∑x,y(f(x,y).xi.yi),

和中心矩:其中

以及归一化中心矩:

其中j和i是阶数。f(x,y)是位于(x,y)处的像素强度。

细胞可以是白细胞。该方法可以被适配成用于将白细胞分类成t淋巴细胞、粒细胞和单核细胞。

该方法进一步可以包括:基于所确定的细胞识别特征,标识白细胞是t淋巴细胞、粒细胞还是单核细胞。

有利地,图像矩可以是几何矩。

从细胞的经重构的图像来确定细胞表征特征可以包括:将至少以下图像矩确定为细胞识别特征:m00、m01、m11、m12、μ03、μ12和μ21、η03、η12、η20以及η21。

从细胞的经重构的图像来确定细胞表征特征可以包括:将zernike矩z20确定为细胞识别特征:

对于x2+y2≤1,且

vn,m(ρ,θ)=rn,mexp(jmθ)

n是表示zernike多项式的阶数的非负整数,并且m表示满足(n-|m|)=even且|m|≤n的约束的zernike多项式的重复。θ是方位角,并且ρ是径向距离,0≤ρ≤1。rn,m是径向多项式

从细胞的经重构的图像来确定细胞表征特征可以包括:将至少以下图像矩确定为细胞识别特征:m30和μ20。

从细胞的经重构的图像来确定细胞表征特征可以包括:将至少以下图像矩确定为细胞识别特征:m02、m10、m20、m21、η02和η30。

从细胞的经重构的图像来确定细胞表征特征可以包括:将zernike矩z20、z40、z60和z80确定为细胞识别特征,其中:

对于x2+y2≤1,且vn,m(ρ,θ)=rn,mexp(jmθ)

其中n是表示zernike多项式的阶数的非负整数,并且m表示满足(n-|m|)=even且|m|≤n的约束的zernike多项式的重复。θ是方位角,并且ρ是径向距离,0≤ρ≤1,并且rn,m是径向多项式

以及

确定hu矩hu1、hu5和hu7,其中

hu1=η20+η02

以及

将直径和脊确定为细胞识别特征。

该方法可以包括将细胞分类为白细胞。分类可以是基于所确定的细胞特征来将细胞分类为t淋巴细胞、粒细胞或单核细胞。

接收细胞的经重构的图像可包括获取处于悬浮状态的细胞的全息图数据

接收细胞的经重构的图像可以包括从全息图数据移除背景和/或将全息图数据的照明强度归一化。

接收细胞的经重构的图像可以包括在移除背景和/或将照明强度归一化之后,基于全息图数据来重构图像。

在所附独立和从属权利要求中阐述了本发明的特定和优选方面。来自从属权利要求的特征可与独立权利要求的特征并且与其他从属权利要求的特征恰适地而不仅仅是如在权利要求中明确阐述地组合。

出于对本发明以及相对现有技术所实现的优势加以总结的目的,上文已描述了本发明的某些目的和优势。当然,应理解,不一定所有此类目的或优势都可根据本发明的任何特定实施例来达成。因此,例如,本领域的技术人员将认识到,本发明可按实现或优化如本文中所教导的一个优势或一组优势的方式来具体化或执行,而不一定要实现如本文可能教导或建议的其他目的或优势。

参考本文以下描述的(一个或多个)实施例,本发明的上述和其他方面将是显而易见的和可阐明的。

附图说明

现在将参照附图通过示例的方式来进一步描述本发明。

图1解说了根据本发明的实施例的细胞区分系统的各组件的示意图。

图2示出了如可在本发明的实施例中使用的wbc识别流水线的流程图。

图3示出了对三种wbc类型的常规明场显微镜和无透镜全息重构的幅度和相位图像,该无透镜全息重构的幅度和相位图像被用于本发明的实施例中。

图4示出了如可在本发明的实施例中使用的wbc边缘测量和所提取的边缘特征。

图5示出了针对可能的成对白细胞的所提取和区分的每个特征的单向anova的结果得到的p值,从而解说了本发明的各实施例的优势。

图6示出了针对所有三种白细胞通过线性判别分析来获得的标准化系数的强度,从而解说了本发明的各实施例的优势。

图7比较了关于经分组特征的线性svm的分类准确性,从而解说了本发明的各实施例的优势。

图8解说了随着所选特征数的增大,线性svm的分类准确性中的边际增大,从而解说了本发明的各实施例的优势。

这些附图仅是示意性而非限制性的。在附图中,出于解说目的,可将要素中的一些的尺寸放大且不按比例绘制。尺度和相对尺度并不必然对应于对本发明实践的实际简化。

权利要求中的任何附图标记不应被解释为限制范围。

在不同的附图中,相同的附图标记指代相同或相似的要素。

具体实施方式

将相对于特定实施例并且参考某些附图来描述本发明,但是本发明不限于此,而仅由权利要求书来限定。

说明书中和权利要求书中的术语第一、第二等用于区分在类似的要素之间进行区分,而不一定用于描述时间上、空间上、等级上或以任何其他方式的顺序。应理解,如此使用的术语在恰适情况下是可互换的并且本文中所描述的本发明的实施例能够以与本文中所描述或图示的不同的顺序来进行操作。

此外,在说明书和权利要求书中的诸如顶部、底部、前部、后部、前缘、尾缘、下方、上方等之类的方向性术语被用于参考正被描述的附图的取向的描述性目的,而不一定是用于描述相对位置。因为可以以数个不同的取向来放置本发明的实施例的各组件,所以仅出于说明的目的使用方向性术语且决不作为限制,除非另有说明。因此,应该理解,如此使用的这些术语在合适情况下可以互换,并且本文描述的本发明的实施例能够以除了本文描述或说明的之外的其他取向来操作。

应当注意,权利要求中使用的术语“包括”不应被解释为被限定于其后列出的手段;它并不排除其他要素或步骤。因此,该术语应被解读为指定如所提到的所陈述的特征、整数、步骤或组件的存在,但不排除一个或多个其他特征、整数、步骤或组件、或其组的存在或添加。因此,表述“一种包括装置a和b的设备”的范围不应当被限定于仅由组件a和b构成的设备。这意味着对于本发明,该设备的仅有的相关组件是a和b。

贯穿本说明书对“一个实施例”或“实施例”的引用意指结合该实施例描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。因此,短语“在一个实施例中”或“在实施例中”贯穿本说明书在各个地方的出现并不一定全部指代同一实施例,而是可以指代同一实施例。此外,在一个或多个实施例中,如从本公开中对本领域普通技术人员将是显而易见的,特定的特征、结构或特性能以任何合适的方式进行组合。

类似地,应当领会,在本发明的示例性实施例的描述中,出于精简本公开和辅助对各个发明性方面中的一个或多个的理解的目的,本发明的各个特征有时被一起分组在单个实施例、附图或其描述中。然而,这种公开的方法不应被解读为反映所要求保护的本发明需要比每项权利要求中所明确记载的更多特征的意图。相反,如所附权利要求反映的,发明性方面在于比单个前述公开的实施例的全部特征更少的特征。因此,具体实施方式所附的权利要求由此被明确纳入本具体实施方式中,其中每一项权利要求本身代表本发明的单独的实施例。

此外,如将由本领域技术人员所理解的,尽管本文中所描述的一些实施例包括其他实施例中所包括的一些特征但不包括其他实施例中所包括的其他特征,但是不同实施例的特征的组合旨在落在本发明的范围内,并且形成不同实施例。例如,在所附的权利要求书中,所要求保护的实施例中的任何实施例均可以任何组合来使用。

应当注意,在描述本发明的某些特征或方面时,特定术语的使用不应当被视作暗示该术语在本文中被重新定义为受限于包括该术语所关联的本发明的特征或方面的任何特定特性。

在本文中所提供的描述中,阐述了众多具体细节。然而应理解,可以在没有这些具体细节的情况下实施本发明的实施例。在其他实例中,未详细示出公知的方法、结构和技术,以免混淆对本描述的理解。

在第一方面,本发明涉及一种用于区分细胞的细胞区分系统。尽管在特定实施例的描述中,将参考用于区分白细胞并且甚至更具体地用于将白细胞区分为t淋巴细胞、粒细胞和单核细胞的系统来主要描述和解说该系统,但是本发明的实施例并不限于此。更特别地,该系统一般而言适合于处于流动状态的细胞的表征或区分。根据本发明,细胞区分系统包括用于接收基于处于悬浮状态的细胞的全息图像的细胞的经重构的图像的输入装置。输入装置可以被配置成用于从外部源接收经重构的图像,但是可以替换地包括成像装置(诸如举例而言无透镜成像流式细胞仪)以及用于获得细胞的图像重构的图像重构装置。输入装置可以被适配成用于从单个细胞(例如,处于悬浮状态的单个细胞)接收图像。输入装置还可以被适配成用于从处于流动状态的单个细胞接收图像。因此,通常可以使用球形点辐射源(诸如举例而言球形点光源激光)来对细胞成像。不需要个体细胞的分割也是本发明的实施例的优势。此外,细胞区分系统还包括用于从细胞的经重构的图像确定细胞表征特征用于该细胞的表征的细胞识别装置。根据本发明的实施例的细胞识别装置被配置成用于将经重构的图像的图像矩确定为细胞识别特征。这些图像矩可以是几何矩或包括此类几何矩在内的一组矩。图像矩被定义为mij=∑x,y(f(x,y).xi.yj)以及

其中并且

此处j和i是阶数,并且其中f(x,y)是数字图像。

在一些实施例中,细胞识别装置被适配成用于将至少以下图像矩确定为细胞识别特征:m00、m01、m11、m12、μ03、μ12、和μ21、η03、η12、η20以及η21。因此,优势在于,例如,在所使用的特征限于这些矩或包括这些矩的一组特征的情况下,这些矩可以导致非常有效的细胞区分。在一些实施例中,还将zernike矩z20添加作为细胞识别特征。又其他实施例进一步包括图像矩m30和μ20。在又其他实施例中,还包括图像矩m02、m10、m20、m21、η02和η30。又其他实施例还包括作为细胞识别特征的zernike矩z20、z40、z60和z80、作为细胞识别特征的hu矩hu1、hu5和hu7、和/或直径和/或脊。在一些实施例中,至少选择以下图像矩或精确选择以下图像矩:m00、m01、m11、m12、μ03、μ12、μ21、η03、η12、η20和η21、以及z20。在其他实施例中,至少选择以下图像矩或精确选择以下图像矩:m00、m01、m11、m12、m30、μ03、μ12、μ20、μ21、η03、η12、η20和η21、以及z20。在一些实施例中,细胞识别特征限于在上述相应的实施例中显式地提及的那些细胞识别特征。令人惊讶地发现,用以上针对不同实施例指示的有限特征,有可能以计算高效的方式获得准确的细胞区分。可以基于线性判别分析来选择此类特征。这些模型计及细胞的经标记信息(细胞类别),从而导致高度相关的特征以区分不同的细胞类型,诸如举例而言白细胞的三种亚型。细胞特征的识别可以基于特定特征选择,如将在以下进一步描述的特定示例中所解说的。所选功能中的一些功能具有一些物理意义。矩m00表示大量的细胞图像,在该图像中表示灰度级的总和。矩m01帮助描述图像的质心,即,替换地,对于该矩或者附加地还可以使用矩m10,也辅助描述了图像的质心,即,矩μ03、μ12、μ21、以及可任选地μ30和μ20相对于平移而言是不变的。

矩μ03、μ12、μ20、和μ21相对于平移和缩放两者而言是不变的,并且矩z20相对于旋转而言是不变的。根据一些实施例,细胞区分系统还包括用于使用细胞识别特征来对细胞进行分类的细胞分类装置。藉由解说,图1示出了细胞识别系统100,其包括用于接收基于处于悬浮状态的细胞的全息图像的细胞的经重构的图像的输入装置110、细胞识别装置120、和细胞分类装置130。在一些实施例中,细胞识别装置120和细胞分类装置130可被组合。细胞区分系统100可以被实现为软件以及硬件。这样的软件可以在处理器上运行。本发明的实施例的优势在于,由于如上所指示的仅需要识别特征的特定选择,因此可以限制处理器所需的计算功率的量。如上所指示的,该系统可以被适配成用于对处于悬浮或流动状态的细胞进行分类。由此,优势在于,与涂片中的细胞相比,全息图像可以用于处于悬浮或流动状态的细胞,因为对涂片中的细胞进行分类需要对血样进行更多处理和/或可能导致较不准确的分类。因此,输入装置可被适配成用于从成像装备接收全息图像,或者因此可以包括成像装备,该成像装备包括:被适配成用于容纳具有细胞的悬浮液或具有细胞的流动液的流体或微流体隔室(例如,通道)、以及全息成像装置。有利地,成像装置和全息图像处理装置以及分类系统被组合在单个系统中,从而允许实时成像和分类。将参考以下进一步描述的特定示例来解说本发明的实施例的进一步特征和优势。

在另一方面,本发明还涉及一种诊断设备,该诊断设备包括用于分析细胞(诸如举例而言白细胞)的细胞区分系统。因此,细胞区分系统是如在第一方面中描述的包括与在第一方面中描述的实施例相同的特征和优势的细胞区分系统。除了细胞区分系统之外(或在恰适的情况下一些组件也可能是细胞区分系统的一部分),诊断设备通常可以包括无透镜成像流式细胞仪。流式细胞仪可以是紧凑型的。可以使用的无透镜成像流式细胞仪的一个示例是基于全息装备的,该全息装备包括点光源照明源(诸如举例而言波导、微流体芯片)和用于成像的高速相机(诸如举例而言cmos相机)。在特定示例中,浸油和玻璃窗被放置在点光源、微流体芯片与相机之间,以创建完整的折射率匹配系统。辐射(例如,激光)被行进穿过主微流体通道的细胞散射。从经散射和未散射的辐射中,可以捕获到干涉图或全息图。采用频闪照明以避免系统中处于流动状态的细胞的运动模糊。为了标识细胞,将其全息图数值化地衍射回通道平面,并且然后由细胞区分系统来处置结果得到的重构。将清楚的是,所描述的特定流式细胞仪仅是可以在本发明的实施例中用于获得处于流动状态的细胞的图像的系统的示例,并且因此本发明并不限于该特定示例。该诊断设备具有的优势在于,它可以用作不贵的便携式细胞分析仪(例如,血液分析仪),其可以在紧急情况或资源有限的情况下在医疗点被利用。

在第三方面,本发明涉及一种用于区分细胞的方法。该方法可以例如被用于表征白细胞,尽管实施例并不限于此,并且可以更普遍地适用于处于流动状态的细胞。该方法包括:接收基于处于悬浮状态的细胞的全息图像的细胞的经重构的图像;以及从该细胞的经重构的图像确定细胞表征特征用于该细胞的表征。细胞识别特征包括如下定义的图像矩

空间矩:

mij=∑x,y(f(x,y).xi.yj)

和中心矩

其中

以及归一化中心矩:

其中j和i是阶数,f(x,y)是数字图像位于(x,y)处的像素强度。在具体实施例中,至少以下图像矩被选择为细胞识别特征:m00、m01、m11、m12、μ03、μ12、和μ21、η03、η12、η20以及η21。

在一些实施例中,至少选择以下图像矩或精确选择以下图像矩:m00、m01、m11、m12、μ03、μ12、μ21、η03、η12、η20和η21、以及z20。在其他实施例中,至少选择以下图像矩或精确选择以下图像矩:m00、m01、m11、m12、m30、μ03、μ12、μ20、μ21、η03、η12、η20和η21、以及z20。在一些实施例中,细胞识别特征限于在上述相应的实施例中显式地提及的那些细胞识别特征。令人惊讶地发现,用以上针对不同实施例指示的有限特征,有可能以计算高效的方式获得准确的细胞区分。可以基于线性判别分析来选择此类特征。这些模型计及细胞的经标记信息(细胞类别),从而导致高度相关的特征以区分不同的细胞类型,诸如举例而言白细胞的三种亚型。

在一些实施例中,该方法进一步包括对细胞进行分类的步骤。该方法进一步可以包括与在本发明的第一方面的系统实施例中描述的系统的各组件的功能性相对应的方法步骤。该方法可以被实现为计算机程序产品并且可以被存储在处理器上。本发明因此还包括当在计算设备上被执行时执行根据本发明的实施的方法的计算机程序产品。可以包括此类计算机程序产品的处理器的一种配置可以例如包括耦合到存储器子系统的至少一个可编程计算组件,该存储器子系统包括至少一种形式的存储器,例如ram、rom等等。应注意,该一个或多个计算组件可以是通用或专用计算组件。因此,本发明的一个或多个方面可以以数字电子电路系统、或以计算机硬件、固件、软件或以它们的组合来实现。

在另一方面,本发明涉及一种数据载体,该数据载体用于承载用于例如使用如上所述的系统或设备来执行细胞识别的计算机程序产品。此类数据载体可以包括有形地实施在其上的计算机程序产品,并且该计算机程序产品可承载用于由可编程处理器执行的机器可读代码。本发明因此涉及载承载计算机程序产品的载体介质,当在计算装置上执行该计算机程序产品时其提供用于执行如关于如上所述的设备和系统所描述的任何功能的指令。术语“载体介质”指参与向处理器提供指令以供执行的任何介质。这样的介质可采取许多形式,包括但不限于非易失性介质和传输介质。非易失性介质包括诸如作为大容量存储的一部分的存储设备,例如光盘或磁盘。计算机可读介质的常见形式包括cd-rom、dvd、存储器芯片、或计算机可从中作读取的任何其他介质形式。也可经由诸如lan、wan或因特网之类的网络中的载波传输。传输介质也可以采用声波或光波的形式,例如那些在无线电波和红外数据通信期间生成的波。传输介质包括同轴电缆、铜导线和光纤,包括含计算机内部总线的各类导线。

藉由解说,本发明的实施例并不限于此,将参考测试结果来描述本发明的特定实施例的特征和优势,该测试结果解说使用无透镜全息成像结合流式细胞仪来对人类白细胞(wbc)的三种类型进行识别和分类。这三种类型可以是t淋巴细胞、粒细胞和单核细胞。因此,针对这三种wbc建立了全面的图像数据库,并且相对于这三种类型的wbc的部分种群大小而言被很好的平衡。测试结果还解说了可以如何使用机器学习技术来获得特征选择和分类算法,由此具有足够的数据对于准确性而言是严格的要求。所获得的特征选择和分类算法解说了如本发明的一些实施例中所述的全自动、高吞吐量血液分析仪(诸如紧凑型流式细胞仪)的可能性。

对于基于分类算法的高度准确的细胞识别设备,通过这种算法做出的相对于特定细胞类型的预测必须与标准高度一致。在本发明的特定实施例中,这样的标准可以由对相同血液样品进行的参考测量来表示,并且被用于根据wbc的亚型来标记该wbc。在本示例中,在参考测量中对白细胞进行标记是通过打上荧光标签来达成的。荧光分子对三种wbc类型进行不同地着色,因为它们附着在与所有可能wbc中的特定亚型的wbc选择性结合的抗体上。供进行荧光标记的典型抗体可以是抗cd3、抗cd14和抗cd15。在外部光源的影响下,荧光分子被激发并且以不同的波长来重新发射。假设几乎不存在交叉污染,则作为与运行中靶细胞特异性结合的结果,由单个细胞所发射的光的波长或重新发射事件自身指示了该靶细胞的类型,因此打上荧光标记导致高质量的标准。

在本示例中,执行了细胞准备步骤,该步骤使得在流经流式细胞仪的成像区域的细胞上执行无标记成像时荧光参考信号的同时记录成为可能。在监督医疗和道德委员会的同意下,献血者被标识并且从他们抽血。将全血划分成2ml等分试样,然后将其与抗cd3、抗cd14或抗cd15藻红蛋白结合抗体孵育(bd生物科技(biosciences))。因此,用荧光分子打上特定标签的wbc亚型分别针对淋巴细胞、单核细胞和粒细胞来获得。使用藻红蛋白分子进行着色是有利的,因为由于那些藻红蛋白分子的高吸收系数和量子效率,它们产生非常明亮的发射信号。此外,藻红蛋白的发射光谱在570nm波长左右达到峰值,而cmos成像仪对该波长的响应非常好。此后,将经着色的等分试样被洗涤以移除存在于人类全血中的有害残渣、血浆、血小板和其他不希望成分,这些杂质可能是在研究白细胞的参考测量过程中的污染源。接下来,将经洗涤的样品悬浮在bdfacslyse溶液中,以溶解仍然存在于等分试样中的红细胞。跟随其后的是另一洗涤步骤,该步骤移除了经溶解的红细胞和可能的残渣。然后,将样品悬浮在包括pbs、0.5%bsa和2mmedta的运行缓冲区中。在最后一步中,将每个等分试样中的细胞浓度调节到为3*106细胞/ml的相同水平,以使每个样本中具有经平衡的wbc亚型数目。通过用scepter细胞计数器(merckmillipore)对白细胞进行计数来实现此调节。调节细胞浓度促成加快三种wbc类型的经平衡图像数据集的获取。

在本示例中,通过聚焦在一次通过一个经着色的wbc的透明微流体流动通道上方的532nm成像激光束,由此对这些细胞进行照明,来对所准备的包含有这些wbc的样品执行图像获取。使用流体动力聚焦来将单个wbc对准并加载到聚焦流动通道中。由流体通道和细胞所透射、衍射或散射的照明激光的光由cmos成像器(例如cmos相机或cmos传感器)来记录,该成像器可以被置于流动通道下方。可以在流动通道与cmos成像器之间放置其他光学元件(诸如波长滤光器和薄二向色镜),这些光学元件在发生叠加形成光信号的图像的附加荧光发射光的情形中,可以改善信号质量。应注意,在本发明的各实施例中,通常将不存在此类附加荧光,因为是以无标记的方式来对wbc进行成像和分类的。然而,出于创建参考起见,在本示例中使用了具有荧光辐射的交叉参考。在本示例的诊断系统中,对于在紧凑型cmos传感器上进行全息图像形成不要求存在透镜、镜子或其他笨重的光学组件。这种无透镜成像具有的优势在于,减少了与透镜或透镜系统的设计和制造有关的成本、减少了成像流式细胞仪的重量、并且移除了由使图像质量降级的透镜元件给予的像差。在本示例中,流动通道是完全集成的微流体流动通道,其进一步减小了成像流式细胞仪的尺寸、成本和重量。这可以使得此类设备可扩展、更便宜且易于运输。

在本示例中,532nm成像激光束通过20倍显微镜物镜来聚焦。相同的物镜被用于将488nm激发的激光束聚焦到透明流动通道内部的wbc上,以触发发射标识wbc类型的荧光信号。出于此目的,使用单独的快速光检测器以便荧光发射事件被快速地注册,并且cmos相机被触发以便在wbc离开流式细胞仪的成像区域之前快速记录感兴趣的wbc全息图像。这具有的优势在于,与连续记录全息图相比,仅感兴趣的wbc被成像,并且那些图像被存储在硬盘驱动器上以供稍后的图像处理,从而显著降低了存储需求。

在本示例中,荧光信号也被记录下来且与全息图像记录相关联,并且充当用于wbc识别和分类的附加特征。fpga被使用并被配置成以下方式以使得其将测得的集成荧光信号与用户所设的参考值进行比较,在该参考值之上,该fpga开始记录荧光信号的测得值、关闭激发激光束、打开成像激光束、以及触发cmos相机对全息图像的捕获。通过在其上运行labview程序,fpga可被用于非常快速地控制那些事件的准确定时。以该配置捕获两个连贯的全息图像并且设置允许经成像的细胞离开流式细胞仪成像区域的延迟是有利的。这种行进方式确保了所捕获的两个连贯图像可被用于在图像重构期间执行背景移除并且因此,减小了图像伪影并且增大了对比度。这还减轻了由于激光失准、激光焦点的热变化、多次反射、以及杂散光而导致的照明条件变化的问题,因为它们通常发生在比两个连贯全息图像捕获之间的延迟更大的时间尺度上;因此,这些影响可通过背景扣除来计及。

现在将参考图2和图3。在实验5000中,参考全息图像已经通过应用所描述的细胞准备和图像获取步骤来获取(211)。数据预处理210是在将数据准备作为根据本发明的实施例的细胞区分系统的输入时执行的另一步骤。这通常先于在从下层全息图像的显微图像220重构。背景移除212也被执行并且由两个连贯捕获的全息图像实现。它被用于显著消除跨所记录的图像的不想要的变化,例如,通过缓慢地改变照明条件。旨在减小跨图像数据的变化的另一测量是强度归一化步骤213的实现,即,相对于相同的照明强度分布来对所有全息图进行归一化。

在当前示例中,作为所选择的重构方法的角谱方法被使用以将全息图像传播回焦平面。数字全息成像技术的优势在于,焦平面可以被轻松地移至其中重构被执行且得到细胞的最清晰的显微图像的最佳平面。聚焦步骤221在图2中示出。然而,作为照明激光束的焦点变化或流动通道内细胞的轴向位移的结果的焦平面变化,导致经重构的细胞图像的放大因子变化。在本示例中,通过重新缩放到通常为5μm的均匀像素大小来消除像素大小的结果得到的变化。这是通过以使得图像放大因子已知或者可以通过以下方式来推断或内插的方式来校准全息成像设置来达成的:将已知维度的特征目标放置在不同平面处,记录和重构全息图像,以及比较不同轴位置处的目标的可见和实际大小。在图2中还示出了重构222和跟随其后的像素缩放校准223。此外,人们可能会通过移除双图像的离焦贡献来争取获得甚至更清晰的经重构的显微图像。可以通过恰好在经重构的细胞外的条纹图案的检查来估计后一贡献。数字全息重构方法具有的另一优势在于,经重构的图像很复杂,并且可被分解为振幅图像(如通常在明场显微术中可以看到)和定量相位图像(类似于在相差显微镜中可见的显微图像)。图3示出了血液涂片中的三种wbc类型的示例性明场图像、它们对应的如通过全息重构来获得的振幅图像、以及如通过全息重构来获得的相位图像。

在本示例中,在识别阶段230期间提取了关于wbc的形态学、生物学或光学方面的众多特征231。此类特征可与重构wbc图像的几何形状有关,例如,通过计算具有关于位于点(x,y)处的像素的像素强度f(x,y)的经重构的wbc幅度图像32的几何矩mij。,如式1a中所指示的。由于这些矩缺乏合意的不变性属性,这些不变性属性利用图像中的对称性,并且尽管事实上它们以压缩形式来对图像中最相关的信息进行了编码的,但是具有有效减小图像尺寸并且加速图像处理的优势,还引入了中心矩μij(eq.1b)和缩放不变的矩ηij(eq.1c)。总共存在24个此类矩系数,它们是独立且包括至多达三阶的矩。

mij=∑x,y(f(x,y).xi.yj)(式1a)

此外,还确定了旋转不变的hu矩,其可以是几何提取特征231的另一集合。从三阶矩导出七个此类hu矩。建立重构wbc图像的所提取的特征231的几何矩的又一集合是固定阶的zernike多项式的集合。zernike多项式的优势在于,它们形成正交的旋转不变基,并且因此比对应阶的对应几何矩冗余度更小。在本示例24中,这种zernike多项式被用作与细胞形态有关的所提取的特征231。其他形态特征231(诸如重构细胞直径或沿其边缘的细胞脊)被提取作为wbc大小和线性内部图案的测量。细胞边缘通过对经重构的wbc相位图像进行操作的二阶定向导数的零交叉来被检测。圆被拟合到所检测到的边缘点,以导出细胞直径。两个其他特征231基于适合于经重构的细胞的边缘特征来被提取。这在图4中示出。跨wbc的经重构的振幅图像40的细胞边缘42绘制法线41,人们在沿此类法线向外前进时检测到强度的突然下降43。这是因为边缘通常在经重构的全息振幅图像32中显得较暗。在围绕细胞圆周边缘42绘制的法线数上将液滴区域43中出现的最小强度44取平均值并且忽略可能的离群值(例如,由于存在接近于细胞边缘42的颗粒),允许提取边缘强度特征231。此外,边缘宽度特征231通过测量围绕细胞圆周边缘42的平均全宽度的一半的最小值45来被提取。因此,本示例中总共获得了60个所提取的特征231。

在本示例中,在wbc识别阶段230期间,特征选择阶段232跟随在特征提取阶段231之后。特征选择232旨在减少对wbc进行成功分类233所必需的表征特征数。特征选择232是高吞吐量流式细胞术应用中的关键优势,在该应用中每秒需要重构的全息图像数已经是计算密集的操作;对分类结果233影响很小的每个附加特征提取231都导致若不提取那些特征231则可以避免的计算开销。特征选择解说了本发明的实施例关于准确性和选择性可如何如此有益。特征选择232的另一有益因素可以是对wbc的更快分类233。这在集成流式细胞仪设备中的细胞分选应用中可能很重要,其中成像触发事件与期间细胞根据其类型偏离其原始路径的分选或分离事件之间的等待时间有限。在高流速和短而紧凑的距离下,必须在这一较短的等待时间时段内做出决定;例如,该决定可涉及图像重构221、特征提取231、特征选择232和分类233阶段。特征选择232还可以实现根据所提取的特征231在各wbc类型之间进行区分中的重要性来对所提取的特征231进行加权。一般而言,在开始选择阶段232或分类阶段233之前,集中所有所提取的特征231并对其进行归一化可能证明是有用的。

在对wbc识别230的实验中,经重构的图像221及其所提取的特征231的总量被随机地拆分为训练集和测试集。通常,75%的可用数据被用于训练,而25%用于测试经训练的特征选择232和分类233算法。来自有限数据集的采样的统计效果可以通过使用随机拆分验证来被缓解,该随机拆分验证将总的可用数据重新采样并且拆分10次,成为测试子集和验证子集。,由分类方法233达成的准确度可以相应地在十个折叠(fold)上被平均,由此将分类准确度定义为正确分类的wbc类型的与测试折叠中wbc样品的总量的比率的百分比。

在本示例中,方差分析(anova)被用来评估所提取的特征231的重要性。这是通过执行一系列的统计t检验并且确认或拒绝特定特征变量的均等组均值的空假言来达成的。更具体地,针对统计p值小于固定显著性水平(例如p<0.05)而拒绝空假设。因此,有用的特征231在对应p值较小的情况下被选择,因为它们将显著差异引入组均值中。同样,在anova测试下具有较大p值的所提取的特征231倾向于确认空假设并被解读为对在各组wbc之间进行区分几乎没有影响。图5顶部的图表列出了通过执行anova作为选择规则232而从60个所提取的特征231中导出的p值。此外,使用不同的成对wbc类型来执行特征选择232的anova。这在图5中在关于各组wbc的所有可能配对(即,t细胞和粒细胞、t细胞和单核细胞、以及粒细胞和单核细胞)的后三个图表中进行了解说。图5中的实心圆对应于在线性判别分析(lda)(也作为选择准则232)下执行良好的所提取的特征。

在该示例中,lda也被用作选择规则232。lda是一种广泛使用的用于降维的机器学习算法。它将高维数据投影到其中可以更轻松地对数据进行可视化或分类的低维空间上。lda同时充当投影和特征维度限制算法232以及分类算法233。这具有的优势在于,限制在数据处理设备(例如,asic或计算机)上运行用于细胞识别233的指令的计算机代码的复杂性。lda作出同方差、正态分布的类的假设,并且在wbc类型的投影群集之间拟合分离的超平面。分离的超平面的线性度是将lda实现为选择规则232和分类方法233的具吸引力的特征,因为决定超平面很容易实现为向量(表征分离的超平面的位置和取向的权重向量与组合所有所提取的特征的特征向量231)的点积。特征的重要性通过引入区分函数的标准化系数来被测量。有利于各组wbc与相关联特征之间的差异的强正标准化系数可被选择以用于分类。图6解说了通过对60个所提取的特征231使用lda来获得的系数权重。与特定特征相关联的一些系数超出了单位,该单位指示在这种特定情形中在各特征之中的相关性。在本示例中,选择与每个wbc组中三个最强系数相关联的三个特征以用于分类,在另一实施例中,选择每个组中六个最强特征以用于分类。对于后一情形,实验已经示出三个wbc组之间的将有效数目减少到十二个的交叠特征。因此,lda作为选择规则232的优势在于,它可以显著减少相关所提取的特征231的数目,例如,从60个减少到十二个。

在本示例中,可以从lda、二次判别分析(qda)、支持向量机(svm)、最近邻算法、随机森林、决策树、朴素贝叶斯(bayes)、adaboost、或本领域技术人员所领会的任何其他合适的分类算法中选择基于选定特征集232的用于wbc识别的分类算法233。在此特定实验中,总体性能最佳的算法是svm线性(线性核svm)。支持向量机(如lda)在线性分离平面易于实现且快速执行的一些情形中可能是有利的。此外,使用svm或lda可能只需要存储小型模型参数集,例如,分别是支持向量或类质心或区分函数系数。因此,在此类示例中,参数查找和检索很快,从而导致较短的等待时间时段。svm具有实现内核技巧的优势,这意味着它可以在不必执行显式嵌入功能的高维非线性嵌入空间中达成233分类和良好的可分离性。

图7示出了针对本示例的关于被分组的所提取的特征232的情形的svm线性的分类准确性,该所提取的特征232是例如,细胞直径和脊、仅边缘特征(强度和宽度)、几何矩、hu矩、以及zernike矩。

图8示出了另一特征选择策略232,其聚焦于随着越来越多的特征231被包括在所选特征的集合中而在实验上提高svm线性的分类准确性。如上所述,将要包括的特征231根据它们的lda标准化系数以降序排列。wbc组的功能可以交叠。在这个特定实验中,每个wbc组的前六个主导特征导致几乎最佳的分类分数;曲线迅速饱和到平稳值并且在添加更多无关紧要的特征时,准确性的边际增益非常小。

在此示例中,三部分wbc区分是通过对在流动液中悬浮的细胞进行无透镜且无标记的全息成像来达成的。在使用荧光标记来建立参考线的实验中,获得了99%的准确性。通过快速全息图像重构结合所描述的特征缩减和经适当设计的分类算法的优势可以实现快速全自动的细胞识别和高吞吐量。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1