全视野载玻片多光谱成像系统和方法
【专利说明】
[0001] 相关申请交叉引用
[0002] 本申请要求享有于2013年1月10日提交的美国临时专利申请第61/751，192号 的权益，通过引用将其全部内容并入本文。
技术领域
[0003] 本公开涉及生物学样本的成像的系统和方法，并且更具体地针对细胞和组织的全 视野载玻片（whole-slide)成像的系统和方法以及图像分析。
【背景技术】
[0004] 已经开发出能够产生整个显微镜载玻片或其部分的数字图像的全视野载玻片成 像系统。这些包括显微镜成像光学器件和数字相机以及清除样本的扫描的机械设备以及协 调这些动作并且存储得到的图像的软件。典型的病理样品可以在大约10分钟或更少的时 间内成像，得到的图像可以具有1/4微米或更精细的分辨率，对应于15x15mm样本的36亿 像素。这些系统用在研究和临床病理学的领域中以对组织切片、细胞学样本以及对其进行 显微镜成像是有价值的其他样本进行成像。
[0005] 这些工具中的一些基于响应于激发光而来自样本的荧光放射来产生图像。荧光影 像对于通过诸如DAPI、Alexa荧光剂、Cy荧光剂这样的荧光试剂以及在本领域中已知的其 他化合物制备的样本是有用的。一些这样的工具使用彩色数字相机以及包含多带激发滤波 器（multiband excitation filter)和多带放射滤波器（multiband emission filter)的 epi滤波器立方体（epi-filter cube)来生成样本的3带（3-band)图像，其使得能够在给 定的扫描中进行达三种焚光剂的测量。Aperio ScanScope FL(可从Aperio, Vista，CA得 到)是这种类型的系统。
[0006] 其他的全视野载玻片扫描系统使用单色数字相机以及类似的印i滤波器立方体 和波长选择性激发源来产生荧光图像；它们在获取第一图像的同时以第一波长带照明样 本，然后在获取第二图像的同时以另外的带对其照明，等等。由此，可以对三个、甚至四个 带成像，通过可用于激发和放射过滤的光学滤波器来加以限制。3DHi Stech P250(可以从 3DHistech, Budapest, Hungary得到）是这种类型的扫描仪的示例。
[0007] 另外的荧光扫描仪使用单色数字相机并且利用一系列不同的印i滤波器立 方体，用每个滤波器立方体取得图像。因为每个滤波器立方体可以具有其自己独特 的激发和放射滤波器，所以不会限制到三个或四个带。Leica SCMOOF(可从Leica Biosystems, Richmond, IL得到）是这种类型的系统的示例。
[0008] 存在能够测量样本的荧光图像中的4个带以上的多光谱成像系统。Vectra成 像系统（可从PerkinElmer, Waltham, MA得到）是这样的系统的示例。其使用液晶可调 谐滤波器（liquid crystal tunable filter)，在计算机控制之下，在用单色数字相机取 得图像的同时，选择可见范围内的单个波长。这样获取的数据被称为图像立方体（image cube)，并且其包含图像的多个空间位置的每处的光谱。能够使用在样本中存在的成分的 已知光谱的光谱库，将每个点处的光谱去混合，成为其各个成分信号。Nuance软件（可从 PerkinElmer，Waltham, MA得到）可以产生这样的光谱库，并且将它们用于将图像立方体去 混合为成分图像。
[0009] 生物学样本一般响应于激发光束而放射一些荧光，即使没有施加外源荧光团也是 如此。这种所谓的自体荧光（autofluorescence)信号可能在组织样本中是显著的，并且可 能干扰对荧光探测信号的精确测量。如果用于去混合的光谱库包括对应于样本自体荧光的 信号，则组织样本中的自体荧光的效果可以减小或几乎消除。如果包括这样的信号，则在对 具有自体荧光的样本的图像立方体进行去混合时，自体荧光信号可以是自体荧光成分图像 的结果，并且对于与荧光染色和探测相关联的成分图像，获得精确信号。
【发明内容】
[0010] 一般地，在第一方面中，本公开提供方法，所述方法包括：获得样本的第一多个图 像，其中第一多个图像中的每个图像对应于入射到样本上的照明光或来自样本的放射光的 不同的光谱带；获得样本的第二多个图像，其中第二多个图像中的每个图像对应于入射到 样本上的照明光或来自样本的放射光的不同的光谱带；以及使用电子处理器来：基于来自 第一多个图像中的第一图像的信息和来自第二多个图像中的第二图像的信息来对齐第一 多个图像和第二多个图像，其中第一图像和第二图像对应于共享光谱带；以及组合第一多 个图像的至少一些成员和第二多个图像的至少一些成员以形成图像栈。
[0011] 方法的实施例可以包括下面特征中的任何一个或多个。
[0012] 图像栈中的每个像素可以包含从第一多个图像的至少一个成员得出的光谱信息 以及从第二多个图像的至少一个成员得出的光谱信息。对齐第一多个图像和第二多个图像 可以包含使用电子处理器对第一多个图像和第二多个图像进行空间配准，使得第一多个图 像和第二多个图像中的每个成员对应于样本的公共区域。图像栈中的每个像素可以包含对 应于入射到样本上的照明光或来自样本的放射光的至少5个不同的光谱带的光谱信息。
[0013] 所述方法可以包括使用电子处理器对图像栈去混合以获得一个或多个成分图像， 每个成分图像包含实质上仅来自样本中的一个成分的贡献。成分图像中的一个可以对应于 来自样本的自体荧光。成分图像中的至少一个可以对应于自体荧光之外的样本的成分。
[0014] 所述方法可以包含使用电子处理器基于一个或多个成分图像来分析样本以确定 样本内的特征的位置。
[0015] 第一多个图像和第二多个图像中的每个成员可以对应于来自样本的荧光放射。第 一多个图像中的每个成员可以对应于在用不同波长带的光照明样本之后的来自样本的荧 光放射，并且其中第二多个图像中的每个成员可以对应于在用不同波长带的光照明样本之 后的来自样本的荧光放射。所述方法可以包含使用彩色相机来获得第一多个图像和第二多 个图像。
[0016] 所述方法的实施例还可以适当地以任何组合的形式包含在本文中公开的任何其 他特征和/或步骤。
[0017] 在另一方面中，本公开提供系统，所述系统包括被配置为用照明光照明样本的照 明源、被配置为获得样本的一个或多个图像的检测器以及耦接到检测器的电子处理器，并 且电子处理器被配置为：获得样本的第一多个图像，其中第一多个图像中的每个图像对应 于来自照明源的、入射到样本上的照明光或来自样本的放射光的不同的光谱带；获得样本 的第二多个图像，其中第二多个图像中的每个图像对应于来自照明源的、入射到样本上的 照明光或来自样本的放射光的不同的光谱带；基于来自第一多个图像中的第一图像的信息 和来自第二多个图像中的第二图像的信息来对齐第一多个图像和第二多个图像，其中第一 图像和第二图像对应于共享光谱带；以及组合第一多个图像的至少一些成员和第二多个图 像的至少一些成员以形成图像栈。
[0018] 所述系统的实施例可以包括下面特征中的任何一个或多个。
[0019] 图像栈中的每个像素可以包含从第一多个图像的至少一个成员得出的光谱信息 以及从第二多个图像的至少一个成员得出的光谱信息。电子处理器可以被配置为通过对第 一多个图像和第二多个图像进行空间配准，使得第一多个图像和第二多个图像中的每个成 员对应于样本的公共区域，来对齐第一多个图像和第二多个图像。图像栈中的每个像素可 以包含对应于入射到样本上的照明光或来自样本的放射光的至少5个不同的光谱带的光 谱信息。
[0020] 电子处理器可以被配置为对图像栈去混合以获得一个或多个成分图像，每个成分 图像包含实质上仅来自样本中的一个成分的贡献。成分图像中的一个可以对应于来自样本 的自体焚光。成分图像中的至少一个可以对应于自体焚光之外的样本的成分。
[0021] 电子处理器可以被配置为基于一个或多个成分图像来分析样本以确定样本内的 特征的位置。
[0022] 第一多个图像和第二多个图像中的每个成员可以对应于来自样本的荧光放射。第 一多个图像中的每个成员可以对应于在用不同波长带的光照明样本之后的来自样本的荧 光放射，并且其中第二多个图像中的每个成员可以对应于在用不同波长带的光照明样本之 后的来自样本的荧光放射。检测器可以包含彩色相机，并且电子处理器可以被配置为使用 彩色相机来获得第一多个图像和第二多个图像。
[0023] 所述系统的实施例还可以适当地以任何组合的形式包含在本文中公开的任何其 他特征和/或方面和/或组件。
[0024] 除非以其他方式定义，在本文中所使用的所有技术和科学术语与本公开所属的技 术领域中的普通技术人员通常所理解的具有相同含义。尽管与在本文中所公开的方法和材 料类似或等同的方法和材料可以用在本文的主题的实践或测试中，在下面描述适合的方法 和材料。通过引用将所有公开、专利申请、专利以及在本文中提及的其他参考文献的全部内 容并入本文。在冲突的情况下，本说明书（包括定义）将进行控制。另外，材料、方法和示 例仅是示例性的，而不用于进行限制。
[0025] 下面将结合附图和描述来阐述一个或多个实施例的细节。根据该描述、附图和权 利要求，其他特征和优点将是显而易见的。
【附图说明】
[0026] 图1是示出对应于一组印i滤波器的光谱带的一组图。
[0027] 图2是示出对应于另一组epi滤波器的光谱带的一组图，其中激发和分色滤波器 与在图1的印i滤波器的组中的相同。
[0028] 图3是示出RGB相机中的单个色彩通道的光谱响应的图。
[0029] 图4是示出对应于另一组印i滤波器的光谱带的一组图。
[0030] 图5是示出形成样本的多光谱图像的一系列步骤的流程图。
[0031] 图6是示出形成样本的多光谱图像和使图像去混合（unmix)的一系列步骤的流程 图。
[0032] 图7是示出获取样本的多光谱图像并使其去混合以及对成分图像执行图像分析 的一系列步骤的流程图。
[0033] 图8是获取样本的光谱图像的系统的示意图。
[0034] 在各个图中的相同的标号指示相同的元件。
【具体实施方式】
[0035] 现有的全视野载玻片扫描系统具有对所获得的图像的质量和或载玻片扫描速度 强加约束的很多实际限制。例如，用于移动载玻片的机械装置不具有完美的重复性。另外， 其通常对改变epi滤波器是耗时的。总之，这些限制对这样的系统的功能强加约束。
[0036] 为了以多带对样本进行成像，将每个样本位置呈现给相机，其中每个使用不同的 epi滤波器。这一般通过两个扫描方案之一来达成。第一方案是一次访问样本中的每个位 置，并且同时轮流地用每个印i滤波器取得图像。然而，该方案通常非常慢，因为在总的扫 描期间印i滤波器改变很多次。另一方案是用指定的印i滤波器对