用于数字完整载片的自动化评分的基于组织对象的机器学习系统的制作方法
【技术领域】
[0001] 本文公开的技术涉及基于计算机的试样分析。
【背景技术】
[0002] 乳腺癌是当今最频繁诊断出的癌症之一，并且是女性当中与癌症有关的死亡的第 二主要原因。用于预测患有乳腺癌的患者的临床行为和预后（prognosis)的一个指示物是 基于用免疫组织化学（IHC)标记(诸如，提供对感兴趣的微观结构进行区分的能力的组织学 染色剂）染色的切片组织样本的定性且半定量的视觉检查而对活组织检查/外科手术样本 的组织学检查。生物标记可以用于表征肿瘤并识别可改进临床成果的最适当的治疗和药 物。
[0003]与膜生物标记相对，核生物标记与细胞核中的蛋白质相互作用并对细胞核进行染 色。染色的细胞的颜色指示针对细胞的抗原(生物标记)_抗体结合。在临床读取中，病理学 家经常通过在视觉上观察和估计阳性染色(例如，棕色着色的）核对象与阳性染色和阴性染 色(例如，蓝色着色的）核对象的总数的百分比来报告针对载片的得分。在临床和实验室设 置中，精确的测量要求通过识别阳性染色的肿瘤细胞来对肿瘤细胞进行人工计数，这可能 是极度乏味的。在实践中，载片得分经常基于病理学家的"猜测估计"。作为结果，人工得分 不可再现，且进一步受制于显著的读取器间和读取器内变化性。此外，出于实践的原因，完 整载片的解释仅基于由病理学家识别出的几个代表性视场（F0V)和仅那些视场中的信息。 不幸的是，该"代表性"分析可能导致取样偏见。
【发明内容】
[0004] 公开的技术的至少一些实施例涉及用于对组织试样载片(例如，利用免疫组织化 学（IHC)化验染色的试样）进行自动解释和评分的成像系统。所述系统至少部分地基于与 完整载片关联的信息和特性来分析图像的区域或整个图像(例如，数字完整载片图像）并选 择特征以用于定量分析。完整载片图像被认为是载片的所有或基本上所有包含组织的区域 (例如，排除标签、标记和空白区的载片的所有区域)的图像。公开的系统至少部分地基于关 于与载片的包含组织的区域关联的数据的信息来识别载片的区域(例如，载片的特定组织 区域）或完整载片中的细胞结构(例如，核对象、核种子）和细胞。此外，公开的系统可以对 细胞进行计数，计算这些细胞的各种类型的局部和全局特征，识别细胞类型，并执行定量分 析。特征计算可以使用不仅来自载片的注释区域的信息而且来自完整载片(例如，以多个放 大而分析的载片的包含组织的区域)的信息。所述系统可以对细胞进行自动计数和分类，并 至少部分地基于所选视场来对图像和/或整个载片进行评分和/或至少部分地基于与完整 载片（即，载片的所有包含组织的区域）关联的信息或数据来对完整载片进行评分。得分可 以被用于载片解释。例如，所述系统可以准确地对核对象进行计数以确定关于组织的信息 以便辅助可靠且可再现的载片解释。在一个实施例中，所述系统对阳性染色核对象和/或 阴性染色核对象进行计数以对例如生物试样(例如，肿瘤组织)进行评分。在一些实施例中， 产生覆盖图像以在来自主体的试样的图像中给感兴趣的特征加标签。可以执行对组织的评 分以预测和/或生成针对组织样本的预后。
[0005] 在一些实施例中，病理学家可以批准或拒绝载片得分。如果载片得分被拒绝，则 可以用人工得分(例如，至少部分地基于视觉检查的得分）代替自动化得分。所述系统可以 具有至少部分地基于针对每个标记(例如，生物标记）的训练或参考载片的集合训练的分类 器。针对标记的训练载片的集合可以表示所有期望数据变化性。不同的载片集合可以被用 于训练针对每一个标记的分类器。因此，针对单个标记，在训练之后获得单个分类器。由于 存在从不同标记获得的图像数据之间的变化性，因此可以针对每个不同的生物标记而训练 不同的分类器以便确保未见测试数据上的更好性能，其中测试数据的生物标记类型将是已 知的。可以至少部分地基于多么最佳地针对载片解释而处置例如组织类型、染色协议和其 他感兴趣的特征中的训练数据变化性来选择经训练的分类器。所述系统可以至少部分地基 于该区域内的信息以及该区域外的信息来分析图像的特定区域。
[0006] 在一些实施例中，多级二进制分类器可以识别阳性和阴性核。阳性核可以与阴性 核、淋巴细胞和基质区分。此外，阴性核和淋巴细胞可以与基质区分。然后，淋巴细胞与阴 性核区分。在进一步分类中，阳性细胞可以与背景细胞区分。例如，如果阳性细胞具有棕色 染色核，则背景细胞可以是可被滤出的细胞质红。至少部分地基于阳性/阴性核的数目，可 以确定得分(例如，完整载片得分)。
[0007] 在一些实施例中，用于完整载片解释的方法包括识别对应于组织的数字化完整载 片图像的部分。至少部分地基于在其上放置生物试样(例如，组织）的基底(例如，玻璃）和 组织的颜色特性，识别出感兴趣的组织区域。针对识别出的感兴趣的组织区域而检测种子 点，以及从识别出的区域中提取组织核对象。针对每一个提取出的组织对象，识别提取出的 对象的特性，并且经训练的分类器可以被用于对提取出的对象进行分类。经训练的分类器 可以被用户、内科医师等修改。不同的经训练的分类器可以被用于分析不同类型的组织和 标记。计算机可读存储介质可以存储数据(例如，分类器、算法等）和指令，所述指令如果被 具有处理器的计算系统执行则使计算系统执行这样的方法。
[0008] 在另外的实施例中，用于对组织数据的数字化图像内的对象进行分类的监督学习 系统包括：用于至少部分地基于绝对真实（groundtruth)载片训练分类器的装置；用于接 收与输入载片关联的组织数据的数字化图像的装置；以及用于分析数字化组织数据的装 置。用于分析数字化组织数据的装置可以包括用于检测数字化组织图像内的潜在核种子点 的装置和用于从数字化组织图像中提取对象的装置。在一个实施例中，所述系统还包括用 于对每一个提取出的对象进行分类的装置。
[0009] 在一些实施例中，由计算系统使用的方法可以提供组织载片(例如IHC载片）的数 字化图像的解释。所述方法包括接收参考训练载片(例如，绝对真实或训练载片）的组织样 本的数字化图像。在一些实施例中，使用参考载片的集合。例如，参考载片图像可以是与要 分析的组织相同类型的组织的图像。所述系统至少部分地基于与参考图像关联的已知信息 来学习由于组织、染色协议、图像扫描和伪像源中的数据变化性而在数字化图像中观察到 的变化性的特性。所述系统可以接收至少一个分类方法并使用组织样本的数字化图像来训 练分类器。分类器可以是使用附加参考载片来修改的，如果需要或期望的话。
[0010] 在一些实施例中，所述系统可以接收与具有来自主体的样本的输入载片关联的 数据的数字化图像。在一些实施例中，载片的评分以例如以下两种模式之一而发生：视场 (F0V)模式和自动化模式。在F0V模式中，诸如病理学家之类的用户对完整载片图像中的 多个区域(例如，三个或更多区域）画轮廓或进行"注释"，并且关于注释区域执行分析算法。 至少部分地基于在所有这些注释区域中检测到的阳性和阴性肿瘤核的数目获得最终复合 分数。在自动化模式中，感兴趣的区（Aol)检测器找出或识别出完整载片图像中的组织区 域，或者由某个其他图像分析算法自动生成组织注释，诸如将注释从邻近连续切片（serial section)映射到IHC组织载片的图像配准算法。然后将组织区域分段成分片（tile)，并关 于包含组织的每个分片执行分类和核计数算法。此外，可以至少部分地基于包含组织的图 像分片来获得复合得分。尽管用于对给定图像中的细胞进行检测、计数和分类的基础方法 论是类似的（图像可以是用户注释的区域或者是在Aol检测之后完整载片图像中的自动获 得的分片)，但是在两个工作流程中存在至少一个差异。FoV模式依赖于在F0V选择方面的 人工输入，而自动化模式不是这样。关于图2进一步讨论了注释F0V模式，而关于图3进一 步讨论了自动化模式。至少部分地基于主导颜色来识别所识别出的组织内的一个或多个区 域。对于识别出的区域，检测识别出的区域内的种子点，并提取来自识别出的区域的对象。 计算(一个或多个）提取出的对象的特征，以使得经训练的分类器至少部分地基于提取出的 对象的计算出的特征来对(一个或多个）提取出的对象进行分类。
[0011] 在一些实施例中，计算机系统可以被编程为至少部分地基于一个或多个选择准则 来自动地识别试样的图像中的特征，所述选择准则包括至少部分地基于颜色特性、样本形 态(例如，细胞成分形态、细胞形态、组织形态、解剖结构形态等)、组织特性(例如，密度、成 分等)、空间参数(例如，组织结构的布置、组织结构之间的相对位置等)、图像特性参数等的 准则。如果特征是核，则选择准则可以包括而不限于颜色特性、核形态(例如，形状、尺寸、成 分等)、空间参数(例如，细胞结构中核的位置、核之间的相对位置等)、图像特性、其组合等。 在检测到候选核之后，可以自动地使用算法来提供关于整个所分析的图像的得分或信息。 可以至少部分地基于参考图像来修改或确定选择准则。例如，可以使用染色的胸部组织的 参考图像来确定用于从主体中选择胸部组织的图像的核的选择准则。在一些实施例中，用 户可以逐载片地删除任何感兴趣的区。例如，用户可以在视觉上确定图像的一个或多个区 不适于评分。
[0012] 在一些实施例中，所述设施提供了用于对组织数据的数字化图像的完整载片解释 的方法。所述方法包括接收组织样本的多个数字化图像。每个组织样本对应于绝对真实载 片，且针对所述多个数字化图像中的每一个，对应于与数字化图像关联的分类。所述设施还 被配置成使用组织样本的所接收的数字化图像来训练组织对象分类器。在接收到与第一载 片关联的数据的数字化图像时，其中第一载片不是绝对真实载片，所述设施识别1)与第一 载片关联的数据的数字化图像内的组织，2)识别出的组织内的主导颜色，以及3)至少部分 地基于识别出的主导颜色的识别出的组织内的区域。针对每一个识别出的区域，所述设施 检测识别出的区域内的种子点，并从识别出的区域中提取对象。此外，针对每一个提取出的 对象，所述设施可以识别提取出的对象的特性，并使用经训练的分类器、至少部分地基于提 取出的对象的识别出的特性来对提取出的对象进行分类。
【附图说明】
[0013]图1图示根据公开的技术的实施例的用于分析试样的基于计算机的系统和环境。
[0014] 图2是图示根据公开的技术的实施例的构造分类器组件的处理的框图。
[0015] 图3是图示根据公开的技术的实施例的分析载片组件的处理的流程图。
[0016] 图4A是图示根据公开的技术的实施例的检测