用于确定一个或多个组织样本中的细胞组成信息的装置的制作方法

本发明涉及一种用于确定一个或多个组织样本中的细胞组成信息的装置，涉及一种用于确定一个或多个组织样本中的细胞组成信息的系统，并且涉及一种用于确定一个或多个组织样本中的细胞组成信息的方法，以及涉及一种计算机程序单元和一种计算机可读介质。

背景技术：

肿瘤微环境(特别是免疫浸润(或细胞组成))的表征对于用于预测预后和/或对治疗的响应的精确肿瘤学诊断是极其重要的。浸润性淋巴细胞能够在h&e染色的组织切片中基于其外观来识别。然而，像细胞毒性t细胞的特定子类型不能仅从形态学信息导出。对于子类型化细胞，免疫组化(ihc)染色利用识别细胞标记(例如cd3、cd4、cd8等)的特异性抗体来执行。如果一个单一ihc标记不足以表征目前细胞子类型，那么额外的标记(并且因此进一步的ihc染色)将被需要，直至病理学家得到哪些细胞存在于感兴趣区域中的良好了解。然而，这是耗费时间和组织的(因为多重分析需要多个切片)。

us9298968描述了一种出于组织标本的区室化的目的而使用图像分析来识别组织特性的方法。免疫细胞基于ihc染色来识别，并且被分配给所识别的组织区室。

wo2015/189264a1涉及用于基于对针对患者的大量预后信息变成单个相当的预后数据集的整体整合来评价所述患者的癌症复发的风险的系统和计算机实施的方法。风险分类系统可以使用来自取自若干患者的一批训练切片的大量信息以及针对所述患者的生存数据来训练。例如，风险分类系统中的基于机器学习的二值分类器可以使用根据与其生存信息已知并且被输入到系统中的若干癌症患者相对应的多个切片计算的颗粒图像特征集来训练。经训练的分类器可以用于将来自一个或多个测试患者的图像特征分类成低风险组或高风险组。然而，存在对提供关于特定子类型的更多信息的需要。

技术实现要素：

因此，具有用于检测组织样本中的细胞组成的改进的技术将是有利的。

本发明的目的利用独立权利要求的主题来解决，其中，进一步的实施例被包含在从属权利要求中。应当注意，本发明的以下描述的方面也适用于用于确定一个或多个组织样本中的细胞组成信息的装置、用于确定一个或多个组织样本中的细胞组成信息的系统和用于确定一个或多个组织样本中的细胞组成信息的方法，并且适用于计算机程序单元和计算机可读介质。

根据第一方面，提供了一种用于确定一幅或多幅组织样本显微镜图像中的细胞组成信息的装置，包括：

-输入单元；以及

-处理单元。

所述输入单元被配置为向所述处理单元提供至少一个组织样本的至少一个2d图像。所述至少一个2d图像的第一图像数据与所述至少一个组织样本中的组织样本的非特异性染色有关。所述至少一个2d图像的第二图像数据与所述至少一个组织样本中的组织样本的特异性染色有关。(a)已经经历特异性染色的所述组织样本与已经经历非特异性染色的所述组织样本相同，或者(b)已经经历特异性染色的所述组织样本与已经经历非特异性染色的所述组织样本不同。所述处理单元被配置为在所述第一图像数据的基础上确定非特异性细胞组成细胞密度图。所述处理单元还被配置为在所述第二图像数据的基础上确定特异性细胞组成细胞密度图。所述处理单元被配置为在所述非特异性细胞密度图和所述特异性细胞密度图的基础上确定关于所述至少一个组织样本中的细胞组成的信息。

细胞组成能够包括细胞分布。细胞组成能够包括免疫浸润。

组织样本能够从活组织检查或来自患者的组织物质的切除导出。

换言之，非特异性染色能够被应用于组织样本，并且具有非特异性细胞组成细胞密度图能够根据其来确定的第一图像数据的图像被采集。然后，特异性染色能够被应用于组织样本，并且具有特异性细胞组成细胞密度图能够根据其来确定的第二图像数据的图像被采集。或者，非特异性染色能够被应用于组织样本，并且特异性染色能够被应用于该组织样本。然后图像被采集，其包含第一图像数据和第二图像数据两者，其中，第一图像数据用来确定非特异性细胞组成细胞密度图，并且第二图像数据用来确定特异性细胞组成细胞密度图。或者，非特异性染色能够被应用于组织样本，并且具有非特异性细胞组成细胞密度图能够根据其来确定的第一图像数据被采集。然后，特异性染色能够被应用于不同的组织样本，并且具有特异性细胞组成细胞密度图能够根据其来确定的第二图像数据的图像被采集。然而，在所有情况下，关于细胞组成的信息能够根据这两个细胞密度图来确定。

换言之，从(一个或多个)非特异性染色的切片获得的信息能够与从(一个或多个)特异性染色的切片获得的信息进行组合以获得互补信息。通过在非特异性染色的图像和特异性染色的图像(例如，h&e染色的图像和ihc染色的图像)中确定针对图像内的在例如肿瘤内部和/或外部的特定区域的计数，能够导出特定子类型的淋巴细胞的相对贡献。非特异性(例如h&e)图像能够例如提供所有浸润免疫细胞的总和，而特异性(例如ihc)图像提供该特定子类型的数量。

特异性图像数据(例如ihc)中的特异性细胞类型的位置能够与非特异性图像数据(例如h&e)中的浸润免疫细胞的位置进行比较以确认召唤(避免假阳性)，并且特异性子类型的分布能够与所有互补淋巴细胞的分布进行比较(如从全部(例如h&e)的位置减去特异性(例如ihc)的位置导出)。代替h&e图像，来自ihc图像中的h通道(复染)的信息也能够被使用。

换言之，免疫细胞的密度图能够基于非特异性(例如h&e)染色来导出，并且这与如从特异性(例如，ihc)染色导出的针对特异性免疫细胞子类型的密度图进行比较，以使得关于免疫细胞的互补分数的信息能够被导出。在一范例中，出于导出针对免疫细胞的互补分数的第三密度图的目的，一个密度图能够从另一个密度图减去。

在一范例中，关于所述细胞组成的所述信息包括第一子类型的细胞的至少一个量化，其中，所述特异性染色被配置为靶向所述第一子类型的细胞。

因此，关于所述细胞组成的所述信息能够被认为包含第一子类型的细胞的至少一个量化。这可以采用“得分”的形式或与细胞的空间分布的量化有关的其他形式的量化。

换言之，非特异性染色被使用以便提供例如肿瘤浸润的影像，并且这提供了组织样本的增强对比以实现对样本中的细胞对象的识别。然后，(针对特异性免疫细胞标记选择的)选择的特异性染色用来提供肿瘤浸润的影像。关于与特异性免疫细胞标记相关的特定子类型的相对贡献的信息然后能够被确定。

在一范例中，所述第一子类型的细胞的所述至少一个量化包括密度图。

换言之，组织样本内的特定子类型的相对贡献的图像图能够被确定。这连同从非特异性染色和特异性染色提供的绝对细胞密度图信息一起提供有价值的诊断信息。

在一范例中，关于所述细胞组成的所述信息包括第二子类型的细胞的至少一个量化，其中，所述特异性染色被配置为靶向与所述第二子类型的细胞不同的至少一个子类型的细胞。

以此方式，具有针对特异性子类型提供的总细胞计数图密度还提供关于存在的其他子类型的信息，即，如果在影像内的区域处非特异性细胞密度图值高于特异性细胞密度图值，那么这是存在其他子类型的指示符。临床医生或病理学家然后能够决定靶向不同子类型的额外染色。换言之，在一范例中，能够提供与第一子类型的“第一”量化不同的第二子类型的“第二”量化，其中，所述第二量化提供关于与第一子类型不同的一个或多个子类型的信息，因此表示关于第二子类型进一步分析该样本或其他样本的感兴趣程度。

在一范例中，所述第二子类型的细胞的所述至少一个量化包括密度图。

以此方式，为临床医生或病理学家提供跨影像的相对细胞密度信息和绝对细胞密度信息。换言之，量化能够提供(例如，肿瘤区域中的)局部信息。

在一范例中，关于所述细胞组成的所述信息包括至少一个量化，并且其中，所述处理单元被配置为在所述至少一个量化的基础上确定浸润细胞的群体与单一培养有关。

换言之，绝对细胞密度和相对细胞密度能够用来确定在组织样本的特定区域处是否存在特定子类型的单一培养。例如，单一培养存在于其中特异性细胞密度和非特异性细胞密度两者都大于零但是具有类似的绝对密度的区域中。

在一范例中，关于所述细胞组成的所述信息包括至少一个量化。所述处理单元被配置为在所述至少一个量化的基础上确定浸润细胞的群体与未被所述特异性染色靶向的子类型的细胞的群体有关。

以此方式，绝对细胞密度和相对细胞密度能够用来确定在组织样本的特定区域中是否存在与所寻找的子类型不同的子类型。例如，这是在一区域中非特异性细胞密度明显大于特异性细胞密度的情况。病理学家然后能够决定针对不同子类型的额外染色。

在一范例中，关于所述细胞组成的所述信息包括至少一个量化。所述处理单元被配置为在所述至少一个量化的基础上从进一步分析中排除所述第一图像和所述第二图像的区域。

换言之，如果在组织样本的特定部分中特异性染色细胞密度(例如ihc)大于非特异性细胞密度(例如h&e)，那么特异性染色内的非特异性染色已经例如在坏死的区域处发生。临床医生或病理学家然后能够在解读组织样本(例如计算ihc得分)时排除这些区域，或者临床医生能够决定使用不同的染色。

在一范例中，关于所述细胞组成的所述信息包括至少一个量化，所述至少一个量化包括从所述非特异性细胞组成细胞密度图减去所述特异性细胞组成细胞密度图。

以此方式，提供了与特定子类型的相对贡献相关的简单测度，其结合绝对细胞密度提供有价值的诊断信息。在一范例中，不是减去，而是特异性细胞组成细胞密度图与非特异性细胞组成细胞密度图的比率能够被确定。

在一范例中，所述第一图像数据与所述至少一个组织样本的第一图像有关，并且所述第二图像数据与所述至少一个组织样本的第二图像有关。对关于细胞组成的信息的确定包括对所述第一图像到所述第二图像的配准。

换言之，组织样本利用第一非特异性染色来进行染色，并且图像被采集。然后，相同的组织样本或不同的组织样本利用第二特异性染色来进行染色，并且另一图像被采集。为了考虑图像之间的任何不对齐，进行图像配准过程。

以此方式，当同时对两个标记进行成像时的成像误差被减轻，并且处理被简化，因为不需要与对两个标记相关的图像数据的反卷积。图像配准(例如通过一幅图像中的一个或多个特征与另一图像中的一个或多个特征的匹配)然后使得一幅图像中的细胞密度的空间位置能够与另一图像中的空间细胞密度正确地进行比较。

在一范例中，所述第一图像与第一组织样本有关，并且所述第二图像数据与第二组织样本有关。

换言之，第一组织样本利用非特异性染色来进行染色，并且图像被采集。然后，不同的组织样本(例如针对与第一组织样本的切片紧邻的切片的组织样本)利用特异性染色来进行染色，并且另一图像被采集。配准过程然后被执行，以便尽可能紧密地对图像进行匹配。这是可能的，因为某些特征和特征边界存在于这两幅图像中，使得一幅图像能够被配准到另一幅。

在一范例中，所述非特异性染色包括苏木素和伊红(h&e)染色，并且所述特异性染色包括免疫组化(ihc)染色或免疫荧光(if)染色。

根据第二方面，提供了一种用于确定一幅或多幅组织样本显微镜图像中的细胞组成信息的系统，包括：

-图像采集单元；

-根据第一方面的装置，其用于确定一个或多个组织样本中的细胞组成信息；以及

-输出单元。

所述图像采集单元被配置为采集所述至少一个组织样本的所述至少一幅2d图像。所述输出单元被配置为输出关于所述细胞组成的所述信息。

根据第三方面，提供了一种用于确定一幅或多幅组织样本显微镜图像中的细胞组成信息的方法，包括：

a)提供至少一个组织样本的第一图像数据，其中，所述第一图像数据与所述至少一个组织样本中的组织样本的非特异性染色有关；

b)提供所述至少一个组织样本的第二图像数据，其中，所述第二图像数据与所述至少一个组织样本中的组织样本的特异性染色有关；

其中，(i)已经经历特异性染色的所述组织样本与已经经历非特异性染色的所述组织样本相同，或者(ii)已经经历特异性染色的所述组织样本与已经经历非特异性染色的所述组织样本不同；

c)在所述第一图像数据的基础上确定非特异性细胞组成细胞密度图；

d)在所述第二图像数据的基础上确定特异性细胞组成细胞密度图；以及

e)在所述非特异性细胞密度图和所述特异性细胞密度图的基础上确定关于所述至少一个组织样本中的细胞组成的信息。

在一范例中，如果所述非特异性细胞密度图与所述特异性细胞密度图之间的差接近零，并且所述密度都大于零，那么浸润细胞的群体被指示为单一培养。

在一范例中，如果所述非特异性细胞密度图与所述特异性细胞密度图之间的差为正，那么做出存在未计入的浸润细胞的指示。

在一范例中，如果所述非特异性细胞密度图与所述特异性细胞密度图之间的差为负，那么做出在所述特异性染色中存在非特异性染色的指示。在一范例中，特异性染色是比非特异性分析更全面的。在此情况下，也能够存在未计入的细胞群体。这能够用于与用于分子分析的肿瘤表征相关的工作。

在一范例中，所述装置被使用在病理诊断中。在一范例中，所述系统被使用在病理诊断中。在一范例中，所述方法被使用在病理诊断中。

根据另一方面，提供了一种计算机程序单元，所述计算机程序单元当由处理单元运行时适于执行如前面所描述的方法的步骤。

根据另一方面，提供了一种控制如前面所描述的装置的计算机程序单元，当所述计算机程序单元由处理单元运行时，所述计算机程序单元适于执行如前面所描述的方法的步骤。

根据另一范例，提供了一种已经存储了如前面所描述的计算机单元的计算机可读介质。

有利地，由以上方面和范例中的任一个提供的益处同样适用于所有其他方面和范例，并且反之亦然。

参考下文所述的实施例，以上方面和范例将变得显而易见并且得到阐明。

附图说明

示范性实施例将在下文中参考附图来进行描述：

图1示出了用于确定一个或多个组织样本中的细胞组成信息的装置的范例的示意性表示；

图2示出了用于确定一个或多个组织样本中的细胞组成信息的系统的范例的示意性表示；并且

图3示出了用于确定一个或多个组织样本中的细胞组成信息的方法的范例。

具体实施方式

图1示出了用于确定一幅或多幅组织样本显微镜图像中的细胞组成信息的装置10的范例。装置10包括输入单元20和处理单元30。输入单元20被配置为经由有线通信或无线通信向处理单元30提供至少一个组织样本的至少一幅2d图像。所述至少一幅2d图像的第一图像数据与所述至少一个组织样本中的组织样本的非特异性染色有关。所述至少一幅2d图像的第二图像数据与所述至少一个组织样本中的组织样本的特异性染色有关。(a)已经经历特异性染色的组织样本与已经经历非特异性染色的组织样本相同，或者(b)已经经历特异性染色的组织样本与已经经历非特异性染色的组织样本不同。处理单元30被配置为在所述第一图像数据的基础上确定非特异性细胞组成细胞密度图。处理单元30还被配置为在所述第二图像数据的基础上确定特异性细胞组成细胞密度图。处理单元30还被配置为在所述非特异性细胞密度图和所述特异性细胞密度图的基础上确定关于所述至少一个组织样本中的细胞组成的信息。

在一范例中，所述至少一个组织样本能够是至少一个活组织检查切片。在一范例中，组织样本能够是组织切片。在一范例中，所述至少一个组织样本包括从单个活组织检查切片切割的切割物(coupes)。在一范例中，所述至少一个组织样本包括从单个活组织检查切片切割的邻近切割物。

在一范例中，第一图像数据和第二图像数据被包括在相同的图像内。在一范例中，第一图像数据和第二图像数据被包括在单独的图像内。

在一范例中，非特异性染色是h&e染色，并且特异性染色是ihc染色。

在一范例中，特异性染色是h&e染色，并且非特异性染色是ihc染色。

换言之，能够存在至少两种情况：第一种情况(h&e＝非特异性)是最可能的情况。然而，广泛的ihc标记(ihc＝非特异性)也能够被使用，并且特定类型的免疫细胞也能够基于来自h&e(h&e＝特异性)的形态学来进行检测。尤其地，该后一步骤似乎很难。

在一范例中，关于细胞组成的信息可用于出于诊断目的分析和/或可用于患者分层。

因此，存在三种可能的路线来提供必要的输入：(a)将非特异性染色应用于样本1，对样本进行成像，移除染色1，将特异性染色应用在样本1上并且成像；(b)同时应用特异性和非特异性染色，并且获取针对特异性群体和非特异性群体进行分析的一幅图像；以及(c)将非特异性染色应用于样本1，成像，将特异性染色应用于样本2，成像，并且分析。(b)有一点风险，并且(c)需要连续的样本来实现图像的配准。

根据一范例，关于所述细胞组成的所述信息包括第一子类型的细胞的至少一个量化。所述特异性染色然后能够被配置为靶向所述第一子类型的细胞。

在一范例中，关于所述细胞组成的所述信息包括第一子类型的细胞的至少一个量化。所述特异性染色然后能够被配置为靶向属于与第一子类型的细胞相同类型的细胞的细胞。

为了进一步解释，如果例如在一范例中非特异性分析靶向所有t细胞(圆形对象)并且特异性分析靶向cd8-阳性细胞，那么第二个是第一个的子类，并且可以不是相同的子类型，但是可以属于相同的类型。

根据一范例，所述第一子类型的细胞的所述至少一个量化包括密度图。

根据一范例，关于所述细胞组成的所述信息包括第二子类型的细胞的至少一个量化。所述特异性染色然后能够被配置为与所述第二子类型的细胞不同的至少一个子类型的细胞。

在一范例中，能够自动生成用于准备样本或另一样本的顺序，其中第二染色针对第二子类型。换言之，在非特异性染色和针对第一子类型的特异性染色的基础上，指示存在与那两个染色相关的所指示的细胞密度的差异，至少另一子类型可能存在。所述装置能够自动表明这种情况，使得样本或另一样本能够被准备用于利用针对与第一子类型不同的类型的另一染色来进行染色。因此，在处理单元上运行的算法能够在可以关于密度之间的阈值比率确定的所指示的细胞密度的差异的基础上自动触发顺序的生成。该顺序能够被呈现在vdu上，使得技术人员能够开始准备另一样本用于染色，或顺序形式的消息能够被传递给适当的样本准备人员。

根据一范例，所述第二子类型的细胞的所述至少一个量化包括密度图。

根据一范例，关于所述细胞组成的所述信息包括至少一个量化。处理单元30然后能够被配置为在所述至少一个量化的基础上确定浸润细胞的群体与单一培养有关。

在一范例中，如果所述非特异性细胞密度图与所述特异性细胞密度图之间的差接近零，并且所述密度都大于零，那么浸润细胞的群体被指示为单一培养。因此，例如，能够指示或确定尤其是利用ihc/if测量的类型的“单一培养”。容差/阈值水平能够被应用以确定差何时“接近零”。这样的容差/阈值能够通过专科医生/病理学家核实针对两个群体的密度估计的准确性来进行设置，使得能够做出关于多小的差能够用来评价单一培养存在的确定。在群体密度中将存在不确定性，并且这也将依赖于正在被使用的标记。然而，专科医生/病理学家能够使用其知识来确定能够基于密度差用来确定单一培养是否存在的容差/阈值。

除了确定单一培养是否存在之外，可能需要关于群体密度的差有多大以及什么空间分布具有该互补分数和所检测的群体密度的指示。为了确定并核实这种情况，软件工具能够被专科医生/病理学家用来在一些选定的图像区域中对细胞的数量手动地计数，计算密度，并且将那些与所估计的密度进行比较。这提供了当利用它工作时对工具进行验证的方式，并且使得与所确定的群体密度的变化性相关的理解能够被提供。从该信息，对于不同的标记，当该差用来确定单一培养是否存在、和/或未计入的浸润细胞是否存在、和/或特异性染色中的指示例如存在坏死的非特异性染色是否已经发生时，专科医生/病理学家能够确定关于群体密度的差的什么容差/阈值应当被设置。

换言之，两组之间的差能够被确定，从而提供能够被进一步利用的信息。在一范例中，非特异性图像分析能够用来预测特异性结果。在此情况下，特异性染色能够用作用于非特异性算法的地面真值。根据一范例，关于所述细胞组成的所述信息包括至少一个量化。处理单元30然后能够被配置为在所述至少一个量化的基础上确定浸润细胞的群体与未被所述特异性染色靶向的子类型的细胞的群体有关。

在一范例中，如果所述非特异性细胞密度图与所述特异性细胞密度图之间的差为正，那么做出存在未计入的浸润细胞的指示。以此方式，病理学家可以决定额外的染色或使用该事实作为诊断信息。以与上面描述的关于确定单一培养是否存在的方式类似的方式，容差/阈值能够用来确定是否存在未计入的浸润细胞，其中专科医生/病理学家再次在标记正在被使用的基础上并且密度群体的预期的变化性能够提供针对要在适当的算法中设置的这种容差/阈值的所需的信息，并且由此其能够自动指示另一染色能够可用于靶向未计入的浸润细胞。

根据一范例，关于所述细胞组成的所述信息包括至少一个量化。处理单元30能够被配置为在所述至少一个量化的基础上从进一步分析中排除第一图像和第二图像的区域。

在一范例中，如果所述非特异性细胞密度图与所述特异性细胞密度图之间的差为负，那么做出在所述特异性染色中存在非特异性染色的指示。在一范例中，特异性染色中的非特异性染色(例如ihc)能够指示例如存在坏死。以此方式，当计算ihc得分或决定不同的标记时，病理学家可以使用该信息来排除这些区域。换言之，实现了提供质量控制的有效手段。再次，这种确定能够在容差/阈值的基础上利用如上面描述的来自专科医生/病理学家的输入来做出。

根据一范例，关于所述细胞组成的所述信息包括至少一个量化，所述至少一个量化包括从所述非特异性细胞组成细胞密度图减去所述特异性细胞组成细胞密度图。

在一范例中，正的量化能够用来自动生成另一样本，其中第二染色针对第二子类型。

在一范例中，接近零的量化能够用来自动生成单一培养存在于样本中的一个或多个区域处的指示。

在一范例中，小于零的量化能够用来从处理中自动排除样本的区域。

根据一范例，所述第一图像数据与所述至少一个组织样本的第一图像有关，并且所述第二图像数据与所述至少一个组织样本的第二图像有关。对关于细胞组成的信息的确定然后能够包括对所述第一图像到所述第二图像的配准。

在一范例中，配准涉及两幅图像在细胞水平下的匹配，因此提供细胞精度配准。以此方式，每幅图像中针对不同标记的量化(细胞密度)能够被准确地比较。

根据一范例，所述第一图像与第一组织样本有关，并且所述第二图像数据与第二组织样本有关。

根据一范例，所述非特异性染色包括苏木素和伊红(h&e)染色，并且所述特异性染色包括免疫组化(ihc)染色或免疫荧光(if)染色。

在一范例中，(信使rna–原位杂交)mrna-ish和pla技术能够被使用。

图2示出了用于确定一幅或多幅组织样本显微镜图像中的细胞组成信息的系统100的范例。系统100包括图像采集单元110、以及如参考图1的范例中的任一个描述的用于确定一个或多个组织样本中的细胞组成信息的装置10。系统100还包括输出单元120。图像采集单元110被配置为采集所述至少一个组织样本的至少一幅2d图像。输出单元120被配置为输出关于所述细胞组成的所述信息。

在一范例中，图像采集单元是亮视野显微镜。在一范例中，图像采集单元包括断层摄影显微镜。在一范例中，图像采集单元包括共焦显微镜。在一范例中，图像采集单元包括透射显微镜。在一范例中，图像采集单元包括切片扫描仪。

图3以其基本步骤示出了用于确定一幅或多幅组织样本显微镜图像中的细胞组成信息的方法200。方法200包括：

在提供步骤210(也被称为步骤a))中，提供至少一个组织样本的第一图像数据，其中，所述第一图像数据与所述至少一个组织样本中的组织样本的非特异性染色有关；

在提供步骤220(也被称为步骤b)中，提供所述至少一个组织样本的第二图像数据，其中，所述第二图像数据与所述至少一个组织样本中的组织样本的特异性染色有关；

其中，(i)已经经历特异性染色的组织样本与已经经历非特异性染色的组织样本相同，或者(ii)已经经历特异性染色的组织样本与已经经历非特异性染色的组织样本不同；

在确定步骤230(也被称为步骤c)中，在所述第一图像数据的基础上确定非特异性细胞组成细胞密度图；

在确定步骤240(也被称为步骤d)中，在所述第二图像数据的基础上确定特异性细胞组成细胞密度图；以及

在确定步骤250(也被称为步骤e)中，在所述非特异性细胞密度图和所述特异性细胞密度图的基础上确定关于所述至少一个组织样本中的细胞组成的信息。

在一范例中，在步骤a)中，输入单元20被配置向处理单元30提供至少一个组织样本的至少一幅2d图像。

在一范例中，输入单元20被配置为向处理单元30提供至少一个组织样本的第二图像数据。

在一范例中，在步骤c)中，所述确定由处理单元30来执行。

在一范例中，在步骤d)中，所述确定由处理单元30来执行。

在一范例中，在步骤e)中，所述确定由处理单元30来执行。

根据一范例，如果所述非特异性细胞密度图与所述特异性细胞密度图之间的差接近零，并且所述密度都大于零，那么浸润细胞的群体被指示为单一培养。因此，例如，能够指示或确定尤其是利用ihc/if测量的类型的“单一培养”。所述处理单元能够被配置为确定该差，并且指示群体是否是单一培养。

根据一范例，如果所述非特异性细胞密度图与所述特异性细胞密度图之间的差为正，那么做出存在未计入的浸润细胞的指示。所述处理单元能够被配置为确定该差，并且指示是否存在未计入的浸润细胞。以此方式，病理学家可以决定额外的染色或使用该事实作为诊断信息。

根据一范例，如果所述非特异性细胞密度图与所述特异性细胞密度图之间的差为负，那么做出在所述特异性染色中可能存在非特异性染色的指示。所述处理单元能够被配置为确定该差，并且指示是否存在非特异性染色。在一范例中，特异性染色中的非特异性染色(例如ihc)能够指示例如存在坏死。以此方式，当计算ihc得分或决定不同的标记时，病理学家可以使用该信息来排除这些区域。换言之，实现了提供质量控制的有效手段。病理学家能够对图像进行分析以确认坏死性外观。

在一范例中，步骤b)包括靶向第一子类型的细胞的染色，并且在步骤e)，关于所述细胞组成的所述信息包括e1)确定所述第一子类型的细胞的至少一个量化。所述确定能够由处理单元30来执行。

在一范例中，在步骤e1)中，所述第一子类型的细胞的所述至少一个量化包括密度图。

在一范例中，步骤b)包括靶向与第二子类型的细胞不同的至少一个子类型的细胞的染色，并且在步骤e)中，关于所述细胞组成的所述信息包括e2)确定所述第二子类型的细胞的至少一个量化。所述确定能够由处理单元30来执行。

在一范例中，在步骤e2)中，所述第二子类型的细胞的所述至少一个量化包括密度图。

在一范例中，步骤e)包括确定至少一个量化，并且在所述至少一个量化的基础上确定浸润细胞的群体与单一培养有关。这些确定能够由处理单元来执行。

在一范例中，步骤e)包括确定至少一个量化，并且在所述至少一个量化的基础上确定浸润细胞的群体与未被所述特异性染色靶向的子类型的细胞的群体有关。所述确定能够由处理单元来执行。

在一范例中，步骤e)包括确定至少一个量化，并且在所述至少一个量化的基础上从进一步分析中排除第一图像和第二图像的区域。所述确定能够由处理单元来执行。

在一范例中，步骤e)包括确定至少一个量化，所述至少一个量化包括从所述非特异性细胞组成细胞密度图减去所述特异性细胞组成细胞密度图。所述确定能够由处理单元来执行。

在一范例中，在步骤a)中，所述第一图像数据与至少一个组织样本的第一图像有关，并且在步骤b)中，所述第二图像数据与至少一个组织样本的第二图像有关，并且其中，步骤e)包括对第一图像到第二图像的配准。所述配准能够由处理单元来执行。

下文更详细地描述了对肿瘤学诊断的改进的需要。在此之后，进一步详细地描述了用于确定一个或多个组织样本中的细胞组成信息的装置、系统和方法，解释了具体的问题如何被解决。

组织样本从身体获取。样本能够利用组织处理器来进行处理，包括固定、脱氢和石蜡包埋的步骤，产生所谓的福尔马林固定石蜡包埋(ffpe)组织块。组织块被切割，以获得要通过例如亮视野显微镜进行分析的期望厚度的切片。切片能够在厚度上为大约2-10μm，如将由技术人员认识到的，如在常规2d病理学成像中所需的。在染色之后，组织切片被浸没在(可能部分打开的)透明容器中的所谓的安装(流体)介质中，并且利用亮视野显微镜来进行分析以获得图像。这样的显微镜例如是飞利浦数字病理ufs全切片扫描仪。然而，技术人员将认识到组织样本能够被成像的其他方式。被应用于组织切片(或样本)的染色使得不同的细胞能够被检测到。

肿瘤相关联的免疫细胞(有时也被表示为肿瘤-浸润性淋巴细胞(til))在病理学和肿瘤学诊断中起重要的作用。浸润的程度和细胞的类型具有预后和预测值。此外，对于在肿瘤物质上的分子测试，具有淋巴细胞的肿瘤细胞的稀释能够导致假阴性结果，并且因此需要被考虑。淋巴细胞具有特定的外观，如紧凑的、小的且相当圆的细胞，并且能够在苏木素和伊红(h&e)染色的组织切片上进行识别。在淋巴细胞的组内，具有作为宿主对被识别为异物或异常组织的肿瘤的存在的免疫响应的部分的非常不同的功能的许多子类型被区别，其中在以下文章中发现了更充分的讨论：j.galon等人的thecontinuumofcancerimmunosurveillance：prognostic,predictiveandmechanisticsignatures(immunity，39，(2015)，11-26)。这些子类型能够例如在免疫学的领域中已经被标准化的细胞表面标记的其表达的基础上来确定，并且一般由前缀cd紧接着指示免疫-染色针对其进行的抗原的编号来指示。这种免疫染色能够涉及为组织病理学中的公认技术的免疫组化(ihc)。备选地，在所使用的标记的种类方面不同的免疫荧光也能够被采用(荧光团代替将底物转换成不溶性染料的酶)。

用于h&e染色的组织的图像中的浸润检测的方法能够基于几何特征，像形状和面积。对于基于形态学的h&e分析并且对于分析特异性标记(例如ihc)，存在许多备选方法，如例如在以下文章中描述的：m.n.gurcan等人的histopathologicalimageanalysis:areview(ieeereviewsinbiomedicalengineering，第2期，2009)。近来，考虑到足够的训练数据存在，机器学习(尤其是深度学习)方法已经成功解决这些种类的问题。对于基于h&e的浸润检测的情况，能够为神经网络呈现以给定放大系数成像的浸润核的小范例图像(例如32x32个像素)。这然后是阳性训练集。我们可以使用其他细胞类型、间质或脂肪作为阴性训练集。一旦被训练，神经网络就能够用来针对给定的图像片块预测该片块是否包含浸润核。通常来说，预测被应用为图像上的移动窗口，并且其中空间检测概率表面具有局部最大值并且位于给定阈值之上的位置被识别为阳性。h&e浸润检测的更简单方法是基于颜色相似性将像素分割/空间分组成小(亚核尺寸)的区域。相邻区域的组合然后可以在圆形度/圆度和染色强度方面进行评估。当区域的组合导致具有高染色强度的不是太大的圆形形状时，那么这可以是浸润核。该方法是基于手动参数调谐的。

针对特异性ihc标记的免疫细胞浸润检测往往简单得多。如果目标是计算细胞核密度图，那么特异性染色(例如dab)可以使用颜色反卷积逐像素进行检测。如果针对给定像素得到的dab图像在给定阈值之上，那么该像素必然是浸润细胞的一部分。由于ihc标记具体地结合到免疫细胞的给定集合，所以细胞密度图可以通过假设2d图像中(在像素方面)的给定细胞尺寸根据基于像素的检测结果来估计。

不同的成像模态能够通过在关于两幅图像上的特定图像特征上对齐它们而被几何地叠加。例如，来自组织块的两个相邻切片能够使用不同的标记来染色。以此方式，若干不同的参数能够针对相同的样本位置(例如组织的边界、组织类型边界或细胞)来确定。

虽然肿瘤中的淋巴细胞浸润的评价一般在h&e染色的切片或其数字图像上进行，但是基于其一般形态学特征，以此方式区别浸润细胞的所有子类型是不可能的。然而，对于预测癌症患者的预后或治疗响应，子类型的区别往往是必要的。子类型化基于使用绑定到代表特定细胞类型的某些细胞表面蛋白质的特异性抗体的免疫染色技术。每一个标记都需要单独的染色和图像采集过程，这是耗时费力的而且还耗费组织(新的切片需要从组织样本来切割，组织样本在针活组织检查的情况下能够是非常小的)。为了减少组织切片的数量和用于评价肿瘤相关联的免疫细胞(tac)子类型的努力，已经建议使用利用荧光团的多重标记来对单个组织切片上的若干cd标记进行染色。由于缺少具有多重荧光功能性的数字病理学扫描仪的可用性，这样的方法更难以在临床环境中引入。此外，由于归因于背景荧光和染色伪影的可能的假阳性召唤，这样的方法不保证正确的评价。

因此，本装置、系统和方法通过使用h&e和ihc/if图像分析两者来评价肿瘤浸润并且从这两种图像类型的比较导出信息来解决这种情况。ihc/if导出的浸润细胞能够被认为是h&e导出的浸润细胞的子集。知晓ihc/if图像中的生物标记(cd标记)的种类允许关于从与h&e导出的浸润细胞的比较导出的细胞的类型得出结论。

以下是本方法的步骤序列的详细工作流：

1.经由h&e图像(或ihc染色的h通道)组织切片的形态学分析导出细胞组成(例如免疫浸润)密度图。

2.基于ihc或if切片的染色强度分布的分析根据相同的或相邻的切片图像(如在ihc化验或备选地if化验中获得的)导出针对选择的特异性免疫细胞标记(像cd3、cd4、cd8等)的密度图。

3.将苏木素导出的细胞组成(例如免疫浸润)密度图与基于ihc/if的密度图进行组合以解读(如通过cd标记定义的)免疫细胞的染色的类别是否局部地表示组织中、特别是肿瘤区域(肿瘤-浸润性淋巴细胞，til)中的所有淋巴细胞的小子集或大子集。假如更高的密度局部地发现于ihc/if图像中，则这能够是能够是由于例如坏死组织区域的非特异性染色的指示。取决于标记(例如所谓的cd标记)的选择和非特异性地染色的图像中使用的形态学特征，基于特定子类型的免疫细胞的特异性，预期到基于(cd)标记的密度图是h&e导出的图的子集。例如，通过在非特异性地染色的图像上使用对紧凑密集的圆形对象敏感的淋巴细胞检测器，这将是主要检测t细胞。通过将此与已经利用cd8标记进行染色的图像的分析进行比较，这将获得能够是总t细胞分数的显著子集的细胞毒性t细胞分布，在这种情况下能够推断不存在通过调节性t细胞的很多浸润。在另一范例中，子集能够根据非特异性染色图像导出。当cd45用作特异性染色时，这将突出显示存在于肿瘤区域中的所有血源性细胞，其也包括例如巨噬细胞。巨噬细胞不是紧凑的圆形对象，因此它们将不会被针对这种对象进行训练的检测器检测到。在这种情况下，非特异性细胞群体能够是表示t细胞的子集并且作为所有非t细胞的补充子集。取决于手边的诊断应用，用于非特异性染色图像的检测器能够针对能够形成特异性染色的细胞类型的子集或细胞类型的互补集或细胞类型的超集的特异性独特特征集进行训练。

4.针对苏木素导出的细胞组成(例如免疫浸润)计数与ihc/if导出的浸润计数之间的差计算密度图。这表示子类型的互补集的密度的空间分布。

5.显示密度图以及任选地从这些密度图导出的表征与肿瘤区域相关的浸润的描述符。后者也能够通过算法根据h&e图像导出或由病理学家手动地指示。

现在描述所述装置、系统和方法的进一步具体细节，从而提供关于实施方式的进一步细节：

h&e和ihc图像的空间配准

仅仅在苏木素导出的细胞组成(例如免疫浸润)密度图根据相邻切片计算的情况下，或当相同切片被染色并且然后被成像并且然后被带走并且被重新染色并且被再次成像时，这是必要的。当这从ihc反卷积时，检测器性能可以好于当与对苏木素通道进行这种分析进行比较时。例如，已知的是，颜色反卷积能够引起诸如dab的某些ihc染色的误差。

基于h&e的浸润检测

浸润核往往能够由于其相对小的尺寸、均匀的苏木素染色和圆形形状而被识别。使用浸润核(阳性集)的范例图像和其他核类型(阴性集)的范例图像，机器学习算法能够被训练以检测浸润核。

浸润密度图的计算

密度图计算步骤通过定义给定尺寸的正方形平均区域并且针对正方形区域对检测到的浸润细胞的数量进行计数来进行。密度然后被计算为每单位面积的核的数量[例如，#/mm²]。

针对(一个或多个)选定标记的细胞类型阳性的ihc检测

这能够通过对对于标记为阳性的像素的数量进行计数或对对于标记为阴性的像素的数量进行计数来进行。在前者情况下，确定每个核通常存在多少像素。

(一个或多个)基于ihc的细胞类型密度图的计算

使用来自之前步骤的输出，密度[#/mm²]能够再次被计算。

从基于苏木素的浸润密度图减去基于ihc的细胞类型密度图

·密度差图具有阴性值和阳性值两者。

·如果密度差图接近零，并且所述密度都大于零，那么浸润细胞的群体是具体地利用ihc/if测量的类型的‘单一培养’。

·如果密度差图为正，那么存在未计入的浸润细胞。病理学家可以决定额外的染色或使用该事实作为诊断信息。

·如果密度差图为负，那么ihc中存在非特异性染色(例如坏死)。当计算ihc得分或决定不同的标记时，病理学家可以使用该信息来排除这些区域。这种使用情况的主要目的是质量控制。

分析能够对整幅组织图像或对选定的感兴趣区域执行。任选地，感兴趣区域也能够由计算机程序或由用户、或在两者的交互下进行选择。

在以上讨论中，描述了特异性染色和非特异性染色。现在提供关于这些的更多信息：

非特异性染色是使用取决于组织类型和组织的某些生物学组成而在不同的程度上结合到组织的染料的方法。范例苏木素绑定到在细胞核中发现的核酸，并且因此能够用来通过增加的染色吸收来描绘细胞核。染色强度独立于核酸的序列。

特异性染色是使用被耦合到特异性识别分子的染料的方法，所述特异性识别分子将基于精确的分子构型(像在分子探针(原位杂交)的情况下核酸的序列或通过抗体(免疫组化或免疫荧光)被识别的蛋白质的氨基酸的序列和构象)结合到样本中的目标分子。

在特异性染色中，往往能够涉及额外的化学作用来增强信号，例如通过酶(像hrp)或通过支链dna或rca(滚环扩增)。

在另一示范性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于被配置为在适当系统上运行根据前述实施例中的一个的方法的方法步骤。

因此，计算机程序单元因此可以被存储在计算机单元上，所述计算机单元也可以是实施例的一部分。该计算单元可以被配置为执行或诱发上述方法的步骤的执行。此外，其可以被配置为操作上面描述的装置的部件。计算单元能够被配置为自动操作和/或被配置为执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，数据处理器可以被装备为执行根据前述实施例中的一个的方法。

本发明的该示范性实施例涵盖从最开始使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。

此外，计算机程序单元可以能够提供履行如上面描述的方法的示范性实施例的流程的所有必要步骤。

根据本发明的又一示范性实施例，提出了一种计算机可读介质，诸如cd-rom，其中，所述计算机可读介质具有被存储在其上的计算机程序单元，所述计算机程序单元由前述章节描述。

计算机程序可以被存储和/或分布在适当的介质上，诸如与其他硬件一起被提供或作为其他硬件的部分被提供的光学存储介质或固态介质，但是所述计算机程序也可以以其他形式分布，诸如经由互联网或其他有线或无线通信系统分布。

然而，计算机程序也可以被提供在如万维网的网络上并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的又一示范性实施例，提供一种用于使计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的前面描述的实施例中的一个的方法。

必须注意，参考不同主题描述了本发明的实施例。特别地，参考方法类型的权利要求描述了一些实施例，而参考设备类型的权利要求描述了其他实施例。然而，除非另有说明，本领域技术人员将从以上和以下描述中获悉，除属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被视为由本申请所公开。然而，能够组合所有特征，从而提供比特征的简单加和更多的协同效果。

尽管已经在附图和前述描述中详细说明并描述了本发明，但是这些说明和描述应被视为是说明性或示范性的，而不是限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、说明书和从属权利要求，在实践所请求保护的本发明时，能够理解并实现所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行在权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求书中的任何附图标记都不应被解释为对范围的限制。