识别多重免疫荧光图像中的自体荧光伪影的制作方法

本文公开的方法和系统总体上涉及处理数字病理图像。具体来说，机器学习和图像处理技术被用于识别多重免疫荧光图像中的自体荧光伪影。

背景技术：

1、数字病理学涉及将样品(例如，组织样品、血液样品、尿液样品等)的载玻片扫描成数字图像。可以对样品进行染色，使得细胞中的选定蛋白质(抗原)相对于样品的其余部分在视觉上被差异化标记。样本中的靶标蛋白可称为生物标志物。可以针对组织样品，生成具有针对不同生物标志物的多种染色剂的数字图像。这些数字图像可以被称为多重免疫荧光图像。例如，多重免疫荧光图像可以使组织样品中肿瘤细胞与非肿瘤细胞之间的空间关系可视化。可以进行图像分析以识别和量化组织样品中的生物标志物。图像分析可以由计算系统或病理医师进行，以促进生物标志物的表征(例如，在存在、大小、形状和/或位置方面)以便通知(例如)疾病的诊断、治疗计划的确定或对疗法的反应的评定。

2、然而，与多重免疫荧光图像相关的突出复杂情况是，来自不同染色样品部分的光信号可能会以某种方式相互干扰，使得可能难以检测单一染料，并且从而导致检测不准确。此外或替代地，给定类型的生物材料可以以给定频率自然地自体荧光。当样品被用多种染色剂染色时，这种自体荧光可能混淆和/或模糊对染色样品图像的解释的可能性会增加。

技术实现思路

1、在一些实施例中，提供了一种计算机实现的方法。访问样本切片的多重免疫荧光图像。多重免疫荧光图像可以包括一个或多个自体荧光伪影(例如，自体荧光生物元素，诸如红细胞、脂肪、组织或连接的组织)。使用机器学习模型(u-net模型)来处理多重免疫荧光图像。处理的输出可以对应于关于多重免疫荧光图像是否包括一个或多个自体荧光伪影的预测。该预测可以识别多重免疫荧光图像的被预测为描绘自体荧光伪影的一个或多个特定部分。基于预测来调整后续图像处理。执行后续图像处理并且输出后续图像处理的结果。结果可以对应于样本的预测表征。

2、在一些实施例中，计算机实现的方法可以包括：基于对一个或多个自体荧光伪影中的每一个的预测来生成多重免疫荧光图像的经修改版本。例如，可以修改多重免疫荧光图像，使得被预测为描绘自体荧光伪影的一个或多个特定部分中的每一个被赋予空值、零值、基于多重免疫荧光图像的剩余部分计算的统计值(例如，中值或平均值)、基于该一个或多个特定部分周围的像素计算的统计值(例如，中值或平均值)，和/或基于一个或多个其他图像计算的统计值(例如，中值或平均值)。作为另一示例，可以对多重免疫荧光图像进行裁剪以排除一个或多个特定部分。后续图像处理可以包括处理多重免疫荧光图像的经修改版本。

3、在一些实施例中，调整后续图像处理可以包括：针对图像的一个或多个区域中的每一个确定对应于多重免疫荧光图像的一个或多个特定部分的至少一个度量超过预定阈值。例如，一个或多个度量可以包括自体荧光伪影的累积大小、多重免疫荧光图像中自体荧光伪影的总数、或多重免疫荧光图像包括至少一个自体荧光伪影的概率。一个或多个度量可以包括输出的至少一部分或者基于处理的输出而生成。

4、在一些情况下，执行后续图像处理包括：基于多重免疫荧光图像的一个或多个特定部分的位置来修改一个或多个其他图像中的每一个。一个或多个其他图像中的每一个可以对应于样本的另一切片。可以处理一个或多个其他经修改图像。

5、在一些实施例中，计算机实现的方法可以包括：在访问多重免疫荧光图像之前接收包括一个或多个块的全载玻片图像。可以基于识别块中的特征来选择一个或多个块中的一个块。例如，可以对块执行边缘检测，其中一个或多个边缘的存在指示目标区域和非目标区域都存在于该块中。可以基于检测边缘的存在来选择块。可能不会选择其中未检测到边缘的块。所选择的块可以对应于多重免疫荧光图像。

6、在一些实施例中，计算机实现的方法可以进一步包括：在访问多重免疫荧光图像之前，将针对第一生物标志物的第一染色剂施加至样本的样品切片，并且生成具有第一染色剂的样品切片的第一图像。此外，可以将针对第二生物标志物的第二染色剂施加至样本的样品切片，并且可以生成具有第二染色剂的样品切片的第二图像。可以通过组合第一图像和第二图像来生成多重免疫荧光图像。

7、在一些情况下，后续图像处理包括检测对一组肿瘤细胞的描绘。结果可以表征一组肿瘤细胞的存在、数量和/或大小。

8、本公开的一些实施例包括一种系统，其包括一个或多个数据处理器。该系统可进一步包括包含指令的非暂时性计算机可读存储介质，该指令当在一个或多个数据处理器上被执行时，使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部。

9、在一些实施例中，提供了一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品。该计算机程序产品可以包括指令，该指令被配置成使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部。

10、已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，虽然通过实施例和任选特征具体公开了本发明，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本发明范围内。

技术特征：

1.一种计算机实现的方法，其包括：

2.根据权利要求1所述的计算机实现的方法，其进一步包括：

3.根据权利要求1所述的计算机实现的方法，其中调整所述后续图像处理包括：

4.根据权利要求1所述的计算机实现的方法，其中执行所述后续图像处理包括：

5.根据权利要求1所述的计算机实现的方法，其中所述一个或多个自体荧光伪影描绘一个或多个红细胞。

6.根据权利要求1所述的方法，其中所述机器学习模型包括u-net模型。

7.根据权利要求1所述的计算机实现的方法，其进一步包括：

8.根据权利要求1所述的计算机实现的方法，其进一步包括，在访问所述多重免疫荧光图像之前：

9.根据权利要求1所述的计算机实现的方法，其中执行所述后续图像处理包括检测对一组肿瘤细胞的描绘，并且其中所述结果表征所述一组肿瘤细胞的存在、数量和/或大小。

10.根据权利要求1所述的计算机实现的方法，其中所述多重免疫荧光图像包括针对所述样本切片的基于酪胺的染色。

11.根据权利要求1所述的计算机实现的方法，其中使用所述机器学习模型处理所述多重免疫荧光图像包括：

12.根据权利要求1所述的计算机实现的方法，其中所述机器学习模型是第一机器学习模型，并且使用所述机器学习模型处理所述多重免疫荧光图像包括：

13.根据权利要求1所述的计算机实现的方法，其中使用所述机器学习模型处理所述多重免疫荧光图像进一步包括：

14.一种系统，其包括：

15.根据权利要求14所述的系统，其中所述非暂时性计算机可读介质进一步包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的操作：

16.根据权利要求14所述的系统，其中调整所述后续图像处理包括：

17.根据权利要求14所述的系统，其中执行所述后续图像处理包括：

18.根据权利要求14所述的系统，其中所述一个或多个自体荧光伪影描绘一个或多个红细胞。

19.根据权利要求14所述的系统，其中所述机器学习模型包括u-net模型。

20.根据权利要求14所述的系统，其中所述非暂时性计算机可读介质进一步包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的操作：

21.根据权利要求14所述的系统，其中所述非暂时性计算机可读介质进一步包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器在访问所述多重免疫荧光图像之前执行包括以下的操作：

22.根据权利要求14所述的系统，其中执行所述后续图像处理包括检测对一组肿瘤细胞的描绘，并且其中所述结果表征所述一组肿瘤细胞的存在、数量和/或大小。

23.根据权利要求14所述的系统，其中所述多重免疫荧光图像包括针对所述样本切片的基于酪胺的染色。

24.根据权利要求14所述的系统，其中使用所述机器学习模型处理所述多重免疫荧光图像包括：

25.根据权利要求14所述的系统，其中所述机器学习模型是第一机器学习模型，并且使用所述机器学习模型处理所述多重免疫荧光图像包括：

26.根据权利要求14所述的系统，其中使用所述机器学习模型处理所述多重免疫荧光图像进一步包括：

27.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置成使一个或多个数据处理器执行包括以下的操作：

28.根据权利要求27所述的计算机程序产品，其进一步包括指令，所述指令被配置成使一个或多个数据处理器执行包括以下的操作：

29.根据权利要求27所述的计算机程序产品，其中调整所述后续图像处理包括：

30.根据权利要求27所述的计算机程序产品，其中执行所述后续图像处理包括：

31.根据权利要求27所述的计算机程序产品，其中所述一个或多个自体荧光伪影描绘一个或多个红细胞。

32.根据权利要求27所述的计算机程序产品，其中所述机器学习模型包括u-net模型。

33.根据权利要求27所述的计算机程序产品，其进一步包括指令，所述指令被配置成使一个或多个数据处理器执行包括以下的操作：

34.根据权利要求27所述的计算机程序产品，其进一步包括指令，所述指令被配置成使一个或多个数据处理器在访问所述多重免疫荧光图像之前执行包括以下的操作：

35.根据权利要求27所述的计算机程序产品，其中执行所述后续图像处理包括检测对一组肿瘤细胞的描绘，并且其中所述结果表征所述一组肿瘤细胞的存在、数量和/或大小。

36.根据权利要求27所述的计算机程序产品，其中所述多重免疫荧光图像包括针对所述样本切片的基于酪胺的染色。

37.根据权利要求27所述的计算机程序产品，其中使用所述机器学习模型处理所述多重免疫荧光图像包括：

38.根据权利要求27所述的计算机程序产品，其中所述机器学习模型是第一机器学习模型，并且使用所述机器学习模型处理所述多重免疫荧光图像包括：

39.根据权利要求27所述的计算机程序产品，其中使用所述机器学习模型处理所述多重免疫荧光图像进一步包括：

技术总结
本文公开的实施例总体上涉及识别多重免疫荧光图像中的自体荧光伪影。特别地，本公开的方面涉及访问样本切片的多重免疫荧光图像，其中所述多重免疫荧光图像包括一个或多个自体荧光伪影；使用机器学习模型处理所述多重免疫荧光图像，其中所述处理的输出对应于以下预测：所述多重免疫荧光图像在所述多重免疫荧光图像的一个或多个特定部分处包括一个或多个自体荧光伪影；基于所述预测来调整后续图像处理；执行所述后续图像处理；以及输出所述后续图像处理的结果，其中所述结果对应于所述样本的预测表征。

技术研发人员：A·洛萨库尔,T·K·阮,聂垚,S·希夫曼,王兴伟,赵佐
受保护的技术使用者：文塔纳医疗系统公司
技术研发日：
技术公布日：2024/1/14