针对全切片图像的基于注意力的多实例学习的制作方法

本公开总体上涉及用于对数字病理学图像的工具进行分析和分类。

背景技术：

1、全切片图像(whole slide image,wsi)由来自样品的图像的扫描或数字原生扫描产生。扫描和相对应的wsi通常非常大，例如，多个颜色通道中的每个通道都有100,000像素乘以100,000像素，这使得使用传统计算方法难以在整体水平上有效地分析wsi。目前处理大幅面wsi的方法包括将wsi分割成较小的部分，并使用多个处理器或其他分布式的处理来执行并行分析。分割和分布式的处理可能有助于收集对离散部分的理解，但无法生成对整个wsi的理解。

2、病理学家或其他训练有素的专家通常会针对所描绘组织中异常的证据来评估wsi。针对wsi的标记倾向于涉及整个图像，并且不是，例如，涉及图像的特定部分。例如，病理学家可以识别肺部的图像中的组织异常(例如，肿瘤)并且将图像标记为“异常。”然而，在大多数情况下，病理学家不会对图像进行注释以指定组织异常出现在图像中的位置。这种“全有或全无”的标记风格对于训练计算机实现算法来评估wsi不太有用。然而，即使在全图像标记下，病理学家分析也很耗时。让病理学家重新评估老样品来标记各个位置是非常耗时的。此外，许多情况并不相互排斥，因此单个wsi可能同时指示多种情况，这可能需要多个专家同时检查图像以确保标记所有异常情况。

3、因此，存在对wsi标签或注释的需求，该标签或注释提供超越图像作为“正常图像”或“异常图像”的二元标记的细化。另外，存在对这样的注释的需求，来查明图像的部分或图像中描绘异常的位置。

技术实现思路

1、在特定实施方案中，计算机实现方法包括接收或以其他方式访问全切片图像并将全切片图像分割成多个图块。特别地，全切片图像可以是大幅面图像，并且可以选择分割的图块的尺寸以促进有效的管理和处理。方法包括生成与多个图块中的每个图块相对应的嵌入特征向量。在特定实施方案中，使用使用自然图像训练的神经网络来生成嵌入特征向量。方法包括使用注意力网络来计算与每个嵌入特征向量相对应的权重值。方法包括根据嵌入特征向量计算图像嵌入。每个嵌入特征向量根据与嵌入特征向量相对应的权重值进行加权。在特定实施方案中，方法进一步包括在计算图像嵌入之前对权重值进行归一化。方法包括根据图像嵌入生成针对全切片图像的分类。针对全切片图像的分类可以指示在全切片图像中描绘的组织中存在一种或多种生物学异常，包括肥大、库普弗细胞异常、坏死、炎症、糖原异常、脂质异常、腹膜炎、细胞核大小不均、细胞浸润、核巨大、微肉芽肿、增生或空泡形成。针对全切片图像的分类可以包括对与全切片图像中描绘的组织相关联的潜在地毒性事件的评估。在特定实施方案中，计算机可以使用多个注意力网络来计算与每个嵌入特征向量相对应的权重值，并且从每个注意力网络生成针对全切片图像的相应的分类。在特定实施方案中，分类指示全切片图像描绘与全切片图像中描绘的组织相关联的一种或多种异常。在特定实施方案中，方法包括将针对全切片图像的分类提供给病理学家以供验证。

2、在特定实施方案中，计算机可以生成与全切片图像相对应的热图。热图可以包括与全切片图像的图块相对应的图块。与热图的每个图块相关联的强度值可以根据与全切片图像的相应的图块的嵌入特征向量相对应的权重值来确定。在特定实施方案中，方法进一步包括生成针对全切片图像的注释。计算机通过识别满足预定标准(诸如超过阈值)的一个或多个权重值、识别与经识别的权重值相对应的一个或多个嵌入特征向量、以及识别与经识别的嵌入特征向量相对应的一个或多个图块生成针对全切片图像的注释。可以通过标记经识别的图块或作为交互式覆盖，来提供针对全切片图像的注释以与全切片图像相关联地显示。

3、在特定实施方案中，计算机可以至少根据权重值来计算与针对全切片图像的分类相关联的置信分数，并且提供与针对全切片图像的分类相关联的置信度分数以用于显示。在特定实施方案中，计算机可以根据嵌入特征向量、权重值和切片嵌入特征向量来识别与针对全切片图像的分类相关联的衍生(derivative)特征。在特定实施方案中，计算机可以分别为多个全切片图像生成多个分类，并且使用这些分类作为与全切片图像相关联的真实值来训练一个或多个注意力网络以分别预测与一个或多个情况相关联的权重值。在特定实施方案中，从用户装置接收全切片图像并且方法包括将针对全切片图像的分类提供给用户装置以供显示。在特定实施方案中，从与执行该方法的数字病理学图像处理系统通信耦合的数字病理学图像生成系统接收全切片图像。

4、本文公开的实施方案仅是示例，并且本公开的范围不限于此。特定实施方案可以包括本文公开的实施方案的部件、元件、特征、功能、操作或步骤中的全部、一些，或者不包括任何一者。根据本发明的实施方案特别公开在针对方法、存储介质、系统和计算机程序产品的所附权利要求中，其中在一个权利要求类别中提及的任何特征(例如，方法)可以在另一个权利要求类别(例如，系统)中要求对其进行保护。仅出于形式原因选择所附权利要求中的从属物或引用物。但是，也可以要求保护任何因有意引用任何前述权利要求(特别是多个从属物)而产生的主题，因此无论在所附权利要求中选择的从属物如何，都可以公开并要求保护权利要求及其特征的任何组合。可以要求保护的主题不仅包括如所附权利要求中所列的特征的组合，还包括权利要求中的特征的任何其他组合，其中权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相组合。此外，可以在单独的权利要求中和/或与本文描述或描绘的任何实施方案或特征或与所附权利要求的任何特征的任何组合中，要求保护本文描述或描绘的任何实施方案和特征。

技术特征：

1.一种计算机实现方法，其包括：

2.根据权利要求1所述的方法，其进一步包括：

3.根据权利要求1所述的方法，其中针对所述全切片图像的所述分类指示在所述全切片图像中描绘的组织中存在一种或多种生物学异常，所述一种或多种生物学异常包括肥大、库普弗细胞异常、坏死、炎症、糖原异常、脂质异常、腹膜炎、细胞核大小不均、细胞浸润、核巨大、微肉芽肿、增生或空泡形成。

4.根据权利要求1所述的方法，其中针对所述全切片图像的所述分类包括对与所述全切片图像中描绘的组织相关联的毒性事件的评估。

5.根据权利要求1所述的方法，其进一步包括：

6.根据权利要求1所述的方法，其进一步包括通过以下来基于所述权重值生成针对所述全切片图像的注释：

7.根据权利要求6所述的方法，其进一步包括提供针对所述全切片图像的所述注释以供与所述全切片图像相关联地显示，其中提供所述注释包括标记一个或多个经识别的图块。

8.根据权利要求1所述的方法，其进一步包括：

9.根据权利要求1所述的方法，其进一步包括：

10.根据权利要求1所述的方法，其进一步包括：

11.根据权利要求1所述的方法，其进一步包括：

12.根据权利要求1所述的方法，其中所述分类指示所述全切片图像描绘与所述全切片图像中描绘的组织相关联的一种或多种异常。

13.根据权利要求1所述的方法，其中从用户装置接收所述全切片图像，并且所述方法包括将针对所述全切片图像的所述分类提供给所述用户装置以供显示。

14.根据权利要求1所述的方法，其中从与执行所述方法的数字病理学图像处理系统通信地耦合的数字病理学图像生成系统接收所述全切片图像。

15.一种数字病理学图像处理系统，其包括：

16.根据权利要求15所述的数字病理学图像处理系统，其中所述指令当由所述处理器中的一个或多个执行时进一步可操作以使所述系统进行进一步包括以下的操作：

17.根据权利要求15所述的数字病理学图像处理系统，其中针对所述全切片图像的所述分类指示在所述全切片图像中描绘的组织中存在一种或多种生物学异常，所述一种或多种生物学异常包括肥大、库普弗细胞异常、坏死、炎症、糖原异常、脂质异常、腹膜炎、细胞核大小不均、细胞浸润、核巨大、微肉芽肿、增生或空泡形成。

18.一种或多种计算机可读非暂时性存储介质，其包括指令，所述指令当由一个或多个处理器执行时，被配置成使数字病理学图像处理系统的所述一个或多个处理器进行包括以下的操作：

19.根据权利要求18所述的一种或多种计算机可读非暂时性存储介质，其中所述指令进一步配置为使所述数字病理学图像处理系统的所述一个或多个处理器进行进一步包括以下的操作：

20.根据权利要求18所述的一种或多种计算机可读非暂时性存储介质，其中针对所述全切片图像的所述分类指示在所述全切片图像中描绘的组织中存在一种或多种生物学异常，所述一种或多种生物学异常包括肥大、库普弗细胞异常、坏死、炎症、糖原异常、脂质异常、腹膜炎、细胞核大小不均、细胞浸润、核巨大、微肉芽肿、增生或空泡形成。

技术总结
在一个实施方案中，本公开提供了一种方法，所述方法包括接收全切片图像以及将所述全切片图像分割成多个图像图块。所述方法包括生成与多个图块中的每个图块相对应的特征向量，其中针对所述图块中的每一个的所述特征向量表示所述图块的嵌入。所述方法包括使用注意力网络来计算与每个嵌入特征向量相对应的权重值。所述方法包括基于所述嵌入特征向量来计算图像嵌入，其中基于与所述嵌入特征向量相对应的所述权重值对每个嵌入特征向量进行加权。所述方法包括基于所述图像嵌入来生成针对所述全切片图像的分类。

技术研发人员：胡芳耀
受保护的技术使用者：基因泰克公司
技术研发日：
技术公布日：2024/1/16