全载玻片图像搜索的制作方法

本公开总体上涉及用于分析和搜索数字病理学图像的工具。

背景技术：

1、全载玻片图像(whole slide image,wsi)由来自样品的图像的扫描或数字原生扫描产生。扫描和相对应的wsi通常非常大，例如，多个颜色通道中的每个通道都有100,000像素乘以100,000像素，这使得使用传统计算方法难以在整体水平上有效地分析wsi。目前处理大幅面wsi的方法包括将wsi分割成较小的部分，并使用多个处理器或其他分布式的处理来进行并行分析。

2、病理学家或其他训练有素的专家通常会针对所描绘组织中异常的证据来评估单个wsi。针对wsi的标记倾向于涉及整个图像，并且不是，例如，涉及图像的特定部分。例如，病理学家可以识别肺部的图像中的组织异常(例如，肿瘤)并且将图像标记为“异常。”然而，在大多数情况下，病理学家不会对图像进行注释以指定组织异常出现在图像中的位置。这种“要么全有要么全无”的标签样式对于识别一组全载玻片图像共有的特征不太有用，因为即使标记了wsi，通常也不会标记该特征的位置。相反，如果病理学家希望将特定特征与wsi库进行比较，他们必须依靠这种基本标记或自己的回忆来选择适当的wsi。最终，他们必须在适当的wsi内手动识别该特征。这极大地限制了可以在wsi上进行的比较的范围，从而极大地降低了病理学家将能够有效识别和比较不常见特征的机会。

3、因此，存在对使得病理学家和其他用户能够使用任意查询图像来查询一组全载玻片图像以识别该组全载玻片图像的相似特征或成分的系统的需求。另外，存在对促进与来自所述查询的结果相关的报告的生成和共享的工具的需求。

技术实现思路

1、在特定实施例中，一种计算机实现方法包括对全载玻片图像数据集进行索引以生成与一个或多个全载玻片图像的一个或多个相应区域相对应的一个或多个数据集嵌入。每个数据集嵌入包括将相应区域映射到特征嵌入空间的特征向量。计算机访问查询图像并且生成针对查询图像的嵌入，该嵌入包括将查询图像映射到特征嵌入空间的特征向量。计算机通过将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别结果图块。比较基于特征嵌入空间中针对查询图像的嵌入与数据集嵌入中的一者或多者之间的一个或多个距离。计算机生成包括结果图块的显示的用户界面。在一些实施例中，识别结果图块包括基于针对查询图像的嵌入来识别数据集嵌入中的一些以及检索与数据集嵌入中的一者或多者相对应的一个或多个相应区域。在一些实施例中，基于针对查询图像的嵌入来识别数据集嵌入包括识别在特征嵌入空间中针对查询图像的嵌入的阈值距离内的数据集嵌入。在实施例中，基于针对查询图像的嵌入来识别数据集嵌入包括识别基于在特征嵌入空间中与针对查询图像的嵌入的距离所排序的阈值数量的数据集嵌入。在一些实施例中，计算机接收与结果图块中的一者或多者相对应的用户输入，该用户输入包括结果图块中的一者或多者的标记。计算机接收对应于与一个或多个经标记结果图块相关联的加权的用户输入，并且基于一个或多个经标记结果图块以及对应于与一个或多个经标记结果图块相关联的加权的用户输入来生成对象过滤器。计算机基于对象过滤器的表示来增强针对查询图像的嵌入。计算机通过将用于经增强查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二组结果图块。计算机更新用户界面以显示第二组结果图块。在一些实施例中，将经生成的对象过滤器应用于一个或多个数据集嵌入包括比较特征嵌入空间中的一个或多个数据集嵌入与经生成的对象过滤器。在一些实施例中，计算机从用户装置接收用户输入以保存经生成的对象过滤器，并且将经生成的对象过滤器与针对用户装置的一个或多个用户的记录相关联地存储。在一些实施例中，计算机从用户装置接收用户输入以与一个或多个其他用户共享经生成的对象过滤器，并且将经生成的对象过滤器与针对一个或多个其他用户的记录相关联地存储。

2、在特定实施例中，对全载玻片图像数据集进行索引包括，对于一组全载玻片图像中的每一者：将全载玻片图像分割成一组图块；使用嵌入网络生成与该组图块中的每个图块相对应的将图块映射到特征嵌入空间的特征向量；以及将特征向量与对应图块和全载玻片图像相关联地存储。在特定实施例中，访问查询图像包括：从用户装置接收查询图像；接收与查询图像相对应的资源定位符或唯一标识符；或者接收全载玻片图像的区域的说明。在一些实施例中，查询图像与全载玻片图像相对应。计算机可以对与查询图像相对应的全载玻片图像进行索引，以生成与全载玻片图像的一个或多个相应区域相对应的一个或多个附加的数据集嵌入。计算机将与查询图像相对应的全载玻片图像添加到全载玻片图像数据集。在一些实施例中，计算机接收与结果图块中的一者或多者相对应的用户输入，该用户输入指示结果图块中的一者或多者与查询图像的相关性。计算机基于用户输入来修改一个或多个经指示的结果的加权。计算机通过基于经修改的加权将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二组结果图块。计算机更新用户界面以显示第二组结果图块。在实施例中，计算机接收与结果图块中的一者或多者相对应的用户输入，该用户输入指示多个结果图块中的一者或多者与查询图像的相关性。计算机计算相关搜索结果的平均嵌入。计算机通过将相关搜索结果的平均嵌入与数据集嵌入中的一者或多者进行比较来识别第二组结果图块。计算机更新用户界面以显示第二组结果图块。在一些实施例中，计算机从用户装置接收与结果图块中的第一结果图块相对应的用户输入。计算机识别与第一结果图块相对应的第一全载玻片图像，并且更新用户界面以显示第一全载玻片图像。在一些实施例中，计算机进一步识别与第一全载玻片图像或第一结果图块相关联的元数据，并且将元数据包括在包括第一全载玻片图像的显示的用户界面中。元数据可以包括关于第一结果图块、第一全载玻片图像或第一全载玻片图像的来源的信息。在一些实施例中，计算机识别与结果图块相对应的一组全载玻片图像。计算机识别全载玻片图像的一组来源。计算机更新用户界面以显示与全载玻片图像的来源相对应的信息的报告。在实施例中，与来源相对应的信息包括在来源中诊断的状况或与来源相关联的已知结果。在实施例中，计算机基于结果图块来识别在与结果图块相对应的全载玻片图像中的查询图像中捕获的一个或多个特征的相应位置，并且更新用户界面以显示经识别的相应位置的报告。

3、本文公开的实施例仅是示例，并且本公开的范围不限于此。特定实施例可以包括本文公开的实施例的部件、元件、特征、功能、操作或步骤中的全部、一些，或者不包括任何一者。根据本发明的实施例特别公开在针对方法、存储介质、系统和计算机程序产品的所附权利要求中，其中在一个权利要求类别中提及的任何特征(例如，方法)可以在另一个权利要求类别(例如，系统)中要求对其进行保护。仅出于形式原因选择所附权利要求中的从属物或引用物。但是，也可以要求保护任何因有意引用任何前述权利要求(特别是多个从属物)而产生的主题，因此无论在所附权利要求中选择的从属物如何，都可以公开并要求保护权利要求和其特征的任何组合。可以要求保护的主题不仅包括如所附权利要求中所列的特征的组合，还包括权利要求中的特征的任何其他组合，其中权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相组合。此外，可以在单独的权利要求中和/或与本文描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中，要求保护本文描述或描绘的任何实施例和特征。