完整载片图像配准和交叉图像注释设备、系统和方法
【技术领域】
[0001] 本说明书涉及用于操纵和/分析组织样品的数字化图像的设备、系统和方法。本 说明书还涉及用于相邻组织切片样品的数字化图像的集合的图像配准的设备、系统和方 法。而且，本说明书还涉及用于从邻近组织切片样品的图像集合中的一个图像向邻近组织 切片样品的图像集合中的其它图像转移注释的设备、系统和方法。
【背景技术】
[0002] 数字病理学是指数字环境中的病理学信息的管理和解释。扫描设备用于对组织切 片的载片成像，所述组织切片可以被染色，使得数字载片(例如完整载片图像)被生成。数字 病理学软件使得数字载片能够存储在计算机存储器设备中，在计算机监视器上查看，且针 对病理学信息而分析。
[0003] 所期望的是，数字病理学可以使得能够整合病理学环境的各种方面，除其他之外 诸如纸质和电子记录、临床背景信息、在先病例、图像和结果。还期望的是，数字病理学可以 实现增加的效率，除其它可能的效率之外，诸如增加的工作负荷能力、在正确的时间对正确 的病理学者的访问、病例和诊断的迅速检索、以及改进的工作流程。然而，存在对数字病理 学的广泛采用及其各种益处的前景的许多阻碍，诸如成像性能、可扩缩性和管理。
[0004] 虽然以下示出和描述了某些新颖特征，其中的一些或全部可以在权利要求中指 出，但是本公开的设备、系统和方法不意图限于所指定的细节，因为相关领域普通技术人员 将理解到，在不以任何方式脱离于本公开的精神的情况下，在所说明的实施例的形式和细 节及其操作中可以做出各种省略、修改、置换和改变。没有本文所描述的特征是关键或本质 的，除非其被明确陈述为是"关键"或"本质"的。
【发明内容】
[0005] 本公开提供了用于操纵和/或分析组织样品的数字化图像的设备、系统和方法。 例如，本公开提供了用于对应于邻近组织切片的数字载片的计算机化图像配准和/或用于 从至少一个数字载片向至少一个其它数字载片转移注释的设备、系统和方法。
[0006] 在一些实施例中，所述设备包括用于对准作为邻近组织切片的数字图像集合的一 部分的图像和/或在经对准的图像之间映射注释的计算机程序产品。该集合中的每一个图 像可以使用不同的染色剂(或标签物，以下称为"染色剂")、不同的成像模式或这二者而获 得。在一些实施例中，计算机程序产品包括具有计算机可读程序代码嵌入在其中的有形计 算机可读存储介质，计算机可读程序代码被配置成使用基于匹配组织结构的图像配准过程 (即，涉及例如将不同集合的数据变换到一个坐标系统中的过程）对准该集合中的所选数字 图像，导致经对准的数字图像的集合；并且计算机可读程序代码还可以被配置成将注释从 经对准的数字图像的集合中的至少一个数字图像转移到经对准的图像的集合中的至少另 一个数字图像。在其它实施例中，计算机程序产品包括具有计算机可读程序代码嵌入在其 中的有形计算机可读存储介质，计算机可读程序代码被配置成使用基于匹配组织结构的图 像配准过程来对准来自邻近组织切片的数字图像集合的第一数字图像和来自该集合的第 二数字图像，导致经对准的图像对；并且计算机可读程序代码还可以被配置成将注释从经 对准的对中的第一或第二数字图像中的一个转移到经对准的对中的第一或第二数字图像 中的另一个。
[0007] 在另外的实施例中，匹配组织结构涉及计算用于邻近组织切片的数字图像集合中 的所选图像中的每一个的软加权前景图像(例如，计算用于第一和第二数字图像中的每一 个的软加权前景图像)，提取用于每一个结果得到的前景数字图像的二值组织边缘图(例如 用于第一和第二前景数字图像中的每一个)，以及基于组织边缘图计算全局变换参数(例如 基于第一和第二组织边缘图）。在另外的实施例中，匹配组织结构还涉及基于全局变换参数 将至少部分原始选择的图像(例如，第一图像和第二图像）映射到公共网格。在另外的实施 例中，公共网格的中心与前景图像的中心重合。
[0008] 在其它实施例中，转移注释包括基于公共网格(其在一些实施例中可以是诸如目 标图像之类的特定图像的网格）将注释从至少一个经对准的图像(例如从第一图像或源图 像）映射到至少另一个经对准的图像(例如第二图像或目标图像）上的对应位置。在另外的 实施例中，转移注释还包括基于细配准过程细化所转移的注释的位置。在另外的实施例中， 细配准过程包括识别源图像(例如经对准的图像对的第一图像）中的原始注释周围的窗口， 识别目标图像(例如经对准的图像对的第二图像）中的对应位置中的第二但更大的窗口，以 及在第二窗口内迭代地移位对应于第一窗口的第三窗口并且识别用于第三窗口的最优位 置。在另外的实施例中，识别最优位置基于距离变换和成本函数计算。
[0009] 在一些实施例中，所述系统包括处理器；包含供处理器执行的指令的存储器，所述 指令如果由处理器执行则提供以下结果：基于组织结构对准第一图像和第二图像，其中第 一图像和第二图像是邻近组织切片的图像集合的一部分，并且其中该集合中的每一个图像 可以使用不同的染色剂、不同的成像模式或这二者而制备；和/或将至少第一图像或第二 图像中的一个上的注释(例如预存在的注释和/或用户标记的注释)复制在至少第一图像或 第二图像中的另一个上；用于触发处理器执行指令的客户端用户接口；以及用于显示客户 端用户接口、图像、结果或其组合的监视器。在一些实施例中，所述系统被实现在计算机工 作站上。在一些实施例中，所述系统是使用计算机网络来实现的。
[0010] 在一些实施例中，所述方法包括图像配准过程，其涉及从邻近组织切片的数字图 像集合选择图像以及使用基于组织匹配的配准过程对准所选图像。每一个数字图像可以使 用相比于该集合中的另一数字图像而言不同的染色剂、不同的成像模式或这二者而获得。 在另外的实施例中，图像配准过程包括：从单个患者的邻近组织切片的数字图像集合选择 第一组织切片的第一数字图像；从该集合选择第二组织切片的第二数字图像；以及基于第 一数字图像和第二数字图像之间的匹配组织结构执行配准过程。在一些实施例中，配准过 程包括粗配准模式。在一些实施例中，配准过程还包括细配准模式。
[0011] 在一些实施例中，粗配准模式涉及从第一数字图像生成第一灰度级组织前景图 像，从第二数字图像生成第二灰度级组织前景图像，从第一灰度级前景图像计算第一组织 二值边缘图，从第二灰度级前景图像计算第二组织二值边缘图，计算全局变换参数以对准 第一二值组织边缘图和第二二值组织边缘图，以及基于全局变换参数将第一数字图像和第 二数字图像映射到公共网格。在另外的实施例中，计算全局变换参数包括使用基于矩的映 射方法生成第一组织二值边缘图和第二组织二值边缘图之间的仿射映射。在一些实施例 中，细配准过程包括注释第一数字图像，将公共网格上的注释映射到第二数字图像上的对 应位置，以及基于二值组织边缘图使用倒角（Chamfer)距离映射更新第二图像上的注释的 位置。
[0012] 在一些实施例中，所述方法是用于将注释从来自邻近组织切片的数字图像集合的 第一数字图像映射到该集合中的第二数字图像的方法。在一些实施例中，所述方法涉及选 择已经对准的数字图像对，如果没有所选图像之前已经被注释则注释该对中的一个数字图 像(或者可选地，如果图像之前已经被注释则进一步注释图像)，以及向该对中的另一数字 图像转移注释。在一些实施例中，该映射方法涉及从邻近组织切片的数字图像集合选择第 一图像，从该集合选择第二图像，指令计算机处理器执行指令，导致使用基于匹配组织结构 的粗配准过程在公共网格上将第一图像与第二图像对准，例如如本文进一步描述的那样， 如果第一图像尚未被注释则注释第一图像(或者可选地，如果第一图像已经被注释则进一 步注释第一图像)，以及指令计算机处理器向第二图像转移注释。在一些实施例中，转移注 释自动发生，且可以与初始配准过程(例如粗配准过程）基本上同时发生，如果要配准的该 对中的图像已经被注释的话，或者其可以与注释第一图像基本上同时发生。在一些实施例 中，转移注释发生在第一和第二图像已经被对准之后。在一些实施例中，转移注释还包括基 于细配准过程调整第二图像上的注释的位置，例如如本文进一步描述的那样。在本发明的 一些实施例中，存在于第一图像上的注释(例如，与同计算机相关联的存储器中的图像相关 联的绘图或笔记)被自动映射到第二图像。在本发明的一些实施例中，用户经由计算机接口 或程序(例如图像查看器软件应用）手动调整由计算机处理器转移的注释的位置、尺寸和形 状中的至少一个。
[0013] 虽然本公开提供了某些特定实施例，但是本发明不限于那些实施例。本领域普通 技术人员将从本文的描述中领会到，可以对所描述的实施例做出修改，并且因此，说明书在 范围上比所描述的实施例更宽。所有示例因此是非限制性的。
【附图说明】
[0014]图1是其中可实现根据本公开的设备、系统和方法的医学成像工作站系统的实施 例的远景图不。
[0015]图2是图示了其中可实现根据本公开的设备、系统和方法的联网系统的实施例的 网络图。
[0016] 图3是由交互式菜单条和窗口组成的主屏幕的屏幕截图，该主屏幕可以是与依照 本公开的图像分析程序的实施例相关联的窗口式图形客户端用户接口的一部分。
[0017] 图4是有不同的菜单选项被选择的图3的主屏幕的另一屏幕截图。
[0018]图5是有又一菜单选项被高亮的图3的主屏幕的另一屏幕截图。
[0019] 图6是注释模块GUI的实施例的屏幕截图，其中可以查看和注释数字载片，并且其 可以从图3的主屏幕启动。
[0020] 图7是在已经注释了数字载片之后图6的注释模块⑶I的另一屏幕截图。
[0021] 图8是在执行图像配准之后图5的屏幕的另一屏幕截图。
[0022] 图9是注释模块GUI的屏幕截图，在所图示的实施例中该屏幕在已经执行了配准 之后自动打开。
[0023] 图10是图9的注释模块GUI的另一屏幕截图，其显示用于经配准的图像的对的期 望视场（"F0V")。
[0024] 图11是当用户选择图8中所示的主屏幕的图像配准标签之下的显示按钮310时 打开的窗口的屏幕截图。
[0025]图12是图示了依照本公开的由图像分析软件程序实施的方法的实施例的流程 图。
[0026]图13图示了依照本公开的可作为图像分析程序的一部分的粗配准过程的实施例 的基本步骤。
[0027] 图14图示了图13的粗配准过程的实施例的基本步骤之一的进一步细节。
[0028] 图15图示了HE图像及其对应的软加权前景图像。
[0029] 图16图示了用于图15的H通道图像的图14的软加权过程的实施例。
[0030] 图I7a-C图示了IHC图像及其对应的软加权前景图像，以及图13的粗配准过程的 实施例的基本步骤之一的细节。
[0031] 图18图示了用于图I7a-C的IHC图像的图14的软加权过程的实施例。
[0032] 图19图示了软加权前景HE图像及其对应的边缘图，以及软加权前景IHC图像及 其对应的边缘图。
[0033] 图20图示了经变换的HE边缘图。
[0034]图21是与八个变换条件中的每一个有关的倒角距离值的曲线图的示例。
[0035] 图22图示了已经使用已依照本公开的实施例计算的全局变换参数在公共网格上 对准的HE图像和IHC图像。
[0036] 图23图示了仅在根据本公开的粗配准过程之后将注释从第一图像映射到第二图 像的结果。
[0037] 图24图示了依照本公开的细配准过程的实施例的初始步骤。
[0038] 图25图示了图24的细配准过程的附加步骤。
【具体实施方式】
[0039] 本文提供一个或多个实施例的详细描述。然而，要理解的是，根据本公开的设备、 系统和方法可以以各种形式体现。因此，本文所公开的特定细节不要被解释为是限制性的， 而是作为用于权利要求和用于教导本领域技术人员以任何适当的方式采用本设备、系统和 方法的代表性基础。
[0040] 除非以其它方式限定，否则本文所使用的所有技术和科学术语具有与本公开所属 领域普通技术人员通常理解的相同含义。在存在用于本文的术语的多个定义的情况下，除 非以其它方式陈述，否则本章节中的那些占优势。
[0041] 无论本文在哪里使用短语"例如"、"诸如"、"包括"等，都要理解到后面跟随有短语 "并且没有限制"，除非以其它方式明确陈述。类似地，"示例"、"示例性"等要理解成是非限 制性的。
[0042] 术语"基本上"允许不负面地影响所意图的目的的从描述符的偏离。描