用于辅助病理学家标识放大的组织图像中的肿瘤细胞的方法和系统与流程

本公开总体上涉及数字病理学领域，并且更具体地，涉及用于在标识组织(例如是淋巴结组织，或者是从活检获得的乳腺或前列腺癌组织)的放大的数字图像中的肿瘤细胞(即癌症)的存在方面辅助病理学家的方法和系统。

背景技术：

淋巴结转移的评估对包括乳腺癌在内的许多类型的实体瘤的分期至关重要。该过程需要高度熟练的病理学家，并且相当耗时且易于出错，尤其是对于癌症是阴性或具有较小的癌症病灶的淋巴结。目前的护理标准包括核查已利用苏木精和伊红(hematoxylinandeosin，h&e)染色的淋巴结活检的数字载玻片。然而，存在手动读取固有的几个局限性(包括读者疲劳、以及分级内和分级间的可靠性)，这些局限性都会对过程的敏感性产生负面影响。淋巴结活检载玻片的准确检查和评估是非常重要的，因为淋巴结组织中的肿瘤细胞的存在可以保证对癌症进行新的或更积极的治疗，并提高患者的生存机会。

现有技术包括将深度学习技术和经训练的神经网络适配于数字组织图像的场景以便改进癌症诊断、表征和/或分期的描述。相关背景技术包括以下文章：g.litjens等人，《深度学习作为用于提高组织病理学诊断准确度和效率的工具》，www.nature.com/scientificreports6:26286(2016年5月)；d.王等人，《用于标识转移性乳腺癌的深度学习》，arxiv:1606.05718v1(2016年6月)；a.madabhushi等人，《数字病理学中的图像分析和机器学习：挑战与机遇》，《医学图像分析》33p170-175(2016)；a.schuamberg等人，《h&e染色整体载玻片深度学习预测前列腺癌中的spop突变状态》，biorxiv预印本http:/.biorxiv.or/content/early/2016/07/17/064279。

技术实现要素：

在一个方面中，描述了一种用于分析组织活检的方法。该方法包括以下步骤：(a)接收表示来自组织活检的组织的图像数据，该图像数据以第一放大率获得；(b)将图像数据细分成多个图块，每个图块包括表示来自组织活检的组织的相应部分的图像数据的一部分；以及(c)对于这些图块中的每一个，确定恶性肿瘤可能性得分，其中通过使用深度神经网络模式识别器的集合来处理图块，并组合深度神经网络模式识别器中的每一个的输出来获得得分，其中深度神经网络模式识别器的集合被布置为以包括第一放大率和第二放大率的多个放大率水平来处理图块。

在另外的方面中，公开了一种用于在标识从活检中获得的组织的放大的数字图像中的肿瘤细胞的存在方面辅助病理学家的方法。将组织固定在载玻片上，染色(例如，利用h&e)并通过数字载玻片扫描仪扫描。该方法包括以载玻片的第一放大率(例如40x)获得数字图像。然后，数字图像被分成多个“图块”。每个图块是来自数字图像的像素的二维阵列(例如，正方形或矩形)，例如，128×128或299×299像素。因此，每个图块是表示来自组织活检的组织的相应部分的图像数据的一部分。

然后针对每个图块确定恶性肿瘤可能性得分。通过使用深度神经网络模式识别器的集合来分析包括图块的数字图像中的像素数据(例如，以图块为中心并包括图块的像素数据)而获得该得分。包括图块的像素数据由集合在包括以图块为中心或包含图块的第一放大率(例如40x)和第二放大率(例如20x))的多个放大率水平下分析。在一个实施例中，像素数据由集合以四种不同的放大率(包括5x、10x、20x以及40x)分析。用于第二放大率(以及可选的附加的放大率)的像素数据可以从载玻片的第二或(多个)附加的扫描获得，或者从原始数字载玻片图像数据的下采样或上采样获得。集合中的每个成员生成输出(例如，得分)，并且这些输出都被组合以生成图块的总输出或得分。下面详细描述了组合输出的各种方法，包括计算平均值、中值或加权平均值，或者在使用卷积神经网络的情况下组合输出。

针对用户生成载玻片的表示，例如，显示在病理学家使用的工作站显示器上。这个表示在以下公开内容中被描述为“热图”。基本上，在热图表示中，根据(1)由深度神经网络模式识别器的集合分配给图块的恶性肿瘤可能性得分，以及(2)将不同的颜色(或等同的灰度值)分配给已被分配给图块的恶性肿瘤可能性得分的不同值的代码(例如键或其他分配机制)，给每个图块分配颜色(或者其他可替代的和等同表示，诸如灰度程度)。例如，具有指示肿瘤细胞存在的高可能性的最高得分的那些区域(图块)示出为红色区域，并且具有最低得分、肿瘤细胞存在的可能性低的区域(图块)示出为蓝色或黑色。这些热图表示有助于将病理学家引导到载玻片的特定区域以研究肿瘤细胞的存在。在一个实施例中，热图表示伴随有感兴趣区域的列表(例如，按大小排序)。

在本公开的另一方面中，描述了被编程为机器的计算机系统，该机器用于在评估包含组织(诸如淋巴结或前列腺组织)的放大的数字载玻片图像中的肿瘤细胞存在的可能性方面辅助病理学家。可以采用单一编程的计算机或几个计算机的网络的形式的计算机系统呈现为深度神经网络模式识别器的集合的形式，该集合中的每一个在特定和不同放大率水平下在组织的多个数字载玻片图像(包括良性组织的载玻片和包含肿瘤细胞的载玻片)上被训练。集合中的每个成员以用于包含组织的数字载玻片(即病理学家正在研究的特定患者的载玻片)的图块的恶性肿瘤可能性得分的形式生成输出。组合集合中的每个成员的输出，以生成图块的总体恶性肿瘤可能性得分。

在又一方面中，公开了一种用于在标识从活检获得的组织中的肿瘤细胞方面辅助使用者(例如病理学家)的系统。该系统包括工作站，该工作站被配置为显示包含组织的载玻片的放大的数字图像。该系统进一步包括软件系统的应用编程接口(applicationprogramminginterface，api)，该软件系统被配置为深度神经网络模式识别器的集合，每个深度神经网络模式识别器在包括淋巴结组织的多个数字载玻片图像的训练集上以数字载玻片图像的特定且不同的放大率水平训练。软件系统进一步被配置为将数字图像细分成多个图块，每个图块呈二维像素阵列(诸如矩形或正方形)的形式。该软件系统进一步被配置为用于针对每个图块确定恶性肿瘤可能性得分，其中通过使用深度神经网络模式识别器的集合分析包括图块的数字图像中的像素数据来获得该得分。工作站进一步被配置为在显示器上呈现载玻片的表示，其中，根据(1)由深度神经网络模式识别器的集合的输出的组合分配给图块的恶性肿瘤可能性得分，以及(2)将不同的颜色(或等同地灰度值)分配给被分配给图块的恶性肿瘤可能性得分的不同值的代码(例如键或其他分配机制)，来给每个图块分配颜色或者等同物(例如灰度值)。

附图说明

图1a示出了包含利用h&e染色的淋巴结组织的载玻片的放大的数字图像。图1b是图1a的载玻片图像的地面实况图像或掩模，其中呈白色的区域指示存在肿瘤细胞的区域，并且呈黑色的区域指示不存在肿瘤细胞的区域。图1c是图1a的载玻片的热图图像。呈红色的区域(由附图标记24指示)是相应的图块具有指示高肿瘤细胞概率的高得分的区域，而蓝色区域(由附图标记26指示)是图块具有指示低肿瘤细胞概率的低得分的区域。要注意的是，图1c中的呈红色的区域对应于图1b中的白色(肿瘤)区域。

图2是用于基于由深度神经网络模式识别器的集合生成的肿瘤概率得分来给图块分配颜色的代码或键的详细图示。如果将灰度而不是颜色用于热图，则将使用类似的键。

图3是示出用于生成图1c的热图的过程和软件架构的流程图。

图4是图1a的载玻片图像的详细视图，其示出了将图像分成多个图块，图块中的一个被隔离示出，以展示40x下的细胞细节。图4中没有按比例示出图块。

图5是被用于针对图4的每个图块生成得分的深度神经网络模式识别器的集合的框图。图5的集合可以被认为是软件系统，该软件系统可以驻留在病理学家工作站上，或者可以可替代地驻留在局域网或广域网中的一个或多个计算机上。

图6是我们已经在2016年4月至2017年1月期间开发的在图3中所示方法的肿瘤检测准确度的曲线图。

图7是在工作站的病理学家使用图1c的热图以帮助标识淋巴结组织中的肿瘤细胞的图示。

具体实施方式

概述和方法

在一个方面中，本公开内容涉及一种用于在标识放大的数字组织图像中的肿瘤细胞的存在方面辅助病理学家的方法。下面的讨论将主要是在标识淋巴结活检中的肿瘤细胞的场景下进行的，然而该系统的架构和通用方法的性能对于其他类型的组织是相同的(例如，检测前列腺或乳腺癌组织中的肿瘤细胞)。唯一的区别在于，用于训练图5的模式识别器的训练载玻片可以从与感兴趣组织密切相关的特定组织载玻片集中选择。

无论如何，要分析的组织被固定在载玻片上，染色并通过数字载玻片扫描仪扫描。用于染色载玻片的数字全载玻片扫描仪和系统在本领域中是已知的。这种设备和相关系统可从aperio科技有限公司、浜松光电公司(hamamatsuphotonics)、ventana医疗系统有限公司和其他公司获得。可以以第一放大率级别(例如40x)获得数字图像，这是常规的。通过在显示器上向病理学家呈现“热图”图像来实现辅助病理学家的目标，其中载玻片的具有含有肿瘤细胞的高概率的离散区域(即图块)以特定颜色(例如深红色)指示，而具有包含肿瘤细胞的相对低概率的区域以对比色(例如蓝色或紫色)表示。热图图像可以伴随有例如10个不同区域的列表，其中存在具有包含肿瘤细胞的高概率的细胞群。病理学家被这样引导或鼓励检查以红色突出显示的区域或感兴趣区域列表中的区域，并且因此病理学家不会遗漏含有肿瘤细胞的区域的可能性将增加。

图1a示出了包含利用h&e染色的淋巴结组织12的载玻片的放大的数字图像10。在这样的图像中，图像的哪些区域具有包含肿瘤细胞的高可能性并不是直接明显的或显而易见的。图1b是图1a的载玻片图像的地面实况图像14或掩模，其中呈白色的区域16指示存在肿瘤细胞的区域，并且呈黑色的区域18指示不存在肿瘤细胞的区域，这在此提供是为了图示，但实际上对患者活检的给定载玻片可以不产生。这个地面实况图像可以根据使用免疫组织化学染色和由病理学家进行的分析获得。图1c是图1a的载玻片的表示或热图图像20，一般种类的表示或热图图像20将根据本公开显示在病理学家工作站上，参见下面的图7。呈红色的区域(由附图标记24指示)是相应的图块具有指示高肿瘤细胞概率的高得分的区域，而呈蓝色或紫色的区域(由附图标记26指示)是图块具有指示包含肿瘤细胞的低概率的低得分的区域。要注意的是，图1b的白色区域16基本上对应于图1c的呈红色的区域(24)，这指示图1c的热图20的红色区域24正确地标识了包含肿瘤细胞的区域。类似地，图1c的蓝色或紫色区域26对应于图1b的黑色区域18，这指示图块具有低得分的区域实际上不包含肿瘤细胞。

图1c还示出了代码或键22，该代码或键将颜色(或等同地灰度值)与被分配给在图像中的图块的得分相关。代码或键22在图2中更详细地示出。数字载玻片图像中每个图块的得分范围从0.0到1.0。具有最高得分的热图20的区域示出为深红色，而具有最低得分的区域示出为紫色。图2的代码基本上使用可见光谱(即彩虹的颜色)来给肿瘤概率得分分配颜色。然而，可能只使用可见光谱的一部分。而且，在不太优选的可替代的实施例中，只有灰度程度可以用于代码，例如，其中白色对应于得分0，黑色对应于得分1，而灰度程度构成0和1之间的值。

现在将结合图3解释生成图1c的热图20的方法。在步骤100，任选地在常规的组织块中，从患者处获得潜在包含癌细胞的组织(例如淋巴结组织)的活检，并且将其福尔马林固定并石蜡包埋。在步骤102，组织块被切片、利用h&e染色、并被放置在透明玻璃载玻片上。在步骤104，由整个载玻片数字载玻片扫描仪对载玻片进行数字扫描。在步骤106，这种扫描产生以40x扫描的载玻片的数字化图像。载玻片图像被细分成多个矩形图块，诸如～12000左右。每个载玻片的图块数量范围可以从从10000到400000。在一个实施例中，每个图块呈128×128像素或299×299像素的正方形的形式。图块不必是正方形的，并且也可以使用其他二维构型，诸如矩形。图4示出了扫描的淋巴结组织图像10和多个图块200，这些图块中的一个是在图4中隔离示出，从而示出了在40x下的细胞细节。没有按比例示出图块。

然后在108，数字图像被计算机和软件系统访问或被提交给计算机和软件系统。作为概述，系统108是基于机器学习的软件设备，其辅助病理学家评估组织样本中肿瘤细胞的存在，这些组织样本已经被福尔马林固定、石蜡包埋、利用苏木精和伊红(h&e)染色。基本上，在一个实施例中，该系统包括三个软件组件，即包括为每个图块提供图像质量评估的第一组件110、基于每个图块计算0到1之间的恶性肿瘤可能性得分的第二组件112、以及将所有图块组合成表示或热图(20，参见图1c)用于在病理学家的工作站或设备上向他们显示的第三组件，该表示或热图包括基于转移的大小的潜在感兴趣区域的排序列表。

图像质量评估110

系统108的这个组件分析每个图块，以确定图像是否具有可以对其进行分级的足够的质量。这个组件110针对图像中的每个图块返回以下中的一个作为图像质量的指示符：可分级，意味着图块具有足以由软件组件112分析的质量，或者不可分级，意味着图块不具有足以由软件组件112分析的图像质量。如果返回“不可分级”，则可以指示用户重新扫描整个载玻片，或者发送图像图块以便有资格的病理学家进行评测。在具有用于图2的代码或键的颜色的实施例中，不可分级的图块将在热图中被颜色编码为灰色。

也可以手动执行质量控制，例如，通过使人类评估者标记不可分级的图块或具有质量控制问题的图块区域/群组。

软件组件110中的图像质量评估的性能优选地由经训练的模式识别神经网络或其他分类模型来执行。为了开发这样的模型，人类评估者(病理学家)确定在h&e染色的活检训练载玻片的集合中的哪些图块是可分级的或不可分级的，并且所得到的类别标记图块被用作用于模式识别神经网络或其他分类模型的训练集。进一步设想的是，这种分类模型或经训练的神经网络可以以多头模型的形式添加到图5的经训练的模式识别器的集合中，该多头模型将预测图像图块的可分级性。

可选地，108的系统包括自动质量控制模块，该模块评测整个载玻片图像的可分级性(例如，载玻片上墨水或其他污垢的存在，或者评测整个载玻片是否离焦等)。这样的qc模块可以类似地被生成为根据类别标记的训练载玻片训练的神经网络或分类模型。

肿瘤细胞的可能性得分软件组件112

软件组件112评测每个像素图块，并为每个图块生成从0到1之间的恶性肿瘤可能性得分(即，在图块中存在肿瘤细胞的可能性)。

由组件112使用的核心预测算法是使用深度卷积神经网络方法来开发的，以从大量的训练组织图像(在这种情况下是淋巴结组织图像)的训练集中辨别高水平的模式和特征。在图5的描述中提供了对这种开发方法的进一步讨论。在优选的实施例中，深度神经网络模式识别器的集合的每个成员分析图块(包括一些周围像素)的像素信息，并生成0到1之间的概率得分。每个成员在像素的图块上操作，但是在不同放大率水平下。优选地，在集合中有四个这样的成员。例如，一个成员以40x放大率在128×128图块上操作。另一成员在128×128图块上操作，但是在20x放大率下(以在40x下的128×128图块为中心或包含该图块)。第三个成员在128×128图块上操作，但是在10x(同样，以在40x下的128×128图块为中心或包含该图块)。第四个成员以5x在128×128图块上操作(同样，以在40x下的128×128图块为中心或包含该图块)。然后，以下面结合图5的描述进行描述的方式，组合四个模式识别器的输出。

为了获得不同放大率下的输入图块，40x下的原始像素数据被缩小或重采样到相应的放大率。在原始输入图像为20x的情况下，我们对图像进行上采样以从中创建其的40x图像，并对20x图像进行下采样以获得10x和5x图像。还可能获得载玻片的四个不同的数字图像，在5x、10x、20x以及40x下各一个，从而避免了需要对图像进行下采样或上采样。

使用以在40x下的给定像素图块为中心或包含该在40x下的给定像素图块的不同放大率下的深度神经网络模式识别器的集合的优点在于，在以任何给定放大率水平(例如40x)操作的模式识别器中，在组织图像中存在未完全显露或难以准确找到的结构或特征。模块112中的模式识别器的整体灵敏度和性能通过在至少两种不同的放大倍率下，并且如这里所述优选地在至少四种不同的倍率下执行模式识别来增强。进行这种增强使得该算法能够以不同的放大率识别不同的形态学特征或细胞特征，使得最终的预测反映了将细节以及场景考虑在内的、组织的综合图片或分析。当载玻片图像的训练集的大小变得足够大时，更加显著地发现这个优点。另外，使用以不同放大率训练的模式识别器对于其他癌症类型是重要的，例如在前列腺癌中，我们知道整体组织形态是非常重要的，而不仅仅是细胞核的外观。

仍然参考图3，在组件112中，从集合的每个成员的输出生成40x下的128×128像素图块的最终得分或集合得分，诸如由集合的每个成员(306a、306b、306c、306d)生成的得分的平均值。每个最终得分或集合得分与(每个图2的键或代码的)不同的颜色相关联，并且图块被组合以生成热图20(也参见图1c)。得分>0.9意味着得分算法已经确定图块具有有癌症细胞的最高可能性。得分为0.1-0.9意味着该算法没有关于转移的存在的足够高的置信度。这通常发生在隔离的肿瘤细胞的情况下。得分≤0.1意味着算法已经确定图块可能是正常的。在热图中，图2的代码或键用于将得分转换成热图表示中的颜色。当然，在可替代的实施例中，得分的其他分级标度或解释也是可能的。

热图20的表示优选地进一步包括前10个感兴趣区域的列表。这是病理学家检查的最“怀疑”的10个区域的列表。这个列表根据区域的大小(如通过区域的最长尺寸测量的那样)进行排序，并将其示出给病理学家。在热图中生成十字准线，以近似每个感兴趣区域的中心。原始数字化图像(参见图1a)与热图并排显示。该软件提示用户仔细检查所有10个感兴趣区域，以以多个缩放级别评估转移。然后，用户也可以使用卡尺工具来确认区域的大小。

为了生成感兴趣区域的列表，将0.9的阈值应用于图像，以生成具有得分≥0.9和<0.9的区块的掩模。该掩模在所有方向上扩张37.5微米，使得在彼此75微米内的阳性(positive)区块被认为是连续的。然后，软件计算最大尺寸(直径)并标记每个连续区域的中心，并且按最大尺寸的顺序生成多达10个区域的列表。

如果提供少于10个的区域，则然后将阈值0.5应用于图像，以生成具有得分≥0.5和<0.5的图块的另一二元掩模。该掩模再次在所有方向上扩张37.5微米，使得在彼此的75微米内的阳性图块被认为是连续的。然后，软件计算最大尺寸(直径)并标记每个连续区域的中心，并且生成附加的感兴趣区域，直到提供最大10个感兴趣区域。

如果提供少于10个的区域，那么对于得分≥0.1，再次重复这个过程。区域的数量(10)当然可以变化，并且这不是特别要求的。我们已经表明，对于肿瘤定位，我们对每个载玻片平均有8个假阳性具有约94％的灵敏度(而人类能力在100％的特异性的情况下处于73％的灵敏度)，因此10个区域是向用户呈现的感兴趣区域的合理数量。

然后提示病理学家查看感兴趣区域的排序列表。病理学家也可以随时切换回来看全热图。如果病理学家已经看了感兴趣区的排序列表，则认为该载玻片已被查看。在查看后，病理学家将被提示输入载玻片的最终结果。

深度神经网络模式识别器306的集合(图5)

图5是深度卷积神经网络模式识别器306a、306b、306c、306d的集合300和模块310的框图，该模块组合来自每个模式识别器的输出以生成图4的图块中的每一个的最终得分或集合得分。图5的集合可以被认为是软件系统，该软件系统可以驻留在病理学家工作站上，或者可以可替代地驻留在局域网或广域网中的一个或多个计算机上，在这种情况下，工作站包括集合300的应用编程接口。

该集合是使用深度神经网络方法开发的。具体而言，使用和修改基于谷歌的inception-v3(也称为googlelenet)的卷积神经网络模型，以在没有显式特征工程的情况下对图像图块中的异常组织进行分类。对于淋巴结癌症细胞实施例，开发数据集由来自独特的淋巴结样本的269个数字化载玻片组成，其由159个正常载玻片和存在肿瘤细胞的110个载玻片组成。我们用于训练的载玻片图像源包括加利福尼亚州圣地亚哥的海军医学中心(navalmedicalcenter，nmcsd)和公众可获得的来源，诸如来自camelyon16挑战赛和癌症基因组图谱。肿瘤区域的掩模(参见图1b)是使用细胞角蛋白的免疫组织化学(immunohistochemical，ihc)染色和由病理学家对h&e染色的视觉检查的组合而生成的。(应当理解的是，在其他类型组织中识别肿瘤细胞的开发集可以利用附加的或不同的开发集，诸如通过在40x下扫描和数字化活检获得的正常前列腺组织和癌前列腺组织的一组300张数字载玻片)。

四个不同的网络(306a、306b、306c、306c)被训练成对应于5x、10x、20x以及40x放大率。对于每个网络，单一完整的载玻片图像被平铺成299×299像素图像图块，参见302a、302b、302c以及302d，一个处于40x，一个处于20x，一个处于10x，一个处于5x。集合中的每个成员具有处于各自的放大率水平(例如，如302处所示的以128×128图块为中心的299×299像素正方形)的其自身的输入304a、304b、304c、304d(即128×128图块的像素数据加上周围的像素数据)。然后，每个网络306a、306b、306c、306d被训练成基于共享与128像素正方形图块相同的中心点的较大的299像素正方形来预测中心的128像素正方形图块是否包含肿瘤细胞。这个较大的299×299像素正方形在302示出，并且在图5的顶部以围绕128×128图块200的虚线示出。每个网络306a、306b、306c、306d以0和1之间的得分形式生成其自己的输出308a、308b、308c、308d。

在0与1之间的得分通常被生成为呈多项式逻辑回归形式的神经网络模式识别器306a、306b、306c、306d的最后一层，该最后一层以0与1之间的概率的形式生成输入数据(图块)属于哪种类别(这里为健康的和肿瘤的)的预测。多项式逻辑回归在监督学习和优化领域是众所周知的，并且有时被称为“softmax回归”。在网上可找到教程，http://ufldl.stanford.edu/tutorial/supervised/softmaxregression/提供了进一步的细节，其通过引用结合于此。

然后，在模块310中组合模式识别器306a至306d中的每一个的输出308a至308d。在一个实施例中，跨集合对每个位置处的预测进行平均，以生成在40x下的128像素乘128像素图像图块对于转移来说是阳性的可能性的0到1之间的平均得分。作为集合输出312，图块的集合得分或平均得分然后根据代码或键22被转换成颜色(或灰度)(图2)。这个过程对图像中的每个图块200(参见图4)和被表示为热图的图块的总体聚集(参见图1c)进行，并被提供用于在病理学家工作站上显示。

图5中的模块“集合平均”310可以以多种方式实施。这些方式包括：

1.根据模式识别器输出308a至308d来计算中值得分的代码。

2.对模式识别器输出308a中308d计算简单线性平均的代码。

3.对预测得分计算加权线性平均的代码，其中学习每个模式识别器(也称为“塔”)的相对权重，并且该相对权重表示对特定模式识别器的“投票”或得分的置信度。例如，在一些类型的组织中，在模型的训练和开发过程中，可以发现以特定放大率水平(例如，5x)对输入图块进行操作的模式识别器可以比以其他放大率操作的其他模式识别器以更高的精度(例如，由假阳性或假阴性率确定)执行。可以学习各个模式识别器的这些性能度量，并且可以获得表示得分方面的置信度的相对权重，并将其用于对预测得分计算加权线性平均值。

4.实施卷积神经网络(convolutionalneuralnetwork，“cnn”)的代码。如果训练集足够大，则我们相信这种方法可能是最有效和最普遍的一个方法。在另外的细节中，这个另一卷积神经网络的输入是每个模式识别器306的矩阵。具体而言，一个选择是为n个模式识别器中的每一个获取整个热图(由载玻片中的每个图块的得分阵列组成的矩阵)并且使得cnn使用那些n个热图作为输入以输出一个组合的热图。对此更一般的方法是，输入热图不仅是每个图块的一维概率矩阵，而且也是每个图块的较高维特征向量，例如在每个相应的模式识别器306中的逻辑回归层之前的模式识别器中的cnn的最后一层。“深度级联”是将n个一维热图叠加成1个n维热图作为cnn的输入的一种方式。

要注意的是，图5中的模型训练利用图块周围的像素数据来生成得分。例如，在周围组织的场景中分析图块200(例如，128×128像素)，由此图块位于299×299区域内，例如在299×299区域中居中。类似地，在给定组织图像的图块得分的生成期间，在为那个图块分配最终预测或得分的同时，模式识别器使用如上所解释的周围像素数据来确定128×128像素图块的得分。明显地，在载玻片图像的最末端边缘，附加像素数据仅在图块的三个侧面上可用，而在拐角处仅在图块的两个边处缘可用。在任何情况下，每个给定的像素图块是在相邻或周围像素的较大的场景中分析的。

在图5的306a至306d中使用的类型的深度卷积神经网络模式识别器在模式识别和机器视觉领域中是众所周知的，并且因此为了简洁起见省略了其详细描述。科学文献中描述了当前模式识别器所基于的inception-v3深度卷积神经网络架构。参见以下参考文献，其内容通过引用结合于此：c.塞格迪等人，《深入了解卷积》，arxiv:1409.4842[cs.cv](2014年9月)；c.塞格迪等人，《对计算机视觉初始架构的再思考》，arxiv:1512.00567[cs.cv](2015年12月)；另参见塞格迪等人的于2015年8月28日提交的美国专利申请序列号14/839,452“使用深度神经网络处理图像”。被称为inception-v4的第四代被认为是模式识别器306的可替代的架构。参见c.塞格迪等人的《inception-v4，inception-resnet和残差连接对学习的影响》，arxiv:1602.0761[cs.cv](2016年2月)。另参见于2016年12月30日提交的美国专利申请序列号15/395,530“图像分类神经网络”。这些论文和专利申请中对卷积神经网络的描述通过引用结合于此。

附加地，本文件的背景部分提到的卷积神经网络为图5的模式识别器306a至d的架构呈现了替代性方案。

提高鲁棒性和避免过度拟合的技术

在图5的模式识别器的训练期间，为了提高得分算法的鲁棒性并避免训练数据的过度拟合，对训练载玻片执行图像增强技术被认为是优选的。这些增强技术包括执行以下操作中的至少一个，优选地执行以下操作中的所有操作：

1)通过扭曲局部地对图像进行几何扰动(模拟局部组织扩张和压缩以及其他形态变化)；

2)扰动图像颜色统计(例如色调、饱和度、强度或亮度)。我们使用tensorflow的图像库(tensorflow.cimage.random_x)来扰动颜色：具有64/255的最大增量的明亮度、具有0.25的最大增量的饱和度、具有0.25的最大增量为色调以及具有0.75的最大增量的对比度。

3)标准化图像颜色统计(白平衡、对比度等)，例如使所有图像看起来好像它们由一个标准化的扫描仪模型扫描。这是相对常见的技术(例如，p.leo等人《评测扫描仪和染色变化中组织形态计量学特征的稳定性：根据整个载玻片图像进行前列腺癌诊断》，医学影像学杂志，2016年10月3日(4):047502；b.bejnordi等人《全载玻片组织病理学图像的染色特异性标准化》，医学成像的ieee事务，vo.35no2p.404-415，2016年2月)。然而，与大多数现有技术相比，我们执行标准化而不需要分割细胞核和基质——通常做这个是为了分离颜色分布的紫色和粉红色部分。

图像颜色统计的标准化使用以下方法来执行：在步骤1中，我们通过从原始rgb值映射到色调-饱和度-密度-空间来分离图像的颜色和强度信息。vanderlaak等人描述了这样的技术，《在来自透射光显微镜的数字图像中的染色识别的色调-饱和度-密度(hue-saturation-density，hsd)模型》细胞仪(cytometry)39(4),275-284(2000)。这创造了2d色彩空间。在步骤2中，我们将单高斯拟合到每个包含组织的图块的2d颜色空间中的颜色坐标，并且然后确定从那些颜色坐标到颜色应该标准化到的参考图像的那些颜色坐标的转换。以下论文中描述了另外的细节：pitie,f等人《线性蒙格-坎特罗维奇线性颜色映射——例如基于颜色转移》，第四届欧洲视觉媒体制作会议(2007年)。在步骤3中，我们使用来自步骤1的逆变换将来自2d颜色空间的颜色映射回rgb值，以创建颜色标准化的图像图块。

可替换地，如果可用足够的训练数据，则有可能训练深度神经网络来进行这种标准化。这种标准化的结果可以是来自“虚拟中值”扫描仪的图像，或者来自我们用作参考的特定扫描仪的图像。

另外，在模型训练期间，我们均匀地跨载玻片使用图块，这减少了对最大肿瘤的偏见(bias)。我们执行的图像扰动促进了训练数据的效果大小。该模型学习为对亮度、对比度、色调、饱和度和强度的变化不敏感。我们还使用载玻片的旋转和左/右、上下翻转进行训练，并进一步将抖动引入到图块中。特别地，我们将输入图块旋转90度的四倍，并且左右翻转并重复旋转。所有八个取向都是有效的，因为病理载玻片没有规范的取向。抖动的使用可能有助于防止记忆确切的图块，并且也增加了图块的多样性。我们将抖动添加到图块提取过程中，使得每个图块都具有高达8个像素的小的x/y偏移。颜色扰动和抖动的幅度使用我们的验证集进行微调。

将进一步理解的是，图5的神经网络模式识别器306的集合的训练可以是并且可选地跨载玻片的所有可能旋转和翻转以及训练图像的所有可能类型的扰动以及标准化，或者仅仅其它们的一些来执行。进一步，可以执行在同一模型上运行的三次或更多次不同的训练来评估性能。

性能

图6是我们已经在2016年4月至2017年1月期间开发的在图4中所示方法的肿瘤检测准确度的曲线图。在图6中，y轴线表示自由响应的接收者操作特性(free-responsereceiveroperatingcharacteristic，froc)，并且是当前场景中肿瘤检测准确度的度量。准确度已从我们在2016年4月的最初的努力(处于约0.53的水平)稳步提高到目前约0.9的性能，这高于当前的技术水平或具有无限时间的受训病理学家的能力。2016年4月的结果仅使用了一个inception-v3模式识别器或训练模型。

我们所说的“每个载玻片平衡”允许我们在10月16日前达到>75％的准确度。我们通常试图平衡我们的训练数据，使得对于所有类别(在这种情况下为两个类别：正常、肿瘤)大致有相似数量的训练示例。例如，如果整个数据集中存在少于“正常”像素10倍的“肿瘤”像素，那么我们确保在训练中对这些肿瘤块进行比正常情况频繁10倍的采样，使得在总体上它们是平衡的。我们过去常常对整个数据集进行这种平衡，也就是说，我们不能确保正常和肿瘤之间的1:1平衡对于每个单独的载玻片图像都是真实的，但是仅对于整个数据集是真实的。改变这一点以确保以平衡的方式采样每个载玻片本身就是这里所说的“每个载玻片平衡”。附加的性能方面的改进由附加的模型训练副本和在四种不同放大率下的深度学习模式识别器的集合的实施方式导致。

工作站和api

图7是在包括键盘404和显示器406的工作站402处的病理学家400使用图1c的热图20和感兴趣区域列表408以帮助标识淋巴结组织中的肿瘤细胞的图示。红色区域24指示肿瘤细胞的高概率区域，以及蓝色或紫色区域26指示肿瘤细胞的低概率区域。工作站402可以包括存储图5的深度神经网络模式识别器的集合的处理器和软件。可替换地，工作站402可以包括呈应用编程接口(api)形式的软件，该应用编程接口与图3的计算机和软件系统108接口，在这种情况下，图5的深度神经网络模式识别器的集合可以在经由局域网或广域网410连接到工作站402的远程计算机412、412和/或416中实施。出于计算效率的原因，在多个计算平台上部署模式识别器的集合以便减少或消除根据输入的在40x下的整个载玻片数字图像生成热图时的等待时间，并允许病理学家尽可能高效地工作可能是有利的。例如，在医院设定中，图像可以被数字化并存储在远离病理学家办公室的主机网络上。病理学家工作站具有工作流程软件，该软件在评测载玻片时指导病理学家，但是在模块112中对图像数据进行处理以对各个图块进行评分可以在经由api和网络410连接的远程计算机中进行。

图3的软件功能的实施方式可以被实施为api、实施为基于浏览器的网络服务、或者实施为与移动或手持设备或计算机配对的成像或显示设备的一部分。另外，术语“工作站”旨在广泛地指包括台式计算机、膝上型计算机、平板计算机、平视显示器以及包括智能电话或专用手持设备的其他移动计算机等。

结论和进一步考虑

根据前面的描述，在一个方面，提供了一种用于分析组织活检的方法。该方法包括(a)接收表示来自组织活检的组织的图像数据，该图像数据以第一放大率(例如40x)获得；(b)将图像数据细分成多个图块(参见图4)，每个图块包括表示来自组织活检的组织的相应部分的图像数据的一部分；以及(c)对于这些图块中的每一个，确定恶性肿瘤可能性得分，其中通过使用深度神经网络模式识别器的集合来处理图块，并组合深度神经网络模式识别器中的每一个的输出来获得得分，其中深度神经网络模式识别器的集合被布置为以包括第一放大率(例如40x)和第二放大率(例如20x、10x或者5x)的多个放大率水平来处理图块。

该方法可以进一步包括根据由深度神经网络模式识别器分配给图块的恶性肿瘤可能性得分来给每个图块分配值。可以基于被分配的值生成表示来自组织活检的组织的输出数据，例如图1c所示的热图。

该方法可以进一步包括使用多个训练图像来训练模式识别器的集合。多个训练图像中的至少一个训练图像可以通过对表示来自组织活检的组织的至少一个图像执行至少一个操作来生成。该至少一个操作可以包括修改在表示来自组织活检的组织的至少一个图像中表示的图像数据。该至少一个操作可以选自：1)对训练图像执行几何扰动，2)对训练图像执行图像颜色统计扰动，3)标准化训练图像的图像颜色统计，4)训练图像的旋转、上下和左右翻转，以及5)将抖动引入到训练图像中。该方法可以包括执行操作的一个或多个组合来生成至少一个训练图像。例如，可以获得表示组织的多个图像。可以使用表示组织的多个图像和基于多个图像生成的进一步的训练图像来训练模式识别器的集合。

该方法可以进一步包括使用图块中的图像数据和来自每个图块周围的图像区域的图像数据两者来给图块分配恶性肿瘤可能性得分。图块周围的图像数据的区域可以包括表示邻近由图块表示的组织部分的来自组织活检的组织部分的图像数据，或者例如表示图块周围的组织部分的图像数据。

图块可以包括包含多个像素的正方形或矩形区域。该区域可以在表示由图块表示的来自组织活检的组织的相应部分的图像数据部分内居中。

以多个放大率水平处理每个图块可以包括处理表示与图块相关联的来自组织活检的组织部分的图像数据的第一部分；以及处理图像数据的第二部分，该第二部分包括图像数据的第一部分和表示与图块相关联的来自组织活检的组织部分周围的来自组织活检的组织的附加图像数据。多个放大率水平中的每一个可以表示包括来自组织活检的组织的不同部分，该组织活检包括与图块相关的组织活检部分。多个放大率水平中的每一个可以例如包括像素阵列(诸如二维像素阵列)，像素阵列中的每一个表示包括图像数据的第一部分的图像数据部分。像素阵列中的每一个可以具有相同的尺寸。也就是说，每个像素阵列可以包括相应数量的像素。因此，与不同放大率水平相关联的阵列中的像素可以表示来自不同大小的组织活检的组织的不同部分。

该方法可以进一步包括最初对每个图块执行图像质量评估。该方法可以包括如果图像质量评估确定图块是可分级的，则确定图块的得分。也就是说，得分可以指示表示图块的图像数据是否具有足够高的质量以便于进一步处理。图块的图像质量评估可以由经训练的神经网络来执行。该方法可以进一步包括生成表示中存在的感兴趣区域的列表。

进一步将理解的是，我们已经描述了一种用于在标识从活检获得的组织(例如淋巴结或前列腺组织)中的肿瘤细胞(图1c的24)时辅助病理学家(图7中的病理学家400)的方法，该方法包括以下步骤：

(a)以第一放大率(例如40x)获得包含组织的载玻片的数字图像(图1a)。

(b)将数字图像细分成多个图块(参见图4)，每个图块包括表示组织的相应部分的数字图像的一部分。图块可以是任何二维像素阵列，诸如矩形或正方形阵列。

(c)对于图块200中的每一个，确定恶性肿瘤可能性得分，其中通过使用深度神经网络模式识别器(图5，306)的集合在多个放大率水平下分析包括图块的数字图像中的像素数据，并且组合深度神经网络模式识别器中的每一个的输出来获得该得分，该多个放大率水平包括以图块为中心或包含图块的第一放大率(例如，40x)和至少第二放大率(例如，20x)。以及，

(d)为病理学家生成载玻片的表示(图1c、图7的热图20)，其中根据(1)由深度神经网络模式识别器分配给图块的恶性肿瘤可能性得分，和(2)将不同的颜色或灰度值分配给被分配给多个图块的恶性肿瘤可能性得分的不同值的代码(22，图2)，给每个图块分配颜色。

在优选的实施例中，在模型的集合的训练期间执行图像增强，包括执行以下操作中的至少一个：几何扰动、图像颜色统计扰动、标准化图像颜色统计、训练图像的旋转和上下翻转以及抖动的引入。

在优选的实施例中，使用图块周围的图像数据来训练模型，以由集合的每个成员生成得分。

可选地，对每个图块执行初始图像质量评估。经训练的神经网络可以用来进行这个图像质量评估。

热图优选地与感兴趣区域的列表一起生成，该列表可以按大小排序或定序。在热图中生成十字准线，以近似每个区域的中心。原始数字化图像可以与热图并排显示。该软件将提示用户仔细检查所有感兴趣区域，以以多个缩放级别评估转移。然后，用户也可以使用卡尺工具来确认区域的大小。

在另一方面，应当理解的是，我们已经公开了一种计算机系统(例如，图7的工作站400或远程计算机412)，该计算机系统被编程为用于评估包含淋巴结组织的数字载玻片中肿瘤细胞存在的可能性的机器。该计算机包括深度神经网络模式识别器(图5，306)的集合，每个深度神经网络模式识别器在淋巴结组织的多个数字载玻片图像上以数字载玻片图像的特定且不同的放大率水平(例如40x，20x，10x和5x)进行训练。集合中的每个成员针对包含淋巴结组织的数字载玻片10的图块200以恶性肿瘤可能性得分的形式生成输出(图5，308)。组合(图5,310)集合中的每个成员的输出，以生成图块的总体或集合的恶性肿瘤可能性得分。

虽然图5的神经网络的集合被示出为具有分离的输入，但是可能的是向集合提供单个输入(例如，用于正被分析的图块的40x像素数据)，并且用于其他放大率的模式识别器执行下采样的初始步骤，以获得用于模型被训练的放大率的像素数据。显然，在不脱离本发明的范围的情况下，在图5的架构的设计中可以有这些变化和其他变化。

在又一方面中，公开了一种用于在标识从活检获得的组织样品中的肿瘤细胞方面辅助使用者(例如病理学家)的系统(图3，7)。该系统包括工作站400(图7)，该工作站被配置为显示包含组织的载玻片的放大的数字图像。该系统进一步包括软件系统(图3)的应用编程接口(api)，该软件系统被配置为深度神经网络模式识别器的集合(图5)，每个深度神经网络模式识别器在包括良性组织和癌组织的多个数字载玻片图像的训练集上以数字载玻片图像的特定且不同的放大率水平训练。软件系统(图3)进一步被配置为将数字图像细分成多个图块(图4)，每个图块呈矩形像素阵列的形式。该软件系统进一步被配置为用于针对每个图块确定恶性肿瘤可能性得分，其中通过使用深度神经网络模式识别器的集合分析包括图块的数字图像中的像素数据来获得该得分(图5，306)。工作站400进一步被配置为在显示器上呈现载玻片的表示(例如，热图20)，其中，根据(1)由深度神经网络模式识别器的集合分配给图块的恶性肿瘤可能性得分，以及(2)将不同的颜色(或等同的灰度值)分配给被分配给图块的恶性肿瘤可能性得分的不同值的代码(例如键或其他分配机制(参见图2的22))，来给每个图块分配颜色或者等同物(例如灰度值)。

各方面可以以任何方便的方式实施。例如，本公开内容的其他示例方面涉及用于分析组织活检的系统、装置、有形非暂时性计算机可读介质、用户界面、存储器设备和电子设备。

所附权利要求被提供为所公开的发明的进一步描述。