用于处理疾病计算评估的电子图像的系统和方法与流程

用于处理疾病计算评估的电子图像的系统和方法
1.相关申请本技术要求2020年1月6日提交的申请号为no. 62/957,523的美国临时申请的优先权，该美国临时申请的全部公开内容通过引用以其整体并入本文。
技术领域
2.本公开的各种实施例总体上涉及确定存在或是不存在疾病，诸如癌细胞。更具体地，本公开的特定实施例涉及基于整个载玻片图像（wsi）中的细胞来确定病理完全响应（pcr）或最小残留疾病（mrd）中的至少一个。


背景技术：

3.病理完全响应（pcr）可以指代在切除的组织标本的组织学显微镜载玻片上不存在残留的浸润性和原位癌细胞。pcr可以用作替代终点来确定患者是否对治疗（例如，与乳腺癌、前列腺癌、膀胱癌、结肠直肠癌等相关的治疗）有响应。例如，用于乳腺癌的pcr可以被定义为在治疗后的手术期间移除的乳腺组织和淋巴结中缺少所有浸润性癌的迹象。
4.最小残留疾病（mrd）可以指代最小的疾病，诸如亚微观的疾病，诸如在患者体内保持隐匿但最终可能导致复发的疾病。在癌症治疗中，mrd可以提供关于治疗是否移除了癌症或者是否保留了痕迹的信息。目前，pcr/mrd是经由病理学家在显微镜下检查组织标本并检查是否仍然存在保留的癌细胞或是否所有癌细胞都已被移除来手动确定的。由于pcr/mrd的各种定义以及由于新辅助疗法而可能改变癌性和良性组织的形态的治疗效果，该检测任务可能是主观的并且可能是具有挑战性的。当存在治疗损伤时，挑战的主观性和水平可能增加。
5.前述一般描述和以下详细描述仅为示例性和解释性的，并且对于本公开而言不是限制性的。本文提供的背景描述是为了总体上呈现本公开的上下文。除非本文另有指示，否则本章节中描述的材料不是本技术中权利要求的现有技术，并且不通过包含在本章节中而被承认为现有技术或现有技术的建议。


技术实现要素：

6.根据本公开的某些方面，公开了用于基于数字病理学图像确定癌症检测结果的系统和方法。
7.一种用于输出癌症检测结果的方法，包括：接收对应于与病理学类别相关联的目标样本的数字图像，其中所述数字图像是组织样本的图像；确定检测机器学习模型，所述检测机器学习模型是通过处理多个训练图像以输出癌症定性并且如果所述癌症定性是确认的癌症定性则进一步输出癌症定量来生成的；将所述数字图像作为输入提供给所述检测机器学习模型；从所述检测机器学习模型接收病理完全响应（pcr）癌症定性或确认的癌症定量之一作为输出；以及输出所述pcr癌症定性或确认的癌症定量。
8.一种用于输出癌症检测结果的系统，包括存储指令的存储器和执行所述指令以执
行以下过程的处理器，所述过程包括：接收对应于与病理学类别相关联的目标样本的数字图像，其中所述数字图像是组织样本的图像；确定检测机器学习模型，所述检测机器学习模型是通过处理多个训练图像以输出癌症定性并且如果所述癌症定性是确认的癌症定性则进一步输出癌症定量来生成的；将所述数字图像作为输入提供给所述检测机器学习模型；从所述检测机器学习模型接收病理完全响应（pcr）癌症定性或确认的癌症定量之一作为输出；以及输出所述pcr癌症定性或确认的癌症定量。
9.一种存储指令的非暂时性计算机可读介质，所述指令当由处理器执行时，使得处理器执行用于生成专用机器学习模型的方法，所述方法包括：接收对应于与病理学类别相关联的目标样本的数字图像，其中所述数字图像是组织样本的图像；确定检测机器学习模型，所述检测机器学习模型是通过处理多个训练图像以输出癌症定性并且如果所述癌症定性是确认的癌症定性则进一步输出癌症定量来生成的；将所述数字图像作为输入提供给所述检测机器学习模型；从所述检测机器学习模型接收病理完全响应（pcr）癌症定性或确认的癌症定量之一作为输出；以及输出所述pcr癌症定性或确认的癌症定量。
附图说明
10.并入本说明书中并构成其一部分的附图图示了各种示例性实施例，并且与说明书一起用于解释所公开实施例的原理。
11.图1a图示了根据本公开示例性实施例的用于利用数字图像实现检测工具的系统和网络的示例性框图。
12.图1b图示了根据本公开示例性实施例的机器学习模块的示例性框图。
13.图2是图示根据本公开示例性实施例的用于使用检测机器学习模型的示例性方法的流程图。
14.图3图示了根据本公开示例性实施例的训练模块的示例性框图。
15.图4图示了根据本公开示例性实施例用于使用检测模块来检测癌细胞的图解。
16.图5是根据本公开示例性实施例的检测实现的示例性实施例的流程图。
17.图6是根据本公开示例性实施例的使用检测模型的实验结果的图解。
18.图7描绘了可以执行本文提出的技术的示例系统。
具体实施方式
19.现在将详细参考本公开的示例性实施例，所述示例性实施例示例在附图中图示。在尽可能的情况下，将贯穿于附图使用相同的附图标记来指代相同或相似的部分。
20.通过示例的方式并且参考各图对本文公开的系统、设备和方法进行了详细描述。本文讨论的示例仅是示例，并且被提供来协助解释本文描述的装置、设备、系统和方法。对于这些设备、系统或方法中的任何一个的任何特定实现，除非特别指定为强制性的，否则附图中所示的或下面讨论的特征或组件均不应当被认为是强制性的。
21.此外，对于所述的任何方法，无论该方法是否结合流程图进行描述，都应当理解，除非上下文另有指定或要求，否则在方法执行中执行的步骤的任何显式或隐式次序并不暗示着那些步骤必须按所提出的次序执行，而是取而代之的可以按不同次序或并行执行。
22.如本文使用的，术语“示例性”在“示例”而非“理想”的意义上使用。此外，本文的术
语“一”和“一个”不标示数量的限制，而是标示存在一个或多个所引用的项目。在下面的讨论中，诸如“大约”、“基本上”、“近似”等相对术语用于指示规定值、数字或其他方面的10%或更小的可能变化。
23.病理学是指对疾病的研究。更具体地，病理学是指执行用于诊断疾病的测试和分析。例如，组织标本可以放置在载玻片上，由病理学家（例如，擅长分析组织标本以确定是否存在任何异常的医生）在显微镜下查看。也就是说，病理学样本可以被切割成多个切片、染色并制备成载玻片，以供病理学家检查并做出诊断。当不确定载玻片上的诊断发现时，病理学家可能订购附加的切割水平、染色或其他测试，以从组织中收集更多信息。然后，（一个或多个）技术人员可以创建（一个或多个）新的载玻片，其可以包含附加信息，以用于病理学家在进行诊断中使用。创建附加载玻片的该过程可能是耗时的，不仅因为它可能涉及取回组织块、将其切割以制作新的载玻片以及然后对载玻片进行染色，而且还因为它可能被批量用于多个订单。这可能显著延迟病理学家做出的最终诊断。此外，即使在延迟之后，仍然可能无法保证（一个或多个）新的载玻片将具有足以做出诊断的信息。
24.病理学家可以在癌症检测中评估癌症和其他疾病的病理学载玻片。本公开提出了一种自动方式来标识癌细胞并进行癌症定性，以及如果适用的话，进行癌症定量。特别地，本公开描述了各种示例性ai工具，其可以被集成到工作流中以加速和改进病理学家的工作。
25.例如，计算机可以用于分析组织标本的图像，以快速标识组织标本是否包括一种或多种癌细胞，以便确定癌症定性（例如，存在或不存在癌症）以及癌症定量（例如，存在癌症的程度）。因此，审查染色载玻片和测试的过程可以在由病理学家审查之前自动进行，而不是由病理学家审查，或者可以与病理学家审查一起进行。当与自动载玻片审查和癌症检测配对使用时，这可以提供全自动化的载玻片制备和评估流水线。
26.这样的自动化至少具有以下益处：（1）通过手动检测癌细胞，使病理学家确定载玻片发现所浪费的时间量最小化；（2）通过避免进行手动分析或可疑载玻片的附加时间，使从样本采集到诊断的（平均总）时间最小化，（3）减少基于错过的组织区域或难以检测的组织区域的重复组织评估的数量（4）通过计及治疗效果来减少重复活检和病理学家审查的成本（5）消除或减轻对第二次或后续病理学家诊断审查的需要（6）减少错误诊断的概率（7）增加正确诊断的概率，和/或（8）标识或验证数字病理学图像的正确属性（例如，pcr、mrd等）。
27.使用计算机协助病理学家的过程称为计算病理学。用于计算病理学的计算方法可以包括但不限于统计分析、自主或机器学习以及ai。ai可以包括但不限于深度学习、神经网络、分类、聚类和回归算法。通过使用计算病理学，可以通过帮助病理学家改进他们诊断的准确性、可靠性、效率和可及性，来挽救生命。例如，可以使用计算病理学来协助检测疑似癌症的载玻片，从而允许病理学家在做出最终诊断之前检查和确认他们的初始评估。
28.组织病理学是指对放置在载玻片上的样本的研究。例如，数字病理学图像可以由包含样本（例如，涂片）的显微镜载玻片的数字化图像组成。病理学家可以用来分析载玻片上的图像的一种方法是标识细胞核并分类细胞核是正常的（例如良性的）还是异常的（例如恶性的）。为了协助病理学家标识和分类细胞核，组织学染色可以用于使细胞可见。已经开发了许多基于染料的染色系统，包括周期性高碘酸-希夫响应、马森三色、尼氏和亚甲蓝、以及溶血素和曙红（h&e）。对于医学诊断，h&e是一种广泛使用的基于染料的方法，其中苏木精
将细胞核染成蓝色，曙红将细胞质和细胞外基质染成粉红色，并且其他组织区域呈现这些颜色的变化。然而，在许多情况下，h&e染色的组织学制备物不为病理学家提供足够的信息来在视觉上标识可以帮助诊断或指导治疗的生物标记。在这种情形下，可以使用诸如免疫组织化学（ihc）、免疫荧光、原位杂交（ish）或荧光原位杂交（fish）之类的技术。ihc和免疫荧光涉及例如使用与组织中特定抗原结合的抗体，使得能够对表达感兴趣的特定蛋白质的细胞进行视觉检测，这可以揭示经训练的病理学家基于对h&e染色载玻片的分析不能可靠标识的生物标记。取决于所采用探针的类型（例如，用于基因拷贝数的dna探针和用于评估rna表达的rna探针），可以采用ish和fish来评估基因拷贝数或特定rna分子的丰度。如果这些方法也未能提供足够的信息来检测一些生物标记，则可以使用组织的基因测试来确认生物标记是否存在（例如，肿瘤中特定蛋白质或基因产物的过表达，癌症中给定基因的扩增）。
29.可以制备数字化图像以示出染色的显微镜载玻片，这可以允许病理学家手动查看载玻片上的图像，并估计图像中染色的异常细胞的数量。然而，该过程可能是耗时的，并且可能导致标识异常中的错误，因为一些异常难以检测。使用机器学习模型和设备的计算过程可以用于协助病理学家检测原本可能难以检测的异常。例如，ai可以用于从使用h&e和其他基于染料的方法染色的组织的数字图像内的显著区域中检测癌细胞（例如，因为它们可以与非癌细胞可区分）。组织的图像可以是整个载玻片图像（wsi）、微阵列内的组织核心或组织切片内感兴趣的选择区域的图像。使用像h&e的染色方法，在没有附加测试帮助的情况下，人类可能难以在视觉上检测或定量这些癌细胞。使用ai从组织的数字图像中检测这些癌细胞具有改进患者护理同时也更快并且更便宜的潜力。
30.如上所述，本公开的计算病理学过程和设备可以提供集成平台，集成平台允许包括如下各项的全自动化过程：数据摄取、处理和经由网络浏览器或其他用户界面查看数字病理学图像，同时与实验室信息系统（lis）集成。此外，可以使用患者数据的基于云的数据分析来聚合临床信息。数据可能来自医院、诊所、实地研究人员等，并且可以通过机器学习、计算机视觉、自然语言处理和/或统计算法进行分析，以在多个地理特异性水平上进行健康模式的实时监视和预测。
31.所公开主题的实现包括用于使用检测机器学习模型来确定wsi中存在或不存在癌细胞的系统和方法。可以生成检测机器学习模型来确定癌症定性。癌症定性可以包括组织标本的数字图像中表示的细胞是否是癌细胞或者是否在数字图像中没有标识出癌细胞的指示。根据一种实现，癌症定性还可以包括癌症的类型（例如，乳腺癌、前列腺癌、膀胱癌、结肠直肠癌等）。如果癌症定性是确认的癌症定性，则癌症定量也可以由检测机器学习模型输出。癌症定量可以指示从数字图像中标识的癌细胞的数量、比率或程度，并且可以是基于已建立的最小残留疾病（mrd）标准（例如，每百万个1个细胞或更少）的mrd指定。如果由检测机器学习模型输出的癌症定性指示没有癌细胞，则可以输出病理完全响应（pcr）癌症定性。
32.可以基于监督、半监督、弱监督或无监督训练来训练检测机器学习模型，其包括但不限于多实例学习。训练图像可以来自与输入到检测机器学习模型的相应数字图像相同的病理学类别。根据一种实现，来自多个病理学类别的多个不同的训练图像可以用于跨病理学类别训练检测机器学习模型。根据该实现，至检测机器学习模型的输入可以包括数字图像的病理学类别。病理学类别可以包括但不限于组织学、细胞学、冷冻切片、免疫组织化学（ihc）、免疫荧光（if）、苏木精和曙红（h&e）、单独苏木精、分子病理学、3d成像等。可以训练
检测机器学习模型以基于例如具有标记的癌细胞的训练图像来检测癌细胞。检测机器学习模型可以基于已知或确定的癌症类型调整一个或多个层中的权重，以标识可能具有癌细胞的区域，并且可以基于在那些区域中标识癌细胞或未发现癌细胞，进一步调整一个或多个层中的权重。
33.根据一种实现，可以使用描绘展现出治疗效果的组织的训练数字图像来训练检测机器学习模型。可以产生治疗效果的治疗包括但不限于新辅助疗法，诸如激素疗法（雄激素剥夺疗法（adt）、非甾体类抗雄激素（nsaa））、放射疗法、化疗等。这样的治疗可能引起治疗损伤并且改变癌性和良性细胞的形态，因此使得基于检测的评估与这样的没有治疗效果的评估相比更具挑战性。治疗效果可以是应用于从其获得对应于数字图像的组织样本的患者的治疗的结果。治疗通常可能变更患者组织的形态，这通常被称为“治疗效果”，并且通常可能使确定癌细胞的分析不同于对不展现出治疗效果的组织的分析。描绘展现出治疗效果的组织的训练数字图像可以或可以不被标记为对应于具有治疗效果的组织的数字图像。治疗效果机器学习模型可以基于展现出治疗效果的图像来训练，并且可以是检测机器学习模型的一部分。通过利用治疗检测机器学习模型，检测机器学习模型对癌症的定性和潜在定量可以由治疗检测机器学习模型输出来通知，并且可以提供给定治疗的成功或失败的指示。治疗效果机器学习模型可以通过使用基础检测机器学习模型（即，基于没有治疗效果的多个训练图像训练的经训练机器学习模型）来初始化。类似地，检测机器学习模型的pcr和/或mdr检测组件可以通过使用基础检测机器学习模型来初始化。
34.可以基于检测机器学习模型的输出生成通知、视觉指示器和/或报告。所述报告可以基于单个数字化图像，或者基于在给定时间段期间或者通常是回顾性的多个数字化图像。
35.本文公开的系统可以在本地实现（例如，就地部署）和/或可以在远程实现（例如，基于云）。该系统可以具有或可以不具有（一个或多个）病理学家可以直接访问的（一个或多个）用户界面和工作流（例如，可以基于癌症定性或定量等标记下游肿瘤学家）。因此，本文公开的实现可以用作独立操作，或者在数字工作流内使用。
36.虽然所公开的主题被描述为基于肿瘤学应用而实现，但是它们可以用于其他形式的细胞检测（例如，感染性疾病细胞、囊性纤维化细胞、镰状细胞贫血等）。除了提供癌症检测益处之外，所描述的实现可以用于训练卫生保健专业人员（例如，载玻片技术人员、病理学家等）实践细胞定性或定量和/或诊断确定，同时降低患者伤害的风险。
37.图1a图示了根据本公开示例性实施例的用于使用机器学习来确定与（一个或多个）数字病理学图像相关的样本特性或图像特性信息的系统和网络的框图。如本文进一步公开的，图1a的系统和网络可以包括具有检测工具101的机器学习模块100，以提供癌症定性输出，并且潜在地提供癌症定量输出。
38.具体而言，图1a图示了可以连接至医院、实验室和/或医生办公室等处的服务器的电子网络120。例如，医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125等可以每个都通过一个或多个计算机、服务器和/或手持移动设备连接到电子网络120，诸如互联网。根据一个实现，电子网络120还可以连接到服务器系统110，该服务器系统110可以包括被配置为根据所公开主题的示例性实施例实现机器学习模块100的处理设备。
39.医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以创建或以其他方式获得一个或多个类别的病理学样本的图像，其包括患者的（一个或多个）细胞学样本、（一个或多个）组织病理学样本、（一个或多个）细胞学样本的（一个或多个）载玻片、组织学、免疫组织化学、免疫荧光、（一个或多个）组织病理学样本的（一个或多个）载玻片的数字化图像或其任何组合。医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125也可以获得患者特定信息的任何组合，诸如年龄、病史、癌症治疗史、家族史、过去的活检或细胞学信息等。医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以通过电子网络120向服务器系统110传输数字化的载玻片图像和/或患者特定信息。（一个或多个）服务器系统110可以包括一个或多个存储设备109，用于存储从医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的至少一个接收的图像和数据。服务器系统110还可以包括用于处理存储在存储设备109中的图像和数据的处理设备。服务器系统110可以进一步经由机器学习模块100包括一个或多个机器学习工具或能力。例如，根据一个实施例，处理设备可以包括检测工具101，如机器学习模块100所示。检测工具101可以包括如本文公开的检测机器学习模型，以及诸如治疗效果机器学习模型、定量模块等之类的一个或多个其他组件。替代地或附加地，本公开（或本公开的系统和方法的部分）可以在本地处理设备（例如，膝上型计算机）上执行。
40.医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125是指病理学家用于审查载玻片图像的系统。在医院环境中，组织类型信息可以存储在实验室信息系统125中。
41.图1b图示了机器学习模块100的示例性框图，该机器学习模块100使用机器学习来确定与（一个或多个）数字病理学图像相关的组织样本特性或图像特性信息。
42.具体而言，图1b描绘了根据一个实施例的机器学习模块100的组件。例如，机器学习模块100可以包括检测工具101、数据摄取工具102、载玻片吸取工具103、载玻片扫描仪104、载玻片管理器105、存储装置106和查看应用工具108。为了清楚起见，图1a和图1b中所示的机器学习模块100是先前训练和生成的机器学习模型（例如，可以包括治疗效果机器学习模型的检测机器学习模型）。本文提供了用于训练和生成可以用作机器学习模块100的不同类型的机器学习模型的附加公开。
43.检测工具101是指用于确定癌症定性的过程和系统，并且如果存在确认的癌症定性，则确定癌症定量。癌症定性可以是确认的癌症定性、pcr癌症定性（例如，没有检测到癌细胞）等。确认的癌症定性可以指示在组织样本的数字图像中检测到一个或多个癌细胞。癌症定量可以指示检测到的癌细胞的数量、癌细胞与非癌细胞的比率或癌症的程度。癌症定量的子集是mrd癌症定性，其可以指示癌细胞的数量是否低于mrd阈值。mrd阈值可以是方案特定的、癌症类型特定的、机构特定的、病理学家特定的等等。检测工具101可以包括多个机器学习模型，或者可以一次加载一个机器学习模型。例如，检测工具101可以包括治疗效果机器学习模型，该治疗效果机器学习模型可以基于与本文公开的检测机器学习模型不同的或附加的训练数据集来训练。
44.根据示例性实施例，数据摄取工具102是指用于促进将数字病理学图像传送至机
器学习模块100的各种工具、模块、组件和设备的过程和系统，所述机器学习模块100用于表征和处理数字病理学图像。
45.根据示例性实施例，载玻片吸取工具103是指用于扫描病理学图像并且将它们转换为数字形式的过程和系统。可以利用载玻片扫描仪104扫描载玻片，并且载玻片管理器105可以将载玻片上的图像处理成数字化病理学图像，并且将数字化图像存储在存储装置106中。
46.根据示例性实施例，查看应用工具108是指用于向用户（例如，病理学家）提供与数字病理学图像相关的表征或图像特性信息的过程和系统。可以通过各种输出接口（例如，屏幕、监视器、存储设备和/或网络浏览器等）来提供信息。作为示例，查看应用工具108可以在数字病理学图像上应用覆盖层，并且该覆盖层可以突出显示考虑的关键区域。覆盖层可以是或可以基于机器学习模块100的检测工具101的输出。如本文进一步讨论的，查看应用工具108可以用于示出数字图像中对应于癌细胞或对应于癌细胞更可能出现的区域的特定区域。
47.检测工具101及其每个组件可以通过网络120向/从服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125传输和/或接收数字化载玻片图像和/或患者信息。此外，服务器系统110可以包括存储设备，用于存储从检测工具101、数据摄取工具102、载玻片吸取工具103、载玻片扫描仪104、载玻片管理器105和查看应用工具108中的至少一个接收的图像和数据。服务器系统110还可以包括用于处理存储在存储设备中的图像和数据的处理设备。服务器系统110可以进一步包括例如由于处理设备所致的一个或多个机器学习工具或能力。替代地或附加地，本公开（或本公开的系统和方法的部分）可以在本地处理设备（例如，膝上型计算机）上执行。
48.检测工具101可以提供机器学习模块100的输出（例如，癌症定性、癌症定量、pcr定性、mrd定性等）。作为示例，载玻片吸入工具103和数据摄取工具102可以接收对机器学习模块100的输入，并且检测工具101可以基于数据标识载玻片中的癌细胞，并且经由查看应用工具108输出突出显示癌细胞或相关联区域的图像。
49.上述设备、工具和模块中的任何一个可以位于可以通过一个或多个计算机、服务器和/或手持移动设备连接至电子网络120的设备上，该电子网络120诸如是互联网或云服务提供商。
50.图2示出了根据所公开主题的示例性实现的用于基于数字图像输出癌症定性和定量的流程图200。在图2的202，可以接收对应于与病理学类别相关联的目标样本的数字图像。数字图像可以是使用图1b的载玻片吸入工具103捕获的数字病理学图像。在204，可以确定检测机器学习模型（例如，在机器学习模块100处）。可以通过处理来自与在202接收的数字图像相同的病理学类别的多个训练图像来训练检测机器学习模型。病理学类别可以包括但不限于组织学、细胞学、冷冻切片或免疫组织化学。根据一种实现，可以使用来自多个不同病理学类别的训练图像来训练检测机器学习模型。如在202接收的对应于目标样本的数字图像也可以连同其病理学类别一起被接收，其可以作为输入被提供给检测机器学习模型。在206，来自202的数字图像可以被提供给检测机器学习模型，作为至该模型的输入。还可以提供一个或多个其他属性作为至检测机器学习模型的输入。所述一个或多个其他属性可以包括但不限于病理学类别、载玻片类型、玻璃类型、组织类型、组织区域、使用的化学
品、染色量、应用的时间、扫描仪类型、日期等。在208，检测机器学习模型可以输出癌症定性（例如，pcr癌症定性）或确认的癌症定量（例如，癌症的量）。根据一种实现，除了确认的癌症定量之外或者代替确认的癌症定量，可以接收确认的癌症定性（例如，存在癌症）。癌症定性可以确定是否生成了癌症定量。例如，如果确认的癌症定性指示存在癌细胞，则可以确定癌症定量（例如，癌细胞的数量）。指示缺少癌细胞的定性可以不需要癌症定量，除非癌症定性阈值大于零个癌细胞。在210，癌症定性（例如，pcr癌症定性、确诊癌症定性等）并且，如果适用的话，癌症定量可以作为数据信号、报告、通知、警报、视觉输出（例如，经由查看应用工具108）等输出。
51.由于组织的复杂性、定性和定量的各种属性（例如，pcr/mrd）、pcr/mrd的定义和/或可能由于例如新辅助疗法而改变癌性和良性组织形态的治疗效果，用于检测癌细胞的传统技术（诸如经由人工病理学家审查）可能是主观的和具有挑战性的。基于图2的流程图200中描述的过程的技术和系统使能对包括pcr和mrd的癌症定性或定量进行鲁棒、客观和更准确的计算评估。mrd和pcr指定可以用作评估无疾病生存期和总体生存期的替代终点，以加速临床试验（例如乳腺癌）。图2中描述的过程的自动化性质可以加速结果和/或治疗批准。
52.如图2中所示，可以在202接收对应于与病理类别相关联的目标样本的数字图像。目标样本可以是从患者体内取回的活检组织标本或以其他方式取回的组织标本。目标样本可以在外科手术期间被取回，其中从患者体内取回患者组织的一部分用于分析。目标样本可以是从患者提取的组织总量的一部分或子集，使得可以从单个手术提取的组织生成多个样本载玻片。
53.目标样本可以与至少一个病理学类别或技术相关联，如本文所公开的诸如组织学、细胞学、冷冻切片、h&e、单独苏木精、ihc、分子病理学、3d成像等。根据一种实现，还可以接收关于数字图像或目标样本的病理学类别和其他图像信息。图像信息可以包括但不限于载玻片类型、玻璃类型、组织类型、组织区域、使用的化学品和染色量。
54.在204，可以确定检测机器学习模型。检测机器学习模型可以在机器学习模块100处被训练和生成，或者可以在外部被训练和生成并在机器学习模块100处被接收。可以通过处理多个训练图像来训练检测机器学习模型，所述多个训练图像中的至少一些来自与在202接收的数字图像相同的病理学类别。病理学类别可以包括但不限于组织学、细胞学、冷冻切片、h&e、单独苏木精、ihc、分子病理学、3d成像等。检测机器学习模型可以使用一个或多个深度学习来实例化，所述一个或多个深度学习包括但不限于深度神经网络（dnn）、卷积神经网络（cnn）、全卷积网络（fcn）和循环神经网络（rcn）、概率模型（包括但不限于贝叶斯网络和图形模型）和/或判别模型（包括但不限于决策森林和最大边际方法）等。这些模型可以以诸如使用多实例学习的监督、半监督、弱监督或无监督的方式训练。检测机器学习模型或单独的机器学习模型的定量组件也可以使用机器学习技术来生成用于定量数字图像内的癌症的输出（例如，图像内癌细胞的数量）。可以使用但不限于深度学习、cnn、多实例学习等或其组合来训练定量组件。
55.可以训练检测机器学习模型，以输出癌症定性和定量，如本文所公开的。可以为多种不同癌症类型中的一种或多种输出癌症定性。可以使用来自多个不同癌症类型中的一种或多种的图像来训练检测机器学习模型。例如，训练图像可以包括与乳腺癌、前列腺癌和肺癌相关的图像。因此，所生成的检测机器学习模型可以在图2的202处接收数字图像，并且可
以使该图像有资格成为表示包括癌细胞、癌细胞的数量和/或癌细胞的类型的组织。检测机器学习模型可以基于在其训练过程期间训练的权重和/或层来输出癌症定性和/或定量。基于所述权重和/或层，检测机器学习模型可以标识数字图像的可以更强力地用作癌症存在或不存在以及还有癌症程度的证据的区域。然后，该模型可以评估那些区域中的一些或全部，以基于利用提供癌细胞的存在、不存在和/或程度的图像的训练来确定癌细胞的存在、不存在和/或程度。反馈（例如，病理学家确认、校正、调整等）可以在模型操作期间进一步训练检测机器学习模型。
56.为了在204生成检测机器学习模型，可以应用训练数据集，该训练数据集包括病理学样本的大量数字病理学图像（例如，组织学、细胞学、冷冻切片、h&e、单独苏木精、ihc、分子病理学、3d成像等）。如本文公开的，数字病理学图像可以是基于物理活检标本生成的数字图像，或者可以是通过例如渲染系统或生成对抗模型用算法生成以复制组织样本（例如，人类、动物等）的图像。图像或样本相关联信息（例如，载玻片类型、玻璃类型、组织类型、组织区域、使用的化学品、染色量、应用的时间、扫描仪类型、日期等）也可以作为训练数据集的一部分被接收。附加地，作为训练检测机器学习模型的一部分，每个图像可以与关于已知或假定的癌症定性（并且如果适用的话，癌症定量）的输出信息配对。这样的输出信息可以包括癌症存在或不存在、癌症类型和/或癌症程度的指示。检测机器学习模型可以从多个这样的训练图像和相关联的信息中学习，使得检测机器学习模型通过基于与每个训练图像相关联的定性和定量来修改一个或多个权重而被训练。尽管作为示例提供了监督训练，但是应当理解，检测机器学习模型的训练可以是监督的、半监督的、弱监督的或无监督的。
57.包括数字病理学图像、图像或样本相关联信息和/或输出信息的训练数据集可以由一个或多个系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125生成和/或提供。用于训练的图像可以来自真实的源（例如，人类、动物等）或者可以来自合成源（例如，图形渲染引擎、3d模型等）。数字病理学图像的示例可以包括（a）利用多种染色剂染色的数字化载玻片，诸如但不限于h&e、单独苏木精、ihc、分子病理学等，和/或（b）来自诸如microct之类的3d成像设备的数字化组织样本。
58.可以基于应用数字病理学图像生成检测机器学习模型，该数字病理学图像可选地具有与如机器学习算法应用的输出信息配对的相关联信息。机器学习算法可以接受病理学样本、相关联信息和输出信息（例如，癌症定性、癌症定量等）作为输入并使用一种或多种技术实现训练。例如，可以在一个或多个深度学习算法中训练检测机器学习模型，所述一个或多个深度学习算法诸如但不限于dnn、cnn、fcn、rcn、具有多实例学习或多标签多实例学习的cnn、递归神经网络（rnn）、长短期记忆rnn（lstm）、门控循环单元rnn（gru）、图形卷积网络等或其组合。卷积神经网络可以直接学习用于在特性之间区分所必需的图像特征表示，当每个样本存在大量数据要训练时，这可以非常好地工作，而其他方法可以与传统的计算机视觉特征（例如surf或sift）一起使用，或者与由经训练的卷积神经网络产生的学习嵌入（例如描述符）一起使用，这可以在仅存在少量数据要训练时产生优势。经训练的检测机器学习模型可以被配置为基于数字病理学图像提供癌症定性和/或癌症定量输出。
59.图3示出了用于训练检测机器学习模型的示例训练模块300。如图3中所示，训练数据302可以包括一个或多个病理学图像304（例如，活检图像的数字表示）、输入数据306（例如，癌症类型、病理学类别等），以及与病理学图像304相关的已知结果308（例如，质量标
记）。训练数据302和训练算法310可以被提供给训练组件320，该训练组件320可以将训练数据302应用于训练算法310，以便生成检测机器学习模型。
60.在206，可以向检测机器学习模型提供输入，该输入包括基于患者的数字病理学图像（例如，病理学样本的数字图像（例如，组织学、细胞学、免疫组织化学等））以及可选的相关联信息。可以将检测机器学习模型的内部权重和/或层应用于数字病理学图像和相关联信息，以确定癌症定性，并且如果适用的话，确定癌症定量。
61.癌症定性可以是存在或不存在癌症。癌症定性可以是二元确定，这样检测到单个癌细胞可以对应于癌症存在，并且没有检测到单个癌细胞可以对应于癌症不存在。pcr癌症定性可以对应于癌症不存在，并且可以在没有检测到癌细胞时输出。
62.根据一种实现，癌症存在和/或pcr癌症定性可以是方案特定的，使得方案可以定义用于癌症定性的一个或多个阈值。作为示例，方案可以规定输出癌症存在需要最小每百万个细胞中有五个癌细胞，并且每百万个细胞中少于五个癌细胞对于pcr癌症定性是足够的。
63.附加地，如本文公开的，检测机器学习模型可以被配置为基于作为输入接收的图像数据输出癌症类型。癌症类型输出可以是确定的癌症类型或癌症类型概率的指示。除了基于组织样本的数字图像之外，还可以通过输入来通知癌症类型输出，并且可以包括组织特性、载玻片类型、玻璃类型、组织类型、组织区域、使用的化学品和/或染色量。
64.当检测到癌症存在时，可以输出癌症定量。癌症定量可以包括癌细胞的数量（例如，每百万个细胞中癌细胞的数量）、癌细胞的密度，或者可以是癌细胞的数量高于阈值量（例如，mrd阈值）的指示。例如，癌症定量可以是或可以包括mrd癌症定量，其可以指代亚微观疾病，诸如在患者体内保持隐匿但最终可能导致复发的疾病。在癌症治疗中，mrd可以提供关于治疗是否移除了癌症或者是否保留了痕迹的信息。
65.在210，可以将检测机器学习模型的输出（即，癌症定性和如果适用的话则癌症定量）提供给图1a的存储设备109（例如，云存储、硬盘驱动器、网络驱动器等）。检测机器学习模型的输出可以是或也可以是基于癌症定性或癌症定量的通知。该通知可以包括关于癌症定性、癌症定量、癌症类型、癌细胞位置等的信息。该通知可以经由任何适用的技术来提供，所述任何适用的技术诸如是通知信号、报告、经由应用的消息、经由设备的通知等。该通知可以提供给任何适用的设备或人员（例如，组织学技术人员、扫描仪操作员、病理学家、记录人员等）。作为示例，检测机器学习模型的输出可以与例如存储患者和相关联目标样本的记录的实验室信息系统125中的对应目标样本的历史集成。
66.根据一种实现，检测机器学习模型的输出可以是基于癌症定性、癌症定量、癌症类型、癌细胞位置、任何此类因素随时间的改变等的报告。该报告可以是任何适用的格式，诸如pdf格式、html格式、应用程序内格式等。
67.根据一种实现，在210，检测机器学习模型的输出可以是或可以包括视觉指示器。视觉指示器可以例如经由图1b的查看应用工具108来提供。视觉指示器可以提供数字图像的视觉表示，并且可以提供关于在确定癌症定性或癌症定量时使用的细胞的指示。
68.图4示出了示例数字图像400，其被扩展以提供扩展视图400a。图4的数字图像400是具有由于前列腺癌的激素疗法而导致的治疗效果的h&e载玻片。如放大视图400a中所示，在区域402示出了进行癌症定性和/或癌症定量不依赖的细胞区域。区域402可以对应于检
测机器学习模型确定为与检测目的不太相关的区域。区域402对应于检测机器学习模型确定为没有检测到癌细胞的良性组织区域的区域。在区域404示出了进行癌症定性和/或癌症定量所依赖的细胞区域。与组织样本的数字图像400相比，进行癌症定性和/或癌症定量所依赖的区域404可能相对小。区域404可以对应于检测机器学习模型确定为与检测目的更相关的区域。区域404对应于检测机器学习模型确定为具有至少一个检测到的癌细胞的癌性组织区的区域。
69.根据一种实现，检测机器学习算法也可以基于和/或接收临床信息（例如，患者信息、手术信息、诊断信息等）、实验室信息（例如处理时间、人员、测试等）作为输入进行训练。检测机器学习算法可以基于这样的输入提供癌症定性和/或癌症定量。
70.根据一种实现，检测机器学习模型可以包括治疗效果机器学习模型，如本文公开的那样。治疗效果可以对应于基于医疗药物、激素疗法、化疗等的肿瘤治疗。来自使用疗法（例如，癌症疗法）治疗的患者的组织样本可能具有不同于来自未使用类似疗法治疗的患者的组织样本的特性。
71.治疗效果机器学习模型可以使用低镜头（low shot）或迁移学习方法生成，并可以通过使用基础检测机器学习模型（即，基于排除治疗效果的多个训练图像训练的训练机器学习模型）来初始化。例如，如本文公开的样本检测机器学习模型可以使用来自从没有经历治疗和/或其组织样本没有展现治疗效果的患者的组织样本的数字图像来训练。可以使用样本检测机器学习模型来初始化治疗机器学习模型，使得当生成治疗效果机器学习模型时，保持与样本检测机器学习模型相关联的权重和/或一个或多个层，并且应用附加的权重、权重修改、层和/或层修改。类似地，检测机器学习模型的pcr和/或mdr检测组件可以通过使用基础检测机器学习模型来初始化。
72.图5示出了如本文参考图2公开的检测分析的示例性实现。图5示出了预测具有治疗效果的前列腺癌中的pcr和/或mrd的过程的流程图。在前列腺癌的示例中，pcr和mrd可以用作评估新辅助治疗的临床试验的终点。然而，一个主要的挑战是在评估癌症中存在治疗效果。
73.在502，可以使用图像来训练检测机器学习模型，以输出癌症定性，并且如果适用的话，如果癌症定性是确认的癌症定性，则输出癌症定量。训练可以包括输入前列腺组织的一个或多个数字图像（例如，组织病理学、h&e、ihc、3d成像等），其包括癌症存在或不存在的指示。可以使用一种或多种机器学习算法和/或格式来训练检测训练模型，如本文公开的（例如，深度学习、dnn、cnn、fcn、rcn、概率模型、判别模型等）。可以训练检测学习模型以输出癌症定性、癌症定量以及pcr和/或mrd的评估，其可以是方案特定的，如本文公开的那样。训练图像可以包括可以是或可以被标记为pcr或mrd之一的图像。
74.在504，可以基于在502应用的数字图像训练定量模块。为了训练定量模块，前列腺癌的量的定量（例如，展现前列腺癌的细胞的数量）可以包括在用于训练模型的数字图像的全部或子集内。应当理解，定量模块可以是在502训练的总体检测模型的一部分。
75.在506，可以基于在502应用的数字图像训练治疗效果模块。在502应用的数字图像的全部或子集可以描绘展现出治疗效果的组织。治疗效果可以是图像中固有的，或者可以被标记，使得标记被用作训练的一部分。
76.在508，可以接收病理学样本的数字图像作为至504的定量模块和506的治疗效果
模块中的一个或多个以及502的训练检测机器学习模型的输入。
77.在510，502的检测机器学习模型、504的定量模块和/或506的治疗效果模块可以用于确定pcr癌症定性和确认的癌症定性。如果确定了pcr癌症定性，则可以输出pcr癌症定性（例如，经由通知、报告、视觉指示等）。在512。如果确定了确认的癌症定性，则可以在518输出确认的癌症定性。附加地或替代地，可以确定癌症定量。例如，可以在514确定mrd值，并且可以在516输出mrd值。
78.图6示出了基于图2的流程图200中公开的过程的实验。图6涉及在根治性前列腺切除术全切口切片中利用新辅助激素治疗来治疗的前列腺癌的病理学评价。由于肿瘤的形态学改变与在大量非肿瘤组织中残留肿瘤的非常小的病灶的可能性相组合，这样的评估传统上提出了重大的挑战。
79.应用于该实验的检测机器学习模型可以利用多实例学习方法，使用se-resnet50卷积神经网络来训练整片图像分类器。在该示例中，该模型在36644个wsi（7514个具有癌性病灶）上训练，其具有减小的嵌入尺寸，以适应全切口切片中极大量的补片实例。然后，检测机器学习模型在完全监督的情境下，在从新辅助治疗环境中治疗的前列腺癌患者中取回的一小组带注释的根治性前列腺切除术样本上进行微调，以进一步提高根治性前列腺切除术数据的性能。这产生抗雄激素治疗病例上0.99的auc。
80.检测机器学习模型示出在抗雄激素受体新辅助疗法下病例的0.99的auc。在训练之后，在来自15个前列腺切除术样本的h&e染色的全切口前列腺切除术载玻片的40个wsi图像上评估该示例系统，所述15个前列腺切除术样本从利用抗雄激素疗法进行新辅助治疗之后的患者取回。病理学家的注释确立了基准真值。所有37个恶性wsi（三个wsi包含肿瘤《 5mm，34个wsi包含肿瘤》 5mm）被该系统正确分类为具有经治疗的癌症。在三个良性wsi中，检测机器学习模型错误地将一个良性病变分类为癌症，而另外两个被正确地分类为良性组织。
81.因此，对来自根治性前列腺切除术样本的h&e染色载玻片进行准确的载玻片等级分类，具有改进对从手术前接受新辅助治疗的患者的根治性前列腺切除术样本的全切口切片进行组织病理学评估的准确性和效率的潜力。如图6中所示，数字图像600包括区域602中所依赖的细胞的视觉指示。放大视图600a示出了区域602内的特定区域604，其更清楚地示出了检测机器学习模型所依赖的细胞，并且还示出了区域604内的癌细胞。进一步放大的视图600b示出了特定区域604内的特定区域606，其甚至更清楚地示出了检测机器学习模型所依赖的细胞，并且还示出了区域606内的癌细胞和/或良性细胞。
82.图7的设备700可以对应于服务器系统110、医院服务器122、研究实验室服务器124、临床试验服务器123、医师服务器121、实验室信息系统125和/或客户端设备等使用的硬件。设备700可以包括中央处理单元（cpu）720。cpu 720可以是任何类型的处理器设备，包括例如任何类型的专用或通用微处理器设备。如相关领域中的技术人员应当领会的，cpu 720也可以是多核/多处理器系统中的单个处理器，这样的系统单独操作，或者在集群或服务器群中操作的计算设备集群中操作。cpu 720可以连接到数据通信基础设施710，例如总线、消息队列、网络或多核消息传递方案。
83.设备700还可以包括主存储器740、例如随机存取存储器（ram），并且可以包括辅助存储器730。例如只读存储器（rom）的辅助存储器730可以例如是硬盘驱动器或可移动存储
驱动器。这样的可移动存储驱动器可以包括例如软盘驱动器、磁带驱动器、光盘驱动器、闪存等。该示例中的可移动存储驱动器以公知的方式从可移动存储单元读取和/或向其写入。可移动存储单元可以包括由可移动存储驱动器读取和向其写入的软盘、磁带、光盘等。如相关领域中的技术人员应当领会的，这样的可移动存储单元通常包括其中存储有计算机软件和/或数据的计算机可用存储介质。
84.在替代实现中，辅助存储器730可以包括其他类似装置，允许将计算机程序或其他指令加载到设备700中。这样的装置的示例可以包括程序盒式磁带和盒式磁带接口（诸如在视频游戏设备中发现的）、可移动存储芯片（诸如eprom或prom）和相关联插口，以及允许软件和数据从可移动存储单元传送到设备700的其他可移动存储单元和接口。
85.设备700还可以包括通信接口（“com”）760。通信接口760允许在设备700和外部设备之间传送软件和数据。通信接口760可以包括调制解调器、网络接口（诸如以太网卡）、通信端口、pcmcia插槽和卡等。经由通信接口760传送的软件和数据可以是信号的形式，其可以是电子的、电磁的、光学的或能够被通信接口760接收的其他信号。这些信号可以经由设备700的通信路径提供给通信接口760，设备700的通信路径可以使用例如电线或线缆、光纤、电话线、蜂窝电话链路、rf链路或其他通信信道来实现。
86.这样的设备的硬件元件、操作系统和编程语言在本质上是常规的，并且假定本领域技术人员对此充分熟悉。设备700还可以包括输入和输出端口750，以与诸如键盘、鼠标、触摸屏、监视器、显示器等输入和输出设备连接。当然，各种服务器功能可以在多个类似的平台上以分布式方式实现，以分配处理负载。替代地，服务器可以通过一个计算机硬件平台的适当编程来实现。
87.贯穿于本公开内容，对组件或模块的引用通常指代逻辑上可以分组在一起执行一项功能或一组相关功能的项目。通常旨在使相似的附图标记指代相同或相似的组件。组件和模块可以用软件、硬件或软件和硬件的组合来实现。
88.上述工具、模块和功能可以由一个或多个处理器执行。“存储”型介质可以包括计算机、处理器等的任何或所有有形存储器或者其相关联模块，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等，它们可以在任何时候为软件编程提供非暂时性存储。
89.软件可以通过互联网、云服务提供商或其他电信网络进行通信。例如，通信可以使能将软件从一个计算机或处理器加载到另一个计算机或处理器中。如本文使用的，除非限于非暂时性的有形“存储”介质，否则诸如计算机或机器“可读介质”之类的术语是指参与向处理器提供指令以供执行的任何介质。
90.前述一般描述仅为示例性和解释性的，并且不限制本公开。考虑到本文公开的本发明的说明书和实践，本发明的其他实施例对于本领域技术人员来说应当是清楚的。旨在使说明书和示例仅被认为是示例性的。