用于训练或使用机器学习模型的系统、显微镜系统、方法和计算机程序与流程

1.示例涉及用于训练机器学习模型的系统、方法和计算机程序，涉及用于检测有机组织样本的至少一种性质的机器学习模型、方法和计算机程序，以及涉及显微镜系统。


背景技术：

2.显微镜的主要用途在于分析有机组织。例如，可以使用显微镜获得有机组织的详细视图，使从业人员和外科医生能够检测组织的特征，诸如在健康有机组织中发现病理(即“不健康”)组织。


技术实现要素：

3.可能需要一种用于分析有机组织的改进方法，该方法能够更好地检测组织的特征。
4.此期望通过独立权利要求的主题来解决。
5.本公开的实施例提供了一种系统，包括一个或多个存储模块以及一个或多个处理器。该系统被配置为获得有机组织样本的多个图像。多个图像是使用多个不同的成像特性获取的。该系统被配置为使用多个图像训练机器学习模型。多个图像被用作训练样本，并且关于有机组织样本的至少一种性质的信息被用作机器学习模型的期望输出。训练机器学习模型，使得机器学习模型适用于在(仅)对多个不同成像特性的真子集进行再现的图像输入数据中检测有机组织样本的至少一种性质。
6.该系统被配置为提供机器学习模型。
7.有机组织的某些特征，诸如特征的形状或诸如病理组织，可能更容易在以不同图像特性获取的图像中检测到。例如，在某些光谱带，部分有机组织的反射、荧光或生物发光可能是病理组织的特性。通过使用相同有机组织的多个图像，这些图像是使用不同的图像特性(例如，在不同的光谱带处、以不同的成像模式、使用不同偏振等)获取的，机器学习模型可以提供人工智能的形式，可以被训练成甚至从仅匹配不同图像特性的真子集的图像中推断出至少一个特征，诸如病理组织的出现。例如，除了具有可见光谱或反射成像作为图像特性的白光反射图像(彩色图像)之外，由于其反射或荧光，附加图像可以用作已经在诸如病理组织等性质突出的光谱带处被获取的训练样本。机器学习模型可以“学习”使用输入样本来检测性质，所述输入样本是使用多个成像特性采集的，使得，如果将仅对成像特性的子集进行再现的输入数据馈送到机器学习模型，则对于诸如病理或健康组织的特征的检测依旧是可行的。
8.本发明的实施例进一步提供了用于机器学习模型的训练的方法。该方法包括获得有机组织样本的多个图像。使用多个不同的成像特性获取多个图像。该方法包括使用多个图像训练机器学习模型。在机器学习模型的训练中，将多个图像用作训练样本，并且关于有机组织样本的至少一种性质的信息用作机器学习模型的期望输出。机器学习被训练，使得
机器学习模型适用于在对多个不同成像特性的真子集进行再现的图像输入数据中检测有机组织样本的至少一种性质。该方法包括提供机器学习模型。本公开的实施例进一步提供了使用该系统或方法训练的机器学习模型。
9.本发明的实施例进一步提供了检测有机组织样本的至少一种性质的方法。该方法包括使用由上述具有对多个不同成像特性的真子集进行再现的图像输入数据的系统或方法生成的机器学习模型。
10.实施例进一步提供了具有程序代码的计算机程序，该程序代码用于当计算机程序在处理器上执行时执行上述方法中的至少一个。
11.这样的实施例可以在显微镜中使用，诸如手术显微镜，例如以在手术过程中帮助检测至少一个特征。本公开的实施例提供了显微镜系统，包括上述系统或被配置为执行至少一种方法。
附图说明
12.以下将仅以示例的方式并参考附图来描述装置和/或方法的一些示例，其中
13.图1示出了系统的实施例的框图；
14.图2a示出了用于训练机器学习模型的方法的实施例的流程图；
15.图2b示出了用于检测有机组织样本的至少一种性质的方法的实施例的流程图；
16.图3示出了显微镜系统的框图；以及
17.图4a至6b示出了检测有机组织样本的至少一种性质的示意图。
具体实施方式
18.现在将参考附图更全面地描述各种示例，其中示出了一些示例。在图中，为了清楚起见，线、层和/或区域的厚度可能被夸大了。
19.因此，虽然进一步的示例能够进行各种修正和替代形式，但其一些特定示例在附图中示出并且随后将被详细描述。然而，此详细描述并不将进一步的示例限制为所描述的特定形式。进一步的示例可以涵盖落入本公开范围内的所有修正、等同物和替代物。相同或相似的数字在整个附图的描述中指代相似或相似的元件，当提供相同或相似的功能时，它们可以在彼此比较时相同地或以修正的形式实现。
20.应当理解，当元件被称为“连接”或“耦接”到另一个元件时，这些元件可以直接连接或耦接或经由一个或多个中间元件。如果两个元件a和b使用“或”组合，如果没有明确或隐含定义，则这应理解为公开所有可能的组合，即仅a、仅b以及a和b。相同组合的替代措辞是“a和b中的至少一个”或“a和/或b”。经修正，这同样适用于两个元件以上的组合。
21.在此使用的用于描述特定示例的术语不旨在限制进一步的示例。每当使用诸如“一个”、“一个”和“这个”的单数形式并且仅使用单个元件既不明确也不隐含地定义为强制性的，进一步的示例也可以使用多个元件来实现相同的功能。同样，当随后将功能描述为使用多个元件来实现时，进一步的示例可以使用单个元件或处理实体来实现相同的功能。将进一步理解，术语“包括”、“包括”、“包括”和/或“包括”在使用时指定了所述特征、整数、步骤、操作、过程、动作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、过程、动作、元件、组件和/或其任何组。
22.除非另有定义，否则所有术语(包括技术和科学术语)在本文中以其示例所属领域的通常意义使用。
23.图1示出了用于训练机器学习模型的系统100的实施例的框图。系统包括一个或多个存储模块110以及一个或多个处理器120，其耦接到一个或多个存储模块110。可选地，系统100包括一个或多个接口130，其可以耦接到一个或多个处理器120，用于获取和/或提供信息，例如用于提供机器学习模型和/或用于获得多个图像。通常，系统的一个或多个处理器120可以被配置为执行以下任务，例如与一个或多个存储模块110和/或一个或多个接口130结合。
24.系统被配置为获得有机组织样本的多个图像。使用多个不同的成像特性获取多个图像。系统被配置为使用多个图像训练机器学习模型。多个图像被用作训练样本。关于有机组织样本的至少一种性质的信息被用作机器学习模型的期望输出。训练机器学习模型，使得机器学习模型适用于在(仅)对多个不同成像特性的真子集(例如，不是整个多个不同的成像特性)进行再现的图像输入数据中检测有机组织样本的至少一种性质。系统被配置为提供机器学习模型。例如，系统可以是计算机实现的系统。
25.实施例提供了用于训练机器学习模型的系统、方法和计算机程序。机器学习可以指计算机系统可以用来执行特定任务而无需使用明确的指令的算法和统计模型，而是依赖于模型和推理。例如，在机器学习中，可以使用从历史数据和/或训练数据的分析中推断出来的数据变换，而不是基于规则的数据变换。例如，可以使用机器学习模型或使用机器学习算法来分析图像的内容。为了让机器学习模型分析图像的内容，机器学习模型可以使用训练图像作为输入和训练内容信息作为输出来训练。通过使用大量训练图像和/或训练序列(例如单词或句子)以及相关的训练内容信息(例如标签或注释)来训练机器学习模型，机器学习模型“学习”以识别图像的内容，因此可以使用机器学习模式识别未包括在训练数据中的图像的内容。
26.机器学习模型可以使用训练输入数据进行训练。上面指定的示例使用了一种称为“监督学习”的训练方法。在监督学习中，机器学习模型使用多个训练样本进行训练，其中每个样本可以包括多个输入数据值和多个期望输出值，即每个训练样本与期望输出值相关。通过指定训练样本和期望的输出值，机器学习模型基于与训练期间提供的样本相似的输入样本“学习”提供的输出值。
27.在实施例中，这种方法可以用于多个图像。换句话说，机器学习模型可以使用监督学习来训练。将多个图像作为训练样本提供给机器学习模型。例如，多个图像可以例如同时在机器学习模型的多个输入处输入。作为相应的期望输出，可以使用关于至少一种性质的信息。例如，关于有机组织样本的至少一种性质的信息可以指示有机组织样本的至少一部分是健康的或病理的。因此，关于病理或健康组织的信息可以用作机器学习模型训练的期望输出。在这种情况下，机器学习模型可以被训练使得机器学习模型适用于在对多个不同成像特性的真子集进行再现的图像输入数据中检测病理或健康组织。替代地或附加地，关于有机组织样本的至少一种性质的信息可以指示有机组织样本的一个或多个特征(例如血管、有机组织样本的不同部分、骨骼结构等)的形状。因此，关于有机组织样本的一个或多个特征的形状的信息可以用作机器学习模型训练的期望输出。在这种情况下，可以训练机器学习模型使得机器学习模型适合于在对多个不同成像特性的真子集进行再现的图像输入
数据中确定一个或多个特征的形状。一般而言，有关有机组织样本的至少一种性质的信息，例如关于病理或健康组织的信息或关于有机组织样本的一个或多个特征的形状的信息可以对应于图像或位图，其中有机组织样本的指示有机组织样本的至少一种性质的部分被突出显示或表示。为了改进机器学习工作，图像或位图可以与多个图像中的图像具有相同大小或至少相同纵横比和/或表示有机组织样本的相同片段。为了提高机器学习模型的训练精度，从而提高使用具有多种不同图像特性的获取的图像所获得的价值，多个图像可以a)彼此精确对齐，使得第一张图像的像素中显示的有机组织的部分也显示在多个图像的第二张图像的对应像素中，并且b)可以基本上同时获取图像，例如以确保有机组织不会在图像之间发生变化。换言之，系统可以被配置为在逐个像素的基础上关联(即精确地对齐)多个图像。可以基于相关的多个图像来训练机器学习模型。附加地或可替代地，多个图像可以是基本上同时记录的图像。换言之，多个图像可以在彼此相距最多30秒(或最多15秒、最多10秒、最多5秒、最多2秒、最多1秒)内获取(适用于多个图像中的每对图像)。
28.系统被配置为获得有机组织样本的多个图像。在生物学中，组织是类似细胞(和细胞外基质)的集合，具有相同的起源，并且一起执行特定的功能。术语“有机”组织表示该组织是有机物的一部分或源自有机物，诸如动物、人或植物。例如，有机组织可以是(人)脑组织，可以训练机器学习模型来检测脑肿瘤(病理组织是脑肿瘤)。例如，可以从相同的角度从相同的有机组织样本获取多个图像。多个图像可以显示有机组织样本的相同片段。多个图像可以彼此精确对齐，使得在第一张图像的像素中显示的有机组织的部分也显示在多个图像的第二张图像的对应像素中(例如，在多个图像相关之后)。在至少一些示例中，多个图像是多个显微图像，即由显微镜的照相机获取的多个图像。
29.使用多个不同的成像特性获取多个图像。在此上下文中，术语“成像特性”表示多个图像已经使用导致具有不同的特征的图像的不同的技术获取，尽管是相同的有机组织(基本上同时)。例如，可以使用不同的成像模式(成像模式是反射成像、荧光成像和生物发光成像中的至少两种)、使用不同偏振(例如圆偏振、线性偏振、线性不同角度的偏振)在不同的光谱带上获取多个图像，并且是时间分辨的成像系列中的不同时间点的不同图像。换言之，多个成像特性可以涉及不同光谱带、不同成像模式、不同偏振和时间分辨的成像系列中的不同时间点中的至少一个。因此，多个图像可以包括在不同光谱带处获取的显微图像，在不同成像模式下获取的显微图像，以不同偏振获取的显微图像，以及表示时间分辨的成像系列中的不同时间点的显微图像组中的一个或多个元素。
30.在不同光谱带处获取的光谱图像可以是由图像再现的光的波长范围(即“波段”)不同的图像。这可以通过使用不同的传感器(例如，使用仅对特定波长范围敏感的传感器)、在传感器前面放置不同的滤光片(过滤不同波长范围的不同滤光片)或使用不同波长范围的光进行照明的有机组织样本来实现。
31.通过使用不同的光谱带，可以实现不同的成像模式，例如反射成像、荧光成像或生物发光成像。在反射成像中，光被有机组织样本以相同的波长反射，其用于照亮有机组织样本，并且反射光由相应的图像再现。在荧光成像中，有机组织样本以不同于用于照明有机组织样本的波长(或波长范围)的波长(或波长范围)发射光，并且发射的光是由相应的图像再现。在生物发光成像中，组织样本没有被照明，但仍会发出由相应图像再现的光。在反射成像、荧光成像或生物发光成像中，可以使用一个或多个滤光片来限制由相应图像再现的波
长范围。在下文中，大多数示例涉及不同的光谱带和/或正在使用的不同成像模式。
32.在各种实施例中，使用指示病理组织或用于检测应用于有机组织样本的荧光染料的不同光谱带。例如，荧光素、吲哚菁绿(icg)或5-ala(5-氨基乙酰丙酸)可用作外部荧光染料。换言之，图像的至少一个子集可以基于(或者)外部荧光染料的使用或有机组织样本的自发荧光。荧光染料可以应用于病理性有机组织样本的一部分，例如，因此可以在对应光谱带获取的多个图像中的至少一个中加以区分。此外，在某些情况下，健康或病理组织，或有机组织样本的某些特征可能是自发荧光的，因此它可以(也)是在对应光谱带获取的多个图像中的至少一个图像中被区分。因此，多个图像的至少一个子集可以对光谱带进行再现，该光谱带是调谐到被应用于有机组织样本的至少一种外部荧光染料，例如荧光染料被应用到的在由部分有机组织发出光的光谱带。附加地或替代地，多个图像的至少一个子集对光谱带进行再现，该光谱带被调谐到有机组织样本的至少一部分的自发荧光，例如由具有自发荧光性质的部分有机组织发射光的光谱带。
33.通常，多个图像可以包括一个或多个反射光谱图像以及一个或多个荧光光谱图像。例如，一个或多个反射光谱图像可以再现可见光谱。一个或多个荧光光谱图像可以各自对被调谐到在有机组织样本处可观察到的特定波长的荧光的光谱带进行再现。因此，多个图像可以包括图像子集，其中有机组织样本的至少一种性质可能更好区分(即一个或多个荧光光谱图像)，以及图像的另一个子集，可能用作检测至少一种性质的输入数据。例如，多个图像可以包括其中病理组织可以更好地与健康组织区分开来的图像的子集(即，一个或多个荧光光谱图像)，以及可能用作检测健康或病理组织中的输入数据的另一图像子集。附加地或替代地，多个图像可以包括其中一个或多个特征的形状更好区分的图像子集(即，一个或多个荧光光谱图像)，以及可能是在检测一个或多个特征的形状时用作输入数据的图像的另一子集。
34.附加地或替代地，可以使用不同偏振。可以使用不同偏振来限制入射到照相机的光通过相应的图像再现的方向或角度。当使用不同偏振时，多个图像可以包括在没有偏振的情况下获取的一个或多个图像、使用圆偏振获取的一个或多个图像、使用线性偏振获取的一个或多个图像，以及以不同的线性偏振的角度获取的不同图像的一个或多个元素。
35.在一些实施例中，可以使用不同的时间分辨的图像。例如，时间分辨的成像系列中的不同时间点的不同图像可以用于多个图像。在时间分辨的成像系列中，在一段时间(例如一秒)内记录有机组织样本的发光或荧光，因为一些发光或荧光效应会出现，例如在用特定波长/波段的光照明有机组织样本后。
36.如上所述，多个图像包括使用多个(例如至少2个、至少3个、至少5个、至少8个、至少10个)不同成像特性获取的图像。目前为止，这些图像都是二维图像。换句话说，多个图像可以是二维图像。
37.在某些情况下，包括3d数据也可能是有益的，因为某些病理组织可能由于其特有的3d形状或表面结构而可以被检测到。因此，多个图像可以包括有机组织样本的一个或多个三维表示。有机组织样本的一个或多个三维表示可以包括有机组织样本的三维表面表示和/或有机组织样本的基于(显微)成像断层扫描的三维表示。例如，一个或多个有机组织样本的三维表示可以与多个图像的二维图像准确对齐。附加地或替代地，有机组织样本的一个或多个三维表示可以显示与多个图像的二维图像相同的有机组织样本的片段。
38.在各种实施例中，多个图像中的图像可以用作期望的输出，或用于确定期望的输出，即关于机器学习模型的有机组织样本的至少一种性质的信息(例如关于的病理或健康组织的信息或一个或多个特征的形状的信息)。这可以实现机器学习模型的训练，而无需人工注释图像或有机组织样本的图像或无需手动定义有机组织样本的至少一种性质。换言之，关于有机组织样本的至少一种性质的信息可以基于图像，在下文中表示多个图像的“参考图像”(或“参考图像”)。附加地或替代地，关于有机组织样本的至少一种性质的信息可以是基于有机组织样本的三维表示。可以处理参考图像以获得(即确定或生成)关于有机组织样本的至少一种性质的信息。换言之，系统可以被配置为处理图像以获得关于有机组织样本的至少一种性质的信息(例如关于病理或健康组织的信息或关于一个或多个特征的形状的信息)。
39.在决定选择多个图像中的哪一个作为参考图像时需要小心。通常，可以选择其中至少一种性质是清晰可辨或可见的图像。换言之，可以使用指示有机组织样本的特定性质的成像特性来获取图像，例如，其指示特定类型的病理(或健康)组织，或指示有机组织样本的一个或多个特征的形状。如前所述，荧光成像可用于获得此类图像。换言之，参考图像可以是荧光光谱图像，即，使用荧光成像获取的图像。在此类情况下，该图像可被排除作为训练样本，例如为了避免使机器学习模型偏斜以致于其仅对使用相同成像特性获取的输入数据有效。
40.在某些情况下，可能会检测到多个性质，例如可能存在多种类型的病理组织或多种类型的特征。在这种情况下，例如，可以使用和/或处理多个图像中的多个参考图像以获得关于有机组织样本的至少一种性质的信息。换言之，关于有机组织样本的至少一种性质的信息可以基于多个图像中的两个或更多个(参考)图像。两个或更多个图像中的每一个都可以使用指示有机组织样本的特定性质的成像特性来获取，例如，指示特定类型的病理(或健康)组织或指示有机组织样本的一个或多个特征的形状。因此，关于至少一种性质的信息可以基于多种类型的性质，例如，基于多种类型的病理组织或基于多种类型的特征。换言之，在关于至少一种性质的信息中，可以例如单独或以组合方式突出显示或表示有机组织样本的多个不同的性质类型。
41.训练机器学习模型，使得机器学习模型适用于在对多个不同成像特性的真子集进行再现的图像输入数据中检测有机组织样本的至少一种性质。换言之，输入数据可以覆盖(即再现)比用作机器学习模型的训练样本的多个图像更少的成像特性。例如，图像输入数据可以是在可见光谱内操作的照相机的图像输入数据，或在可见光谱内操作的照相机的图像输入数据，并且进一步包括一个、两个或三个附加反射图像、荧光图像或生物发光图像。例如，照相机可以是显微镜的照相机，例如图3的显微镜310的照相机。可以训练机器学习模型，使得如果(仅)多个特征的子集，诸如仅在可见光谱内操作的照相机的图像输入数据作为输入提供给机器学习模型，则至少一种性质的检测会产生(可靠)结果。在某些情况下，机器学习模型可用于出于安全或成本原因而不能使用荧光染料的情况。因此，图像输入数据可以取自未用外部荧光染料处理的组织。
42.在各种实施例中，单个有机组织样本可能不足以正确训练机器学习模型。因此，有机组织的多个样本可以与多组多个图像一起使用。例如，多组中的多个图像的每个组可以与对应的关于有机组织样本的至少一种性质的信息一起使用，例如机器学习模型可以通过
在机器学习模型的输入处应用单个组的多个图像来训练，并且关于至少一种性质的相应信息被用作机器学习模型的期望输出。
43.如上所述，机器学习模型可用于在图像输入数据中检测有机组织样本的至少一种性质，例如，健康或病理组织，或一个或多个特征的形状。换言之，该系统可以被配置为使用具有对多个不同成像特性的(真)子集进行再现的图像输入数据的机器学习模型来检测至少一种性质，例如，检测图像输入数据中的病理或健康组织，或一个或多个特征的形状。例如，图像输入数据可以显示或表示有机组织，例如另一个有机组织样本(不同于之前描述的有机组织样本)。
44.在至少一些实施例中，该系统可以被配置为用视觉覆盖覆盖图像输入数据，该视觉覆盖指示有机组织样本的至少一种性质，例如通过突出显示病理或健康组织，或突出显示一个或多个特征的形状。
45.一个或多个接口130可对应于用于接收和/或发送信息的一个或多个输入和/或输出，该信息可以是在模块内、模块之间或不同的实体的模块之间的根据指定代码的数字(比特)值。例如，一个或多个接口130可以包括被配置为接收和/或发送信息的接口电路。
46.在实施例中，一个或多个处理器120可以使用一个或多个处理单元、一个或多个处理设备、任何用于处理的装置来实现，诸如处理器、计算机或可与相应适配的软件一起操作的可编程硬件组件。换言之，一个或多个处理器120的所描述的功能也可以在软件中实现，然后在一个或多个可编程硬件组件上执行。这样的硬件组件可以包括通用处理器、数字信号处理器(dsp)、微控制器等。
47.在至少一些实施例中，一个或多个存储模块110可以包括计算机可读存储介质组中的至少一个元件，诸如磁或光存储介质，例如硬盘驱动器、闪存、软盘、随机存取存储器(ram)、可编程只读存储器(prom)、可擦可编程只读存储器(eprom)、电子可擦可编程只读存储器(eeprom)，或网络存储。
48.结合所提出的概念或上文或下文描述的一个或多个示例来提及实施例的更多细节和方面。实施例可以包括对应于所提出概念的一个或多个方面或上文或下文描述的一个或多个示例的一个或多个附加可选特征。
49.图2a示出了用于训练机器学习模型的相应(计算机实现的)方法的实施例的流程图。该方法包括获得210有机组织样本的多个图像。使用多个不同的成像特性获取多个图像。该方法包括使用多个图像训练220机器学习模型。用作训练样本的多个图像和关于有机组织样本的至少一种性质的信息被用作机器学习模型的期望输出。训练机器学习模型，使得机器学习模型适用于在对多个不同成像特性的真子集进行再现的图像输入数据中检测有机组织样本的至少一种性质。该方法包括提供230机器学习模型。可选地，该方法包括使用250机器学习模型和对多个不同成像特性的真子集进行再现的图像输入数据来检测有机组织样本的至少一种性质。
50.或者，检测可以与机器学习模型的训练分开执行。因此，机器学习模型可以在显微镜系统中使用，而训练在单独的计算机系统中执行。因此，图2b示出了用于检测有机组织样本的至少一种性质的方法的实施例的流程图。可选地，该方法包括获得240机器学习模型和/或对多个不同成像特性的真子集进行再现的图像输入数据。该方法包括使用250机器学习模型和对多个不同成像特性的真子集进行再现的图像输入数据来例如检测有机组织样
本的至少一种性质。
51.结合所提出的概念或上文或下文描述的一个或多个示例来提及实施例的更多细节和方面。实施例可以包括对应于所提出概念的一个或多个方面或上文或下文描述的一个或多个示例的一个或多个附加可选特征。
52.图3示出了显微镜系统300的框图。例如，显微镜系统可以配置为图2a和/或2b的方法中的至少一种，和/或包括图1的系统。因此，一些实施例涉及包括如结合一个或多个图1到2b描述的系统的显微镜。或者，显微镜可以是结合一个或多个图1到2b所描述的系统的一部分或连接到系统。图3示出了配置为执行本文所述方法的显微镜系统300的示意图。系统300包括显微镜310和计算机系统320。显微镜310被配置为获取图像并连接到计算机系统320。计算机系统320被配置为执行本文描述的方法的至少一部分。计算机系统320可以被配置为执行机器学习算法。计算机系统320和显微镜310可以是单独的实体，但也可以一起集成在一个共同的外壳中。计算机系统320可以是显微镜310的中央处理系统的一部分和/或计算机系统320可以是显微镜310的子组件的一部分，诸如显微镜310的传感器、致动器、照相机或者照明单元等。
53.计算机系统320可以是具有一个或多个处理器以及一个或多个存储设备的本地计算机设备(例如个人计算机、笔记本电脑、平板计算机或移动电话)，或者可以是分布式计算机系统(例如具有一个或多个处理器的云计算系统和分布在各个位置的一个或多个存储设备，例如，在本地客户端和/或一个或多个远程服务器群和/或数据中心)。计算机系统320可以包括任何电路或电路组合。在一个实施例中，系统320可以包括一个或多个可以是任何类型的处理器。如本文所用，处理器可以指任何类型的计算电路，诸如但不限于例如显微镜或显微镜组件(例如照相机)的微处理器、微控制器、复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、非常长的指令字(vliw)微处理器、图形处理器、数字信号处理器(dsp)、多核处理器、现场可编程门阵列(fpga)，或任何其他类型的处理器或处理电路。可以被包括在计算机系统320中的其他电路类型可以是定制电路、专用集成电路(asic)等，诸如例如一个或多个电路(诸如通信电路)用于如移动电话、平板电脑、笔记本电脑、双向无线电和类似电子系统等无线设备。计算机系统320可以包括一个或多个存储设备，其可以包括一个或多个适用于特定应用的存储器元件，诸如随机存取存储器(ram)形式的主存储器、一个或多个硬盘驱动器和/或一个或多个处理可移动媒体的驱动器，诸如光盘(cd)、闪存卡、数字视频磁盘(dvd)等。计算机系统320还可以包括显示设备，一个或多个扬声器和键盘和/或控制器，其可以包括鼠标、轨迹球、触摸屏、语音识别设备或允许系统用户向计算机系统320输入信息和从计算机系统320接收信息的任何其他设备。
54.一些或所有方法步骤可以通过(或使用)硬件装置来执行，例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，一些一个或多个最重要的方法步骤可以由这样的装置执行。
55.取决于某些实施要求，本发明的实施例可以以硬件或软件来实施。可以使用诸如数字存储介质的非暂时性存储介质来执行该实施，例如软盘、dvd、蓝光、cd、rom、prom和eprom、eeprom或flash存储器，具有存储在其上的电子可读控制信号，其与可编程计算机系统协作(或能够协作)以执行相应的方法。因此，数字存储介质可以是计算机可读的。
56.根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编
程计算机系统协作，从而执行本文描述的方法之一。
57.通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。例如，程序代码可以存储在机器可读载体上。
58.其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
59.换言之，因此，本发明的实施例是具有程序代码的计算机程序，该程序代码用于当计算机程序在计算机上运行时执行本文描述的方法之一。
60.因此，本发明的进一步实施例是一种存储介质(或数据载体，或计算机可读介质)，包括存储在其上的计算机程序，用于当由处理器执行时，执行本文描述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。本发明的进一步实施例是如本文所述的装置，包括处理器和存储介质。
61.因此，本发明的进一步实施例是表示用于执行本文所述方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接，例如经由互联网传送。
62.进一步实施例包括处理装置，例如计算机或可编程逻辑器件，其被配置为或适用于执行本文描述的方法之一。
63.进一步实施例包括其上安装有用于执行本文所述方法之一的计算机程序的计算机。
64.根据本发明的进一步实施例包括装置或系统，其被配置为将用于执行本文描述的方法之一的计算机程序(例如，电子地或光学地)传送到接收器。例如，接收器可以是计算机、移动设备、存储设备等。例如，该装置或系统可以包括用于将计算机程序传送到接收器的文件服务器。
65.在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文描述的方法之一。通常，这些方法优选地由任何硬件装置来执行。
66.结合所提出的概念或上文或下文描述的一个或多个示例来提及实施例的更多细节和方面。实施例可以包括对应于所提出概念的一个或多个方面或上文或下文描述的一个或多个示例的一个或多个附加可选特征。
67.至少一些实施例涉及人工智能(ai)的使用，例如以机器学习模型的形式，在显微镜中，例如解释用手术显微镜获取的图像。例如，可以收集(所有)可用信息，并且ai可用于增加诊断信息。在实施例中，在手术显微镜中使用人工智能来解释捕获的图像。
68.如果要与ai一起使用，一些显微镜系统的局限性在于用于训练和应用ai的图像的收集。具体来说，显微镜按顺序获取不同的图像，并且因此收集不同的数据可能更加困难和繁琐。更困难的可能是数据注释的步骤，即聘请专家外科医生对健康和病理图像进行注释，或者更难以手动分割健康和患病组织区域。
69.发明人提出了一种更简单、更高效、更准确地在手术显微镜中进行ai训练和应用的方法。在至少一些实施例中，显微镜是能够同时和实时(例如基本上同时)捕获反射和荧光的多个图像(例如，多个图像)。换句话说，对于每个帧，照相机捕捉多个图像，在一些示例
中，高达3个反射和3个荧光光谱图像。这个数字将来可能会增加。同时和瞬时捕获图像的能力允许在逐像素的基础上关联图像。这些多个图像可以逐像素关联，为ai提供了很好的平台，即用于训练机器学习模型，因为更多的数据可用于神经网络关联。因此，实施例可以基于使用在不同光谱带处、反射和荧光中捕获的多个图像，同时使用外部荧光染料，诸如荧光素、吲哚菁绿(icg)和5-ala，或组织自发荧光(不含荧光染料)，并尝试训练系统以检测不同的病理和/或健康组织。使用ai相对容易且不明显的一个具体案例是使用5-ala诱导荧光图像来训练系统(即机器学习模型)，以从非荧光图像中检测脑肿瘤。具体来说，5-ala具有较好的敏感性和特异性，使脑肿瘤组织发出荧光，因此用于脑肿瘤切除术中的指导。换句话说，从荧光图像中分割肿瘤区域是相当容易的，只需设置荧光强度阈值。
70.这可以由计算机全自动完成，从而自动注释捕获的图像(例如，以获取有关病理或健康组织的信息)，无需人工干预，即使专家的审查可能会增加安全性和信心。系统同时捕获白光反射图像(彩色图像)的能力允许在此类外科手术的整个持续时间内实时收集数据。这可以消除捕获和注释图像的耗时且昂贵的过程。此ai/机器学习训练的目标是尝试通过观察组织来猜测大脑中是否存在肿瘤，而不使用5-ala，因为经济或监管原因，这种方法很昂贵且并不总是可用。
71.结合所提出的概念或上文或下文描述的一个或多个示例来提及实施例的更多细节和方面。实施例可以包括对应于所提出概念的一个或多个方面或上文或下文描述的一个或多个示例的一个或多个附加可选特征。
72.图4a至6b示出了检测有机组织样本的至少一种性质的示意图。在图4a和4b中，示出了有机组织样本，其中有机组织样本的特征的形状是可见的，但在以第一成像特性(例如白光反射成像)获取的第一张图像(图4a)中难以清楚地辨认出来，但在以第二成像特性(例如使用荧光成像，具有注入荧光染料的有机组织样本的特征)获取的第二张图像(图4b)中清晰可见。在这种情况下，第二张图像可用于确定有机组织样本特征的形状，并且可用于生成期望的输出用于机器学习模型的训练，使得机器学习模型可以用于单独使用第一张图像来确定特征的形状。
73.在图5a到5c中，示出了类似的场景。此次，两个明显的特征(血管以线示出，并且具有某种性质的组织的一部分以点示出)在第一张图像中可见(图5a)，该图像是用第一成像特性获取的(例如白光反射成像)。在第二张图像中(图5b)，部分组织的形状清晰可见。例如，可以使用荧光成像获取第二张图像。因此，第二张图像可用于生成关于有机组织样本的至少一种性质，并据此训练机器学习模型，使得机器学习模型适用于识别仅来自第一张图像的部分有机组织样本的形状，并将形状叠加在第一张图像以生成第三张图像(参见图5c)。
74.类似的示例在6a和6b中示出。通过使用机器学习模型(即人工智能)，第一张图像(图6a)，可能是由照相机获取的白光反射成像，其可以被注释以显示(图6a)有机组织样本的区域的形状600。
75.结合所提出的概念或上文或下文描述的一个或多个示例(例如图1至图3)提及了实施例的更多细节和方面。实施例可以包括对应于所提出概念的一个或多个方面或上文或下文描述的一个或多个示例的一个或多个附加可选特征。
76.实施例可以基于使用机器学习模型或机器学习算法。机器学习可以指计算机系统
可以用来执行特定任务的算法和统计模型，而无需使用明确的指令，而是依赖于模型和推理。例如，在机器学习中，可以使用从历史数据和/或训练数据的分析中推断出来的数据变换，而不是基于规则的数据变换。例如，可以使用机器学习模型或使用机器学习算法来分析图像的内容。为了让机器学习模型分析图像的内容，可以使用训练图像作为输入并使用训练内容信息作为输出来训练机器学习模型。通过使用大量训练图像和/或训练序列(例如单词或句子)以及相关的训练内容信息(例如标签或注释)来训练机器学习模型，机器学习模型“学习”以识别图像，因此可以使用机器学习模型识别未包括在训练数据中的图像的内容。同样的原理也可以用于其他类型的传感器数据：通过使用训练传感器数据和期望输出来训练机器学习模型，机器学习模型“学习”传感器数据和输出之间的变换，这可用于根据提供给机器学习模型的非训练传感器数据提供输出。可以对提供的数据(例如传感器数据、元数据和/或图像数据)进行预处理以获得特征向量，该向量用作机器学习模型的输入。
77.机器学习模型可以使用训练输入数据进行训练。上面指定的示例使用了一种称为“监督学习”的训练方法。在监督学习中，机器学习模型使用多个训练样本进行训练，其中每个样本可以包括多个输入数据值和多个期望输出值，即每个训练样本与期望输出值相关联。通过指定训练样本和期望的输出值，机器学习模型基于与训练期间提供的样本相似的输入样本“学习”提供哪个输出值。除了监督学习之外，还可以使用半监督学习。在半监督学习中，一些训练样本缺少相应的期望输出值。监督学习可以基于监督学习算法(例如分类算法、回归算法或相似性学习算法。分类算法可以在输出被限制为一组有限的值(分类变量)时使用，即输入是分类为一组有限值中的一个。当输出可能具有任何数值(在范围内)时，可以使用回归算法。相似性学习算法可能类似于分类和回归算法，但基于使用用于衡量两个对象的相似或相关程度的相似性函数的示例进行学习。除了监督或半监督学习之外，无监督学习可用于训练机器学习模型。在无监督学习中，可能提供(仅)输入数据和无监督学习算法可用于查找输入数据中的结构(例如，通过对输入数据进行分组或聚类，找到数据中的共性)。聚类是将包括多个输入值的输入数据分配到子集(集群)中，以便同一集群内的输入值根据一个或多个(预定义)相似性标准是相似的，而与包括在其他集群中的输入值不相似。
78.强化学习是第三组机器学习算法。换句话说，强化学习可用于训练机器学习模型。在强化学习中，一个或多个软件参与者(称为“软件代理”)在环境中被训练以采取动作。基于采取的动作，计算奖励。强化学习是基于训练一个或多个软件代理来选择这样的动作，使得从而增加累积奖励，从而导致软件代理在完成给的任务时变得更好(如通过增加奖励所证明的那样)。
79.此外，一些技术可以应用于一些机器学习算法。例如，可以使用特征学习。换言之，机器学习模型可以至少部分地使用特征学习来训练，和/或机器学习算法可以包括特征学习组件。特征学习算法，可以称为表示学习算法，可以保留其输入中的信息，但也可以将其以使其变得有用的方式进行变换，通常作为执行分类或预测之前的预处理步骤。例如，特征学习可以基于主组件分析或聚类分析。
80.在一些示例中，可以使用异常检测(即异常值检测)，其目的是提供对输入值的识别，这些输入值通过显著不同于大多数输入或训练数据而提高自身异常嫌疑。换言之，机器学习模型可以至少部分地使用异常检测来训练，和/或机器学习算法可以包括异常检测组
件。
81.在一些示例中，机器学习算法可以使用决策树作为预测模型。换言之，机器学习模型可以基于决策树。在决策树中，关于项目的观察(例如一组输入值)可以由决策树的分支表示，而与该项目对应的输出值可以由决策树的叶子表示。决策树可以同时支持离散值和连续值作为输出值。如果使用离散值，则可以将决策树表示为分类树，如果使用连续值，则可以将决策树表示为回归树。
82.关联规则是可用于机器学习算法的进一步技术。换言之，机器学习模型可以基于一个或多个关联规则。关联规则是通过识别大量数据中变量之间的关系来创建的。机器学习算法可以识别和/或利用一个或多个关系规则，这些规则表示从数据中导出的知识。规则可以例如用于存储、操作或应用知识。
83.机器学习算法通常基于机器学习模型。换言之，术语“机器学习算法”可表示可用于创建、训练或使用机器学习模型的一组指令。术语“机器学习模型”可以表示表示学习知识的数据结构和/或规则集(例如，基于由机器学习算法执行的训练)。在实施例中，机器学习算法的使用可以暗示底层机器学习模型(或多个底层机器学习模型)的使用。机器学习模型的使用可能意味着机器学习模型和/或作为机器学习模型的数据结构/规则集由机器学习算法训练。
84.例如，机器学习模型可以是人工神经网络(ann)。ann是受生物神经网络启发的系统，诸如可以在视网膜或大脑中找到的系统。ann包括多个互连的节点和节点之间的多个连接，即所谓的边。通常有三种类型的节点，接收输入值的输入节点、(仅)连接到其他节点的隐藏节点以及提供输出值的输出节点。每个节点可以表示人工神经元。每条边都可以从一个节点到另一个节点传输信息。一个节点的输出可以定义为其输入的(非线性)函数(例如其输入之和)。基于边或提供输入的节点的“权重”，可以在函数中使用节点的输入。可以在学习过程中调整节点和/或边的权重。换言之，人工神经网络的训练可以包括调整人工神经网络的节点和/或边的权重，即，为给定的输入实现期望的输出。
85.可替代地，机器学习模型可以是支持向量机、随机森林模型或梯度提升模型。支持向量机(即支持向量网络)是具有相关学习算法的监督学习模型，可用于分析数据(例如分类或回归分析)。支持向量机可以是通过向输入提供属于两个类别之一的多个训练输入值来进行训练。可以训练支持向量机以将新的输入值分配给两个类别之一。可替代地，机器学习模型可以是贝叶斯网络，它是概率有向无环图模型。贝叶斯网络可以使用有向无环图来表示一组随机变量及其条件依赖关系。可替代地，机器学习模型可以基于遗传算法，它是模拟自然选择过程的搜索算法和启发式技术。
86.如本文所用，术语“和/或”包括一个或多个相关列出的项目的任何和所有组合，并且可以缩写为“/”。
87.尽管已经在装置的上下文中描述了一些方面，但显然这些方面也表示相应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示相应块的描述或相应装置的项目或特征的描述。一些或所有方法步骤可以通过(或使用)硬件装置来执行，例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，一些一个或多个最重要的方法步骤可以由这样的装置执行。
88.参考标号列表
89.100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
系统
90.110
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
一个或多个存储模块
91.120
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
一个或多个处理器
92.130
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
一个或多个接口
93.210
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
获得有机组织样本的多张图像
94.220
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
训练机器学习模型
95.230
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
提供机器学习模型
96.240
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
获得机器学习模型
97.250
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
使用机器学习模型
98.300
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜系统
99.310
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜
100.320
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算机系统
101.600
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
有机组织样本的区域