用于外科手术的工具类型不可知辅助功能的制作方法

本披露内容的不同示例涉及用于基于手术显微镜的显微镜图像来控制与手术干预相关的辅助功能的技术。

背景技术：

1、现有技术已经披露了在目镜中向用户(通常是外科医生)提供非常不同的信息的手术显微镜。举例来说，de 10203215 a1描述了一种手术显微镜，该手术显微镜包括产生电子图像信号的相机。图像信号显示在电子目镜上，该电子目镜包括用于电子图像数据的对应的显示装置。还可以在电子目镜上输出更多的信息。从de 10 2014 113 935 a1中也已知一种手术显微镜。

2、典型的手术显微镜具有多种可能的设置。在手术过程中选择好的设置可能通常需要很多费用。

3、文件ep 3593704的披露内容是已知的，该披露内容尤其披露了一种辅助内窥镜，该辅助内窥镜基于图像处理以及先前手术的数据库得出动作。在这种情况下，使用手动创建的数据库。这种技术通常灵活性有限并且因此有时不准确。

技术实现思路

1、因此，需要改进的技术来控制与手术干预相关的辅助功能。特别地，需要控制与手术干预期间使用的手术显微镜的控制相关的辅助功能。

2、这个目的通过独立专利权利要求的特征来实现。从属专利权利要求的特征限定了实施例。

3、下面描述了借助于计算机实施的算法在手术干预期间，特别是在显微手术干预期间(例如，在头部区域、眼部区域、心脏区域、脊柱(神经科)、耳鼻喉区域或牙区域)提供辅助的技术。

4、为此目的，以适当的方式控制辅助功能。辅助功能可以以自动化方式控制在手术干预期间使用的一件或多件装备。可以控制手术显微镜。辅助功能还可以提供用户交互(例如，给出指令等)。

5、在不同示例中，例如，可以启动辅助功能的一个或多个动作。可以确定启动一个或多个动作的时间点。还可以确定动作的类型。

6、为了控制辅助功能的目的，使用手术显微镜的显微镜图像，以便获取由显微镜图像成像的干预区的地图。

7、一般而言，该地图可以指示基于显微镜图像在干预区中识别的一个或多个活动区域的时间背景和/或空间背景。与干预区内的其他区域相比，可以弄清活动区域中增加的活动。换言之，地图可以具有多个区域，其中，如果一些区域与地图的其他区域相比具有增加的活动或动态特性，则可以将这一些区域确定为活动区域。特别是通过手术器械在对应的活动区域中的移动，可以带来增加的动态特性。

8、这种技术基于以下认识：显微镜图像中随时间的变化可能特别是由手术器械(也称为工具)的移动引起的。本文描述的不同示例基于以下认识：可能没有必要显式地识别为了控制与手术干预相关的辅助功能所使用的手术器械的类型。而是，可以仅仅例如根据以下原则基于显微镜图像的比较来确定在干预区的不同区域中手术器械的存在或不存在：“某物正在移动的地方是手术器械所处的潜在位置”。换言之，地图可能是工具类型不可知的，即，例如不区分不同类型的手术器械。因此，以这种方式，可以基于显微镜图像的时间背景来确定地图，该地图确定一个或多个活动区域。于是可以基于该地图来控制辅助功能。特别地，例如，可以对手术显微镜进行重新定位。这可以在显微镜图像中识别手术器械的前提下发生。

9、根据一个示例，一种用于控制用于对患者进行手术干预的辅助功能的方法包括应用机器学习算法。这是基于借助于手术显微镜捕获的至少两个显微镜图像。该至少两个显微镜图像对手术干预的干预区进行成像。该至少两个显微镜图像是在不同的时间点捕获的，也就是说，例如是在两个或更多个时间点捕获的。在应用机器学习算法的基础上，获取干预区的地图。该地图指示干预区中的一个或多个活动区域。该一个或多个活动区域与手术器械存在的增加的概率相关联。该方法另外包括使用该地图，以便控制与手术干预相关的辅助功能。

10、作为一般规则，可以设想要确定一个或多个地图。为了简单起见，在下文中针对单个地图描述这些技术。然而，可以针对多个地图复制对应的技术。作为一般规则，可以设想通过使用例如多个地图来考虑多个干预区(例如，每个干预区一个地图)。

11、该至少两个显微镜图像可以例如从包括以下项的组中选择：单色图像；立体图像；对深度信息进行编码的图像。立体图像可以对深度信息进行编码。因此，一般而言，该至少两个显微镜图像可以任选地对进一步的信息(例如，深度信息)进行编码。为此目的，可以使用合适的成像模态。例如，可以借助于飞行时间成像和/或结构化照明和/或立体成像来捕获对应的信息。在结构化照明的情况下，可以将照明图案投影到干预区上，并且可以基于由于干预区的形貌引起的照明图案的失真来弄清深度信息。举例来说，在预处理步骤中，可以基于这种编码的深度信息在各自情况下为每个显微镜图像生成对应的形貌图像，该形貌图像既而可以用作机器学习算法的输入。

12、在此描述的不同示例中，可以使用不同类型的机器学习算法。特别地，例如可以使用深度神经网络，例如卷积神经网络。

13、捕获显微镜图像的不同时间点之间的时间间隔可以对应于外科医生通常移动手术器械的时间标尺。也就是说，时间间隔可以例如在秒的范围内，即可以例如在200毫秒(ms)到5秒的范围内。

14、因此，活动区域可以表示与干预区内的其他区域相比手术器械被定位的概率增加的这种区域。

15、这种技术基于以下认识：手术器械根据时间而移动，从而导致显微镜图像中的时间可变的对比度。活动区域可以通过考虑时间可变的对比度来确定。背景(患者的解剖特征)通常典型地可能是相对静态的。

16、一般而言，地图可以表示由从用于捕获显微镜图像的手术显微镜的成像模态中提取的、由至少两个显微镜图像描绘的语义语境中的特定特征。因此，地图可以从至少两个显微镜图像并且任选地基于机器学习算法中的进一步的输入而提取特征。可以例如校正地调节地图，使得包括在至少两个显微镜图像中的噪声或干扰不被用作地图的特征。显微镜图像的对比度通常取决于所使用的成像模态。地图可以提取对比度。

17、地图和至少两个显微镜图像可以在公共参考坐标系中定义。这使得可以实现由地图指示的特征的位置(例如，活动区域)与至少两个显微镜图像中的对应位置之间的分配。显微镜图像对手术显微镜的视场进行成像。所述视场可以包含干预区。

18、这种技术基于以下认识：可以有助于基于对一个或多个活动区域的识别来控制辅助功能。为了控制辅助功能，通常特别有帮助的是，手术器械在干预区中的存在以及特别是定位被用作决策的基础。不同示例特别地基于以下认识：相比于区分不同类型的手术器械，在干预区中的特定活动区域中存在手术器械对于辅助功能的精确控制可能更重要。

19、在这方面，在不同示例中，地图关于不同类型的手术器械可能是不可知的，即不区分不同类型的手术器械(工具类型不可知地图)。在这种情况下，手术器械的类型意味着例如由手术器械可能实现的几何形状、外观和功能。手术器械的类型例如可以是：刀具、剪刀、夹子、手术刀、吸气器、镊子、cusa、骨打孔器等。然而，手术器械的类型不旨在取决于外科医生。换言之，这意味着手术器械的类型并不旨在取决于手术器械在具体手术实例中的特定作用。例如，特定类型的手术器械(例如，刀具)可以由不同的外科医生以各种各样的方式使用；例如，刀具可以由不同的外科医生不同地握持、不同地移动(即具有不同的移动模式等)。然而，手术器械的这种使用可以定义活动区域并且在这方面由地图表示。

20、换言之，这意味着尽管活动区域可以指示手术器械的存在，但是地图不包括将在不同类型的手术器械之间进行区分的对应的特征。

21、已经确定，特别是如果不区分不同类型的手术器械，则对辅助功能的稳健控制是可能的。这可能特别是由于以下事实：即使对于相同类型的手术器械，手术器械的外观也可能有很大的不同。举例来说，手术器械的颜色和形状可以取决于制造商而变化很大。已经观察到，如果考虑不同类型的手术器械之间的区别，对辅助功能的控制的可靠性会受到不利影响，因为以这种方式会产生进一步的误差源。如果不需要区分不同类型的手术器械，则可以更加稳健地训练机器学习算法。因此，在不同示例中，可以关于不同类型的手术器械不可知地控制辅助功能，即不旨在根据不同类型的手术器械来控制辅助功能。

22、活动区域可以以不同方式呈现在地图中。

23、例如，可以设想地图包括针对干预区的多个区域的手术器械存在或不存在的概率值。这将对应于概率地图。可以以这种方式指示活动区域。在这种情况下，一个或多个活动区域于是可以定位在具有增加的概率值的这种区域处。

24、可以在不对手术器械进行定位的情况下检查手术器械的存在。取决于手术器械是否被识别，于是可以选择性地启动辅助功能；或者取决于手术器械是否被识别，可以启动不同的辅助功能。这种变型是基于以下认识：手术器械可以被稳健地识别；不需要定位，因为指示活动区域的地图可用于辅助功能的空间部件。这是基于以下认识：如果手术器械存在于显微镜图像中，通常由手术器械启动增加的活动(因此除了例如基于光流确定地图之外，不需要对手术器械进行单独定位)。这意味着对手术器械存在的识别可以用于对以下进行合理性检查：活动区域中增加的活动实际上是由手术器械引起的(而不是由其他干扰引起的)。

25、机器学习算法可以具有回归层，以便输出连续的概率值。

26、以这种方式，可以为干预区中的活动区域的定位指定概率分布。以这种方式，可以以更差异化的方式控制辅助功能。

27、例如，与机器学习算法相关的技术，比如原则上已知的与所谓的“显著性”分析相关的技术可以与这种概率值相关使用。例如，参见reddy、navyasri等人“tidying deepsaliency prediction architectures[整理深度显著性预测架构]”arxiv预印本arxiv：2003.04942(2020)。例如，在这种情况下可以使用人工深度神经网络。这些网络可以具有将图像信息转换成降维特征向量或特征矩阵的编码分支。这可以任选地随后进行解码，以上采样到期望的分辨率。在这种情况下，编码的潜在特征可以以特定于应用的方式定义。作为使用概率分布用于指示活动区域的替代或补充，也可以进行确定性定位。举例来说，可以就特定位置是位于活动区域内还是活动区域外而言进行二元区分。机器学习算法可以包括用于二进制分类的分类层。在这方面，可以将掩模用于一个或多个活动区域。所述掩模可以在干预区中的不同位置之间提供二元区分，即，在各自情况下指定干预区中的特定位置是位于活动区域之内还是之外。

28、因此，地图一般而言可以包括活动区域作为对应的特征。除了指定一个或多个活动区域的地图的特征之外，地图还可以包括甚至进一步的其他特征，例如患者的解剖特征的位置、手术显微镜的视野中的参考点(比如，视野的中心)等等。然而，作为与活动区域无关的这种特征的替代或补充，地图可以包括指示一个或多个活动区域的背景信息的一个或多个进一步的特征。

29、这里可设想不同类型的特征。作为除了一个或多个活动区域之外的进一步特征，地图还可以包括指示由一个或多个活动区域的活动区域组实现一个或多个空间邻域关系的特征。例如，地图可以指示两个或更多个活动区域。一组活动区域可以相应地包括两个或更多个活动区域。于是可以借助于机器学习算法进行检查，以弄清组中的活动区域是否满足与相对空间布置(空间邻域关系)相关的特定标准。例如，可以进行检查以弄清各个组的活动区域之间的距离是否小于预定义的阈值，也就是说，活动区域相对靠近地位于一起(这可以指示手术器械彼此靠近地定位)。例如，其他邻域关系将关注同一组中彼此最接近的活动区域之间的平均距离。

30、通过与地图相关的组的活动区域对空间邻域关系的实现的附加标识使得可以在基于地图控制辅助功能时考虑对应的背景信息。例如，已经确定，在一些变型中，例如与以隔离方式布置在距干预区中的其他活动区域大距离处的这种活动区域相比，在辅助功能的控制中更大程度地考虑靠近在一起的活动区域的空间集群可能有帮助。

31、除了在活动区域集本身内定义的这种邻域关系之外，还可以替代地或附加地考虑结合患者的解剖结构中的一个或多个活动区域的布置而定义的邻域关系。相应地，该地图可以包括指示一个或多个活动区域中的活动区域的一个或多个解剖邻域关系的实现的特征。举例来说，可以识别相对地靠近受保护的解剖区(例如，敏感器官)布置的这种活动区域。也可以识别特别靠近解剖靶区(例如，要去除的肿瘤)定位的这种活动区域。

32、已经确定，这种解剖环境在可靠地控制辅助功能方面可以是有用的。举例来说，可以假设外科医生对靠近敏感器官等的这种活动区域的注意力增加。例如，在辅助功能的控制中，可以在更大程度上考虑特别靠近患者的敏感解剖特征或靠近手术干预的靶区的这种活动区域。这是基于以下认识：这样的活动区域通常需要外科医生增加注意力。此外，以这种方式，可以定义多个活动区域的顺序，并且辅助功能可以有目的地结合根据该顺序定义的较高层级级别处的活动区域来实施。

33、地图可以任选地包括的、以及提供活动区域的背景信息的进一步特征将涉及例如活动区域中的手术器械的数量。

34、有时可能会发生多个手术器械以相对于彼此重叠或相邻的方式被使用的情况。地图于是将可以指示对应的活动区域包含多少对应的手术器械。机器学习算法可以执行对应的分类/回归。

35、例如，例如与其中布置有相对较少的手术器械的活动区域相比，其中布置有相对较多手术器械的活动区域可能需要外科医生增加注意力。还可以基于每个活动区域使用的手术器械数量的这种指示来定义多个活动区域的顺序。例如，可以设想在顺序的较高层级级别处建立定位有更大数量的手术器械的这种活动区域。

36、作为上文提及的特征类别的替代或补充，地图还可以指示动态特性，例如，在一个或多个活动区域的活动区域中，特别是图像部分/元素的增加的活动或增加的动态特性、或增加的/更大的移动。例如，可以设想将特定的手术器械(例如，用于固定组织的夹具)相对静态地定位；而其他手术器械(例如，抽吸器)是手动引导的并且因此相对动态地定位。这可以用不同活动区域内的动态特性来表达(例如，通过不同显微镜图像之间的光流强度来量化)，手术器械的类型未被训练和/或未被模型或算法识别。

37、典型地，例如在由手引导的手术器械的情况下，在定位方面具有高动态特性的这种手术器械对于外科医生来说可能是相对重要的。也可以设想，考虑到活动区域中手术器械的动态特性，也确定活动区域之间的顺序。

38、一般而言，该方法可以还包括确定一个或多个活动区域的顺序。

39、可以基于包括用于一个或多个活动区域的背景信息的一个或多个特征来确定顺序。于是可以取决于该顺序来控制辅助功能。

40、因此，该顺序可以定义活动区域之间的层级。较高层级级别处的活动区域可以比较低层级级别处的辅助区域在更大程度上影响辅助功能的控制。

41、特别地，可以通过这种技术解决目标冲突。例如，如果有多个不同的活动区域彼此相隔一定距离布置，那么在每个给定的时间点，这些活动区域中的仅一个活动区域可以位于手术显微镜的视场的中心。如果根据顺序，“最重要的”活动区域定位在视场的中心，则于是可以解决对应的目标冲突。这使得能够特别好地控制辅助功能，以适应手术干预的要求。

42、例如，该顺序可以通过机器学习算法来确定。然而，也可以设想该顺序由下游控制算法来确定。

43、上面已经结合地图讨论了不同示例，该地图是基于至少两个显微镜图像创建的并且包括与一个或多个活动区域相关联的特征。机器学习算法基于输入创建该地图。

44、该输入基于至少两个显微镜图像。在一种变型中，可以设想机器学习算法直接获取至少两个显微镜图像作为输入。例如，至少两个显微镜图像可以作为单独的通道传输到机器学习算法。然而，替代地或附加地，机器学习算法获取的作为输入的进一步或其他信息也可以基于至少两个显微镜图像来确定。

45、在不同示例中，为了获取机器学习算法的输入而对至少两个显微镜图像进行预处理可以通过计算机实施的预处理算法来实现。

46、例如，可以使用深度信息，以便例如借助于预处理算法来创建干预区的形貌图像。可以例如借助于立体成像、飞行时间成像和/或结构化照明来生成深度信息。这种确定也可以在弄清组合图像之前进行，如下文所描述。

47、可以基于至少两个显微镜图像的组合来确定组合图像，并且机器学习算法可以获取该组合图像作为输入。

48、组合图像可以包括作为至少两个显微镜图像中的显微镜图像之间的差异度量的光流值。在光流图像的情况下，通常去除空间信息。光流可以对图像点的移动进行编码。光流可以描述例如矢量场，该矢量场指定成像光学单元的参考系统中的对象空间的可见点的、投影到图像平面中的速度。例如，用于确定光流图像的对应组合算法可以逐图像点地或逐块地操作。用于获取作为组合图像的特定形式的光流图像的一个示例性组合算法例如在以下中有所描述：sun,d.、yang,x.、liu,m.y.、和kautz,j.(2018)，pwc-net:cnns foroptical flow using pyramid,warping,and cost volume[pwc-net：使用金字塔、扭曲和成本量进行光流的cnn]，ieee计算机视觉和模式识别会议论文集(第8934页至第8943页)。用于获取作为组合图像的特定形式的光流图像的另一示例性组合算法例如在以下中有所描述：hui,t.w.、tang,x.和loy,c.c.(2018)，liteflownet:a lightweight convolutionalneural network for optical flow estimation[liteflownet：用于光流估计的轻量级卷积神经网络]，ieee计算机视觉和模式识别会议论文集(第8981页至第8989页)。用于获取作为组合图像的特定形式的光流图像的另一示例性组合算法例如在以下中有所描述：ilg,e.、mayer,n.、saikia,t.、keuper,m.、dosovitskiy,a.和brox,t.(2017)，flownet 2.0:evolution of optical flow estimation with deep networks[flownet 2.0：利用深度网络进行光流估计的进展]，ieee计算机视觉和模式识别会议论文集(第2462页至第2470页)。

49、作为一般规则，在本文描述的不同示例中，因此可以使用组合算法，该组合算法基于两个或更多个显微镜图像来确定具有光流值作为对比度(即，指定光流)的组合图像。在这种情况下，这种组合算法可以考虑以下事实：除了手术器械之外，背景也可以具有一定程度的移动。然而，在这种情况下，创建地图的机器学习算法能够基于光流图像区分背景和手术器械是可能的。这是由于以下事实：手术器械的光流值的特性通常不同于背景的光流值的特性。作为示例：光流的矢量场中的连续均匀区域指示手术器械；背景不移动或沿与仪器不同的方向移动(例如，如果2个仪器中仅1个仪器接触背景)；与背景相比，关于器械的移动幅度的差异很大，即背景移动的程度通常较小；手术器械的光流中存在高的梯度。

50、为了使确定地图的机器学习算法和确定具有光流值作为对比度的组合图像的组合算法很好地协作，可以设想两种算法的端到端训练。

51、在本文描述的不同示例中，至少两个显微镜图像可以以手术显微镜相对于干预区的相同姿势(也就是说，手术显微镜的成像光学单元相对于干预区的相同距离和相同取向)捕获。在一个这种示例中，可以通过形成至少两个显微镜图像之间的差异来直接获取组合图像。

52、然而，在其他示例中，还可以设想的是，已经利用手术显微镜相对于干预区的不同姿态捕获了至少两个显微镜图像。在一个这样的示例中，可以执行至少两个显微镜图像到公共坐标系的配准，随后基于该配准将该至少两个显微镜图像变换到公共坐标系。接着可以将对应地变换的至少两个显微镜图像彼此组合，以获取叠加的显微镜图像。

53、上面已经描述了不同变型，其中机器学习算法的输入基于至少两个显微镜图像。任选地，也可以使用不基于至少两个显微镜图像的一个输入或进一步的输入。

54、举例来说，机器学习算法可以获取手术干预的背景作为进一步的输入。对应的背景信息可以指示例如手术的类型、手术的进展、手术的外科医生等。这种补充信息可以有助于有目的地控制辅助功能。

55、在本文描述的不同变型中，可以使用至少一种控制算法，该至少一种控制算法获取地图作为输入，该地图由机器学习算法作为输出提供。

56、该至少一种控制算法于是可以提供用于辅助功能的控制数据作为输出。控制数据可以例如被传输到在手术干预期间使用的装备(例如，手术显微镜)的一个或多个致动器。控制数据也可以被传输到人机接口，例如以便向手术干预的外科医生输出用户指导。

57、一般而言，控制数据可以定义辅助功能的类型和辅助功能的时间点中的至少一者。

58、举例来说，可以设想，原则上可以执行辅助功能的不同动作，并且取决于地图的内容在不同动作之间进行选择。取决于地图的内容，可以替代地或附加地更早或更晚地执行动作。

59、控制算法获取地图作为输入。在不同示例中，控制算法可以获取一个或多个进一步的输入。例如，控制算法可以获取手术干预的背景作为进一步的输入。上面已经结合机器学习算法(该机器学习算法提供地图作为输出)用的进一步的输入描述了与手术干预的背景相关的细节；对应的细节也适用于结合控制算法。

60、控制算法可以考虑预定义的规则集。举例来说，规则集可以作为进一步的输入传输到控制算法。还可以固定地预定义规则集。

61、规则集可以根据地图的一个或多个特征来定义例如用于控制数据的选择的边界条件。例如，以这种方式，可以确保提供辅助功能的连续性。例如，可以避免由辅助功能提供的动作的突然变化。可以考虑用户特定的偏好。

62、例如，规则集可以定义辅助功能的动作的时间平滑。为此目的，可以在输出侧执行对应动作的低通滤波。在输入侧还可以考虑由机器学习算法连续获取的多个地图的时间变化。例如，对应的低通滤波可以应用于通过机器学习算法连续获取的地图的对应时间序列。

63、规则集的示例性规则例如可以是：“只有当手术器械中的多于一个器械在显微镜图像中可见时，才执行辅助功能的动作”；或者“没有将手术显微镜的聚焦调节到一个手术器械组，如果出现多于两个手术器械组，则该一个手术器械组不布置在至少另一个手术器械组的空间邻域中”。

64、规则集还可以例如根据关于活动区域的背景信息的特征来确定如何确定活动区域的顺序，如上面已经讨论的。于是可以根据这种顺序来控制辅助功能。

65、根据这种顺序可以考虑的示例性规则例如是：“如果多个手术器械的工具末端在空间上接近，那么对于进一步的相关决策，增加的重要性归因于对应的活动区域”；或者“如果两个手术器械位于活动区域内并且因此在空间上接近，那么对应的活动区域被赋予比其他活动区域更高的权重”。

66、作为一般规则，在本文描述的不同示例中可以控制各种各样的辅助功能。举例来说，可以控制与手术显微镜连接的辅助功能，该手术显微镜捕获至少两个显微镜图像，地图基于该至少两个显微镜图像创建。然而，也可以设想与手术显微镜无关的辅助功能受到控制；例如，这种辅助功能可以涉及与手术干预相关使用的其他设备件，或者通过人机接口实现用户指导。

67、例如，可以设想从包括以下要素的组中选择辅助功能：对手术显微镜进行重新定位；改变手术显微镜的放大系数；调整手术显微镜的聚焦；通过手术显微镜的照明来调整干预区的照明。

68、例如，可以设想辅助功能基于一个或多个活动区域中的至少一个活动区域与手术显微镜的视野的中心之间的距离来对手术显微镜进行重新定位。换言之，这意味着可以将识别的活动区域布置在手术显微镜的视野的中心(“自动定中心”)。

69、举例来说，上面已经描述了用于例如基于描述活动区域的背景信息的特征，即例如基于活动区域之间的或关于患者的解剖结构的空间和/或解剖邻域关系来定义活动区域的顺序的技术。于是可以基于该顺序选择对应的活动区域，并且手术显微镜可以相对于该活动区域居中。这种技术基于以下认识：对于外科医生来说，将特定活动区域定位在视场的中心以便以有针对性的方式在那里进行手术干预通常是特别重要的。因此可以特别有目的地提供辅助功能。

70、一种计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由处理器加载和执行。当处理器执行程序代码时，这使得处理器执行用于控制对患者进行手术干预的辅助功能的方法。该方法包括应用机器学习算法来获取干预区的地图。该应用基于至少两个显微镜图像。该至少两个显微镜图像借助于手术显微镜捕获并且对手术干预的干预区进行成像。该至少两个显微镜图像是在不同的时间点捕获的。该方法另外包括使用该地图，以便控制与手术干预相关的辅助功能。在这种情况下，该地图指示干预区中的一个或多个活动区域，该一个或多个活动区域与手术器械存在的增加的概率相关联。

71、用于控制对患者进行手术干预的辅助功能的控制装置被配置成基于至少两个显微镜图像应用机器学习算法，以便以这种方式获取干预区的地图。该至少两个显微镜图像借助于手术显微镜捕获并且对干预区进行成像。该至少两个显微镜图像是在不同的时间点捕获的。该控制装置另外被配置成使用地图来控制与手术干预相关的辅助功能。该地图指示干预区中的一个或多个活动区域，该一个或多个活动区域与手术器械存在的增加的概率相关联。

72、例如，系统可以包括控制装置和手术显微镜。

73、手术显微镜可以具有用于对手术显微镜进行重新定位的致动器。

74、辅助功能于是可以包括对手术显微镜进行重新定位。

75、在不脱离本发明的保护范围的情况下，上面阐述的特征和下面描述的特征不仅可以在明确阐述的对应组合中使用，而且可以在进一步的组合中使用、或单独使用。