用于内窥镜系统中的深度感知和碰撞避免的3D可视化增强的制作方法

本公开整体涉及外科机器人领域，并且更具体地涉及产生用于深度感知或碰撞避免的视觉增强。

背景技术：

1、微创外科手术(mis)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜规程通常涉及在患者体内(例如，在腹部)形成多个小切口，以及通过切口将一个或多个工具和至少一个内窥镜相机引入患者体内。然后通过使用引入的工具在由相机提供的可视化辅助下执行外科规程。

2、一般来讲，mis提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。在一些实施方案中，可利用外科机器人系统执行mis，该外科机器人系统包括用于基于来自操作者的命令操纵外科工具的一个或多个机器人臂。例如，操作者可提供用于操纵外科工具的命令，同时查看由相机提供并在显示器上向用户显示的图像。

3、如上所述，mis可包括将内窥镜插入患者体内以在手术期间提供患者的内部解剖结构的影像。微创外科手术工具在内窥镜的视野内被插入到患者体内。内窥镜视图允许外科医生看到工具，使得工具能够被移动和操纵，例如，以执行切割、抓取或缝合。

4、在远程操作期间，当前的3d内窥镜视图可以利用双眼线索提供对深度和距离的感知。这允许用户判断工作空间和工具之间的相对位置。然而，这种系统可能变得无效。取决于内窥镜视点、照明条件和工作空间中的纹理，用户可能难以测量对象和工具的距离。这对新用户和有经验的用户同样提出了挑战。当使用标准二维显示器时，由于缺乏空间线索，这个问题可能会加剧。不管是在三维立体显示器上还是在标准二维显示器上示出，内窥镜视图中示出的距离的不确定性都可能由于不确定性而导致外科手术执行速度变慢--用户可能较慢地执行外科手术以维持准确性或降低工具之间或工具与患者解剖结构之间的不期望接触的风险。

技术实现思路

1、可以增强远程操作期间或手动执行的操作的内窥镜可视化。一种系统和方法可以在现有内窥镜视图上呈现图形，该图形可以包括示出或增强在内窥镜图像馈送中检测到的表面的形状和轮廓的可见性的图案(例如，3d网格线或网眼)。图形可以包括外科工具位置的几何参考。这种参考可以帮助观察者辨别工具相对于患者的组织、器官和其他内部解剖结构的位置。这种系统可以增强用户对内窥镜场景以及工具与环境之间的相对距离的深度感知。内窥镜场景是由内窥镜的图像传感器捕获的环境。例如，当插入患者中时，内窥镜场景可以包括患者的解剖结构，诸如组织、器官、肌肉、骨等。

2、在一些实施方案中，执行一种改善对内窥镜视图的深度感知的方法。该方法包括获得从内窥镜获得的一系列图像，换句话说，内窥镜视频馈送。对一系列图像执行三维重建以重建在一系列图像中示出的解剖结构。基于三维重建在一系列图像上呈现图形(例如，图案、网格等)，从而导致在显示器上示出增强的内窥镜视频馈送。该方法可以用外科机器人系统和/或手动微创外科手术工具来执行。以此方式，可改进用户的操作性能且可减少诸如工具之间或工具与内部解剖结构之间的无意碰撞。

3、图形可视化增强可以被显示在三维显示器(例如，立体显示器)上，该三维显示器被呈现在内窥镜视图之上或“顶上”。还可以在用于远程操作、仿真或训练场景的虚拟现实或增强现实设置(例如，具有头戴式显示器)中利用3d重建场景。附加地或替代地，增强(例如，几何网格线及位置参考)还可在标准二维屏幕上实施并提供三维场景的单眼线索。用户可以通过诸如手持控制器、图形用户界面、语音识别或其他等效输入装置之类的用户输入装置来完全或部分地启用或禁用图形覆盖。

4、上述
技术实现要素：
不包括本公开的所有实施方案的详尽列表。可以设想的是，本公开包括可由上文概述的各种实施方案的所有合适组合以及下文具体实施方式中描述并且在权利要求部分中特别指出的那些来实践的系统和方法。一些组合可具有未具体叙述的特定优点。

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，所述图形包括投影到所述解剖结构的一个或多个检测表面上的图案。

3.根据权利要求2所述的方法，其中，所述图案包括网格、线和点中的至少一者。

4.根据权利要求1所述的方法，其中，所述图形包括示出在所述一系列图像中捕获的外科工具的位置的一条或多条线。

5.根据权利要求1所述的方法，其中，所述图形指示以下各项中的至少一项：两个或更多个工具之间的距离，或者工具与在所述一系列图像中捕获的所述解剖结构之间的距离。

6.根据权利要求1所述的方法，还包括，如果工具被确定为在接近(a)另一工具或(b)所述解剖结构的指定区域的阈值内，则提供视觉或音频警告。

7.根据权利要求1所述的方法，其中，所述内窥镜包括立体相机，所述立体相机具有至少两个透镜和在不同有利位置处的对应图像传感器，并且所述三维重建包括在所述立体相机的图像之间建立立体对应以重建所述解剖结构。

8.根据权利要求1所述的方法，其中，执行三维重建包括从外科机器人臂或工具驱动器获得位置信息，以确定所述一个或多个外科工具的位置，所述外科机器人臂或所述工具驱动器引起所述一系列图像中示出的一个或多个外科工具中的移动。

9.根据权利要求1所述的方法，其中，所述三维重建包括分析在所述一系列图像中捕获的结构光以重建所述解剖结构。

10.根据权利要求1所述的方法，其中，所述三维重建包括将机器学习模型应用于所述一系列图像以重建所述解剖结构。

11.根据权利要求1所述的方法，其中，所述一系列图像包括一个或多个手动操作的外科工具。

12.根据权利要求1所述的方法，其中，所述显示器是立体显示器。

13.一种系统，包括：

14.根据权利要求13所述的系统，其中，执行三维重建包括从所述一个或多个外科机器人臂或工具驱动器获得位置信息，以确定所述一个或多个外科工具的位置，所述一个或多个外科机器人臂或所述工具驱动器引起附接到所述一个或多个外科机器人臂并且在所述一系列图像中示出的一个或多个外科工具中的移动。

15.根据权利要求13所述的系统，其中，所述图案包括网格、线和点中的至少一者。

16.根据权利要求13所述的系统，其中，所述图形包括示出在所述一系列图像中捕获的耦合到所述一个或多个外科机器人臂的外科工具的位置的一条或多条线。

17.根据权利要求13所述的系统，其中，所述图形指示以下各项中的至少一项：两个或更多个外科工具之间的距离，或者外科工具与在所述一系列图像中捕获的所述解剖结构之间的距离。

18.根据权利要求13所述的系统，还包括，如果外科工具被确定为在接近(a)另一外科工具或(b)所述解剖结构的指定区域的阈值内，则提供视觉或音频警告。

19.根据权利要求13所述的系统，其中，所述内窥镜包括立体相机，所述立体相机具有至少两个透镜和在不同有利位置处的对应图像传感器，并且所述三维重建包括在所述立体相机的图像之间建立立体对应以重建所述解剖结构。

20.根据权利要求13所述的系统，其中，所述显示器包括立体显示器、2d显示器和头戴式显示器中的至少一者。