规划和实时更新医疗器械的3D轨迹的制作方法

规划和实时更新医疗器械的3d轨迹
发明领域
1.本发明涉及用于规划和实时更新医疗器械的3d轨迹以促进医疗器械到达受试者的身体内的目标的方法、设备和系统，更具体地说，本发明涉及规划和实时更新医疗器械的3d轨迹并根据规划和/或更新的3d轨迹将医疗器械朝向目标转向。
2.背景
3.临床实践中使用的各种诊断和治疗程序涉及将诸如针和导管的医疗工具经皮插入受试者的身体，并且在许多情况下还涉及使医疗工具在身体内转向以到达目标区域。目标区域可以是任何身体内区域，包括病灶、肿瘤、器官或血管。需要插入这样的医疗工具和使这样的医疗工具转向的程序的示例包括疫苗接种、血液/流体取样、局部麻醉、组织活检、导管插入、低温消融、电解消融、近距离放射治疗、神经外科、深部脑刺激、各种微创手术等。
4.在软组织中引导医疗工具(例如，针)和使医疗工具转向是需要良好的三维协调、理解患者解剖结构和高水平的经验的复杂任务。已经提出了用于执行这些功能的图像引导自动化(例如，机器人)系统。
5.有些自动化插入系统是基于操纵机器人手臂，而有些则利用可安装在身体上的机器人设备。这些系统包括协助医生选择插入点并将医疗器械与插入点和目标对准的引导系统，以及还能自动地将器械朝向目标插入的转向系统。
6.然而，在本领域中仍然需要自动化插入和转向设备和系统，该设备和系统能够准确和可靠地实时确定、更新和控制医疗工具在受试者的身体内的3d轨迹转向，以最有效、准确和安全的方式到达目标区域。
7.概述
8.根据一些实施例，本公开涉及用于在受试者的身体中自动插入医疗器械/工具(例如，针)和使医疗器械/工具(例如，针)转向的系统、设备和方法，用于诊断和/或治疗目的，其中医疗器械在受试者的身体内的转向基于医疗器械(例如，其末端或尖端(tip))在受试者的身体内的规划的和实时更新的3d轨迹，以允许通过最有效和安全的路线安全和准确地到达受试者的身体内的目标区域。在另外的实施例中，本文公开的系统、设备和方法允许精确地确定和考虑医疗器械的尖端在身体内的实际位置，以增加医疗过程的有效性、安全性和准确性。
9.医疗器械(例如，针)在身体内的自动插入和转向，特别是利用实时轨迹更新，比在身体内手动转向这种器械有利。例如，通过利用实时的3d轨迹更新和转向，实现医疗器械到身体内目标的最有效的时空和安全路线。此外，实时3d轨迹更新和转向的使用增加了安全性，因为它减少了伤害受试者的身体内的非目标区域和组织的风险，因为3d轨迹更新可以考虑障碍物或沿路线的任何其他区域，而且，它可以考虑这些障碍物的实时位置的变化。此外，这种自动转向提高了过程的准确性，这使得能够到达小目标和/或位于身体内难以到达的区域中的目标。例如，这对于恶性肿瘤的早期发现特别重要。此外，它为患者提供了更高的安全性，因为人为错误的风险显著降低。此外，根据一些实施例，这样的过程可以远程执行(例如，从邻近的控制室或甚至从医疗设施外部)，这对医务人员来说更安全，因为它最小
化了他们在过程中暴露于辐射，以及他们暴露于患者可能携带的任何传染病，例如covid-19。此外，规划的和执行的和/或更新的轨迹的3d可视化极大地提高了用户监督和控制医疗过程的能力。由于自动设备可以从远程站点控制，甚至从医院外部控制，因此不再需要医生出现在程序室。
10.根据一些实施例，提供了用于在受试者的身体内插入医疗器械/工具和使医疗器械/工具转向的系统，其利用规划和实时更新医疗器械在受试者的身体内的3d轨迹，其中该系统包括自动插入和转向设备(例如，机器人)、处理器和可选的控制器。在一些实施例中，插入和转向设备被配置为基于医疗器械的规划的3d轨迹在受试者的身体内插入和转向/导航医疗器械，以到达受试者的身体内的目标区域，其中3d轨迹基于医疗器械和/或目标的实时位置被实时更新，并且其中，利用处理器促进3d轨迹的规划和更新，该处理器还被配置为将实时转向指令传送到插入和转向设备。根据一些示例性实施例，处理器可以被配置为计算医疗器械从进入点(也称为“插入点”)到目标的路径(例如，3d轨迹)，并基于医疗器械和/或目标的实时位置实时更新3d轨迹。在一些实施例中，处理器还可以被配置成实时地提供指令，以便根据规划的和/或更新的3d轨迹，(在3d空间中)将医疗器械转向目标。在一些实施例中，该转向可以通过适当的控制器由处理器控制。在一些实施例中，以闭环方式控制该转向，由此处理器通过适当的控制器生成到转向设备的运动命令，并接收关于医疗器械和/或目标的实时位置的反馈，该反馈随后用于3d轨迹的实时更新。
11.在一些实施例中，转向系统可以被配置为与成像系统结合操作。在一些实施例中，成像系统可以包括任何类型的成像系统(模态)，包括但不限于：x射线透视、ct、锥束ct、ct透视、mri、超声波或任何其他合适的成像模态。在一些实施例中，系统的处理器可以进一步配置为处理并在显示器/监视器上示出来自成像系统(例如，ct，mri)的图像、或由图像(或切片)集创建的图像视图，以确定/计算医疗器械从进入点到目标的最佳3d轨迹，并基于医疗器械(特别是其尖端)和目标的实时位置实时更新3d轨迹，同时避免不必要的障碍和/或到达期望的沿路线的检查点。在一些实施例中，进入点、目标和障碍物(例如，诸如骨骼或血管)由医生在所获得的图像或生成的图像视图中的一者或更多者上手动标记。
12.根据一些实施例，提供了一种将医疗器械转向受试者的身体内的目标的方法，该方法包括：
13.计算医疗器械从进入点到受试者的身体内的目标的规划的3d轨迹；
14.根据规划的3d轨迹将医疗器械转向目标；
15.确定目标的实时位置是否偏离先前的目标位置；
16.如果确定目标的实时位置偏离先前的目标位置，则更新医疗器械的3d轨迹，以促进医疗器械到达目标，以及
17.根据更新的3d轨迹将医疗器械转向目标。
18.根据一些实施例，先前的目标位置可以是在计算规划的3d轨迹之前确定或限定的目标的位置。根据一些实施例，先前的目标位置可以是在医疗器械的转向期间确定或限定的目标的位置。
19.根据一些实施例，更新3d轨迹包括计算在两个平面中的每一个平面上的2d轨迹修正；以及将所计算的两个2d轨迹修正叠加以形成一个3d轨迹修正。
20.根据一些实施例，两个平面彼此垂直。
21.根据一些实施例，可以利用逆运动学算法来计算每个2d轨迹修正。
22.根据一些实施例，医疗器械朝向身体内目标的转向可以利用自动化医疗设备来执行。
23.根据一些实施例，目标的实时位置由用户手动确定。
24.根据一些实施例，目标的实时位置由处理器使用图像处理和/或机器学习算法自动确定。
25.根据一些实施例，该方法还可以包括实时追踪目标在身体内的位置，以确定目标在身体内的实时位置。
26.根据一些实施例，该方法可以进一步包括确定医疗器械在身体内的实时位置。
27.根据一些实施例，医疗器械的实时位置可以由用户手动确定。
28.根据一些实施例，医疗器械的实时位置可以由处理器使用图像处理和/或机器学习算法自动确定。
29.根据一些实施例，该方法还可以包括实时追踪医疗器械在身体内的位置以确定医疗器械在身体内的实时位置。
30.根据一些实施例，该方法可以进一步包括确定医疗器械在身体内的实时位置是否偏离规划的3d轨迹。
31.根据一些实施例，确定医疗器械在身体内的实时位置是否偏离规划的3d轨迹可以连续执行。
32.根据一些实施例，确定目标的实时位置是否偏离先前的目标位置可以连续执行。
33.根据一些实施例，确定医疗器械在身体内的实时位置是否偏离规划的3d轨迹可以在沿3d轨迹的检查点处执行。
34.根据一些实施例，确定目标的实时位置是否偏离先前的目标位置可以在沿3d轨迹的检查点处执行。
35.根据一些实施例，检查点是预定的。根据一些实施例，检查点存在于空间模式、时间模式或两者。根据一些实施例，检查点沿医疗器械的规划的3d轨迹间隔开。根据一些实施例，以预定的时间间隔到达检查点。
36.根据一些实施例，如果确定医疗器械在身体内的实时位置偏离规划的3d轨迹，则该方法进一步包括沿3d轨迹添加和/或重新定位一个或更多个检查点。
37.根据一些实施例，沿3d轨迹添加和/或重新定位一个或更多个检查点可以由用户手动执行。根据一些实施例，沿3d轨迹添加和/或重新定位一个或更多个检查点可以由处理器执行。
38.根据一些实施例，计算医疗器械从进入点到受试者的身体内的目标的规划的3d轨迹包括计算规划的3d轨迹，使得医疗器械避免与受试者的身体内的一个或更多个初始障碍物接触。根据一些实施例，该方法还可以包括识别受试者的身体内的一个或更多个初始障碍物和/或一个或更多个新障碍物的实时位置，并且其中，更新医疗器械的3d轨迹包括更新3d轨迹，使得医疗器械避免进入一个或更多个初始障碍物和/或一个或更多个新障碍物的实时位置。
39.根据一些实施例，该方法还可以包括确定沿规划的3d轨迹的一个或更多个次目标点，由此医疗器械在到达目标之前到达沿3d轨迹的一个或更多个次目标点。
40.根据一些实施例，如果确定目标的实时位置偏离先前的目标位置，则该方法可以进一步包括确定该偏离是否超过预定阈值，并且由此仅在确定该偏离超过预定阈值时更新医疗器械的3d轨迹。
41.根据一些实施例，该方法可以进一步包括获得受试者的身体内感兴趣区域的一个或更多个图像。
42.根据一些实施例，一个或更多个图像包括通过成像系统获得的图像，成像系统选自：ct系统、x射线透视系统、mri系统、超声系统、锥束ct系统、ct透视系统、光学成像系统和电磁成像系统。根据一些实施例，一个或更多个图像包括ct扫描。
43.根据一些实施例，该方法可以进一步包括在显示器上显示一个或更多个图像，或由一个或更多个图像创建的图像视图。
44.根据一些实施例，确定医疗器械在受试者的身体内的实时位置包括确定医疗器械的尖端在受试者的身体内的实际位置，并且其中，确定医疗器械的尖端在受试者的身体内的实际位置包括：
45.在一个或更多个图像中检测医疗器械；
46.限定所检测的医疗器械的末端；
47.确定医疗器械的末端的补偿值；和
48.基于所确定的补偿值确定医疗器械的尖端在受试者的身体内的实际位置。
49.根据一些实施例，补偿值从正补偿值、负补偿值和无(零)补偿值中选择。
50.根据一些实施例，补偿值可以基于查找表来确定。
51.根据一些实施例，医疗器械在受试者的身体内的转向是在三维空间中执行的。
52.根据一些实施例，该方法还可以包括在监视器上显示：规划的3d轨迹、医疗器械的实时位置和更新的3d轨迹中的至少一个。
53.根据一些实施例，计算从进入点到目标的规划的3d轨迹包括：
54.计算在两个平面中的每一个平面上的从进入点到目标的2d轨迹；和
55.将所计算的两个2d轨迹叠加以形成单个3d轨迹。
56.根据一些实施例，两个平面彼此垂直。
57.根据一些实施例，提供了一种用于将医疗器械转向受试者的身体内的目标的系统，该系统包括：
58.自动设备，其被配置为将医疗器械转向目标，自动设备包括一个或更多个致动器和控制头，控制头被配置为将医疗器械联接到控制头；和
59.处理器，其配置为执行本文公开的方法。
60.根据一些实施例，系统还可以包括控制器，控制器被配置为控制设备的操作。
61.根据一些实施例，该系统的自动设备具有至少五个自由度。根据一些实施例，该设备具有至少一个可移动平台。根据一些实施例，该设备被配置成放置在受试者的身体上或非常靠近受试者的身体。
62.根据一些实施例，提供了一种用于基于医疗器械的规划的和实时更新的3d轨迹将医疗器械转向受试者的身体内的目标的设备，该设备包括一个或更多个致动器，致动器被配置为将医疗器械插入受试者的身体内和使医疗器械在受试者的身体内转向，其中更新的3d轨迹通过以下项确定：
63.实时追踪医疗器械在身体内的实际3d轨迹；
64.实时追踪目标在身体内的位置；
65.如果医疗器械的实时3d轨迹偏离规划的3d轨迹和/或目标的实时位置偏离先前的目标位置，则计算在两个平面中的每一个平面上的所需的2d轨迹修正，并叠加所计算的两个2d轨迹修正以形成一个3d轨迹修正。
66.根据一些实施例，该设备还可以包括处理器，该处理器被配置为计算规划的和更新的3d轨迹。
67.根据一些实施例，该设备具有至少五个自由度。根据一些实施例，该设备是自动设备。根据一些实施例，该设备被配置成放置在受试者的身体上。
68.根据一些实施例，提供了一种用于将医疗器械转向受试者的身体内的内部目标的系统，该系统包括：
69.自动设备，其被配置为执行医疗器械朝向受试者的身体内的目标的转向；
70.至少一个处理器，其配置成：
71.计算医疗器械从进入点到受试者的身体内的目标的规划的3d轨迹；
72.根据所规划的3d轨迹生成命令，以使医疗器械转向目标；
73.确定目标的实时位置是否偏离先前的目标位置；
74.实时更新医疗器械的3d轨迹；和
75.根据更新的3d轨迹生成命令，以使医疗器械转向目标；
76.和；
77.至少一个控制器，其被配置为基于由处理器生成的命令来控制设备的操作。
78.根据一些实施例，计算从进入点到目标的规划的3d轨迹包括：
79.计算在两个平面中的每一个平面上的从进入点到目标的2d轨迹；以及叠加所计算的两个2d轨迹以形成单个3d轨迹。
80.根据一些实施例，两个平面彼此垂直。根据一些实施例，可以利用逆运动学算法来计算每个2d轨迹。
81.根据一些实施例，至少一个处理器可以被配置为确定目标的实时位置与先前的目标位置的偏离是否超过设定阈值，并且由此仅在确定偏离超过设定阈值时才更新医疗器械的3d轨迹。
82.根据一些实施例，更新3d轨迹包括：计算在两个平面中的每一个平面上的2d轨迹修正；以及将所计算的两个2d轨迹修正叠加以形成一个3d轨迹修正。在一些实施例中，两个平面彼此垂直。在一些实施例中，利用逆运动学算法计算每个2d轨迹修正。
83.根据一些实施例，至少一个处理器被配置成确定医疗器械在身体内的实时位置是否偏离规划的3d轨迹。根据一些实施例，至少一个处理器被配置为使用图像处理和/或机器学习算法来确定医疗器械在身体内的实时位置。根据一些实施例，至少一个处理器被配置成实时追踪医疗器械在身体内的位置，以确定医疗器械在身体内的实时位置。根据一些实施例，医疗器械的实时位置由用户手动确定。
84.根据一些实施例，至少一个处理器被配置为使用图像处理和/或机器学习算法来确定目标的实时位置。根据一些实施例，至少一个处理器被配置成实时追踪目标在身体内的位置，以确定目标在身体内的实时位置。根据一些实施例，目标的实时位置由用户手动确
定。
85.根据一些实施例，确定医疗器械在身体内的实时位置是否偏离规划的3d轨迹是连续执行的。
86.根据一些实施例，确定医疗器械在身体内的实时位置是否偏离规划的3d轨迹在沿3d轨迹的检查点处执行。
87.根据一些实施例，确定医疗器械在受试者的身体内的实时位置包括确定医疗器械的尖端在受试者的身体内的实际位置。
88.根据一些实施例，确定目标的实时位置是否偏离先前的目标位置是连续执行的。
89.根据一些实施例，确定目标的实时位置是否偏离先前的目标位置在沿3d轨迹的检查点处执行。
90.根据一些实施例，该系统可以进一步包括或被配置为与成像设备结合操作。
91.根据一些实施例，成像设备可以选自：ct设备、x射线透视设备、mri设备、超声设备、锥束ct设备、ct透视设备、光学成像设备和电磁成像设备。
92.根据一些实施例，系统的至少一个处理器被配置成从成像设备获得一个或更多个图像。
93.根据一些实施例，系统还可以包括：用户界面、显示器、控制单元、计算机或其任何组合中的一个或更多个。
94.根据一些实施例，提供了一种用于确定医疗器械的尖端在受试者的身体内的实际位置的方法，该方法包括：
95.获得医疗器械在受试者的身体内的一个或更多个图像；
96.在一个或更多个图像中检测医疗器械；
97.在一个或更多个图像中限定所检测的医疗器械的末端；
98.确定用于医疗器械的末端的补偿值；和
99.基于所确定的补偿值确定医疗器械的尖端在受试者的身体内的实际位置。
100.根据一些实施例，补偿值为正补偿值、负补偿值和无(零)补偿值之一。
101.根据一些实施例，使用成像系统获得一个或更多个图像。根据一些实施例，成像系统选自：ct系统、x射线透视系统、mri系统、超声系统、锥束ct系统、ct透视系统、光学成像系统和电磁成像系统。
102.根据一些实施例，用于确定医疗器械的尖端在受试者的身体内的实际位置的方法还包括确定医疗器械相对于成像系统的坐标系的位置和/或取向。
103.根据一些实施例，该方法还可以包括向用户显示一个或更多个图像。在一些实施例中，一个或更多个图像包括ct扫描。根据一些实施例，基于医疗器械围绕ct扫描的左右轴线的角度来确定补偿值。根据一些实施例，补偿值可以基于查找表来确定。
104.根据一些实施例，补偿值可以基于以下中的一个或更多个来确定：成像系统、成像系统的操作参数、医疗器械的类型、医疗器械的尺寸、医疗器械的角度、医疗器械所在的组织或其任何组合。
105.根据一些实施例，医疗器械的尖端的实际位置是医疗器械的尖端的实际3d位置。
106.根据一些实施例，该方法可以实时地执行。根据一些实施例，该方法可以连续地和/或以时间间隔执行。
107.根据一些实施例，提供了一种用于规划可插入受试者的身体内的医疗器械的3d轨迹的方法，该方法包括：
108.基于感兴趣区域的第一图像或第一组图像帧，计算医疗器械从进入点到受试者的身体内的目标的第一平面轨迹，第一图像帧或第一组图像帧属于第一平面；
109.基于感兴趣区域的第二图像帧或第二组图像帧，计算医疗器械从进入点到目标的第二平面轨迹，第二图像帧或第二组图像帧属于第二平面；和
110.叠加第一平面轨迹和第二平面轨迹以确定医疗器械从进入点到目标的3d轨迹。
111.根据一些用于计算可插入受试者的身体内的医疗器械的3d轨迹的方法的实施例，第一平面和第二平面是垂直的。
112.根据该方法的一些实施例，目标和进入点由用户手动限定。
113.根据一些实施例，该方法还可以包括使用图像处理和/或机器学习算法在第一图像帧，或第二图像帧，或第一组图像帧，或所述第二组图像帧上限定目标和进入点中的至少一个。
114.根据一些实施例，提供了一种用于规划可插入受试者的身体内的医疗器械的3d轨迹的系统，该系统包括：
115.处理器，其被配置为执行本文所公开的用于计算可插入受试者的身体内的医疗器械的3d轨迹的方法；
116.监视器，其被配置为至少显示第一图像帧或第一组图像帧、第二图像帧或第二组图像帧、目标、进入点以及所计算的第一平面轨迹和第二平面轨迹；和
117.用户界面，其被配置为接收用户输入。
118.根据一些实施例，提供了一种用于实时更新医疗器械的3d轨迹的方法，3d轨迹从插入点延伸到受试者的身体内的目标，该方法包括：
119.限定目标的实时位置；
120.确定目标的实时位置是否偏离先前的目标位置；
121.如果确定目标的实时位置偏离先前的目标位置：
122.计算第一平面上的第一2d轨迹修正；
123.计算第二平面上的第二2d轨迹修正；和
124.通过叠加第一2d轨迹修正和第二2d轨迹修正来确定用于尖端的3d轨迹修正。
125.根据用于实时更新医疗器械的3d轨迹的方法的一些实施例，第一平面和第二平面彼此垂直。
126.根据该方法的一些实施例，计算第一2d轨迹修正和第二2d轨迹修正利用逆运动学算法。
127.根据该方法的一些实施例，限定目标的实时位置包括接收其用户输入。
128.根据该方法的一些实施例，限定目标的实时位置包括使用图像处理和/或机器学习算法自动识别目标的实时位置。
129.根据该方法的一些实施例，限定实时位置包括实时追踪目标在身体内的位置。
130.根据一些实施例，提供了一种用于实时更新医疗器械的3d轨迹的方法，3d轨迹从插入点延伸到受试者的身体内的目标，该方法包括：
131.限定目标的实时位置；
132.限定医疗器械的实时位置；
133.确定目标的实时位置是否偏离先前的目标位置和/或基于所限定的医疗器械的实时位置确定医疗器械是否偏离规划的3d轨迹；
134.如果确定目标的实时位置偏离先前的目标位置和/或医疗器械偏离规划的3d轨迹，则：
135.计算第一平面上的第一平面轨迹修正；
136.计算第二平面上的第二平面轨迹修正；和
137.通过叠加第一平面轨迹修正和第二平面轨迹修正来确定用于尖端的3d轨迹修正。
138.根据一些实施例，提供了一种用于实时更新医疗器械的3d轨迹的系统，3d轨迹从插入点延伸到受试者的身体内的目标，该系统包括：
139.处理器，其被配置为执行用于实时更新医疗器械的3d轨迹的方法；
140.监视器，其被配置为显示一个或更多个图像帧上的目标、插入点和所计算的第一平面轨迹和第二平面轨迹；和
141.用户界面，其被配置为从用户接收输入。
142.根据一些实施例，提供了一种将医疗器械转向受试者的身体内的目标的方法，该方法包括：
143.计算医疗器械从进入点到受试者的身体内的目标的规划的3d轨迹；
144.根据所规划的3d轨迹将医疗器械转向目标；
145.确定是否有以下中的至少一项：(i)目标的实时位置是否偏离先前的目标位置，(ii)医疗器械的实时位置是否偏离规划的3d轨迹，以及(iii)沿规划的3d轨迹是否识别出一个或更多个障碍物；
146.如果确定目标的实时位置偏离先前的目标位置，确定医疗器械的实时位置偏离规划的3d轨迹，和/或确定沿规划轨迹识别出一个或更多个障碍物，则更新医疗器械的3d轨迹以促进所述医疗器械到达目标，以及
147.根据更新的3d轨迹将医疗器械转向目标。
148.本公开的某些实施例可以包括上述优势中的一些、全部或不包含上述优势中的任何一个。根据本文所包括的附图、说明书和权利要求，本领域的专业人员可以容易地认识到一个或更多个其他技术优势。此外，尽管特定优势在上文中已经被列出，但是不同实施例可以包括所列举的优势的全部、一些或者不包含所列举的优势中的任何一个。
149.附图简述
150.参考附图描述了本公开的方法和系统的一些示例性实施方式。在附图中，相同的参考数字表示相同或基本上相似的元件。
151.图1a示出了根据一些实施例的用于根据规划的和实时更新的3d轨迹将医疗器械插入受试者的身体内和使医疗器械在受试者的身体内转向的设备的示意透视图；
152.图1b示出了根据一些实施例的用于根据规划的和实时更新的3d轨迹将医疗器械插入受试者的身体内和使医疗器械在受试者的身体内转向的系统的示例性控制单元的透视图；
153.图2根据一些实施例示出了用于医疗器械到达受试者的身体内的内部目标的示例性规划轨迹；
154.图3a示出了受试者的ct图像(左侧面板：轴向平面；右侧面板：矢状平面)，进一步示出了内部目标、插入和转向设备以及潜在的障碍；
155.图3b示出了受试者的ct图像(左侧面板：轴向平面；右侧面板：矢状平面)，进一步示出了内部目标、插入点、医疗器械从插入点到目标的线性轨迹、潜在障碍物、医疗器械以及插入和转向设备；
156.图3c示出了受试者的ct图像(左侧面板：轴向平面；右侧面板：矢状平面)，进一步示出了内部目标、插入点、医疗器械从插入点到目标的线性轨迹、沿线性轨迹的标记障碍物、医疗器械以及插入和转向设备；
157.图3d示出了受试者的ct图像(左侧面板：轴向平面；右侧面板：矢状平面)，进一步示出了内部目标、插入点、医疗器械从插入点到目标的非线性轨迹、沿规划轨迹的标记障碍物、医疗器械以及插入和转向设备；
158.图4示出了受试者的ct图像，该ct图像示出了根据医疗器械的更新轨迹，将医疗器械插入身体内并使医疗器械在身体内转向，医疗器械的尖端到达内部目标，其中更新轨迹基于目标的实时位置。还示出了目标的原始位置；
159.图5示出了根据一些实施例的用于规划和实时更新医疗器械的3d轨迹的方法中的步骤的流程图；
160.图6示出了根据一些实施例的用于确定医疗器械的尖端在受试者的图像中的实际位置的方法中的步骤的流程图；
161.图7a示出了猪肺的ct图像(左侧面板和右侧面板)，基于规划的和更新的3d轨迹将医疗器械(针)朝向猪肺转向以到达目标(肺分叉)；
162.图7b示出了猪肾组织的ct图像(左侧面板和右侧面板)，基于规划的和更新的3d轨迹，将医疗器械(针)插入并向猪肾组织内的目标转向；
163.图8a-图8c示出了ct扫描中医疗器械的尖端的特写视图及其指示的实际位置。
164.详细描述
165.参考所附的说明和附图可以更好地理解本文中教导的原理、用途和实施方式。在熟读本文呈现的描述和附图时，本领域的技术人员将能够实施本文的教导而无需过多努力或实验。在附图中，相同的参考数字始终指代相同的部分。
166.在以下描述中，将要描述本发明的各个方面。出于解释的目的，具体的细节被陈述以便提供对本发明的彻底理解。然而，对本领域的技术人员同样明显的是，本发明可以在没有本文呈现的具体的细节的情况下被实施。此外，可以省略或简化公知的特征，以便不模糊本发明。
167.根据一些实施例中，提供了用于将医疗器械插入受试者的身体内和使医疗器械在受试者的身体内转向的系统、设备和方法，其中医疗器械在受试者的身体内的转向是基于医疗器械(特别是其末端或尖端)在受试者的身体内的规划的和实时更新的3d轨迹，以促进尖端通过最有效和安全的路线安全和准确地到达受试者的身体内的内部目标区域。在另外的实施例中，提供了允许精确确定医疗器械的尖端在身体内的实际位置的系统、设备和方法，以提高各种相关医疗过程的有效性、安全性和准确性。
168.在一些实施例中，用于将医疗器械插入受试者的身体内和使医疗器械在受试者的身体内转向的医疗设备可以包括任何合适的自动设备。自动转向设备可以包括任何类型的
合适的转向机构以允许或控制末端执行器(控制头)以期望的运动角度或轴线中的任何一者来运动。在一些实施例中，自动插入和转向设备可以具有至少3个自由度、至少4个自由度或至少5个自由度(dof)。
169.现在参考图1a，其示出了根据一些实施例的用于基于可实时更新的规划的3d轨迹，将医疗器械插入受试者的身体内和使医疗器械在受试者的身体内转向的示例性设备的示意图。如图1a所示，插入和转向设备2可以包括在其中容纳转向机构的至少一部分的壳体(也称为“罩”)12。转向机构可以包括至少一个可移动平台(未示出)和至少两个可移动臂6a和6b，可移动臂6a和6b被配置为允许或控制末端执行器(也称为“控制头”)4以期望的运动角度或轴线中的任意一者来运动，例如在arnold等人的共同拥有的美国专利申请公布第2019/290,372号所公开的，该美国专利申请公布通过引用以其整体并入本文。可移动臂6a和6b可以配置为活塞机构。可以将适当的医疗器械(未示出)连接到控制头4的末端8，连接方式为直接地或通过合适的插入模块，例如在galili等人的共同拥有的美国专利申请公布第2017/258,489号中公开的插入模块，该美国专利申请公布通过引用以其整体并入本文。该医疗器械可以是能够插入受试者的身体内和在受试者的身体内转向以到达指定目标的任何合适的器械，其中对医疗器械的操作和运动的控制由控制头4实现。控制头4可以由合适的控制系统控制，如本文所详述的。
170.根据一些实施例，医疗器械可以选自但不限于：针、探针(例如，消融探针)、端口、导引器、导管(例如，引流针导管)、套管、手术工具、流体输送工具，或配置为插入受试者的身体内用于诊断和/或治疗目的的任何其他合适的可插入工具。在一些实施例中，医疗工具包括在其远侧端部(即，插入受试者的身体的末端)处的尖端。
171.在一些实施例中，设备2在操作和控制医疗器械沿一个或更多个轴线和角度运动时可以具有多个自由度(dof)。例如，该设备可以具有多达六个自由度。例如，该设备可以具有至少五个自由度。例如，设备可以具有五个自由度，包括：前后和左右线性平移，前后和左右旋转，以及朝向受试者的身体的纵向平移。例如，该设备可以具有六个自由度，包括上述的五个自由度，以及另外医疗器械围绕其纵向轴线的旋转。
172.在一些实施例中，该设备还可以包括基座10，基座10允许将该设备定位在受试者的身体上或非常靠近受试者的身体。在一些实施例中，该设备可以直接或经由适当的安装表面附接到受试者的身体。在一些实施例中，该设备可以通过与安装装置联接而附接到受试者的身体，例如arnold等人的共同拥有的美国专利申请公布第2019/125,397号中公开的安装底座，或galili等人的共同拥有的国际专利申请公布第wo2019/234748号中公开的附接框架，这两个专利申请公布通过引用以其整体并入本文。在一些实施例中，该设备可以联接/附接到专用臂(静止的、机器人的或半机器人的)或基座，该专用臂或基座固定到患者的床、固定到定位于患者的床附近的手推车或固定到成像设备(如果使用这样的设备)，并保持在受试者的身体上或与之非常接近，例如，在美国专利第10,507,067号和第10,639,107号中所述的，这两项专利均授予glozman等人，并且这两项专利通过引用以其整体并入本文。
173.在一些实施例中，该设备还包括电子部件和马达(未示出)，允许设备2控制将医疗器械插入和使医疗器械转向的操作。在一些示例性实施例中，该设备可以包括一个或更多个印刷电路板(pcb)(未示出)和电缆/电线(未示出)，以提供控制器(下文结合图2描述)与
该设备的马达及其其他电子部件之间的电连接。在一些实施例中，壳体12至少部分地覆盖和保护设备2的机械和电子部件，使其免受损坏或其他损害。
174.在一些示例性实施例中，该设备可以进一步包括设置在设备2上的特定位置处的基准标记(或“配准元件”)，例如配准元件11a和11b，用于在图像引导过程中将该设备配准到图像空间。
175.在一些实施例中，该设备是自动化的(即，机器人)。在一些实施例中，医疗器械被配置成可移除地联接到设备2，使得该设备可以重复用于新的医疗器械。在一些实施例中，自动设备是一次性设备，即，打算在一次使用后被丢掉的设备。在一些实施例中，医疗器械是一次性的。在一些实施例中，医疗器械是可重复使用的。
176.根据一些示例性实施例，提供了一种自动设备，用于基于规划的和/或实时更新的3d轨迹将医疗器械插入受试者的身体内的内部目标和使医疗器械在受试者的身体内转向到内部目标，以促进医疗器械的尖端到达期望的内部目标，该设备包括转向机构，转向机构可以包括，例如，(i)至少一个可移动平台；(ii)一个或更多个活塞机构，每个活塞机构包括：气缸；活塞，活塞的至少一部分定位在气缸内；以及驱动机构，驱动机构构造成可控地推动活塞进出气缸；以及(iii)插入机构，插入机构构造成向医疗器械施加纵向运动。在一些实施例中，活塞的远侧端部可以联接到公共接头。在一些实施例中，气缸、活塞和公共接头全都可以基本上位于单个平面内，从而允许更大的角度运动，并因此为设备的控制头和医疗器械提供更大的工作空间，如上述美国专利申请公布第2019/290,372号所公开的。
177.根据一些实施例，设备2可以进一步包括一个或更多个传感器(未示出)。在一些实施例中，传感器可以是力传感器。在一些实施例中，该设备不包括力传感器。根据一些实施例，该设备可以包括虚拟远程运动中心，该虚拟远程运动中心位于例如受试者的身体上的选定进入点处。
178.在一些实施例中，设备2可与用于基于医疗器械的规划的和更新的3d轨迹将医疗器械插入受试者的身体内和使医疗器械在受试者的身体内转向的系统结合操作。在一些实施例中，该系统包括本文公开的转向和插入设备2以及被配置为允许控制该设备的操作参数的控制单元。
179.在一些实施例中，该系统可以包括用于各种计算和操纵的一个或更多个合适的处理器，这些计算和操纵包括，例如，但不限于：确定/规划医疗器械的3d轨迹、实时更新3d轨迹、图像处理等。在一些实施例中，该系统还可以包括显示器(监视器)，其允许呈现所确定的和更新的3d轨迹、所获得的一个或更多个图像或图像集或从图像集(用户可以在图像集之间滚动)创建的图像视图、操作参数等。一个或更多个处理器可以以计算机(例如pc、膝上型计算机、平板电脑、智能手机或任何其他基于处理器的设备)的形式实施。在一些实施例中，该系统可以进一步包括用户界面(例如以按钮、开关、键、键盘、计算机鼠标、操纵杆、触摸屏、扩展现实(虚拟现实、增强现实和/或混合现实)眼镜、耳机或护目镜等的形式)。显示器和用户界面132可以是两个单独的部件，或者它们可以一起形成为单个部件。在一些示例性实施例中，处理器(例如，作为计算机的一部分)可以被配置为执行以下中的一个或更多个：确定(规划)医疗器械到达目标的3d轨迹(路径)；实时更新3d轨迹；呈现规划的和/或更新的轨迹；通过(直接或经由一个或更多个控制器)向设备提供可执行指令，基于预先规划的和/或更新的3d轨迹来控制医疗器械的运动(转向和插入)；通过执行所需的补偿计算来
确定医疗器械的实际位置；接收、处理和在显示器上可视化从成像系统获得的图像或从图像集创建的图像视图；及类似操作，或其任何组合。
180.在一些实施例中，该系统可以被配置为与成像系统结合操作，包括但不限于：x射线透视、ct、锥束ct、ct透视、mri、超声波或任何其他合适的成像模态。在一些实施例中，医疗器械的基于医疗器械的规划的和实时更新的3d轨迹的插入和转向是图像引导的。
181.根据一些实施例，医疗器械(特别是其尖端)的规划的3d轨迹可以特别地基于来自用户的输入(例如进入点、目标以及可选地用户在所获得的图像中的至少一个图像上标记的在行进中要避免的区域(障碍物))来计算。在一些实施例中，处理器可以进一步配置成识别和标记目标、障碍物和/或插入/进入点。
182.根据一些实施例，该系统可以进一步包括控制器(例如，机器人控制器)，控制器控制插入和转向设备的运动以及医疗器械朝向受试者的身体内的目标的转向。在一些实施例中，控制器的至少一部分可以嵌入设备内和/或计算机内。在一些实施例中，控制器可以是单独的部件。
183.现在参考图1b，其示意性地示出了根据一些实施例的用于系统的控制单元(工作站)20，其基于医疗器械的尖端的规划的和实时更新的轨迹来插入医疗器械和使医疗器械转向。控制单元20可以包括显示器/监视器22和用户界面(未示出)。控制单元还可以包括处理器(例如，以pc的形式)。根据一些实施例，控制单元20可以进一步包括控制器(例如，机器人控制器)，其控制插入和转向设备的运动以及医疗器械朝向受试者的身体内的目标的转向。控制单元/工作站可以是便携式的(例如，具有或放置在可移动平台24上)。如上所详述，控制单元被配置成在物理上和/或功能上与插入和转向设备交互，以确定和控制其操作。
184.现在参考图2，其示意性地示出了根据一些实施例的轨迹规划。如图2所示，在进入点56和内部目标58之间规划轨迹52。规划的轨迹52考虑各种变量，包括但不限于：待插入的医疗器械的类型、医疗器械的尺寸(例如，长度、规格)、医疗器械通过其被插入的组织、目标的位置、目标的尺寸、插入点、插入角度等或其任意组合。在一些实施例中，在确定轨迹时进一步考虑各种障碍物(示为障碍物60a-60c)，这些障碍物可以沿路径被识别并且应该被避免，以防止对邻近组织和/或医疗器械的损伤。根据一些实施例，沿规划的轨迹52标记安全边沿54，以确保轨迹52和行进中的潜在障碍物之间的最小距离。安全边沿的宽度可以相对于轨迹52对称。安全边沿的宽度可以相对于轨迹52不对称。根据一些实施例，预编程安全边沿54的宽度。根据一些实施例，安全边沿的宽度可以由处理器基于从先前过程中获得的数据，使用机器学习能力来推荐。根据其他实施例，安全边沿54的宽度可以由用户确定和/或调整。在图2中还示出了插入和转向设备的末端(例如，控制头)50，医疗器械(未在图2中示出)联接到该末端，如在监视器上虚拟显示的那样，以指示其位置和取向。在图2中示出的所呈现的轨迹是在平面轨迹(即二维)中，并且它可以通过与第二平面轨迹叠加来用于确定3d轨迹，第二平面轨迹可以在垂直于在图2中示出的轨迹的平面的平面上规划。
185.根据一些实施例，如本文详述的，可以通过确定两个平面中的每一个平面上的路径来计算规划的3d轨迹和/或更新的3d轨迹，两个平面被叠加以形成3d轨迹。在一些实施例中，两个平面可以彼此垂直。根据一些实施例，在3d空间中执行医疗器械的转向，其中在两个平面中的每一个平面上确定转向指令，这两个平面被叠加以形成三维空间中的转向。在一些实施例中，可以通过计算两个平面中的每一个平面上的路径，然后叠加两个平面轨迹
以形成三维轨迹来计算规划的3d轨迹和/或更新的3d轨迹。在一些实施例中，可以计算在两个平面上的规划的3d轨迹和/或更新的3d轨迹，这两个平面可以至少部分地叠加以形成3d轨迹。在一些实施例中，可以基于在几个相交平面上计算的2d轨迹的组合或叠加来计算规划的3d轨迹和/或更新的3d轨迹。
186.根据一些实施例，3d轨迹可以包括任何类型的轨迹，包括线性轨迹或具有任何适当曲率度的非线性轨迹。
187.现在参考图3a-图3d，其示出了根据一些实施例，在ct图像视图上，用于插入医疗器械和使医疗器械朝向目标转向的示例性3d轨迹规划。图3a示出的是一个受试者的ct图像视图，在左侧面板上绘出的是轴向平面视图，而在右侧面板上绘出的是矢状平面视图。图中还示出了内部目标104以及插入和转向设备100。还示出了椎骨106，其可以被识别为医疗器械应避免的障碍物。在图3b示出了图3a的ct图像视图，指示了插入点102。因此，根据一些实施例，然后计算进入点102和内部目标104之间的线性轨迹108，并在两个视图(例如，轴向平面视图和矢状平面视图)中的每一个视图上显示线性轨迹108。典型地，线性轨迹是优选的，因此，如果所显示的线性轨迹没有非常靠近任何潜在障碍物通过，则线性轨迹被确定为用于插入过程的规划轨迹。在图3c中，检测到椎骨106的横向突起110非常靠近所计算的线性轨迹，并被识别和标记，在本示例中是在轴向平面视图上，以便在规划用于该过程的轨迹时考虑该障碍物。在图3d中，轨迹被重新计算以产生非线性轨迹108'，其允许避免接触障碍物110。根据一些实施例，在手动地或自动地在图像视图/多个图像视图上标记潜在障碍物之前，或在用户确认没有潜在障碍物之前，和/或在用户手动启动轨迹计算之前，不计算规划轨迹。在这样的实施例中，如果有障碍物而必须使用非线性轨迹，则不计算和/或显示类似于图3b的线性轨迹108的阶段性线性轨迹。根据一些实施例，可以为计算非线性轨迹预先设置最大允许曲率水平。最大曲率阈值可以取决于，例如，轨迹参数(例如，进入点和目标之间的距离)和打算在该过程中使用的器械类型及其特征(例如，类型、直径(规格)等)。然后，可以叠加这两个计算出的非线性2d轨迹以形成用于使医疗器械从进入点102朝向目标104转向的非线性3d轨迹。如下文进一步详述的，可以基于医疗器械(例如，其尖端)的实时位置和/或目标和/或(一个或更多个)障碍物的实时位置来实时更新规划的3d轨迹。
188.根据一些实施例，目标104、插入点102和可选地(一个或更多个)障碍物110由用户手动地标记。根据其他实施例，处理器可以被配置为识别和标记目标、插入点和(一个或更多个)障碍物中的至少一者，并且可选地，可以提示用户确认或调整处理器的建议标记。在这样的实施例中，可以使用已知的图像处理技术和/或机器学习工具(算法)，根据从先前过程获得的数据来识别目标和/或(一个或更多个)障碍物，并且可以仅根据获得的图像来建议进入点，或者，替代地或额外地，也根据从先前过程获得的数据使用机器学习能力来建议进入点。
189.根据一些实施例，轨迹可以仅基于所获得的图像和对进入点、目标以及可选的(一个或更多个)障碍物的标记位置来计算。根据其他实施例，轨迹也可以基于从先前过程中获得的数据，使用机器学习能力来计算。根据一些实施例，规划的轨迹一旦被确定，就可以设置沿轨迹的检查点。检查点可以由用户手动设置，或者可以由处理器自动设置，如下文进一步详细描述的那样。
190.可以理解的是，尽管图3a-图3d中示出了轴向视图和矢状视图，但为了执行和/或
显示轨迹规划和/或更新，可以使用与不同平面或取向有关的视图(例如，冠状面、伪轴向、伪矢状面、伪冠状面等)或额外生成的视图(例如，轨迹视图、工具视图、3d视图等)。
191.现在参考图4，其示出了受试者的ct图像，示出了根据医疗器械的更新轨迹，将医疗器械插入身体内并在身体内转向，其尖端到达内部目标，其中更新轨迹基于目标的实时位置。如图4所示，医疗器械160由插入和转向设备150插入并转向。医疗器械160(例如，导引器或针)从进入点152插入，并朝向目标沿3d轨迹转向。计算规划的轨迹以允许医疗器械到达目标(其初始位置161)。然而，3d轨迹被实时更新，以反映目标的实时位置162的变化，以允许将医疗器械的尖端164精确地转向目标的实际实时位置162。
192.现在参考图5，其示出了根据一些实施例的用于规划和更新医疗器械到受试者的身体内的内部目标的3d轨迹的方法中的步骤。在步骤200，规划医疗器械从受试者的身体上的插入点到内部目标的3d轨迹。在一些实施例中，可以通过在两个平面中的每一个平面上规划路线，并将所述平面上的两条2d路线在其交线处叠加，以形成规划的3d轨迹，从而获得规划的3d轨迹。在一些示例性实施例中，两个平面垂直。所规划的路线可以考虑各种参数，包括但不限于：医疗器械的类型、成像模态的类型(例如，ct、cbct、mri、x射线、ct透视、超声等)、插入点、插入角度、(一种或更多种)组织的类型、内部目标的位置、目标的尺寸、沿路线的障碍物、阶段点(医疗器械应该通过的“次目标”)等，或其任何组合。在一些实施例中，阶段点中的至少一个阶段点可以是枢轴点，即沿轨迹的预限定点，在该预限定点防止或最小化医疗器械的偏转，以保持组织上的最小压力(即使这导致器械在轨迹的其他部分的更大偏转)。在一些实施例中，规划的轨迹是基于这些参数中的一个或更多个参数的最佳轨迹。
193.接下来，在步骤202，根据规划的3d轨迹，在指定(选定)进入点将医疗器械插入受试者的身体内，并(在3d空间中)朝向预定目标转向。如本文所详述的，医疗器械的插入和转向由用于插入和转向的自动设备(例如，诸如图1a的设备2)来促成。
194.在步骤204，确定医疗器械(例如，其尖端)的实时位置/定位(以及可选的取向)和/或医疗器械的实时3d实际轨迹(即，移动或转向)和/或一个或更多个障碍物的实时位置和/或沿轨迹新识别的一个或更多个障碍物的位置和/或一个或更多个阶段点(“次目标”)的实时位置和/或目标的实时位置。每种可能性都是单独的实施例。在一些实施例中，上述任一项的确定可以由用户手动地执行。在一些实施例中，上述任一项的确定可以由一个或更多个处理器自动地执行。在后一种情况下，可以通过本领域中已知的任何合适的方法执行该确定，包括例如使用合适的图像处理技术和/或机器学习(或深度学习)算法，使用在先前过程(先前执行的过程)中收集的数据。步骤204可选择地进一步包括修正所确定的医疗器械的尖端的位置，以补偿由于成像伪影造成的偏离，从而确定尖端的实际位置。在更新3d轨迹之前确定尖端的实际位置，在一些实施例中可以大大提高该过程的精确度。可以通过计算所需补偿来执行对尖端的实际位置的确定，如在本文下面进一步详述和举例说明的。在一些实施例中，该确定可以在任何空间和/或时间分布/模式下执行，并且可以是连续的，或者在任何时间(时间上的)或空间(空间上的)间隔执行。在一些实施例中，该过程可以以空间/时间间隔中止，以允许处理、确定、改变和/或批准该过程的继续。例如，可以在一个或更多个检查点处执行该确定。在一些实施例中，检查点可以在转向过程期间被预定和/或确定。在一些实施例中，检查点可以包括空间检查点(例如，沿轨迹的区域或位置，包括例如特定组织、特定区域、沿轨迹的长度或位置(例如，每20-50mm)等)。在一些实施例中，检查点可以
是时间检查点，即，在过程期间的指定时间点(例如，每2-5秒)执行的检查点。在一些实施例中，检查点可以包括空间检查点和时间检查点两者。在一些实施例中，检查点可以沿规划的3d轨迹以基本上相似的距离间隔开，包括进入点与第一检查点间隔开以及目标与最终检查点间隔开。根据一些实施例，检查点可以由用户手动地设置。根据一些实施例，检查点可以由处理器使用图像处理或计算机视觉算法、基于所获得的图像和规划的轨迹和/或还基于使用机器学习能力从先前过程中获得的数据来自动地设置。在这样的实施例中，可能要求用户确认处理器推荐的检查点或调整检查点的位置/定时。检查点之间的上间隔阈值和/或下间隔阈值可以是预定的。例如，检查点可以由处理器以例如大约20mm的间隔自动地设置，并且可以允许用户调整每两个检查点之间的距离(或者进入点和第一个检查点之间的距离和/或最终检查点和目标之间的距离)，使得它们之间的最大距离例如为大约30mm和/或它们之间的最小距离为大约3mm。一旦确定了上述任何参数的实时位置，或者至少确定了目标的实时位置，则确定上述参数中的一个或更多个参数是否与初始/预期位置和/或与规划的3d轨迹存在偏离，并且如果确定了偏离，则在步骤206，更新3d轨迹。如上详述的，可以确定与先前的时间点或空间点相比的偏离。在一些实施例中，如果检测到上述参数中的一个或更多个参数中的偏离，则将该偏离与相应的阈值进行比较，以确定该偏离是否超过阈值。阈值可以是，例如，设置值或反映值变化的百分比。阈值可以由用户确定。阈值可由处理器确定，例如基于在先前过程中收集的数据并使用机器学习算法。如果检测到偏离，或者如果检测到的偏离超过设定阈值，则可以通过根据要求的变化在两个平面中的每一个平面(例如，与其垂直的平面)中更新路线，然后在两个(可选地垂直的)平面上叠加这两个更新的2d路线以形成更新的3d轨迹，来更新3d轨迹。在一些实施例中，两个平面中的每一个平面上的更新路线可以通过任何合适的方法执行，包括例如利用运动学模型。在一些实施例中，如果医疗器械的实时位置指示器械已经偏离规划的3d轨迹，则用户可以沿规划的轨迹添加和/或重新定位一个或更多个检查点，以将器械引导回规划的轨迹。在一些实施例中，处理器可以提示用户添加和/或重新定位(一个或更多个)检查点。在一些实施例中，处理器可以向用户推荐新的和/或重新定位的检查点的(一个或更多个)特定位置。可以使用图像处理技术和/或机器学习算法来生成这样的推荐。
195.如步骤208中所详述的，然后根据更新的3d轨迹在3d空间中继续医疗器械的转向，以促进器械的尖端到达内部目标(以及如果需要的话沿该轨迹到达次要目标)。可以理解，如果没有检测到上述参数中的偏离，则医疗器械的转向可以根据规划的3d轨迹继续。
196.如步骤210所示，步骤204-208可以重复任何次数，直到医疗器械的尖端到达内部目标，或者直到用户终止该过程。在一些实施例中，步骤204-208的重复次数可以在该过程期间被预定或实时确定。根据一些实施例，至少一些步骤(或子步骤)是自动地执行的。在一些实施例中，至少一些步骤(或子步骤)可以由用户手动地执行。根据一些实施例，一个或更多个步骤是自动地执行的。根据一些实施例，一个或更多个步骤是手动地执行的。根据一些实施例，一个或更多个步骤是是人工监控的，并且可以在被用户批准之后进行。
197.根据一些实施例，3d轨迹规划是动态规划，允许自动预测变化(例如，预测的目标变化)、困难(例如，敏感区域)、障碍物(例如，不希望的组织)、阶段点等，并相应地以完全自动化或至少半自动的方式调整医疗器械的转向。在一些实施例中，动态规划在进行任何步骤之前向用户提出规划的和/或更新的3d轨迹以供确认。根据一些实施例，3d轨迹规划是动
态规划，考虑到在呼吸周期期间由身体运动引起的目标、障碍物等位置的预期周期变化，例如shochat等人的共同拥有的美国专利第10,245,110号中所描述的，该美国专利通过引用以其整体并入本文。这种动态规划可以基于在受试者的至少一个呼吸周期内(例如，使用ct系统)获得的图像集，或基于在受试者的至少一个呼吸周期内(例如，使用ct透视系统或任何其他能够连续成像的成像系统)产生的视频。
198.根据一些实施例，通过在3d空间中引导医疗器械(例如，医疗器械的尖端)实时遵循规划的3d轨迹来实现医疗器械到目标的转向，该规划的3d轨迹可以在过程期间根据需要实时更新。
199.根据一些实施例，术语“实时3d轨迹”涉及医疗器械在受试者的身体内的实际运动/转向/前进。
200.根据一些示例性实施例，使用任何合适的成像设备来促进使用本文公开的系统的3d轨迹规划和更新。在一些实施例中，成像设备是ct成像设备。在一些实施例中，基于在该过程之前和/或期间获得的受试者的ct图像来执行3d轨迹的规划和/或实时更新。
201.根据一些实施例，当在该过程中利用各种成像模态时，在识别医疗器械的尖端的实际位置时可能出现固有困难。在一些实施例中，工具的精确取向和位置对于高精度转向是重要的。此外，通过确定尖端的实际位置，增加了安全性，因为医疗器械没有插入到目标之外或超出用户限定的范围。根据成像模态、组织、和医疗器械的类型，可能会出现模糊尖端的实际位置的伪影。
202.例如，当使用ct成像时，由于光束硬化可能会出现条纹和暗带，这导致扫描器械末端处的“暗”边沿。医疗器械的末端处的体素可能具有非常低的强度水平，即使实际介质或相邻物体通常具有较高的强度水平。此外，还可能出现点扩散功能(psf)，即医疗器械的可见边界超出其实际边界。这种伪影可能取决于物体的材料、尺寸和相对于ct的医疗器械角度，以及扫描参数(fov、光束功率值)和重建参数(内核和其他滤波器)。
203.因此，取决于医疗器械的类型、成像模态和/或组织，尖端位置可能不容易可视地检测，并且在某些情况下，该确定可能大大偏离例如超过2-3mm。
204.根据一些实施例，因此需要补偿这种伪影和不准确以确定尖端的实际位置。
205.现在参考图6，其详细描述了根据一些实施例的用于确定医疗器械的尖端的实际位置的方法中的步骤。如图6所示，在步骤300，获得医疗器械在受试者的身体内的一个或更多个图像。例如，这些图像可以是ct图像，或使用任何其他合适的成像模态获得的图像，如超声波、mri等。在步骤302，在一个或更多个图像中检测医疗器械，据此，尖端的位置被不准确地获知。在步骤304中，限定检测到的医疗器械的末端。限定医疗器械的末端可以考虑到医疗器械与其周围的体素强度沿医疗器械物体中心线的最大梯度，以确定医疗器械上或沿医疗器械执行补偿的相对点。接着是步骤306，其中计算器械相对于成像系统坐标系的取向和/或位置。例如，在所使用的成像模态是ct系统的实例中，可以计算器械围绕ct的左右轴线的角度。接下来，在步骤308，确定用于修正医疗器械的尖端的实际位置的适当补偿值。在一些实施例中，可以基于上述成像、组织和/或医疗工具参数中的任何一个来获得补偿值。在一些示例性实施例中，补偿值可以从适当的查找表中获得。在一些实施例中，补偿值可以是正的(如果实际尖端位置超过医疗器械的可见末端)或负的(如果实际尖端位置在器械的可见末端之前)。因此，在步骤310中，通过所述确定的补偿/修正，相应地确定尖端的实际位
置。
206.根据一些实施例，执行对尖端的实际位置的确定，以导致对尖端的实际3d位置的确定，该实际3d位置可选地进一步呈现给用户。在一些实施例中，尖端的实际位置的确定可以在两个平面上以2d执行(在一些示例中，这两个平面可以是垂直的)，然后将所确定的两个位置叠加以提供尖端的实际3d位置。
207.在可选步骤312中，当更新医疗器械的3d轨迹时，可以使用所确定的尖端的实际位置。例如，如上所述，确定尖端的实际位置可以至少部分地是上文图5中描述的方法中步骤204的实施方式。
208.根据一些实施例，补偿值可以取决于一个或更多个参数，包括例如器械类型、器械尺寸(例如长度)、组织、成像模态、插入角度、医疗过程、内部目标等。每种可能性都是单独的实施例。
209.在一些实施例中，本文提供的方法允许在低于可视化像素尺寸水平下确定尖端的实际和相对准确的位置。
210.在一些实施例中，尖端的实际位置的确定可能取决于期望/要求的准确度，这可能取决于几个参数，包括，例如，但不限于：临床指征(例如，活检与液体引流)；目标尺寸；病灶尺寸(例如活检程序)；解剖位置(例如，肺/脑与肝/肾)；3d轨迹(例如，如果它经过脆弱的器官、血管等附近)；以及类似情况，或其任何组合。
211.根据一些示例性实施例，当使用ct成像模态时，补偿值可能取决于，除其他外，扫描参数(螺旋的与轴向的)、重建参数/内核、管电流(ma)、管电压(kv)、医疗器械相对于ct左右轴线的插入角度、ct制造商金属伪影的过滤，等等。每种可能性都是单独的实施例。
212.根据一些实施例，可以实时地执行尖端的实际位置的确定/修正。根据一些实施例，尖端的实际位置的确定/修正可以在从各种成像模态获得的适当图像上连续地和/或以时间间隔执行。
213.上面描述的系统和设备的实施方式还可以包括本公开中描述的任何特征，包括上面描述的关于其他系统和设备实施方式的任何特征。
214.应当理解，在本公开中使用的术语近侧和远侧在临床领域中具有其通常的含义，即近侧是指设备或物体的最接近插入或使用该设备或物体的人或机器、远离患者的一端，而远侧是指设备或物体的最接近患者、远离插入或使用该设备或物体的人或机器的一端。
215.应当理解，尽管本公开使用的一些示例涉及用于将针插入受试者的身体的系统和方法，这仅仅是出于简化的原因而进行的，并且本公开的范围并不意味着限于将针插入受试者的身体内，而是应理解为包括为了诊断和/或治疗目的将任何医疗工具/器械插入受试者的身体内，包括端口、探针(例如，消融探针)、导引器、导管(例如，引流针导管)、套管、外科工具、流体输送工具或任何其他此类插入工具。
216.在一些实施例中，术语“医疗器械”和“医疗工具”可以互换使用。
217.在一些实施例中，术语“图像”、“图像帧”、“扫描”和“切片”可以互换使用。
218.在一些实施例中，术语“用户”、“医生”、“内科医生”、“临床医生”、“技术员”、“医务人员”和“医务工作者”在本公开中可互换地使用，并且可以指参与所执行的医疗过程的任何人员。
219.可以理解，术语“受试者”和“患者”可以指人类受试者或动物受试者。
220.在本技术的说明书和权利要求中，词语“包括”和“具有”及其各种形式不一定限于可能与这些词语相关联地列出的构件。
221.除非另有限定，否则本文使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常理解的相同意思。如发生冲突，以专利说明书(包括限定)为准。如本文所使用的，除非上下文另外明确指出，否则不定冠词“一个(a)”和“一个(an)”意指“至少一个”或“一个或更多个”。
222.应当理解，为了清楚起见，在单独实施例的上下文中描述的、本公开的某些特征也可以在单个实施例中以组合方式提供。相反，为了简洁起见，在单个实施例的上下文中所描述的、本公开的各种特征也可以分开地提供或以任何合适的子组合方式提供，或以被认为适合的方式提供在本公开的任何其他所描述的实施例中。在实施例的上下文中描述的特征不被认为是该实施例的必要特征，除非明确地如此指定。
223.尽管根据一些实施例的方法的步骤可以以特定顺序描述，但是本公开的方法可以包括以不同顺序执行的、所描述步骤中的一些或全部。本公开的方法可以包括所描述的步骤中的一些或者所描述的步骤中的全部。除非明确地如此指定，否则公开的方法中的特定步骤不被认为是该方法的必要步骤。
224.本文中所采用的措辞和术语是为了描述的目的，而不应该被认为是限制性的。在本技术中任何参考资料的引用或识别不应被解释为承认此类参考资料可用作本公开的现有技术。本文所使用的章节标题是为了便于理解该说明书，而不应被解释为必要的限制。
225.示例
226.示例1-根据规划的和实时更新的3d轨迹，将医疗工具插入内部目标和使医疗工具向内部目标转向
227.基本上如本文所公开的插入和转向系统被用来基于针的尖端的规划的和随后更新的3d轨迹，自动插入针并使针穿过各种组织转向到内部目标。
228.在图7a(左侧面板和右侧面板)示出的是受试猪的肺的ct图像，其中基于实时更新的规划的3d轨迹插入医疗器械(针402)和使医疗器械转向以到达目标(肺分叉404)。进一步示出了插入和转向设备400。从插入点到目标的3d轨迹长度为大约103mm。
229.在图7b(左侧面板和右侧面板)示出的是受试猪的肾组织的ct图像，其中基于实时更新的规划的3d轨迹，插入医疗器械(针412)和使医疗器械转向以到达目标414。进一步示出了插入和转向设备410。3d轨迹的参数为大约72mm的长度，以及目标尺寸为直径0.6mm
×
长度3mm。
230.在图7a-图7b中呈现的结果展示了医疗器械以安全和准确的方式有利地准确到达特定内部目标，其中基于针的尖端到目标的3d轨迹的实时更新，由转向设备自动执行医疗器械(针)在受试者的身体内的转向。
231.示例2-在ct扫描中确定医疗器械的尖端的实际位置
232.在该示例中，基于对ct图像上执行的检测位置进行补偿，确定医疗器械(如针)的尖端的实际位置。
233.医疗工具(针)围绕ct左右轴线的插入角度可以在-80度到80度之间(0度是当整个针在ct扫描的一个轴向切片中时)。
234.如上文所述，在ct扫描中的广泛的视觉伪影中，两种类型与医疗器械有关，例如金
属针状物体：
235.1.光束硬化引起的条纹和暗带(被扫描的医疗器械的末端的处的“暗”边沿)：工具/针的末端处的体素可能具有非常低的强度水平，即使实际介质或相邻物体通常具有较高的强度水平。
236.2.psf(点扩展功能)，医疗器械可见边界扩展到其实际边界之外。
237.这些伪影影响可以取决于物体的材料、尺寸和相对于ct的角度，以及扫描参数(fov、光束功率值)和重建参数(内核)。此外，不同的ct供应商可能使用不同的滤波器来补偿这种伪影。这些过滤器也构成伪影影响的一部分。
238.为了补偿这些伪影，可以根据器械位置补偿“查找”表来确定尖端的实际(真实)位置，该表与成像方法(本例中为ct)和使用的医疗器械相对应。补偿是相对于图像中被定义为器械的边缘/末端而言的。因此，所限定的器械的边缘/末端，以及来自“查找”表的补偿值，共同组成了确定精确的尖端位置的机制。
239.例如，可以基于医疗器械围绕ct左右轴线的角度来确定尖端补偿。对于同一工具，补偿可以是正补偿、无补偿和负补偿，这取决于它围绕ct左右轴线的角度。
[0240]“查找”表可以通过在专用测量设备(夹具)中以各种角度(围绕左右轴线)进行ct扫描来测试各种医疗器械类型而获得。测量设备提供准确尖端位置的真值(ground truth)。对于不同的扫描参数和重建参数，可以重复测量。
[0241]
下面给出了示例性查找表1：
[0242]
表1：
[0243][0244][0245]
图8a-图8c示出在实施测试过程中ct扫描中看到的针的尖端的特写视图，以便获得特定针类型的“查找”表。所环绕的点示出了实际的(物理)尖端位置(真值)，基于针的尖端位置测量设备和ct图像之间的物理配准。下面提到的毫米距离是具有最低强度(标记针图像边缘)的体素到实际尖端位置之间的距离。
[0246]
图8a-正补偿为大约1.27(mm)(角度0度)；
[0247]
图8b-不需要补偿(角度13度)；
[0248]
图8c-负补偿为大约0.29mm(角度23度)。
[0249]
因此，本文所给出的结果证明了基于相应的补偿值准确地确定医疗器械的尖端的实际位置的能力。