用于针插入的动态规划方法
【专利摘要】公开了一种规划要对患者执行的图像引导的介入流程的方法，其中在术前图像的序列上确定患者的预期运动，例如呼吸周期的运动，并相应地规划流程的轨迹。该方法考虑道介入性进入、目标区域以及进入点与目标区域之间的任何障碍物或禁止区域，并对术前图像使用图像处理的目标跟踪方法以判断在患者的运动周期期间这三个元素的位置如何相对于彼此变化。该方法可以自动地在运动周期的不同时间点所拍摄的至少一些术前图像中搜索将进入点与目标进行连接并避开障碍物的路径，其给患者的组织提供了最小的横向压力。
【专利说明】
用于针插入的动态规划方法
技术领域
[0001 ]本发明涉及规划自动化(例如，通过机器人控制的)针插入流程的系统以及方法，尤其考虑到由于诸如呼吸周期之类的周期性身体运动而导致的插入点、目标点和它们之间的任何区域的应当被避免的移动。
【背景技术】
[0002]当前的静态针插入规划使用了感兴趣区域的术前图像，包括进入点、目标以及必须要避免的途中的任何障碍物。可以将障碍物理解为表示实际的物理障碍物，例如肋骨，或者它可以表示针的进入可能会导致损伤的敏感区域，例如大的血管或重要的神经。问题在于，这一流程未考虑患者的周期运动(例如，因为呼吸造成的运动)，这可能导致进入点、目标点和途中任何障碍物的位置在某种可再现周期中从它们的初始位置相对于彼此而移动。
[0003]在现有方法中，在手术中检查针(或过程)的进程，并将图像同步到运动周期，然后在运动周期期间采取适当的校正。这是在瓣膜校正手术期间或者在血管成形术期间随着心脏运动和脉动的动脉时所使用的方法，其中在流程期间心脏跳动一直持续。这种方法具有严重缺点，因为它们在流程的整个持续时间期间需要恒定的成像(一般为荧光成像)，这伴随着对患者和医务人员的显著的辐射照射。在其它公知方法中，例如在J.W.Voegele等人的、名称为“System and Method for Treatment of Tissue using the Tissue as aFiducial”的美国专利N0.7,833,221中所示的方法中，描述了一种超声方法，其中监测呼吸周期，以指示组织目标何时接近驻留位置(每个呼吸周期中在吸气与呼气之间的短暂暂停)，以使得外科医生能够在根据驻留位置处所产生的肿瘤的图像来定位肿瘤时向肿瘤插入其外科手术设备。不过，这些方法将工具的插入点限制到在呼吸周期中重复的固定点处非迭代地成像的单个目标点。此外，在一些现有方法中，例如，如在Stoianovici等人的、名称为“System and method for robot targeting under fluoroscopy based on imageservo ing”的美国专利N0.7,008,373中所公开的，优选在目标选择之前的图像采集期间以及在针插入期间短暂地停止患者的呼吸，从而需要医师仅仅依赖于患者在需要的时间屏住呼吸所需的持续时间的能力。
【发明内容】
[0004]本申请试图提供一种方法，通过该方法在规划阶段在术前图像上确定患者的预期运动，并相应地规划轨迹，不仅考虑进入的初始位置、障碍物和目标点，而且还考虑这三个元素在患者的运动周期过程期间预期会相对于彼此如何运动。
[0005]根据一些实施方式，拍摄感兴趣区域的随着完整的运动周期(例如，呼吸周期)的视频帧序列。或者，可以记录一系列周期，然后可以对其进行平均。视频帧一般是从患者的感兴趣区域的CT扫描获取的。在一些实施方式中，用户/医生/医师(贯穿本公开内容，可互换地使用术语“用户”、“医生”和“医师”)在从感兴趣区域的视频序列获取的初始静态图像上标记目标点、途中的障碍物以及进入的初始点。医生的关于要遵循的最佳轨迹的经验优选地在选择进入点时发挥作用。在一些实施方式中，用户不会定义初始轨迹，因为系统软件适于自动地搜索将进入点与目标进行连接并避开途中的障碍物的路径，该路径给患者的组织提供了最小横向压力(lateral pressure)。据此，该系统还可以选择在所选输入点处的适当的进入角度。在其它实施方式中，该系统可能需要或可以允许医生选择针的进入角度。从该视频序列，可以确定进入点、障碍物和目标点的位置在患者的运动周期过程期间在帧与帧之间如何变化。
[0006]在一些实施方式中，通过包括完整的身体运动周期的一系列帧来遵循初始的预先规划的轨迹，其是考虑初始静态图像中的进入点、目标点和途中障碍物的位置而计算的。如果在整个周期期间，考虑到所有运动和障碍物周围的安全裕度而指示安全轨迹，那么医生能够针对整个呼吸周期而使用其初始的预先规划的静态轨迹。如果预先规划的轨迹在一个或多个后续帧中存在问题，那么在可能的情况下，医生能够在这些帧(例如，减小障碍物周围的安全裕度)和/或在初始静态图像(例如，选择不同的进入点和/或改变进入角度)中修改其对元素位置的选择以解决该问题，并且然后在整个视频序列中重复路径验证。或者，医生/用户可以选择代表身体运动周期中不同时间点的不同图像(在本公开内容中有时也称为“图像帧”或简称为“帧”)，以用作用于计算轨迹的初始静态图像。在这一方法实施方式中，在所有剩余图像帧上检查基于目标和障碍物在一个初始图像帧中的位置所计算的单个轨迹。由于目标和障碍物的位置在不同图像帧中可能不同，所以可能会计算出不同的轨迹。这一新轨迹与其之前的轨迹不同，对于所有图像帧可以是可接受的。可以迭代地重复这个过程，直到贯穿整个周期指示安全的轨迹。
[0007]在一些实施方式中，在规划阶段期间，在医生选择了进入点并在第一CT图像中标记出目标和途中障碍物之后，系统算法运行通过包括完整的身体运动周期的一系列帧，并且考虑到进入点、目标和障碍物在每帧如何移动，而利用初始进入点来计算单个轨迹，该轨迹将达到目标但在整个周期中的每一帧避开所有障碍物。
[0008]在其它实施方式中，该系统算法可以运行通过一系列帧并针对每一帧单独地计算将达到目标但在该特定帧避开所有障碍物的最优轨迹。在这些实施方式中，可以通过该序列中的所有其它帧而遵循所计算的轨迹中的所有轨迹或至少一个轨迹，并可以将轨迹中的被发现适用于整个系列的帧的一个轨迹选择用于针插入流程。这一轨迹可以例如是具有最小曲率和/或从进入点到目标点的最短距离的轨迹。在一些实施方式中，可以计算和选择轨迹中的所有轨迹或至少两个轨迹的平均。
[0009]根据一些实施方式，该系统能够检查计算的一个或多个轨迹，并且如果在周期中从帧的检查看来，对于特定轨迹，该针在周期的任何部分时从最优轨迹偏离超过预定量，这意味着将会在患者的组织上施加过大的横向压力，那么可以抛弃该进入点并且医生/用户能够利用不同的进入点重复该规划流程，旨在提供更好的轨迹，即，具有较为不严重的弯曲并因此在患者的组织上产生较小横向压力的轨迹。或者，可以维持相同的进入点，但可以改变针在进入点处的初始取向，以便选择可以为整个流程产生较好的总体轨迹的替代初始规划轨迹。在一些实施方式中，可以选择新的进入点和新的进入角度两者。可以任选地向用户(例如，主治医师)显示动态选择的轨迹，以确认它们在手术和安全方面是可接受的。
[0010]接下来通过在患者的运动周期期间选择一个或多个时间帧并将针插入步骤限制为仅在完整运动周期的该时间帧或这些时间帧期间被执行，从而在医生执行针插入流程时利用上述规划方法，其中该轨迹例如显示了最小曲率。例如，针对呼吸周期的情况，插入可以限于患者已经充分呼出其气息时的该时间帧或这些时间帧。于是该流程使得能够执行插入，而无需修改针的进入角度，由此与现有技术的流程相比，能够执行整个插入流程，而根本不需要为了随着患者的身体运动或出于安全原因，利用选定的最小限度成像进行任何过程中的成像介入。因此，使用本申请中描述的规划方法相对于现有技术方法产生的一个很大的优点在于，能够在减小对患者和医务人员的辐射照射的情况下执行该流程。显然，不能避免实施针引导流程自身所需的任何荧光成像，其与随着身体运动相反。
[0011]尽管已经关于检查或考虑序列中每个帧描述了一些方法实施方式，但要理解的是，也可以仅利用序列中的一些帧来执行该方法，只要选择的数量充分接近在一起而不会在居间的丢失帧中产生极端状况即可。
[0012]此外，尽管已经在本公开内容中使用二维图像描述了该方法，但要理解的是，使用三维图像其同样适用，其中，在使用CT扫描作为要针对其计算动态路径的术前图像时，使用三维图像可能是优选状况。此外，所描述的方法实施方式不限于使用CT扫描，可以利用其它成像系统(例如，X射线荧光透视系统、超声波系统或MRI系统)产生的图像来实施它们。
[0013]一种示例性实施方式涉及一种规划对象的感兴趣区域中的图像指导的介入流程的方法，包括:
[0014](a)获得感兴趣区域的多个时间上间隔开的图像，
[0015](b)在多个图像的第一图像上定义进入点、目标点以及禁止介入流程进入的一个或多个区域，
[0016](C)计算进入点与目标点之间的用于介入流程的轨迹，所述轨迹避免了进入一个或多个禁止区域中的任何禁止区域，
[0017](d)选择多个图像中的第二图像，该多个图像中的第二图像与多个图像中的第一图像在不同的时间产生，
[0018](e)确定进入点、目标点以及禁止介入流程进入的任何区域的位置在多个图像中的第二图像中的变化，以及
[0019](f)基于在步骤(e)中确定的位置变化，针对多个图像中的第二图像重复步骤(C)。
[0020]这种方法还可以包括在多个图像中的第一图像上选择介入流程在进入点处的进入角度的步骤。此外，这些方法还可以包括判断所计算的轨迹中的至少一个轨迹的一个或多个特性沿着至少一个所计算的轨迹的长度的任何部分是否超过预定水平的步骤。该一个或多个特性可以任选地是轨迹的曲率，或距离禁止介入流程进入的一个或多个区域中的任何区域的距离。如果推定，所计算轨迹中的至少一个轨迹的一个或多个特性沿着所计算轨迹中的至少一个轨迹的长度的一部分超过预定水平，则该方法可以包括使用替代进入点来重复进行该规划。
[0021 ]在涉及选择进入角度的上述方法的任何方法中，如果所计算轨迹中的至少一个轨迹的一个或多个特性沿着所计算的轨迹中的至少一个轨迹的长度的一部分超过预定水平，则可以使用替代进入点和替代进入角度来重复进行该规划。对于曲率特性而言，该方法还可以包括选择产生如下轨迹的规划的步骤:该轨迹与不同规划所提供的任何轨迹相比沿着该轨迹的长度的任何部分具有较小曲率。
[0022]此外，上述系统中的任何系统的替代实施方式还可以包括存储所计算轨迹中的一个或多个轨迹的步骤。
[0023]其它示例性实施方式还涉及以上描述的方法并且还包括以下步骤:
[0024](a)判断所计算的轨迹中的一个或多个轨迹是否适用于多个图像的每个图像，以及
[0025](b)如果确定所计算的轨迹中的一个或多个轨迹适用于多个图像中的每个图像，则判断一个或多个适用轨迹中的哪个轨迹对于该多个图像的所有图像是最优的。
[0026]在最后描述的方法中，判断所计算轨迹中的一个或多个轨迹是否适用于多个图像中的每个图像的步骤可以包括:判断所计算轨迹中的一个或多个轨迹是否终止于多个图像的每个图像中的目标点处并避免进入多个图像的每个图像中的一个或多个禁止区域的任何禁止区域中。此外，判断一个或多个适用轨迹中的哪个轨迹对于多个图像中的所有图像都最优的步骤可以包括以下步骤中的一个或多个步骤:
[0027 ] (a)判断一个或多个适用轨迹中的哪个轨迹包括较小的曲率，以及
[0028](b)判断一个或多个适用轨迹中的哪个轨迹包括进入点与目标点之间较小的距离。
[0029]这些方法还可以包括选择产生如下轨迹的规划的步骤:所述轨迹与不同规划所提供的任何轨迹相比沿着所述轨迹的长度的任何部分具有较小曲率。
[0030]而其它实施方式执行一种规划对象的感兴趣区域中的图像引导的介入流程的方法，包括:
[0031](a)获得感兴趣区域的多个时间上间隔开的图像，
[0032](b)在多个图像中的第一图像上定义进入点、目标点以及禁止介入流程进入的一个或多个区域，
[0033](C)计算进入点与目标点之间的用于介入流程的轨迹，该轨迹避免了进入禁止区域中的任何禁止区域中，
[0034](d)选择多个图像中的第二图像，该多个图像中的第二图像与多个图像中的第一图像在不同的时间产生，
[0035](e)确定进入点、目标点以及禁止介入流程进入的任何区域的位置在多个图像中的该第二图像中的变化;以及
[0036](f)判断在多个图像中的第二图像中，所计算的轨迹是否连接所述进入点和所述目标点并避免进入所述禁止区域的任何禁止区域中。
[0037]这一方法还可以包括判断所计算轨迹的一个或多个特性沿着所计算的轨迹长度的任何部分是否超过预定水平的步骤。一个或多个特性可以是曲率。
[0038]一种替代实施方式执行一种规划对象的感兴趣区域中的图像引导的介入流程的方法，包括:
[0039](a)获得感兴趣区域的多个时间上间隔开的图像，
[0040](b)在多个图像中的第一图像上定义进入点、目标点以及禁止介入流程进入的一个或多个区域，
[0041](C)选择多个图像中的第二图像，该多个图像中的第二图像与多个图像中的第一图像在不同的时间产生，
[0042](d)确定进入点、目标点以及禁止介入流程进入的任何区域的位置在多个图像中的该第二图像中的变化;以及
[0043](e)计算进入点与目标点之间用于介入流程的轨迹，该轨迹避免进入多个图像中的第一图像和多个图像中的第二图像中的一个或多个禁止区域中的任何禁止区域中。
[0044]这一方法还可以包括判断所计算的轨迹中的至少一个轨迹的一个或多个特性沿着所计算的轨迹中的至少一个轨迹的长度的任何部分是否超过预定水平的步骤。该一个或多个特性可以是曲率。
[0045]此外，替代实施方式还可以涉及一种规划对象的感兴趣区域中的图像引导的介入流程的方法，该方法包括:
[0046](a)计算进入点与目标点之间用于介入流程的轨迹，该轨迹避免了进入一个或多个禁止区域中的任何禁止区域，其中已经在感兴趣区域的多个时间上间隔开的图像中的第一图像上定义了进入点、目标点以及一个或多个禁止区域，
[0047](b)确定进入点、目标点以及禁止介入流程进入的任何区域的位置在多个图像中的在与产生多个图像中的第一图像不同的时间所产生的第二图像中的变化，以及
[0048](C)基于在步骤(b)中所确定的位置变化，针对多个图像中的第二图像重复步骤(a) ο
[0049 ]这种方法还可以包括获得多个时间上间隔开的图像的步骤。此外，该方法还可以包括存储进入点、目标点以及禁止介入流程进入的所述一个或多个区域的步骤。
[0050]根据本申请中所述方法的其它实施方式，提供了一种规划对象的感兴趣区域中的图像引导的介入流程的方法，包括:
[0051](a)对感兴趣区域进行成像，该成像包括产生多个时间上间隔开的图像，
[0052](b)在多个图像中的第一图像上定义进入点、目标点以及禁止介入流程进入的一个或多个区域，
[0053](C)计算进入点与目标点之间用于介入流程的轨迹，该轨迹避免进入一个或多个禁止区域的任何禁止区域中，
[0054](d)选择多个图像中的第二图像，该第二图像在与产生多个图像中的第一图像不同的时间产生，
[0055](e)确定进入点、目标点以及禁止介入流程进入的任何区域的位置在多个图像中的该第二图像中的变化，以及
[0056](f)基于在步骤(e)中确定的位置变化，针对多个图像中的第二图像重复步骤(C)。
[0057]上述方法中的任何方法都可以包括:确定图像中的周期运动序列以及选择周期序列中的图像中的一个或多个图像，以便在与一个或多个图像相关联的时间执行流程的介入步骤的步骤。
[0058]此外，在上述方法中的任何方法中，可以在预定时间段内产生多个时间上间隔开的图像。此外，在上述方法中的任何方法中，进入点、目标点以及禁止介入流程进入的任何区域的位置变化可能是由于患者的感兴趣区域的周期运动导致的，例如患者的呼吸运动。而且，禁止介入流程进入的一个或多个区域可以包括以下各项至少其中之一:骨骼、血管、神经、内脏器官和植入的医疗元件。
[0059]其它示例性实施方式涉及一种用于规划对象的感兴趣区域中的图像引导的介入流程的系统，该系统包括:
[0060] (i)用户接口，该用户接口适于接收用户输入，用户输入至少有关在感兴趣区域的多个时间上间隔开的图像中的第一图像上定义的进入点、目标点以及禁止介入流程进入的一个或多个区域的位置;以及[0061 ] (ii)至少一个处理器，该处理器适于:
[0062](a)确定进入点、目标点以及禁止介入流程进入的任何区域的位置在多个图像中的第二图像中的变化，该第二图像在与产生多个图像中的第一图像不同的时间产生，以及
[0063](b)计算进入点与目标点之间用于介入流程的至少一个轨迹，该轨迹避免进入多个图像中的至少第一图像中的一个或多个禁止区域的任何禁止区域中。
[0064]这种系统还可以包括适于显示至少多个时间上间隔开的图像的显示器。此外，它还可以包括存储器部件，其适于存储至少多个图像、进入点、目标点和禁止介入流程进入的一个或多个区域。至少一个处理器还可以适于判断至少一个轨迹的一个或多个特性沿其长度的任何部分是否超过预定水平。此外，至少一个处理器还可以适于判断至少一个轨迹中的一个或多个轨迹是否适于多个图像。在此情况下，至少一个处理器还可以适于判断一个或多个适用轨迹中的哪个轨迹对于多个图像中的所有图像是最优的。最后，上述系统中的任何系统还可以包括适于从成像系统获得图像的通信模块。
[0065]上文描述的方法和系统的实施方式可以包括本公开内容中描述的特征中的任何特征，包括上述有关其它方法/系统实施方式的特征中的任何特征。
[0066]要理解的是，尽管贯穿本公开内容所使用的示例涉及用于规划针插入的路径的方法以及系统，但这些方法和系统并非意在限于针的插入，而是被理解为包括出于诊断和/或治疗的目的而被插入对象的身体中的任何工具的插入，例如端口、导引器、手术工具、消融导管或流体输送工具。
【附图说明】
[0067]参考附图描述了本公开内容的方法和系统的一些示例性实施方式。在附图中，相似的附图标记指示相同或基本相似的元件。
[0068]图1A-1D是根据本公开内容的方法的一些示例性实施方式，在患者的呼吸周期的连续点处拍摄的样本CT扫描的示意图，展示了针进入点、目标点和途中障碍物的移动。
[0069]图2A-2B是根据本公开内容的方法的一些示例性实施方式，在T= TO时拍摄的CT图像的计算机模拟，示出了针进入点、目标点和障碍物(图2A)以及计算的轨迹(图2B)。
[0070 ]图3A-31是根据本公开内容的方法的一些示例性实施方式，在T = TI到T8拍摄的CT图像的计算机模拟，展示了针对进入点、目标和障碍物的每种位置状况而重新计算的最优轨迹。
[0071 ]图4是流程图，示出了规划针插入流程的一种示例性实施方式。
[0072]图5是流程图，示出了规划针插入流程的另一种示例性实施方式。
[0073]图6是用于规划针插入流程的示例性系统的框图。
【具体实施方式】
[0074]现在参考图1到图3，它们示出了对本公开内容中所述方法的需要，以及在规划在患者的肺部的损伤上所进行的活检针流程时如何实施所公开方法的示例性实施方式。然而，本领域技术人员要理解的是，可以针对在身体、人或其它的各个部分(包括器官、组织等)上执行的流程来利用本文所描述的示例性系统和方法。
[0075]图1A到图1D示出了患者的肺部的样本CT扫描的示意图，示出了针进入点11、针的轨迹必须要避开的障碍物(在本示例中，为患者的肋骨)12以及在流程中针要到达的目标点13。贯穿本公开内容，也可以将障碍物称为“禁止区/区域”。此外，尽管在图1A到图1D中示出了单个障碍物，但可以认识到，可以有在手术期间必须要避开的超过一个障碍物或敏感器官/区域。图1A到图1D的每幅图都是对在患者的呼吸周期的连续点所拍摄的CT图像的图示，以使得所有的三个参考点(即，进入点11、障碍物12和目标点13)从一帧移动到下一帧。这些CT图像例示了规划插入轨迹的问题，其中，尽管由于呼吸周期而导致的患者的胸部的周期运动，但该插入轨迹是安全且准确的。在本示例中，医生可以使用图1A中所示的CT图像，以便标记障碍物12和目标13，并选择进入点11，这实现了从进入点11到目标13基本上线性轨迹100，同时避开了障碍物12。通常，优选具有最小曲率的轨迹。在图1B中，参考点的相对运动导致规划的轨迹非常接近障碍物12而通过。在图1C中，轨迹与障碍物12之间形成接触，并且在图1D中，规划的轨迹直接穿过障碍物12。因此，如果医生要在呼吸周期的与例如图1D中所示的图像相对应的点处开始针插入流程，并遵循其基于图1A中所示图像中元件的位置的预先规划的轨迹，则针将在途中遇到障碍物12(在本示例中，为患者的肋骨)。这可能导致患者不必要的疼痛，并导致需要取出针并重新开始插入流程或甚至重新开始轨迹规划过程。
[0076]图2A和图2B是类似于图1A到图1D中所示CT图像的示意图的状况的计算机模拟。图2A示出了针进入点21、针轨迹必须要避开的障碍物22以及针要到达的目标点23，如医生在规划方法的初始时间的CT帧的计算机模拟上所标记的，该初始时间的CT帧被定义为T = TO的第一帧。图2B示出了在进入点21与目标点23之间提供最优路径200，同时避开障碍物22的软件计算的针轨迹。在一些实施方式中，最优路径是获得最小针曲率的路径，因为这样给组织施加最小的横向压力。例如，参见Glozman等人的、名称为“Controlled Steering of aFlexible Needle”的美国专利N0.8，348,861，其以全文引用的方式并入本文中。要指出的是，尽管用三角形标记了进入点，但三角形的取向不反映进入角度。此外，可以认识到，标记的障碍物可以反映障碍物本身的实际形状和尺寸，或者它可以包括障碍物周围的安全区域。
[0077]图3A到图3H是继T= TO时所拍摄的帧之后在T = Tl到T8时所拍摄的帧的、类似于图2B示例性计算机模拟，示出了检测到障碍物22和目标点23相对于进入点21和彼此的运动，软件如何通过对这些帧中的每个帧的实际CT图像的图像处理来针对每个位置状况重新计算最优轨迹200。在一些实施方式中，针对图像中的每个图像对轨迹的重新计算可以基于在Τ = Τ0时计算的初始轨迹。例如，软件可以首先检查鉴于新的位置状况，初始计算的轨迹是否依然是最优的，或对于当前图像而言至少是安全和可接受的，而如果并非如此，则向初始计算的轨迹插入尽可能最小的调节。在其它实施方式中，最优轨迹的重新计算可以基于针对先前图像(按时间顺序)计算的轨迹。在其它实施方式中，可以针对每个图像单独地重新计算最优轨迹，而不依赖于先前图像或其它图像，即，作为独立的图像。如这一示例性帧系列中所示，在图3C和图3D中所示的在时间T3和T4时的帧之间，根据其中轨迹重新计算是基于初始规划轨迹的一些实施方式，软件可能已经确定障碍物22已经过远地移动到在障碍物22的右手侧(如在本公开内容的附图中所确定的右侧)所规划的初始轨迹中，而使得最小可实现曲率超过预定最大阈值，并已经修改了TO时的初始进入角，以便尝试提供在障碍物的右手侧产生的更优的选定轨迹。过大的曲率可能对患者的组织产生过大的横向压力，从而可能导致不适或者甚至伤害患者。此外，过大的曲率可能导致针在流程期间变形或者甚至断裂。可以认识到，预定的最大曲率可以取决于要在流程中使用的针的类型，因为可实现的弯曲的程度与针的粗细和直径(量规)相关。在其中针对每个图像作为独立图像对最优轨迹进行重新计算的其它实施方式中，系统软件在图3C和图3D中所示的在时间T3和T4时的帧之间可能已经确定对于在图3D、T = T4时所拍摄的图像而言在障碍物的左手侧所产生的轨迹是优选的，因为它与在障碍物的右手侧所产生的任何轨迹相比允许更小的曲率，即使在障碍物的右侧可实现的曲率不超过预定阈值。根据图3D到图3H的T4到T8的后续帧显而易见的是，这种替代进入角使得能够通过剩余序列产生具有与如果继续在障碍物的右侧的初始规划轨迹时所获得的曲率相比较小曲率的轨迹。
[0078]图31是展示贯穿在图3A到图3H中所示的整个示例性序列(S卩，在从T= TO到T = T8所拍摄的所有图像中)，障碍物22和目标点23移动的计算机模拟。还示出了在障碍物的左手侧的具有最大曲率的轨迹200’，该最大曲率会是在T = TO在障碍物的左手侧产生初始轨迹时达到的，还示出了在障碍物的右手侧的具有最大曲率的轨迹200”，该最大曲率会是在T =Τ8继续在障碍物的右手侧的初始规划的轨迹时达到的。显然，在本示例中，在障碍物的右手侧达到的最大曲率与在障碍物的左手侧达到的最大曲率更大。这是因为进入点21、障碍物22和目标点23的初始位置，以及在这一示例性帧序列中在运动周期期间障碍物22和目标23的运动方向在这些图的参照系中是向上向右的事实。因此，在这种情况下，在手术前规划阶段期间针对序列中的图像中的每幅图像计算最优轨迹会向用户指出即使在T = TO时也执行障碍物的左手侧的插入流程，如图3Α中所示，障碍物的右手侧的最佳轨迹的曲率比障碍物的左手侧的最佳轨迹具有更小的曲率，如图31中所示。
[0079]在本公开内容的方法的一些实施方式中，为了确保针的轨迹不会与具有障碍物的路径交叉，且初始规划的轨迹对于整个周期将是最优的，而与运动周期期间何时执行该流程无关，用户可以在整个周期内将障碍物的时间变化的位置包围在一起，并在该序列中的所有图像上将它们标记为单个较大的障碍物。
[0080]图4是流程图400，示出了在进行上文描述的方法的一个示例性实施方式中所执行的步骤。
[0081]在步骤401中，在预定时间段内产生感兴趣区域的时间上间隔开的多个图像/图像帧的序列。预定时间段可以对应于诸如呼吸周期之类的患者运动的一个或多个完整周期。
[0082]在步骤402中，将这些图像帧存储为视频序列。
[0083]在步骤403中，用户选择图像帧中的一个图像，其可以在序列中的任何地方，但可以方便地在患者的运动周期中的易于识别的时间点(例如，在患者完整地呼气的时间点)选择。用户然后在选定的图像帧上标记其打算使用的进入点、目标点以及禁止进入患者的身体结构中的区域。显然，用户充分利用其专业判断来选择看起来提供到目标的最短轨迹的进入点，该最短轨迹具有最小曲率但仍然避开禁止区域。在一些实施方式中，由系统软件执行步骤403，即，可以调整程序以选择初始图像帧和/或在选定的图像帧上标记目标点、途中的障碍物和初始进入点中的至少一个。
[0084]然后，在步骤404中，该程序计算从进入点到目标、避开所有禁止区域的最优轨迹，包括确定针在进入点处的进入角度。在不计算进入角度的程序选项的情况下，用户还必须输入进入角度，该进入角度是用户确定对于所选的估计的轨迹和进入点而言最适当的进入角度。在图4的流程图中未示出这个步骤，但在适当的情况下要理解这个步骤。
[0085]在步骤405中，存储针对选定的帧在步骤404中计算的最优轨迹。
[0086]在步骤406中，从所存储的序列中选择另一个图像帧，其最方便地可以是序列中的下一帧，但可以是序列中稍晚的帧，或者甚至在选定的第一帧之前的帧，因为帧序列是周期性的。在一些实施方式中，用户手动地选择接下来要处理的图像。在其它实施方式中，系统软件自动地选择新图像进行处理。
[0087]在步骤407中，该程序然后使用目标跟踪图像处理方法，以便检测进入点、目标点和禁止进入区域在新图像帧中的新获得的位置，这些新位置是由于患者的周期性运动导致的。
[0088]在步骤408中，该程序然后根据三个定义的参考位置(S卩，进入点、目标点和禁止进入区域)的新位置，针对该帧计算最优轨迹。
[0089]在步骤409中，存储针对该新的帧所计算的最优轨迹。
[0090]然后，在步骤410中，该程序判断选择的序列中的所有图像帧是否都已经计算了其最优轨迹。如果不是，那么该程序使流程返回到步骤406，从所存储的帧序列中选择另一个图像帧，并针对该下一个选定的帧重复步骤407到410。
[0091]另一方面，如果在步骤410中，已经处理了完整帧序列中的所有图像帧，那么该程序继续进行到步骤411，其中检查所有计算的轨迹以判断它们中的任何轨迹沿其长度的任何部分是否具有超过所定义的预定最大曲率的曲率。可以认识到，曲率仅仅是在步骤411中检查的轨迹的特性的一个示例。另一个特性例如可以是距障碍物的距离，在这种情况下，程序将检查轨迹是否从最小可接受距离偏离。另一个特性可以是插入角度，如果插入角度由系统软件自动地选择，因为由于自动插入系统(例如，机器人)的设计，一些插入角度可能无法实现。在步骤411中也可以检查若干特性的组合的偏离情况。如果在任何帧中都未发现任何过大的轨迹曲率，那么将用于针插入的计划视为用于在患者的整个运动周期内实施针插入流程的有效计划，如在步骤412中所示。术语“有效计划”可以指，针对在患者的运动周期期间在不同时间所拍摄的该序列中的每个图像帧，存在可接受的/安全的轨迹。因此，用户可以在运动周期期间的任一点开始针插入流程，并将根据针对该周期期间该特定时间点所计算的最优轨迹来执行插入流程。另一方面，如果在任何所计算的轨迹中发现了过大的曲率，那么认为针的该插入计划无效，如在步骤413中所示，并且医生必须要选择替代的进入点和/或(如果相关的话)替代的进入角度。然后应当重复整个流程，以便尝试获得插入计划，其中针对一系列图像帧所计算的任何轨迹都不具有过大曲率。
[0092]在这些方法的一些实施方式中，在已经针对序列中所有帧单独地计算最优轨迹之后，可以通过该序列中所有帧或至少若干其它帧运行所计算的轨迹中的所有轨迹或至少一个轨迹，并且从检查的轨迹中，可以为针插入流程选择用于整个帧系列的单个最优轨迹。例如，这个轨迹例如可以是具有最小曲率和/或从进入点到目标点的最短距离的轨迹。
[0093]图5是流程图500，示出了在进行本公开内容的方法的另一个示例性实施方式时所执行的步骤。
[0094]在步骤501中，在预定的时间段内产生感兴趣区域的时间上间隔开的多个图像/图像帧序列。该预定的时间段可以对应于诸如呼吸周期之类的患者的运动的一个或多个完整周期。
[0095]在步骤502中，存储这些图像帧。
[0096]在步骤503中，用户/医生选择图像帧中的一个图像帧，并在选定的图像帧上标记其打算使用的进入点、目标点以及被禁止进入患者的身体结构中的区域。在其它实施方式中，可以调整程序以选择初始图像帧和/或在选定的图像帧上标记目标点、途中的障碍物和初始进入点中的至少一个。
[0097]然后，在步骤504中，该程序计算避开所有禁止区域的从进入点到目标的最优轨迹。在一些实施方式中，最优轨迹的计算可以包括确定针在进入点处的进入角度。在其它实施方式中，用户/医生还必须要在轨迹计算之前输入进入角度。
[0098]在步骤505中，该程序判断所计算的轨迹的特性，例如曲率，是否超过预定阈值。如果是这样的话，那么在步骤506中，医生必须要为初始选择的帧选择替代进入点和/或替代进入角度，或者选择将要针对其计算轨迹的不同图像帧，并重复步骤504和步骤505。如果没有相关特性超过预定阈值，那么在步骤507中存储计算的最优轨迹。例如，另一个特性可以是距障碍物的距离。在这种情况下，判断轨迹的特性是否超过预定阈值可以表示:该程序判断计算的轨迹和标记的障碍物之间的距离是否小于最小可接受距离。
[0099]在步骤508中，从所存储的序列中选择另一个图像帧，它最方便地可以是序列中的下一帧，但可以是序列中稍晚的帧，或者甚至是在选定的第一帧之前的帧，因为该帧序列是周期性的。在一些实施方式中，用户/医生手动地选择接下来要处理的图像。在其它实施方式中，系统软件自动地选择要处理的新图像。
[0100]在步骤509中，该程序使用目标跟踪图像处理方法，以便检测进入点、目标点和禁止进入区域在新图像帧中的新获得的位置，这些新位置是由于患者的周期性运动导致的。
[0101]在步骤510中，该程序在步骤508中所选定的图像帧上运行所存储的轨迹，考虑进入点、目标点和禁止区域的新位置。
[0102]然后，在步骤511中，该程序检查所存储的轨迹对于选定的图像帧是否是可接受的/安全的。可接受的/安全的(或适用的)可以表示给定这些元件的新获得的位置，轨迹从进入点通往目标点，同时避开障碍物。在一些情况下，用于执行所计算的轨迹的自动化插入系统可以适于在插入过程期间调节轨迹，例如，闭环系统，例如在Glozman等人的、名称为“Controlled Steering of a Flexible Needle” 的美国专利N0.8，348,861 以及Neubach等人的、名称为“Ultrasound Guided Robot for Flexible Needle Steering” 的美国专利N0.8,663,130中所公开的系统，两者以全文引用的方式并入本文中。在这种情况下，如果为了使检查的轨迹到达目标和/或避开障碍物，将需要可接受水平的调节，也可以认为该检查的轨迹是可接受的/安全的。
[0103]如果该程序确定对于该图像帧，所存储的轨迹不是安全的/可接受的，S卩，其未到达目标点和/或其在途中遇到障碍物和/或为了使其到达目标和/或避开障碍物而在插入流程期间需要不可接受水平的调节，那么该过程返回到步骤506，并且医生必须要为初始选定的帧选择替代进入点和/或替代进入角度，或者选择将要针对其计算轨迹的不同图像帧。另一方面，如果该程序确定对于当前处理的图像帧而言，存储的轨迹使可接受的/安全的，那么其进行到步骤512，其中其判断是否已经处理了完整帧序列中的所有图像帧，S卩，所存储的最优轨迹是否已经运行通过该系列中所有图像帧。如果不是这样的话，那么程序使该流程返回到步骤508，并从存储的帧序列中选择另一个图像帧，并且针对这一接下来所选定的帧重复步骤509到512。另一方面，如果在步骤512中，已经处理了完整帧序列中的所有图像帧，意味着所存储的最优轨迹已经运行通过系列中的所有图像帧，并且已经确定，对于每个图像而言，所存储的轨迹是可接受的/安全的，那么在步骤513中将所存储的轨迹设置为用于插入流程的轨迹。
[0104]图6是用于执行上述方法中的任何方法的示例性系统60的方框图，但要理解也可以想到其它系统配置。该系统可以包括至少一个处理器61，用于利用图像处理的目标跟踪方法来确定进入点、目标点和其间的任何障碍物的位置变化。该至少一个处理器61还可以适于计算针轨迹，并且在一些实施方式中，适于分析所计算的轨迹并将它们彼此进行比较。处理器61包含在个人计算机(PC)、膝上型计算机、平板计算机、智能电话或任何其它基于处理器的装置中。在一些实施方式中，系统可以包括通信模块62，用于与成像系统通信和/或从成像系统(例如，CT系统、MRI系统、超声波系统或X射线荧光透视系统)检索图像。通信模块62可以被集成有处理器或者可以是单独的部件。在一些实施方式中，患者的感兴趣区域的图像可以被上传或直接从诸如CD、DVD、USB便携式驱动器等之类的外部储存器装置读取。系统还可以包括尤其是用于显示获得的图像和计算的轨迹的显示器/屏幕63。该系统还可以包括用户接口 64，使得用户/医生能够在从成像系统获得的图像上标记进入点、目标和禁止区域。在一些实施方式中，用户接口64也可以用于由用户来验证和接受计算的轨迹。用户接口 64可以是按钮、开关、钥匙、键盘、计算机鼠标、操纵杆、触敏屏幕等的形式。显示器63和用户接口64可以是两个独立的部件，或者在利用例如触敏屏幕(“触摸屏”)的情况下，它们可以一起形成单个部件。该系统还可以包括用于存储获得的图像、标记的进入点、目标点和障碍物、计算的轨迹等的存储器部件65，并且至少一个处理器61还可以适于在存储器部件65中存储上述数据以及从其中检索数据。
[0105]尽管上文已经详细描述了一些变型，但其它修改也是可能的。例如，附图中所示并在本文中所述的逻辑流程不需要所示的特定顺序或相继顺序来实现期望的结果。
[0106]尽管本文已经详细公开了特定实施方式，但这仅仅是出于例示的目的以举例的方式进行的，并非旨在对所附权利要求的范围进行限制。具体而言，可以设想到，可以做出各种替换、变更和修改而不脱离如权利要求所定义的本公开内容的精神和范围。其它方面、优点和修改被认为在所附权利要求的范围之内。给出的权利要求代表了本文所公开的实施方式和特征。还设想到其它未要求保护的实施方式和特征。因此，其它实施方式落在所附权利要求的范围内。
【主权项】
1.一种规划对象的感兴趣区域中的图像引导的介入流程的方法，包括: (a)获得所述感兴趣区域的多个时间上间隔开的图像； (b)在所述多个图像中的第一图像上定义进入点、目标点以及禁止所述介入流程进入的一个或多个区域； (c)计算所述进入点与所述目标点之间的用于所述介入流程的轨迹，所述轨迹避免进入所述一个或多个禁止区域中的任何禁止区域； (d)选择所述多个图像中的第二图像，所述多个图像中的所述第二图像与所述多个图像中的所述第一图像在不同的时间产生； (e)确定所述进入点、所述目标点以及禁止所述介入流程进入的任何区域的位置在所述多个图像中的所述第二图像中的变化;以及 (f)基于在步骤(e)中所确定的位置变化，针对所述多个图像中的所述第二图像重复步骤(C)。2.根据权利要求1所述的方法，还包括以下步骤:在所述多个图像中的所述第一图像上选择所述介入流程在所述进入点处的进入角度。3.根据权利要求1所述的方法，还包括以下步骤:判断所计算的轨迹中的至少一个轨迹的一个或多个特性沿着所计算的轨迹中的所述至少一个轨迹的长度的任何部分是否超过预定水平。4.根据权利要求3所述的方法，其中，所述一个或多个特性是曲率。5.根据权利要求3所述的方法，其中，所述一个或多个特性是距禁止所述介入流程进入的所述一个或多个区域中的任何区域的距离。6.根据权利要求3所述的方法，其中，如果所计算的轨迹中的至少一个轨迹的一个或多个特性沿着所计算的轨迹中的所述至少一个轨迹的长度的一部分超过预定水平，则使用权利要求I的步骤(b)中的替代的进入点来重复所述规划。7.根据权利要求3所述的方法，其中，如果所计算的轨迹中的至少一个轨迹的一个或多个所述特性沿着所计算的轨迹中的所述至少一个轨迹的长度的一部分超过预定水平，则使用权利要求1的步骤(b)中的替代的进入点和替代的进入角度中的至少一个来重复所述规划。8.根据权利要求1所述的方法，还包括以下步骤:存储所计算的轨迹中的一个或多个轨迹。9.根据权利要求1和3中的任一项所述的方法，还包括以下步骤: 判断所计算的轨迹中的一个或多个轨迹是否适用于所述多个图像中的每个图像；以及 如果确定所计算的轨迹中的一个或多个轨迹适用于所述多个图像中的每个图像，则判断所述一个或多个适用轨迹中的哪个轨迹对于所述多个图像中的所有图像是最优的。10.根据权利要求9所述的方法，其中，判断所计算的轨迹中的一个或多个轨迹是否适用于所述多个图像中的每个图像包括:判断所计算的轨迹中的一个或多个轨迹是否终止于所述多个图像中的每个图像中的目标点处，并且避免进入所述多个图像中的每个图像中的一个或多个禁止区域中的任何禁止区域中。11.根据权利要求9所述的方法，其中，判断所述一个或多个适用轨迹中的哪个轨迹对于所述多个图像中的所有图像是最优的包括以下各项中的一个或多个: 判断所述一个或多个适用轨迹中的哪个轨迹包括较小曲率；以及 判断所述一个或多个适用轨迹中的哪个轨迹包括在所述进入点与所述目标点之间的较小距离。12.根据权利要求7所述的方法，还包括选择产生如下轨迹的规划的步骤:所述轨迹与不同规划所提供的任何轨迹相比沿着所述轨迹的长度的任何部分具有较小曲率。13.—种规划对象的感兴趣区域中的图像引导的介入流程的方法，包括: (a)获得所述感兴趣区域的多个时间上间隔开的图像； (b)在所述多个图像中的第一图像上定义进入点、目标点以及禁止所述介入流程进入的一个或多个区域； (c)计算所述进入点与所述目标点之间的用于所述介入流程的轨迹，所述轨迹避免进入所述禁止区域中的任何禁止区域； (d)选择所述多个图像中的第二图像，所述多个图像中的所述第二图像与所述多个图像中的所述第一图像在不同的时间产生； (e)确定所述进入点、所述目标点以及禁止所述介入流程进入的任何区域的位置在所述多个图像中的所述第二图像中的变化;以及 (f)判断在所述多个图像中的所述第二图像中，所计算的轨迹是否连接在所述进入点与所述目标点之间并且避免进入所述禁止区域中的任何区域中。14.根据权利要求13所述的方法，还包括以下步骤:判断所计算的轨迹的一个或多个特性沿着所计算的轨迹的长度的任何部分是否超过预定水平。15.根据权利要求14所述的方法，其中，所述一个或多个特性是曲率。16.—种规划对象的感兴趣区域中的图像引导的介入流程的方法，包括: (a)获得所述感兴趣区域的多个时间上间隔开的图像； (b)在所述多个图像中的第一图像上定义进入点、目标点以及禁止所述介入流程进入的一个或多个区域； (c)选择所述多个图像中的第二图像，所述多个图像中的所述第二图像与所述多个图像中的所述第一图像在不同的时间产生； (d)确定所述进入点、所述目标点以及禁止所述介入流程进入的任何区域的位置在所述多个图像中的所述第二图像中的变化;以及 (e)计算所述进入点与所述目标点之间的用于所述介入流程的轨迹，所述轨迹避免进入所述多个图像中的所述第一图像以及所述多个图像中的所述第二图像中的所述一个或多个禁止区域中的任何禁止区域。17.根据权利要求16所述的方法，还包括以下步骤:判断所计算的轨迹中的至少一个轨迹的一个或多个特性沿着所计算的轨迹中的所述至少一个轨迹的长度的任何部分是否超过预定水平。18.根据权利要求17所述的方法，其中，所述一个或多个特性是曲率。19.一种规划对象的感兴趣区域中的图像引导的介入流程的方法，包括: (a)计算进入点与目标点之间的用于所述介入流程的轨迹，所述轨迹避免进入一个或多个禁止区域中的任何禁止区域，其中，所述进入点、所述目标点和所述一个或多个禁止区域已经在所述感兴趣区域的多个时间上间隔开的图像中的第一图像上被定义。 (b)确定所述进入点、所述目标点以及禁止所述介入流程进入的任何区域的位置在所述多个图像中的第二图像中的变化，所述多个图像中的所述第二图像与所述多个图像中的所述第一图像在不同的时间产生；以及 (c)基于在步骤(b)中所确定的位置变化，针对所述多个图像中的所述第二图像重复步骤(a)。20.根据权利要求19所述的方法，还包括以下步骤:获得所述多个时间上间隔开的图像。21.根据权利要求19所述的方法，还包括以下步骤:存储所述进入点、所述目标点以及禁止所述介入流程进入的所述一个或多个区域。22.—种规划对象的感兴趣区域中的图像引导的介入流程的方法，包括: (a)对所述感兴趣区域进行成像，所述成像包括产生多个时间上间隔开的图像； (b)在所述多个图像中的第一图像上定义进入点、目标点以及禁止所述介入流程进入的一个或多个区域； (c)计算所述进入点与所述目标点之间的用于所述介入流程的轨迹，所述轨迹避免进入所述一个或多个禁止区域中的任何禁止区域中； (d)选择所述多个图像中的第二图像，所述多个图像中的所述第二图像与所述多个图像中的所述第一图像在不同的时间产生； (e)确定所述进入点、所述目标点以及禁止所述介入流程进入的任何区域的位置在所述多个图像中的所述第二图像中的变化;以及 (f)基于在步骤(e)中所确定的位置变化，针对所述多个图像中的所述第二图像重复步骤(C)。23.根据前述权利要求中的任一项所述的方法，还包括以下步骤:确定所述图像中的周期运动序列，以及在所述周期序列中选择所述图像中的一个或多个图像以便在与所述一个或多个图像相关联的时间执行所述流程的介入步骤。24.根据前述权利要求中的任一项所述的方法，其中，所述多个时间上间隔开的图像是在预定时间段内产生的。25.根据前述权利要求中的任一项所述的方法，其中，所述进入点、所述目标点以及禁止所述介入流程进入的任何区域的位置的所述变化是由于所述患者的所述感兴趣区域的周期运动引起的。26.根据权利要求25所述的方法，其中，所述周期运动是由于所述患者的呼吸运动引起的。27.根据前述权利要求中的任一项所述的方法，其中，禁止所述介入流程进入的所述一个或多个区域包括以下各项至少其中之一:骨骼、血管、神经、内脏器官和植入的医疗元件。28.—种用于规划对象的感兴趣区域中的图像引导的介入流程的系统，包括: 用户接口，所述用户接口适于接收用户输入，所述用户输入至少有关于在所述感兴趣区域的多个时间上间隔开的图像中的第一图像上定义的进入点、目标点以及禁止所述介入流程进入的一个或多个区域的位置;以及 至少一个处理器，所述至少一个处理器适于: 确定所述进入点、所述目标点以及禁止所述介入流程进入的任何区域的位置在所述多个图像中的第二图像中的变化，所述多个图像中的所述第二图像与所述多个图像中的所述第一图像在不同的时间产生;并且 计算所述进入点与所述目标点之间的用于所述介入流程的至少一个轨迹，所述轨迹避免进入所述多个图像中的至少所述第一图像中的所述一个或多个禁止区域中的任何禁止区域中；29.根据权利要求28所述的系统，还包括适于显示所述多个时间上间隔开的图像的显示器。30.根据权利要求28所述的系统，还包括适于至少存储所述多个图像、所述进入点、所述目标点以及禁止所述介入流程进入的所述一个或多个区域的存储器部件。31.根据权利要求28所述的系统，其中，所述至少一个处理器还适于判断所述至少一个轨迹的一个或多个特性沿着所述至少一个轨迹的长度的任何部分是否超过预定水平。32.根据权利要求28所述的系统，其中，所述至少一个处理器还适于判断所述至少一个轨迹中的一个或多个轨迹是否适用于所述多个图像。33.根据权利要求32所述的系统，其中，所述至少一个处理器还适于判断所述一个或多个适用轨迹中的哪个轨迹对于所述多个图像中的所有图像是最优的。34.根据权利要求28所述的系统，还包括适于从成像系统获得图像的通信模块。
【文档编号】A61B8/08GK106062822SQ201580011357
【公开日】2016年10月26日
【申请日】2015年3月4日 公开号201580011357.2, CN 106062822 A, CN 106062822A, CN 201580011357, CN-A-106062822, CN106062822 A, CN106062822A, CN201580011357, CN201580011357.2, PCT/2015/50230, PCT/IL/15/050230, PCT/IL/15/50230, PCT/IL/2015/050230, PCT/IL/2015/50230, PCT/IL15/050230, PCT/IL15/50230, PCT/IL15050230, PCT/IL1550230, PCT/IL2015/050230, PCT/IL2015/50230, PCT/IL2015050230, PCT/IL201550230
【发明人】M·肖查特
【申请人】赞克特机器人有限公司