用于柔性针操纵的超声引导机器人的制作方法

用于柔性针操纵的超声引导机器人的制作方法
【专利摘要】一种用于在超声成像下操纵柔性针的机器人系统。使用机器人通过操控针基部沿着预定弯曲轨迹来操纵针。由超声传感器检测针尖端位置并将针尖端与预定针路径的跟踪误差输入到控制器，控制器基于针的位置以及针和组织属性求解逆向运动学。控制算法使用新颖的方法通过分析针尖端前方区域的组织运动来检测组织的弹性属性。可以对作为柔性束的针的模型执行逆向运动学解，所述柔性束具有横向连接的虚拟弹簧，以模拟由组织弹性施加的横向力。该系统能够将针引导到组织之内的靶，同时绕过禁止区域。
【专利说明】用于柔性针操纵的超声弓I导机器人
[0001]本申请为分案申请，其原申请的申请日是2011年I月27日，申请号为200980129480.9，发明名称为“用于柔性针操纵的超声引导机器人”。

【技术领域】
[0002]本发明涉及向组织中插入柔性针的控制领域，尤其是在通过超声成像观察针插入时，向组织中插入柔性针的控制领域。

【背景技术】
[0003]大量临床流程涉及到出于诊断和治疗目的的针插入。这样的流程包括活组织检查、区域麻醉、施药、采血、前列腺近距治疗和烧蚀。这些流程需要在器官、血管或病灶处对针尖端进行导航和精确放置。诊断是否正确或治疗处置是否成功高度取决于针插入的精度。例如，在用针向肿瘤中放置放射性种子的近距治疗中，治疗的有效性直接与针放置的精确度相关。在活组织检查中显然也是同样情况，在活组织检查中针的误置可能会导致误诊。
[0004]医师常常徒手执行针插入流程，根据从工具反馈的力和他们对解剖结构的3D感知向前推进针。这种流程的性能是受到限制的，依赖于医师的训练和技巧。尽管成像技术能够改善靶可见度和针的放置，但仍然有导致针误置的原因，例如由于组织变形导致的靶移动和针偏斜。此外，轨迹可能包含需要避开的障碍，从而需要重复插入过程。软组织性质的变化可能导致规划流程阶段和治疗阶段之间不可预知的偏差。估计在进行CT引导的针刺活组织检查的患者中，由于针的误置有14%的测试是没有价值的。因此，有时会重复活检流程以确保采样充分，这使患者承受更大风险并可能发生并发症。
[0005]使用柔性针而非刚性针，可以在很大程度上克服以上限制，因为通过操控针的基部，能够将柔性针尖端操纵到祀，即使沿着弯曲轨迹。题为“Controlled Steering of aFlexible Needle” 的 PCT 专利申请 N0.PCT/IL2007/000682 (被公开为 W02007/141784)以及 D.Glozman 和 M.Shoham 在 IEEE Transact1ns on Robotics 2007 年 6 月第 23 卷第 3期发表的题为“Image-guided Robot for Flexible Needle Steering”的文章描述了用于在实时X射线荧光检查引导下在软组织中操纵柔性针的机器人系统，通过引用将这两篇文献都全文并入本文。
[0006]这种用于闭环针插入的方法利用了一种算法，用于基于虚拟弹簧模型由机器人操控针基部，进行路径规划，针尖端和轮廓检测，以及通过分析由针对组织施加的力导致的组织沿针长度的位移来迭代地估计组织硬度。
[0007]在上述W02007/141784中已经介绍了基于虚拟弹簧模型在软组织中操纵柔性针的理论模型。在这种模型中，如图1的示意图所示，针把持在机器人基部中，机器人基部向针施加横向力Fb和力矩Mb。将针本身看做图1中分成段的线性束，标识为要素
1......1....n，其中每者都受到与虚拟弹簧系数和位移成正比的横向弹簧力。假设横向针位移很小，将组织响应视为线性的并通过沿针分布的横向虚拟弹簧对组织的力建模。因此，每段i都受到点力Fi的作用，其取决于从初始位置Wtji的局部位移Wi以及由虚拟弹簧系数ki描述的组织硬度。
[0008]从基部处的边界条件和二阶连续性条件和要素间施加的弹簧力，可以导出由以下矩阵表达式描述的4Xn方程:
[0009]KN = Q (I)
[0010]其中
[0011]η是要素的数量，
[0012]K是Nij的矩阵系数，
[0013]N是在每个要素Nu的边缘处的平移和斜率矢量，其中i是要素编号，而j是要素i处的自由度。
[0014]Q是包括在针刺穿其时节点的硬度系数和初始位置的组合的矢量。
[0015]然后可以解方程(I)，以计算针基部的所需取向和平移，从而针尖端将按期望路径行进。这是逆向运动学问题的解。在所有避开障碍并确实能到达靶的可能路径中，要使用的最佳一个是对组织施加最小横向压力的路径，其一般与最小针曲率相关。这是通过选择使虚拟弹簧位移和斜率的平方和最小化的尖端倾斜来实现的。
[0016]然而，现有技术中描述的X射线荧光检查跟踪涉及对受检者的X辐射剂量以及执行流程的医务人员受到的偶然散射辐射。此外，可用于执行成像的X射线系统可能是有限的，且这样的设备昂贵，从而可能期望有一种备选的跟踪针的方法。
[0017]在说明书这一节和其他节中提到的每种出版物的公开都通过引用、全文地并入本文。


【发明内容】

[0018]本公开描述了一种在超声成像的实时引导下在软组织中操纵柔性针的系统和方法。使用超声相对于其他成像模态提供了优点。相对于使用X射线成像的主要优点是没有辐射危害，更通用且成本更低。
[0019]不过，因为在这种成像中对针可见性的限制，这种超声图像的解释可能不是简单直接的。针的可见性受到针和超声探头的轴之间角度，或更具体而言，受到超声成像的方向的影响。如果要如X射线荧光检查那样沿针的大致侧向执行超声成像(尽管对于超声成像而言这通常不会是实用的操作方法)，针杆(shaft)投影的至少一部分可以被看到但针尖端可能无法清晰可见。另一方面，在接近针插入角度的成像方向(这是通常用于超声成像的方向)，针尖端作为一个明亮区域清晰可见，其随着针的推进而移动，但针自身一般难以分辨。于是，以通常使用的配置使用US成像能够跟踪针尖端的位置(这是该系统的最终目的)，却不能容易地看到针杆。
[0020]作为这种现象的结果，不能执行上述WO 2007/141784中所述使用X射线荧光检查成像进行的针插入过程和所得机器人操控的分析。在该流程中，一般可以在X射线图像中看到沿针长度的每个点并连续实时跟踪，并使用对该路径的了解来迭代计算针尖端运动必须要被确定的每个点处组织的硬度系数。不了解针的每个插入增量处的硬度系数，就不能对逆向运动学方程求解。最多可以将硬度近似值用于整个插入过程，但由于组织的硬度可能会沿着针的轨迹变化，这种流程的精确度差。
[0021]本公开提供了新颖的分析流程和设备，即使在仅针的尖端大致可见的条件下，也能够实现对针插入的超声跟踪。该流程涉及在针的尖端推进到组织中的同时，通过对针尖端前方和紧邻尖端的周围区域中组织运动进行超声弹性图描记测量，确定针的尖端处组织的弹性属性。由于对于针的每个插入步骤这样测量在针尖端处组织的硬度，如上所述，则能够容易地利用针尖端处组织的实测弹性属性获得逆向运动学方程的解。该解能够为插入针过程中相继迭代步骤规划正向运动和机器人的对准，使得针尖端将循着期望路径前进。由于尖端处的组织硬度是已知的，至少在一级近似上，可以比上述X射线方法更简单地得到逆向运动学方程的解，在X射线方法中不能连续测量组织的硬度，而是从插入之前硬度的初始估计值并从针前进时针路径的形状迭代地确定组织的硬度。在本方法中，也是迭代地执行逆向运动学方程的求解，但仅使用观察到的针尖端与其规划路径的偏差作为反馈参数，来校正每个后续插入步骤。
[0022]以解析方式表达这种情况，已知上述矩阵表达式
[0023]KN = Q (I)
[0024]被通过逆向运动学方法求解，以计算针基部所需的取向和平移，使得针尖端将按横向压力最小的期望针轨迹行进。然而，与上述X射线成像流程(其中Q和K中的硬度系数是未知的，因此必须要借助于在WO 2007/141784中描述的针路径测绘过程迭代地加以估计)不同的是，在本公开的超声方法中，Q和K中的硬度系数是实时测量的，因此在针轨迹的每个迭代点处都是已知的。结果，Q和K的所有要素都是已知的，使用超声成像就这样提供了比现有技术的X射线成像流程更简单的方法来找到方程(I)的逆向运动学解。尽管与考虑到插入期间针路径中的任何变化的情况(如X射线成像方案中所做的)相比这种方法可能精确性差些，但该技术确实能够根据沿针轨迹实际测量的组织硬度的变化更新模型。
[0025]由于对于针的每个插入步骤尖端的位置都是已知的，所以可以通过将这些针尖端位置连接起来的图解过程在一级近似上确定针的累积路径。由于其未考虑在远端针尖端进一步前进到组织中时在针的近端部分针路径的任何横向运动，所以这种路径是近似的。然而，这确实意味着在沿着已知针路径长度的所有递增点处以组织硬度的形式知道了整个束配置。尽管这一信息不是执行本公开所述一阶迭代插入过程所需的，但对于可以执行的任何推演(derivative)测量可能是有用的。
[0026]尽管当前使用的具有光滑表面的柔性针在以接近针进入角度的角度执行的超声成像流程一般不可见，但使得针的全长在超声成像下确实变得可见的技术，尤其是使用特殊针表面的技术可能是可行的。在这种情况下，则能够借助于在插入时测量针横向侧的组织的移动并计算沿针的长度的所有那些点处的硬度常数来测量沿针的整个长度的组织弹性。一旦沿着针长度知道了这些硬度系数，加上针的路径，方程(I)的逆向运动学解就变得可以在闭合形式中获得，并容易进行计算。于是这代表了导出组织硬度的备选方法，组织硬度被用作已知输入参数，以对方程(I)中给出的逆向运动学问题求解。
[0027]除了使用超声弹性图描记来确定针的尖端处遇到的组织类型之外，为了将针引导到预定靶，可以使用这种“深度组织弹性图描记”来确定关于组织的病理数据，否则，从通过在组织表面施加外力来执行的现有技术弹性图描记流程是难以辨别病理数据的。
[0028]本公开中描述的系统的一个示例实施方式涉及一种用于根据预定轨迹控制具有尖端的柔性针到组织中的插入的系统，其中所述系统包括:
[0029](i)用于操控所述针进入所述组织的机器人，
[0030](?)用于探知所述针的所述尖端的位置的超声成像系统，
[0031](iii)用于根据超声图像确定所述尖端区域中所述组织的位移模式的组织运动分析器，以及
[0032](iv)使所探知的所述针的所述尖端的位置和根据所述预定轨迹的所述尖端的期望位置之间的差异最小化的控制系统，
[0033]其中所述控制系统还适于:
[0034](a)利用所述尖端的区域中所述组织的位移模式来确定所述组织的弹性属性，
[0035](b)使用所述组织的弹性属性获得逆向运动学解以计算要赋予所述针以使所述尖端按规划轨迹行进的所需运动，以及
[0036](C)根据所述逆向运动学解指示所述机器人操控所述针进入所述组织中。
[0037]在上述系统中，可以在作为柔性束的所述针的模型上执行所述逆向运动学解，所述柔性束具有横向连接到其上的多个虚拟弹簧，以模拟由所述组织施加在所述针上的横向力，且其中所述组织在所述针上施加的横向力可以是根据从针尖端周围的位移模式导出的所述组织的弹性属性确定的。在这种情况下，所述针的所述模型通过所述组织的路径可以是由所述多个虚拟弹簧对所述针的影响确定的。
[0038]一种用于根据预定轨迹将这样的柔性针插入组织中的备选示例性系统可以包括:
[0039](i)用于操控所述针进入所述组织中的机器人，
[0040](ii)用于探知所述针的所述尖端的位置的超声成像系统，
[0041](iii)用于根据超声图像确定所述尖端的区域中的组织的位移模式的组织运动分析器，以及
[0042](iv)控制所述机器人运动的运动以使所探知的所述针的所述尖端的位置和根据所述预定轨迹的所述尖端的期望位置之间的差异最小化的控制系统，
[0043]其中，所述控制系统可以适于利用作为柔性束的所述针的模型，所述柔性束具有横向连接到其上的多个虚拟弹簧，以模拟由所述组织施加在所述针上的横向力，且其中所述组织在所述针上施加的所述横向力可以根据从所述针尖端周围的组织的位移模式导出的所述组织的弹性属性来确定。
[0044]在这一所描述的系统中，所述针的所述模型通过所述组织的路径可以由所述多个虚拟弹簧对所述针的影响来确定。此外，所述控制系统还可以利用应用于所述虚拟弹簧模型的逆向运动学解来计算要赋予所述针以使所述尖端按规划轨迹行进的所需运动。
[0045]在任何上述系统中，所述针的所述预定轨迹可以包括对于所述针的所述尖端的靶和所述针应当避免的至少一个区域。
[0046]此外，这些系统还可以包括确定在其基部施加在所述针上的力的力传感器，在这种情况下所述控制系统还使用测得的力来确定针尖端附近组织的硬度属性。
[0047]此外，在任何上述系统中，所述控制系统可以确定通过对超声图像进行图像处理确定的所述尖端的位置与根据所述预定轨迹所述尖端的规划位置的偏差，并计算要应用于所述机器人以减小所述偏差的运动。
[0048]根据另一示例性实施方式，所述预定轨迹可以被分成增量，并且所述控制系统可以在每个递增插入点根据从所述超声成像系统获得的所述针尖端的实时位置依据这些增量执行插入。此外，可以选择预定轨迹以避免行程通过不期望的组织区域。
[0049]此外，在任何上述系统的其他实施方式中，可以使用图像处理算法获得尖端区域中组织的位移模式，图像处理算法可以方便地是双线性可变形块匹配算法。
[0050]本公开中描述的所要求发明的其他实施方式利用任何上述系统执行一种方法。
[0051]其他示例实施方式涉及一种用于确定组织的弹性特性的方法，包括:
[0052](i)操控具有尖端的针进入所述组织，
[0053](ii)产生所述针的所述尖端的超声图像，
[0054](iii)根据所述超声图像确定所述尖端周围的所述组织的位移模式，以及
[0055](iv)利用所述位移模式的性质确定所述尖端的区域中所述组织的弹性特性。
[0056]这样的方法还可以包括测量在插入所述针期间外部施加的力并使用所述力的测量结果确定所述尖端的区域中所述组织的弹性特性的步骤。所述位移模式的性质可以包括所述模式中的位移的幅度和形式中的至少一个。此外，根据这些方法，可以利用组织的弹性特性来检测组织中的病理异常。
[0057]其他示例性实施方式涉及一种用于确定组织的弹性特性的系统，该系统包括:
[0058](i)具有尖端的针，用于插入所述组织中，
[0059](ii)用于产生所述针的所述尖端的至少一个超声图像的系统，
[0060](iii)用于根据所述至少一个超声图像确定所述尖端的区域中所述组织的位移模式的组织运动分析器，以及
[0061](iv)利用所述位移模式的性质确定所述尖端的区域中所述组织的弹性特性的组织分析器。
[0062]这样的系统还可以包括用于测量施加到所述针的插入力的力传感器，其中所述力的测量结果可用于提高确定所述尖端的区域中的组织的弹性特性的精确度。所述位移模式的性质可以包括所述模式中的位移的幅度和形式中的至少一个。此外，使用这种系统确定的组织的弹性特性可用于检测组织中的病理异常。
[0063]这里描述的系统的另一种示例性实施方式还涉及一种用于根据预定轨迹控制具有尖端的柔性针到组织中的插入的系统，所述系统包括:
[0064](i)用于操控所述针进入所述组织中的机器人，
[0065](ii)用于探知所述针的位置的超声成像系统，
[0066](iii)用于根据超声图像确定沿所述针的所述组织的位移模式的组织运动分析器，以及
[0067](iv)使所探知的所述针的所述尖端的位置和根据所述预定轨迹的所述尖端的期望位置之间的差异最小化的控制系统，
[0068]其中所述控制系统还可以适于:
[0069](a)利用沿所述针的所述组织的位移模式确定所述组织的弹性属性，
[0070](b)使用所述组织的所述弹性属性来获得逆向运动学解以计算要赋予所述针以使所述尖端按规划轨迹行进的所需运动，以及
[0071](C)根据所述逆向运动学解指示所述机器人操控所述针进入所述组织中。
[0072]在这样的系统中，可以在作为柔性束的所述针的模型上执行所述逆向运动学解，所述柔性束具有横向连接到其上的多个虚拟弹簧，以模拟由所述组织施加在所述针上的横向力，且其中由所述组织在所述针上施加的横向力可以是根据从所述针周围的所述位移模式导出的所述组织的弹性属性确定的。
[0073]这里描述的系统的另一种示例性实施方式可以涉及一种用于根据预定轨迹将具有尖端的柔性针插入组织中的系统，所述系统包括:
[0074](i)用于操控所述针进入所述组织中的机器人，
[0075](ii)用于探知所述针的所述尖端的位置的超声成像系统，
[0076](iii)用于根据超声图像确定沿所述针的所述组织的位移模式的组织运动分析器，以及
[0077](iv)控制所述机器人运动的运动以使所探知的所述针的所述尖端的位置和根据所述预定轨迹的所述尖端的期望位置之间的差异最小化的控制系统，
[0078]其中，所述控制系统可以适于利用作为柔性束的所述针的模型，所述柔性束具有横向连接到其上的多个虚拟弹簧，以模拟由所述组织施加在所述针上的横向力，且其中由所述组织施加在所述针上的所述横向力可以是根据从沿所述针的所述位移模式导出的所述组织的弹性属性确定的。
[0079]在这样的系统中，所述针的所述模型通过所述组织的路径可以由所述多个虚拟弹簧对所述针的影响来确定。此外，所述控制系统可以利用应用于所述虚拟弹簧模型上的逆向运动学解来计算要赋予所述针以使所述尖端按规划轨迹行进的所需运动。

【专利附图】

【附图说明】
[0080]通过下文结合附图给出的详细描述，所要求的本发明将得到更充分的理解和认识，附图中:
[0081]图1是柔性针的理论模型的示意图，柔性针被模型化为分成段的线性束，每个段受到横向弹簧力作用；
[0082]图2是用于执行本申请所描述的超声控制的针插入方法的示例性系统的示意图；
[0083]图3A示意性地示出了正被插入组织的针，以显示针和超声探头之间的相对角度，而图3B是利用图2的系统获得的超声图像，示出了表现为明亮区域的针尖端；
[0084]图4A到4C示出了在诸如图3B所示的超声图像中检测针尖端的方法；
[0085]图5是参照帧的超声图像，被分成放在针尖端前方的所定义节点周围的感兴趣区域，以便执行弹性图描记来估计一对超声图像之间的组织运动；
[0086]图6示出了针尖端周围区域的大面积超声图像，在明亮区域中用十字加以标记；
[0087]图7是图6的针尖端区域的放大截面，示出了由小白色箭头标记的组织位移；
[0088]图8示意性地示出了在针插入流程期间用于使针尖端跟踪误差最小化的示例性控制回路算法；以及
[0089]图9为流程图，示出了根据本公开中描述的一个示例性流程的插入柔性针的方法中的步骤。

【具体实施方式】
[0090]现在参考图2，图2是用于执行本申请中描述的受控针插入方法的示例性系统的示意图。柔性针24被示为把持在插入机器人25中，插入受检者组织20中的进度被示为受到超声(us)成像系统的监测，超声成像系统包括超声探头22及其控制和显示系统23。探头一般可以既包括超声换能器又包括针对从针和组织返回的US能量的传感器系统。US控制系统23 —般可以包括US电源和信号处理例程，用于分析接收的信号并从其产生US图像。
[0091]用于把持针24、对准针24并将其推进到患者组织20中的机器人25可以是RSPR6D0F 并行机器人，例如由 D.Glozman和 M.Shoham在 IEEE Transact1ns on Robotics 2007年 6 月第 23 卷第 3 期发表的题为“Image-guided Robot for Flexible Needle Steering”的文章中所描述的机器人。不过要理解的是，这里所描述的系统并非意在受限于使用并行机器人结构，而是可以使用任何串行、并行或混合式机器人结构。可以利用其控制系统27控制机器人运动。可以通过6-D0F力/转矩换能器26将针连接到机器人的移动板，该换能器测量针的插入力和转矩。
[0092]在图2所示的示例性系统中，示出了独立的控制系统28，用于执行针运动控制算法的计算并用于运行运动控制回路。其功能是获得针对每个插入步骤的所需针基部坐标，并向机器人发出命令，从而在计算逆向运动方程的每个步骤之后将针基部移动到要求的坐标。控制回路负责从US图像处理系统计算机23接收输入数据并基于该数据产生移动命令。可以分析原始US数据或US图像以便定义针尖端的位置，针路径形状、与组织弹性特性相关的数据和来自力传感器的插入力信息，用于输入到机器人控制系统中。可以在系统控制计算机28中执行这一操作，该计算机可以负责图像处理、针和组织的检测以及针控制。系统计算机28经由机器人控制计算机27命令机器人的运动。两者之间的通信可以由数据链路29提供。
[0093]上述控制的划分仅仅是整个针插入系统可以如何工作的一个示例，要理解的是，同样可以围绕单个计算系统构建控制系统，或进行任何适当的控制和处理功能的备选划分。
[0094]超声图像中针的可见性取决于若干参数:针直径、针涂层、插入角度，并且最重要的是超声探头平面与针的对准情况，如在1.Schafhalter-Zoppoth等人于Reg Anesth PainMed 2004 第 29 卷第 480-488 页发表的题为 “Ultrasound visibility of needles usedfor reg1nal nerve block:An in vitro study”的文章中所述。可以利用相对于机器人坐标系校准的数字转换器实现探头的对准，数字转换器例如是可从加利福尼亚San Jose的Immers1n Products Inc.获得的MicroScribe 3DXL数字转换器。然后可以使用数字转换器将超声探头的中心轴线平面与针对准。
[0095]现在参考图3A，其示意性地示出了与从US探头32发射的超声成像束的方向成角度Θ向组织20中插入的针30。针被定向为从插入点36朝向靶点34进入组织20中。利用各种角度的实验表明，在接近90°的角度，可以沿着其大部分长度看到针杆，但不能清晰看到针尖端。然而，在10°到30°角度，在US图像中针尖端作为随着针前进而移动的明亮区域变得清晰可见。在图3B所示的超声图像的示例中清晰地看出这一点，其中针尖端的位置由箭头表不。
[0096]现在参考图4A到4C，其示出了在超声图像中检测针尖端的方法。因为US图像中斑点程度高，并不能总是容易直接对US图像使用图像处理来确定针尖端的位置。在图4A中看到的针尖端是明亮区域。因为对于接近所使用的垂直对准角度而言，由于随着针尖端的前进，帧间的主要区别是针尖端位置，所以能够通过从参照帧减去当前帧的简单图像处理流程来容易地检测到针尖端。图4B是为这样的参照帧，其为图4A紧前方步骤拍摄的，从图像上的时间戳可以看出。从图4A的当前帧减去图4B的参照帧获得图4C所示的图像，其中仅有标记了白色箭头的针尖端作为一明亮区域可以看到，因为它是两帧之间发生变化的唯一物体。修剪图4C的图像仅留下尖端区域，并向这一经修剪的区域应用阈值。认为尖端位置是差值图像中高于阈值电平的最大明亮区域的质心。为了能够将图像坐标系的每个像素匹配到机器人坐标系，进行图像与探头的配准，并利用数字转换器测量探头到机器人的变换。使用这种图像-机器人配准，能够在机器人的坐标系中表达在图像中检测的针尖端位置。
[0097]然后在下一插入步骤中使用针尖端位置与期望路径的偏差，针基部插入的幅度和角度是由控制器决定的。
[0098]精确计算逆向运动学问题需要知道组织的硬度。由于没有从针插入点到靶区域一路上对组织属性的先验知识，并且由于使用超声，所以不能使用针路径来迭代地估计组织硬度，本公开中描述了一种估计组织属性的新方法。所用的方法基于超声弹性图描记，其根据所施加力作用下组织位移的测量导出软组织的弹性属性。超声成像是用于产生弹性图的通用医疗成像技术。
[0099]在现有技术的超声弹性图描记系统中，在组织表面上施加压缩力并观察浅表力导致的组织移动，来得到组织的位移。这样的力导致较软的内部组织比较硬的内部组织变形更多。例如，这种技术用于通过组织上的可触知压缩力检测肿瘤。不过，在这种流程中，从施加压缩力的组织表面到感兴趣的远程点，内部组织压缩的测量是在整个路径上的积分，因此测量的精度有限或用处有限。
[0100]与这样的方法相反，在当前描述的系统的方法中，使用对超声图像的分析来确定由针尖端的推进导致的组织局部位移。有很多技术来估计组织的运动。根据一种方法，跟踪超声图像中斑点图案的移动可以基于双线性可变形块匹配算法，如A.Basarab等人发表于Medical Image Analysis 2008年6月第12卷第3期259-274页，并在2007年10月预先在线发表为 Med.1mage Anal.(2007) ,do1:10.1016/j.media.2007.10.007 的题为“A methodfor vector displacement estimat1n with ultrasound imaging and its applicat1nfor thyroid nodular disease”的文章中提出的那样。然而,要理解的是,这种双线性可变形块匹配算法仅仅是可以用于提取图像移动的一种技术，本公开的方法并非意在仅限于这种所描述的方法。
[0101]因为Basarab等人描述的方法分析由于探头在表面组织上施加的压缩力导致的组织运动，所以必须要做出一些修改以调整该方法来分析前进的针尖端前方区域中的组织运动。弹性图描记的目的是估计一对超声图像之间的组织运动:变形之前的参照帧，以及由于针移动导致组织变形之后的比较帧。为了实现这个目的，首先将参照帧分成位于针尖端前方所定义节点周围的(多个)感兴趣区域。这在图5所示的超声图像中示出了，其中，感兴趣区域被示为所定义节点周围的横向尺度为轴向尺度两倍的交迭白色矩形，节点被示为小黑色十字。针尖端的实测位置被示为孤立的黑十字。
[0102]对于3.5MHz频率的US探头而言，适当的尺寸是轴向方向上为2.2mm，横向方向上为5.6mm。界定交迭的感兴趣区域提高了位移估计的精确度。有利地，可以将感兴趣区域布置成在横向轴具有60%的交迭，在轴向轴具有50%的交迭。然后由单级块匹配算法计算每个ROI的角部的平移。通过使平方差之和(SSD)最小化来确定块匹配准则。在下一步中，基于双线性模型计算ROI内部所有像素的位移。可以从计算出的角部的位移找到未知的双线性参数。
[0103]一旦已经获得完整的位移图，则分析它以确定针尖端的周围，尤其是前方的区域中组织的弹性属性。由所施加力在尖端周围产生的位移场取决于周围组织的硬度。在考虑到沿针长度的切向摩擦力时，进行初步校准测试以将获得的位移水平与由机器人向针基部施加的力相关起来。可以使用这种初步校准测试来根据诸如针尺寸以及到达那一点采取的步长的参数来表征不同类型的位移模式。于是，检查根据所施加力而产生的位移的范围和分布就能够对组织弹性做出估计。这提供了针尖端处组织的弹性的精确和局部数据。能够产生校准比例或查找表，使得能够从向针施加的力读出估计的硬度系数以及针尖端前方的组织运动。然后可以在系统控制器中运行的算法中使用这种组织硬度以确定针插入的下一插入步骤，如上所述。
[0104]现在参考图6和7，其示出了超声扫描，以展示针尖端周围的组织位移估计，用于执行组织硬度表征的过程。图6是针尖端周围的区域的大面积US图像，针尖端用十字标记在明亮区域中。图7是图6的针尖端区域的放大截面。在图6中能够辨别出US成像软件的个体像素。用小箭头标记如上述Basarab等人的文章中描述的利用图像处理技术根据超声图像计算的组织位移。具有不同硬度的组织将表现出不同的箭头分布。从不同类型组织检测到的运动中的差异使得能够确定组织性质。于是，组织运动被检测到的尖端周围区域的范围为该区域中组织的局部硬度提供了指示一距尖端越远观察到组织移动，该区域中组织的硬度就越小。此外，在尖端周围组织中观察到的移动的幅度也提供了该区域中组织的局部硬度的指示一移动越大，该区域中组织的硬度越小。
[0105]现在参考图8，图8示意性地示出了用于在针插入流程期间使针尖端跟踪误差最小化的示例性控制回路算法。到系统中的输入是规划的针尖端位置，不包括其取向，取向稍后由控制器优化。实际针尖端位置是从超声图像导出的，并将其与规划位置的偏差馈送给控制器。控制器基于虚拟弹簧模型的逆向运动学，利用由点线输入到控制器的所检测组织硬度，为每个插入步骤计算所需的针基部移动。控制器还对针的取向进行优化以使横向组织压力最小化。将这些控制器输出馈送给机器人，机器人相应地向内、横向地和倾斜地向其下一迭代位置移动针基部。实测尖端位置减去期望尖端位置为该次迭代的跟踪误差，将其加到期望尖端位置作为控制器的新输入，进行下一次迭代。继续该过程，直到针尖端到达其所规划的靶。控制器可以是PID控制器，但要理解的是，本发明并非意在限于这种控制模式。
[0106]典型的针插入流程包括以下步骤:
[0107](i)首先在针的平面中放置超声探头并执行配准流程。
[0108](ii)用户在超声图像上选择期望的靶，由医师根据其判断来确定针的进入点，或可以由控制系统计算机计算针的进入点。通过以与针取向和探头间角度相同的角度使一直线通过靶，来执行计算。然后利用图像-机器人配准将这条线与成像区边界的交点转换到机器人坐标系中并定义为进入点。
[0109](iii)由用户选择靶和进入点之间的障碍。
[0110](iv)命令机器人将针移动到进入点并应用用于尖端检测的算法来检测尖端的初始位置。
[0111](V)基于检测到的初始尖端位置、靶位置和障碍(或多个障碍)位置，通过诸如样条方法的内插法计算轨迹。
[0112](vi)然后可以根据上文结合图8所述的插入算法执行受控针插入流程。
[0113]现在参考图9，图9为流程图，示出了根据在本公开中描述的一个示例性流程的插入柔性针的方法中的步骤。将流程分成两个部分，与为受控插入做准备相关的步骤50到56，以及迭代地控制插入流程自身的步骤57到63。
[0114]在步骤50中，为受检者的感兴趣区域拍摄弟一超声图像；
[0115]在步骤51中，外科医生在诸如计算机鼠标的指示装置帮助下描绘靶位置和适当的针尖端进入点，而不管是由医师选择的还是由控制系统计算的。
[0116]在步骤52中，命令机器人将针移动到规划的进入点并在超声图像中检测初始针尖端位置。
[0117]在步骤53中，外科医生在诸如计算机鼠标的指示装置帮助下描绘出尖端进入点和靶之间应当避开的任何区域。因此这个步骤定义了规划轨迹和对其施加的任何约束。
[0118]在步骤54中，计算这一规划路径轨迹并将其细分成段用于迭代进入过程。
[0119]在步骤55中，利用上述逆向运动学解进行计算以确定为了使针的尖端按预定轨迹前进所需的系列针基部运动。在第一次逆向运动学计算中使用组织硬度系数的初始假定值。或者，在第一次刺穿组织表面之后，可以使用力传感器获得硬度系数。
[0120]在步骤56中，机器人从控制系统接收命令以通过向组织之内的第一轨迹点移动尖％5来开始插入流程自身。
[0121]在步骤57中，在完成第一次移动增量之后，拍摄该部位的超声图像。
[0122]在步骤58中，通过基于前一图像(对于第一步骤来说是步骤50中拍摄的参照图像)和当前图像之间的图像差异的图像处理来确定针尖端的位置。
[0123]在步骤59中，计算针尖端位置与其期望位置的误差。将这一误差水平加到所到达的位置以产生用于下一递增插入步骤的期望位置。
[0124]同时，在步骤61中，进行力传感器测量，从其可以确定针尖端上的纵向力。
[0125]在步骤62中，根据检测到的在尖端前方区域中的组织运动并使用步骤61中从力传感器读数计算的针尖端处的估计力，通过成像处理计算在第一迭代插入点处的尖端周围的组织硬度。或者，利用作为组织移动的函数的预校准硬度尺度来进行组织的硬度系数估计。
[0126]在步骤63中，利用新测量的组织硬度系数更新针轨迹的模型以在尖端运动的下一迭代步骤中使用。
[0127]在步骤60中，查询迭代次数。如果已经到达了在步骤54中为模型预定的规划迭代次数，就认为完成了插入，在步骤65停止该过程。
[0128]如果未达到规划迭代次数，在步骤64中执行进一步迭代。使用来自步骤63的经更新的模型以便利用逆向运动学解，考虑到为了最小针偏离或最小组织扭曲进行的优化，计算在下一递增步骤中向意向靶移动针尖端所需的机器人移动。还向这一计算出的新靶点增加来自步骤59的误差校正，然后指示机器人移动到这一组合的下一期望迭代位置。
[0129]一旦已经执行了新的递增移动，该过程流返回到步骤57，在此获得另一超声图像，从而能够确定新的针尖端位置，并能够确定该新位置处组织的新弹性系数。步骤58到65描述的过程然后自身进行重复，直到已经执行最终迭代并到达意向靶为止。
[0130]要理解的是在本发明上述优选实施例中使用的控制方案仅仅是一种备选方法，本发明并不意在限于使用该方案，而是意在包括使用其他控制器和其他控制方案的应用。此夕卜，尽管已经利用仅2维的控制描述了本发明，但要理解的是，这仅仅是为了解释系统及其操作方法的目的，该方法和设备同样可用于3维受控运动。
[0131]分析针尖端周围组织的硬度不仅提供了组织硬度的信息(从其计算按期望路径行进所需的针基部的操控)，其也可用于估计靶硬度以确定所到达组织的性质。组织特性的差异可用于表示已经到达不同的器官或已经检测到肿瘤。根据这种方法，医师尽其所能使用对于该流程而言恒定的插入力有策略地插入针，同时借助于超声成像观察针尖端。从超声图像(一个或多个)确定尖端周围组织的位移模式并使用位移模式的性质确定尖端区域中组织的弹性特性。具体而言，观察到的弹性系数变化可能表示存在有病理异常的组织。用于执行这一流程的系统能够仅由上文中图2系统的针24、超声系统22、23和控制系统28构成。根据更精确的流程，也可以使用力传感器26，从而可以测量用于插入针的力而非使可靠性依赖于医师使用特定或均匀插入力的技能。尽管可以理解也可以利用用于插入过程的机器人执行该方法，但不必需机器人及其控制器或任何逆向运动学方程的解来执行这些方法。
[0132]本领域的技术人员将认识到，本发明不限于上文具体示出和描述的内容。相反，本发明的范围包括上文所述各种特征的组合和子组合，以及本领域技术人员在阅读以上描述后能想到的、不在现有技术中的变化和修改。
【权利要求】
1.一种用于根据预定轨迹将具有尖端的柔性针插入组织中的系统，所述系统包括: 用于操控所述针进入所述组织中的机器人； 用于根据所述尖端的超声图像确定所述尖端的区域中所述组织的位移模式的组织运动分析器；以及 控制所述机器人的运动以使根据所述尖端的超声图像所探知的所述针的所述尖端的位置和根据所述预定轨迹的所述尖端的所述期望位置之间的差异最小化的控制系统； 其中，所述控制系统适于利用作为柔性束的所述针的模型，所述柔性束具有横向连接到其上的多个虚拟弹簧，以模拟由所述组织施加在所述针上的横向力，且其中，由所述组织施加在所述针上的所述横向力是根据从所述针尖端周围的所述组织的位移模式导出的所述组织的弹性属性确定的。
2.根据权利要求1所述的系统，其中，所述针的所述模型通过所述组织的路径是由所述多个虚拟弹簧对所述针的影响确定的。
3.根据权利要求1所述的系统，其中，所述控制系统还利用应用于所述虚拟弹簧模型的逆向运动学解来计算要赋予所述针以使所述尖端按所述规划轨迹行进的所需运动。
4.根据权利要求1到3中的任一项所述的系统，其中，所述针的所述预定轨迹包括对于所述针的所述尖端的靶和所述针应当避免的至少一个区域。
5.根据权利要求1到4中的任一项所述的系统，还包括确定在所述针的基部施加在所述针上的力的力传感器，且其中，所述控制系统还使用所述力来确定所述针尖端附近的组织的硬度属性。
6.根据权利要求1到5中的任一项所述的系统，其中，所述控制系统确定通过对超声图像进行图像处理确定的所述尖端的位置与根据所述预定轨迹的所述尖端的规划位置的偏差，并计算要应用于所述机器人以减小所述偏差的运动。
7.根据权利要求1到6中的任一项所述的系统，其中，所述预定轨迹被分成增量，并且所述控制系统在每个递增插入点根据从所述超声成像系统获得的所述针尖端的实时位置依据这些增量执行所述插入。
8.根据权利要求1到7中的任一项所述的系统，其中，选择所述预定轨迹以避免行程通过所述组织的不期望的区域。
9.根据权利要求1到6中的任一项所述的系统，其中，使用图像处理算法获得所述尖端的区域中所述组织的所述位移模式。
10.根据权利要求1到6中的任一项所述的系统，其中，所述图像处理算法是双线性可变形块匹配算法。
11.一种用于确定组织的弹性特性的系统，所述系统包括: 具有尖端的针，用于插入所述组织中； 用于根据所述尖端的至少一个超声图像确定所述尖端的区域中所述组织的位移模式的组织运动分析器；以及 利用所述位移模式的性质确定所述尖端的区域中所述组织的弹性特性的组织分析器。
12.根据权利要求11所述的系统，还包括用于测量施加到所述针的插入力的力传感器，其中，所述力的测量结果用于提高所述确定所述尖端的区域中所述组织的弹性特性的精确度。
13.根据权利要求11所述的系统,其中，所述位移模式的性质包括所述模式中的位移的幅度和形式中的至少一个。
14.根据权利要求11到13中的任一项所述的系统，其中，利用所述组织的所述弹性特性来检测所述组织中的病理异常。
15.一种用于根据预定轨迹将具有尖端的柔性针插入组织中的系统，所述系统包括: 用于操控所述针进入所述组织中的机器人； 用于根据所述尖端的超声图像确定沿所述针的所述组织的位移模式的组织运动分析器；以及 控制所述机器人的运动以使根据所述尖端的超声图像所探知的所述针的所述尖端的位置和根据所述预定轨迹的所述尖端的所述期望位置之间的差异最小化的控制系统； 其中，所述控制系统适于利用作为柔性束的所述针的模型，所述柔性束具有横向连接到其上的多个虚拟弹簧，以模拟由所述组织施加在所述针上的横向力，且其中，由所述组织施加在所述针上的所述横向力是根据从沿所述针的所述位移模式导出的所述组织的弹性属性确定的。
16.根据权利要求15所述的系统，其中，所述针的所述模型通过所述组织的路径是由所述多个虚拟弹簧对所述针的影响确定的。
17.根据权利要求15所述的系统，其中，所述控制系统还利用应用于所述虚拟弹簧模型的逆向运动学解来计算要赋予所述针以使所述尖端按所述规划轨迹行进的所需运动。
【文档编号】A61B19/00GK104382650SQ201410637274
【公开日】2015年3月4日 申请日期:2009年5月31日 优先权日:2008年5月28日
【发明者】Z·诺伊巴赫, M·肖哈姆 申请人:泰克尼恩研究和发展基金有限公司