腹腔镜的超声机器人外科手术系统的制作方法

专利名称：腹腔镜的超声机器人外科手术系统的制作方法
技术领域：
0003本发明一般涉及机器人外科手术系统，并且特别地，涉 及用于微创外科手术过程的腹腔镜超声机器人外科手术系统。
背景技术：
0004微创外科手术提供了除传统的开放式外科手术技术之外 的许多好处，包括更少的疼痛、更短的住院时间、更快地回复到正常 运动、最小限度的伤疤、减少了的恢复时间和更少的组织创伤。因此， 在微创外科中使用机器人外科手术系统的需求是强烈的并且在增长 的。
0005腹腔镜是微创外科手术的一种类型，其中腹部壁内切开 一个小切口，通过该切口插入被称为腹腔镜的器械来允许腹部或骨盆 内的解剖结构能被看到。 一般通过注入如二氧化碳的可吸收气体，使 得腹腔被扩张并且可见。套管可以通过相同或不同的切口被推入皮肤 内，以便探针或其它器械能够被引入到手术部位。这样，在不需要大 的或开放腔外科切口下，可以进行许多外科手术过程。
0006然而，腹腔镜的一个缺点是不能手动地触诊隐藏的或固 体的器官。腹腔镜超声("LUS")通过提供更深结构的可视化，允 许外科医生克服了这个局限性。事实上，甚至当实行开放腔手术时，
与双手触诊相比，外科手术中的超声扫描可以在探测其它隐蔽在解剖 结构内的损伤时更加敏感。
0007作为一个示例，在腹腔镜手术中，在外科手术中对肝脏 的超声扫描，在不同的临床环境中都是有用的。这些扫描包括肝脏
疾病分期和评估，包括超声引导的穿刺活体检査、肝肿瘤切除和腹腔 镜肝脏切除前的肝脏评估。
0008对于切除过程，外科医生应该有能力对肝脏和其它位置 进行准确的疾病分期来排除切除前的转移性疾病。相比常规的手术前 诊断方法，将LUS加入到标准腹腔镜上提高了对转移的诊断。
0009超声引导的肝脏活体检査是肝病分期和评估的一个重要 部分。当通过超声识别了损伤时，为了从组织上确认发现，穿刺活检 是必须的。当前的实践需要手动的徒手LUS结合在超声引导下的活体 检查穿刺的徒手定位。
0010对不可切除的疾病转移的治疗，越来越多的兴趣集中在 消融处理上，例如射频("RF")、冷冻疗法、微波或化学消融。如 果能够经过皮肤进行组织间隙消融或在开放外科手术中进行组织间隙 消融，腹腔镜消融切除具有显著的优势。首先，不同于经皮治疗，腹 腔镜能识别在手术前成像上看不到的肝内和肝外病变转移，手术前成 像会遗漏患结肠直肠癌/肿瘤肝转移的大约10%至20%病人身上的明 显肿瘤。第二，在显象肝脏损伤上，腹腔镜或手术超声("US")己 经显示出远比经腹US、 CT或MR更准确。进一步地，手术方法，包 括腹腔镜，允许结构活动远离表面瘤，该表面瘤可以在RF切除下被 热毁坏。经皮切除和腹腔镜切除一般均需要全身麻醉和全天住院。另 一方面，腹腔镜不会给病人带来更巨大的负担。
0011尽管与其它方法相比，切除具有优势，但操作超声探针 的技术困难，将超声探针对准切除探针并且放置切除探针，均要求有 相当程度的专门技术。外科医生必须精确地将切除探针尖放置在瘤的 体心内，以便实现对瘤和周围lcm区域内正常软组织的适当破坏。通 过手术前成像，主要是CT和MR，瘤被识别，然后通过LUS瘤被腹 腔镜定位。
0012切除方法的一个主要局限是，在瘤的中心定位探针尖缺 乏准确性。这是特别重要的，因为对肝进行了切除在切除后不能估计 组织边缘。此外，手动导引经常需要多个通道和重新定位探针尖，这 进一步增加了失血和瘤扩散的风险。术中超声提供了对于瘤的极好的
可视性，并且提供了对RF探针位置的导引，但是它的2D特性和对超 声波扫描者技术的依赖限制了它的效果。
0013虽然腹腔镜仪器和技术开始被扩展到肝脏切除手术中， 但是外科医生触觉的丧失使评估切除手术中的安全边缘更加困难，而 这对于安全软组织横断面是必要的。使用当前LUS技术缺乏对肝内结 构清晰的可视性和映射会导致主要邻近结构的毁灭性的损伤。在切除 手术前，外科医生必须通过超声小心地检査肝脏，目的是排除会阻碍 医疗治疗的其它的瘤。外科医生也需要超声来确定并且计划在有足够 的外科手术边缘间隙下安全、全面的切除。
0014尽管它有理论优势，但是术中LUS没有被广泛地应用于 例如腹腔镜肝癌手术中。为了扩大在此类和其它应用中的使用，需要 改进LUS机器人手术系统，使其进行微创手术过程时能提高外科手术 效率，并且使得使用这些系统变得容易。
0015例如，最优化肝外科手术的LUS可以大大改善患者的临 床管理。除最小化发病率和使不舒适感降到最低之外，改进的LUS机 器人手术系统可以较大地减少成本。专家们可以对肝脏进行更快、更 准确和更完全的评价，这些评价也可以潜在地由肝脏的术中超声波扫 描方面的外科医生而不是专家进行。
0016有时小且不易到达的肝脏损伤的图象引导的活体检查可 以变得容易。先进的LUS机器人工具可以增加切除术的使用，作为较 大的、位置不是很有利的肿瘤的最后治疗。用于规划，传输和监控切 除疗法的改进的实时引导也可以提供允许准确有效应用这种有希望的 疗法需要的缺少的工具。
0017
0018

发明内容
0019因此，本发明不同方面的一个目标是腹腔镜超声机器人 外科手术系统和机器人辅助的腹腔镜超声方法，该系统和方法易于应 用并且提高外科医生的效率。
0020本发明不同方面的另一个目标是腹腔镜超声机器人外科 手术系统和机器人辅助的腹腔镜超声方法，该系统和方法对于解剖结 构提供更快、有更高准确度的和完全的评估。
0021本发明不同方面的另一个目标是腹腔镜超声机器人外科 手术系统和机器人辅助的腹腔镜超声方法，该系统和方法使用外科医 生训练的轨迹提供机器人生成的解剖结构的术中3D超声图像。
0022本发明不同方面的另一个目标是腹腔镜超声机器人外科 手术系统和机器人辅助的腹腔镜超声方法，该系统和方法在显示屏上 灵活显示了超声图像。
0023本发明不同方面的又一个目标是腹腔镜超声机器人外科 手术系统和机器人辅助的腹腔镜超声方法，该系统和方法有助于引导 工具到解剖结构上的目标。
0024这些目标和其它目标通过本发明的不同方面来实现，其
中简单讲， 一个方面是腹腔镜超声机器人外科手术系统，包括机械 地连接到超声探针上的第一机器人手臂；机械地连接到外科手术相关 设备上的第二机器人手臂；主操纵器；具有用户可选择的第一模式和 第二模式的控制开关；处理器，该处理器被配置成当控制开关处于第 一模式时，使第二机器人手臂被锁定在适当位置，第一机器人手臂根 据用户对主操纵器的操作来移动超声探针，而当控制开关处于第二模 式时，使第二机器手臂根据对主操纵器的操作来操纵工具，并且当第 一机器人手臂探测到与存储的指令相关的用户命令时，根据存储的指 令移动超声探针。
0025另一个方面是一种提供机器人辅助的腹腔镜超声的方法， 该方法包括当探测到训练指示开始时存储当前超声探针位置和方向； 以及周期性存储超声探针位置和方向来确定位置和方向的轨迹直到探 测到结束的训练指令。
0026另一个方面是一种提供机器人辅助的腹腔镜超声的方法， 该方法包括使用安装在适当位置和方向的超声探针捕获超声图像；
存储位置和方向的信息；生成超声图像的可点击縮略图；关联存储的 位置和方向与可点击縮略图；在显示屏上显示可点击縮略图。
0027又一个方面是一种提供机器人辅助的腹腔镜超声的方法， 该方法包括显示患者体内的解剖结构的超声图像，作为解剖结构照 相机视图的已记录覆盖图；接收标注在超声视图中的目标的信息；确 定工具在患者体内行进到目标的路径；以及产生虚拟定位器来协助用 电子方法约束工具沿确定路径行进。
0028从下面对优选实施例的描述中，本发明不同方面的其它 目标、特征和优势将变得明显，所述优选实施例的描述是结合附图进 行的。
0029


0030图1所示为利用本发明各方面的手术室的俯视图，该手 术室应用了腹腔镜超声机器人外科手术系统。
0031图2所示为利用本发明各方面的腹腔镜超声机器人手术 系统的方框图。
0032图3所示为利用本发明各方面的腹腔镜探针。
0033图4所示为利用本发明各方面的方法的流程图，该方法 用于训练LUS机器人外科手术系统来基于命令按训练的方式用机器 人移动LUS探针。
0034图5所示为利用本发明各方面的方法的流程图，该方法 产生可点击縮略像，该缩略像允许用户命令LUS探针自动运 动到图像捕获的位置和方向。
0035图6所示为利用本发明各方面的方法的流程图，该方法 自动地移动LUS探针到与可点击縮略像关联的位置和方向。
0036图7所示为利用本发明各方面的方法的流程图，该方法 用机器人辅助的针引导到癌结构的标记损伤。
0037图8所示为在利用本发明各方面的医疗机器人系统中使 用的、具有可选择的2D图像切片的照相机参考系中，解剖结构的3D 超声图像的透视图。
0038图9所示为在利用本发明各方面的医疗机器人系统中使 用的照相机参考系中，解剖结构的3D照相机视图的透视图。
0039图IO所示为在利用本发明各方面的医疗机器人系统中可 显示的解剖结构的3D超声视图的正面2D切片的透视图，该切片覆盖 了解剖结构的3D照相机视图。
0040图11所示为在利用本发明各方面的医疗机器人系统中可 显示的解剖结构的3D超声视图的内部2D切片的透视图，该切片覆盖了 解剖结构的3D照相机视图。
0041
具体实施例方式
0042作为一个示例，图1所示为应用机器人外科手术系统的 手术室的俯视图。在此案例中的机器人外科手术系统是腹腔镜超声机 器人外科手术系统100，该系统100包括控制台("C")，在一个或 更多个助手("A")协助下、对躺在手术台("O")上的患者("P") 身体进行微创诊断或手术过程时该控制台被外科医生("S")利用。
0043控制台包括主显示器104 (本文也称作"显示屏")， 该主显示器104显示患者体内手术部位的一个或更多个图像，也可能 是给外科医生的其它信息。控制台还包括主输入设备107和108 (本 文也称作"主操纵器")、 一个或更多个脚踏板105和106、用于接 收来自外科医生的声音命令的麦克风103以及处理器102。主输入设 备107和108可以包括任意的一个或更多个不同的输入设备，例如操 纵杆、手套、扳机枪、手动控制器或类似物。处理器102优选的是个 人电脑，个人电脑可以被并入控制台或另外以传统方式连接到控制台。
0044外科医生通过操作主输入设备107和108来进行微创手 术过程，以便处理器102使主输入设备各自关联的从动臂128和129 (这里也称作"从操纵器")相应地操纵它们各自的可移动连接的并 且握持/控制的外科手术器械138和139 (这里称作"工具")，同时 外科医生在主显示器104上观察手术部位的三维("3D")图像。
0045工具138和139优选的是Intuitive Surgical专利所有的 EndoWristTM铰接器械，该器械在人的腕关节之后被成型以便当附加到
持有工具的机器人手臂的运动时，允许完全的六个自由度的运动，这 类似于开放手术的自然运动。这些工具的附加细节可以从以下文献中
找到专利号为5,797,900名为"Wrist Mechanism for Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity"的美国专利，其全部内容被并入本文作为参考。每个工具 138和139的操作端是可操作的末端执行器例如夹子、抓紧器、剪刀、 订书机、刀片、针或针托。
0046主显示器104是有高分辨的立体视频显示器，该显示器 有两个步进扫描的阴极射线管("CRT")。该系统提供了比偏光、 快门眼镜或其它技术更高的保真度。通过物镜和一系列镜子，每个眼 睛观察一个呈现左或右眼视图的独立CRT。手术自始至终外科医生均 舒服地坐着并且观察这个显示器，使它成为外科医生显示并且处理3D 的术中影像的理想的地方。
0047立体内窥镜140 (也称为"腹腔镜")向处理器102提 供了右照相机视图和左照相机视图，以便处理器102可以根据程序指 令来处理信息并且使之能显示在主显示器104上。腹腔镜超声 ("LUS")探针150向处理器102提供解剖结构的二维("2D") 超声图像切片，以便处理器102可以根据外科医生或存储的程序指令 生成解剖结构的3D超声计算机模型并且使该3D计算机模型(或者可 选择地，它的2D (截面))作为内窥镜导出的3D图像的覆盖图显示 在主显示器104上，或者以2D或3D中的任一形式并且从不同角度和 /或透视角度显示在画中画("PIP")内。
0048每一个工具138和139，以及内窥镜140和LUS探针150， 优选地通过套管或套管针(图中未示)或其它工具引导件被插入患者 体内以便通过相应的微创切口，例如切口166，向下延伸到手术部位。 每一个从动臂121-124通常由连杆组成，该连杆通过电机控制的接头 (也称作"活动接头")连接在一起并被操作。包括连杆和调整接头 的调整臂(图中未示)用于垂直和水平地定位从动臂121-124以便它 们相应的手术相关器械可以被连接用于插入套管中。
0049
一次使用的外科手术工具的数量并且因此在系统100中 使用的从动臂的数量一般取决于诊断或手术过程和手术室内的空间限
制，以及其它因素。如果在手术过程中必须改变使用的一个或多个工 具，则助手可以从从动臂上将不再使用的工具移去，并且用手术室内
盘子("T")上的其它工具代替它，例如工具131。
0050优选地，主显示器104位于靠近外科医生手的位置以便 它能显示定向的投影图像以便外科医生能感觉到他或她实际径直向下 观察手术部位。为了这个目标，工具138和139的图像优选地仿佛被 基本定位在外科医生的手所在的位置，即使观察点(例如，内窥镜140 和LUS探针150的观察点)并不来自图像的观察位置。
0051此外，实时图像优选地被投影到透视图上以便外科医生 能够通过关联的主输入设备，107或108，来操作工具如138或139 的末端执行器，好像观察基本真实存在的工作场所。真实存在意味着 图像的存在是真实的透视图，该透视图模拟了物理上操作工具的操作 者的视点。因此，处理器102将工具的坐标转换到可察觉的位置，所 以透视图是这样的图像在开放式腔手术过程中从外科医生的视线水 平可以看到内窥镜140是否直接观察该工具。
0052处理器102执行系统100中的不同功能。它执行的一个 重要的功能是通过总线110上的控制信号转换主输入设备107和108 的机械运动并将其传递到它们关联的从动臂121和122上，以便外科 医生能够有效地操作它们相应的工具138和139。另一个重要功能是 实现这里描述的提供机器人辅助的LUS能力的不同方法。
0053虽然是用处理器描述的，但可以认识到处理器102实际 上可以以硬件、软件和固件的任意结合来实现。同样，这里描述的功 能可以由一个单元执行或者被分割在不同组件内，每个功能又可以通 过硬件、软件和固件的任意结合来实现。
0054在执行微创手术过程之前，LUS探针150捕获的超声图 像，立体内窥镜140捕获的右2D照相机图像和左2D照相机图像，使 用从动臂121-124的运动学以及它们感测的接头位置来测定的末端执 行器的位置和方向，被彼此校正并被记录。
0055为了使超声图像和其余的手术环境相关联，二者需要表 示在相同的坐标系中。代表性地，LUS探针150用标记被标注或通过 追踪设备被跟踪，或通过有精确接头编码器的机器人握持/控制，其中
所述追踪设备例如加拿大安大略湖的Northern Digital Inc.制造的 Optotmk⑧位置传感系统。然后超声图像和追踪的坐标系间的刚性转换 被确定(一般称作超声校准)。
0056例如，使用€^0^&&@系来进行超声校准，则LUS探针150 产生的超声图像被校正成使用AX=XB方程的Optotral^刚性体。 "AX=XB"是一类校正/记录问题的成规(rubric)， 一般在计算机视觉、 外科手术导航、医学成象和机器人技术中遇到所述问题。该数学技术 是公知的。可参照，例如，E. Boctor， A. Viswanathan， M. Chioti， R. Taylor, G. Fichtinger, G. Hager, "A Novel Closed Form Solution for Ultrasound Calibration, ，， International Symposium on Biomedical Imaging, Arlington, VA， 2004， pp. 527-530。
0057此案中的"A"和"B"是Optotral^刚性体(A)和超声 图像(B)姿态间的变换。因此，"X"是从超声图像到刚性体的变换。
0058为了实现超声校准，LUS探针150可以被放置在由 AX=XB校准幻象定义的三个已知的方向内。然后超声图像系可以被 出现在三个姿态中的每一个姿态的三个基准限定。所述三个姿态允许 基于Optotml^读数(A)进行三个相关的变换，并允许基于AX=XB记 录的超声图像(B)进行三个相关的变换。
0059照相机校准是计算机视觉应用中常见的过程。例如，为 了确定内窥镜140的内在和外在参数，有复合平面方程的棋盘幻象可 以被使用，该方程由Caltech Camera Calibration Toolbox (加利福尼亚 理工学院照相机校准工具箱)提供。为了构造幻象，Optotral^标记被 附加到代表性的棋盘视频校准幻象上，并且使用校准的Optotral^指示 器数字化棋盘的每一个拐角。因此，拐角位置可以相对于Optotm妙被 报告。
0060然后可以将内窥镜140的视野内的幻象放置在几十个方 向上，并记录立体图像数据和棋盘四个拐角的Optotml^读数来进行校 准。然后图像可以被传送给校准工具箱，该校准工具箱确定内在和外 在照相机参数，以及照相机系中栅格拐角的3D坐标。然后这些坐标可 以和OptotraJ^读数被用于实现内窥镜140刚性体和照相机系之间的点 云(point-cloud)对点云记录。
0061控制器102被配置成使用机器人运动学来相对于内窥镜 140报告LUS探针150的尖部的坐标系。然而，由于调整接头编码器 中的误差，每个坐标系均可能偏移离开它们的正确值。因此，记录内 窥镜140的真实照相机系和从运动学计算的照相机系之间的偏移量以 及真实和运动学LUS探针150系之间的偏移量可能是必要的。完成这 个后，运动学可以被用于代替Optotral^读数来确定超声图像覆盖图的 方位。
0062只要内窥镜140的位置没有太改变，可以假定运动的工 具尖和腹腔镜Optotml^)刚性体之间是恒定变换。使用AX=XB方程， LUS探针150可以被移动，例如，被移动到几个位置，并且工具尖和 0^0^^ 刚性体之间的静态偏移量可被记录。知道这个偏移量，内窥 镜140的偏移量可以通过下式直接计算
0063其中，C^是从真实内窥镜140(这里也简称为"照相机") 系到从运动学计算的照相机系的照相机偏移量，^^是从照相机到内
窥镜刚性体的变换，r。^(r。^r1是从照相机刚性体到LUS刚性体的变
换，Cww是从LUS刚性体到运动的超声工具尖的变换，Z)&。是来自控 制器102的读数，该控制器102得出从运动的超声工具尖到关联了从动 臂121-124的固定参考点的变换。
0064然而，上述记录应该在每次照相机移动时被重复，因此 使之最适于手术前校准和记录。对于手术中，使用视频跟踪LUS探针 150上的视觉标记而不是使用Optotral^读数，记录可以更好地被执行。 因此，如果使用工具跟踪时照相机被移动，则在工具被跟踪时记录能 够被实时纠正。至于工具跟踪的附加细节，参照，例如，2005年5月 16曰提交的专利号为11/130,471的名为"Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive surgery"的美国专禾U ，其全部内容被并 入本文作为参考。另外，或者替代地，在解剖结构的3D超声计算机 模型上使用常规抓取、移动和旋转动作，可以对超声图像和照相机图 像进行手动记录，以便在主显示器104上将解剖结构的计算机模型适 当地记录在照相机模型上。
0065从动臂123和124可以以从动臂121和122操纵工具138 和139的相似的方式操纵内窥镜140和LUS探针150。然而，当系统 中只有两个主输入设备时，例如系统100中的主输入设备107和108， 为了使外科医生用手控制内窥镜140或LUS探针150中任一个的运 动，可能需要临时将主输入设备107和108中的一个与外科医生要求 手动控制的内窥镜140或LUS探针150联系在一起，而它先前关联的 工具和从操纵器被锁定在适当位置。
0066作为示例，图2图释了 LUS机器人手术系统100的方框 图。在这个系统中，有两个主输入设备107和108。主输入设备107 控制工具138或立体内窥镜140中任一个的运动，该控制取决于它的 控制开关机构211所处的模式，而主输入设备108控制工具139或LUS 探针150中任一个的运动，该控制取决于它的控制开关机构231所处 的模式。
0067外科医生使用语音命令、被物理地放置在主输入设备107 和108之上或附近的开关、控制台上的脚踏板105和106，或者外科 医生选择主显示器104或辅助显示器(图中未示)上显示的适当的图 标或选择其它图形用户界面，可以将控制开关机构211和231放置在 第一模式或第二模式中的一个模式。
0068当控制开关机构211被置于第一模式时，导致主控制器 202联通从控制器203以便外科医生对主输入107的操作通过从动臂 121导致工具138相应的运动，同时内窥镜140被锁定在适当位置。 另一方面，当控制开关机构211被置于第二模式时，引起主控制器202 联通从控制器233以便外科医生对主输入107的操作通过从动臂123 导致内窥镜140的相应运动，同时工具138被锁定在适当位置。
0069相似地，当控制开关机构231处于第一模式时，引起主 控制器222联通从控制器223，以便外科医生对主输入108的操作通 过从动臂122导致工具139的相应运动。然而在这个案例中，LUS探 针150不是必须要锁定在某一位置。它的运动可以根据存储在存储器 240中的指令被辅助控制器242引导。辅助控制器242也通过主输入 108给外科医生提供触觉反馈，该主输入108可以反映LUS探针压力 传感器247的读数。另一方面，当控制开关机构231处于第二模式时，
引起主控制器222联通从控制器243以便外科医生对主输入222的操 作通过从动臂124导致LUS探针150的相应运动，同时工具139被锁 定在适当位置。
0070在切换回到第一模式或标准模式之前，主输入设备107 或108优选地被重置到切换到控制开关211或231的第二模式前它们 所在的位置，对于该案例可能，或者主输入设备107或108和它各自 的工具从动臂121或122间的运动学关系被重新调整以便一切换回到 第一模式或正常模式时，工具138或139不会突然运动。对于控制开 关的附加细节，参照，例如，共同拥有的专利号为6,659,939的名为 "Cooperative Minimally Invasive Telesurgical System"的美国专禾l)申 请，其全部内容被并入本文作为参考。
0071辅助控制器242也执行关于LUS探针150和内窥镜140 的其它功能。它接收来自LUS探针压力传感器247的输出，该传感器 247检测施加到LUS探针150上的压力并且通过主控制器222将压力 信息反馈给主输入设备108,以便外科医生可以感到这些压力，即使 当时他或她没有直接控制LUS探针150的运动。因此，最小化了对患 者的潜在伤害，因为外科医生有能力立刻停止LUS探针150的任何运 动并且有能力接管对于LUS探针150的运动的手动控制。
0072辅助控制器242的另一个关键功能是引起来自内窥镜140 和LUS探针150的所处理的信息根据用户选择的显示选项被显示到主 显示器104上。如下面更多细节描述的，这个处理过程包括经由通过 超声处理器246将接收自LUS探针150的2D超声图像切片生成3D 超声图像，使对应所选择的位置和方向的3D或2D超声图像中任意一 个显示在主显示器104的画中画窗口中，并且引起解剖结构的3D超 声图像或2D超声图像中的任意一个覆盖显示在主显示器104上的、 解剖结构的照相机捕获图像。
0073虽然图中显示的是独立实体，但主控制器202和222， 从控制器203、 233、 223和243，以及辅助控制器242优选地作为被 处理器102执行的软件模块实现，以及作为控制开关机构2U和231 的某些模式的开关体实现。超声处理器246和视频处理器236，另一 方面，是独立的板或卡片，该板或卡片一般由LUS探针150和内窥镜 140的制造商提供，该板或卡片被插入适当的槽内，该槽连接到处理 器102或以其它方式与处理器102集成来将接收自这些图像捕获设备 的信号转换成适于显示在主显示器104的信号并且/或者适于显示到主 显示器104之前通过辅助控制器242进行附加处理的信号。
0074图3所示为LUS探针150的一个实施例的侧视图。LUS 探针150是优选具有两个末端自由度的灵巧工具，该工具允许LUS传 感器3(M重新定向通过，例如，末端"倾斜(pitch)"和"偏转(yaw)" 约±80°和关于球窝接头形倾斜-偏转机构311 "转动"±240° (其功 能为被称为"腕"的机构)。物理地连接到LUS传感器301的近端并 且延伸通过伸长轴312的内部通道的一对对立驱动杆或电缆(图中未 示)使用常规的推-拉形式的动作机械控制LUS传感器301的倾斜和 偏转运动。LUS探针150的灵活性(由倾斜/偏转腕机构提供)对于微 创手术过程中对解剖结构执行超声波检查的LUS探针150的最优定位 特别有用。
0075LUS传感器301捕获接近的解剖结构的2D超声切片， 并且通过LUS电缆304将信息传送回处理器102。虽然所示是在伸长 轴312的外部延伸，但LUS电缆304也可以在其内部延伸。抓斗鞘 321围住伸长轴312和LUS电缆304来提供穿过套管331 (或套管针) 的良好密封。为了视频跟踪的目的，基准标记302和322被放置在LUS 传感器301和鞘321上。
0076压力传感的能力是由应变仪303提供的，该应变仪303 提供了 LUS探针150推向超声扫描结构的强度的直接反馈，补充了来 自接头电机扭矩的任何可用的有限反馈。这个信息的潜在用途包括 提供冗余的安全阈值核对，以便压力过大时警告外科医生或阻止进入 结构的运动；向外科医生提供他或她推向结构的强度的被认可的触觉 评价；并且可以允许倾斜-偏转或"腕"机构311的未成型偏移的某些 补充测量，这些偏移由于某种原因没有被接头位置传感器或编码器检 测到。此案中的应变仪303起到了 LUS探针压力传感器247的作用， 如上述参考图2所描述的。
0077相比徒手扫描而言，机器人辅助的LUS有降低所产生的 超声图像中的可变性的潜力，并且能够降低操作者的工作量和难度。
如前后摆动LUS探针150般简单的行为能够维持更新的3D超声图像， 而不用操作者干涉。更复杂的行为可以包括LUS探针150沿有组织类 型内的目标解剖结构的表面的运动以产生目标的完整图像，或者可靠 地返回先前扫描的探针位置和方向。
0078图4作为示例图释了用于训练辅助控制器242 (例如， 向辅助控制器242提供存储的指令)的方法的流程图，使LUS探针 150基于命令以训练的方式被自动地移动，目的是捕获解剖结构的2D 超声图像切片的序列，辅助处理器242使用所述序列生成解剖结构的 3D计算机模型。进行训练之前，控制开关机构231处于第二模式以便 外科医生为了训练目的可以通过操作主输入设备108来移动LUS探针 150。在进行训练后，控制开关机构231被放回第一模式或标准模式以 便外科医生可以使用主输入设备108来操作工具139执行微创外科手 术过程。
0079在401中，训练模块最初是空闲的(即，没有被处理器 102操纵)。在402中，处理器102 (或者背景中运行的训练模块工具 /主体)可以周期检查是否接收到训练开始的指示。可替代地，训练开 始的指示可以充当开始训练模块运行的中断信号。外科医生可以通过 可识别语音命令、选择显示在主显示器104上的图形用户界面上的训 练选项、可以被物理放置在相应的主控制输入108或其它靠近外科医 生的方便位置上的开关机构或其它任何常规装置，来发出训练开始的 指不。
0080在检测到训练开始的指示后，在403中，训练模块记录 或存储当前的LUS探针150的位置和方向，并且通过在403和404之 间循环周期性地(或在外科医生的命令下)持续这样做直到检测或接 收到训练停止指示为止。在此案中的训练停止指示也可以由外科医生 以以与训练开始指示一样的方式发出，或者可以以不同的其它常规方 式被发出。在检测或接收到训练停止指示后，记录并存储LUS探针 150的最后位置和方向。
0081在训练开始和停止之间，外科医生移动LUS探针150， 并且处理器102存储它的点和方向的轨迹以便随后它们可以在命令下 被回溯。在一种训练形式中，外科医生在解剖结构附近前后移动LUS
探针150，目的是捕获2D超声图像切片的序列，处理器102可以从该 切片序列中提出解剖结构的3D型式(或计算机模型)。在另一种训 练形式中，外科医生沿解剖结构的表面移动LUS探针150—次或多次， 目的是捕获2D超声图像切片的不同序列，处理器102可以从该切片 序列中提出解剖结构的3D型式(或计算机模型)。
0082虽然描述的是记录LUS探针150的位置和方向，但在实 际中，存储的是它的从动臂124的活动接头位置，因为它们的测量结 果是通过附在每一个接头上的编码器直接得到的，而它们的位置与 LUS探针150的位置和方向一致。
0083在将LUS探针150的位置和方向的轨迹存储到存储器 240后，然后轨迹关联到一个装置，该装置用于外科医生命令辅助控 制器242以所需的方式移动LUS探针150。例如，轨迹可以与基于检 测的语音命令关联，辅助控制器242引起从动臂124将LUS探针150 沿存储的位置和方向的轨迹前后移动。同样地，轨迹也可以被关联到 显示在主显示器104上的图形用户界面的用户可选择选项上，或者它 可以被关联到开关机构上例如主输入设备108上的按钮或者不用的控 制元件上。它也可以与脚踏板106的俯角相关联，以便辅助控制器242 促使从动臂124在脚踏板106被压下时沿存储的位置和方向的轨迹前 后移动LUS探针150，并且一旦外科医生将他或她的脚抬离脚踏板106 则停止这样的运动。
0084图5作为示例图释了一种方法的流程图，该方法用于产 生对应于存储在存储器240中的LUS探针150的位置和方向的可点击 縮略像，以便当外科医生点击一个缩略像时，辅助控制器242 促使从动臂124将LUS探针150移动到它存储的位置和方向。这就允 许当控制开关机构231在第一模式或标准模式时，外科医生移动LUS 探针150以看到解剖结构不同视图。因此，外科医生可以使用主输入 设备108操纵工具139来继续施行微创手术过程。然后该方法可以与 参考图4描述的方法相结合，以便从该位置和方向开始产生2D超声 图像切片的序列，辅助控制器242可以从该序列产生解剖结构的3D 计算机模型重现。
0085然而，在施行此方法前，控制开关机构231处于第二模
式，以便外科医生可以通过操纵主输入设备108来移动LUS探针150 到所需的位置和方向。在产生可点击縮略像后，控制开关机构231 被放置回第一模式或标准模式，以便外科医生可以使用主输入设备 108操纵工具139来完成微创手术过程。
0086在501中，辅助控制器242接收来自外科医生的快照命 令。该快照命令可以是，例如，语音命令、图形用户界面选择或开关 位置。在502中，辅助控制器242导致LUS探针150捕获2D超声图 像切片，而在503中，生成图像的縮略图。在此案中的縮略图可以包 括捕获的图像的简单JPEG或GIF文件。在504中，LUS探针150的 当前位置和方向连同它关联缩略图的信息被存储在存储器240中。在 505中，縮略图的可点击型式被显示在主显示器104上，以便在任何 时候当用他或她的鼠标或其它指示设备在可点击縮略图上点击时，外 科医生可以命令辅助控制器242使LUS探针被定位和定向在存储的位 置和方向上。然后外科医生可以移动LUS探针150到其它位置和/或 方向，并且重复501-505来生成附加的縮略像。
0087图6作为示例图释了一种方法的流程图，该方法用于在 使用工具139进行微创手术过程中在外科医生相应的命令下自动移动 LUS探针150到与可点击縮略图关联的位置和方向。在601中，参考 图5描述的方法产生的縮略图的点击是通过，例如，常规中断处理过 程来检测的。根据这样的检测，在602中，通过例如对应中断处理过 程的存储指令给辅助控制器242下达指令，来检索存储在存储器240 中的关联了縮略图的位置和方向。然后辅助控制器242通过适当地控 制从动臂124使LUS探针150移动到该位置和方向。因此，外科医生 能够将LUS探针15 0移动到要求的位置而不用改变控制开关机构231 的模式，并且终止工具139的工作直到LUS探针150移动。
0088图7作为示例图释了一种方法的流程图，该方法用于机 器人辅助的穿刺引导并穿透到癌结构的标记损伤内，这样可以理解本 文描述的机器人辅助的LUS的各个方面。在701中，癌结构(例如肝 脏)的被选择的2D超声图像切片视图以适当深度被显示在主显示器 104上，作为癌结构的3D照相机视图的覆盖图。被选择的2D超声图 像切片视图可以是从先前生成的癌结构的3D超声计算机模型中获得
的正视图或内部切片视图。
0089作为阐明701过程的示例，图8图释了癌结构的3D超 声计算机模型800的简化透视图，该透视图通过使用例如参考图4所 述的方法生成，并且已经被变换到照相机参考系(EX， EY， EZ)。 另一方面，图9图释了立体内窥镜140获得的癌结构的3D照相机视 图900的简化透视图。如果外科医生选择3D超声计算机模型800的 前切片801作为3D照相机视图900的覆盖图来观察，那么覆盖图将 如图10所示。另一方面，如果外科医生选择3D超声计算机模型800 内部切片802-804中的一个，例如内部切片803，作为3D照相机视图 900的覆盖图来观察，那么覆盖图将如图ll所示，其中2D超声图像 切片803被显示在适当的深度。为了避免混乱，3D照相机视图中超出 该深度的部分被处理成透明的。
0090可替代地，在701中，外科医生可以用手控制LUS探针 150的运动，以便它捕获的2D超声图像切片显示为在适当的角度和方 向从主显示器104上的LUS探针150的3D照相机图像中分离。优选 地，显示在主显示器104上的被分离的2D图像切片不封闭探测到的 解剖结构。这个手动方法对于外科医生快速发现解剖结构中的损伤是 特别有用的。
0091在702中，外科医生在701结果显示的癌结构上标记损 伤。每个被标记的损伤优选地使用指定的颜色被标记，以便清楚地显 示出外科医生已经识别了它，因而避免重复计数。每个被标记的损伤 在照相机参考系(EX， EY， EZ)中的位置被存储在存储器240中， 在703中，处理器102确定到达该位置的最佳针尖路线。
0092在703中，处理器102生成虚拟定位器来帮助将针引导 到被标记的损伤处。为了生成虚拟定位器，操纵针工具的从动臂的局 部运动学约束可以由提供的约束表的形式具体说明
<formula>formula see original document page 25</formula>
0093其中，用简化的术语讲，5代表主动臂当前的6自由度运 动学姿态，或者，用更一般术语的讲，匸代表关于某个标准姿态F。线性 化的笛卡尔姿态F的参数化以便(;--。) ~ F。-卞。该表将基于视觉反馈、
用户的交互作用等被定期更新。
0094可以意识到，公式(2)能够被容易地检查并执行。
0095相似地，用于外科医生交互作用力的简单驱动表界面能 按照以下表示近似执行
<formula>formula see original document page 26</formula>(3)
0096其中，f粗略地对应于到状态矢量空间中的表面的距离， 而函数/(s)对应于非线性硬度。
0097上述方程足够支持多种虚拟斜面、虚拟弹簧、制动器等。 也可以通过加入速度项容易地扩展成虚拟阻尼器。
0098现在，更特别的是，在本案例中需要协助将注射针瞄准 到实时超声图像的目标上，令
P套管针-针进入患者的位置
=针插入臂的"RCM"点
R针=11011(^)=针臂的方向
叾-小旋转的矢量表示
FLUS = =丄WS传感器的姿态
K目标=关于LUS传感器的目标位置
(4)
(5)
(6)
(7)
(8)
0099然后，基本约束是针轴(此例中假定是针驱动器的Z轴) 应该瞄准通过F腦^标得出的目标损伤。瞄准方向误差的一个度量将
<formula>formula see original document page 26</formula> (9)
0100其中，能够以2的二次形式被逼近并且使用上述方法转换
成虚拟定位器。相似地，如果针尖的位置是^，超过LUS目标的穿透
深度如下式给出f超过"^R(^^)'fFLu^目标-？尖) (10)
0101能够被容易地转录成阻止穿透过度的虚拟制动器或障碍
物。可替代地，能够得出简单的球形吸引物虚拟定位器以最小化
(FLUS V目标—P针尖)
0102在705中，处理器102确定当针尖朝向目标损伤移动时 针尖的位置，并且在706中，处理器102确定针尖位置和目标损伤之 间的距离。该针尖位置可以从从动臂运动学和/或通过照相机图像上的 视觉跟踪来确定。
0103在707中，当针尖接近目标时显示器上损伤或其它一些 物体的颜色改变。例如，当针尖仍然远离目标时颜色可以从蓝色开始， 并且可以沿色谱变化，以便当接近目标时变成红色。可选择地，可以 用条形图或其它视觉指示器快速检测距离。
0104在708中，确定距离是否已经到达阈值距离(经常被指 定为接近或甚至在目标损伤的表面的距离)。如果没达到阈值，则方 法循环回到705并且继续重复705-708直到达到阈值。 一旦达到阈值， 在709中，癌结构的90度视图和接近的针被显示在主显示器104的画 中画窗口中。然后在针穿透癌结构或者退回到其开始位置时，该方法 可以返回705并且重复705-708。
0105虽然已经根据优选实施例描述了本发明的不同方面，但 应该理解，本发明有权享有所附权利要求的全部范围内的全部保护范
权利要求
1.一种腹腔镜超声机器人外科手术系统，包括机械地连接到超声探针上的第一机器人手臂；机械地连接到手术相关设备上的第二机器人手臂；主操纵器；具有用户可选择的第一模式和第二模式的控制开关；以及处理器，该处理器被配置成当所述控制开关在所述第一模式时，使所述第二机器人手臂被锁定在适当位置，而所述第一机器人手臂根据所述主操纵器的用户操纵来移动所述超声探针，并且当所述控制开关在所述第二模式时，使所述第二机器人手臂根据所述主操纵器的操纵来操纵所述工具，而所述第一机器人臂在检测到与存储指令相关的用户命令时根据存储指令来移动所述超声探针。
2. 根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述手 术相关设备是手术工具。
3. 根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述用 户命令是语音命令。
4. 根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述用 户命令来自图形用户界面中提供的选项的用户选择。
5. 根据权利要求1所述的腹腔镜超声外科系统，其中所述用户命令 来自开关位置指示的选择。
6. 根据权利要求1所述的腹腔镜超声外科系统，其中所述存储指令 指示所述处理器使所述第一机器人手臂移动所述超声探针以便由所述超 声探针在移动中捕获的2D超声图象切片提供信息给处理器来在微创手术过程中生成至少一部分解剖结构的3D计算机模型。
7. 根据权利要求6所述的腹腔镜超声机器人手术系统，其中所述存 储指令指示所述处理器使所述第一机器人手臂沿存储点的轨迹移动所述 超声探针。
8. 根据权利要求7所述的腹腔镜超声机器人手术系统，其中所述存 储指令指示处理器使所述第一机器人手臂沿存储点的所述轨迹重复地前 后移动所述超声探针。
9. 根据权利要求7所述的腹腔镜超声机器人手术系统，其中存储点 的所述轨迹包括所述解剖结构表面上的点。
10. 根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述存 储指令指示所述处理器使所述第一机器人手臂移动所述超声探针以便被 定位并定向在存储的位置和方向上。
11. 根据权利要求10所述的腹腔镜超声机器人手术系统，其中所述 存储的位置和方向对应于由在该位置和方向上的所述超声探针生成的超 声图象的可点击縮略图。
12. 根据权利要求11所述的腹腔镜超声机器人手术系统，其中所述 处理器被配置成当接收到用户点击所述可点击縮略图的指示时，使所述 第一机器人手臂移动所述超声探针到所述存储的位置和方向。
13. 根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述手 术相关设备是手术工具，并且进一步包括捕获患者体内的手术部位图像的内窥镜；其中所述处理器被配置成在显示屏的图片区域内显示所述捕获的图 像并且在所述显示屏的画中画区域显示所述超声探针捕获的超声图像。
14. 根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述手术相关设备是手术工具，并且进一步包括 用于捕获视频图像的内窥镜；其中所述处理器被配置成立体地记录所述超声探针捕获的超声图像 和所述内窥镜捕获的所述视频图像。
15. 根据权利要求14所述的腹腔镜超声机器人手术系统，其中所述 处理器被配置成确定关于关联了所述内窥镜的参考系的所述超声图像的 位置和方向，并且显示所述超声图像以便覆盖显示屏上在确定的位置和 方向处的所述视频图像。
16. 根据权利要求15所述的腹腔镜超声机器人手术系统，其中所述 内窥镜是立体内窥镜，它捕获包括所述超声探针的捕获图像的右2D照相 机视图和左2D照相机视图，所述显示屏是3D显示屏，并且所述处理器 被配置成从所述捕获的右2D照相机视图和左2D照相机视图生成3D 照相机图像，并且在所述3D显示屏上显示所述3D照相机图像，其中所 述超声探针捕获的2D超声图像切片被覆盖在所述3D照相机图像上，以 便呈现为从所述超声探针发出的适当视角。
17. 根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述控 制开关通过用户语音命令被置于所述第一模式或第二模式。
18. 根据权利要求l所述的腹腔镜超声机器人手术系统，其中所述控 制开关根据用户对图形用户界面内提供的选项的选择被置于所述第一模 式或第二模式。
19. 根据权利要求l所述的腹腔镜超声机器人手术系统，其中所述控 制开关根据用户选择的开关位置被置于所述第一模式或第二模式。
20. 根据权利要求1所述的腹腔镜超声机器人手术系统，其中超声探 针包括压力传感器来检测对所述超声探针施加的压力并且提供所检测压力的信息给所述处理器，并且所述处理器将所检测压力的信息返回所述 主操纵器以便当用户操纵所述主操纵器时感觉到该信息。
21. 根据权利要求1所述的腹腔镜超声机器人手术系统，其中所述超声探针包括超声传感器； 伸长轴；以及腕机构，该腕机构连接所述超声传感器到所述伸长轴上以便允许所 述超声传感器关于沿所述伸长轴的长度贯穿的轴作倾斜运动和偏转运 动。
22. 根据权利要求21所述的腹腔镜超声机器人手术系统，其中所述 超声探针进一步包括第一对电缆，该第一对电缆被连接到所述超声传感器上以便通过仅 拉所述第一对电缆中的一条电缆时，使所述超声传感器在偏转方向上移 动，并且当仅拉所述第一对电缆中的另一条电缆时使所述超声传感器在 相反的偏转方向上移动。
23. 根据权利要求22所述的腹腔镜超声机器人手术系统，其中所述 超声探针进一步包括第二对电缆，该第二对电缆被连接到所述超声传感器上以便通过仅 拉所述第二对电缆中的一条电缆时，使所述超声传感器在倾斜方向上移 动，并且当仅拉所述第二对电缆中的另一条电缆时，使所述超声传感器 在相反的倾斜方向上移动。
24. —种提供机器人辅助的腹腔镜超声的方法，该方法包括检测到训练指示开始时存储当前超声探针的位置和方向；以及 周期性存储超声探针的位置和方向来定义位置和方向的轨迹直到检 测到训练结束指示。
25. 根据权利要求24所述的方法，其中所述训练指示开始和结束是 通过用户语音命令产生的。
26. 根据权利要求24所述的方法，其中所述训练指示开始和结束是 通过使用图像用户界面的用户选择产生的。
27. 根据权利要求24所述的方法，其中所述训练指示开始和结束是 通过一个或更多个开关机构的位置产生的。
28. 根据权利要求24所述的方法，进一步包括将所述位置和方向 的轨迹与第一语音命令关联。
29. 根据权利要求28所述的方法，进一步包括当检测到所述第一 语音命令时使所述超声探针沿所述位置和方向的轨迹移动。
30. 根据权利要求28所述的方法，进一步包括当检测到所述第一 语音命令时使所述超声探针沿所述位置和方向的轨迹前后移动，直到检 测到第二语音命令。
31. 根据权利要求24所述的方法，进一步包括关联所述位置和方 向的轨迹到显示在显示屏上的可点击縮略图。
32. 根据权利要求31所述的方法，进一步包括当检测到所述可点 击縮略图被点击时使所述超声探针沿所述位置和方向的轨迹移动，直到 接收到结束指示。
33. 根据权利要求24所述的方法，进一步包括关联所述位置和方 向的轨迹到第一开关位置。
34. 根据权利要求33所述的方法，进一步包括当检测到开关位于 所述第一开关位置时使所述超声探针沿所述位置和方向的轨迹移动，直到检测到所述开关位于第二开关位置。
35. —种提供机器人辅助的腹腔镜超声的方法，该方法包括 使用设置在某一位置和方向的超声探针捕获超声图像； 存储所述位置和方向的信息； 生成所述超声图像的可点击縮略图； 关联所存储的位置和方向到所述可点击縮略图；以及 在显示屏上显示所述可点击縮略图。
36. 根据权利要求35所述的方法，进一步包括 接收用户在所述可点击缩略图上点击的信息；以及 使所述超声探针被放置在所述位置和方向上，所述位置和方向与在可点击缩略图上点击的位置和方向相关联。
37. —种提供机器人辅助的腹腔镜超声的方法，该方法包括 显示患者体内解剖结构的超声视图作为该解剖结构照相机视图的记录的覆盖图；接收标记在所述超声视图上的目标的信息； 确定工具行进到所述患者体内的所述目标的路径；以及 生成虚拟定位器来辅助用电子形式约束所述工具在所确定的路径内的行进。
38. 根据权利要求37所述的方法，其中所述解剖结构是癌，所述目 标是外科医生在所显示的超声视图上标记的损伤，并且所述工具是针。
39. 根据权利要求37所述的方法，进一步包括.-确定所述工具到所述目标的距离；以及改变标记在所述超声视图上的所述目标的颜色以便指示所述距离。
40. 根据权利要求37所述的方法，进一步包括 确定何时所述工具的尖到达与所述解剖结构表面相距的一个阈值距离；以及当在画中画窗口中检测到所述工具的所述尖已经到达所述阈值距离 时，显示所述超声图像和所述工具的直角视图。
41.根据权利要求40所述的方法，其中所述超声图像是从所述解剖 结构的2D超声图像切片序列中产生的3D图像。
全文摘要
LUS机器人外科手术系统可以由外科医生训练以需要的方式在命令下自动地移动LUS探针，这样在微创手术过程中外科医生不需要用手移动LUS探针。根据存储的指令由LUS探针捕获的2D超声图像切片序列可被处理成解剖结构的3D超声计算机模型，该计算机模型可以显示成照相机视图的3D或2D覆盖图，或由外科医生选择显示在画中画中，或者被编程为辅助外科医生检查解剖结构中的异常性。虚拟定位器是可定义的，以便辅助外科医生准确地引导工具到显示的超声图像上的目标上。
文档编号A61B19/00GK101193603SQ200680020112
公开日2008年6月4日 申请日期2006年6月5日 优先权日2005年6月6日
发明者C·哈塞, J·莱文, M·乔伊特, R·泰勒 申请人:直观外科手术公司