医用机器人系统中的计算机显示屏上的辅助图像显示和操纵的制作方法

专利名称：医用机器人系统中的计算机显示屏上的辅助图像显示和操纵的制作方法
技术领域：
0002本发明一般涉及医用机器人系统，更具体地涉及辅助图 像在医用机器人系统中计算机显示屏上的显示和操纵。
背景技术：
0003诸如那些用于执行微创外科手术过程的医用机器人系统 对传统开放式外科技术提供了许多的好处，包括较少的疼痛、更短的 住院时间、更快地恢复到正常活动，最小的伤疤、减少的恢复时间以 及对组织具有较少的损伤。因此，对利用医用机器人系统进行微创外 科手术的需求是很强烈且不断增大的。
0004医用机器人系统的一个示例是美国加利福尼亚州 Sunnyvale的直观外科手术公司(Intuitive Surgical, Inc.)的da Vinci 外 科手术系统，这个daVinci⑧系统包括外科医生控制台、病人手推车、 高性能3D显示系统，以及直观外科手术公司专有的EndoWristTM关 节连接器械，这些器械按照人类腕关节模制，所以当被添加到固定所 述外科手术器械的机器人手臂装置的动作时，它们允许至少完整6个 自由度的动作，而这和开放式外科手术的正常动作相当。
0005daVinci⑧外科医生控制台具有一个高分辨率立体视频显 示屏，其具有两个步进扫描阴极射线管(CRT)。该系统提供了比偏光 (polarization)、快门眼镜(shutter eyeglass)或其它技术更高的保真 度。通过物镜和一系列反射镜，每个眼睛观察呈现左眼或右眼观察范 围的独立的CRT。在整个手术中，外科医生舒适地坐着观察这一显示 器，这样就使得这里成为外科医生显示和操纵三维手术中图像的理想 位置。
0006除了显示在显示屏上的主图像，同样经常需要能够同时观察辅助信息来获得更好的理解或者帮助正在处理的医疗程序。辅助 信息可以各种模式提供，例如文本信息，条形图，二维画中画图像， 以及相对于它们的主图像副本对准且完全重叠的二维或三维图像。
0007对于辅助图像，这些图像可以通过利用例如超声波扫描
术、磁共振成像、计算机化轴向x线断层摄影术以及荧光透视法等技
术在手术前或手术中获得，以便提供正接受治疗的解剖结构的内部细 节。该信息然后被用于补充该解剖结构的外部视图，如由局部放置的 照相机获得的视图。
0008虽然存在过多的辅助信息源以及显示这种信息的方式， 对辅助图像的显示和操纵的改进对于更好地帮助外科医生利用医用机 器人系统执行医疗程序仍然是有用的。

发明内容
0009因此，本发明的各个方面的一个目的是一种方法，该方 法用于将包括治疗过程的效果的辅助信息显示为此时由治疗程序所治 疗的解剖结构的图像的覆盖图或者与此时由所述程序所治疗的解剖结 构的图像另外相关联的覆盖图。
0010本发明的各个方面的另一个目的是一种方法，该方法用 于以用户指定的放大因数将解剖结构的辅助图像的体绘制的用户选定 部分显示为计算机显示屏上的与解剖结构的主图像对准的覆盖图。
0011本发明的各个方面的另一个目的是一种医用机器人系统， 其具有主输入设备，该主输入设备可以用于手动地在计算机显示器的 三维空间内对准图像。
0012本发明的各个方面的另一个目的是一种医用机器人系统， 其具有主输入设备，该主输入设备可以用于限定在计算机显示器的三 维空间内解剖结构的体绘制的剖面。
0013本发明的各个方面的另一个目的是一种医用机器人系统， 其具有主输入设备，该主输入设备可以用于选择性地修改计算机显示 器的三维空间内的解剖结构的体绘制的各部分或细节。
0014本发明的各个方面的另一个目的是一种医用机器人系统， 其具有主输入设备，该主输入设备可以用于改变在计算机显示屏上显示的解剖结构的体绘制的参数。
0015本发明的各个方面的又一个目的是一种医用机器人系统，
其具有主输入设备，该主输入设备可以在图像获取模式以及图像操纵 模式之间切换，在所述图像获取模式中所述主输入设备控制图像获取 设备的移动，在所述图像操纵模式中，所述主输入设备控制由所述图 像获取设备获取的图像在计算机显示屏上的显示和操纵。
0016这些以及其他目的通过本发明的各个方面来实现，其中
简单地说， 一个方面是在计算机显示屏上显示通过治疗仪器施加到解
剖结构上的治疗程序的效果的方法，该方法包括生成辅助图像，该
辅助图像指示通过治疗仪器施加到解剖结构上的治疗程序的效果；并
且在所述治疗程序期间，在计算机显示屏上显示被所述辅助图像覆盖 的解剖结构的主图像。
0017另一个方面是一种用于在计算机显示屏上将解剖结构的 辅助图像的选定部分显示为解剖结构的主图像的覆盖图的方法，所述
方法包括将可移动窗与定位设备相关联，以便所述可移动窗可以利
用所述定位设备在所述计算机显示屏上定位；将解剖结构的辅助图像 与所述解剖结构的主图像相对准，以便在共同的坐标系内处于相同的 位置和方位；以及在所述计算机显示屏上显示所述主图像，并且将所 述对准的辅助图像的一部分显示为所述可移动窗中的主图像的覆盖 图，其中所述辅助图像的一部分对应于所述可移动窗的相同坐标。
0018又一方面是一种医用机器人系统，该系统包括用于获 取图像的图像获取设备；固定所述图像获取设备的机器人手臂；计算 机显示屏；适合于由用户以多个自由度运动来操纵的主输入设备；以 及一个处理器，该处理器被配置成当所述主输入设备处于图像获取模 式时根据主输入设备的用户操纵来控制所述图像获取设备的移动，以 及当所述主输入设备处于图像操纵模式时根据主输入设备的用户操纵 来控制从获取的图像中得到的图像在计算机显示屏上的显示。
0019本发明的各个方面的其他目的、特征以及优势从下面本 发明的优选实施例的描述与附图的结合中将会变得很明显。


0020图1图解说明采用了利用本发明的各个方面的医用机器人系统的手术室的俯视图。
0021图2图解说明了利用本发明的各个方面的医用机器人系 统的结构图。
0022图3图解说明了可用于利用本发明的各个方面的医用机 器人系统的腹腔镜超声波探测器。
0023图4-图解说明了利用本发明的各个方面，在计算机显示 屏上显示由治疗仪器施加至解剖结构上的治疗程序的效果的方法的流 程图。
0024图5图解说明了解剖结构的外部视图，其中治疗仪器插 入所述解剖结构用于执行治疗程序。
0025图6图解说明了解剖结构的内部视图，其中可辨别的治 疗效果显示为由治疗传感设备所获取。
0026图7图解说明了一种计算机显示屏，该显示屏显示由一 种利用本发明的各个方面的方法生成的、由所述治疗程序所医治的解 剖结构的治疗程序的效果。
0027图8图解说明了一种方法的流程图，所述方法利用本发 明的各个方面，在计算机显示屏上、在用户可移动的放大镜内显示解 剖结构的辅助图像的选定部分。
0028图9图解说明了一种方法的流程图，所述方法利用本发 明的各个方面，以一个指定的放大因数显示解剖结构的内部视图的可 操纵窗。
0029图10图解说明了解剖结构的辅助图像和呈现不同的放 大因数的辅助图像的同心区域，用于通过利用本发明的各个方面的方 法在计算机显示屏上、在一个放大镜内的显示。
0030图11图解说明了一种计算机显示屏，在该显示屏上，在 放大透镜内观察解剖结构的主图像和所述解剖结构的辅助图像的覆盖 部分，如由利用本发明的各个方面的方法显示的。
0031图12图解说明了一种方法的流程图，该方法由医用机 器人系统内的处理器执行，用于利用本发明的各个方面操纵显示在计 算机显示屏上的物体。
具体实施方式
0032图1作为示例图解说明了采用医用机器人系统的手术室 的俯视图。在此情形中所述医用机器人系统是微创机器人外科手术 (MIRS)系统100，其包括由外科医生(S)使用的控制台(C)，同 时在一个或多个助手(A)的帮助下，对一个躺在手术台(O)上的病 人(P)执行微创诊断或外科手术程序。
0033控制台包括主显示器104 (在本文中也被称作"显示屏" 或"计算机显示屏")，用于给外科医生显示病人体内手术部位的一个 或多个图像，以及可能的其他信息。同样包括的是主输入设备107， 108 (在本文中也被称作"主操纵器")， 一个或多个脚踏板105， 106，用 于接收来自外科医生的声音命令的麦克风103，以及处理器102。主输 入设备107， 108可以包括许多种输入设备中的任意一个或多个，所述 多种输入设备例如操纵杆、手套、扳机枪、手持控制器、夹具(gripper) 等等。处理器102优选是可以集成在控制台内或者以常规方式另外连 接到控制台的个人电脑。
0034外科医生通过操纵主输入设备107， 108来利用MIRS系 统100执行医疗程序，从而处理器102促使这些主输入设备各自关联 的从动臂121， 122相应地操纵它们各自可拆装地连接和固定的外科手 术仪器138， 139 (在本文中也被称作"工具")，同时外科医生可以在 主显示器104上观察手术部位的三维(3D)图像。
0035工具138， 139优选是直观外科手术公司专有的 EndoWristTM关节仪器，其模仿人类腕关节，所以在附加到固定所述工
具的机器人手臂的动作之后，它们可以允许至少完整六个自由度的动 作，这可以与开放式外科手术的正常动作相匹敌。这种工具的其他细 节可以在共同拥有的名为"具有更强灵巧性和灵敏度的用于执行微创 外科手术的手术仪器的腕关节机构(Wrist Mechanism for Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity)"的第5,797,900号美国专利中找到，这篇专 利通过参考并入本文。在每一个工具138， 139的操作末端是一个可操 纵的末端执行器，例如夹子，抓紧器、剪刀，订书机，刀片，针，针 托，或者供电探测器(energizable probe)等。
0036主显示器104具有高分辨率立体视频显示器，具有两个步进扫描阴极射线管(CRT)。该系统提供了比偏光、快门眼镜或其它 技术更高的保真度。通过物镜和一系列反射镜，每个眼睛观察一个呈 现左边或右边眼睛观察范围的独立的CRT。在整个手术过程中，外科 医生可以舒服地坐着观察显示器，这样就使得这里成为外科医生显示 和操纵三维手术中图像的理想位置。
0037立体内窥镜140为处理器102提供右照相机视图和左照 相机视图，以便该处理器可以根据程序化的指令来处理信息，并使其 显示在主显示器104上。腹腔镜超声(LUS)探测器150为处理器102 提供解剖结构的二维(2D)超声波图像切片，以便处理器102可以生 成三维超声波计算机模型或解剖结构的体积绘制。
0038每一个工具138， 139以及内窥镜140和LUS探测器150， 优选通过套管或套管针(未示出)或者其他工具引导件被插入病人体 内，以便通过相应的微创切口 (例如切口 161)延伸至手术部位。每一 个从动臂121-124包括从动操纵器和调整臂。从动操纵臂可以利用电机 控制接头(也被称作"活动接头")自动地移动，以便操纵和/或移动他 们各自固定的工具。调整臂可以通过正常释放制动的接头(也被称作 "调整接头")被手动操纵，从而水平和垂直地定位从动臂121-124， 以便他们各自的工具可以被插入套管内。
0039同时使用的外科手术工具的数量并且因此用于系统100 中的从动臂的数量除其它因素外通常取决于将要执行的医疗程序以及 手术室内的空间限制。如果需要改变一个或多个在程序中使用的工具， 助手可以从从动臂上移除不再使用的工具，并用另外的工具来替代， 例如在手术室内的盘子(T)中的工具131。
0040优选地，主显示器104位于外科医生手附近的位置，以 便其可以显示定向的投影图像，从而使得外科医生感受到他或她实际 上是径直向下观察手术部位。最后，工具138， 139的图像优选看起来 像是基本上处于外科医生手所在的位置，即使观察点(即内窥镜140 和LUS探测器150的观察点)并不是来自图像的观察点。
0041另外，实时图像优选投影到透视图中，以便外科医生能 够通过关联的主输入设备107或108，来操作工具如138或139的末端 执行器，好像观察基本真实呈现的工作场所。真实的呈现的意思是图像的呈现是模拟实际操纵工具的操作者的视点的真实透视图。因此，处理器102将工具的坐标转换成感知位置，以便该透视图是在一个开 腔外科手术过程中一个人以外科医生眼睛的水平在内窥镜140直接观 察工具的时候所可以看到图像。0042处理器102在系统100内执行各种功能。其执行的一个 重要的功能是通过总线110上的控制信号，转换主输入设备107和108 的机械运动并将其传递到它们关联的从动臂121和122上，以便外科 医生有效地操纵它们各自的工具138和139。另一个重要的功能是实现 本文参考图4-12所描述的各种方法。0043虽然描述为处理器，应该理解的是处理器102在实际中 可以通过硬件、软件和固件的任意组合来实现。同样，本文所描述的 它的功能可以通过一个单元来实现，或者分成不同的部分，每一个部 分也可以由硬件、软件和固件的任意组合来实现。当分成不同的部分 的时候，各个部分可以集中在一个位置或者为了分布式处理的目的而 分布在整个系统100上。0044在执行医疗程序之前，LUS探测器150获取的超声波图 像，立体内窥镜140获取的右2D照相机图像和左2D照相机图像，以 及使用从动臂121-124的运动学和其感测的接头位置确定的末端执行 器的位置和方位，被校准并相互对准。0045从动臂123和124可以用与从动臂121和122操纵工具 138和139相同的方式来操纵内窥镜140和LUS探测器150。但是， 当系统中仅存在两个主输入设备的时候，例如系统100中的主输入设 备107， 108，为了让外科医生可以手动控制内窥镜140或LUS探测器 150的运动，需要临时将主输入设备107和108中的一个主输入设备和 外科医生需要手动控制的内窥镜140或LUS探测器150相关联，同时 其之前关联的工具和从动操纵器被锁定在适当位置。0046虽然没有在这个示例中示出，但解剖结构的主图像和辅 助图像的其他来源可以包括在系统100中，例如那些通常用于获取超 声波，磁共振，计算机化轴向X线断层摄影术，以及荧光透视成像。 这些成像来源中的每一个都可以在手术前使用，以及在适当和实用的 时候可以在手术中使用。0047图2作为示例图解说明了系统100的模块图。在这个系 统中，存在两个主输入设备107和108。主输入设备107根据其控制转 换机构211所处的模式来控制工具138或立体内窥镜140的运动，主 输入设备108根据其控制转换机构231所处的模式来控制工具139或 LUS探测器150的运动。0048控制转换机构211和231可以由外科医生通过采用以下 方式被设置在第一或第二模式声音命令、实际设置在主输入设备107 和108上或其附近的开关、控制台上的脚踏板105和106、或者外科医 生对适当图标的选择或者显示在主显示器104或辅助显示器(未示出) 上的其他图形化用户接口选择装置。0049当控制转换机构211被设置在第一模式下时，其引起主 控制器202与从控制器203通信，以便外科医生对主输入107的操纵 可以导致通过从动臂121的工具138的相应运动，同时内窥镜140被 锁定在合适位置。另一方面，当控制转换机构211设置在第二模式时， 其引起主控制器202和从控制器233通信，以便外科医生对主输入107 的操纵可以导致由从动臂123的内窥镜140的相应运动，同时工具138 被锁定在适当位置。0050同样地，当控制转换机构231设置在第一模式时，其引 起主输入控制器108和从控制器223通信，以便外科医生对主输入108 的操纵可以导致从动臂122的工具139的相应运动。但是，在这种情 况下，LUS探测器150没必要锁定在适当位置。其运动可以由辅助控 制器242根据存储在存储器240中的指令来引导。辅助控制器242同 样通过主输入108提供触觉反馈给外科医生，这种触觉反馈反映了 LUS 探测器压力传感器247的读数。另一方面，当控制转换机构231设置 在第二模式时，其引起主控制器108和从控制器243通信，以便外科 医生对主输入108的操纵可以导致从动臂124的LUS探测器150的相 应运动，同时工具139被锁定在适当位置。0051在控制转换机构实现转换回其第一或正常模式时，其关 联的主输入设备优选重新设置在其转换之前的位置。替代性的，主输 入设备可以保持在其当前位置以及主输入设备及其重新调整的关联工 具从动臂的运动学关系，从而一旦控制转换机构转换回其第一或正常模式时，不会出现工具的异常运动。控制转换的其他细节参见例如共同拥有的名为"合作微创远程外科手术系统(Cooperative Minimally InvasiveTelesurgical System)"的美国专利第6,659,939号，该专利通过 参考并入本文。0052第三控制转换机构241被提供以允许其用户在图像获取 模式和图像操纵模式之间转换，同时控制转换机构231处于其第二模 式(即将主输入设备108和LUS探测器150关联)。在其第一或正常 模式(即图像获取模式)，LUS探测器150通常由主输入设备108如上 所述控制。在其第二模式(即图像操纵模式)，LUS探测器150不受主 输入设备108控制，使得主输入设备108可以自由地执行其他任务， 例如在显示屏104上显示和操纵辅助图像，特别是执行某些如本文所 描述的用户特定功能。但是应注意，虽然LUS探测器150在控制转换 机构241的第二模式下可以不被主输入设备108所控制，其仍然可能 根据存储在存储器240内的指令自动摇动或在辅助控制器242的控制 下运动，所以最近的解剖结构的三维体积绘制可以从LUS探测器150 获取的一系列二维超声波图像切片中生成。LUS探测器150的这种运 动以及其他编程的运动的其他细节，可以参见共同拥有的于2006年6 月6日提交的名为"腹腔镜超声波机器人外科手术系统(Laparoscopic Ultrasound Robotic Surgical System)"的第11/447,668号美国专利申请， 该申请通过参考并入本文。0053辅助控制器242也执行与LUS探测器150和内窥镜140 相关的其他功能。其接收来自LUS探测器压力传感器247的输出，该 压力传感器感测施加到LUS探测器150上的压力，并通过主控制器222 将压力信息反馈给主输入设备108，以便外科医生可以感受这些压力， 即使他或她那时没有直接控制LUS探测器150的运动。因此，对病人 的潜在的伤害被最小化，因为外科医生有能力立即停止LUS探测器150 的任何运动，以及有能力对这种运动采取手动控制。0054辅助控制器242的另一个关键功能是根据用户选择的显 示选项，促使来自内窥镜140和LUS探测器150的所处理的信息显示 在主显示器104上。这种处理的示例包括从通过超声波处理器246接 收的来自LUS探测器150的二维超声波图像切片中生成三维超声图像，促使对应于选择的位置和方位的三维或二维超声波图像显示在主 显示器104的画中画窗内，促使解剖结构的三维或二维超声波图像覆盖显示在主显示器104上的解剖结构的照相机获取的图像，并执行下 文中参考图4一12所描述的方法。0055虽然显示为独立的实体，主输入控制器202和222，从控 制器203， 233， 223和243，以及辅助控制器242优选实现为由处理器 102执行的软件模块，以及控制转换机构211， 231， 241的某些模式转 换方面。另一方面，超声波处理器246和视频处理器236，可以是软件 模块或插入与处理器102耦连或与处理器102集成的适当插槽的独立 电路板或卡，以将从这些图像获取设备中接收的信号转换成适合显示 在主显示器104上的<言号，和/或用于在显示在主显示器104之前由辅 助控制器242进行的其他处理。0056虽然本示例假设了每个主输入设备仅由一个预先指定的 工具从动机器人手臂或一个预先指定的图像获取设备机器人手臂共 享，替代性的布置在本发明的整个范围内也是可行的，并且可以设想 的。例如， 一种不同的布置，其中每个主输入设备可以是可选择地与 任意一个工具所关联，并且图像获取设备机器人手臂也是可能的，甚 至优选适合用于最大灵活性。同样，虽然内窥镜机器人手臂在这个示 例中示出由单个主输入设备控制，但它也可以通过使用两个主输入设 备来控制，以给出能够"抓取图像"的感觉，并将其移动至不同位置 或视角。更进一步地，虽然只在这个示例中示出内窥镜和LUS探测器， 但其他图像获取设备，例如那些用于获取照相机、超声波、磁共振、 计算机化轴向X线断层摄影术以及荧光透视成像的图像获取设备也完 全可以预期用于系统100中，虽然不是这些图像获取设备中的每一个 都有必要由主输入设备中的一个来操纵。0057图3图解说明了 LUS探测器150的一个实施例的侧视图。 LUS探测器150是一种灵巧工具，其优选具有两个远端自由度。驱动 杆或电缆(未示出)的相反端物理连接于LUS传感器301的近端，并 且延伸穿过伸长轴312的内部通道，利用传统的推拉类型动作来机械 地控制LUS传感器301的倾斜和偏转运动。0058LUS传感器301获取最接近的解剖结构的二维超声波切片，并通过LUS电缆304将该信息传送回处理器102。虽然图示为LUS 电缆304延伸在伸长轴312的外面，但它也可以在伸长轴312内延伸， 蛤壳式护套321包围伸长轴312和LUS电缆304，以提供穿过套管331 (或套管针)时的优异的密封。基准标记302和322被设置在LUS传 感器301和护套321上用于视频跟踪目的。0059图4作为示例图解说明了在显示屏104上显示治疗程序 或治疗的效果的方法的流程图。在401，解剖结构的主图像通过图像获 取设备获取。作为示例，图5图示说明了通过内窥镜140获取的主图 像，其包括解剖结构501和部分插入解剖结构501中的用来在解剖结 构501内的治疗部位处执行治疗程序的治疗仪器511。在另一应用中， 治疗仪器511仅仅需要接触或接近解剖结构501，以便执行治疗程序。0060主图像可以在治疗程序之前或者治疗程序期间获取。在 程序之前获取的主图像被称作"手术前"图像，而在程序期间获取的 主图像称作"手术中"图像。当主图像是手术前图像时，该图像在程 序期间通常不会更新，以便该方法通常仅使用一幅主图像。另一方面， 当主图像是手术中图像，该图像优选在程序期间周期性地更新，以便 该方法在这种情况中可以使用多幅主图像。0061手术前图像一般利用例如超声波成像、磁共振成像 (MRI)、或计算机化轴向X线断层摄影术(CAT)等技术来获取。手 术中图像可以通过例如立体内窥镜140或LUS探测器150等图像获取 设备在手术或治疗部位获取，或者它们可以通过例如那些用来获取手 术前图像的技术从外部获取。0062在图4的402中，治疗仪器被打开，或者被激活或通电， 以便能够在病人体内的解剖结构施加治疗。这个仪器通常具有用于施 加治疗能量至异常组织(例如有病或损坏的组织)的末端。作为这种 治疗程序的一个示例，射频切除(RFA)可以通过利用RFA探测器施 加热量至有病组织部位，用于破坏有病的组织，例如解剖结构(例如 肝脏)内的肿瘤。其他程序的示例，包括高强度聚焦超声波(HIFU) 以及烧灼等。这种治疗仪器可以是连接至从动臂121和122的工具138 和139中的一个，以便其可以被外科医生通过主/从控制系统移动至治 疗部位并在治疗部位处操纵。0063在403，生成辅助图像，其中该辅助图像指示对解剖结构 的治疗程序的效果。该辅助图像可以是解剖结构的真实图像，其可以 通过由感测设备获取的信息提供，或者由感测设备获取的信息所生成， 其中所述感测设备能够感测治疗程序的效果。替代地，辅助图像可以 是指示治疗效果的计算机模型，其可以利用这种效果的经验导出或常 规确定规则来生成。在后一种情况下，计算机模型通常是通过以下因 素来确定的体积形态(volumetric shape):诸如治疗仪器的末端的几何 形状、由治疗仪器的末端施加至解剖结构的热量或能量级别，以及解 剖结构内承受治疗程序的治疗部位周围组织的特征。0064作为由感测设备获取的信息提供或者从中导出的辅助图 像的示例，图6图解说明了解剖结构601的三维超声波图像，其已经 按照惯例从由LUS探测器150获取的二维超声波切片中导出。在这个 示例中，所示出的切除体621表示治疗程序的效果，其中RFA探测器 612的末端613被施加至解剖结构601的肿瘤部位。在这种情况下，因 为由于肿瘤部位处的周围组织的发热和坏死引起的组织性质的变化， 切除体的生长是看得见的。0065在404中，主图像和辅助图像被对准，以便具有相同比 例，并且在共同的参考坐标系内参考相同的位置和方位。这种类型的 对准是公知的。作为示例，可以参考共同拥有的题为"用于显示和调 整远程外科手术系统的图像显示器上的辅助信息以帮助执行外科手术 程序的手术人员的设备和方法(Devices and Methods for Presenting and Regulating Auxiliary Information on an Image Display of a Telesurgical System to Assist an Operator in Performing a Surgical Procedure)"的第 6,522,906号美国专利，该专利通过参考并入本文。0066在405中，在治疗程序进行期间，主图像显示在显示屏 104上，并且所对准的辅助图像优选覆盖在主图像上，以便在每一个图 像中的相应的结构或物体显示为相同尺寸，并在显示屏104上处于相 同的位置和方位。以这种方式，治疗程序的效果被显示为正承受治疗 程序的解剖结构上的覆盖图。0067作为示例，图7示出了示例性显示屏104，其中为演示 目的被区别标示为虚线的辅助图像覆盖在图5的主图像上。当辅助图像通过感测设备获取的信息提供或者源自于感测设备获取的信息时，治疗效果521，治疗仪器512，以及仪器末端513通过获取的信息提供 或者从所获取的信息中得到。另一方面，当治疗效果521通过利用经 验值确定的规则被生成为体形态的计算机模型时，治疗仪器512和仪 器末端513可以至少部分地基于其操纵从动臂的关节位置通过利用传 统工具跟踪计算来确定。0068在图4的406中，该方法然后检查治疗仪器是否已经关 闭。如果已经关闭，则意味着治疗程序已经结束，则该方法结束。另 一方面，如果治疗仪器仍然开启，则该方法认为治疗程序仍然在进行， 并进入到407来确定是否已获取新的主图像。如果没有获取新的主图 像，例如，因为主图像是手术前图像，则该方法跳回403以更新辅助 图像，并继续循环通过403—407，直到通过检测到治疗仪器已经关闭 来判断治疗程序已完成为止。另一方面，如果新的主图像已经获取， 例如，因为主图像是手术中图像，则该方法在跳回步骤403之前，在 步骤408更新主图像，以更新辅助图像，并继续循环通过403—408， 直到通过检测到治疗仪器已经关闭来判断治疗程序已经完成为止。0069图8作为示例图解说明了一种方法的流程图，该方法用 于在限定为放大镜的镜头区域的窗内，以用户指定的放大倍率将解剖 结构的辅助图像显示为解剖结构的主图像的对准覆盖图，显示在显示 屏104上的辅助图像的位置和方位可以由用户利用关联的定位设备操 纵。0070在801，该方法通过关联放大镜和定位设备而开始，以使 定位设备移动，显示在显示屏104上的放大镜(特别地，其镜头可以 被视为窗)以相应的方式移动。在这种情况下可以通过使用定位设备 或者通过使放大镜有效地放大定位设备的光标，以传统方式"抓取" 放大镜来完成关联。由于显示屏104优选为三维显示器，因此定位设 备相应地优选为具有方位指示能力的三维定位设备。0071在802中，当前主图像和辅助图像可用于处理。在这个 示例中主图像由内窥镜140获取，而辅助图像通过LUS探测器150获 取。但是，主图像和辅助图像的其他源也可以在实践本发明的时候使 用和考虑，包括从相同源获取的主图像和辅助图像。作为最后一种情况的示例， 一种高分辨率照相机可以获取分辨率高于用来在显示屏上 显示图像的分辨率的图像。在这种情况下，由照相机获取的高分辨率 图像可以作为辅助图像处理，而显示在显示屏上的縮小的图像可以作 为主图像处理。0072在803中，用户可选择的放大因数被读取。放大因数是 用户可通过，例如定位设备上的标度盘或轮式类型的控制来选择的。 替代地，用户可通过显示在显示屏104上的菜单中的用户选项来选择、 或者通过任何其他传统的用户可选择参数值配置或机构来选择。如果 用户没有做出选择，则可以使用默认值，例如放大因数为1.0。0073在804中，主图像和辅助图像被对准，以便具有相同尺 寸，并在同一个参考坐标系中参考相同位置和方位，从而使这两个图 像中相应的结构和物体具有相同的坐标。0074在805，主图像被显示在显示屏104上，例如解剖结构的 三维视图，在这种情况下，解剖结构的辅助图像的二维切片的一部分 可以显示为放大镜的镜头中的覆盖图。在这种情况下的二维切片的这 一部分由具有中心点——该中心点具有和放大镜镜头的中心点相同的 位置和方位——的窗区域以及由放大因数确定的区域来限定，所以二 维切片的这一部分可以被放大或縮小，以便适合放大镜的镜头。因为 放大镜的位置和方位可由定位设备来操纵至显示屏104的三维空间内 的任意位置，包括那些在解剖结构体内的位置，所以二维切片可以对 应于任何用户选择的在解剖结构内的深度。和物理放大镜不同，其视 图不被限制于仅仅检查解剖结构的外表。对于805的其他细节，请参 见下文中参考图9的描述。0075在806中，该方法然后确定放大镜命令是否已经通过以 下方式被关闭例如用户释放放大镜的"抓取"图像、或者通过某些 类型的传统开关装置的使用来断开放大镜和定位设备之间的关联。如 果关联已经关闭，则该方法结束。另一方面，如果没有关闭，则该方 法跳回802，并继续循环通过802 — 806，直到放大镜命令被检测出已 经关闭。应该注意，每一次该方法从802—806循环一遍，主图像和辅 助图像的更新的版本(如果有的话)，利用用户可选择放大因数(如果 有的话)的更新值处理。因此，如果该方法以足够快的方式通过该循环，则如果用户在旋转标度盘或手柄来调节放大因数，同时在放大镜 的选定位置和方位观察解剖结构的时候，用户将不会发现任何明显的 延迟。0076图9作为示例图解说明了一种方法的流程图，该方法用 于在用户可移动放大镜的镜头内，以指定的放大因数，将解剖结构的 辅助图像视图显示为解剖结构的主图像视图的覆盖图。如前面所解释 的，这种方法可以用来执行图8的805。0077在901中，放大镜镜头的中心点的当前位置和方位在显 示屏104的三维空间内确定。在902中，辅助图像的对准的体模型的 二维切片从那个位置和方位的透视图中获取，并且该二维切片的一部 分按照优选具有相同位置和方位的中心点的辅助视图窗的限定来获 得。根据放大镜的当前放大因数，在这种情况下的辅助视图窗的区域 与镜头的区域成反比。在卯3中，由辅助视图窗限定的二维切片的部 分被放大因数放大，以便其适合放大镜的镜头区域，并且在904中， 解剖结构的主图像被显示在显示屏104上，其中辅助图像的二维切片 的放大部分覆盖在显示于显示屏104上的放大镜的镜头区域上。0078作为901 — 904的一个形象化示例，在图lO—ll中示出 解剖结构的辅助图像的二维切片1001，并且二维切片的两个圆形窗 1021和1022如图10所示。在这种情况下，每一个窗1021， 1022在形 状上对应于放大镜1120的镜头1121的形状并具有和它相同的中心点， 该放大镜1120的镜头1121和解剖结构的外部视图1101的主图像一起 被显示在显示屏104上，如图11所示。在这个示例中，窗1021的区 域等于镜头1121的区域，所以如果放大因数为1.0，那么窗1021可以 被选择用于902。另一方面，窗1022的区域小于镜头1121的区域，所 以如果放大因数大于1.0，那么窗1022可以被选择用于902。应该注意 虽然放大镜1120的镜头1121被描述为圆形的，但它还可以具有其他 适合用作放大镜的普通形状，例如矩形。0079图12作为示例图解说明了一种方法的流程图，该方法当 主输入设备处于图像操纵模式下的时候，响应于关联主输入设备的相 应操纵，由医用机器人系统的处理器执行，用于操纵显示在医用机器 人系统的计算机显示屏上的图像目标。0080作为这种方法的开始，医用机器人系统包括图像获取设 备用来获取图像(例如内窥镜140或LUS探测器150);固定图像获取 设备的机器人手臂(例如分别固定内窥镜140和LUS探测器150的从 动臂123或从动臂124);计算机显示屏(例如显示屏104);适合于由 用户以多个自由度的运动操纵的主输入设备(例如主输入设备107或 主输入设备108);以及处理器(例如辅助控制器242)，其被配置成当 主输入设备处于图像获取模式时根据主输入设备的用户操纵来控制图 像获取设备的运动，并且当主输入设备处于图像操纵模式时根据主输 入设备的用户操纵来控制从所获取的图像中得到的图像在计算机显示 屏上的显示。0081在1201中，处理器检测到用户已经将主输入设备设置 成图像操纵模式。实现这一目的的一种方式是利用提供在医用机器人 系统中的主离合机构，该主离合机构支持将主输入设备从其关联的机 器人手臂脱离，从而主输入设备可以被替换。当这个模式通过某些机 构被激活的时候，例如用户按压主输入设备上的按钮，按下踏板，或 者利用声音激活，所关联的机器人手臂被锁定在适当位置，并且光标(象征性地为手的图标化表示，例如O)在计算机显示屏上呈现给用户。 当用户离开这种模式的时候，光标被隐藏，并且如果需要的话，机器 人手臂的控制可以在重新调整其位置之后恢复。0082在1202中，处理器确定控制输入(例如通过按压常规鼠 标的按钮而产生的)是否已经被用户激活。在这种情况下控制输入可 以通过按压主输入设备上提供的按钮来激活，或者它可以通过其他方 式来激活，例如挤压主输入设备上提供的夹具(gripper)或钳子(pincher)结构。关于离合的其他细节，主输入设备上的夹具或钳子 结构，参见例如共同拥有的题为"合作微创远程外科手术系统(Cooperative Minimally Invasive Telesurgical System)"的第6,659,939 号美国专利，该专利通过参考并入本文。如果在1202控制输入没有被 确定为"打开(on)"(即激活或)，则处理器等待，直到其接收到"打 开"指示或者退出图像操纵模式。0083在1203，在接收控制输入处于"on"的指示之后，处理 器进行检査以观察光标是否处于显示在计算机显示屏上的物体上(或者在预定距离内)。如果没有处于"on",则在1204，处理器引起用户 可选择的项目或活动的菜单显示在计算机显示屏上，并且在1205，处 理器接收用户所做出的菜单选择并对该选择进行反应。
0084用户可选择菜单项目的示例包括放大镜，剖面，擦除 器，以及图像对准。如果用户选择了放大镜项目，则放大镜的图像被 、显示在计算机显示屏上，并且参考图8所描述的方法由处理器来执行。 当用户完成放大镜功能时，则用户可以任何常规方式来指示退出该功 能，并且该处理器返回1202。
0085如果用户选择了剖面选项，则在计算机显示屏上显示一 个平面(或者显示固定尺寸的或用户可调节尺寸的矩形窗)。主输入设 备然后可以和这个平面关联，以便用户可以以定位设备的方式通过操 纵主输入设备，将该平面定位和定向在计算机显示屏的三维空间内。 如果该平面被操纵和移动以便和解剖结构的体绘制相交，则其用作限 定在交叉处的体绘制的二维切片的剖面。替代地，主输入设备可以和 解剖结构的体绘制相关联，然后可以被操纵和移动，进而和所显示的 平面相交来限定剖面。平面或体绘制与定位设备的关联可以参考图8 的801的放大镜所描述的基本相同的方式执行。
0086二维切片然后也可以在自己的平面内被观察到，或者在 计算机显示屏上的一个独立窗(例如画中画)中被观察。用户可以进 一步选择剖面项目的额外时间来限定体绘制的附加的二维切片，用于 同时在计算机显示屏上的各个平面或画中画窗内观察。为了不会使得 计算机显示屏和不需要的剖面切片之间产生混乱，提供了常规的删除 功能，以便用户可以可选择性地删除任何剖面或它们的相应切片。当 完成剖面功能时，用户可以然后以任意常规方式指示退出该功能，并 且处理器返回1202。
0087如果用户选择擦除器项目，则在计算机显示屏上显示擦 除器。主输入设备则和该擦除器相关联，以便用户可以通过以定位设 备的方式操纵主输入设备，以在计算机显示屏的三维空间内定位和定 向该擦除器。在这种情况下定位设备和擦除器的关联可以利用和上文 参考图8的801的放大镜所描述的基本相同的方式来进行。如果擦除 器被操纵和移动以至于和解剖结构的体绘制相交，则当擦除器经过体绘制时，其用来完全或者部份地擦除这种绘制。如果用户选择部分擦 除(或者预先编程在处理器中)，则每当该擦除器穿过体绘制，则解剖 结构的更少的细节被显示。在这种情况下更少的细节指得是绘制的粗 糙度/精细度，或者可以指三维体绘制中的各层次的剥离。擦除的所有 这些特性或选项均可以利用常规方式选择。如果用户不注意地擦除了 体绘制的一部分，常规的撤消特征被提供以允许用户撤消该擦除。当 用户完成擦除功能之后，则用户可以以任意常规方式指示退出该功能， 并且处理器返回1202。
0088除了上面描述的擦除功能，其他空间局部修改功能也可 以考虑并被视为落入本发明的完整范围，包括选择性地锐化，增亮， 或者将显示的图像的一部分加彩色以增强或加亮其在选定区域的可视 性。每一个这种空间局部修改功能可以利用上文中参考擦除器功能所 描述的基本相同的方法来执行。
0089如果用户选择图像对准项目，则处理器在再次跳回程序 1202之前如下文中参考1212所描述的那样记录这种选择用于未来的 活动/动作。在这种情况下，图像对准一般包括手动对准物体(例如解 剖结构)的辅助图像和该物体的相应的主图像。
0090上面描述的菜单方法的一种替代是，当进入图像操纵模 式时分别指示如上所描述的每一个可选择项目的图标被显示在计算机 显示屏上，并通过用户点击它们而被选择，在这之后，处理器继续按 照参考它们相应的菜单项目的选择所描述的那样执行。
0091现在继续参考图12所描述的方法，当在1201中接收到 控制输入处于on的指示之后，并且在1202中判定光标被定位在显示 于计算机显示屏上的物体上或其周围(不是图标)之后，处理器优选 将光标从手的图标化表示转换成，例如，正在抓握的手来指示物体已 经被"抓取"，并且已经准备通过主输入设备的用户操纵来移动或"拖 曳"至在计算机显示屏的三维空间的另一个位置和/或方位。
0092在1206，处理器判定用户是否已经指示选定物体的显示 参数将要被调整，如果用户已经指示，则在1207，处理器执行显示器 调整。作为示例，主输入设备上的标度盘可以被用户转动来指示对显 示参数的显示调整，该显示参数关联于根据选定物体上的标度盘的旋转量将要被调整的标度盘。替代性地，如果主输入设备装备有夹具， 则该夹具可以被旋转，以便用作标度盘。可以这种方式调整的显示参 数的示例包括显示在计算机显示屏上的选定物体的亮度、对比度、 色彩和细节级别(例如网格粗糙度/精细度，或者体元或三维象素的大 小和/或不透明度)。.
0093然后处理器继续进行至1208，以在1203得到肯定的判定 之后判定该光标是否已在"抓取"所述选定物体之后移动。如果还没 有移动，则处理器跳回1202，因为用户此时可能仅希望调整选定物体 的显示参数。另一方面，如果光标在"抓取"该选定物体之后已经移 动，则在1209，处理器移动选定物体至新的光标位置。因为光标操作 在计算机显示屏的三维空间，当它"进入"显示屏时，它可以通过例 如逐渐减小尺寸来指示这种移动。当计算机显示屏的三维性质通过使 用该物体的右二维视图和左二维视图而实现的时候，这两个视图之间 的交叉点的差异就表示深度值，在右视图和左视图中光标图像的深度 值的降低可以指示该光标"进入"显示屏。
0094可选择地，在1210，触觉反馈可以被提供返回主输入设 备，以便在1209中用户在"被抓取"的物体移动时可以感测到反馈力。 作为示例，通过将物体的虚拟质量和惯性与物体关联起来，用户和物 体的相互作用可以触觉地反馈至用户，以便用户感受当和物体接触或 者当物体被加速或减速时平移和旋转物体的反馈力。在1210中执行的 这种触觉反馈仅仅对于某些类型的物体可以实现，对于其他的物体不 能实现，或者它仅仅在某些环境下有用。这种触觉反馈的使用还可以 被施加到放大镜和/或如上所述用于限定剖面的平面的移动。但是，在 这种情况下，触觉反馈可以被限制为仅在放大镜或平面进入感兴趣的 解剖结构内之后出现。
0095在1211，处理器判定控制输入是否仍处于"on"状态。 如果控制仍然处于"on"，则处理器跳回1208，以跟踪和响应光标运动。 另一方面，如果控制已经关闭，例如通过用户释放最初被按压以指示 控制"打开"的按钮i，则在1212中处理器执行选定的菜单活动。
0096例如，k卩果响应于处理器在1204显示菜单(或者替代性 地，用户点击指示该项的图标)，图像对准项目已经被用户选定，则已
30经移动的物体和现在排成一列的并且此时正显示在计算机显示屏上的 该物体的另一图像相对准，以便它们在共同坐标系(例如计算机显示 屏的坐标系)内，具有相同的坐标和方位值。这一特征有助于，例如，
解剖结构的辅助图像(例如利用LUS探测器150获得的)与解剖结构 的主图像(例如利用内窥镜140获得的)的手动对准。在初始对准之 后，主图像中的对应物体的位置和/方位的变化可以被镜像，以便引起 辅助图像内的选定物体的相应变化，从而保持它相对于主图像的相对 位置/方位。当用户完成图像对准功能时，处理器返回1202。
0097虽然本发明的各个方面已经参考优选实施例进行描述， 但应该理解的是本发明有权利在所附权利要求的完整范围内进行完整 保护。
权利要求
1.一种用于在计算机显示屏上显示由治疗仪器施加到解剖结构上的治疗程序的效果的方法，该方法包括生成辅助图像，该辅助图像指示由所述治疗仪器施加到所述解剖结构上的所述治疗程序的效果；以及在所述治疗程序期间在所述计算机显示屏上显示覆盖有所述辅助图像的所述解剖结构的主图像。
2. 根据权利要求1所述的方法，其中所述治疗程序是利用医用机 器人系统执行的，并且所述治疗仪器可以由外科医生通过利用所述医 用机器人系统来自动操纵，以执行所述治疗程序。
3. 根据权利要求1所述的方法， 序之前获取的。
4. 根据权利要求3所述的方法， 成的手术前图像。
5. 根据权利要求3所述的方法， 像生成的手术前图像。其中所述主图像是在所述治疗程 其中所述主图像是通过超声波生 其中所述主图像是通过磁共振成
6. 根据权利要求3所述的方法，其中所述主图像是通过计算机化 轴向X线断层摄影术生成的手术前图像。
7. 根据权利要求3所述的方法，其中所述辅助图像是在所述治疗 程序期间由所述治疗仪器所施加的治疗效果的计算机模型。
8. 根据权利要求7所述的方法，其中所述计算机模型是至少部分 地由所述治疗仪器的治疗末端的几何结构确定的体积形态。
9. 根据权利要求7所述的方法，其中所述计算机模型是至少部分地通过由所述治疗仪器的所述治疗末端施加至所述解剖结构的热量级 别来确定的体积形态。
10. 根据权利要求7所述的方法，其中所述计算机模型是至少部分 地通过承受所述治疗程序的所述解剖结构的周围组织的特征来确定的 体积形态。
11. 根据权利要求1所述的方法，其中所述主图像在所述治疗程序 期间获取。
12. 根据权利要求11所述的方法，其中所述主图像是由照相机单元获取的手术中图像。
13. 根据权利要求12所述的方法，其中所述照相机单元包括一对 立体照相机。
14. 根据权利要求12所述的方法，其中所述照相机单元被包括在 内窥镜中。
15. 根据权利要求14所述的方法，其中所述内窥镜是腹腔镜。
16. 根据权利要求11所述的方法，其中所述辅助图像是在所述治 疗期间由所述治疗仪器所施加的治疗效果的计算机模型。
17. 根据权利要求16所述的方法，其中所述计算机模型是至少部 份地由所述治疗仪器的治疗末端的形状来确定的体积形态。
18. 根据权利要求16所述的方法，其中所述计算机模型是至少部 份地通过由所述治疗仪器的治疗末端施加至所述解剖结构的热量级别 来确定的体积形态。
19. 根据权利要求16所述的方法，其中所述计算机模型是至少部分地由承受所述治疗程序的所述解剖结构的周围组织的特征来确定的 体积形态。
20. 根据权利要求11所述的方法，其中所述辅助图像是通过超声 波生成的手术中图像。
21. 根据权利要求22所述的方法，其中所述治疗程序利用射频切 除来破坏所述解剖结构的异常组织。
22. 根据权利要求21所述的方法，其中所述异常组织包括患病组
23. 根据权利要求22所述的方法，其中所述患病组织包括至少一 个肿瘤。
24. 根据权利要求21所述的方法，其中所述异常组织包括被破坏 的组织。
25. 根据权利要求21所述的方法，其中所述治疗程序是以下组合 中的一个射频切除，高强度聚焦超声，以及烧灼术。
26. —种用于在计算机显示屏上将解剖结构的辅助图像的选定部 分显示为所述解剖结构的主图像的覆盖图的方法，所述方法包括将可移动窗与定位设备相关联，以便使得所述可移动窗可以利用 所述定位设备安置在所述计算机显示屏上；将解剖结构的辅助图像与所述解剖结构的主图像对准，以便使它 们在共同坐标系中处于相同的位置和方位；以及在所述计算机显示屏上显示所述主图像，并且将对应于与所述可 移动窗相同显示屏坐标的对准的辅助图像的一部分在所述可移动窗中 显示为主图像的覆盖图。
27. 根据权利要求26所述的方法，其中所述主图像是在利用医用机器人系统执行微创外科手术程序期间由图像获取设备来获取的，并 且所述图像获取设备可以在执行所述医疗程序的同时利用医用机器人 系统自动地操纵。
28. 根据权利要求26所述的方法，其中所述可移动窗在所述显示 屏上显示为圆形镜头。
29. 根据权利要求26所述的方法，其中所述可移动窗在所述显示 屏上显示为矩形镜头。
30. 根据权利要求26所述的方法，其中所述主图像是所述解剖结 构的三维图像，并且所述计算机显示屏是三维计算机显示屏。
31. 根据权利要求26所述的方法，其中对应于和所述可移动窗相 同显示屏坐标的所述对准的辅助图像的完整部分在所述可移动窗中显 示为所述主图像的覆盖图。
32. 根据权利要求26所述的方法，其中对应于和所述可移动窗相 同显示屏坐标的所述对准的辅助图像的所述部分被扩大，以便适合所 述可移动窗，并在所述可移动窗中被显示为所述主图像的覆盖图，从 而显示为所述辅助图像的放大视图。
33. 根据权利要求32所述的方法，进一步包括 接收由观察所述计算机显示屏的用户所选择的放大因数；以及 施加所述放大因数，以确定所述对准的辅助图像部分，使所述对准的辅助图像部分适合所述可移动窗并在所述可移动窗中被显示为所 述主图像的覆盖图。
34. 根据权利要求26所述的方法，其中所述主图像和辅助图像是 所述解剖结构的三维图像，并且所述计算机显示屏是三维计算机显示 屏。
35. 根据权利要求26所述的方法，其中所述可移动窗与所述辅助 图像的用户可选择的深度相关联，以便对应于由用户选择的深度的所 述辅助图像的二维切片在所述可移动窗中被显示为所述主图像的覆盖 图。
36. 根据权利要求26所述的方法，其中所述主图像是通过磁共振 成象生成的手术前图像。
37. 根据权利要求26所述的方法，其中所述主图像是通过计算机 化轴向X线断层摄影术生成的手术前图像。
38. 根据权利要求26所述的方法，其中所述主图像是通过照相机 单元获取的手术中图像。
39. 根据权利要求38所述的方法，其中所述照相机单元被包括在 内窥镜内。
40. 根据权利要求38所述的方法，其中所述辅助图像是手术前获 取的图像。
41. 根据权利要求40所述的方法，其中所述手术前获取的图像是 通过磁共振成象生成的。
42. 根据权利要求40所述的方法，其中所述手术前获取的图像是 通过计算机化轴向X线断层摄影术生成的。
43. 根据权利要求40所述的方法，其中所述手术前获取的图像是 通过超声波生成的。
44. 根据权利要求38所述的方法，其中所述辅助图像是手术中获 取的图像。
45. 根据权利要求44所述的方法，其中所述手术中获取的图像是 通过超声波生成的。
46. 根据权利要求44所述的方法，其中所述手术中获取的图像是 通过第二照相机单元生成的。
47. —种医用机器人系统，包括 用于获取图像的图像获取设备； 固定所述图像获取设备的机器人手臂； 计算机显示屏；适合于由用户以多自由度运动来操纵的主输入设备；以及 处理器，所述处理器被配置，以当所述主输入设备处于图像获取 模式时，根据所述主输入设备的用户操纵来控制所述图像获取设备的 运动，并且当所述主输入设备处于图像操纵模式时，根据所述主输入 设备的用户操纵来控制从获取的图像中导出的图像在所述计算机显示 屏上的显示。
48. 根据权利要求47所述的医用机器人系统，其中所述主输入设 备被配置，以便能够在六个自由度下操纵，从而使得所述主输入设备 在处于所述图像操纵模式下时作为三维鼠标操作。
49. 根据权利要求47所述的医用机器人系统，其中所述处理器被 配置，以便当用户启动控制输入，同时关联于所述主输入设备的光标 被显示在导出的图像上时，对显示在所述计算机显示屏上的所述导出 的图像中的一个图像执行抓取功能，并当所述用户移动所述主输入设 备，同时在处于所述图像操纵模式时保持所述控制输入启动时，对所 述导出的图像执行移动功能。
50. 根据权利要求49所述的医用机器人系统，其中所述处理器被 进一步配置，以提供触觉反馈给所述主输入设备，同时对所述导出的 图像执行所述移动功能。
51. 根据权利要求50所述的医用机器人系统，其中所述触觉反馈 通过将虚拟质量和惯性关联于所述导出的图像来提供，以便当所述处 理器响应于处于所述图像操纵模式下的所述主输入设备的用户操纵， 而对所述导出的图像执行所述抓取和移动功能的时候，所述用户可以 感受到反馈力。
52. 根据权利要求49所述的医用机器人系统，其中所述图像获取 设备获取辅助图像，并且所述处理器被配置成使由主图像获取设备获 取的主图像显示在所述计算机显示屏上，并且所述导出的图像中的一 个图像的至少一部分覆盖在所述主图像上。
53. 根据权利要求52所述的方法，其中所述处理器被配置成通过 用户在所述导出的图像上执行所述抓取和移动功能，帮助手动对准所 述导出的图像中的一个和所述主图像，以便当处于所述图像操纵模式 时对准所述导出的图像和所述主图像，如同它们同时显示在所述计算 机显示屏上。
54. 根据权利要求47所述的医用机器人系统，其中所述主输入设 备具有夹具，该夹具适合于由用户的手捏住以当所述主输入设备处于 所述图像操纵模式时用作控制输入。
55. 根据权利要求54所述的医用机器人系统，其中所述处理器被 配置成当所述主输入设备处于所述图像操纵模式且当所述夹具被捏住 并绕着所述夹具的轴旋转时，调节与所述导出的图像关联的参数。
56. 根据权利要求55所述的医用机器人系统，其中所述可调节参 数是所述导出的图像的亮度。
57. 根据权利要求55所述的医用机器人系统，其中所述可调节参 数是所述导出的图像的色彩。
58. 根据权利要求55所述的医用机器人系统，其中所述可调节参数是所述导出的图像的细节的级别。
59. 根据权利要求58所述的医用机器人系统，其中所述导出的图 像的细节的级别由限定所述导出的图像的网格结构的粗糙度的级别来 确定。
60. 根据权利要求47所述的医用机器人系统，其中所述导出的图 像是从所述获取的图像中生成的三维体；并且所述处理器被进一步配 置成在所述计算机显示屏上显示所述三维体和二维窗中的一个，响应 所述主输入设备的用户操纵来操纵所述计算机显示屏上的所述窗的位 置和方位，并通过所述窗和所述三维体的交叉来定义一个剖面，从而 指示所述三维体的二维截面。
61. 根据权利要求60所述的医用机器人系统，其中所述二维切片 被显示在所述窗内。
62. 根据权利要求60所述的医用机器人系统，其中所述二维切片 被显示在所述计算机显示屏的画中画窗口内。
63. 根据权利要求60所述的方法，其中所述处理器被进一步配置 成在所述计算机显示屏上显示用户可选择数目的二维窗，响应于所述 主输入设备的用户操纵来独立地操纵在所述计算机显示屏上的所述窗 的位置和方位，并通过所述操纵窗和三维体的交叉来定义剖面，以便 指示所述三维体的相应的二维切片。
64. 根据权利要求63所述的医用机器人系统，其中所述二维切片 被显示在所述计算机显示屏的相应的画中画窗中。
65. 根据权利要求60所述的医用机器人系统，其中所述处理器被 配置成响应所述计算机显示屏上的显示菜单中包括的项目的用户选 择，而在所述计算机显示屏上显示所述二维窗。
66. 根据权利要求60所述的医用机器人系统，其中所述处理器被 配置成响应显示在所述显示屏上的图标的用户选择，而在所述计算机 显示屏上显示所述二维窗。
67. 根据权利要求66所述的医用机器人系统，其中所述图标被显 示在所述计算机显示屏的外围区域中，并且所述处理器被进一步配置 成将点击所述图标和从所述外围区域拖走所述图标的用户鼠标类活动 解释成用户对所述图标的选择。
68. 根据权利要求67所述的医用机器人系统，其中所述图像获取 设备是超声波探测器，并且所述导出的图像是解剖结构的三维超声图 像，这些三维超声图像是从由所述超声波探测器获取的二维超声切片 中计算机生成的。
69. 根据权利要求47所述的医用机器人系统，其中所述处理器被 进一步配置成将所述导出的图像和擦除器图像中的一个图像显示在所 述计算机显示屏上，响应所述主输入设备的用户操纵来操纵所述擦除 器图像在所述计算机显示屏上的至少一个位置，并且当所述擦除器图 像在所述计算机显示屏上被操纵时，擦除被所述擦除器图像穿过的显 示在所述计算机显示屏上的所述导出的图像中的一个图像的任意部 分。
70. 根据权利要求69所述的医用机器人系统，其中所述处理器被 配置成擦除被所述擦除器图像所穿过的所述导出的图像的所述部分的 所有细节。
71. 根据权利要求69所述的医用机器人系统，其中所述处理器被 配置成减少被所述擦除器图像所穿过的所述导出的图像的所述部分的 细节。
72. 根据权利要求71所述的医用机器人系统，其中由所述擦除器 图像所穿过的所述导出图像的所述部分的细节的减少使得限定所述导出的图像的网格结构的精细度减少
全文摘要
为了帮助外科医生进行医疗程序，一般表示正被治疗的解剖结构的内部细节的辅助图像被显示在计算机显示屏上，并由外科医生操纵来补充一般只是解剖结构的外视图的主图像。在第一模式控制机器人手臂的主输入设备可以由外科医生转换至第二模式，以便替换用作类似鼠标的定位设备，用以帮助该外科医生进行这种辅助信息的显示和操纵。
文档编号A61B19/00GK101291635SQ200680038944
公开日2008年10月22日 申请日期2006年10月19日 优先权日2005年10月20日
发明者B·霍夫曼, D·拉金, G·张, G·普林斯科, N·斯瓦厄普, R·库马 申请人:直观外科手术公司