专利名称：用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航 ...的制作方法
技术领域：
本发明大体涉及可操纵的内窥镜，并且具体地涉及用于为向一个或更多个界标 (landmark)操纵内窥镜设备的末端提供视觉引导和在内窥镜导航中辅助操作者的方法和系统。
背景技术：
微创手术过程被公知为比传统的开放性手术提供了更多优点，包括疼痛少、缩短住院期、更快地恢复正常活动、伤疤小、缩短恢复时间以及对组织伤害小。为了执行这些过程，必须通过切口或自然的体孔产生到病人体内的入口。可以使用机器人和手动微创手术设备。微创手术机器人系统的一个示例是加利福利亚州森尼韦尔的直观外科公司 (Intuitive Surgical, Inc.) da Vinci 手术系统。da Vinci 手术系统具有若干个机器人臂，该若干个机器人臂移动所附的医疗设备，例如图像捕获设备和直观外科公司专有的 Endofeist ·铰接手术器械，以响应于通过外科医生查看由图像捕获设备在手术处捕获的图片而引起的输入设备的移动。每个医疗设备均可以通过其自己的微创切口插入病人体内并被定位，从而在手术处执行治疗程序。切口位于病人身体上，一遍手术器械可以被用来协作地执行治疗程序并且图像捕获设备可以查看该治疗程序，而在该程序中它们的机器人臂不相碰撞。内窥镜是这样的一种医疗设备，即其允许医生通过将该设备通过自然体孔或手术产生的开口插入并将其引导至病人体内的目标位置，从而捕获诊断内部身体器官问题的图像。在一些情况下，它还可以被用来在内部身体器官上执行治疗程序。它可操纵使得其远端出于导航的目的而被可控制地取向。例如立体镜或单视场镜相机的图像捕获设备可以被设置在其远端，使得由相机从那个视图捕获的图像可以由医生在显示屏上查看。为了在目标位置执行各种治疗程序，例如用于切割、抓紧、烧灼等的那些手术工具可以延伸出内窥镜的远端。内窥镜可以是刚性的，例如用在腹腔镜检查中的内窥镜，或者它可以是柔性的，使得它能够遵循身体腔管的弯曲。它还可以是可刚化的(rigidizable)和/或机器人的。可刚化内窥镜是具有至少一部分柔性体的内窥镜，机械锁定机构可以使得该至少一部分柔性体变得基本刚性。机器人内窥镜是柔性内窥镜，其至少一部分在计算机控制的伺服机构下弯曲。它还可以是像奥林巴斯(Olympus)的胶囊内镜(EndoCapsule)的胶囊或栓系胶囊， 在这种情况下，它没有被可控地取向用于导航目的，并且在病人解剖中在重力、由解剖或其他手术设备施加的力的作用下移动。自然孔腔内内窥镜手术(“NOTES”)可以采用可操纵的内窥镜来在病人上执行手术程序。作为示例，柔性内窥镜可以被引导穿过多个体孔中的一个体孔并从病人体内进入腹部，而不是从外面穿过微创切口。例如，在“经胃”手术中，器械被穿过嘴并进入胃中。然后执行胃切开术，使得器械可以进入腹部并被医生用来在腹腔内执行治疗程序。一旦程序完成，器械与在程序期间被去除的组织一起被取出，并且进入点被关闭。因为没有在病人身体上产生切口以允许内窥镜的进入，NOTES可以比使用微创切口的手术带来更少疼痛。而且，由于它使用自然体孔代替切口以进入体内，它可以降低对一般的麻醉的需求并缩短恢复时间。在可操纵内窥镜的操作中，例如在NOTES应用中，当朝目标位置移动时，内窥镜末端可以被转动多次并处于不同的方向。因此，柔性内窥镜可能卷起，围绕其自身打卷并使操作者失去方向，如果内窥镜捕获的图像不能清楚地指示其相对于目标位置的当前方向，就会使得操作者难以保持对内窥镜末端的当前方向的跟踪。相反，操作者可以具有至常规腹腔镜检查中的视图的相对刚性的连接。如果操作者意外地在错误的方向移动内窥镜，则末端可能无意地穿孔或者损害组织，这对病人引起伤害。即使这种伤害通过小心地移动内窥镜末端来避免，也需要额外的时间来重复地确定内窥镜相对于病人体内的目标位置的真正方向。因此，实施手术程序所需的时间被延长，这增加了手术的成本并且增加了对健康安全的忧虑。
发明内容
因此，本发明的一个或更多个方面的目的是为操作者提供视觉引导用于朝向病人体内的一个或更多个界标操纵内窥镜设备的方法和用于执行该方法的系统。本发明的一个或更多个方面的另一个目的是提供导航用于辅助操作者朝病人体内的位置操纵内窥镜。本发明的一个或更多个方面的另一个目的是向内窥镜的操作者提供信息的方法和用于执行该方法的系统，所述信息在视觉上指示内窥镜末端当前指向的方向。本发明的一个或更多个方面的另一个目的是为内窥镜的操作者提供信息的方法和用于执行该方法的系统，所述信息在视觉上指示内窥镜相对于病人解剖结构的当前位置和形状。这些目的和另外的目的通过发明的各方面实现，其中简要地描述为，一方面是用于提供引导以朝一个或更多个界标操纵内窥镜设备的计算机执行的方法，该方法包括确定相对于参考系的内窥镜设备上的参考点的当前位置；确定从参考点的当前位置到第一界标相对于参考系的位置的第一向量；将第一向量从参考系变换为对应于图像捕获设备的透视图的图像参考系，图像捕获设备设置在内窥镜设备的末端；并且在显示屏上显示所转换的第一向量的图形表示和由图像捕获设备捕获的当前图像，以便指示朝第一界标操纵内窥镜设备的末端的方向。另一方面是一种系统，其包括显示屏；内窥镜设备；和一个或更多个处理器，该处理器适于确定相对于参考系的内窥镜设备上的参考点的当前位置、确定从参考点的当前位置到第一界标相对于参考系的位置的第一向量、将第一向量从参考系转换为对应于设置在内窥镜设备末端的图像捕获设备的透视图的图像参考系、并在显示屏上显示所转换的第一向量的图形表示和由图像捕获设备捕获的当前图像，以便指示朝第一界标操纵内窥镜设备的末端的方向。另一方面是用于在内窥镜导航中辅助操作者的计算机执行的方法，该方法包括将病人的计算机模型引用至参考系；确定相对于参考系的内窥镜设备的当前位置和形状； 根据所确定的当前位置和形状产生内窥镜设备的计算机模型；以及在显示屏上显示内窥镜设备和病人的计算机模型，以便为操作者提供内窥镜导航辅助。另一方面是一种系统，该系统包括显示屏；内窥镜设备；和处理器，该处理器适于将病人的计算机模型引用至参考系，确定相对于参考系的内窥镜设备的当前位置和形状，根据所确定的当前位置和形状产生内窥镜设备的计算机模型，以及在显示屏上显示内窥镜设备和病人的计算机模型，以便为系统的操作者提供导航辅助。本发明的各方面的另外的目的、特征和优点根据对优选实施例的以下描述将变得显而易见，应当结合附图对优选实施例进行说明。
图1图示说明了利用本发明的多个方面的可操纵内窥镜系统。图2图示说明了利用本发明的多个方面的可操纵内窥镜系统的处理部分的方框图。图3图示说明了利用本发明的多个方面的可操纵内窥镜系统的遥控操作部分的方框图。图4图示说明了用于在内窥镜导航中辅助操作者的计算机执行的方法的流程图， 其利用了本发明的多个方面。图5是图示说明了利用本发明的多个方面的可操纵内窥镜系统的位置确定部分的部件。图6图示说明了主显示屏，其显示了当在利用本发明的多个方面的系统中看到的由可操纵内窥镜捕获的图像。图7图示说明了辅助显示屏，其显示了由利用本发明的多个方面的系统产生的登记病人和内窥镜设备模型的前后视图(anterior-posterior view)。图8图示说明了辅助显示屏，其显示了由利用本发明的多个方面的系统产生的病人和内窥镜设备模型的斜视图(oblique view)。图9图示说明了辅助显示屏，其显示了由利用本发明的多个方面的系统产生的病人和内窥镜设备模型的中部侧视图(lateral-medial view)。图10图示说明了主显示屏，其将内窥镜设备捕获的图像显示在主窗口区域，并将由利用本发明的多个方面的系统产生的病人和内窥镜设备模型的斜视图显示在图中图窗口区域。图11图示说明了主显示屏，其将由内窥镜设备捕获的图像显示在第一区域中，并将由利用本发明的多个方面的系统产生的病人和内窥镜设备模型的斜视图显示在第二区域中。图12图示说明了利用本发明的多个方面的提供方向引导以向一个或更多个界标操纵内窥镜设备的计算机执行的方法的流程图。图13图示说明了利用本发明的多个方面的用于当其由界标移动时使用内窥镜设备建立界标的计算机执行的方法的流程图。图14图示说明了内窥镜设备插入其中的病人躯干的斜视图和在利用本发明的多个方面的系统中采用的各种界标的示例。图15图示说明了主显示屏，其根据利用本发明的多个方面的方法显示了由内窥镜设备捕获的当前图像和指示到相应界标的方向的各种向量的图形表达以及与其中一个界标相关的图像。
具体实施例方式作为示例，图1图示说明了系统100，该系统100包括可操纵内窥镜110、插在内窥镜Iio中的一个或更多个光纤线缆120、位置处理器130、图像处理器140、图像捕获设备 141、显示处理器150、主显示屏600和辅助显示屏160。尽管被示为单独的单元，但位置处理器130、图像处理器140和显示处理器150分别均可被实施为硬件、固件、软件或其组合， 其与一个或更多个计算机交互或者由一个或更多个计算机执行，例如图2中所描述的一个或更多个计算机200。主显示屏600和辅助显示屏160优选为能够将三维图像显示给系统 100的操作者的计算机监视器。然而，出于成本的考虑，主显示屏600和辅助显示屏160中的任一个或者两者可以是仅能够显示二维图像的标准计算机监视器。在此示例中，内窥镜110具有柔性的主体114、在其远端111处的可操纵的末端 112和在其近端115处的手柄或机电界面116。控制线缆(未示出)或其它控制装置通常从手柄或机电界面116延伸到可操纵的末端112，使得末端112可以可控制地被弯曲或转向，例如如弯曲末端112的虚线视图所示。尽管在此示例中描述了可操纵的内窥镜，但本发明不限于这种类型的内窥镜，并且也可以实践于其它内窥镜设备(例如，刚性的、可刚化的、机器人的或胶囊内窥镜)。立体镜或单视场镜相机141设置在远端111处，用于根据如此处公开的本发明的各方面捕获图像，该图像被传递至图像处理器140和/或显示处理器150并由图像处理器 140和/或显示处理器150处理，并被显示在主显示屏600和/或辅助显示屏160上。多个光纤线缆120中的一个可以在其近端被联接至远端111处的用于照明目的的光源(未示出)。其他光纤线缆120可以配备有弯曲或形状传感器，例如光纤布拉格光栅(Fiber Bragg Gratings)(或其他应变传感器，例如应用瑞利散射(Rayleigh scattering)的那些应变传感器)，使得穿过光纤线缆的光被位置处理器130处理以确定内窥镜110的当前位置和形状，包括其远端112的取向。除了延伸穿过内窥镜110的光纤线缆120之外，配备有应变传感器的一个或更多个另外的光纤线缆(未示出)可以被附接到内窥镜110，以便提供在附接点处内窥镜110的位置信息。当可操纵的内窥镜110由操作者手动操作时，手柄116与合适的杆或其他(多个) 控制机构一起使用，用于通过拉动合适的线缆(未示出)来可控制地取向内窥镜末端112， 该线缆将手柄116的这些控制机构联接至末端112。另一方面，当可操纵的内窥镜110由操作者远程操作时，机电界面116被用来代替手柄。如图3所示，机电界面116允许内窥镜110被电联接且机械联接至机器人臂301， 机器人臂301的运动由控制器302控制以响应于输入设备303的操作者操作。界面116和机器人臂301中的任一个或者两者包括驱动被用来操纵内窥镜末端112的线缆的马达。除了控制内窥镜末端112的弯曲之外，机器人臂301还可以被构造为将内窥镜110插入病人体内的孔(例如，自然孔或微创切口)中和/或将内窥镜110从病人体内的孔中取出，绕其中心轴旋转内窥镜110，和/或在孔处绕支点旋转机电界面116。控制器302优选与处理器 130、140、150 —起被实施为一个或更多个计算机200中的硬件、固件或软件(或其组合)。关于使用光纤布拉格光栅确定内窥镜的位置和弯曲的细节例如可以在以下文件中找至丨J 题为"Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings” 的美国专利文献 2007/0156019A1 ；题为"Fiber Optic Position and/ or Shape Sensing Based on Rayleigh Matter” 的美国专利文献 2008/0212082A1 ；题为"Robotic Surgical Instrument and Methods using Bragg Fiber Sensors，，的美国专利文献2008/0218770A1 ；以及题为"Fiber Optic Shape Sensor”的美国申请序列号 12/164，拟9。这些专利文献均被合并至此以供参考。关于常规的可操纵内窥镜的细节可以在例如题为"Steerable Endoscope and Improved Method of Insertion，，的美国专禾丨J文献6，869，396B2中找到。作为示例，图4图示说明了用于在朝向病人体内的某位置的可操纵内窥镜110的内窥镜导航中辅助操作者的计算机执行的方法400的流程图。这种情况下的计算机优选为包括处理器130、140、150的一个或更多个计算机200。在步骤401处，存储在存储器155中的病人计算机模型通过活体病人身体上的第一参考点被参考至固定的参考系(即，在使用内窥镜110执行的治疗程序期间不移动的参考系)，该病人一般俯卧在具有固定的参考系的手术台上，之后将参考点与病人计算机模型上的对应点相关联。例如，通过使用在固定的参考系(例如，内窥镜的末端112)中其末端位置可能已经被确定的指示器设备，操作者可以移动该指示器设备，使得它首先接触病人的嘴以建立对应于病人计算机模型的嘴的第一参考点。之后，操作者可以移动该指示器设备，使得它接下来接触病人的髂骨的左右脊，以建立对应于病人计算机模型的髂骨的左右脊的第二参考点。例如脐点和左右腋窝的其他点也可以被用来建立更多的参考点。通过以此方式将病人计算机模型参考至病人，可以建立病人计算机模型的合适尺寸(即，长度和宽度)，并与病人和它在固定的参考系中的位置对齐。因此，通过少数点，病人计算机模型可以使用存储器 155中的人体测量值数据库中的模型信息被适当地缩放并与病人对齐(即相符合)。若干个病人计算机模型可以被存储在存储器155中。例如，一些普通的病人计算机模型可以被存储，使得可以根据病人的年龄、性别、体型等使用不同的模型。优选地，每个模型均是三维计算机模型，包括至少头部和躯干(例如，如图7-9中所见)，以便包括用于在病人身体上执行诊断或手术程序的所有自然孔以及潜在目标位置。实际病人的三维计算机模型还可以被储存，并且如果可用的话，则可以用于现有系统，例如可以使用计算机断层 (CT)扫描产生。可替换地，外科医生或者助手可以在病人身体的表面上移动远端112，以绘制其轮廓并给位置处理器130提供充分的信息以产生关于病人的三维计算机模型的信息， 其存储在存储器155中。在步骤402处，确定操作者是否已经发出开始引导命令。操作者可以以多种方式中的任一种方式发出开始引导命令，例如当可操纵内窥镜110被远程控制时压下输入按钮或者按输入设备303上的开关，或者当可操纵内窥镜110被手动控制时压下输入按钮或者按手柄116上的开关。其他方式可以包括使用麦克风和声音识别处理器(未示出)的声音致动，声音识别处理器可以在一个或更多个计算机200中实施或者可以可操作地联接至一个或更多个计算机200 ；脚踏板(未示出)，其可以由操作者压下以便打开或者关闭引导； 以及使用辅助显示屏160、主要显示屏600或操作者可以使用输入设备与其交互作用的另一显示屏的图形用户界面。如果在步骤402中确定的结果为“否”(即，操作者没有启动导航引导模式)，则方法通过步骤402循环每个过程循环(或其他编程的循环)，直到做出“是”的确定，此时，方法进行到步骤403。在步骤403处，内窥镜110的当前位置和形状(例如，弯曲)通过使用从一个或更多个光纤接收的信息由位置处理器130确定，该光纤被配备有已经插入内窥镜110的内窥镜柔性体114中的形状传感器。作为这一光纤的示例，参考图5，光纤501的远端延伸至内窥镜的末端112并且其近端被附接至基点502，基点502在固定的参考系中的位置是已知的或者容易由位置处理器130确定。优选地，位置处理器130也被附接至或者其他方式联接至基点502，使得处理器130可以在该点处接收来自光纤501的弯曲传感器的信息。由于光纤线缆501的长度是已知的，其近端被固定至已知的位置，并且其远端延伸出内窥镜的末端112，所以末端112在固定的参考系中的当前位置和取向根据如从弯曲传感器接收的信息所指示的光纤501的当前弯曲被容易地确定。尽管为了图示说明的目的仅示出了一个光纤线缆501，但是配备有应变传感器的多个光纤或具有多个芯的单个光纤被优选地采用，用于确定内窥镜主体114和远端112的形状，例如，如在之前引用并入的美国专利文献2007/0156019A1、美国专利文献2008/0212082A1和美国申请序列号 12/164,829中使用形状传感器所描述的。在步骤404处，指示柔性内窥镜110的当前构造的计算机模型通过使用存储在存储器155中的内窥镜模型并将其修改以反映从光纤接收的形状信息而产生，光纤被构造为形状传感器。优选地，所存储的和产生的内窥镜110的计算机模型两者都是三维模型。在步骤405处，在步骤401中产生的病人计算机模型和在步骤404中产生的内窥镜计算机模型一起根据它们在固定参考系中的相应位置相对于彼此被适当地标示在辅助显示屏160上。因此，向可操纵内窥镜110的操作者提供了相对于病人身体的内窥镜110的当前形状的视图，以便为操作者在将内窥镜110导航至病人体内的目标位置提供引导。目标位置的视觉指示也可以与计算机模型或内窥镜110在其至目标位置的路径中可能遇到或者穿过的任何解剖结构或体腔的其它指示一起被显示。病人和内窥镜计算机模型被显示在辅助显示屏160上的方式优选为由操作者可通过使用许多已知技术中的一种或者更多种选择，这些已知技术例如设置在辅助显示屏 160和/或主显示屏600上的可点击图标和下拉菜单。例如，图标可以被设置在辅助显示屏160上，使得操作者可以通过使用计算机鼠标或者其他合适的设备点击合适的图标来选择病人和内窥镜110的前后视图750、斜视图751或者中部侧视图752，例如，如图7、图8和图9所示。参考图7，病人计算机模型720和内窥镜计算机模型710的前后视图750和沿内窥镜路径(例如，嘴入口、食道、胃入口和结肠)的各种界标的指示一起被显示在辅助显示屏160上。另外，由内窥镜110捕获的实时图像(例如，图6中所示的捕获图像650被显示在主显示屏600上)也可以被显示在辅助屏160上，邻近内窥镜计算机模型710的远端 711(或者看起来从内窥镜计算机模型710的远端711传出)。
除了(或者可代替)在辅助显示屏160上显示病人和内窥镜计算机模型720和 710，计算机模型可以与捕获的图像650 —起显示在主显示屏600上。例如，斜视图751可以被示为插入主显示屏600上的捕获图像650的画中画，如图10所示，或者它可以被显示在邻近图11所示的主显示屏600上的捕获图像650的窗口的窗口中。回过来参考图4，在步骤406中，确定操作者是否已经发出停止引导命令。操作者可以以与操作者发出启动引导命令的方式类似但互补的多种方式中的任一种方式发出停止引导命令。如果在步骤406中确定的结果为“否”(即，操作者没有停止导航引导模式)，则方法循环至步骤403以更新内窥镜110的当前位置和弯曲，并为下一个过程循环(或者其他编程的循环)显示内窥镜计算机模型和病人计算机模型。另一方面，如果在步骤406中确定的结果为“是”(即，操作者已经停止导航引导模式)，则方法进行至步骤407处，在步骤 407中，显示处理器150引起病人和内窥镜的计算机模型不再被显示在辅助显示屏160和/ 或主显示屏600上，或者将它们定格在显示屏上。在整个内窥镜程序期间，从内窥镜110插入病人体内开始，建议的方法和发明将相机141(在内窥镜110的远端112处)周期性捕获的图像的数字形式和在图像被捕获的时刻(例如，在30HZ的处理速率下)相对于病人解剖结构的(如位置处理器所130确定的)相机141的三维(3-D)位置和取向信息存储在存储设备155中。指示时间的时间标记也被存储在存储设备155中。最终数据库提供由它们各自在参考系中的3-D位置所标记的内窥镜图像，其可以在任何连续的时间被显示处理器150获取，用于计算访问的解剖结构的合成二维O-D)和三维(3-D)视图。因此，内窥镜程序的全记录可以被存储在存储设备 155 (优选为用于此应用的大容量存储设备，例如硬盘)中，其可以在显示屏600和160上回放，用于教学和/或档案目的。第一合成的2-D视图可以根据被称为镶嵌(mosaicking)(例如，见R. Szeliski和 H. Y. Shum 的具有重大影口向的著作"Creating full view panoramic image mosaics and environment maps”，ACM SIGGRAPH, 1997)的已知计算机视觉技术通过将从相邻3-D位置取得的多个内窥镜图像组合(拼接在一起)成单个较大的全景图像而被计算生成。内窥镜全景允许通过提供较大的视场改进内窥镜导航，之后内窥镜相机因此能够将对周围解剖结构的更多关注传递给外科医生。因此，此处在主显示屏600上的各种图中所示的捕获图像优选为由显示处理器150通过将从存储设备155获得的图像镶嵌而产生的全景图像，其表示相机141最新捕获的图像。作为另外的内窥镜导航工具，显示至之前限定的病人体内的界标的操纵方向的图形指示也被提供作为本发明的一方面。作为示例，图12图示说明了用于提供方向引导以移动可操纵内窥镜110至病人体内的一个或更多个界标的计算机执行的方法1200的流程图。在这种情况下计算机优选为包括处理器130、140、150的一个或更多个计算机200。在步骤1201处，确定操作者是否打开界标方向引导模式。操作者可以以多种方式中的任一方式打开和/或关闭该模式，例如当可操纵内窥镜110在被远程控制时压下输入按钮或者按输入设备303上的开关，或者当可操纵内窥镜110在被手动控制时压下输入按钮或者按手柄116上的开关。其他方式可以包括使用麦克风和声音识别处理器(未示出)的声音致动，其可以被实施在一个或更多个计算机200中或者被可操作地联接至一个或更多个计算机200中；脚踏板(未示出)，其可以被操作者压下以便打开或者关闭该模式；以及使用显示屏600的图形用户界面(GUI) 202，操作者可以使用图2所示的输入设备201与其交互以便打开和关闭该模式和说明此处所述方法的其他方面或参数。如果在步骤1201中确定的结果为“否”(即，界标方向引导被关闭)，则该方法在每个过程循环(或者其他编程的循环)中循环经过步骤1201，直到做出肯定的确定结果，此时，该方法进行至步骤1202。在步骤1202，内窥镜末端112在固定参考系(S卩，在使用内窥镜110的医疗程序的执行过程中不移动的参考系)中的当前位置通过使用从配备有应变传感器的光纤(例如， 图5中的光纤501)接收的信息由位置处理器130确定，光纤已经被插入内窥镜110的柔性体114中。内窥镜末端112在固定的参考系(例如，如之前在参考图4的403所解释的)中的当前位置和取向可以根据光纤的当前弯曲被容易地确定，光纤的当前弯曲如从它们的应变传感器接收的信息所指示，这是因为它们的长度是已知的，它们的近端被固定至已知位置(例如，如图5所示，至基点502的光纤501)，并且它们的远端延伸至内窥镜的末端112。在步骤1203中，将内窥镜末端112的当前位置连接至每个界标的位置的向量通过使用在步骤1202处确定的内窥镜末端位置和存储在存储设备155中的界标位置由显示处理器150确定，其中引导指示被提供至所述每个界标。通常，当操作者沿其路径引导可操纵内窥镜110从进入点至病人体内的目标位置时，界标由他或她建立。作为示例，图14示出了病人的头部和躯干的斜视图，其中可操纵内窥镜110通过病人的嘴进入，并且内窥镜末端112被引导至目标位置。在此示例中，内窥镜 110已经被引导穿过食道至病人的胃。之后，进入胃并且内窥镜110被引导至目标位置。沿着该路径，使用如以下参考图13描述的方法在嘴入口和胃入口处建立界标。可替换地，病人体内界标的位置可以基于术前测量的数据，例如通过计算机轴向断层扫描(CAT)、磁共振成像(MRI)或者X射线产生的数据。在这种情况下，病人的身体 (当他或她躺在手术室手术台上时)被参考至固定的参考系，并且界标以病人的身体被登记，使得它们在固定的参考系中的位置可以由它们各自在病人身体中的位置确定。之后，界标位置被存储在存储设备155(或者显示处理器150可存取的其他存储设备)中。尽管以此方式建立界标可能费时间并且昂贵，但它允许此处描述的方法提供至内窥镜末端112前面(即，在内窥镜末端的当前位置和目标位置之间)的界标的引导，而不是内窥镜末端后面 (艮P，在到病人体内的入口点与内窥镜末端的当前位置之间)。在步骤1204处，在步骤1203中确定的向量被显示处理器150从固定的参考系被转换至与内窥镜末端112(或者相机141)有关的参考系。在步骤1205处，指示在步骤1204中确定的转换向量的3-D箭头(或者其他图形表示)由显示处理器150产生。3-D箭头的方向被参考至内窥镜末端的参考系，使得它们对应于操作者使用之前所述的手柄或者机电界面116操纵内窥镜末端112的方向。另一方面，3-D箭头的尺寸可以产生以便与转换向量的幅值成比例，使得较远的界标用较大的箭头表示。作为替代，可以产生尺寸以便与转换向量的幅值成反比，使得较远的界标用较小的箭头表示。作为另一种替代，可以产生尺寸以便每个均具有相同的长度(例如，图15中箭头1511、1512和1513所示)。3-D箭头也可以是颜色编码的，使得每个箭头的颜色都唯一地与具体的解剖结构有关。例如，参考图15，指示朝嘴入口界标的操纵方向的3-D箭头1511可以是红色的，指示朝胃入口界标的操纵方向的3-D箭头1512可以是黄色的，并且指示朝结肠入口界标的操纵方向的3-D箭头1513可以是蓝色的。可替换地，显示屏600的边缘可以被着色以对应于界标。此处使用的颜色方案可以是操作者限定的或者对应于在MR观察器上使用的颜色方案。在步骤1206处，在步骤1205中产生的3-D箭头(或者其他图形表示)和当前图像(在内窥镜末端112处当前捕获并由图像处理器140处理的图像，或者如之前所述的使用当前和之前捕获的图像镶嵌的全景图像)由显示处理器150显示在主显示屏600上。另外，界标的之前捕获的图像也可以可选择地或者自动地从存储设备巧5取得并且临近或者接近它们各自的3-D箭头被显示。3-D箭头的位置可以被显示在显示屏600上，以便与转换向量的取向相关，使得例如指向左边的箭头被定位在图像的左侧，并且指向右边的箭头被定位在图像的右侧。可替换地，3-D箭头可以都被定位在图像的同一侧附近或者在图像周围间隔开。在显示屏600的边缘被着色以对应于界标的情况下，对应于每个界标的3-D箭头被显示在其各自的被着色边缘附近，使得3-D箭头与界标的联系是清楚的。除了将界标显示为主显示屏600上的当前内窥镜图像上或附近的3-D箭头，界标可以与被显示在辅助显示屏160上的3-D病人和内窥镜计算机模型一起被显示，其中存储的界标的位置被显示在它们相对于病人计算机模型的合适位置中。例如，界标可以通过具有界标名称的文字标识、具有与界标一起被捕获的存储的内窥镜图像的缩略图、与界标的类型相关或者与界标的近似3-D模型相关的小图标来指示。操作者可以选择哪个界标(如果有的话)被显示，例如使用输入设备201和GUI 202来从菜单选择一个显示部分，包括所有界标图像均被显示，无界标图像显示，和仅最近的界标图像被显示。可替换地，操作者可以不被提供被预选和编程到显示处理器150中的选项和选择。用于在显示屏600上显示3-D箭头的位置、尺寸、颜色和其他选项可以由操作者通过使用如图2所示的输入设备201和⑶I 202来选择。作为这种显示的示例，图15示出了将当前图像1501( S卩，由内窥镜110当前捕获的图像或者别处描述的全景图像)以及箭头1511、1512和1513显示在其上的显示屏600， 箭头1511、1512和1513分别提供至嘴入口、胃入口和结肠入口界标的方向引导。另外，结肠入口界标的之前捕获的图像1523被示出为被显示在邻近其相关箭头1513的窗口中，其恰好是至内窥镜末端112的当前位置最近的界标。在步骤1207处，确定操作者是否已关闭界标方向引导模式。操作者可以以与操作者打开界标引导模式的方式类似但相反的多种方式(例如，将开关放置在“关”与“开”的位置)中的任一种方式关闭该模式。如果在步骤1207中确定的结果为“否”(即，界标方向引导模式还没有被操作者关闭)，则该方法循环回步骤1202以便当内窥镜末端112正被引导至目标位置时更新界标方向向量(例如，图15中的1511、1512、1513)并将转换向量的更新图形表示以及内窥镜 110捕获的当前图像显示在显示屏600上。另一方面，如果在步骤1207中确定的结果为 “是”(即，界标方向引导模式已经被操作者关闭)，则该方法前进至步骤1208，在步骤1208 中，显示处理器150引起转换向量的图形表示和相应的界标捕获图像不再被显示在显示屏600 上。将意识 到，即使界标方向引导模式可能被关闭，操作者仍可以朝目标位置引导可操纵内窥镜110，并且在内窥镜末端112处捕获(并由图像处理器130处理)的连续更新的图像仍可以被显示处理器150显示在显示屏600上。例如，参考图15，在操作者关闭界标方向引导模式之后，显示屏600仍可以使当前或全景图像1501显示在其上，但箭头1511、 1512、1513和界标图像1523则不再被显示。还应意识到，操作者可以交互地建立界标，当朝目标位置引导可操纵内窥镜110 时可以在任何时刻提供该界标的方向引导。具体地，当界标方向引导模式打开以及关闭时可以执行界标建立。作为示例，图13图示说明了当可操纵内窥镜110被引导穿过病人身体时用于建立解剖结构界标的计算机执行的方法1300。与参考图12描述的方法1200的情况类似，该情况下的计算机优选为包括处理器130、140、150的一个或更多个计算机200。具体地，其优选与由显示处理器150执行的其他活动一起由显示处理器150执行，如此处所述。在步骤1301处，接收来自操作者的界标建立请求。操作者可以以各种已知的交互技术中的任一种启动请求，这些已知的交互技术包括之前参考打开和关闭界标方向引导模式描述的那些交互技术(但优选为不同的技术，以便不混淆两个活动)。在步骤1302处，内窥镜末端112在固定的参考系中的当前位置被确定。注意，如果界标方向引导模式被打开，这个活动与方法1200的步骤1202相同，并且因此它不必被执行，因为来自步骤1202的结果可以被用在这种情况下(即，它不必在相同的过程循环中被执行第二次或者两次)。在步骤1303处，内窥镜末端112的当前位置被存储在存储设备155中，并被参考为请求建立的界标的位置。在步骤1304处，在内窥镜末端112处捕获的当前图像被识别为界标的图像，并且在步骤1305中，图像的信息也被存储在存储设备155中，并被参考为请求建立的界标的图像。在执行方法1300的过程中可以意识到，活动1302和1304发生的顺序是不重要的。实际上，图像处理器140可以以不同于位置处理器130确定内窥镜末端112的当前位置的速率处理捕获的图像。因此，两个活动可以在时间以及他们发生的次序上不同。在任何事件中，当在步骤1301中接收界标建立请求时，内窥镜末端112的下一个确定的位置被存储在存储设备155中，并且从图像处理器130接收的下一个捕获图像被存储在存储设备 155中，而不关心哪个首先发生。当朝病人体内的目标位置导航内窥镜110时，除了建立界标之外，当内窥镜末端从解剖结构的一端移动到另一端时，解剖结构(例如，食道、胃、结肠等)可以使用内窥镜末端112的位置信息来测量。测量的解剖结构的信息可以被用来将3-D模型或者解剖结构的术前测量数据对齐和定制到它们病人体内的合适位置，并将结构以及3-D病人计算机模型显示在辅助显示屏160上。作为示例，图14示出了嘴和胃入口界标的测量位置如何与内窥镜的中间形状一起被用来对齐和定制将嘴连接至胃入口的食道的3-D模型。之后，食道模型作为3-D弯曲管1401连同病人和内窥镜110的3-D模型能够一起被显示在辅助显示屏 160 上。尽管已经关于一个或更多个优选实施例描述了本发明的各方面，但应该理解，本发明有权在所附权利要求的整个范围 内被完全保护。
权利要求
1.一种用于提供引导以朝一个或更多个界标操纵内窥镜设备的由计算机执行的方法， 所述方法包括确定所述内窥镜设备上的参考点相对于参考系的当前位置；确定从所述参考点的所述当前位置到相对于所述参考系的第一界标的位置的第一向量；将所述第一向量从所述参考系转换为对应于图像捕获设备的透视图的图像参考系，所述图像捕获设备设置在所述内窥镜设备的末端处；以及将转换的第一向量的图形表示与由所述图像捕获设备捕获的当前图像一起显示在显示器上，以便指示朝所述第一界标操纵所述内窥镜设备的所述末端的方向。
2.根据权利要求1所述的方法，其中配备有应变传感器的一个或更多个光纤延伸穿过所述内窥镜设备以提供所述内窥镜设备的位置和形状信息。
3.根据权利要求1所述的方法，其中所述当前图像是立体图像，所述显示器是三维显示器，并且所述转换的第一向量的所述图形表示是指向朝所述第一界标操纵所述内窥镜设备的所述末端的方向的三维箭头。
4.根据权利要求1所述的方法，其进一步包括在确定所述第一向量之前 接收建立所述第一界标的指示；在接收建立所述第一界标的所述指示时，确定所述参考点的位置； 在接收建立所述第一界标的所述指示时，将所述参考点的所述位置存储在存储设备中；以及将存储的位置参考为所述第一界标的位置。
5.根据权利要求4所述的方法，其进一步包括在确定所述第一向量之前在接收建立所述第一界标的所述指示之后的第一机会捕获所述第一界标的图像；以及将所述第一界标的被捕获图像存储在所述存储设备中；其中将所述转换的第一向量的所述图形表示与所述当前图像一起显示在所述显示器上进一步包括将所述第一界标的所述被捕获图像靠近所述转换的第一向量的所述图形表示显示在所述显示器上。
6.根据权利要求1所述的方法，其进一步包括确定从所述参考点的所述当前位置到相对于所述参考系的第二界标的位置的第二向量；将所述第二向量从所述参考系转换为所述图像参考系；以及将转换的第二向量的图形表示与所述当前图像一起显示在所述显示器上，以便指示朝所述第二界标操纵所述内窥镜设备的所述末端的方向。
7.根据权利要求1所述的方法，其进一步包括周期性地重复确定所述当前参考点位置、确定所述第一向量、转换所述第一向量和将转换的第一向量的所述图形表示与所述当前图像一起显示在所述显示器上，直到接收到停止这种周期性重复动作的指示。
8.根据权利要求1所述的方法，其中所述转换的第一向量的所述图形表示的尺寸与所述转换的第一向量的幅值有关。
9.根据权利要求1所述的方法，其中所述转换的第一向量的所述图形表示的颜色是与所述第一界标相关联的颜色。
10.根据权利要求1所述的方法，其中显示所述转换的第一向量的所述图形表示包括邻近显示的当前图像的一侧显示所述图形表示，其指示朝所述第一界标操纵所述内窥镜设备的所述末端的方向。
11.根据权利要求1所述的方法，其进一步包括在确定从所述参考点的所述当前位置到多个界标的位置的向量之前，将包括所述第一界标的位置的所述多个界标的位置存储在存储设备中。
12.根据权利要求11所述的方法，其中所述多个界标的位置基于术前测量数据。
13.根据权利要求1所述的方法，其进一步包括将所述病人和所述第一界标的计算机模型显示在第二显示器上。
14.根据权利要求13所述的方法，其中所述转换的第一向量的所述图形表示的颜色是与显示在所述第二显示器上的所述第一界标的所述计算机模型相同的颜色。
15.根据权利要求1所述的方法，其进一步包括将所述病人和所述第一界标的计算机模型显示在所述显示器上。
16.根据权利要求15所述的方法，其中所述转换的第一向量的所述图形表示的颜色是与显示在所述显示器上的所述第一界标的所述计算机模型相同的颜色。
17.一种系统，包括显不器；内窥镜设备；以及一个或更多个处理器，其适于确定所述内窥镜设备上的参考点相对于参考系的当前位置，确定从所述参考点的所述当前位置到第一界标相对于所述参考系的位置的第一向量， 将所述第一向量从所述参考系转换为对应于设置在所述内窥镜设备的末端的图像捕获设备的透视图的图像参考系，以及将转换的第一向量的图形表示与由所述图像捕获设备捕获的当前图像显示在所述显示器上以便指示朝所述第一界标操纵所述内窥镜设备的所述末端的方向。
18.根据权利要求17所述的系统，其中所述一个或更多个处理器包括位置处理器，所述系统进一步包括配备有应变传感器的一个或更多个光纤，其中所述一个或更多个光纤延伸穿过所述内窥镜设备以提供所述内窥镜设备的位置和形状信息给所述位置处理器。
19.根据权利要求17所述的系统，其中所述当前图像是立体图像，所述显示器是三维显示器，并且所述转换的第一向量的所述图形表示是指向朝所述第一界标操纵所述内窥镜设备的所述末端的方向的三维箭头。
20.根据权利要求17所述的系统，其中所述一个或更多个处理器包括显示处理器，所述系统进一步包括存储设备；其中所述显示处理器适于接收建立所述第一界标的指示，在接收建立所述第一界标的所述指示的过程循环中确定所述内窥镜设备上所述参考点的位置，将所述参考点的确定的位置存储在所述存储设备中，以及将存储的位置参考为所述第一界标的位置。
21.根据权利要求20所述的系统，其中所述显示处理器适于在接收建立所述第一界标的所述指示的过程循环内将由所述图像捕获设备捕获的所述第一界标的图像存储在所述存储设备中，并且随后当所述转换的第一向量与所述当前图像一起被显示在所述显示器上时，获取所述第一界标的被存储捕获图像，并且该被存储捕获图像显示在所述转换的第一向量的所述图形表示附近。
22.根据权利要求17所述的系统，其中所述处理器适于确定从所述内窥镜设备上的所述参考点的所述当前位置到相对于所述参考系的第二界标的位置的第二向量，将所述第二向量从所述参考系转换为所述图像参考系，并将转换的第二向量的图形表示与所述当前图像一起显示在所述显示器上，以便指示朝所述第二界标操纵所述内窥镜设备的所述末端的方向。
23.根据权利要求17所述的系统，其中所述一个或更多个处理器适于在过程循环的每个顺序中执行确定所述当前参考点、确定所述第一向量、转换所述第一向量以及将转换的第一向量的所述图形表示与所述当前图像一起显示在所述显示器上。
24.根据权利要求17所述的系统，其中所述一个或更多个处理器适于显示所述转换的第一向量的所述图形表示，使得所述图形表示的尺寸与所述转换的第一向量的幅值有关。
25.根据权利要求17所述的系统，其中所述一个或更多个处理器适于显示所述转换的第一向量的所述图形表示，使得所述图形表示的颜色是与所述第一界标相关联的颜色。
26.根据权利要求17所述的系统，其中所述一个或更多个处理器适于将所述转换的第一向量的所述图形表示显示在所显示的当前图像的一侧，其指示朝所述第一界标操纵所述内窥镜设备的所述末端的方向。
27.根据权利要求17所述的系统，进一步包括存储设备；其中所述一个或更多个处理器适于在确定从所述参考点的当前位置到多个界标的位置的向量之前，将包括所述第一界标的位置的所述多个界标的位置存储在所述存储设备中。
28.根据权利要求27所述的系统，其中所述多个界标的所述位置基于术前测量数据。
29.根据权利要求17所述的系统，其中所述一个或更多个处理器适于将病人和所述第一界标的计算机模型显示在第二显示器上。
30.根据权利要求四所述的系统，其中所述一个或更多个处理器适于将所述第一向量的所述图形表示显示在所述显示器上，使得所述转换的第一向量的所述图形表示的颜色是与显示在所述第二显示器上的所述第一界标的所述计算机模型相同的颜色。
31.根据权利要求17所述的系统，其中所述一个或更多个处理器适于将病人和所述第一界标的计算机模型显示在所述显示器上。
32.根据权利要求31所述的系统，其中所述一个或更多个处理器适于将所述第一向量的所述图形表示显示在所述显示器上，使得所述转换的第一向量的所述图形表示的颜色是与显示在所述显示器上的所述第一界标的所述计算机模型相同的颜色。
33.一种用于在内窥镜导航中辅助操作者的计算机执行的方法，所述方法包括将病人的计算机模型参考至参考系；确定内窥镜设备相对于所述参考系的当前位置和形状；根据确定的当前位置和形状产生所述内窥镜设备的计算机模型；以及将所述内窥镜设备的计算机模型和所述病人的计算机模型显示在显示器上，以便为所述操作者提供内窥镜导航辅助。
34.根据权利要求33所述的方法，其中将所述病人的所述计算机模型参考至所述参考系包括将所述病人身上的一个或更多个点参考至所述参考系；以及将所述病人的所述计算机模型的对应点与所述病人身上的所述一个或更多个参考点中的每一个相关联。
35.根据权利要求34所述的方法，其中所述病人的所述计算机模型是三维计算机模型，并且将所述病人的所述计算机模型参考至所述参考系包括使用所述病人和所述病人计算机模型的相关参考点将所述病人的所述计算机模型与所述参考系中的所述病人对齐。
36.根据权利要求34所述的方法，其中所述病人的所述计算机模型是三维计算机模型，并且将所述病人的所述计算机模型参考至所述参考系包括通过使得所述病人计算机模型和所述病人的相关参考点叠覆，使所述病人的计算机模型符合所述病人。
37.根据权利要求34所述的方法，其中将所述病人身上的一个或更多个点参考至所述参考系包括当所述内窥镜设备上的点被触碰至所述病人身上的所述一个或更多个点中的对应点时，确定所述内窥镜设备上的所述点在所述参考系中的位置。
38.根据权利要求33所述的方法，其中配备有应变传感器的一个或更多个光纤延伸穿过所述内窥镜设备，以便提供所述内窥镜设备的形状信息。
39.根据权利要求33所述的方法，其中配备有应变传感器的一个或更多个光纤被附接至所述内窥镜设备，以便提供所述内窥镜设备的位置信息。
40.根据权利要求33所述的方法，其中所述内窥镜设备具有远端末端和图像捕获设备，所述图像捕获设备被配置以便捕获来自所述远端末端的透视图的图像，所述方法进一步包括周期性地使用所述图像捕获设备捕获图像，并将捕获的图像存储在存储设备中；以及在捕获图像时确定所述图像捕获设备的位置，并将所述位置存储在所述存储设备中。
41.根据权利要求40所述的方法，其进一步包括将对应于捕获图像时刻的时间标记存储在所述存储设备中。
42.根据权利要求40所述的方法，其进一步包括通过将多个捕获图像镶嵌在一起来计算来自存储在所述存储设备中的捕获图像的全景图像。
43.根据权利要求42所述的方法，其进一步包括将所述全景图像显示在所述显示器上的第一区域中；以及将所述内窥镜设备的计算机模型和所述病人的计算机模型显示在所述显示器上的第二区域中。
44.根据权利要求42所述的方法，其进一步包括将所述全景图像显示在所述显示器上；以及将所述内窥镜设备的计算机模型和所述病人的计算机模型作为所述全景图像上的画中画显示在所述显示器上。
45.根据权利要求42所述的方法，其进一步包括显示所述全景图像以便看起来来自所述内窥镜设备的所述计算机模型的远端末端的投影被显示在所述显示器上。
46.根据权利要求33所述的方法，其进一步包括为所述病人体内的解剖结构上的至少两个点确定在所述参考系中的位置；以及根据为所述解剖结构上的至少两个点确定的位置，将所述解剖结构的计算机模型与所述病人的计算机模型和所述内窥镜设备的计算机模型一起显示在所述显示器上。
47.一种系统，包括显不器；内窥镜设备；以及处理器，其适于将病人的计算机模型参考至参考系，确定所述内窥镜设备相对于所述参考系的当前位置和形状，根据确定的当前位置和形状产生所述内窥镜设备的计算机模型，并且将所述内窥镜设备的计算机模型和所述病人的计算机模型显示在所述显示器上， 以便为所述系统的操作者提供内窥镜导航辅助。
48.根据权利要求47所述的系统，其中所述处理器适于通过以下方式将所述病人的所述计算机模型参考至所述参考系接收所述病人身上的一个或更多个点的信息并处理所接收的信息，以便将所述一个或更多个点参考至所述参考系；以及将所述病人的所述计算机模型的对应点与所述病人身上的所述一个或更多个参考点中的每一个点相关联。
49.根据权利要求48所述的系统，其中所述病人的所述计算机模型是三维计算机模型，并且所述处理器适于通过以下方式将所述病人的所计算机模型参考至所述参考系使用所述病人和所述病人计算机模型的相关参考点将所述病人的所述计算机模型与所述参考系中的病人对齐。
50.根据权利要求48所述的系统，其中所述病人的所述计算机模型是三维计算机模型，并且所述处理器适于通过以下方式将所述病人的所述计算机模型参考至所述参考系通过使得所述病人计算机模型和所述病人的所述相关参考点叠覆，使所述病人的所述计算机模型符合所述病人。
51.根据权利要求48所述的系统，其中所述处理器适于通过以下方式将所述病人身上的所述一个或更多个点参考至所述参考系当所述内窥镜设备上的点被触碰到所述病人身上的所述一个或更多个点中的对应的一个点时，确定所述内窥镜设备上的点在所述参考系中的位置。
52.根据权利要求47所述的系统，其进一步包括配备有应变传感器的一个或更多个光纤，所述一个或更多个光纤延伸穿过所述内窥镜设备，以便提供所述内窥镜设备的形状信息。
53.根据权利要求47所述的系统，其进一步包括配备有应变传感器的一个或更多个光纤，所述一个或更多个光纤被附接至所述内窥镜设备，以便提供所述内窥镜设备的位置信息。
54.根据权利要求47所述的系统，其进一步包括图像捕获设备，其设置在所述内窥镜设备的远端末端，以便捕获来自所述远端末端的透视图的图像；以及存储设备；其中所述处理器适于周期性地用所述图像捕获设备捕获图像，并将捕获的图像存储在所述存储设备中，并且在捕获图像的时刻确定所述图像捕获设备的位置，并将所述位置存储在所述存储设备中。
55.根据权利要求M所述的系统，其中所述处理器适于将对应于捕获图像的时刻的时间标记存储在所述存储设备中。
56.根据权利要求M所述的系统，其中所述处理器适于通过将多个所述捕获图像镶嵌在一起，来计算来自存储在所述存储设备中的捕获图像的全景图像。
57.根据权利要求56所述的系统，其中所述处理器适于将所述全景图像显示在所述显示器上的第一区域中，并将所述内窥镜设备的计算机模型和所述病人的计算机模型显示在所述显示器上的第二区域中。
58.根据权利要求56所述的系统，其中所述处理器适于将所述全景图像显示在所述显示器上，并将所述内窥镜设备的计算机模型和所述病人的计算机模型作为所述全景图像上的画中画显示在所述显示器上。
59.根据权利要求56所述的系统，其中所述处理器适于显示所述全景图像以便看起来来自所述内窥镜设备的所述计算机模型的远端末端的投影被显示在所述显示器上。
60.根据权利要求47所述的系统，其中所述处理器适于为所述病人体内的解剖结构上的至少两个点确定在在所述参考系中的位置，并根据为所述解剖结构上的所述至少两个点确定的位置，将所述解剖结构的计算机模型与所述病人的计算机模型和所述内窥镜设备的计算机模型一起显示在所述显示器上。
全文摘要
通过将向量的图形表示显示在当前图像附近来为内窥镜设备的操作者提供界标方向引导，所述当前图像由设置在内窥镜设备的末端处的图像捕获设备捕获并被显示在显示屏上，其中所述向量的图形表示指向将操纵内窥镜的方向以朝例如解剖结构的相关界标移动。通过确定内窥镜设备相对于参考系的当前位置和形状、根据确定的位置和形状产生内窥镜计算机模型，并与参考至参考系的病人计算机模型一起显示内窥镜计算机模型以便当操纵内窥镜时操作者可以看见，来为操作者提供视觉导航。
文档编号A61B1/01GK102449666SQ201080023187
公开日2012年5月9日 申请日期2010年3月17日 优先权日2009年3月26日
发明者G·普里斯科, V·多文戴姆 申请人:直观外科手术操作公司