用于内窥镜手术的术中照相机校准的制作方法与工艺

本发明通常涉及基于解剖区域的术前扫描图像和内窥镜图像，对身体的解剖区域之内的手术工具的实时追踪。本发明具体涉及使用解剖区域的术前扫描图像和一个或多个内窥镜图像计算内窥镜照相机与电磁（“EM”）追踪器之间的偏移变换矩阵。

背景技术：
EM引导的内窥镜检查法已经被认为是针对许多肺部应用的有价值工具。这种技术超出传统内窥镜检查法的优势是基于当执行介入程序时与肺部三维（“3D”）路线图的实时联系。这种联系要求在全局坐标系统中对内窥镜顶端的追踪，以因而将肺部的内窥镜图像与肺部的术前扫描图像（例如，计算机断层摄影图像、磁共振图像、X射线图像、三维超声图像，等等）相关联。显示融合的图像以使得外科医生能够可视地将内窥镜导航至肺部之内的手术部位。这种图像整合的关键要求是内窥镜校准，其涉及确定安装在内窥镜外部的EM追踪器相对于设置在内窥镜照相机通道之内的内窥镜照相机的坐标系统的位置和取向。这种内窥镜校准的结果采取下列六（6）个偏移常数的形式：三（3）个用于旋转并且三（3）个用于平移。介入内窥镜程序中的内窥镜校准的目的是基于附接的EM追踪器的EM读数来动态确定内窥镜照相机相对于术前扫描图像的姿态。一般而言，现有技术中已经通过使用EM-追踪的内窥镜获得校准参数，以对具有已知几何属性的具体校准模式的EM-追踪的肺部体模（phantom）进行成像。然而，基于体模的内窥镜校准涉及复杂冗长的工程程序。在一个已知的内窥镜校准中，虽然内窥镜校准的期望变换是在照相机坐标系统和EM追踪器坐标系统之间的，但是事实上，需要在内窥镜、外部地以及刚性地附接于该内窥镜的EM追踪器、EM场生成器、校准体模以及参考追踪器之间的校准程序的阵列。例如，所需的校准程序包括EM追踪器坐标系统与参考追踪器的校准、校准体模与参考追踪器之间的校准、以及内窥镜照相机与校准体模之间的校准，以因而达到照相机坐标系统与EM追踪器坐标系统之间的目标校准。另外，在收集校准数据中所需的数据采集协议通常来自具有棋盘模式的校准体模。这使得该校准对于内窥镜应用的术中校准程序而言是不切实际的。然而，在这样的情况下，倾向具有术中校准：（1）固有照相机和失真参数是固定的，并且通过术前校准过程来确定，以及（2）非固有照相机参数（例如，EM追踪器和内窥镜照相机的坐标之间的变换）是非固定的，并且将随着不同的内窥镜应用而变化。这种变化可以归因于这样的事实：EM追踪器由于多种原因可能不是永久地捆束在内窥镜顶端上。例如，EM追踪器可能在内窥镜应用的初始阶段时被插入内窥镜的工作通道内部，当内窥镜到达解剖区域之内的目标部位时从该工作通道中移除，并且为了随后的介入而用手术仪器（例如，活组织检查针或者手术钳）替换。此外，现有技术中已知的术中校准程序仍然利用校准体模。

技术实现要素：
本发明提供了一种内窥镜校准方法，所述方法快速且准确地计算出期望的非固有参数，因而实现解剖区域的术前扫描图像（例如，CT图像）与所述解剖区域的内窥镜图像之间的实时数据融合。具体地，本发明的内窥镜校准方法排除任何体模的任何参与。而是，本发明的内窥镜校准方法利用来自患者的术前扫描数据和内窥镜视频数据两者来执行基于图像的配准，该配准产生从术前扫描坐标到内窥镜照相机坐标的变换，该变换与其他已知的变换矩阵一起被利用来推导期望的校准变换矩阵。本发明的一种形式是采用内窥镜和成像单元的手术导航系统。所述内窥镜包括在所述内窥镜的工作通道之内的电磁追踪器，所述电磁追踪器用于在解剖区域之内生成指示所述内窥镜的一个或多个姿态的电磁感测信号；以及在所述内窥镜的成像通道之内的内窥镜照相机，所述内窥镜照相机用于生成所述解剖区域的内窥镜图像。在手术中，所述成像单元根据在所述解剖区域之内的校准部位的术前扫描图像与在所述解剖区域之内的所述校准部位的一个或多个内窥镜图像之间的图像配准，执行所述电磁追踪器和所述内窥镜照相机的术中校准。在本发明的第二形式中，所述手术导航系统还采用了电磁追踪单元，所述电磁追踪单元响应于电磁信号以电磁追踪在所述解剖区域之内的相对于全局参考的所述内窥镜，并且所述电磁追踪器和所述内窥镜照相机的术中校准是根据在所述解剖区域之内的校准部位的术前扫描图像与所述解剖区域之内的所述校准部位的一个或多个内窥镜图像之间的图像配准，以及根据所述全局参考与所述术前扫描图像之间的电磁配准全部两者。本发明的第三形式是手术导航方法，所述方法涉及根据在所述解剖区域之内的校准部位的术前扫描图像与所述解剖区域之内的所述校准部位的一个或多个内窥镜图像之间的图像配准，执行所述电磁追踪器与所述内窥镜照相机的术中校准；以及显示所述解剖区域的所述术前扫描图像与所述解剖区域的（一个或多个）所述内窥镜图像的，从所述图像配准推导的图像整合。针对本发明，术语“内窥镜”在本文中被广泛地定义为具有从身体内部成像的能力的任何装置，并且术语“内窥镜的”在本文中被广泛地定义为从这种装置中采集的任何图像的特性。针对本发明目的的内窥镜的例子包括，但不限于，任何类型的观察仪器，柔性的或者刚性的（例如，关节内窥镜、气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、胃窥镜、子宫镜、腹腔镜、喉镜、神经内窥镜、耳镜、推动肠镜、鼻喉镜、乙状结肠镜、窦腔镜、胸腔镜，等），以及类似于与图像系统一同装配的观察仪器的任何装置（例如，具有成像功能的嵌套套管）。该成像是局部的，并且可以通过光纤、透镜、或者微型（例如，基于CCD的）成像系统来光学地获得表面图像。此外，在本文中使用的术语“生成”及其任何形式被广泛地定义为包括在现有技术中目前或者随后已知的任何这样的技术：所述技术用于创建、供给、供应、获得、产生、形成、开发、演化、修改、变换、改变或者以其他方式制造用于计算机处理和存储器存储/检索目的的可用信息（例如，数据、文本、图像、声音和视频），特别是图像数据库和视频帧，并且在本文中使用的术语“配准”及其任何形式被广泛地定义为包括在现有技术中目前或者随后已知的用于将不同的坐标数据集变换至一个坐标系统中的任何技术。而且，在本文中使用的术语“术前”被广泛地定义为描述在内窥镜应用过程中，将内窥镜介入身体内之前发生的或者与将内窥镜介入身体内之前的时间段或准备相关的任何活动，并且在本文中使用的术语“术中”被广泛地定义为描述在内窥镜应用过程中，将内窥镜引入身体内的进程中发生、执行、或者遇到的任何活动。内窥镜应用的例子包括但不限于，关节内窥镜、气管镜、结肠镜、腹腔镜、以及脑部内窥镜。附图说明通过结合附图阅读本发明的各种实施例的以下详细描述，本发明的前述形式和其他形式以及本发明的各种特征和优势将变得更加显而易见。详细描述和附图仅是本发明的举例说明而非限制，本发明的范围由所附权利要求及其等要件来定义。图1图示了根据本发明的示范性图像配准。图2图示了根据本发明的手术导航系统的示范性实施例。图3图示了表示根据本发明的内窥镜手术方法的示范性实施例的流程图。图4图示了图3中图示的流程图的示范性执行。图5图示了表示根据本发明的图像配准方法的示范性实施例的流程图。图6图示了表示根据本发明的内窥镜照相机校准方法的示范性实施例的流程图。具体实施方式参考图1，本发明的前提是用于在涉及内窥镜30的介入过程中执行图像配准以及追踪器/照相机校准两者的技术60。这种配准/校准技术60是基于这样的理念：来自内窥镜照相机50的视频帧与来自EM追踪器40的追踪帧之间的偏移距离通过从内窥镜照相机50采集的解剖区域（例如，肺部）的内窥镜图像与所述解剖区域的术前扫描图像10的图像帧的虚拟漫游（flythrough）之间的二维（“2D”）投影图像的不一致来反映。由此，配准/校准技术60具有区分这种空间差异的能力，并且所重建的空间对应性用于估计EM追踪坐标系统41与内窥镜照相机坐标系统51之间的校准矩阵。更具体地，内窥镜照相机50的固有参数和失真参数是不变的，并且由此，这些参数仅要求一次校准过程（例如，现有技术中已知的术前固有校准）。因而，随着EM追踪器40被插入内窥镜30的工作通道中，所有照相机参数中的唯一变量是非固有参数，尤其是从EM追踪器坐标系统41到照相机坐标系统51的偏移变换矩阵TC←E。实际上，本发明不约束也不限制配准/校准技术60区分解剖区域的内窥镜图像与所述解剖区域的术前扫描图像10的图像帧的虚拟漫游之间的2D投影图像中的不一致的方式。在一个实施例中，配准/校准技术60涉及以下等式[1]的执行：TC←E=(TC←T)*(TT←R)*(TR←E)[1]其中TR←E是从EM追踪器坐标系统41到全局参考20（例如，在内窥镜手术程序过程中具有固定位置的参考追踪器或者EM场生成器）的全局坐标系统21的现有技术中已知的变换矩阵，其中TT←R是从全局参考20的全局坐标系统21到术前扫描图像10的扫描图像坐标系统11的现有技术中已知的变换矩阵，其中TC←T是从术前扫描图像10的扫描图像坐标系统11到内窥镜照相机50的照相机坐标系统51的如由本发明所教明的变换矩阵，以及其中TC←E是从EM追踪器40的EM追踪坐标系统41到内窥镜照相机50的照相机坐标系统51的期望的刚性变换。等式[1]的执行产生用于显示的内窥镜图像与术前扫描图像10的图像配准，从而使得外科医生能够可视地将内窥镜30的顶端导航至解剖区域之内的手术部位。图2图示了作为用于实施配准/校准技术60的示范性实施例的内窥镜导航系统。为此，内窥镜导航系统采用内窥镜30和具有EM场生成器71、参考追踪器72和EM传感器追踪装置73的EM追踪单元70。如图2所示，内窥镜30包括被插入内窥镜30的工作通道之内的EM追踪器40和被插入内窥镜30的成像通道之内的内窥镜照相机50。实际上，EM追踪器40可以具有适于与EM场生成器71磁性交互90并且适于生成代表磁性交互90的EM感测数据（“EMS”）42的EM传感器的任何配置。例如，EM传感器可以具有六（6）个自由度（DOF）。而且，实际上，EM传感器追踪装置73执行用于生成经由内窥镜追踪器40相对于EM场生成器71或者参考追踪装置72的任何已知配准所推导的EM追踪数据（“EMT”）74的任何已知方法，EM场生成器71或者参考追踪装置72无论哪一个都具有在全局坐标系统之内的相对于所述解剖区域的固定位置。所述内窥镜导航系统还采用具有EM参考配准装置81、内窥镜照相机校准装置82以及内窥镜图像追踪装置83的内窥镜成像单元80。EM追踪器配准装置81在本文中被广泛定义为结构上被配置用于执行EM追踪器40与解剖区域的术前扫描图像（例如，图1的术前扫描图像10）的任何已知配准的任何装置。内窥镜照相机校准装置82在本文中被广泛定义为结构上被配置用于根据将结合图5和6的描述来进一步解释的本发明的内窥镜照相机校准方法，来执行解剖区域的术前扫描图像与所述解剖区域的内窥镜图像的配准的任何装置。内窥镜图像追踪装置83在本文中被广泛定义为结构上被配置用于基于由内窥镜照相机校准装置82获取的内窥镜图像与术前扫描图像之间的图像配准，在术前扫描图像之内生成内窥镜30的实时追踪的显示的任何装置。现在将在本文中描述如图3所示的表示本发明的内窥镜手术方法的流程图100，以便于进一步理解图2所述的内窥镜手术导航系统。参考图3，流程图100的阶段S101包括内窥镜手术的术前规划。例如，如图4所示，所述术前规划可以涉及CT扫描机器120，操作CT扫描机器120以生成患者110的支气管树的术前扫描图像121。在术前扫描图像121中捕获了基准点的集合111，基准点的集合111存储在数据库123中以便于全局参考与术前扫描图像121的随后的EM配准。外科医生可以使用术前扫描图像121来识别患者110的支气管树之内的目标部位，以用于经由内窥镜30的工作通道递送治疗剂。返回参考图3，流程图100的阶段S102包括术前扫描图像121与从内窥镜介入生成的内窥镜图像的图像配准。例如，如图4所示，内窥镜30被引入患者110的支气管树中，由此通过内窥镜照相机50（图1和2）生成支气管树的内窥镜图像52。所述图像配准涉及内窥镜照相机校准装置82，内窥镜照相机校准装置82计算术前图像扫描121的坐标系统122与内窥镜照相机50的坐标系统51（图1）的变换矩阵TC←T。在一个实施例中，在流程图100的阶段S102过程中执行如图5所示的表示本发明的图像配准方法的流程图130。参考图5，流程图130的阶段S131包括EM追踪器配准，所述EM追踪器配准涉及由EM传感器追踪装置73（图2）进行的从EM追踪器坐标系统41（图1）到全局参考20的全局坐标系统21（图1）的变换矩阵TR←E的已知计算。流程图130的阶段S132包括EM参考配准，所述EM参考配准涉及由EM参考配准装置81（图2）进行的从全局参考20的全局坐标系统21到术前扫描图像121的扫描图像坐标系统122的变换矩阵TT←R的已知计算（图3）。具体而言，这种EM参考配准可以通过经由基于基准点的方法的已知封闭解来获取。流程图130的阶段S133包括图像配准，所述图像配准涉及由照相机校准装置82进行的从术前扫描图像120的扫描图像坐标系统122到内窥镜照相机50（图1）的照相机坐标系统51的如本发明所教明的变换矩阵TC←T的计算。这种图像配准包括照相机校准，所述照相机校准涉及从EM追踪器40的EM追踪器坐标系统41到内窥镜照相机50的照相机坐标系统51的未知变换矩阵TC←E的计算。在阶段S133的一个实施例中，由照相机校准装置82来执行如图6所示的代表本发明的照相机校准方法的流程图140，以用于计算从EM追踪器40的EM追踪器坐标系统41到内窥镜照相机50的照相机坐标系统51的变换矩阵TC←E。参考图6，流程图140的阶段S141包括用于对解剖区域之内的校准部位成像的内窥镜的导航。所述校准部位是在所述解剖区域之内的用户定义的位置，所述用户定义的位置在校准过程中保持相对稳定。例如，所述校准部位可以是如图6所示的支气管树的主隆凸146。特别地，研究指示出主隆凸146在支气管树的呼吸循环过程中保持相对稳定。由此，外科医生可以导航内窥镜30以对隆凸146成像，从而执行阶段S142-S145的照相机校准计算。特别地，流程图140的阶段S142-S144分别包括所述校准部位的内窥镜图像的视频帧Vi的采集、所述校准部位的腔内图像的扫描帧Ui的绘制、以及所述校准部位的腔内图像的扫描帧Ui与所述校准部位的视频帧Vi之间的图像配准，以识别在术前扫描空间TiT←C中的照相机姿态。阶段S142的内窥镜图像采集涉及EM追踪器读数PR<-Ei，以获得与内窥镜图像采集相关联的内窥镜30的姿态。阶段143的腔内图像采集涉及所述解剖区域的所述术前扫描图像的虚拟内窥镜漫游，以因而获得如所述术前扫描图像的扫描帧Ui所示的所述校准部位的内窥镜视图与如视频帧Vi所示的所述校准部位的内窥镜图像的视觉匹配。阶段S144的腔内图像配准涉及计算作为矩阵TiT←C的逆的4x4变换矩阵TiC←T，以此方式照相机观察姿态被表达为M=[RxTx;01]，其中RX是3D平移向量的对应欧拉3x3旋转矩阵，并且TX是3D平移向量。阶段S142-S144可以执行一次，由此所述流程图的阶段S145包括执行等式[1]:TC←E=(TC←T)*(TT←R)*(TR←E)，以因而获得变换矩阵TC←E。或者，阶段S142-S144可以作为针对N个图像配准的集合的循环来执行，其中N≥2。针对这种循环实施例，在阶段S145的内窥镜照相机校准计算之前，将在阶段S144的每次执行过程中计算出的变换矩阵TC-T进行平均。实际上，可以利用N=6作为图像配准的足够数量以用于照相机校准的准确计算。而且，实际上，可以利用已知的运动补偿算法（例如，呼吸门控或者四维建模）来补偿可能劣化照相机校准的计算的任何呼吸运动。返回参考图2，紧接着内窥镜图像与术前图像扫描的图像配准，流程图100的阶段S103包括现有技术中已知的整合图像的显示，以便于将内窥镜导航至所述解剖区域之内的手术部位。参考图1-6，本领域技术人员将认识到本发明的多种益处，包括但不限于术中照相机校准，所述术中照相机校准提供了足够准确的图像配准以用于将内窥镜导航至手术部位，由此可以从内窥镜的工作通道中移除EM追踪器，并且将手术工具插入所述工作通道以用于执行在所述手术部位处所需的程序。尽管已经说明了本发明的多种实施例，但是本领域技术人员将理解，在本文中描述的方法和系统是说明性的，并且可以做出多种变化和修改，并且等价物可以替代其元件，而不脱离本发明的真实范围。此外，可以做出许多修改来调整本发明的教程而不脱离其中心范围。因此，意图是本发不限于所公开的被认为是执行本发明的最佳模式的具体实施例，而是本发明包括落在所附权利要求范围之内的所有实施例。