临床图像中的基准检测的制作方法
本申请要求2017年3月9日提交的美国临时申请号62/469,423的优先权，其通过引用并入本文，如同在本文完全阐述一样。
本发明涉及医疗系统，诸如医疗设备导航系统。具体地，本发明涉及一种用于在诸如医疗设备导航系统的医疗系统的坐标系中配准患者的解剖区域的一个或多个图像的系统。
背景技术：
期望当医疗设备在体内移动时跟踪医疗设备的位置，使得例如在适当的位置施用药物和其它形式的治疗，并且可以更有效和安全地完成医疗过程。跟踪医疗设备在体内的位置的一种传统手段是荧光透视成像。然而，在一些应用中，荧光透视可能是不受欢迎的，因为它使患者和临床医生受到高水平的电磁辐射。因此，已经开发了替代的医疗设备导航系统来跟踪医疗设备在体内的位置。这些系统通常依赖于电场或磁场的生成以及连接到医疗设备和/或身体外部的位置传感器上的感应电压和电流的检测。然后，通过例如视觉显示器将从这些系统获得的信息提供给临床医生。通常，医疗设备的表现形式相对于正在被操作的设备所在的解剖区域的计算机模型或者一个或多个图像(包括但不限于荧光透视图像)显示。为了将医疗设备显示在相对于模型或图像的正确位置，可以在导航系统的坐标系内配准模型或图像。
可以以多种方式将图像配准在医疗设备导航系统的坐标系中。用于捕获图像的成像系统可以与导航系统物理集成，诸如由圣犹达医疗公司销售的mediguidetm系统，或者如在公开为us2008/0183071的共同转让的美国专利申请序列号11/971,004中所述，其全部公开内容通过引用并入本文。在用于捕获图像的成像系统与导航系统物理集成的情况下，成像系统可以在安装期间与导航系统配准，并且导航系统与成像系统的空间关系此后是恒定且已知的，从而避免了需要在每个新过程期间配准。然而，在导航系统和成像系统在物理上分离的情况下，系统的变化的空间关系使得配准更加复杂。一种解决方案是在成像系统的视野中在相对于导航系统的坐标系已知的位置处放置多个不透射线的基准标记。因为标记在由成像系统产生的图像中是可见的，所以可以通过将图像中的每个标记的可见位置与导航坐标系中的标记的已知位置进行协调来使图像与坐标系配准。然而，该解决方案的一个缺点是基准标记通常在执行该过程的临床医生看到的图像中可见，可能干扰临床医生对被成像的解剖区域的视图。
发明人在此认识到需要一种用于在医疗设备导航系统的坐标系中配准患者的解剖区域的一组图像的系统和方法，其将最小化和/或消除一个或多个以上确定的缺陷。前述讨论仅旨在说明本领域，而不应视为对权利要求范围的否定。
技术实现要素：
本发明涉及用于在诸如医疗设备导航系统的医疗系统的坐标系中配准患者的解剖区域的一个或多个图像的系统和方法；特别地，在一个或多个图像中存在导管和其它医疗设备的情况下检测基准标记。
本发明的各方面涉及使用诸如基准标记的对象来促进在物理上分离的医疗系统(诸如医疗设备导航系统)的坐标系中的图像配准的系统和方法。结果，向临床医生呈现解剖区域和相关关注项目的更准确和详细的图像。
本发明的一些实施例涉及一种用于在临床图像上识别和定位基准标记的方法。该方法包括从成像系统接收临床图像，处理临床图像以去除假基准标记，以及识别临床图像中的基准标记。在一些更具体的实施例中，该方法进一步包括将增强滤波器应用于临床图像以增强基准标记的外观。
本发明的各方面涉及一种检测临床图像内的医疗设备电极的方法。该方法包括从成像系统接收临床图像，将增强滤波器应用于临床图像以增强电极的外观，去除临床图像的背景，以及识别临床图像内的电极。在更详细的实施例中，识别临床图像内的电极的步骤包括自适应阈值处理、基于大小和形状的分量滤波，以及电极的提取。
本发明的其它实施例涉及一种用于将医疗设备的位置数据从导航系统叠加到临床图像上的方法。该方法包括：从临床成像系统接收临床图像；处理临床图像以去除假基准标记；识别临床图像内的基准标记；创建变换模型，该变换模型将协调导航系统的第一坐标系与临床成像系统的第二坐标系；确定第一坐标系中医疗设备的位置；将变换模型应用于第一坐标系中的医疗设备的位置，以确定第二坐标系中医疗设备的位置；以及基于第二坐标系中医疗设备的已知位置，将医疗设备的图像叠加到临床图像上。
又一些实施例涉及用于心血管导管的导航系统。该导航系统包括心血管导管、光磁配准板、临床成像系统、导管定位系统和控制器电路。心血管导管包括位于导管远侧末端附近的一个或多个电极。电极有助于导管远侧末端的定位。光磁配准板包括多个基准标记。临床成像系统在第一坐标系中显示包括患者、基准标记和心血管导管的临床图像。导管定位系统在第二坐标系中检测一个或多个电极的位置和取向。控制器电路通信地耦合到临床成像系统和导管定位系统。基于第二坐标系中的基准标记的已知位置和临床图像内的基准标记的位置，控制器电路确定第一和第二坐标系之间的变换模型。基于变换模型，控制器电路确定第一坐标系内电极的位置。在更具体的实施例中，导航系统可以包括显示器，其中控制器电路通信地耦合到显示器并且进一步基于所确定的第一坐标系中的电极的位置，生成用于显示器的信号，该信号包括叠加有导管的代表性图像的临床图像。
通过阅读以下描述和权利要求以及阅读附图，本发明的前述和其它方面、特征、细节、效用和优点将变得显而易见。
附图说明
考虑到以下结合附图的详细描述，可以更全面地理解多种示例实施例，在附图中：
图1a是与本发明的多种实施例一致的用于在医疗系统的坐标系中配准一组图像的系统的一个实施例的示意图。
图1b是与本发明的多种实施例一致的用于在医疗系统的坐标系中配准一组图像的系统的另一实施例的示意图。
图1c是示出与本发明的多种实施例一致的用于在医疗系统的坐标系中配准一组图像的方法的另一实施例的流程图。
图1d是与本发明的多种实施例一致的用于基准检测和背景过滤的流程图。
图2a是与本发明的多种实施例一致的患者胸部的荧光透视图像，其具有3个微创诊断/治疗导管。
图2b是与本发明的多种实施例一致的图2a的荧光透视图像的滤波版本，在图2a中图像中的基准已经增强。
图3是与本发明的多种实施例一致的其中具有微创诊断/治疗导管的患者胸部的荧光透视图像，该荧光透视图像采用非线性扩散反应滤波器过滤以去除背景图像。
图4是与本发明的多种实施例一致的其中具有微创诊断/治疗导管的患者胸部的荧光透视图像，该荧光透视图像用海森(hessian)滤波器过滤以增强图像中的基准。
图5是与本发明的多种实施例一致的图4的荧光透视图像，其中突出显示了聚类基准元素并且使用测地距离抑制背景。
图6a是与本发明的多种实施例一致的患者胸部的荧光透视图像，在该胸部中具有微创诊断/治疗导管以及患者胸部上的磁定位系统和患者参考传感器的线束。
图6b是与本发明的多种实施例一致的在自适应阈值处理之后应用海森滤波器的图6a的荧光透视图像。
图7a是与本发明的多种实施例一致的患者胸部的荧光透视图像，在该胸部中具有微创诊断/治疗导管，其中通过算法识别真和假基准。
图7b是与本发明的多种实施例一致的在过滤之后具有仅识别的真实基准的图7a的荧光透视图像。
虽然本文讨论的各种实施例适合于修改和替代形式，但是其各方面已经通过附图中的示例示出并且将被详细描述。然而，应该理解，意图不是将本发明限制于所描述的特定实施例。相反，意图是覆盖落入本发明范围内的所有修改、等同物和替代物，包括权利要求中限定的方面。另外，在整个本申请中使用的术语“示例”仅是为了说明而非限制。
具体实施方式
本发明涉及用于在医疗系统(诸如医疗设备导航系统)的坐标系中配准患者的解剖区域的一个或多个图像的系统和方法。特别地，在一个或多个图像中存在导管和其它医疗设备的情况下检测基准标记。下面具体参考附图描述本发明的多种实施例的细节。
在多种实施例中，诸如电磁跟踪和导航系统的医疗导航系统可提供在心脏导管工作站(cathlab)的x射线图像(在本文中也称为荧光透视图像)上呈现从磁传感器获得的磁信息的能力。为了促进这一点，可以计算从三维(3d)世界到二维(2d)x射线图像的投影矩阵(本文也称为变换矩阵)。投影矩阵可以使用在2dx射线图像上可见并且还与例如磁坐标系内的已知位置相关联的一组不透射线的元素(基准)来计算。不透射线的基准可以位于光磁配准板(omrp)上，并且作为与本发明的多种实施例一致的电磁导航系统的一部分。
在临床干预和诊断探查期间捕获的荧光透视图像通常包括医疗设备，诸如导管和传感器-其可以包含视觉上看起来类似于omrp基准的不透射线元素。在荧光透视图像中存在这些“假”类似基准元素可能导致基准检测准确性降低。基准检测准确性对计算的投影矩阵的准确性具有显著影响，并且因此对整个医疗导航系统的准确性具有显著影响。
一种示出患者的解剖区域中的医疗设备的方法是将医疗设备的实时渲染的表现形式叠加到解剖区域的一组图像上。该方法有利地允许临床医生操作医疗设备以查看设备相对于解剖区域的位置，而不会使患者和临床医生暴露于过度的成像辐射。图像由成像系统捕获，并且导航系统基本上实时地跟踪医疗设备的位置。编程的电子控制单元创建用于显示的合成图像，该合成图像包括叠加在一组图像上的跟踪医疗设备的表现形式。为了创建合成图像，可以首先将图像配准在导航系统的坐标系中-即，可以使组中的每个图像的坐标系与导航系统的坐标系协调。
本发明的各方面涉及用于在存在由出现在荧光透视图像中的医疗设备(诸如导管和传感器)引入的其它不相关的不透射线元素的情况下稳健检测位于omrp上的不透射线的基准球的算法。本发明检测omrp基准，同时使用多种方法排除假类似基准元素，以从荧光透视图像中提取和过滤球形不透射线元素。omrp板上的基准有助于将医疗设备的实时渲染的表现形式叠加到医疗设备正在其中操作的解剖区域的一组图像上。
虽然本发明的多种实施例涉及诸如在荧光透视图像上可见的不透射线元素的基准标记，但是本发明的各方面可以应用于非荧光透视成像并且完全不限于omrp类型的基准。相反，本发明的各方面可以应用于多种医学成像技术，包括超声波检查、磁共振成像、内窥镜检查、弹性成像、触觉成像、热成像、核医学功能成像技术，包括正电子发射断层成像和单光子发射计算机断层成像等(以下称为成像系统，其产生用于与本发明一致的图像处理的临床图像)。
应当理解，虽然本发明的多种实施例涉及包括omrp的基准标记的临床图像，但是根据本发明的图像处理可以被实施为没有基准标记(诸如在omrp内的基准标记)的临床图像。在这种实施例中，基准可以是例如标测导管或消融导管的电极。此外，除了临床医生可能关注的图像内的任何其它对象之外，本文公开的图像处理算法和过滤技术可用于检测其它基准标记，诸如导管、线、其它电极、引线、静脉口、病变、导管末端、外部钛球。在一个特定实施例中，例如，本文公开的图像处理系统可识别两个导管在临床图像内彼此交叉的位置。
日期为2011年12月25日的美国专利公开号2013/0272592阐述了用于在医疗系统的坐标系中配准荧光透视图像的系统和方法，并且通过引用并入本文，如同在本文完全公开一样。
图1a示出了成像和导航系统10，其用于对患者12(诸如心脏14)的解剖区域进行成像，并用于确定解剖区域内的医疗设备16的位置和导航。设备16可以包括例如电生理学(ep)标测导管、心腔内超声心动图(ice)导管、消融导管等。然而，应该理解，所公开的系统可以用于成像心脏14以外的各种解剖区域，并且可以取决于关注的解剖区域与多种诊断和治疗设备相结合。系统10包括成像系统18和医疗设备导航系统20。根据本发明，系统10还包括用于在导航系统的坐标系22中配准患者12的解剖区域的一组图像的配准系统。配准系统可包括一个或多个对象24和电子控制单元(ecu)26。
提供成像系统18以获取心脏14或其他相关解剖区域的图像，并且在所示实施例中包括临床成像系统。尽管在该实施例中描述了临床成像系统，但是本文描述的发明可以用于配置成捕获一组图像的其它类型的成像系统，该图像包括例如但不限于计算机断层扫描(ct)成像系统和三维旋转(radio)血管造影(3dra)系统等。系统18可包括c形臂支撑结构28、辐射发射器30和辐射检测器32。发射器30和检测器32设置在支撑结构28的相对端上，并当患者12放置在手术台34上时设置在患者12的相对侧上。发射器30和检测器32限定视野36，并且定位成使得当患者12放置在手术台34上时，视野36包括关注的解剖区域。成像系统18被配置为捕获视野36内的解剖特征和其它对象的图像。支撑结构28可以具有围绕患者旋转的自由度，如由线38、40所示。支撑结构28也可以具有沿线42、44(即，沿患者12的颅尾轴线)和/或沿线46、48(即垂直于患者12的颅尾轴线)滑动的自由度。支撑结构28的旋转和平移运动产生对应的视野36的旋转和平移运动。在另外的实施例中，包括成像和导航系统10的电生理学实验室(ep实验室)可以具有多种其它运动自由度；例如，手术台34还能够平移、源-增强器距离(“sid”)、颅尾旋转和检测器32绕其轴线旋转。可以使用本文公开的成像和导航系统来解决这些多种其它运动自由度。
成像系统18可以通过首先沿着线42、44、46、48移动，将关注的解剖区域放置在视野36内，以获取患者12的解剖区域的一组图像。其次，支撑结构28可以围绕患者12旋转辐射发射器30和辐射检测器32，将解剖区域保持在视野36内。当支撑结构28旋转时，成像系统18可以捕获解剖区域的图像，从各种角度提供一组解剖区域的二维图像。该组图像可以被传送到ecu26以进行图像处理并在显示器58上显示。该组图像可以包括在预定的时间段内拍摄的一系列图像。
提供导航系统20以确定医疗设备16在患者12的身体内的位置，并允许临床医生在身体内导航设备16。在所示实施例中，系统20包括磁导航系统，其在解剖区域中生成磁场，并且与设备16相关联的位置传感器生成响应于传感器在磁场内的位置而改变的输出。系统20可以包括例如由圣犹达医疗公司以商标“gmps”出售并且通常在例如美国专利号6,233,476、7,197,354和7,386,339中示出和描述的系统，其全部公开内容通过引用并入本文，如同在本文完全公开一样；或者由生物传感韦伯斯特公司(biosensewebster,inc)以商标“cartoxp”出售并且通常例如在美国专利号5,391,199、5,443,489、5,558,091、6,498,944、6,788,967和6,690,963中示出和描述的系统，其全部公开内容通过引用并入本文，如同在本文完全公开一样。尽管在所示实施例中示出了磁导航系统，但是应该理解，本发明可以用于多种导航系统，包括基于轴特定电场的创建和检测的导航系统，诸如用于由圣犹达医疗公司以商标“ensitenavx”销售所提供的系统。导航系统20可包括发射器组件50和一个或多个位置传感器52以及电子控制单元(ecu)54。
发射器组件50在本领域中以其传统意义，并且可包括彼此正交布置以在关注的解剖区域中和/或周围产生磁场的多个线圈。应该注意的是，尽管发射器组件50在图1a中在患者12的身体下方并且在桌子34下方示出，但是发射器组件50可以放置在其它位置中，诸如附接到辐射发射器30或辐射检测器32，磁场发生器可以从该位置将磁场投射到关注的解剖区域中。根据本发明的某些实施例，发射器组件50位于视野36内。在一些特定实施例中，辐射发射器30定位在患者12下方，并且对应的辐射检测器32位于患者上方。
位置传感器52被配置成取决于由发射器组件50生成的场内的传感器52的相对位置而产生输出。传感器52与设备16处于已知的位置关系，并且可以附接到医疗设备16。在图1a中，位置传感器52和医疗设备16示为设置在心脏14内。位置传感器52可以附接到设备16的远端或近端，或其间的任何点。当医疗设备16被引导并穿过关注的解剖区域时，导航系统20确定位置传感器52在所生成的区域中的位置，并因此确定医疗设备16的位置。
提供ecu54以控制发射器组件50磁场的生成，并处理从传感器52接收的信息。ecu54可包括可编程微处理器或微控制器，或者可包括专用集成电路(asic)。ecu54可以包括中央处理单元(cpu)和输入/输出(i/o)接口。ecu54经由i/o接口可以接收包括由传感器52生成的信号的多个输入信号，并生成多个输出信号，包括用于控制发射器50的输出信号。尽管在所示实施例中ecu54被示为单独的部件，但是应该理解，ecu54和ecu26可以集成到单个单元中。
提供对象24以允许将由成像系统18捕获的图像配准在导航系统20的坐标系22中。每个对象24可包括例如一个或多个基准标记。对象24定位于成像系统18的视野36内。对象24也位于坐标系22内的已知位置，或者连接到可以在坐标系22内提供位置的传感器。在所示的实施例中，例如，对象24被放置在导航系统20的位于视野36内的部件(诸如发射器50)上。可替代地，对象24可以放置在距导航系统20的部件(例如发射器50)固定的距离处，但仍然在视野36内。对象24也可以固定到设置在视野36内的导管的远端部分，或固定到视野36内的患者的身体部分。可替代地，对象24可以包括类似于可以在导航系统20中定位的传感器52的传感器(未示出)。对象24可以随时间推移保持在坐标系22内的相同已知位置中，或者可以在坐标系22中的不同已知位置之间移动(例如，后续位置与坐标系22内的先前已知位置具有已知关系)。在对象24包括多个基准标记的情况下，标记可以以预定图案布置或以其中标记彼此具有已知关系的方式布置。标记也可具有不同程度的射线不透性。
本发明的各方面涉及在过程开始时、在各个阶段，或者取决于临床医生的需要接近连续地将图像系统18的图像配准在导航系统20的坐标系22中。
参考图1b，在本发明的另一个实施例中，配准系统包括用于在设置在视野36内的位置(使得基准标记25处于第一状态并且在由成像系统18捕获的图像中可见)和设置在视野36外部的另一个位置(使得基准标记25处于第二状态并且在由成像系统18捕获的图像中不可见)之间移动基准标记25的装置56。移动设备56可以包括任何传统的机械设备，该设备通过在ecu26的控制下操作的线性、旋转或其它运动(例如，直线驱动器或电机驱动平台)在位置之间移动基准标记25。在多种实施例中，基准标记25可以包括一个或多个对象24。在这种实施例中，对象24可以经由omrp在空间上彼此耦合，从而限制对象24相对于彼此的独立运动。
在本发明的又一个实施例中，对象24配置有相对低强度和/或相对渐变的强度变化，使得对象24在由成像系统18生成的图像中对人眼基本上不可见，但是通过如下所述的ecu26的图像处理可检测。对象24可以例如相对较薄或者可以具有低但存在的射线不透性。在一个实施例中，对象24由铝箔或铝片制成。然而，应该理解的是，对象24可以由多种金属、金属合金或具有至少最小水平的射线不透性的其它材料制成。在另一个实施例中，利用人眼难以检测相对小的变化的事实，从对象24上的一点移动到对象24上的另一点，对象24的射线不透性逐渐增大或减小(例如，射线不透性在对象24的中心附近较大，但当远离对象24的中心时逐渐减少)。对象24可以呈现多种大小和形状中的任何一种。
提供ecu26用于处理由成像系统18生成的图像，并基于图像中的对象24的外观将图像配准在坐标系22中。ecu26还可以控制医疗设备16、成像系统18、导航系统20和/或显示器58的操作。ecu26可以包括可编程微处理器或微控制器，或者可以包括专用集成电路(asic)。ecu26可以包括中央处理单元(cpu)和输入/输出(i/o)接口，ecu26可以通过该接口接收多个输入信号，包括由医疗设备16、成像系统18和导航系统20生成的信号。此外，ecu26可以生成多个输出信号，包括用于控制医疗设备16、成像系统18、导航系统20和显示器58的输出信号。ecu26还可以从诸如ecg监视器的器官监视器(未示出)接收输入信号，并基于被监视器官的定时信号对来自成像系统18的图像进行分类或分离。例如，ecu26可以基于所收集每个图像的患者心动周期的相位对图像进行分类，如在例如美国专利号7,697,973中更全面描述的，其全部内容通过引用并入本文，如同在本文完全公开一样。
根据本发明的一个实施例，ecu26配置有适当的编程指令或代码(即，软件)以执行用于在导航系统20的坐标系22中配准患者心脏14或患者12的另一解剖区域的一组图像的方法中的若干步骤。
现在参考图1c，本发明的各方面涉及将医疗设备的图像叠加到临床图像上的方法。在这种实施例中，第一步骤88包括从由成像系统18生成的一组图像中收集多个图像。该组收集的图像包括包含处于坐标系中的已知位置的一个或多个对象24的区域。取决于对象的强度和ecu的处理能力，由ecu收集的多个图像可以包括整个一组图像或该组图像的子集。在可以确定实际图像位置之前，可以进行基准检测和背景过滤89以识别和去除可能导致错误位置确定的假基准。基准检测和背景过滤89都滤除了假基准，同时还增强了该组图像内的真实基准。一旦识别出真实基准，该方法可以继续确定每个图像中的基准(也称为对象和基准标记)的实际图像位置90。响应于来自每个图像的图像数据的总和，ecu可以识别每个图像中的基准的潜在图像位置。ecu可以使用传统算法来对图像数据进行求和，包括对数据求和和/或求平均，以便消除数据中的噪声，并确定多个图像中的每个图像中的基准的实际图像位置。
该方法可以继续响应于多个图像中的对象的实际图像位置以及对象在坐标系中的已知位置来创建变换模型，步骤94。步骤96使用变换模型将该组图像配准在坐标系22中。最后，步骤98响应于医疗设备在坐标系内的位置，将医疗设备的图像叠加到该组图像中的每个图像上。
图1d是与本发明的多种实施例一致的用于基准检测和背景过滤的流程图100，其可以在相对于图1c的步骤89中进行。下面更详细描述的算法(并且其结果在图2-7中呈现)是参考球形基准来讨论。然而，应该理解，基准检测和背景过滤过程以及特定算法通常易于适用于多种其它形状和基准配置。例如，其它基准布置可包括细长的基准，诸如线和杆。由于导管和其它医疗工具可在临床图像上呈现杆状形状，因此本发明的方面还涉及滤除与这种导管和医疗工具相关的假基准(参见例如图6a-6b及其讨论)。
本文公开的多种基准检测和背景过滤算法可以应用于输入x射线图像(也称为荧光透视图像或临床图像)、一组x射线图像和/或从一系列x射线图像获得的平均x射线图像。基准检测和背景过滤算法还可以应用于超声波检查、磁共振成像、内窥镜检查、弹性成像、触觉成像、热成像、核医学功能成像技术(包括正电子发射断层成像和单光子发射计算机断层成像)等。
在处理器电路(也称为ecu)(参见图2a)接收输入图像101之后，可以进行基准增强102。基准增强102可以利用增强滤波器或其它类似的滤波技术/算法来改善基准元素在x射线图像上的外观(参见图2b)。在多种实施例中，磁定位系统可以利用基准，该基准是在x射线图像上表现为暗点的小金属球。一种基准实施方式利用具有已知基准图案的omrp。在一些实施例中，基准图案可以是均匀或不均匀的图案。在基准处于非均匀图案的情况下，基准的低错误率识别(如本文所公开的)可能是有益的。基准增强102可以利用一个或多个算法/滤波器来增强基准元素相对于图像中的多种其它特征的外观。可用于促进基准增强102的算法的一些示例包括高斯拉普拉斯算子(“log”)、高斯差分(“dog”)、海森滤波器、方向可控滤波器和非线性扩散反应滤波器(例如，基于贝尔特拉米(beltrami)的滤波器)。
omrp还可以利用包括不透射的线和/或小杆的基准。类似于球形基准，例如，由于形状与导管的相似性，在现有技术系统中检测杆状基准也可能导致假基准检测。这些假的杆状基准也可以利用图1d中的基准检测和背景过滤方法来去除这种假基准。
以下公开了临床图像中的基准增强102的若干具体实施例。
在一个特定实施例中，使用log算法。log是一种基于算子的算法，其中算子基于二阶导数-δi＝ixx+ixy。虽然log算法可用于“斑点(blob)”检测，log算法通常对噪声敏感。log可以通过不同尺度的dog来近似，从而使得该算子的实施更有效。
在临床图像内的基准增强102的另一特定实施例中，海森滤波器可用于自动检测斑点状结构。基于特征值，对海森矩阵的多尺度分析，可以识别局部图案并将其分类为属于板状、线状或斑点状结构。图像中用于每个像素的图像的海森矩阵是：
其中
增强线结构响应是：
在临床图像中的基准增强102的一些实施例中，可以使用贝尔特拉米滤波器。在一个特定实施例中，贝尔特拉米滤波器是非线性扩散反应滤波器，其被设计在保留图像边缘时过滤图像噪声。如果将反应项加到扩散项上，可以实现图像内基准球的对比度增强。由基准增强102输出的处理图像可以被视为基于进化模型的偏微分方程的渐近状态。一个示例进化模型是：
it＝δgi+f(i)
其中δg是拉普拉斯-贝尔特拉米(laplace-beltrami)算子(例如，拉普拉斯算子从平坦空间到流形的扩展)，并且函数f是反应项。反应项功能选择可以基于多种因素(例如，图像处理应用和后处理要求)而变化。
返回参考图1d，背景去除103可以应用于图像以减少患者的心脏和临床图像内的其它背景阴影的影响。临床图像通常可包括大图像区域，包括暗区域(即阴影)。引起这种较暗区域的特征的常见示例包括骨骼(例如，在患者胸部的临床图像中，肋骨和脊柱通常可见为暗梯度)，以及患者的心肌。这些暗区域降低了图像中基准的对比度。因此，由于真实基准、与患者的身体特征相关联的暗区域以及临床图像内的医疗设备之间的最小对比度变化，现有系统更可能识别假基准。背景去除103增加了基准标记和非基准特征之间的图像内的对比度。背景去除103可以使用多种算法，包括例如形态滤波器和/或中值滤波器。中值和形态滤波器可以消除图像上的大对象(诸如阴影)，同时保留较小的对象，包括基准标记。
在完成背景去除103之后，执行三个并行过滤路径。第一过滤路径120专用于识别临床图像内的每个基准(也称为质心、对象和基准标记)。第二过滤路径130识别、增强和过滤图像内的任何导管。第三过滤路径140识别、增强和滤除电极(例如，用于电生理学标测和/或消融、磁定位等的导管电极-通常位于导管轴的远端)。
三个并行过滤路径120、130和140中的每一个可以基于它们相应的大小/形状来过滤基准候选分量。例如，第一滤波器路径120消除了在大小上大于或小于典型基准的分量。虽然第一滤波器路径120将基于大小/形状选择真实的基准，但是第一过滤路径120可以忽略较小的分量，诸如由图像噪声生成的分量。
在背景去除103之后，第一过滤路径120可以包括自适应阈值处理104(也称为二进制图计算)。可以通过对来自背景去除103的输出图像进行阈值处理来计算二进制图，以生成二进制的连通分量图像。该分量对应于图像中捕获的暗区域的位置和大小(参见例如图7a-7021-2和7251-n)。一些暗区域由omrp基准生成，而其它暗区域源自假基准。假基准的一些示例可包括导管、导管电极、用于磁定位系统的患者参考传感器(“prs”)、医师工具、导丝、可能在图像上显示的其它医疗设备、图像噪声、其它图像处理伪像以及可能导致假基准的出现的造影剂(例如，由于在图像的特定位置处造成对比度)。
第一过滤路径120进一步包括分量滤波器105。分量滤波器105消除在大小上大于或小于典型基准大小的分量。在一些情况下，图像噪声可生成小的分量。然而，这种图像噪声生成的分量小于典型的基准分量并因此被过滤。分量滤波器105进一步消除了具有与典型的基准分量显著偏离的形状的分量。例如，在omrp由球形基准组成的情况下，细长分量将被分量滤波器105丢弃。
一旦所有假基准已被分量滤波器105过滤，则每个剩余基准与质心(例如，质量中心)相关联，该质心表征每个基准的精确坐标，在本文中称为质心提取106。质心可以被提取为分量的平均值，或者作为分量的加权平均值(即质量中心)。还可以通过在应用一些平滑之前或之后定位分量中的最暗像素来提取质心以克服图像噪声。
第二过滤路径130包括导管候选物107的增强。具体地，导管增强107利用一种或多种算法来增强导管候选物在图像中的多种其它各种特征上的外观。通过增强导管候选物，导管候选物、图像背景和各种其它特征之间的对比度变化显著增加。导管增强107可以利用多种算法，包括增强滤波器或其它类似的滤波技术/算法，以改善导管元件在x射线图像上的外观。可用于促进导管增强107的算法的一些示例包括高斯拉普拉斯算子(“log”)、高斯差分(“dog”)、海森滤波器、方向可控滤波器和非线性扩散反应滤波器。在更具体的实施例中，导管增强107可以使用扩散反应滤波器完成。导管、图像背景和各种其它特征之间增加的对比度有助于从图像中过滤导管候选物108-从图像中消除这些导管候选物进一步消除了在医疗设备(诸如导管和传感器)上或附近的假基准的可能性。
例如，可以在图2a中看到，导管220a-b(即，与周围背景具有不同对比度的双边对象)在图像200上显示为脊。可以使用海森滤波器来应用导管增强107，其对细长结构(诸如导管220a-b)以及其它细长结构(诸如导丝和导线)产生强烈响应。发现可用于导管增强107以及产生与海森滤波器基本上相同的结果的其它脊增强滤波器包括：frangi滤波器、oriented滤波器和任何其它脊增强滤波器。
在一些特定实施例中，过滤导管候选物108包括对来自先前步骤107的图像进行阈值处理，以创建二进制图，其中细长结构作为大分量存在。这些大的分量对应于细长工具，诸如图像内的导管和其它医疗设备。虽然本实施例实现自适应阈值，但是其它实施例可以实现恒定阈值以过滤导管候选物。
在第二过滤路径130中，在图像内的导管附近检测到的质心可以被提取为分量的平均值，或者作为分量的加权平均值(即质量中心)。还可以通过在应用一些平滑之前或之后定位分量中的最暗像素来提取质心以克服图像噪声。然后可以排除在检测到的导管附近或检测到的导管上检测到的质心作为基准候选物。
第三过滤路径140包括电极候选物109的增强。具体地，电极增强109利用一种或多种算法来增强电极候选物在图像中的多种其它各种特征上的外观。假基准候选物可以源自在导管(例如，诊断和治疗导管)和传感器(例如，患者参考传感器)上发现的导管电极。通过增强电极候选物，电极候选物、图像背景和各种其它特征之间的对比度显著增加。电极增强109可以利用多种算法，包括增强滤波器或其它类似的滤波技术/算法，以改善电极元件在x射线图像中的对比度。可用于促进电极增强109的算法的一些示例包括高斯拉普拉斯算子(“log”)、高斯差分(“dog”)、海森滤波器、方向可控滤波器和非线性扩散反应滤波器。在更具体的实施例中，可以使用扩散反应滤波器完成电极增强109。电极、图像背景和各种其它特征之间对比度的增加有助于从图像中过滤电极候选物110-从图像中消除这些电极候选物进一步消除了在医疗设备(诸如导管和传感器上发现的电极)上或附近的假基准的可能性。
在一些特定实施例中，滤波器电极候选物110包括对来自前一步骤109的图像进行阈值处理，以创建二进制图，其中细长结构作为大分量存在。这些大分量对应于细长工具，诸如图像内的导管和其它医疗设备。虽然本实施例实现自适应阈值，但是其它实施例可以实现恒定阈值以过滤电极候选物。
在与本发明一致的多种实施例中，电极增强109可以利用一个或多个尺度，该尺度被用于增强多种大小的球形基准。作为示例，可以使用具有多种尺度的海森滤波器来实现这种电极增强。海森滤波器的两种不同变体可用于增强球形电极的外边缘。
在滤波器电极候选物110的步骤期间，可以产生包含源自背景去除103和电极增强109的分量的二进制图。二进制图可以由“and”算子或通过融合方法应用。滤波器电极候选步骤110产生输出图像，其中剩余的连通分量限定基准分量。
滤波器电极候选物110的步骤可以基于大小阈值排除小的和大的分量。然后可以基于阈值距离对来自电极增强步骤109的其余分量进行聚类。大的聚类主要包含导管电极，而(稀疏的)基准保持隔离。最后，排除位于前一步骤中形成的在来自大的聚类的阈值距离以下的基准候选。
一旦完成图像处理，包括由图像的三个并行过滤路径120、130和140中的每一个过滤路径进行的并行图像处理，就可以完成基准111的最终选择。由于三个并行过滤路径120、130和140已经去除了与导管和电极相关联的假基准，因此唯一剩余的基准将是由第一滤波器路径120增强的真实基准。因此，选择剩余的基准，并且系统利用剩余的基准来确定将临床图像的第一笛卡尔坐标系与导航系统的第二笛卡尔坐标系相关联的变换模型。
图2a是与本发明的多种实施例一致的患者胸部的临床图像200，在该胸部中具有3个微创诊断/治疗导管。如图2a中所示，探索性导管210a-b通过患者的脉管系统向心肌延伸，并且电生理学环导管205已经延伸通过患者的脉管系统并进入心肌。临床图像的背景包含表示患者身体部分(包括肋骨、椎骨和心肌本身)的多种阴影元素。肋骨、椎骨和心脏的阴影限制了背景图像与多种导管205和210a-b以及导管轴220a-b之间的对比度。
在利用图像处理来识别临床图像中的基准2021-2的情况下，这种对比度的缺乏是有问题的。已经发现使用包括基准的omrp，其中omrp静态地定位在手术室内(通常在患者下方，例如在手术台内/下面)，便于临床图像的第一笛卡尔坐标系与导航系统的第二笛卡尔坐标系的关联。许多临床成像系统包括能够进行多轴旋转的c臂，以便于患者的多种图像。为协调临床图像的第一笛卡尔坐标系，其取决于c臂取向和图像的平移(以及其它因素，诸如手术台平移/旋转、探测器围绕其轴的旋转和sid)而改变，采用导航系统的第二笛卡尔坐标系，omrp可以在显示期间放置在临床图像内。omrp上的基准有助于协调唯一坐标系，因为omrp的位置(出现在临床图像上)相对于导航系统是已知的。基于变换模型和来自导航系统的跟踪数据，跟踪对象(例如，导管)的图像可以覆盖在临床图像上。
为了促进唯一坐标系的自动协调(例如，临床成像系统的第一笛卡尔坐标系和导航系统的第二笛卡尔坐标系)，图像处理系统可以能够在没有检测到假基准的情况下准确地识别临床图像内的基准元素。一旦检测到基准元素，就可以确定变换模型以将由导航系统跟踪的对象的确定位置适当地叠加到临床图像上。如果假基准由图像处理系统检测到并且据此确定变换模型，则坐标系的协调将是不准确的-从而在临床图像上的导航系统信息的超定位中产生错误。
如图2a中所示，临床图像200的背景与多种对象(例如，多种导管205和210a-b以及导管轴220a-b)之间缺乏对比度使得图像处理系统难以将多种对象和基准2021-2与背景区分开-导致临床图像200内的基准识别自动化中的错误率增加。
图2b是与本发明的多种实施例一致的图2a的临床图像200的过滤版本，在该图2a中图像201中的基准2021-2已经增强。虽然导管轴220a-b与假基准(例如，多种导管205和210a-b上的电极2151-n)之间的对比率保持相同，但是改善了基准2021-2与临床图像201的背景对象之间的对比率。可用于促进基准增强的算法的一些示例包括高斯拉普拉斯算子(“log”)、高斯差分(“dog”)、海森滤波器、方向可控滤波器和非线性扩散反应滤波器(例如，基于贝尔特拉米的滤波器)。
图3是其中具有微创诊断/治疗导管的患者胸部的临床图像300，临床图像300用两个滤波器过滤。第一滤波器是非线性滤波器(贝尔特拉米)，其增强球形基准，以及在多种导管305和310a-b上的诸如电极3151-n的假基准。与本发明的多种实施例一致，应用第二滤波器以去除背景图像(例如，图像的可包括诸如肋骨、阴影、骨骼、心肌等的大尺度元素同时排除诸如基准、导管和电极的小尺度元素的部分)。通过从图像中去除背景细节，图像处理系统进一步增加了基准3021-2和电极3151-n以及背景图像(其中几乎全部被去除)之间的对比度。背景去除步骤主要从图像300中去除诸如肋骨、阴影、骨骼、心肌等的大尺度细节。
图4是其中具有微创诊断/治疗导管的患者胸部的临床图像400。采用图3的图像300的输入，图像处理系统进一步采用海森滤波器过滤图像，以增强图像400中的基准4021-2。海森滤波器从图像300中的导管轴320a-b去除剩余的伪像。在将海森滤波器应用于图像300之后，图像400内的剩余对象是基准标记4021-2和假基准(例如，多种导管405和410a-b上的电极4151-n)。
在图5中，使用测地距离进一步处理图4的临床图像400以突出图像500内的聚类的假基准元素，并进一步抑制背景。测地距离利用导管上发现的假基准的紧密接近关系。具体地，图像500内的多种导管505和510a-b上的电极5151-n通常聚集在导管的远侧末端附近，以便于例如在导管的远侧末端处的治疗和/或定位。由于图像400中的真实基准具有大得多的间距，因此假基准、基准标记4021-2不出现在处理图像500中。因此，图像处理系统可以从图像400和图像500的比较推断出真实基准标记4021-2的位置。如上面更详细讨论的，基于真实基准的位置，可以使用变换模型来协调导航系统和临床图像500的坐标系。
图6a是其中具有微创诊断/治疗导管610a-b和导管轴620a-b的患者胸部的临床图像600。图像600进一步包括线束622和位于患者胸部上的患者参考传感器621(“prs”)。如在图2a的图像200中，图像600的背景包括指示患者身体部分(包括肋骨、椎骨和心肌本身)的多种阴影元素。肋骨、椎骨和心脏的阴影限制了图像背景、基准标记6021-2和导管电极6151-n之间的对比度，以及图像600中的其它特征。图像处理系统还可能易于错误地识别prs621和/或线束622内的线的交叉点作为基准标记。因此，图像处理系统可以对图像600实施过滤以去除这种假基准诱导对象。
图6b示出了在自适应阈值处理和海森滤波器已经应用于原始临床图像600(如图6a中所示)之后的临床图像601。自适应阈值处理和海森滤波器的组合使得与原始图像600内的导管610a-b和线束622相关联的暗段呈现为连通分量。只留下prs621的一小部分伪像。然后，图像处理系统可以从图像600和601的比较推断出真实基准标记6021-2的位置。
图7a是患者胸部的临床图像700，具有延伸通过患者的心血管系统的微创诊断/治疗导管705和710a-b。在图7a的图像700中，分别由图像处理系统识别真假基准7021-2和7251-n，但是根据本发明未对图像700进行过滤。因此，所显示的图像700已被增强以覆盖与导管705的电极相关联的所有真实基准7021-2和假基准7251-n之上的高光。这种结果将显著地损害用于协调导航系统和临床成像系统的坐标系的变换模型的准确性。
图7b示出了与本发明的多个方面一致的在过滤之后的图7a的临床图像700。由图像处理系统进行的滤波，质心提取，识别与导管705相关联的假基准7251-n，并且增强显示以覆盖仅在真实基准7021-2之上的高光。
虽然图7a-b中所示的显示器旨在通过图像处理系统在视觉上示出基准标记的自动识别，但是这种增强显示器可以在一些实施例中用于进一步验证图像处理系统对基准选择的准确性。当需要新的变换模型来协调导航系统和临床成像系统的坐标系时，图像处理系统可以实现本文公开的多种过滤方案并向临床医生显示类似于图7a-b的增强图像，以便于自动化过程中的人工干预。在这种实施例中，用户将验证图像处理系统对基准的识别的准确性，或者修改选择以校正错误。
在一些特定实施例中，为了促进改进的准确性，图像处理系统可以将每个临床图像分成一个或多个子帧。在这种实施例中，可以基于其中潜在的基准标记的定位将临床图像划分为一个或多个子帧。在特定实施例中，每个子帧将仅具有一个潜在的基准标记或潜在的基准标记的一部分。然后可以使用本文公开的多种图像处理、滤波和增强技术来单独处理每个子帧，以识别真实的基准标记并滤除子帧内的任何错误基准标记。一旦处理了图像的所有子帧，就可以重新编译图像以便显示给例如临床医生。
本发明的一些特定过滤方法包括从临床图像中去除覆盖层。覆盖层是不在原始临床图像中的附加标记，但是由临床成像系统添加。例如，覆盖层可以包括固定和/或变化的标记。本文公开的过滤方法可以在识别基准标记之前从图像中去除这种覆盖层，这进一步降低了识别假基准的可能性。
尽管上面已经以一定程度的特殊性描述了若干实施例，但是本领域技术人员可以在不脱离本发明的精神的情况下对所公开的实施例进行多种改变。旨在将以上描述中包含的或附图中示出的所有内容解释为仅是说明性的而非限制性的。在不脱离本说明的情况下，可以进行细节或结构的改变。前面的描述和所附权利要求旨在涵盖所有这些修改和变化。
基于以上讨论和说明，本领域技术人员将容易认识到，可以对多种实施例进行多种修改和改变，而不严格遵循本文示出和描述的示例性实施例和应用。例如，上面公开的一个或多个成像处理滤波器可以串行和/或并行使用，以提供附加的基准标记结果，以交叉检查利用不同滤波器和/或滤波器组合的另一结果。这些修改不脱离本发明各个方面的真实精神和范围，包括权利要求中阐述的方面。
可以实现多种模块或其它电路以执行本文描述和/或图中所示的一个或多个操作和活动。在这些上下文中，“模块”是执行这些或相关操作/活动中的一个或多个的电路(例如，图像处理系统)。例如，在某些上述实施例中，一个或多个模块是离散逻辑电路或可编程逻辑电路，其被配置和布置用于实现这些操作/活动。在某些实施例中，这种可编程电路是被编程为执行一组(或多组)指令(和/或配置数据)的一个或多个计算机电路。指令(和/或配置数据)可以是存储在存储器(电路)中并可从存储器(电路)访问的固件或软件的形式。作为示例，第一和第二模块包括基于cpu硬件的电路和固件形式的一组指令的组合，其中第一模块包括具有一组指令的第一cpu硬件电路，并且第二模块包括具有另一组指令的第二cpu硬件电路。
某些实施例涉及一种计算机程序产品(例如，非易失性存储器设备)，其包括其上存储有指令的机器或计算机可读介质，该指令可由计算机(或其他电子设备)执行，以执行这些操作/活动。
本文描述了多种设备、系统和方法的多种实施例。阐述了许多具体细节以提供对说明书中描述的和附图中示出的实施例的整体结构、功能、制造和使用的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践这些实施例。在其它情况下，没有详细描述公知的操作、组件和元件，以免模糊说明书中描述的实施例。本领域普通技术人员将理解，本文描述和示出的实施例是非限制性实施例，并且因此可以理解，本文公开的具体结构和功能细节可以是代表性的，并不一定限制实施例的范围，其范围仅由所附权利要求限定。
在整个说明书中对“多种实施例”、“一些实施例”、“一个实施例”、“实施例”等的引用意味着结合该实施例描述的特定特征、结构或特性包括在至少一个实施例中。因此，在整个说明书中的地方出现的短语“在多种实施例中”、“在一些实施例中”、“在一个实施例中”、“在实施例中”等等不一定都指代相同的实施例。此外，特定特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。因此，结合一个实施例示出或描述的特定特征、结构或特性可以整体或部分地与一个或多个其它实施例的特征结构或特性组合而没有限制。
应当理解，术语“近端”和“远端”可以在整个说明书中参考临床医生操作用于治疗患者的器械的一端来使用。术语“近端”是指器械中最靠近临床医生的部分，并且术语“远端”是指距离临床医生最远的部分。将进一步理解，为了简明和清楚起见，这里可以相对于所示实施例使用诸如“垂直”、“水平”、“向上”和“向下”的空间术语。然而，手术器械可以在许多取向和位置中使用，并且这些术语不是限制性的和绝对的。
声明通过引用并入本文的全部或部分的任何专利、出版物或其它公开材料仅在所并入的材料不与现有定义、陈述或本发明中阐述的其它公开材料冲突的程度内并入本文。因此，并且在必要的程度上，本文明确阐述的公开内容取代通过引用并入本文的任何冲突材料。声明通过引用并入本文但与现有定义、陈述或本文阐述的其它公开材料相冲突的任何材料或其部分仅在所并入的材料与现有公开材料之间不发生冲突的程度上被并入。
- 还没有人留言评论。精彩留言会获得点赞！