本发明涉及用于经由感兴趣界标的自动检测和跟踪在介入程序中的x射线成像中进行实时准直和感兴趣区域（roi）过滤器定位的方法。
背景技术：
现今的大多数介入程序使用x射线荧光透视以用于成像和指导。这些介入程序通常利用计算机化的x射线成像系统来执行。如果系统使用仅一个x射线成像臂则将该系统称为单翼系统，而如果它使用双臂则称为双翼系统。双翼系统提供两个x射线图像，其实现了更好的3d成像和实时导航。大多数x射线成像系统针对每个x射线成像臂包括x射线源、图像增强器和记录介质。
现今的一个关注问题是在介入程序期间防止散射的x射线到达图像增强器，因为散射的x射线可能对在手术室中执行这些程序的医务人员提出了健康问题。可以通过使用准直器将x射线束准直到感兴趣的区域以对感兴趣的目标进行成像来解决所关注的问题。
对于大多数介入程序，正确设置准直和感兴趣区域（roi）过滤器位置可以减少对医务人员的不必要的x射线辐射。在一些诊断程序中，调整准直器以最佳地覆盖没有身体部位的场景部分。然而，在一些介入程序中，调整准直器以覆盖医生不感兴趣的一些身体部位。roi过滤器可以被定位成使得以衰减的辐射对roi周围的区域进行成像，导致不太强烈和较大噪声的荧光透视图像。在许多x射线程序中，这样的心房颤动消融程序中，将造影剂注射到患者体内并用x射线成像设备进行捕获。
利用x射线成像设备的介入程序至少有两个特性。
1.在大多数介入程序中，在程序期间插入各种医疗设备并将其引导到患者或对象体内的感兴趣区域。大部分时间这些医疗设备都在x射线图像的清晰可见区域中。图1（a）-图1（c）示出了在其中采用不同介入设备的各种介入程序的x射线图像，诸如图1（a）和图1（b）中的支架11、引导导管12和引导线13、以及图1（c）中的不同的导管和冷冻球囊导管14。准直器和roi过滤器应该被设置成使得成像区域覆盖医疗设备和患者的相关结构。除了对象的感兴趣结构之外，最佳准直设置还取决于这些设备的位置。这样的介入医疗设备包括：
a.导管，
b.温度探头，
c.引导线，
d.支架，
e.针，
f.血管内超声（ivus）换能器，
g.心脏内超声心动图（ice）导管，
h.经食道超声心动图（tee）探头等。
2.每当有新设备时或在程序要求时，需要更改准直器和roi过滤器的设置。这在很多情况下都会发生。例如，当下列场景发生时可能需要更新准直器：注入造影剂、（一个或多个）介入设备移动到准直内部的新位置、或者从程序中移除（一个或多个）新的介入设备。每当有需要时手动设置准直器和roi过滤器就将暴露给医疗人员的辐射最小化，但是，需要花费大量的人力，并增加了程序的持续时间。另一种解决方案可以使用眼睛跟踪器，但是这种眼睛跟踪器在临床程序中的使用不够成熟。
技术实现要素：
如本文所述的本公开的示例性实施例通常包括用于在介入程序中的x射线成像中进行实时准直和roi过滤器定位的系统和方法。
根据本公开的实施例，提供了一种用于在介入程序中的x射线成像中进行实时准直和roi过滤器定位的方法，包括：在医疗介入程序开始时在对象上获取感兴趣区域（roi）的图像，基于所述图像中的低级特征对图像进行分类以确定正在执行的程序的类型，从正在执行的程序的类型确定所述图像中的界标列表，并且针对在界标列表中的每个界标加载预先训练的界标模型，其中，界标包括在所述医疗介入程序中使用的医疗设备和所述对象的解剖结构，以及从使用所述界标模型计算出的所述界标的分界框和roi过滤器边界来计算x射线成像设备的准直器设置。
根据本公开的另一实施例，该方法包括向操作员呈现所述x射线成像设备的计算出的准直器设置，并且从所述操作员接收所述操作员对所述计算出的准直器设置的确认。
根据本公开的另一实施例，该方法包括在所述医疗介入程序期间检测界标已经移动到所述roi中，并且重新计算所述x射线成像设备的所述roi过滤器边界和所述准直器设置。
根据本公开的另一实施例，所述界标模型被用来检测所述图像中的界标。
根据本公开的进一步的实施例，界标包括球囊标志、引导导管、引导线、血管内超声换能器、血管、消融导管电极、周围标测导管电极、冠状窦导管电极、钙和骨结构。
根据本公开的另一实施例，如果针对一个界标不退出预先训练的界标模型，所述方法还包括对所述界标进行初始化，从用户接收所述界标的正样本，从所述图像的其它区域接收所述界标的负样本，从表示初始化后的界标的外观的图像块中确定所述图像的外观，以及使用所述正样本、所述负样本和所述图像外观来训练界标模型。
根据本公开的另一实施例，利用线段、曲线、分界框、圆或其他类似类型的结构中的一个对所述界标进行初始化。
根据本公开的进一步的实施例，所述低级特征包括边缘、haar类特征、尺度不变特征、有序梯度直方图和局部三元模式（ltp）。
根据本公开的另一实施例，基于正在执行的程序的类型而由分类器对所述图像进行分类，其中所述程序类型包括电生理程序、血管内超声程序、慢性完全闭塞（cto）程序和球囊血管成形术程序。
根据本公开的另一个实施例，提供了一种用于在介入程序中的x射线成像中进行实时准直和roi过滤器定位的方法，包括：在医疗介入程序的开始时在对象上获取感兴趣区域（roi）的图像，基于正在执行的程序的类型对所述图像进行分类，检测所述图像中的界标，其中从正在执行的程序的类型确定正被检测的界标，其中界标包括在所述医疗介入程序中使用的医疗设备和所述对象的解剖结构，以及从使用检测到的界标计算出的所述界标的分界框和roi过滤器边界来计算x射线成像设备的准直器设置。
根据本公开的另一实施例，该方法包括从正在执行的程序的类型来确定界标列表，并且针对所述界标列表中的每个界标加载预先训练的界标模型，其中所述界标模型被用来检测所述图像中的界标。
根据本公开的另一实施例，如果针对一个界标不退出预先训练的界标模型，则所述方法还包括对所述界标进行初始化，从用户接收所述界标的正样本，从所述图像的其它区域接收所述界标的负样本，从表示初始化后的界标的外观的图像块中确定所述图像的外观，以及使用所述正样本、所述负样本和所述图像外观来训练界标模型。
根据本公开的另一实施例，该方法包括向操作员呈现所述x射线成像设备的计算出的准直器设置，并且从所述操作员接收所述操作员对所述计算出的准直器设置的确认。
根据本公开的另一实施例，该方法包括在所述医疗介入程序期间，检测界标已经移动到所述roi中，并且重新计算所述x射线成像设备的所述roi过滤器边界和所述准直器设置。
根据本公开的进一步的实施例，使用低级特征来对图像进行分类，其中所述低级特征包括边缘、haar类特征、尺度不变特征、有序梯度直方图和局部三元模式（ltp）。
根据本公开的另一个实施例，提供了一种计算机可读的非暂时性程序储存设备，有形地体现由计算机执行的指令程序以执行用于在介入程序中的x射线成像中进行实时准直和roi过滤器定位的方法步骤。
附图说明
图1（a）-图1（c）示出了根据本公开的实施例的在其中采用不同介入设备的各种介入程序的x射线图像。
图2是根据本公开的实施例的用于在介入程序中的x射线成像中进行实时准直和roi过滤器定位的方法的流程图。
图3示出了根据本公开的实施例的支架程序。
图4（a）-图4（c）图示出了根据本公开的实施例的冠状窦导管上的电极的检测。
图5是根据本公开的实施例的球囊标志、引导线、支架和引导导管的x射线图像。
图6是根据本发明实施例的标签与学习方法的流程图。
图7是根据本公开的实施例的用于在介入程序中的x射线成像中进行实时准直和roi过滤器定位的示例性计算机系统的框图。
具体实施方式
如本文所述的本公开的示例性实施例通常包括用于在介入程序中的x射线成像中进行实时准直和roi过滤器定位的系统和方法。因此，尽管本公开易有各种修改和替代形式，但是其特定实施例在附图中通过示例的方式被示出，并且将在本文中进行详细描述。然而，应该理解，不旨在将本公开限制为所公开的特定形式，而是相反，本公开将涵盖落入本公开的精神和范围内的所有修改、等同物和替代。
如本文所使用的，术语“图像”是指由离散图像元素（例如，用于2维图像的像素和用于3维图像的体素）组成的多维数据。图像可以是例如通过计算机断层摄影、磁共振成像、超声波或本领域技术人员已知的任何其它医疗成像系统收集的对象的医疗图像。图像也可以从非医疗上下文中提供，诸如例如遥感系统、电子显微镜等。尽管图像可以被认为是从r3到r或r7的函数，但是本公开的方法不限于这样的图像，并且可以应用于任何维度的图像，例如二维图片或三维体积。对于二维或三维图像，图像的域通常是二维或三维矩形阵列，其中每个像素或体素可以参考一组2个或3个相互正交的轴来进行寻址。本文所使用的术语“数字”和“数字化”将适当地指代经由来自模拟图像的转换或者经由数字采集系统获取的数字或数字化的格式而获得的图像或体积。
本公开的实施例可以提供用于通过考虑到上面提及的特性来以最佳方式且实时自动设置准直器和roi过滤器从而将散射的x射线最小化的方法。根据本公开的实施例的方法可以基于荧光透视图像中的医疗设备或结构的存在而将场景分类成不同的类别。根据本公开的实施例，对象的结构和在该程序中使用的医疗设备被称为“界标”。基于检测到的场景类别，可以加载对应界标的模型以检测图像中的界标的位置并生成准直器和roi过滤器设置。例如，如果检测到心房颤动程序，则自动加载消融导管、冠状窦导管和周围标测导管的模型。如果针对一个界标不存在模型，则该界标被认为是新的，并且使用“标签与学习”方法以允许技术人员对该界标进行初始化，并且然后在x射线图像中检测类似的界标。将检测到的新界标添加到界标数据库。
图2是用于经由感兴趣界标的自动检测和跟踪来在介入程序中的x射线成像中进行实时准直和roi过滤器定位的示例性的非限制性方法的流程图。现在参考该图，该方法在步骤21通过获取荧光透视图像而开始。如果荧光透视成像系统是单翼系统，则该图像是单翼图像，或者否则就是双翼帧。该图像是在程序开始时被获取的，并且在当时以及在x射线成像设备已经在患者或对象的感兴趣区域处居中之后包括医疗设备。
在捕捉到初始图像之后，可以基于正在执行的程序将图像或场景在步骤22处分类为不同的类别，因为不同的医疗程序采用不同的医疗设备，并且荧光透视图像在患者身体中具有不同的感兴趣区域。根据本公开的实施例，场景分类法使用诸如边缘、haar类特征、尺度不变特征、有序梯度直方图、局部三元模式（ltp）等等的低级图像特征，并且采用分类器来对场景进行分类。用于对图像进行分类的介入程序的示例性的非限制性列表包括电生理程序、血管内超声程序、慢性完全闭塞（cto）程序、球囊血管成形术程序等。
一旦场景被确定，在步骤23处就可以确定寻找哪些界标以及可以加载预先训练的分类器以检测那些界标。可以自动地或者由操作员手动地执行关于在图像中呈现哪些界标的确定。在手动模式下，操作员检查图像并从候选界标列表中选择界标列表。可替代地，在自动模式下，加载所有预先训练的界标模型以检测图像中界标的存在，从其中选择界标模型的列表。预先训练的界标模型是界标特定的，并且是从大量注释的x射线图像中学习的。针对以下界标的预先训练的模型的示例性的非限制性列表如下：
•通常存在于支架程序中的球囊标志；
•通常存在于ivus程序中的引导导管；
•也存在于ivus以及许多其他程序中的导引线；
•ivus换能器；
•在造影剂注射后可见的血管；
•存在于消融ep程序中的消融导管电极；
•也存在于消融ep程序中的周围标测导管电极；
•ep程序中使用的冠状窦导管电极；
•存在于一些介入程序中的钙；和
•骨结构。
作为一个示例，在其图像在图3中被示出的支架程序的情况下，选择以下界标的模型：（1）引导导管；（2）球囊标志；和（3）引导线。可以将界标模型的列表存储在数据库中。
根据本公开的实施例的用于检测这三个界标的示例性的非限制性算法如下。
图4（a）-图4（c）图示出了冠状窦导管上的电极的检测。在图4（a）中，箭头41指示电极；在图4（b）中，点42在候选电极位置上；以及图4（c）示出了在非最大抑制之后检测到的候选位置43。导管尖端和电极可以被检测为定向点（x，y，θ），并且可以通过它们的位置（x，y）和定向（θ）而被参数化。为了快速检测，可以使用边界空间学习来首先仅仅检测尖端和电极位置（x，y），并且然后在有希望的位置处搜索所有的定向（θ）。可以使用经训练的二元分类器来检测尖端和电极位置（x，y）。示例性的非限制性分类器在（k×k）尺寸的居中窗口中使用约100,000个haar特征。示例性的非限制性分类器是能够输出概率p（e=（x，y）|d）的概率推进树（pbt），其中d是特征集合。导管尖端在上下文和外观方面不同于其他电极，并且它可以比其他电极更可靠地被检测到。然后用一组离散定向来扩充检测到的电极和候选位置，并将其提供给经训练的定向点检测器，并且这同样适用于检测到的尖端位置。示例性定向点检测器使用更丰富的特征池，包括相对于查询位置和定向的可转向特征响应和图像强度差异。将在每帧处检测到的电极和尖端的集合提供给选择聚集检测的非最大抑制（nms）阶段。在每个帧中，最多选择k个电极和f个尖端。
类似于导管电极的检测，根据本公开的实施例的球囊标志检测包括两个步骤。在第一步骤中，pbt分类器检测候选标志位置，而在第二步骤中，由另一个pbt分类器评估一对两个候选标志。图5是球囊标志51、引导线52、支架53和引导导管54的x射线图像。
根据引导线的本公开的实施例的示例性的非限制性检测算法包括语义引导线模型，其包含三个部分，包括导管尖端、引导线尖端和引导线主体。将这些不同部分的检测整合到用于检测整个引导线的贝叶斯公式中。应用分层和多分辨率方案来有效地检测引导线。
当不需要诸如可视化和gui交互之类的其他计算工作负载时，可以并行地执行根据本公开的实施例的界标检测。
再次参考图2，根据本公开的实施例，对于对其而言预先训练的模型不可用的诸如新型医疗设备或难以定义的模式（诸如钙化）的新类型界标，可以在步骤24处使用标签与学习方法从用户初始化在线地对模型进行学习。图6中示出了根据本公开的实施例的标签与学习方法的流程图。参照图6，在步骤61处，新的界标可以由操作员手动地或半自动地初始化。示例性的非限制性初始化包括线段、曲线、分界框、圆或其它类似类型的结构。在步骤62处，通过用户初始化提供正样本的示例，从图像的其余区域获取负样本，并且通过学习初始化后的界标的模板来获取图像外观，其中模板是表示界标的外观的图像块。例如，在专利申请中可以使用基于模板匹配的方法，其可以在心房颤动消融程序中跟踪x射线图像中的冠状窦导管。在步骤63处通过利用正样本、负样本和图像外观来执行新的界标模型的学习。
再次参考图2，在步骤25处计算准直并且生成准直器设置。从界标模型计算所有界标的分界框
其中假定准直器设置定义了矩形。根据本公开的其它实施例，如果准直器具有另一种形状，诸如圆形，则可以类似于上述情况来导出准直器的设置。在步骤26处，向操作员示出所提出的准直器设置以进行确认。操作员可以接受这些新设置来设置准直器，或拒绝设置来更新它们。
根据本公开的实施例的系统可以在一个或多个界标移动到准直区域时跟踪感兴趣的界标。在步骤27处，如果感兴趣的界标被检测为在准直内部移动，则使用上述步骤22-26重新计算准直器和roi过滤器设置并向操作员示出以供确认。
除了在系统初始化和更新的准直器和roi过滤器设置的确认期间之外，根据本公开的实施例的方法可以在很少或没有人工输入的情况下实时地自动工作，但是操作员可以在任何时间手动设置这些参数。
应理解，本公开的实施例可以以硬件、软件、固件、专用处理或其组合的各种形式来实现。在一个实施例中，可以将本公开的实施例以软件实现为在计算机可读程序储存设备上有形地体现的应用程序。可以将应用程序上传到包含任何适当架构的机器并由其执行。
图7是根据本公开的实施例的用于实现用于在介入程序中的x射线成像中进行实时准直和roi过滤器定位的方法的示例性计算机系统的框图。现在参照图7，用于实现本公开的实施例的计算机系统71尤其可以包括中央处理单元（cpu）72、存储器73和输入/输出（i/o）接口74。计算机系统71通常通过i/o接口74耦合到显示器75和诸如鼠标和键盘的各种输入设备76。支持电路可以包括诸如高速缓存、电源、时钟电路和通信总线之类的电路。存储器73可以包括随机存取存储器（ram）、只读存储器（rom）、磁盘驱动器、磁带驱动器等或其组合。可以将本公开的实施例实现为存储在存储器73中并由cpu72执行以处理来自信号源78的信号的例程77。如此，计算机系统71是在执行本公开的例程77时变成专用计算机系统的一个通用计算机系统。
计算机系统71还包括操作系统和微指令代码。本文所述的各种处理和功能可以是经由操作系统执行的微指令代码的一部分或者应用程序的一部分（或其组合）。另外，可以将各种其他外围设备连接到诸如附加数据储存设备和打印设备的计算机平台。
应该进一步理解，因为附图中描绘的一些组成系统组件和方法步骤可以以软件来实现，所以系统组件（或者处理步骤）之间的实际连接可以取决于对本公开的实施例进行编程的方式而有所不同。鉴于本文所提供的本公开的教导，相关领域的普通技术人员将能够设想本公开的这些和类似的实现或配置。
尽管已经参考示例实施例详细地描述了本公开的实施例，但是本领域技术人员将认识到，不脱离如在所附权利要求中所阐述的本发明的精神和范围的情况下可以对其做出各种修改和替换。