手术装置及其使用方法
【专利摘要】本发明提供一种方法，其包括：获取来自第一成像模式的第一图像；在来自第一成像模式的第一图像上进行识别；获取来自第二成像模式的第二图像；从来自第一成像模式的第一图像生成兼容的虚拟图像；将计划数据映射在兼容的虚拟图像上；将来自第二成像模式的第二图像粗配准到来自第一成像模式的第一图像上；从兼容的虚拟图像中识别映射的计划数据的至少一个元素；在第二成像模式上识别至少一个对应元素；将至少一个对应元素映射在第二成像模式上；将来自第二成像模式的第二图像精配准到来自第一成像模式的第一图像；生成第三图像。
【专利说明】手术装置及其使用方法
[0001]相关申请的交叉引用
[0002]本申请要求了2014年I月6日提交的、名称为“增强的荧光透视检查(AUGMENTEDFLU0R0S⑶PY)”的美国临时申请N0.61/923，956，2014年6月18日提交的、名称为“增强的荧光透视检查(AUGMENTED FLUOROSCOPY)”的美国临时申请N0.62/013,726，和2014年9月18日提交的、名称为“增强的荧光透视检查(AUGMENTED FLU0R0S⑶PY)”的美国临时申请N0.62/052，039的优先权，它们在此通过引用以其全部内容并入本文以用于所有目的。
技术领域
[0003]本发明的各实施方式涉及手术装置及其使用方法。
【背景技术】
[0004]在内窥镜手术以及其它手术领域中使用的视频辅助胸外科手术(video-assistedthoracic surgery，VATS)可以用于各种呼吸疾病的治疗。
【发明内容】
[0005]在一些实施方式中，本发明提供一种方法，其包括:获取来自第一成像模式的第一图像;在来自第一成像模式的第一图像上识别至少一个元素，其中该至少一个元素包括界标、感兴趣区、切口点、分叉、器官或其任意组合;获取来自第二成像模式的第二图像;从来自第一成像模式的第一图像中生成兼容的虚拟图像;将计划数据映射在该兼容的虚拟图像上，其中映射的计划数据对应于至少一个元素;将来自第二成像模式的第二图像粗配准到来自第一成像模式的第一图像;从兼容的虚拟图像中识别映射的计划数据的至少一个元素;在第二成像模式上识别至少一个对应元素;将至少一个对应元素映射在第二成像模式上;将来自第二成像模式的第二图像精配准到来自第一成像模式的第一图像;生成第三图像，其中该第三图像是包括被高亮显示的感兴趣区的增强图像。
[0006]在一些实施方式中，本方法进一步包括在第二成像模式上方叠置至少一个图像、该至少一个图像的一部分或从第一成像模式中导出的计划信息。在一些实施方式中，本方法进一步包括使用至少一个指令，其中该至少一个指令包括与导航、引导或其组合有关的信息。在一些实施方式中，该引导包括与示出第二成像模式的装置的定位有关的信息，以由此实现感兴趣区、切口点、解剖结构或工具进入方向的可视化，其中该装置包括荧光透视检查C形臂。在一些实施方式中，本方法进一步包括通过使用从第二成像模式中导出的至少一个后续图像来追踪至少一个解剖结构，其中该第二成像模式包括经配置以具有基本相同的获取参数的荧光透视检查视频，且其中该获取参数包括模式、位置、视域或其组合，从而通过抑制静止的解剖结构和/或提高下方软组织的信噪比来生成增强的荧光透视检查图像。在一些实施方式中，本方法进一步包括执行多阶段配准，其中首先配准至少一个基本静止的对象，且其中然后配准至少一个动态的对象，其中该至少一个动态的对象包括隔膜、支气管、血管或其任意组合。在一些实施方式中，本方法进一步包括淡化(deemphasizing)至少一个干扰结构。在一些实施方式中，在借助于图像配准而将来自第一成像模式的计划数据传递至第二成像模式的同时不生成兼容的虚拟图像。
[0007]在一些实施方式中，本发明提供一种方法，其包括:
[0008]使用具有已知的相对运动和转动的至少两个术中图像来生成从术中图像导出的像素的分组，其中使用下列方式通过单独计算每一像素来确定像素的分组:(a)每一像素的移动变化和(b)每一像素的强度值;使用至少两个连续的术中图像来执行配准以重构感兴趣区中的结构；区分所述感兴趣区中的静止结构和移动结构；以及在至少一个术中图像上高亮显示解剖结构。在一些实施方式中，本方法进一步包括使用胸部X射线放射图像作为第一术中图像。
[0009]在一些实施方式中，本发明提供一种系统，其包括经配置以产生增强的荧光透视检查图像的增强的荧光透视检查装置，该系统包括:(a)视频和图像处理单元、(b)视频输入卡或经配置以从荧光透视检查装置输入视频信号的外部连接装置、(C)内部格式或DICOM格式的3D计划输入、(d)增强的视频信号输出、或其任意组合。在一些实施方式中，该系统与作为模块的至少一个荧光透视检查装置集成在一起，其包括经配置以获得RAW数据作为信号的RAW数据输入卡(S卩，而不是视频输入卡)。在一些实施方式中，该系统与锥形束(Cone-beam)CT系统集成在一起。
[0010]在一些实施方式中，本发明提供一种系统，该系统包括用于在自然体腔内部进行导航的器械，该器械包括:(a)在尖端具有锚固件(anchoring)的引导鞘和/或(b)导丝。在一些实施方式中，该器械是经配置以用作锚固机构的可膨胀球。
[0011 ]在一些实施方式中，本发明提供一种方法，其包括:(i)在来自第一成像模式的第一图像上选择感兴趣体积；(ii)从第二成像模式生成第二图像；(iii)使用第一成像模式和第二成像模式进行粗配准；(iv)从第一成像模式产生至少一个图案；(V)通过使用第二成像模式来生成匹配图案，该第二成像模式使用由第一成像模式产生的单个或多个图案；(Vi)增强来自第二成像模式的匹配图案以在感兴趣体积中高亮显示解剖结构从而产生第三成像模式。在一些实施方式中，使用大致相同的方法来发现和抑制位于感兴趣区之外的解剖结构。在一些实施方式中，图案包括解剖特征，包括但不限于气道、肋和血管。在一些实施方式中，从感兴趣区内部的至少一个器械位置的集合导出来自第二成像模式的匹配特征。
[0012]在一些实施方式中，本发明提供一种方法，其包括:使用第一成像模式获得患者胸部的至少一个第一图像;在3D空间中对包括支气管气道的自然体腔进行分段;从第二成像模式生成至少一个图像;通过组合信息生成来自第二成像模式的二维增强图像，其中该信息描绘了自然体腔的完整形貌或部分形貌，包括支气管气道树;像源自第二成像模式的支气管气道的一部分与源自第一成像模式的支气管气道的分段形貌之间的姿态估计那样计算第一成像模式与第二成像模式之间的配准;借助通过映射对应特征进行的姿态估计来计算第一和第二成像模式之间的配准。在一些实施方式中，使用被注入以高亮显示体腔的不透射线材料来生成增强的支气管造影片。在一些实施方式中，通过将定位在体腔内部的不透射线器械的至少两个不同位置的成像叠置在一起以生成增强的支气管造影片。在一些实施方式中，通过将定位在体腔内部的不透射线器械的至少一个不同位置以及C形臂相对于病床的取向的角度测量叠置在一起以生成增强的支气管造影片。在一些实施方式中，不透射线器械经设计和配置以从单个投影重构其三维空间。在一些实施方式中，可以用具有高粘度的不透射线物质生成增强的支气管造影片，高粘度的不透射线物质例如但不限于是水凝胶、反向热凝胶聚合物(reverse thermos-gelling polymer) ο
[0013]在一些实施方式中，本发明提供一种方法，其包括:提供源自第一成像模式的兼容的虚拟图像的参数，该第一成像模式例如但不限于用于荧光透视检查的DDR;确定虚拟图像上的对象尺寸，例如但不限于肋在DDR上某具体位置处的宽度;提供虚拟摄像头的姿态和视域，例如但不限于虚拟荧光透视检查摄像头;将第一成像模式投影到第二成像模式，例如由校准步骤计算出的荧光透视检查摄像头;确定虚拟图像上的对象尺寸，例如肋在DDR上某具体位置处的尺寸;通过比较源自第一图像(例如CT图像)的已知对象尺寸和第二图像(例如，荧光透视检查图像)上测量的对象尺寸来计算深度(例如但不限于，距荧光透视检查X射线源的特定对象或对象区的距离)。在一些实施方式中，不使用或除了在兼容的虚拟图像上的测量结果之外，通过技术规格来确定对象尺寸，例如工具刚性部分的长度或宽度。在一些实施方式中，导管类型的工具被设计为允许对作为距第二成像模式的摄像头中心的深度距离组合的轨迹进行计算。
【附图说明】
[0014]将参考附图进一步解释本发明。附图构成了本说明书的一部分，且包括图解的本发明的各实施方式并阐明了其各种对象和特征。本文公开的具体功能细节不应被解释为是限制性的，而应仅作为教导本领域技术人员以多种方式应用本发明的代表性依据。
[0015]图1是示出了本发明一实施方式的流程图，其示出了手术和诊断步骤的流程图。
[0016]图2是本发明方法的一实施方式的图解(例如，示出了增强的荧光透视检查系统和数据流)。
[0017]图3A和3B是图解示出了本发明方法的一实施方式的图像。
[0018]图4是示出了本发明方法的一实施方式的流程图(例如，解剖结构增强流程图)。
[0019]图5是示出了本发明方法的一实施方式的图解，其图解示出了本发明方法的三个强度测量结果:(A)示出了从参考成像模式获取的图案；(B)示出了来自术中模式的信号；以及(C)示出了来自术中模式的增强信号。该图解示出了本发明方法的一实施方式，其中该强度测量结果可基于至少一个信号增强来用于精配准(即，模板匹配)。
[0020]图6A和6B是示出了本发明方法的一实施方式的示意图，其示出了荧光透视检查图像。
[0021]图7是本发明方法的一实施方式，其图解示出了配准步骤，该步骤使用:(I)与支气管气道树有关的信息，其中该信息是从术前图像(例如，2维或3维图像;例如，CT扫描)中提取的，和(2)与至少一个气道有关的信息，其中该信息是通过使用增强的支气管造影照片从荧光透视检查图像中提取的。
[0022]图8示出了本发明方法的一实施方式，其图解示出了在某区域中注入不透射线物质后即刻(例如，注射后O秒)的荧光透视检查图像。
[0023]图9示出了本发明方法的一实施方式，其图解示出了某区域在被注射不透射线物质后30秒时该区域的荧光透视检查图像(例如，图像变得模糊)。
[0024]图10A、10B和1C示出了本发明方法的实施方式，其图解示出了穿过至少一条支气管和/或不同的支气管的导航(navigating)，并记录了每一导航事件的荧光透视检查图像。
[0025]图11示出了本发明方法的一实施方式，其图解示出了从图像组合(例如但不限于，图10A、10B和10C)中生成/导出的增强的支气管造影片，其中这些图像包含在例如但不限于至少一条支气管中的可视器械。
[0026]图12示出了本发明方法的一实施方式，其图解示出了投影到荧光透视检查图像平面的一段笔直的器械部分。
[0027]图13示出了本发明方法的一实施方式，其图解示出了与解剖路径(例如，支气管)相关的深度信息的恢复。
[0028]图14示出了具有用于本发明方法的一实施方式的锚状件的导航导管(例如，一次性或非一次性导管)。
[0029]图15A和15B是示出了从使用本发明方法获得的结果的一实施方式的图像。图15A是第一图像(例如，原始图像)，且图15B是具有高亮显示部分(例如，在虚线圈中所示)的第二图像。
【具体实施方式】
[0030]将参考附图进一步解释本发明，其中，各附图中相似的结构由相似的编号来表示。示出的附图不必是按比例绘制的，重点部分通常被突出以图解本发明的原理。进一步地，可能放大某些特征来展示特定组件的细节。
[0031]附图构成了本说明书的一部分，其包括图解示出的本发明的各说明性的实施方式并阐明了其各种对象和特征。进一步地，附图不必是按比例绘制的，某些特征可能被放大来展示特定组件的各种细节。另外，附图中示出的任何测量结果、规格(specificat1ns)等是图解性的、而非限制性的。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而应仅作为教导本领域技术人员以多种方式应用本发明的代表性依据。
[0032]在这些已经被公开的有益效果和改进中，本发明的其它目标和有益效果将会在结合附图的如下描述中变得明显。本文公开的是本发明的各种【具体实施方式】;但可以理解的是，公开的这些实施方式仅为可能以各种形式体现的本发明的示范例。另外，与本发明的各种实施方式一同提供的每一实例也是示例性而非限制性的。
[0033]在整个说明书和权利要求书中，除非本文另有明确规定，下列术语在本文中的含义明确相关。本文所使用的术语“在一个实施方式中”和“在一些实施方式中”虽然可以指相同的实施方式，但也并非必须指相同的实施方式。此外，本文中所使用的术语“在另一实施方式中”和“在一些其它实施方式中”虽然可以指不同的实施方式，但也并非必须指不同的实施方式。因此，如下所述，可以在不脱离本发明范围或精神的前提下容易地组合本发明的各种实施方式。
[0034]另外，如本文所使用的，除非本文另有明确规定，术语“或”是开放式的“或(or)”运算符，其相当于术语“和/或”。除非本文另有明确规定，术语“基于”不是排他的，而是还允许基于未描述的其它附加因素。此外，在整个说明书中，“一个(a)”、“一种(an)”和“该(the)”的含义包括所指代物的复数形式。“中(in)”的意思包括“在……中(in)”和“在……上(on)，，。
[0035]如本文所使用的，“粗配准(coarseregistrat1n)”指的是术前和术中图像的粗略对准。在本发明方法的一些实施方式中，粗配准使用全局信息而不考虑由呼吸、器械移动以及术前和术中图像之间的姿态变化等引起的局部组织的形变。
[0036]如本文所使用的，“元素(eIement)”指的是具有共同机械特性的解剖单元，共同机械特性例如为机械性质(例如但不限于，运动刚度(rigidity of movement)、柔性、强度)。在一些实施方式中，这些元素可以但不限于是支气管、血管、肋、图像图案等。
[0037]如本文所使用的，“精配准(fineregistrat1n)”指的是第一图像(例如术前图像)的感兴趣区周围的局部组织(例如但不限于，软组织)的配准，该第一图像的感兴趣区对应于第二图像(例如，术中图像)的区。在本发明方法的一些实施方式中，精配准是一种设计为对感兴趣区内部的局部组织的形变和/或组织的相对运动(例如但不限于，在呼吸过程中肋和肺之间的移动偏差)进行校准的技术/方法，其中感兴趣区例如但不限于工具尖端的局部附近、预标记的结节区等。在一些实施方式中，精配准进一步允许超过粗配准在感兴趣区中的局部配准精度的提高，同时例如变换矩阵、投影后的图元(projected primitives)和输出图像等的粗配准输出供精准配准作为输入使用。
[0038]如本文所使用的，“映射(mapping)”指的是将多个元素从第一成像模式的第一图像转换到第二成像模式的第二图像。在一些实施方式中，映射可包括:(I)识别第一图像的多个元素，(2)识别第二图像的多个元素，(3)将第一/第二图像的多个元素与第二/第一图像的对应的多个元素进行配对，(4)将第一/第二图像的多个元素与第二/第一图像的多个元素中的对应对进行配准(即，配准)。在一些实施方式中，由精配准和/或粗配准来执行配准。作为非限制性实例，映射可以包括⑴识别来自第一图像(例如，CT图像)的多个(例如但不限于，2个、3个、4个、5个、6个、7个、8个、9个、10个等元素)元素(例如，支气管、肋等)，(2)识别第一图像(例如，CT图像)上的多个荧光透视检查元素和在第二图像(例如，荧光透视检查图像)上的多个荧光透视检查元素，(3)将作为第二图像上的对应元素(S卩，支气管，肋)的多个元素的子集进行配对，(4)将这些元素配准到第二图像上对应的元素对，其中映射的结果是第一图像的气道，或其任何组合的表示(representat1n)。在一些实施方式中，可以从原始图像中导出图像，该原始图像例如但不限于是DDR图像、已编辑图像、已处理图像等。
[0039]在一些实施方式中，虽然术语“术前图像”用于描述本发明，但对本领域技术人员来讲明显的是，当在术中阶段获取例如CT、MRI或X射线放射成像的参考图像时，也可以应用相同的概念。在一些实施方式中，本发明的方法可应用于使用或不使用造影剂所进行的成像中。
[0040]在一些实施方式中，本发明涉及一种方法，其允许使用第一成像模式(例如CT、MRI等)和通过使用第二成像模式产生增强图像的计划信息，该第二成像模式例如但不限于荧光透视检查法、数字减影血管造影术(digital subtract1n ang1graphy，DSA)等。在一些实施方式中，本方法进一步包括高亮显示感兴趣区和/或结构。在一些实施方式中，本方法可以包括额外的成像和/或计划信息，其中额外的成像和/或计划信息可以源自/产生于第一成像模式，且作为非限制性实例可包括叠置(superimposing)如下内容:(i)用于获得胸部的至少一个第一图像的第一成像模式，(ii)通过限定界标、感兴趣区、切口点、关键结构、分叉、解剖器官(anatomical organs)等的手术过程的手动和/或自动计划；(iii)从第二成像模式中获取的至少一个第二图像，该第二成像模式例如但不限于荧光透视检查法和/或DSA，以及从第一成像模式中生成兼容的虚拟图像，例如数字化重构放射摄影(DRR) ;(iv)计划数据到兼容的虚拟图像上的至少一个对象和/或结构的映象(“映射” );(V)来自第二成像模式的至少一个第二图像或视频帧(Video frame)到源自第一成像模式的第一图像或其部分的配准；(vi)从兼容的虚拟图像中识别的计划数据，该兼容的虚拟图像源自第一成像模式并且通过图像配准被配准到来自第二成像模式的至少一个第二图像；(vii)从兼容的虚拟图像映射的计划数据，该兼容的虚拟图像源自第一成像模式并且通过图像配准被配准到来自第二成像模式的至少一个第二图像；(viii)高亮显示的感兴趣区，例如但不限于用于获得至少一个第三图像的源自第二成像模式的该至少一个第二图像上的至少一个解剖结构，其中该至少一个第三图像被增强;或其任意组合。
[0041]在一些实施方式中，本方法进一步包括叠置至少一个图像或该至少一个图像的派生物、该至少一个图像的一部分、或基于源于第一成像模式的计划数据的图像。在其它实施方式中，本方法包括辅助医疗器械进行移动的导航和引导指令。在一些实施方式中，本方法进一步包括用于定位第二成像模式的引导(guidance)，例如使用荧光透视检查C形臂，以允许感兴趣区保持最优的可视度。在一些实施方式中，本方法进一步包括追踪来自第二成像模式(例如但不限于荧光透视检查视频)的后续帧上的解剖结构，该第二成像模式具有基本相同的获取参数，其中，获取参数可以包括但不限于观察的模式、位置、视域，以导致生成增强的荧光透视检查图像，其中通过抑制静止的解剖结构和/或改进下方软组织的信噪比来生成增强的荧光透视检查图像。在一些实施方式中，本方法包括执行多阶段配准，其中首先对具有小幅运动(例如但不限于2-5厘米)的至少一个静止对象进行配准，该静止对象例如但不限于是肋。在一些实施方式中，在首先配准了静止对象之后，在接下来的配准迭代期间对例如但不限于是隔膜、支气管、血管等的更多的动态对象进行配准。在一些实施方式中，本方法进一步包括淡化干扰结构(例如，会干扰某一步骤(例如但不限于从聚焦于血管的图像中移除肋)的解剖焦点的任何结构)。
[0042]在一些实施方式中，本发明的方法允许生成具有高亮显示的感兴趣区和/或结构的至少一个增强的第三图像，其例如但不限于是术中的荧光透视检查图像、DSA图像等，该方法包括但不限于:(i)使用具有已知相对运动和/或转动的至少两个术中图像以允许根据至少两个术中图像的运动变化和/或强度值来为该至少两个术中图像的像素进行分组；(ii)在至少两个顺续(sequential)的术中图像之间执行配准和/或交叉相关以重构感兴趣区中的结构；(iii)基于用户需求区分感兴趣区内的移动结构和静止结构；(iv)在术中图像上高亮显示解剖结构;或其任意组合。
[0043]在一些实施方式中，本发明的方法进一步包括使用患者胸部的X射线放射图像，同时该X射线放射图像可作为参考图像从而能够通过使用类似的(analogous)过程来增强第二图像上的至少一个解剖结构，即，来自由不同能量级获得的放射图像的信息的交叉相关。
[0044]在一些实施方式中，本发明涉及增强的荧光透视检查装置，其允许生成至少一个增强的荧光透视检查图像，其中该增强的荧光透视检查装置可包括但不限于:(i)视频和图像处理单元；(ii)视频输入卡和/或经配置以输入来自荧光透视检查装置的视频信号的外部连接装置；(iii)内部格式和/或DICOM格式的3D计划输入；(iv)增强的视频信号输出；或其任意组合。
[0045]在一些实施方式中，本发明的装置与荧光透视检查装置(S卩，作为模块)集成在一起以获得RAW数据作为信号，并包括RAW数据输入卡。在一些实施方式中，该装置具有RAW数据卡而不是视频输入卡。在一些实施方式中，本发明与锥形束CT系统集成在一起。
[0046]在一些实施方式中，本发明涉及一种高亮显示组织或解剖结构的方法，其中该方法可包括:(i)在源于第一成像模式的图像上选择感兴趣体积，该第一成像模式例如但不限于CT和/SMRI; (ii)从第二成像模式中获取图像；(iii)在第二成像模式和第一成像模式之间执行粗配准以在第二成像模式中识别对应于第二成像模式中的一个的虚拟摄像头的姿态；(iv)从第一成像模式生成针对感兴趣体积周围的解剖结构的至少一个图案；(V)使用产生于第一成像模式的单个图案或多个图案识别第二成像模式中的匹配图案；(vi)高亮显示(即，增强)来自第二成像模式的匹配图案以在第三成像模式上的感兴趣体积中增强解剖结构;或其任意组合。
[0047]在一些实施方式中，本方法包括发现和抑制位于感兴趣区之外的解剖结构。
[0048]在一些实施方式中，本发明包括一种对象深度计算的方法，该方法包括但不限于:
(i)提供源于第一成像模式的兼容的虚拟图像的参数(作为非限制性实例，第一成像模式可以但不限于是用于荧光透视检查的DDR); (ii)确定虚拟图像上的对象尺寸，例如肋在DDR上某一具体位置处的宽度；(iii)提供第二图像的姿态和视域(作为非限制性实例:由校准过程计算的荧光透视检查摄像头)；(iv)通过比较(a)源于第一图像(例如但不限于CT图像)的已知对象的尺寸和(b)在第二图像(例如但不限于荧光透视检查图像)上测量到的对象尺寸来计算深度(例如但不限于来自荧光透视检查X射线源的特定对象或对象区的距离)。
[0049]在一些实施方式中，通过如下方式确定对象尺寸:(I)技术规格(technicalspecificat1n)和/或(2)兼容的虚拟图像上的测量结果，例如但不限于刚性工具部分的长度和/或宽度。在一些实施方式中，本方法包括一种工具，该工具被设计为允许对作为距第二成像模式的摄像头中心的深度距离的组合的轨迹进行计算。
[0050]在一些实施方式中，本发明提供一种装置和方法，该装置和方法扩展被广泛用于诊断和医疗过程中的荧光透视检查成像模式的可视化能力。在一些实施方式中，本文提出的称为“增强的荧光透视检查”的方法允许增强被实时评估的患者内部结构内的特定感兴趣区域(reg1n)的可视度。在一些实施方式中，本发明的方法用于软组织的可视化。在一些实施方式中，本方法允许提高从业者(例如但不限于医生、护士、专家等)对医疗过程中荧光透视检查(例如，用于软组织可视化)的可视化能力的控制。在一些实施方式中，由受训者对本发明的方法的使用可以降低学习曲线(例如但不限于，缩短培训时间、降低计算错误等)
[0051]在一些实施方式中，本发明呈现的装置包括如下功能:信号输入、处理和显示的能力，其中这些功能可被安装在例如操作间中。在一些实施方式中，本发明的装置经配置以从现有的成像设备中整合信号从而提供先进的可视化能力。在一些实施方式中，本发明是独立设备。在一些实施方式中，本发明是至少一个模块并且与现有设备集成在一起。
[0052]在一些实施方式中，本发明的方法包括使用例如但不限于CT扫描或MRI的术前成像模式执行术前计划。在一些实施方式中，执行的术前计划可用于限定能够在实时的荧光透视检查过程中被增强的组织的感兴趣区和/或机械性质。在一些实施方式中，除了增强/高亮显示术中荧光透视检查图像上的感兴趣区外，本发明的方法还可在术中荧光透视检查图像上生成叠层(overlay)。在一些实施方式中，叠层可包括:内部和外部界标以及诸如病变和/或切除术边界、切口点、支气管气道、血管等的解剖结构的位置信息。在一些实施方式中，本方法包括:(i)执行术前计划和(ii)在诊断过程和/或治疗过程期间使用术前计划。在一些实施方式中，使用本发明的方法改进了诊断和/或治疗过程的效力和安全性。
[0053]在一些实施方式中，本文公开的本发明涉及增强的荧光透视检查装置的多个方面，还涉及允许实时地高亮显示荧光透视检查图像的元素或感兴趣区的方法的多个方面。高亮显示的示例性实施方式包括可选的叠置(例如但不限于，在用于诊断和/或治疗过程的静止或动态荧光透视检查图像上方叠置术前计划元素)。在本发明方法的一些实施方式中，高亮显示的方法包括:(i)突出(bold)选定的区域；(ii)着色选定的区域(例如，选择区域并将颜料(例如但不限于黄色、蓝色、红色、绿色等)放置到灰度图像上；(iii)加强组织/区域的图像(例如，参见图3，其中“增强的图像”是“加强的图像在荧光透视检查图像上方叠置图形(例如但不限于在CT扫描的选定区域上方叠置边界(例如，点划线、短划线等))；或其任意组合。在一些实施方式中，可以自动地、半自动地、手动地或以其任意组合来执行尚壳显不O
[0054]传统的荧光透视检查通常被用于获得医疗过程期间患者内部结构的实时移动图像。传统的荧光透视检查是用于在体内(例如但不限于人体内)引导医疗器械的可视化和验证成像工具。虽然骨组织和例如但不限于导管、活检工具、手术器械、校准工具等的医疗器械在荧光透视检查图像上是清晰可见的，但是诸如软组织、血管、可疑节结等的较低密度物质的特征难以用传统的荧光透视检查识别出。以肺癌诊断过程为例，通常在过程之前获取CT扫描。虽然可以在CT扫描上清晰地观察到肺结节，但大部分情况下都不能在荧光透视检查图像上清晰地指明该肺结节。在诊断和/治疗过程之前，健康护理专业人员(例如内科医生)通常研究术前CT扫描和/或MRI图像以识别需要在接下来的过程中被处理的感兴趣区。利用三维(“3D”)成像信息和专业的知识/经验，内科医生可以计划接下来的过程而不需要这种计划的实际详细的文档。
[0055]在实际的诊断或治疗过程中，内科医生频繁使用荧光透视检查器来核实/识别诊断和手术器械的位置和/或运行。由于目标区域没有被清楚地指明于荧光透视检查图像上，内科医生可能需要猜测/估计目标区域的位置。而且，由于荧光透视检查图像呈现的是来自穿过患者的X射线的累积的信息，随着X射线在与身体的不同内部结构相互作用时以可变的量被减弱，低密度软组织被高密度组织阻隔(occluded)。另外，三维信息从荧光透视检查图像中遗失。结果，有很高的可能性通过对显示在荧光透视检查图像上的视觉信息的错误解读而产生用户错误。最终，该典型步骤通常导致低至35%的诊断率(S卩，诊断过程提供建立明确诊断所需要的信息的可能性)、明显更大的切除区边缘(例如，但不限于增大10%、20%、30%、40%、50%)、明显更长的过程时间以及在目标软组织区或结节通过传统的荧光透视检查时在相同医疗设施内的不一致的结果。
[0056]电磁导航系统(electromagnetic navigat1n system,ENB)可用于本发明的方法以支持间体(inter-body)导航。ENB通常使用术前静止的CT图像。
[0057]本发明的方法使用实时的荧光透视检查图像(S卩，非静止的图像)。在一些实施方式中，本发明涉及一种装置，其经配置以实现实时模式，该实时模式允许用户/从业者(有效地)看到使用诊断或手术器械的诊断和/或治疗过程中的软组织目标区。在一些实施方式中，实时可视化是有益的，由于呼吸过程中肺组织具有显著的移动和/或形变，对于器械的定位来说，例如CT或MRI的术前静止图像信息相对于目标区而言是不准确的，因此，其中除了(a)术前CT成像和(b)实际诊断或治疗过程相比较具有可能实质上不相似的患者情况之夕卜，形变是由诊断器械或手术器械在患者(例如，人体)体内的推进引起的。
[0058]在一些实施方式中，本发明的方法可以包括使用第三成像模式，其经配置以在诊断性治疗或治疗过程期间联合第一成像模式(例如但不限于术前CT)的使用而使用第二成像模式(例如但不限于实时的荧光透视检查)。在一些实施方式中，本方法可包括第三成像模式，该模式经配置以在诊断和/或手术过程期间产生具有高亮显示的感兴趣元素/特征的第三图像(即，增强的图像)。在一些实施方式中，本方法可以有助于缩短操作时间和/或改进这种过程的学习曲线(例如，对于初期从业者)。
[0059]在一些实施方式中，本发明的方法可以被用于手术过程期间和/或用于在感兴趣区的实时可视化下进行引导。
[0060]在一些实施方式中，本方法允许从业者通过向第二图像(例如，传统的荧光透视检查图像)添加信息的至少一个三维方面来控制第三图像(例如，荧光透视检查图像)上感兴趣区中特定元素的可视度。在一些实施方式中，本方法能够协助用户以使其关注感兴趣区(即，手术过程中所需的正确的感兴趣区)，包括，例如，感兴趣区周围的附属结构的检查，例如但不限于血管、支气管气道等。在一些实施方式中，本发明的方法包括向用户建议最佳的荧光透视检查角度以增加在诊断和/或治疗过程时病变的可视度，其中该建议是基于至少一个DDR术前图像的。
[0061]在一些实施方式中，本发明的方法允许内科医生在手术过程期间提高控制，其中该控制包括根据术前计划和三维成像数据显著提高内科医生相对于诊断器械和/或手术器械准确识别治疗区和/或至少一个关键结构的能力。
[0062]在一些实施方式中，本发明的方法使用具有集成软件算法的硬件装置，该硬件装置经配置以允许集成和处理第一图像(例如术前的)和第二图像(例如，术中荧光透视检查的)，并在输出(即，结果)上渲染(rendering)第三图像(例如，增强的荧光透视检查)的实时或离线图像。
[0063]在一些实施方式中，本发明的方法使用角度测量装置/传感器(例如，直角传感器、加速计、陀螺仪等)，其被配置为允许在(a)荧光透视检查C形臂与(b)患者之间确定空间相对角度和/或位置(姿态)。
[0064]在一些实施方式中，本发明的方法可以利用可操纵导管，其经配置以允许测量患者体内(例如但不限于患者胸腔内部)的深度和/或与荧光透视检查摄像头之间的距离。
[0065]在一些实施方式中，本发明的装置和方法提供实时的第三成像模式(例如，增强的荧光透视检查模式)以允许使用(a)来源于第一图像(例如，术前CT图像)的信息和(b)在计划阶段期间产成的用于高亮显示感兴趣区(即，提供增强的图像)的信息(例如，决策)，可选地包括显示(a)来源于第一图像的信息和/或(b)计划阶段期间在第二图像(例如，荧光透视检查图像)上方生成的信息。
[0066]在一些实施方式中，本发明的方法可用于辅助对涉及软的移动组织的诊断和/或治疗过程，该软的移动组织例如但不限于是肺、肝、肾等。在一个示例性实施方式中，在肺病学中，周围结节可被高亮显示于荧光透视检查图像上和/或可以实时地叠置于荧光透视检查图像上方的该周围结节的数字化重构放射照片(digitally reconstructedrad1graph，DRR)图像上。在一些实施方式中，使用三维CT图像来高亮显示二维(“2D”)荧光透视检查图像上的感兴趣区的步骤适用于其他医疗应用中。
[0067]在一些实施方式中，本发明的方法可用于锥形束CT装置。在一些实施方式中，结合本发明的方法与锥形束CT装置允许更高的导航精度、自动的荧光透视检查姿态控制、降低的辐射剂量等。
[0068]在一些实施方式中，本发明的方法允许从业者根据第三图像(例如，荧光透视检查图像/增强的图像)上高亮显示的实时信息来导航和/或操作医疗器械，其中，该第三图像可包括从术前图像中提取的叠置的解剖和/或计划数据。
[0069]在一些实施方式中，本发明的方法提供实际手术器械和高亮显示的感兴趣区和/或解剖元素的实时的第三图像(例如，荧光透视检查图像/增强的图像)。在一些实施方式中，本方法可在增强的图像上提供叠加(over laid)的目标解剖特征。在一些实施方式中，本方法可以在增强的图像上提供计划信息，这些计划信息例如但不限于切口点、切割区边界、参考点等。
[0070]在一些实施方式中，本发明的方法和装置允许用户/从业者组合多模式成像信息并且利用之前获得的三维体积数据来高亮显示移动的和静止的软组织区(即，生成增强的图像)。
[0071]在一些实施方式中，本发明的方法包括产生增强的荧光透视检查图像，该图像向用户/从业者提供在增强的荧光透视检查图像上的识别结构，该识别结构由荧光透视检查视频和/或连续的荧光透视检查图像上的像素分组(例如，不同的像素分组)的移动变化分析生成。在一个示例性实施方式中，肺内部的软组织病变相比于肋部在不同方向上移动，且软组织移动的幅度通常比肋部中的一个更大，这导致软组织与肋结构的投影的移动之间存在由荧光透视检查视频帧测量的差异。在一些实施方式中，与每一像素衰减值的信息相结合的所测量到的差异允许像素组成为物理结构和/或对象。在一些实施方式中，当被组成对象，在参考由用户/从业者确定的医疗应用的条件下，可以在荧光透视检查图像上高亮显示或淡化物理结构。在一些实施方式中，可以通过从荧光透视检查图像的序列中提取对象信息来进一步加强增强的荧光透视检查图像，这一过程可以使用由术前图像提供的信息而可选地被改善，其中术前图像例如但不限于CT、MR1、胸部X光放射摄影图像、或其任意组合。
[0072]在一些实施方式中，本发明的方法包括自动校准至少一个静止的荧光透视检查图像和/或实时视频中的视频帧。在另一实施方式中，本方法包括(i)在术中荧光透视检查期间，以多个角度产生具体解剖结构的品质或感兴趣区的可视度的预测以及(ii)为使用荧光透视检查C形臂推荐角度以提供具体解剖结构或感兴趣区的可视度，这为用户提供了引导且实现了感兴趣结构/区域(例如相对于图像背景)的增强的可视度。
[0073]在一些实施方式中，本发明的方法基于整体荧光透视检查图像，通过改变集成在荧光透视检查装置中的现有自动增益算法来处理从荧光透视检查装置中获取的RAW数据。在一些实施方式中，本方法包括使用基于区域的增益计算算法。在一些实施方式中，具体的基于区域的增益计算算法源自于感兴趣区周围的相应的三维解剖部位的知识，并且包括评估感兴趣区的物理性质，其中相应的三维解剖部位是从CT或MRI图像获得的。在一些实施方式中，本方法提供具体的信号处理，该信号处理降低了提供在目标区域中作为结果的荧光透视检查图像(即，增强的图像)上的信息损失，并还可引起目标区域的可视度增强。
[0074]在一些实施方式中，本发明的方法和装置可以用于在两个或多个手术的实时视频图像和/或静止的术前图像之间保持/产生精确的配准(即，粗配准和/或精配准)。
[0075]在一些实施方式中，本发明的方法和装置可以包括术前数据(S卩，由用户/从业者产生的决策/信息)的使用，其中信息显示在显示屏上，且可以在应用特异性或用户特异性的基础上动态地确定所显示信息的分辨率和/或品质。
[0076]在一些实施方式中，本发明涉及使用具有集成软件算法的硬件装置的方法，该硬件装置经配置以提供来自第一成像模式(例如，术前图像)和第二成像模式(例如，术中荧光透视检查图像)的输入以生成作为输出的第三成像模式图像(例如，增强的荧光透视检查图像)。
[0077]在一些实施方式中，本发明的方法提供具有可配置的显示元件和输出视频格式的实时输出校准图像。
[0078]在一些实施方式中，本发明的方法可以使用具有集成的软件算法的硬件装置，该硬件装置具有单独的和/或模块化的构造。
[0079]在一些实施方式中，本发明的方法使用硬件装置，该硬件装置经配置以向用户提供确定荧光透视检查C形臂与患者身体之间的相对空间姿态的角度测量。在一些实施方式中，该装置适用于那些在手术期间无法获得或无法使用角度信息的荧光透视镜模型。
[0080]在另一实施方式中，本发明的方法可以包括通过使用从术前图像(例如CT扫描)中导出的相应的三维解剖结构从若干个荧光透视检查图像(例如，2个图像、3个图像、4个图像、5个图像、6个图像、7个图像、8个图像、9个图像、10个图像等)在三维空间中重构至少一个解剖结构。
[0081 ]参考图1，其示出了本发明一实施方式的方法100的流程图。
[0082]在本发明一实施方式的方法100的步骤101，获取第一图像(例如，术前图像，诸如CT或MRI)并将其转换到3D空间中，该第一图像在手术治疗或诊断过程期间被使用以计划治疗和/或诊断。
[0083]在本发明一实施方式的方法100的步骤102，从业者(例如但不限于胸腔科医师或外科医生)对在步骤101获取的术前数据执行术前计划，在此期间，从业者标记出感兴趣区(例如，在可疑病变周围进行活检或切除的区域边界，用于优选的工具引入的途径或切口点、关键结构(例如但不限于主要血管、受限区域))和靠近感兴趣区的优选路径。在一些实施方式中，可以手动和/或半自动地执行步骤(即，102)，半自动地执行步骤例如当由计算机软件自动地识别部分信息时。
[0084]在本发明的一些实施方式中，一旦计划完成，在步骤104处理信息以映射(S卩，“映射”)和/或识别(即，“识别”)感兴趣区，其中映射和/或识别允许在3D空间中计划元素和/或识别主要解剖结构。在一些实施方式中，从映射收集的信息(即，“映射信息”)被从(a)源自第一成像模式的图像传递到(b)源自第二成像模式的图像。在一些实施方式中，在第一图像源和第二图像源上执行粗配准和/或精配准之后传递映射信息。在一些实施方式中，图像源(例如但不限于，第一图像源)可以被用于/重复用于在第二成像模式运行期间(例如但不限于，术中荧光透视检查)高亮显示的目的。
[0085]用于身体器官的映射或识别技术的非限制性实例被公开在如下文章中:“通过基于集成学习的协同多数表决决策在3D CT图像上自动定位实体器官(Automat i clocalizat1n of sol id organs on 3D CT images by a collaborative majorityvoting decis1n based on ensemble learning)，，，by Zhou XjFujita HjComput MedImaging Graph，2012。该文章通过引用以其全部并入本文。例如，3D CT扫描中目标器官的位置可以被呈现为紧密且精确地界定器官区域的3D矩形(例如用作至少一种器官的边界)。例如，自动地检测目标器官特异性3D矩形的位置(例如但不限于，边界矩形)。使用集成学习训练多个2D检测器并且在3D中使用协同多数表决来组合多个2D检测器的输出从而定位器官。例如，可以单独地和/或独立地使用不同内部器官的位置检测。示例性方法包括如同在一系列2D图像片中检测若干个独立的2D对象那样在3D CT扫描中处理3D器官定位，其中该方法可以⑴降低特征维度(3D到2D)以及(ii)增加集成学习过程中训练样本的数量(例如，由大量的2D训练样本组成的一个3D训练样本)。示例性方法可以根据奥卡姆剃刀原理(Occam’s Razor)增加受训检测器对于未知样本的鲁棒性(robustness)。例如，对于未知的3D CT扫描，示例性方法独立地将不同的2D检测器应用到每一立体像素以沿着3个正交方向检测目标的2D候选点的数量并且将这些2D候选点表决回到3D空间。可以通过核查全部2D检测器响应中的互相认同和在3D表决空间中选择大多数相关2D候选点的范围来将目标的存在和近似中心方位确定为目标位置。
[0086]用于身体器官的映射或识别技术的非限制性实例还被公开在如下文章中:“使用强度对应关系进行的CT-样图集到焚光透视检查X射线图像的配准(Registrat1n of aCT-1ike atlas to fluoroscopic X-ray images using intensity correspondences)，，，M.Sc thesis by Aviv Hurvitz,supervised by Prof.Leo Joskowicz,The Rachel andSelim Benin(School of Computer Science and Engineering The Hebrew Universityof Jerusalem, Israel ,August ,2008)，该文章通过引用以其全部并入本文。该示例性方法允许骨的术中定位，其中该方法不需要任何术前图像，且具有比多种替代方式更小的侵害性。例如，在术前阶段，从CT图像样本构建感兴趣解剖结构的CT样强度图集。在术中阶段，新的2D/3D可变形配准算法可被用于将该图集配准到患者解剖结构的荧光透视检查X射线图像。该配准算法经配置以在图集的模板骨表面和荧光透视检查X射线图像中的骨轮廓之间建立基于强度的对应关系。该配准算法经进一步配置以搜索最小化或降低配对的特征之间距离的骨形状和姿态。该算法被迭代地配置以改进骨形状和姿态估计直到骨形状和姿态估计汇于一点(converge)为止。
[0087]在一些实施方式中，本方法包括通过使用2D荧光透视检查图像通过将2D荧光透视检查图像上的每一立体像素匹配到源自CT扫描的3D结构以生成增强的3D荧光透视检查图像。本发明的方法不使用示踪元素和/或标记物，例如但不限于在配准期间束缚(tethered)至装置的不透射线的标记物、不透射线的粒子喷雾(spray)、可膨胀的不透射线的气球、不透射线的细丝(filament)。
[0088]在一些实施方式中，本发明的方法可以生成:(i)应当在手术过程期间显示的可视化数据；(ii)用于引入至少一个医疗器械的推荐路径；(iii)基于解剖学知识和手术细节的引导说明；(iv)针对C形臂的推荐角度或姿态，由此最优化感兴趣区的可视度;或其组合。
[0089]在一些实施方式中，在手术期间在步骤106获取荧光透视检查图像，同时将医疗器械引入感兴趣区。在一些实施方式中，荧光透视检查图像可以被获取为单一图像和/或视频。
[0090]在一个实施方式中，生成的荧光透视检查图像和/或视频被引入图2所示的处理单元218以作为荧光透视检查图像处理108的输入。在该实施方式中，图2所示荧光透视检查C形臂209与图2所示患者214之间的姿态要么从外部传输要么由处理单元计算。在该实施方式中，使用与虚拟C形臂大致相同的姿态和与实际的荧光透视检查大致相同的摄像头参数从术前图像生成兼容的数字重构放射摄影(DRR)图像。在一些实施方式中，图像被校准，其中“被校准”是指根据现有的X射线测量术知识荧光透视检查图像畸变被校正以及荧光透视检查与CT在强度值上的X射线能量差被补偿。
[0091]在一些实施方式中，如下参考内容讨论了对实际荧光透视检查图像的DDR模拟、校准和配准:“在 GPU 上进行的 2D/3D 图像配准(2D/3D Image Registrat1n on the GPU)”，Alexander Kubias,University of Koblenz-Landau,Koblenz,Germany,Thomas Brunner,Siemens Medical Solut1ns,Forchheim,Germany,2007。该文章通过引用以其全部并入本文。例如，该示例性方法在图形处理单元(graphics processing unit，GPU)上高效地执行刚性的2D/3D图像配准。在GPU上执行配准算法的两个部分，S卩DRR生成和相似性度量的计算。另外，还有如下文章:“使用距离图分类对X射线引导的支气管镜检查进行的2D/3D配准(2D/3D Registrat1n for X-ray Guided Bronchoscopy using Distance MapClassificat1n)，，，by Di Xu , Sheng Xu , Daniel A.Herzka , Rex C.Yung ,MartinBergtholdtjLuis F.Gutierrez ,Ell1t R.McVeigh，该文章通过引用以其全部并入本文。例如，该配准算法可以被分组成两类:(I)基于强度的和(2)基于特征的，其中基于特征的配准可以与本发明的方法一起使用。例如，可以从X射线和/或CT图像中提取肋和脊柱的边缘。可进一步为X射线图像的多个(例如但不限于，每一记录的边缘点，其可引起使用所有边缘点)边缘点生成距离图，以通过将CT图像的边缘投影(edge pro j ect 1ns)吸引到X射线图像中最接近的边缘来促进/允许2D/3D配准。当距离图不具有边缘的任何定向信息时，不同结构的边缘之间可能发生错误配准。可以通过使用定向依赖性的距离图来降低错误配准，以实现捕获范围与精度提高的更具鲁棒性的配准。
[0092]在一些实施方式中，在步骤104生成的映象(map)用于为DRR图像上的每一被投影元素提供空间信息。在一些实施方式中，在DRR与实际的荧光透视检查图像之间执行配准。配准的实例，例如基于特征的或基于强度的配准被公开在如下文章中:“用于放射治疗中患者定位的射野图像和容积CT的自动配准(Automatic registrat1n of portal imagesand volumetric CT for patient posit1ning in radiat1n therapy)，，(参见，例如，Ali Khamene ,Frank Sauer ,Medical Image Analysis 10(2006)96-112)，该文章通过引用以其全部并入本文。例如，基于特征的配准步骤可以包括在参与到配准过程中的每一成像模式的特征之间进行特征对应的步骤。作为配准的结果，针对DRR图像生成的空间信息可以被传递到实际的荧光透视检查图像上。被添加到实际的荧光透视检查图像中的3D空间信息允许对实际的荧光透视检查图像实施计算机视觉步骤，由此操作3D空间中的对象，而不是作用于2D图像像素。使用该方法允许通过穿过已知解剖结构的X射线束的集成来描述荧光透视检查图像的每一像素。
[0093]在一些实施方式中，使用本发明的方法重新存储在荧光透视检查图像获取期间丢失的信息。在一些实施方式中，感兴趣区可以被高亮显示在实际的荧光透视检查图像上，而可以淡化诸如骨、心脏、血管的干扰结构。在一些实施方式中，可以通过追踪连续视频帧来实现增强的图像品质的额外改善，其中对于不同的解剖结构的移动特征可能会变化。
[0094]使用本发明方法的实施方式，在步骤110产生增强的荧光透视检查图像或视频帧序列。在一些实施方式中，根据用户需求或基于系统配置，在计划阶段生成的各种元素可以被显示在增强的荧光透视检查图像上。
[0095]图2示出了显示本发明一实施方式的示意图，其示出了增强的荧光透视检查系统/方法及数据流。
[0096]在本发明的用于产生增强的荧光透视检查图像的一个实施方式中，本方法包括使用:
[0097]I )C形臂202，其用于移动框架209，该框架209具有附接的包括X射线管204和增强器208的荧光透视检查对；
[0098]2)X射线管204，其生成穿过准直器206的X射线，准直器206设计为收窄X射线束；[0099 ] 3)生成的X射线束穿过被附接至床212的患者身体214;
[0100]4)减弱的X射线束进一步被形成RAW数据荧光透视检查图像的X射线图像增强器208吸收。X射线被208转换成可视图像；
[0101]和/或
[0102]5)视频信号不断地被摄像头210捕获并被传输至监控器216;
[0103]6)获取CT图像220作为输入的计划台222允许用户由如上图1中的102和104所指明的那样来计划诊断和治疗过程；
[0104]7)生成的计划数据、3D体积数据被传输至单元218，其中来自216的视频信号或来自208的可替换的RAW数据被不断地传输至处理单元218;
[0105]8)如图1的108和110所指明的，增强的视频图像由218产生并由监控器224显示；
[0106]9)或其任意组合。
[0107]在本发明的一个实施方式中，添加如下元件以提供C形臂的姿态测量:(I)附接至C形臂框架209的传感器211和/或(2)附接至患者身体214和/或病床212的参考传感器213。
[0108]可用于本发明实施方式以允许评估姿态估计的传感技术实例可以包括:光学传感器、加速计、电磁传感器、红外超声传感器、回转传感器(例如可用于现代智能手机上)等。可用于本发明方法中的使用姿态估计方法的一个实例被描述在如下文章中:“用于医疗应用的鲁棒性多传感器姿态估计(Robust Multi Sensor Pose Estimat1n for MedicalAppl i cat 1ns),! by Andreas Tobergte ,Gerd Hirzi nger, Intelligent Robots andSystems,2009.1ROS 2009.IEEE/RSJ Internat1nal Conference，该文章通过引用以其全部并入本文。
[0109]在一些实施方式中，本方法可以使用一组或多组具有预定几何配构型标记物，它们可以被附接至病床，如下面文章中所讨论的基于C形臂姿态估计的快速标记物(FastMarker Based C-Arm Pose Estimat1n)，，by Bernhard Kainz ,Markus Grabner,andMatthias Ru’ther，Institute for Computer Graphics and Vis1n,Graz Universityof Technology ,Austria，该文章通过引用以其全部并入本文。
[0110]图3示出了本发明的示例性实施方式，其示出了增强的荧光透视检查图像的图解。在一个实施方式中，诊断器械和骨可以在原始图像上清晰地看到而目标区域是不可见或不清晰的。在一个实施方式中，目标区域被高亮显示在增强的荧光透视检查图像上，例如在右侧。在一个实施方式中，本方法包括高亮显示血管，而淡化骨。
[0111]图4示出了本发明方法的一个实施方式，其示出了方法400的流程图。在方法400的步骤401示出了在诊断或治疗过程之前用户在术前图像(例如，CT或MRI)上选取感兴趣区。在方法400的步骤403，在术前图像上生成感兴趣体积。在一个实施方式中，该体积以如下方式生成:感兴趣区中的解剖结构(例如病变和诸如支气管或血管的附属解剖结构)可在手术图像(例如荧光透视检查图像)中被检测到。在一个示例性实施方式中，例如，DDR图像可用于评估荧光透视检查图像上的可检测性。
[0112]在本发明方法的一些实施方式中，在方法400的步骤405，获取术中图像或视频。在一实施方式中，与至少一个术中图像一起计算或记录术中模式的姿态。在一实施方式中，在方法400的步骤407，执行术中图像与术前图像之间的粗配准，例如但不限于荧光透视检查至IjDDR之间的配准，从而评估例如但不限于CT体积的术前图像数据内部的DDR视点。粗配准的一个实例示出在如下文章中:“在GPU上进行的2D/3D图像配准(2D/3D ImageRegistrat1n on the GPU)，，，by Alexander Kubias ,University of Koblenz-Landau,Koblenz ,Germany,Thomas Brunner，Siemens Medical Solut1ns，Forchheim,Germany，2007，该文章通过引用以其全部并入本文。本发明方法的一些实施方式使用，例如，基于肋的刚性图像配准:例如，使用2D/3D图像配准，以将术前体积(例如，CT或MRT)与术中X射线图像配准。可以由本发明的方法来使用刚性图像配准，其中体积仅可以依照三维坐标轴而被平移和旋转，其中通过参数矢量X = (tx,ty,tz,rx,ry,rz)给定变换。参数tx，ty，tz代表沿着乂-、￥-、2-轴线在毫米(111111)量级上的平移，而参数1\，巧，1'2属于矢量1=(1\，巧，1'2)。在一些实施方式中，可以自动地执行粗配准。
[0113]在一些实施方式中，本发明的方法可以使用公开在如下文章中的配准技术:“用于放射治疗中患者定位的射野图像和容积CT的自动配准(Automatic registrat1n ofportal images and volumetric CT for patient posit1ning in radiat1ntherapy)，，，by Ali Khamene,Frank Sauer,Medical Image Analysis 10(2006)96-112，该文章通过引用以其全部并入本文。在示例性实施方式中，作为非限定性实例，可以根据特定的医疗应用将这种配准实施为基于强度的和/或基于特征的。基于强度的和基于特征的配准实例在如下文章中被描述:“用于神经介入的基于强度的配准与基于特征的配准(Intensity-based Registrat1n versus Feature-based Registrat1n forNeurointervent1n)，，，by Robert A.,David J.Hawkesb,Medical Vis1n Laboratory,Dept of Engineering Science ,University of Oxford,England，该文章通过弓丨用以其全部并入本文。
[0114]在本发明方法的一些实施方式中，可以使用在患者胸部上已知的解剖界标来实施基于点的配准。在一些实施方式中，可以在CT图像和/或荧光透视检查图像上标记至少一个已知的界标。在一些实施方式中，在手术期间可以将特殊标记物附接至患者胸部以改善/增强荧光透视检查图像上的可检测性。
[0115]在一些实施方式中，在方法400的步骤409，依靠期望的配准方法，从术前图像的感兴趣体积生成特征或图案的集合。在一些实施方式中，当观察到患者的软组织结构并且该软组织结构相对于患者的肋移动时，在步骤407的粗配准期间计算的视点近似在已知的公差之内。在一些实施方式中，在步骤409生成的图案集合将允许在接下来的步骤中执行视域的精确调整(即，精配准)
[0116]在一些实施方式中，在方法400的步骤411，依靠配准方法，执行精配准以发现步骤409生成的特征或图案中的每一者与术中图像上的感兴趣区之间的最佳匹配。
[0117]在一个示例性实施方式中，例如图5中所显示的，精配准方法通过基于强度的精配准(即，模板匹配)而示出，其中如图5A所示出的，该方法起始于来自术前或参考成像模式的基于强度的图案。在一实施方式中，如图5B所示，来自术中图像的信号包含对应于图5A所示的图案的噪声和比例(scale)，且该信号在感兴趣区内被测量。在一实施方式中，图5A示出的图案与来自图5B的信号的图案相匹配。
[0118]可以由本发明方法使用的精配准(S卩，模板匹配)技术的一个实例被描述于如下文章中:“图像处理中的模板匹配技术综述(An Overview of Template Matching Techniquein Image Processing)，，，by T.Mahalakshmi,R.Muthaiah and P.Swaminathan School ofComputing,SASTRA University,Thanjavur,Tamil Nadu,India,Research Journal ofApplied Sciences ,Engineering and Technology 4(24): 5469-5473，2012.，该文章通过引用以其全部并入本文。本发明方法的一些实施方式使用基于区域的方法，这些实施方式也被称为类相关性方法或精配准(即，模板匹配)，例如可参见如下文章=Fonseca andMan junath，“用于多传感器遥感影像的配准技术(Registrat1n techniques formultisensor remotely sensed imagery)，，,PE&RS-Pho to gramme trie Engineering&Remote Sensing 62(9)，1049-1056(1996)，其描述了特征检测和特征匹配的组合。例如，由于模板直接在大量数值(bulk of values)上操作，该方法适于不具有与图像对应的强特征的模板。基于图像和模板二者的强度值来估计匹配。可以被本发明方法应用的技术包括:固定强度的平方差、基于相关性的方法、最优化方法、交互信息、或其任意组合。在一些实施方式中，本发明的方法可以自动地执行精配准。
[0119]在一些实施方式中，本发明的方法可以自动地执行粗配准。
[0120]在一个示例性实施方式中，本发明的方法可以利用精配准方法，其中该精配准方法包括将来自由粗配准获得的CT扫描中的解剖结构的2D投影与从荧光透视检查图像中提取的对应的解剖结构相对准。
[0121]在本发明实施方式的方法400的步骤413，信号匹配图案被示出于图5A中。内部信号(图5B)被增强以高亮显示由401绘制的感兴趣区中发现的解剖结构。在一些实施方式中，除了高亮显示来自术中图像的信号，源自参考图像的信号也可以叠加在显示器/图像上。在另一实施方式中，根据应用配置或基于用户请求，可以显示来自术中图像的原始信号、来自参考图像的模拟信号和计划信息的组合。在一些实施方式中，图5C所示的方法可以替代地用于信号抑制。
[0122]图5示出了本发明方法的精配准(如图4的步骤411所显示的)(即，模板匹配)的说明性实例。虽然为了简洁，该图解说明仅以一个维度示出，但该实施方式的原始信号是二维的。在一些实施方式中，图4的步骤411和413提供使用模板匹配配准步骤的方法。
[0123]图6示出的示例性实施方式是荧光透视检查图像的示意图，其中，图6的A和图6的B代表呼吸过程中肺的两个不同位置的荧光透视检查图像。在该实施方式中，肋602基本保持静止而软组织病变606和608在两个呼吸位置之间显著移动。在一实施方式中，手术钳604的尖端位于紧靠病变606处，这引起手术钳与病变606—起移动，而位于远离病变的气管镜612基本静止且不在两个呼吸位置A和B之间显著移动。在一实施方式中，肋交叉区域610比肋502更深并且可能潜在地与常规的荧光透视检查图像上的病变相混淆。在一些实施方式中，对连续的荧光透视检查图像A和B进行的分析允许区分出基本静止的和移动的对象，允许通过(i)移动、(ii)联通性、(iii)密度或其任意组合对静止的和移动的对象进行分组，和/或允许对来自多个荧光透视检查图像的解剖结构执行重构。
[0124]在一些实施方式中，本发明方法可以用于如下基于肺病学的过程，包括但不限于:
[0125]I)支气管诊断性活检，其时肺科医师首先在增强的成像下识别病变。然后，活检手术钳在增强的成像下推进至目标点以确保适当地实施活检；
[0126]2)增强的成像引导的经皮诊断性活检；
[0127]3)使用VATS的楔形切除术或胸廓切开术，其时胸腔外科医师在手术过程之前放置增强的荧光透视检查引导标记物；
[0128]4)经支气管穿刺活检的直视法，其被用于使病变可视化并且引导支气管镜。首先在增强的成像下识别要被活检的区域，然后尽可能远地推进该镜至目标区段。使用增强的成像有助于超越直视范围将手术钳向远端地引导至目标区域；
[0129]5)增强的成像引导的支气管内切除术或经皮切除术；
[0130]6)或其任意组合。
[0131]在一些实施方式中，本发明用于从2D荧光透视检查图像生成多维图像。在一些实施方式中，2D荧光透视检查图像以灰度显示并且由像素组成。在一些实施方式中，每一像素代表至少一个组织的集成密度，同时由X射线管生成的X射线被图像增强器吸收。
[0132]在一些实施方式中，与例如空气和/或软组织的集成像素密度相比，具有较高密度的对象(例如，骨和血管)在集成像素密度(彩色)上具有更大的比重。在一些实施方式中，荧光透视检查装置实施的自动增益算法使得至少一个高密度组织是可视的同时降低至少一个软组织的可视度。在一些实施方式中，虽然相对于例如骨而言可疑病变区域具有小的体积，但是至少一个可疑病变区域具有比至少一个正常组织更高的组织密度。在一些实施方式中，与正常组织周围的至少一个区域相比，至少一个可疑病变区域以增加的血液活性(例如，流量和/或容量)为特征。在一些实施方式中，可疑病变区域(例如，在软组织或致密组织中)的至少一个自然解剖特征包括由至少一个荧光透视检查图像观察到的至少一个阴影和/或云样对象。在一些实施方式中，由至少一个荧光透视检查图像观察到的至少一个阴影和/或云样对象具有额外的来源(例如，至少一个肋部横截面、关节、主要血管等)。
[0133]在一些实施方式中，本发明涉及一种方法，该方法区分了荧光透视检查图像上可视组织(可以是相同或不同组织)的至少两个不同的(例如，非同一的)部分，并且通过在荧光透视检查视频上使用光流来分段和追踪可视组织的方式将该至少两个不同的部分合并为对象。在一些实施方式中，荧光透视检查屏上的像素(I)被根据密度范围分类，(2)被通过实况的荧光透视检查视频来追踪，和(3)被通过运动分类。例如，呼吸包括肺的膨胀和收缩运动，这些运动在相同肺中肺叶与肺叶之前各不相同并且也不同于肋的运动。这种运动导致肺突起，且可以由本发明的发明方法生成的荧光透视检查视频图像来显示，其以针对图6所示的每一可区分的解剖结构的多个(例如，各种)运动为特征。
[0134]在一些实施方式中，本发明的方法包括配准过程/步骤，其中配准过程/步骤将以下信息用作输入:来自(i)荧光透视检查图像和(ii)CT扫描的支气管气道的区段划分。在一些实施方式中，使用配准步骤来执行粗配准和/或精配准。
[0135]在一些实施方式中，本方法允许使用增强的支气管造影片在从术前CT图像中提取的至少一个支气管气道树与从荧光透视检查图像序列中提取的气道之间执行配准。在一实施方式中，图7示出了一般的流程。
[0136]在一些实施方式中，本发明涉及增强的支气管造影片。在一些实施方式中，增强的支气管造影片是不可见气道(例如，通过荧光透视检查图像不可见的)的增强图像，也是被从荧光透视检查图像中提取的。
[0137]在一实施方式中，通过注入不透射线物质生成增强的支气管造影片，该不透射线物质经配置以使得支气管可见(图8)。在一实施方式中，可见的支气管提供信息以(I)从荧光透视检查图像中提取局部的支气管树和(2)将该局部的支气管树配准至第二图像，例如从术前图像中提取的支气管树。在一些实施方式中，注入到支气管中的不透射线物质不能均一地高亮显示气道(即，使其可见)。在一些实施方式中，不透射线物质快速地从图像中消失或分散开(例如但不限于在1-60秒以内、1-45秒以内、在1-30秒以内、在1-15秒以内等)，这损害了荧光透视检查图像的品质(图9)并产生了模糊的图像。在本发明的一些实施方式中，至少一个图像处理算法被用于生成支气管造影片。在本发明的一些实施方式中，至少一个图像处理算法被用于生成增强的支气管造影片。
[0138]在一些实施方式中，通过使用至少一种不透射线的器械创建增强的支气管造影片，该不透射线的器械可选地具有如图14所示出的锚状机构。在一些实施方式中，放射镜器械在荧光透视检查图像中是可见的且呈现可被配准到支气管树的解剖结构，该支气管树是从至少一个术前图像识别的。在一些实施方式中，本方法的直接扩展是使用在相同手术(图11)期间从临时的荧光透视检查图像序列中提取或累积的多个器械位置(图10)。在一些实施方式中，不透射线的器械可以具有多个腔，其中该多个腔可用于:(i)诊断或治疗过程，
(ii)向多个支气管气道中同时引入多个不透射线的导线并将这些导线用作多个配准参考。在一些实施方式中，该技术提高了配准的精度和鲁棒性。
[0139]在一些实施方式中，使用至少一个器械创建增强的支气管造影片，该器械允许灌注不透射线物质以在增加的时间段中保持可见和就位(例如，基本静止)。在一些实施方式中，通过使用至少一个器械实现增加的时间段，该器械使用工具外部上的刷子或喷涂件(sprinkles)在气道壁上涂布至少一种不透射线物质。在一些实施方式中，具有高粘度的不透射线物质(例如，以水凝胶的形式)通过该器械被注入并在气道上分散开。在一些实施方式中，该不透射线材料经配置以逐渐从不透射线物质中释放。在一些实施方式中，气道区域在一段更长的时间内保持不透射性质。在一些实施方式中，由于注入的物质随着温度升高到体温而变成半固体凝胶，所以使用反向热凝胶聚合物或相似材料以在允许于低温下有效地注入流体物质的同时避免荧光透视检查图像的品质受损(图9)或产生模糊的荧光透视检查图像。
[0140]在一些实施方式中，本发明涉及一种方法，其包括向2D荧光透视检查图像上的器械的某一位置添加第三维度(深度)。在一些实施方式中，通过下列方式计算器械的至少一个区段的深度:(I)比较(a)荧光透视检查图像上投影的器械形状和(b)支气管气道的已知的解剖结构，以及(2)对支气管树内部的限固的(constrained)器械位置做出假设(图13)。
[0141]在一些实施方式中，本发明涉及一种方法，其包括以垂直于荧光透视检查图像的方向添加器械的仰角(定位角)。在一些实施方式中，存在至少两种计算取向幅度的方法:
(I)使用荧光透视检查图像(例如，来自可用配准)的已知变焦(即，放大率)来比较不透射线的准直器械区段的投影长度和实际物理长度(图12)，和(2)使用附接至器械的方位传感器计算器械相对于患者身体或相对于荧光透视检查装置的取向。
[0142]在一些实施方式中，本发明的方法包括含有3D位置和取向的集成信息以确定患者(例如，人体)内部器械的6个自由度(DOF)。
[0143]在一些实施方式中，本发明涉及一种使用位于尖端上的集成传感器来追踪该器械尖端的运动和取向的方法。在一些实施方式中，传感器选自于由下列组成的群组:回转仪、加速计和/或磁力计。在一些实施方式中，从这些传感器中传递的信息允许实时地计算尖端的取向和位置。在本发明的一些实施方式中，通过假设/预测样本在支气管内部来提高位置计算的鲁棒性(S卩，增加的精确性)。在一些实施方式中，样本被配准到从术前CT图像中提取的3D支气管树。
[0144]在本发明的一个示例性实施方式中，图7是示出了方法700的流程图。在一些实施方式中，该流程图呈现了使用增强的支气管造影片在从术前图像(例如但不限于CT扫描/图像)中提取的支气管气道树与从荧光透视检查图像(例如，2个、3个、4个、5个、6个、7个、8个、9个、10个等)中提取的气道之间的配准过程。在一些实施方式中，方法700的步骤710，CT和/或MRI是术前和/或术中图像的来源。在一些实施方式中，术前和/或术中图像被获取并被转换到3D空间中，且被用于以治疗和/或诊断为目的的手术治疗和/或诊断过程期间。在一个示例性实施方式中，在方法700的步骤720，使用(I)自动分段算法和/或(2)由医师进行的手动标记从图像710中提取3D支气管树。在一个示例性实施方式中，在方法700的步骤705，具有源荧光透视检查图像和/或从荧光透视镜中捕获的荧光透视检查视频。在一个示例性实施方式中，在方法700的步骤730，通过本发明公开的一个或多个方法使用荧光透视检查图像705计算增强的支气管造影片。
[0145]在一些实施方式中，本发明的方法包括在软组织、骨、器械、解剖对象和背景之间执行自动的区分/分段，其中自动的区分/分段利用器械和/或组织移动来区分不同类型的组织/器官和/或器械(例如，移动和/或密度)从而引起生成提取的信息(例如，支气管树)。
[0146]在示例性实施方式中，使用700中示出的方法在步骤740配准由步骤720提取的3D支气管树和由步骤730提取的增强的支气管造影片。在一个示例性实施方式中，配准过程对会投影3D支气管树以匹配2D增强的支气管造影片的荧光透视镜的姿态信息(例如，位置、取向和/或摄像头参数)进行估计，并在图像710的3D空间和图像70 5的2D空间之间产生对应关系O
[0147]在一实施方式中，图8示出了从荧光透视检查图像序列中获取的增强支气管造影片的样本，该荧光透视检查图像含有高亮显示了部分支气管树的注入的不透射线物质。
[0148]在一实施方式中，图9示出了荧光透视检查图像，其示出了与图8相同的主题，但该图像是注入后30秒获取的。如图所示，该注入的不透射线物质扩散至周围区域，并产生了模糊图像。在一实施方式中，增强的支气管造影片在注入后30秒产生清晰图像。
[0149]在本发明的一个实施方式中，图10示出了在荧光透视检查图像上可见的不透射线器械的使用方法的图解。在一实施方式中，例如1005、1010和1015的图像示出了荧光透视检查视图，此处仅以图解为目的示出了该视图含有在不同位置处的可视器械和在真实的荧光透视检查图像中不可见的支气管树的示意结构。视图1005、1010和1015中示出的器械可以是相同的器械或不同的器械。
[0150]在一实例中，成像的叠置包含(incorporates)由身体移动、呼吸和引入器械等引起的畸变校正。在一些实施方式中，在预定的呼吸阶段获取器械的临时位置以用于叠置。
[0151]在一个示例性实施方式中，图11示出了从图10的视图1005、1010和1015中导出的增强的支气管造影片。在一实施方式中，每一视图加入了与周围解剖结构有关的信息。在一实施方式中，这些信息被组合以创建增强的支气管造影片。
[0152]在一实施方式中，图12示出了位于人体内部3D空间中的器械1205的准直段。在一实施方式中，该器械被投影到荧光透视检查图像平面1210上并创建了投影图像1215。在一实施方式中，器械1205的准直段与荧光透视检查图像平面1210之间的夹角是“阿尔法(alpha)，，。
[0153]在一实施方式中，图13示出了位于气道内部、含有解剖路径1320的3D支气管树1315。在一实施方式中，当3D解剖路径1320被投影到荧光透视检查图像平面1315上时，投影1310丢失了初始深度信息。在一实施方式中，本发明恢复该信息。
[0154]在一实施方式中，图14示出了具有锚固件的一次性导航导管，其可以借助于预弯曲的尖端1410被引导穿过支气管气道。工具手柄1420可选地用于增强导航性能。导管尖端可借助于设计为可膨胀球或可延伸弹簧的锚固件1440被固定在支气管气道内部，以允许由医疗器械获得进入导管尖端周围感兴趣区的即时的多个路径。可以在入口点1430处引导诊断和治疗器械穿过位于导航导管内部的工作通道。
[0155]在一实施方式中，图15A示出了在人体肺部中的诊断过程的荧光透视检查图像。活检针1502穿过支气管镜1503的工作通道而突出以活检由医师发觉为深色区域1503的可疑目标结节。生成图15B中增强的荧光透视检查图像以高亮显示实际的结节区1504，该结节区是医师在患者胸部的对应术前CT图像上进行手术之前标记的。该增强的图像将支气管镜1506和针1505保存于原始位置，但是实际的1506和发觉到的1503结节位置之间的差异还是明显的。图15B演示了该高亮显示技术1506，其中黄色被“注入”对应于一个CT图像(并且进一步由虚线环绕的)的荧光透视检查图像的结节区，同时荧光透视检查图像的原始信息仍然被保留。
[0156]在一些实施方式中，本发明涉及方法和流程，其允许使用诸如CT、MRI等的第一成像模式，并且允许通过生成来自第二成像模式的增强的图像来计划信息，第二成像模式例如是荧光透视检查、数字减影血管造影术(DSA)等，该增强的图像具有源自第一成像模式的、在其上方叠置的高亮显示的感兴趣区或结构以及可选额外的成像和/或计划信息，该方法和流程包括:(i)使用第一成像模式获得胸部的至少一个第一图像；(ii)通过限定界标、感兴趣区、切口点、关键结构、分叉、解剖器官等手动或自动地计划手术过程；(iii)从第二成像模式中获取至少一个第二图像，第二成像模式例如为荧光透视检查或DSA，并从第一成像模式中生成例如DRR的兼容的虚拟图像；(iv)将计划数据映射到兼容的虚拟图像上的对象和结构；(V)将来自第二成像模式的至少一个第二图像或视频帧配准到源自第一成像模式的第一图像或其部分；(vi)借助图像配准，将源自第一成像模式的兼容的虚拟图像的计划数据映射(即，识别的和映射的)转移到来自第二成像模式的第二图像；(vii)在源自第二成像模式的第二图像上高亮显示感兴趣区、解剖结构以获得第三图像，其中该第三图像被增强。
[0157]在一些实施方式中，本方法进一步包括在第二成像模式上方叠置至少一个图像或该至少一个图像的派生物、该至少一个图像的一部分或基于源于第一成像模式的计划信息的图像。在一些实施方式中，本方法进一步包括辅助医疗器械移动的导航和引导指令。在一些实施方式中，本方法进一步包括用于定位第二成像模式的引导，例如荧光透视检查C形臂，以允许为感兴趣区、切口点、解剖结构、工具进入方向保持最优的可视度。在一些实施方式中，本方法对来自具有相同获取参数(模式、位置、视域)的第二成像模式(例如荧光透视检查视频)的后续帧上的解剖结构实施追踪，以允许通过抑制静止的解剖结构和提高下方软组织的信噪比来获得更高品质的增强的荧光透视检查图像。在一些实施方式中，执行多阶段配准，其中例如肋的具有小幅运动的静止对象被首先配准，然后在接下来的配准迭代中逐步配准诸如隔膜、支气管、血管等的更多的动态对象。在一些实施方式中，淡化干扰结构。在一些实施方式中，在来自第一成像模式的计划数据借助图像配准而被传递到第二成像模式的同时不生成兼容的虚拟图像。
[0158]在一些实施方式中，本发明涉及允许生成具有高亮显示的感兴趣区或结构的增强第三图像的方法，该第三图像例如为术中荧光透视检查、DSA等，该方法包括:(i)使用具有已知相对运动和转动的至少两个术中图像以允许根据他们的运动变化和强度值来为术中图像的像素进行分组；(ii)在至少两个连续的术中图像之间执行配准或交叉相关以重构感兴趣区中的结构；(iii)基于用户需求而区分感兴趣区中的移动结构和静止结构；(iv)高亮显示术中图像上的解剖结构;或其任意组合。在一些实施方式中，本方法包括使用胸部X射线放射图像，同时该放射图像用作参考图像，该参考图像能够通过来自该放射图像的信息的配准或交叉相关来增强第二图像上的解剖结构。
[0159]在一些实施方式中，本发明涉及增强的荧光透视检查装置，其允许生成增强的荧光透视检查图像，该装置包括:视频和图像处理单元;视频输入卡或能够输入来自各种荧光透视检查装置的视频信号的外部连接装置；内部格式或DICOM格式的3D计划输入;增强的视频信号输出;或其任意组合。
[0160]在一些实施方式中，该装置作为模块集成到荧光透视检查装置内以获得作为信号的RAW数据，并因此具有RAW数据输入卡而非视频输入卡。在一些实施方式中，该装置集成于锥形束CT系统内。
[0161]在一些实施方式中，本发明涉及组织或解剖结构的高亮显示技术，其中在源自诸如CT或MRI的第一成像模式的图像上选择感兴趣体积;从第二成像模式中获取图像;在第二成像模式和第一成像模式之间执行粗配准以在第二成像模式中识别对应于第二成像模式中的一个的虚拟摄像头的姿态;从第一成像模式产生针对感兴趣体积周围的解剖结构的至少一个图案;使用由第一成像模式产生的单个或多个图案来在第二成像模式中找到匹配图案;来自第二成像模式的该匹配图案被增强以在生成第三成像模式的感兴趣体积中高亮显示解剖结构。
[0162]在本发明方法的一些实施方式中，使用相同的技术发现位于感兴趣区之外的解剖结构并对其进行抑制。在一些实施方式中，图案由解剖结构组成，诸如气道、肋和血管。在一些实施方式中，从感兴趣区内部的至少一个器械位置组中导出来自第二成像模式的匹配特征。
[0163]对象深度计算方法如下:给定源自第一成像模式的兼容的虚拟图像的参数，第一成像模式例如用于荧光透视检查的DDR;给定虚拟摄像头(例如虚拟的荧光透视检查摄像头)的姿态和视域，将第一成像模式投影到第二成像模式;确定虚拟图像上的对象尺寸，例如肋在DDR上某一具体位置处的宽度;通过比较源自第一图像(例如，CT图像)的已知对象尺寸与第二图像(例如，荧光透视检查图像)上测量的尺寸来计算深度(例如荧光透视检查X射线源的特定的对象或对象区的距离)；或其任意组合。在一些实施方式中，不用或除了用在兼容的虚拟图像上的测量结果之外，通过技术规格来确定对象尺寸，例如工具刚性部分的长度或宽度。在一些实施方式中，导管类型的工具被设计为允许对作为距第二成像模式的摄像头中心的深度距离组合的轨迹进行计算。
[0164]方法和流程允许将诸如CT、MRI等的第一三维成像模式与诸如荧光透视检查、数字减影血管造影术(DSA)等的实时X射线成像的第二二维成像模式配准，包括:使用第一成像模式获得胸部的至少一个第一图像;在3D空间中执行自然体腔的手动或自动分段，自然体腔例如为支气管气道;从第二成像模式中获取至少一个图像或视频帧序列，第二成像模式例如荧光透视检查或DSA;从第二成像模式中生成二维增强的图像，其组合有描述自然体腔的全部或部分形貌的独特信息，例如支气管气道树的一部分，如以上作为增强的支气管造影片所提到的;通过拟合如上所述的对应特征来进行姿态估计以计算第一和第二成像模式之间的配准;或其任意组合。在一些实施方式中，使用被注入以高亮显示体腔的不透射线材料生成增强的支气管造影片。
[0165]在一些实施方式中，通过将定位在体腔内部的不透射线器械的至少两个不同的临时位置的成像叠置在一起以生成增强的支气管造影片。在一些实施方式中，通过将定位在体腔内部的不透射线器械的至少一个不同位置的成像和C形臂相对于病床的取向的角度测量叠置在一起以生成增强的支气管造影片。在一些实施方式中，不透射线器械经设计和配置为从单个投影重构其三维空间。在一些实施方式中，具有高粘度的不透射线物质，例如但不限于水凝胶、反向热凝胶聚合物，被用于生成增强的支气管造影片。在一些实施方式中，图像的叠置包含由身体移动、呼吸、和器械引入等引起的畸变校准。在一些实施方式中，在预定的呼吸阶段获取器械的临时位置以用于叠置。在一些实施方式中，本发明涉及用于在自然体腔内导航的装置，该装置包括:在尖端处具有锚固件的引导鞘和导丝。在一些实施方式中，该装置包括作为锚定机构使用的可膨胀球。
[0166]在一些实施方式中，本发明提供一种方法，包括:获取来自第一成像模式的第一图像;在来自第一成像模式的第一图像上识别至少一个元素，其中所述至少一个元素包括界标、感兴趣区、切口点、分叉、器官或其任意组合;获取来自第二成像模式的第二图像;从来自第一成像模式的第一图像生成兼容的虚拟图像;将计划数据映射在该兼容的虚拟图像上;其中映射的计划数据对应于至少一个元素;将来自第二成像模式的第二图像粗配准至来自第一成像模式的第一图像;从兼容的虚拟图像中识别映射的计划数据中的至少一个元素;在第二成像模式上识别至少一个对应元素;将该至少一个对应元素映射在第二成像模式上;将来自第二成像模式的第二图像精准配准到来自第一成像模式的第一图像;生成第三图像;其中该第三图像是包括被高亮显示的感兴趣区的增强的图像。
[0167]在一些实施方式中，本方法进一步包括在第二成像模式上方叠置该至少一个图像、该至少一个图像的一部分，或从第一成像模式中导出的计划信息。在一些实施方式中，本方法进一步包括使用至少一个指令，其中该至少一个指令可以包括与导航、引导或其组合有关的信息。在一些实施方式中，引导包括与在第二成像模式中示出的装置的位置有关的信息，其中该装置包括荧光透视检查C形臂，由此实现感兴趣区、切口点、解剖结构或工具进入方向的可视化。在一些实施方式中，本方法进一步包括通过使用从第二成像模式中导出的至少一个后续图像来追踪至少一个解剖结构，其中该第二成像模式包括经配置以具有基本相同的获取参数的荧光透视检查视频，并且其中获取参数包括模式、位置、视域或其任意组合，以通过抑制静止的解剖结构和/或提高软组织下方的信噪比来生成增强的荧光透视检查图像，。在一些实施方式中，本方法进一步包括执行多阶段配准，其中首先配准至少一个基本静止的对象;其次配准至少一个动态的对象，其中该至少一个动态的对象包括隔膜、支气管、血管或其任意组合。在一些实施方式中，本方法进一步包括淡化至少一个干扰结构。在一些实施方式中，在来自第一成像模式的计划数据借助于图像配准而被传递到第二成像模式的同时不生成兼容的虚拟图像。
[0168]在一些实施方式中，本发明提供一种方法，包括:
[0169]使用具有已知相对运动和转动的至少两个术中图像来生成从术中图像导出的像素的分组，其中，使用下列方式通过单独计算每一像素来确定像素的分组:(a)每一像素的移动变化和(b)每一像素的强度值;使用至少两个连续的术中图像来执行配准以重构感兴趣区中的结构;在感兴趣区中区分移动结构和静止结构；以及在至少一个术中图像上高亮显示解剖结构。在一些实施方式中，本方法进一步包括使用胸部X射线放射图像作为第一术中图像。
[0170]在一些实施方式中，本发明提供一种系统，其包括经配置以生成增强的荧光透视检查图像的增强的荧光透视检查装置，该装置包括(a)视频和图像处理单元，(b)视频输入卡或经配置以输入来自荧光透视检查装置的视频信号的外部连接装置；(C)内部格式或DICOM格式的3D计划输入，(d)增强的视频信号输出；或其任意组合。在一些实施方式中，该系统与作为模块的至少一个荧光透视检查装置集成在一起，并包括经配置以获得RAW数据作为信号的RAW数据输入卡(S卩，不是视频输入卡)。在一些实施方式中，该系统与锥形束CT系统集成在一起。
[0171]在一些实施方式中，本发明提供一种包括用于在自然体腔内部导航的器械的系统，包括(a)在尖端处具有锚固件的引导鞘和/或(b)导丝。在一些实施方式中，该器械是经配置以作为锚定机构使用的可膨胀球。
[0172]在一些实施方式中，本发明提供一种方法，包括:(i)在来自第一成像模式的第一图像上选择感兴趣体积；(ii)从第二成像模式生成第二图像；(iii)使用第一成像模式和第二成像模式进行粗配准；(iv)从第一成像模式产生至少一个图案；(V)通过使用第二成像模式来生成匹配图案，该第二成像模式使用从第一成像模式生成的单个或多个图案；(vi)增强来自第二成像模式的匹配图案以在感兴趣体积中高亮显示解剖结构从而生成第三成像模式。在一些实施方式中，使用基本相同的方法发现和抑制位于感兴趣区之外的解剖结构。在一些实施方式中，该图案包括解剖特征，包括但不限于气道、肋和血管。在一些实施方式中，从位于感兴趣区内部的至少一个器械位置的集合导出来自第二成像模式的匹配特征。
[0173]在一些实施方式中，本发明提供一种方法，包括:使用第一成像模式获取患者胸部的至少一个第一图像;在3D空间中对包括支气管气道的体腔进行分段;从第二成像模式生成至少一个图像;通过组合信息从第二成像模式生成二维增强的图像，其中所述信息描述自然体腔的全部形貌或部分形貌，自然体腔包括支气管气道树;像源自第二成像模式的支气管气道的一部分与源自第一成像模式的支气管气道的分段形貌之间的姿态估计那样计算第一成像模式与第二成像模式之间的配准;通过由映射对应特征而进行的姿态估计来计算第一和第二成像模式之间的配准。在一些实施方式中，使用被注入以高亮显示体腔的不透射线材料生成增强的支气管造影片。在一些实施方式中，通过将定位在体腔内部的不透射线器械的至少三个不同位置的成像叠置在一起以生成增强的支气管造影片。在一些实施方式中，通过将定位在体腔内部的不透射线器械的至少一个不同位置的成像和C形臂相对于病床的取向的角度测量叠置在一起以生成增强的支气管造影片。在一些实施方式中，不透射线器械经设计和配置以从单独投影重构其三维空间。在一些实施方式中，具有高粘度的不透射线物质，例如但不限于水凝胶、反向热凝胶聚合物，可用于生成增强的支气管造影片。
[0174]在一些实施方式中，本发明提供一种方法，包括:提供源自第一成像模式的兼容虚拟图像的参数，例如但不限于用于荧光透视检查的DDR;在虚拟图像上确定对象尺寸，例如但不限于肋在DDR上某一具体位置处的宽度;提供虚拟摄像头的姿态和视域，例如但不限于虚拟荧光透视检查摄像头;将第一成像模式投影到第二成像模式，例如从校准步骤中计算的荧光透视检查摄像头;确定虚拟图像上的对象尺寸，例如肋在DDR上某一具体位置处的宽度;通过比较源自第一图像(例如，CT图像)的已知对象的尺寸和在第二图像(例如，焚光透视检查图像)上测量的尺寸来计算深度(例如但不限于距荧光透视检查X射线源的特定对象或对象区的距离)。在一些实施方式中，不用或除了在兼容虚拟图像上的测量结果之外，通过技术规格来确定对象尺寸，例如工具刚性部分的长度或宽度。在一些实施方式中，导管类型的工具被设计为允许对作为距第二成像模式摄像头中心的深度距离组合的轨迹进行计笪并ο
[0175]在已经描述了本发明的数个实施方式的情况下，可以理解这些实施方式仅为示例性而非限制性的，许多修改可以相对于本领域技术人员而言变得清楚明白。进一步地，可以以任何期望的顺序来执行各种步骤(以及添加任何期望的步骤和/或忽略任何期望的步骤)。
[0176]虽然已经根据特定实施方式和应用描述了本发明，但在该教导的启示下本领域技术人员可以在不背离要求保护的发明的精神或不超过要求保护的发明的范围的情况下创造其他实施方式和修改。因此，可以理解的是，以示例性的方式提供附图和本文的描述以有助于理解本发明，但不应视为对本发明范围的限制。
【主权项】
1.一种方法，包括: 获取来自第一成像模式的第一图像； 在来自所述第一成像模式的所述第一图像上识别至少一个元素，其中，所述至少一个元素包括界标、感兴趣区、切口点、分叉、器官或其任意组合； 获取来自第二成像模式的第二图像； 从来自所述第一成像模式的所述第一图像生成兼容的虚拟图像； 将计划数据映射在所述兼容的虚拟图像上； 其中，映射的计划数据对应于所述至少一个元素， 将来自所述第二成像模式的所述第二图像粗配准至来自所述第一成像模式的所述第一图像； 从所述兼容的虚拟图像上识别所述映射的计划数据的至少一个元素； 在所述第二成像模式上识别至少一个对应元素； 将所述至少一个对应元素映射在所述第二成像模式上； 将来自所述第二成像模式的所述第二图像精配准至来自所述第一成像模式的所述第一图像； 生成第二图像； 其中，所述第三图像是包括被高亮显示的感兴趣区的增强图像。2.根据权利要求1所述的方法，进一步包括在所述第二成像模式上方叠置所述至少一个图像、所述至少一个图像的一部分或从所述第一成像模式导出的计划信息。3.根据权利要求1所述的方法，进一步包括使用至少一个指令，其中，所述至少一个指令能够包括与导航、引导或其组合相关的信息。4.根据权利要求3所述的方法，其中，所述引导包括与示出所述第二成像模式的装置的定位有关的信息，其中，所述装置包括荧光透视检查C形臂，由此实现所述感兴趣区、所述切口点、所述解剖结构或工具进入方向的可视化。5.根据权利要求1所述的方法，进一步包括通过使用从所述第二成像模式中导出的至少一个后续图像来追踪至少一个解剖结构， 其中，所述第二成像模式包括荧光透视检查视频，所述荧光透视检查视频经配置以具有基本相同的获取参数，并且其中，所述获取参数包括模式、位置、视域或其任意组合，从而通过抑制静止的解剖结构和/或提高下方软组织的信噪比来生成所述增强的荧光透视检查图像。6.根据权利要求1所述的方法，进一步包括执行多阶段配准， 其中，首先配准所述至少一个基本静止的对象；以及 其中，然后配准至少一个动态的对象； 其中，所述至少一个动态的对象包括隔膜、支气管、血管或其任意组合。7.根据权利要求1所述的方法，进一步包括淡化至少一个干扰结构。8.根据权利要求2所述的方法，其中，在借助于图像配准而将来自所述第一成像模式的所述计划数据传递至第二成像模式的同时不生成所述兼容的虚拟图像。9.一种方法，包括: 使用具有已知的相对运动和转动的至少两个术中图像来生成从术中图像导出的像素的分组，其中，通过使用(a)每一像素的移动变化和(b)每一像素的强度值所进行的每一像素的单独计算来确定所述像素的分组； 使用至少两个顺续的术中图像来执行配准以重构感兴趣区中的结构； 区分所述感兴趣区中的静止结构和移动结构；以及 在至少一个术中图像上高亮显示解剖结构。10.根据权利要求9所述的方法，进一步包括使用胸部X射线放射图像作为第一术中图像。
【文档编号】G01N23/04GK106068451SQ201580012259
【公开日】2016年11月2日
【申请日】2015年1月6日 公开号201580012259.0, CN 106068451 A, CN 106068451A, CN 201580012259, CN-A-106068451, CN106068451 A, CN106068451A, CN201580012259, CN201580012259.0, PCT/2015/438, PCT/IB/15/000438, PCT/IB/15/00438, PCT/IB/2015/000438, PCT/IB/2015/00438, PCT/IB15/000438, PCT/IB15/00438, PCT/IB15000438, PCT/IB1500438, PCT/IB2015/000438, PCT/IB2015/00438, PCT/IB2015000438, PCT/IB201500438
【发明人】D·阿韦尔布克
【申请人】博迪维仁医疗有限公司